Description |
Das Ziel der Arbeit soll sein, auf Grundlage der vorgestellten Forschungsergebnisse einen Algorithmus zu entwickeln, welcher effizient binäre Gewichte für DNN generieren und op- timieren kann. Die Beschränkung auf binäre Gewichte verspricht durch die Vereinfachung der durchgeführten Rechenoperationen einen Geschwindigkeitsvorteil gegenüber klassi- schen DNN und Unabhängigkeit von spezialisierter Hardware. ES erlauben dabei eine schnelle Generierung von Lösungskandidaten und bieten Potenzial bei der Parallelisie- rung. Die Verwendung des natural gradient bei der Optimierung verspricht zudem eine schnelle Konvergenz und die Vermeidung von Problemen die sich aus den spezifischen Pa- rametrisierungen von verwendeten Wahrscheinlichkeitsverteilungen ergeben. Auch Stra- tegieparameter wie die Schrittweite können so direkt mit angepasst werden. Weitere Optimierungsmöglichkeiten liegen in der Anpassung der durchgeführten Bi- näroperationen um eine bessere Ausnutzung der zur Verfügung stehenden Rechenleistung und Ressourcen zu ermöglichen. Konkret sollte dabei insgesamt möglichst die lineare Skalierung des Zeitaufwands mit der Anzahl der Rechenkerne beibehalten und gleichzeitig Fehlerraten erzielt werden, wel- che vergleichbar sind mit denen von durch BinaryConnect trainierten Netzwerken. In der Praxis könnte das Ergebnis für das Training von DNN auf leistungsstarken Com- putern mit vielen Rechenkernen, aber ohne verbaute GPUs verwendet werden. Denkbar wäre auch ein solches Vortrainieren eines Netzwerks mit anschließender Nutzung auf einem kleineren Gerät. Aufgrund des reduzierten Rechenaufwands und der bereits angepassten Strategieparameter könnte das Training hier sehr einfach beispielsweise als Reaktion auf Nutzereingaben noch weiter fortgeführt werden.
|