Ein großer Bestandteil der Projektgruppe ist die Nutzung von Machine Learning Methoden, um Bilder automatisiert auswerten zu können. Dabei werden aktuell neuronale Netze genutzt, um zu erkennen, ob sich in einem Bild Kleidungsstücke befinden, und wenn ja, wo und welche. Diese Informationen werden weiterverarbeitet, um den Style der auf dem Bild dargestellten Person zu extrahieren und entsprechend Brillen vorzuschlagen.

Der erste Schritt in diesem Ablauf ist die Object Detection. Hierbei werden in einem Bild nahezu beliebig viele Kleidungsstücke lokalisiert, klassifiziert und im Bild segmentiert. Es kommt aktuell ein Mask R-CNN Modell zum Einsatz um diese Aufgaben zu bewältigen.

Hier ein Beispiel:

Der Input des Modells ist ein normales Bild einer Person: hier ein Bild unseres PG-Mitglieds JP.
Daraufhin werden aus dem Bild verschiedene Teilregionen bestimmt und klassifiziert. In diesem Bild wurden drei Regionen identifiziert die für uns relevant sind – Oberkörper in Rot, Unterkörper un Gelb und Fußbekleidung in Grün.

Zusätzlich wird noch eine Segmentation Mask gebildet, die für jeden Pixel bestimmt, ob dieser Teil der klassifizierten Region ist, oder nicht (hier am Beispiel des Oberkörpers).

Insgesamt erhält man folgende Informationen:

Region 1:
Klasse: Oberkörper (p=0.9898845)


Region 2:
Klasse: Unterhörper (p=0.9970329)


Region 3:
Klasse: Footwear (p=0.9986494)

Abschließend noch einige Anmerkungen:
Auch wenn dieses Beispiel suggeriert, dass das Problem der Object Detection und Segmentation nahezu gelöst ist, ist dies bei weitem nicht der Fall. Das hier gewählte Bild ist für die Aufgabe optimal und recht realitätsfern. Auch ist die Auswahl der Klassen auf unseren Anwendungsfall angepasst und deshalb überschaubar. Weiterhin sind die Klassenwahrscheinlichkeiten mit >98% utopisch und unrealistisch für realitätsnahere Bilder.

Dennoch sollte dieses Model eine gute Basis für das weitere Vorgehen bieten.

Info: Das hier genutzte Modell ist ein Mask R-CNN mit einem ResNet50 Backbone, trainiert auf MSCOCO2017 mit Finetuning auf iMaterialist2019 (fünf Epochen); implementiert in Detectron2 von FAIR. Die trainierten Klassen sind „Upperbody“, „Lowerbody“, „Wholebody“, „Footwear“ und „Accessoires“.

• 

• 

Am Informationstag durfte die Projektgruppe im Science Truck der Innovativen Hochschule Jade-Oldenburg! (IHJO) das abgeschlossene Propose.AI Projekt vertreten und die Ideen von Propose.AI2 vorstellen. Dabei wurde nicht nur der Brillenpassleser erläutert, sondern auch der Brillenberater live getestet. Schülerinnen und Schüler konnten sich über das Projekt informieren und die Projektmitglieder über Machine Learning ausfragen. Mehr Informationen gibt es unter https://uol.de/informatik/studieninteressierte/infotag 

• 

• 

• 

Letzte Woche traf sich die Fashion Research Gruppe mit einer Mitarbeiterin von Brille24, um ihre recherchierten, zusammengetragenen Styles und vor allem die Vorschläge für passende Brillen zu den Styles zu besprechen. Die Expertin konnte ihr Wissen zu Trends und vergangenen Brillenvorlieben einsetzen und ihr Feedback an die Fashion Research Gruppe geben. Nun werden die Rückmeldung und weitere Tipps umgesetzt, bevor die restlichen Mitglieder der Projektgruppe die Ergebnisse dieser Kleingruppe präsentiert bekommen. Nach diesem Vortrag kommt die Projektgruppe ihrem nächsten Meilenstein etwas näher und die Fashion Research Gruppe löst sich zeitnah auf. Die Mitglieder verteilen sich dann auf die anderen Kleingruppen und die Arbeit geht weiter.

Heute durften alle Projektgruppenmitglieder die Ergebnisse ihrer Einzelaufgabe der Einarbeitungsphase vor den Betreuern und auch den anderen Gruppenmitgliedern vorstellen. So konnten alle ihre Vorgehensweise bei der Bewältigung der Aufgabe zeigen und Erkenntnisse teilen. Entscheidungen und Ideen wurden besprochen und diskutiert, was auch für den weiteren Verlauf des Projekts einen Mehrwert im Hinblick auf Machine Learning bringt. Auch wenn sich die Gruppe aktuell in einer eher theoretischen Phase der Recherche befindet, um die notwendigen Grundlagen zum Lösen der Projektziele zu schaffen, wird Machine Learning schon bald wieder im Fokus stehen. Die Betreuer hatten die Möglichkeit mithilfe dieser Vorträge einen Einblick in die Arbeitsweise der Gruppenmitgliedern und den Wissensstand der Einarbeitungsphase zu bekommen. Außerdem ging die Bewertung dieser Aufgabe teilweise in die Note der Einzelbewertung der einzelnen Gruppenmitglieder ein.

Nach der Einarbeitungsphase teilt sich die Projektgruppe in Kleingruppen auf, unten anderem gibt es die Fashion Research Gruppe. Bisher haben alle Mitglieder der Projektgruppe keine großen Erfahrungen in Richtung Fashion und nun beginnt ein Teil mit der Recherche zu Fashion-Styles. Wenn die Recherche erfolgt ist, einigt sich die Fashion Gruppe auf ausgewählte Styles. Ziel ist es, ein einheitliches Verständnis von Styles für die gesamte Gruppe zu erarbeiten. Diese Styles werden später eingesetzt, um Brillen den ermittelten Styles zu zuordnen. Die Zuordnung soll mithilfe von Machine Learning erfolgen. Doch komplett alleine will die Fashion Gruppe nicht arbeiten. Anfang nächsten Jahres ist ein Treffen mit Conny von Brille24 geplant. Dort sollen die gefundenen Styles besprochen und abgesegnet werden, bevor es weitergehen kann und die Ergebnisse dieser Kleingruppe der gesamten Projektgruppe vorgestellt werden.

An dem Freitag vor dem 1. Advent durfte die Projektgruppe an der Weihnachtsfeier von Brille24 teilnehmen. Gestartet ist das ganze in den Räumlichkeiten von Brille24, zu ein paar kurze Ansprachen an die Mitarbeiter/innen gehalten wurden und Awards sowie auch Geschenke verteilt wurden bevor sich alle gemeinsam auf den Weg in die Innenstadt zu der geplannten Lokalität begeben haben. Dieses Jahr hatte sich Brille24 eine kleine Überraschung für alle Anwesenden überlegt. Jede/r musste vor dem Eintreten in das Lokal/Restaurant eine kleine Karte ziehen, die bestimmte an welchem Tisch man Sitzen würde. Jedes Mitglied unserer PG zog eine Karte mit einem anderen Symbol und so verteilten wir uns an die jeweiligen Tische. Schnell entwickelten sich Gespräche und die PG-Mitglieder wurden herzlich aufgenommen. Es gab eine Auswahl und Getränke und erste Snacks bevor das Buffet eröffnet wurde. Nach dem Essen verteilten sich die Anwesenden und die Musik wurde aufgedreht.

Um sich besser kennenzulernen, sind wir am 7. November im BCO bowlen gewesen. An diesem Tag gab es das „Bowling + Schnitzel“ Special, bei dem wir zunächst zwei Stunden bowlen und anschließend im Restaurant des BCO Schnitzel essen konnten. Die Bahnen wurden in Männer- und Frauenteams aufgeteilt. Hier wurde zwei Stunden fröhlich und auch ambitioniert gebowlt, hin und wieder gab es auch einen Strike.

Die Stimmung war locker und fröhlich, es wurde viel gelacht.

Besiegelt wurde das Bowlen mit dem anschließenden Schnitzelessen, bei dem wir uns gemeinsam an einem Tisch fröhlich über Gott und die Welt ausgetauscht haben. Der Abend wurde im MyWay ausgeklungen, wo es das Special „Cocktails würfeln“ gab.

Den Start der Projektgruppe Propose.AI2 bildet eine Einarbeitungsphase. Alle Projektmitglieder sollen in den ersten Wochen des Projekts ein grundlegendes Verständnis von den Themengebieten Machine Learning und Deep Learning  erlangen. Dabei werden besonders Convolutional Neuronal Networks fokussiert. Zusammen mit Literatur und weiterem Recherche-Material gibt es einen Fragenkatalog, der von jedem Gruppenmitglied bearbeitet wird.  Zudem werden praktische Programmieraufgaben, wie die bekannte Regressionsaufgabe Boston Housing, in welcher ein Netz darauf trainiert wird Preise von Häusern vorherzusagen, bearbeitet. Mit einer „final assignment“-Programmieraufgabe und dazugehörigen Einzelpräsentationen der Ergebnisse kommt die Einarbeitungsphase zum Ende. Diese Aufgabe befasst sich mit der Klassifizierung von Bildern. In den Präsentationen hat jedes PG-Mitglied die Möglichkeit den Betreuern sowie der Gruppe gesammelte Grundlagenkenntnisse zu zeigen und Gelerntes vorzustellen. Nach der Abgabe dieser Aufgabe kann die nächste Phase des Projekts beginnen. Auf dem Bild sieht man gerade die Meilenstein-Planung für das Projekt statt.