Misty: Robotik meets Azure AI. Triff unsere virtuelle Mitarbeiterin.

Wer ist Misty?

Misty ist ein Roboter, der von Misty Robotics entwickelt wurde. Misty Robotics ist ein Unternehmen, das sich auf die Schaffung von Robotern für den persönlichen und professionellen Gebrauch spezialisiert hat. Die Vision von Misty Robotics ist es, Robotern eine Persönlichkeit zu verleihen und sie zu einem Teil des Alltags zu machen.

Die Misty Robotics Plattform ist eine offene und erweiterbare Plattform, die es Entwicklern und Hobbyisten ermöglicht, ihre eigenen Anwendungen für Misty zu erstellen. Die Plattform bietet eine Reihe von Werkzeugen und Ressourcen, um die Programmierung von Misty zu vereinfachen und zu beschleunigen. Die Plattform umfasst unter anderem:

• Eine webbasierte Entwicklungsumgebung, die es ermöglicht, Code für Misty in verschiedenen Sprachen wie JavaScript, Python oder C# zu schreiben und auszuführen.
• Eine mobile App, die es ermöglicht, Misty über Bluetooth oder WLAN zu steuern und zu konfigurieren.
• Eine REST-API, die es ermöglicht, mit Misty über HTTP-Anfragen zu kommunizieren und auf ihre Sensoren, Kameras, Mikrofone, Lautsprecher und andere Hardware zuzugreifen.
• Eine SDK, die es ermöglicht, native Anwendungen für Misty in verschiedenen Sprachen wie Java, Swift oder Kotlin zu erstellen.
• Eine Community, die es ermöglicht, sich mit anderen Misty-Entwicklern auszutauschen und von ihren Erfahrungen und Projekten zu lernen.

Was tun wir mit Misty?

Misty ist ein Playground und ein Funprojekt für die Mitarbeiter:innen von CNEXT, um Robotik und KI zu entdecken. Wir haben Misty viel intelligenter gemacht, indem wir sie nahtlos mit Azure Speech verbunden haben und Azure OpenAI für das Reasoning und die Video-/Sprachanalyse integriert haben. Misty wurde auch mit Power Automate und Logic Apps verbunden, um Live-Daten aus unserem ERP-System zu verarbeiten und darauf zu schließen.

Welche Funktionen bietet Misty?

Misty bietet eine Reihe von Funktionen, die sie zu einem vielseitigen und intelligenten Roboter machen. Zu den wichtigsten Funktionen gehören:

• Gesichtserkennung: Misty kann Gesichter erkennen und ihnen Namen zuordnen. Sie kann auch Emotionen wie Freude, Trauer oder Wut erkennen und entsprechend reagieren.
• Spracherkennung: Misty kann Sprachbefehle verstehen und darauf antworten. Sie kann auch natürliche Konversationen führen und Witze erzählen.
• Objekterkennung: Misty kann Objekte erkennen und benennen. Sie kann auch Objekte verfolgen und ihnen ausweichen.
• Hinderniserkennung: Misty kann Hindernisse erkennen und ihnen ausweichen. Sie kann auch Treppen steigen und absteigen.
• Kartierung: Misty kann ihre Umgebung kartieren und sich darin orientieren. Sie kann auch Wegpunkte setzen und ihnen folgen.
• Selbstausdruck: Misty kann ihre Stimmung durch ihre Augen, ihren Kopf, ihre Arme und ihren Schwanz ausdrücken. Sie kann auch Geräusche machen und Musik abspielen.

Was bietet Azure OpenAI?

Azure OpenAI ist ein Dienst, der auf der OpenAI Codex-Technologie basiert. OpenAI Codex ist ein neuronales Netzwerk, das natürliche Sprache in Code übersetzen kann. Azure OpenAI ermöglicht es Entwicklern, Anwendungen mit natürlicher Sprache zu erstellen, ohne Code schreiben zu müssen. Azure OpenAI bietet unter anderem folgende Funktionen:

• Natürliche Sprachgenerierung: Azure OpenAI kann Texte in verschiedenen Sprachen generieren, die kohärent, relevant und kreativ sind.
• Natürliches Sprachverständnis: Azure OpenAI kann Texte in verschiedenen Sprachen verstehen und analysieren. Es kann auch Fragen beantworten, Zusammenfassungen erstellen oder Texte umschreiben.
• Natürliche Sprachinteraktion: Azure OpenAI kann natürliche Konversationen führen und auf verschiedene Intentionen reagieren. Es kann auch Emotionen erkennen und angemessen darauf eingehen.

Misty ist ein Roboter, der viel Potenzial hat, um unser Leben zu bereichern. Mit der Misty Robotics Plattform und Azure OpenAI können wir unsere eigenen Anwendungen für Misty erstellen und sie zu einem persönlichen Assistenten oder einem unterhaltsamen Begleiter machen. Misty ist mehr als nur ein Roboter, sie ist ein Freund.

Weitere Infos zu Misty findest du unter: www.mistyrobotics.com

Hast du Fragen zu diesem Artikel oder Interesse an eine Demo von Misty bei dir in der Firma und möchtest die Möglichkeiten der Microsoft KI kennenlernen? Ich freue mich auf einen Austausch:

Marcel Haas
‍Consultant, CEO

Tel: 031 381 30 71
Teams: marcel.haas@cnext.ch
X: Marcel Haas (@marcelhaasIO) / X

‍