1. KI-generierte Lerninhalte
2. Individuelles Feedback und anpassbare Coaching-Sessions
3. Umfragen, Daten und Nachbesprechungen

1. KI-generierte Lerninhalte

Zunächst ein Blick auf die Generierung multimodaler Lerninhalte. In diesem Kontext untersuchen wir, wie KI zur Generierung von Lerninhalten genutzt oder dazu veranlasst werden kann, bestehende Dokumente oder SCORM-Dateien (Sharable Content Object Reference Model; Referenzmodell für teilbare Inhaltsobjekte) als Ausgangspunkt zu nutzen. Auf dieser Grundlage lassen sich Lernressourcen schnell und in beliebiger Länge umsetzen. Sie können die generierten Inhalte bearbeiten, um Multimedia-Optionen für Text, Bildmaterial, Grafiken und Videos oder etwa auch Folien anzubieten.

Dies macht es einfach, Lerninhalte zu spezifischen Themen ansprechend, vielfältig und jederzeit relevant zu gestalten. Verfügbar wird dieses Feature voraussichtlich Anfang 2026.

2. Individuelles Feedback und anpassbare Coaching-Sessions

Degreed Maestro ist nicht nur eine KI, mit der man sich unterhalten kann. Vielmehr geht es darum, ebenso effektive wie umfassende Lernerfahrungen zu gestalten. Hierzu arbeiten wir daran, in mehrstufigen KI-Erlebnissen verschiedene Formate zu kombinieren, um Lernenden Möglichkeiten zur Verbesserung zur Verfügung zu stellen – z. B. individuelles Feedback oder kurze Coaching-Sessions.

Beispielsweise kann ich nach dem Üben eines Verkaufsgesprächs mit Maestro eine Bewertung und Feedback basierend auf meiner Leistung erhalten. So weiß ich direkt, was ich gut gemacht habe und an welchen Punkten ich mich verbessern muss. Maestro kann mir zudem kurze Coaching-Sessions oder die Möglichkeit anbieten, die Übung zu wiederholen und dabei genau die Punkte anzugehen, an denen ich noch arbeiten muss. 

3. Umfragen, Daten und Nachbesprechungen

Ein spannendes neues Einsatzfeld für Maestro betreffen natürliche, KI-gestützte Nachbesprechungen. Diese können gleichermaßen zur Lernförderung wie zur Reflexion beitragen und in diesem Zuge nützliche Einblicke liefern. 

Formelle Umfragen können oft zäh sein und voreilige, unvollständige Antworten mit sich bringen. Maestro hingegen integriert intelligente Fragen in alltägliche Gespräche oder gewinnt Erkenntnisse aus bestehenden Gesprächen, ohne dass dafür zusätzlicher Aufwand erforderlich ist. In Situationen dieser Art äußern sich Menschen tendenziell offener und ausführlicher als in klassischen Umfragen. Dies gilt insbesondere, wenn sie wissen, dass ihre Antworten vertraulich behandelt werden. 

So haben wir beispielsweise ein kurzes Gespräch mit Maestro eingerichtet, bei dem unsere Mitarbeitenden befragt wurden, wie sie KI in ihren Rollen nutzen. Auf Grundlage der Antworten erstellte Maestro ein Live-Dashboard, in dem die Ergebnisse zusammengefasst wurden. Davon ausgehend konnten wir die Daten sogar mit Maestro besprechen, um weitere Trends auszumachen. 

Dies erleichtert es, ein grundlegendes Verständnis der Skills, Anforderungen und Arbeitserfahrungen einzelner Mitarbeitender zu gewinnen und Lernangebote darauf zuzuschneiden. Die anschließende Messung der Auswirkungen liefert Einblicke in einer Tiefe und Breite, die mit herkömmlichen Methoden schlicht unmöglich wären. Es entsteht ein Echtzeit-Verständnis für Aspekte, die bislang im Verborgenen blieben. 

Immer am Puls

Stellen Sie sich vor, was ein solcher Grad an Klarheit über Mitarbeitende, deren Anforderungen sowie darüber, wie effektiv Ihre Lernprogramme sind, für Sie möglich macht. Ihr Feedback zu unserer Forschung ist ausdrücklich erwünscht. Wenn Sie möchten, können Sie mir auf LinkedIn folgen oder den Newsletter unseres AI Experiments Lab abonnieren, um über unsere neuesten Tests auf dem Laufenden zu bleiben.

The post KI-generierte Lerninhalte, Coaching und interaktive Daten appeared first on Degreed.

Sprach-KI stößt an ihre Grenzen, wenn:

• eine hohe Wiedergabetreue für die Erstellung oder Eingabe komplexer Inhalte erforderlich ist
• visuelle Referenzen entscheidend sind
• Zeit und Raum für umfassende Problemlösungen nötig sind
• Aufgaben nicht sprachliche Elemente wie das Eingeben von Code oder die Navigation in einer Software-Oberfläche umfassen

Das führte uns zu einer zentralen Frage: Können wir die Interaktivität und Anpassungsfähigkeit von Sprache auf nichtsprachliche Kontexte übertragen?

Unser neuestes Experiment: Adaptive Lernübungen

Unsere Antwort darauf war ein innovativer „Learning by doing“-Ansatz. Das Prinzip ist denkbar einfach: Man startet mit einem Lernziel, das in Anforderungen oder Meilensteine unterteilt wird, die aufeinander aufbauen.

Die KI erstellt daraus schrittweise Mikro-Aufgaben, die gezielt das Verständnis und die praktische Anwendung fördern. Nach jedem Versuch gibt es sofort individuelles Feedback, und die nächste Aufgabe wird automatisch an den aktuellen Fortschritt und das Verständnis angepasst. 

Frühes Feedback

• „Ich fand es intuitiv. Mir hat gefallen, dass man nach jeder Erklärung und Aufgabenbeschreibung eine praktische Aufgabe bekam.“
• „Insgesamt verlief alles reibungslos. Das Feedback zu meinen Antworten war sehr hilfreich.“

Diversifizierung der Lernformate 

Die praktische Interaktion war entscheidend. Wir begannen mit der Texteingabe für verschiedene Aufgaben und erweiterten dann die Funktionen um einen Code-Editor für technisch anspruchsvollere Anwendungen.

Als Nächstes kamen Webcam- und Bildschirmaufzeichnungen hinzu. Besonders die Bildschirmaufzeichnungen erwiesen sich als wertvoll, da sie es ermöglichten, Fähigkeiten direkt im beruflichen Kontext oder in spezifischen Anwendungen zu zeigen. 

Frühes Feedback

• „Ich fand es gut, dass ich nicht nur schreiben, sondern auch sprechen musste. Ich konnte das Gelernte vertiefen. Das Konzept ist echt gut.“ 
• „Es war auf jeden Fall interaktiv und motivierend.“

Zusätzlich führten wir Multiple-Choice-Fragen ein, da ständige Texteingaben als lästig empfunden werden können. Auswahlfragen bieten hingegen eine einfachere Möglichkeit, das Verständnis zu überprüfen.

Mit dieser vielfältigen Palette an Modalitäten kann KI für jede Aufgabe das am besten geeignete Format auswählen und diese schrittweise aneinanderreihen. Dadurch wird die kognitive Belastung reduziert. In der Praxis bedeutet das: Zunächst wird das Verständnis mit Multiple-Choice-Fragen geprüft, anschließend folgen praktische Text- oder Codeeingaben und zum Abschluss Webcam- oder Bildschirmaufzeichnungen, um die Beherrschung zu demonstrieren.

Maßgeschneiderte Unterstützung gestalten

Eine Herausforderung war, den richtigen Grad an Hilfestellung zu finden: genug, um Frustration zu vermeiden, aber nicht so viel, dass der Lernprozess gestört wird. Unsere aktuelle Lösung umfasst mehrere Konfigurationsoptionen:

• Hinweise – auf Anfrage erhältlich
• KI-gestützte Fragen und Antworten – für eine sofortige Klärung
• Anpassbare Unterrichtstiefe – von oberflächlich über normal bis intensiv

Wir fügen außerdem jeder Aufgabe ein „Kaninchenbau“-Symbol hinzu, über das frühe Testpersonen bei Bedarf zusätzliche Kontextinformationen oder Erläuterungen aus spezifischen Lernressourcen abrufen können. 

Die Feinabstimmung 

Die Entwicklung eines wirklich adaptiven Prozesses brachte eine Reihe von Herausforderungen mit sich. Zu offen formulierte Aufgaben führten zu unklaren Erwartungen bezüglich Zeit- und Arbeitsaufwand. Unsere Lösung: eine klare Grundstruktur kombiniert mit flexibler Anpassung, sodass Fortschritte jederzeit sichtbar bleiben.

Auch die Fortschrittsmessung war eine Hürde – besonders, wenn die Beherrschung einer Aufgabe mehrere Anläufe über eine unbestimmte Anzahl von Aufgaben hinweg erforderte. Um den „genau richtigen“ Grad an Anpassung zu erreichen, waren viele Iterationen nötig. Das System musste sich anpassen, wenn Lernende Schwierigkeiten hatten. Es musste Aufgaben in überschaubare Einheiten aufteilen, auf Vorwissen aufbauen und Beispiele und Anweisungen dynamisch anpassen, ohne aber die Übungen zu einfach zu machen.

Vom Prototyp zur Weiterentwicklung: Die Reise geht weiter

Dank des Feedbacks von über 50 Testpersonen, denen wir herzlich danken, entwickeln wir das Konzept kontinuierlich weiter. Zukünftig werden Admins und Kurator:innen Lernziele definieren, adaptive Erfahrungen in Lernpfade integrieren und von detaillierten Berichten profitieren. Eine häufig genannte Wunschfunktion: bestehende Dokumentationen oder Schulungsmaterialien hochladen und automatisch in personalisierte Lernanforderungen umwandeln – basierend auf dem spezifischen Unternehmenswissen und den Aufgaben der Mitarbeitenden. 

Ein Tester fand: „Es ist ein tolles Tool. Es hat mir gezeigt, wie Unternehmen ihr eigenes Wissen nutzen können, um gezielte Unterstützung zu leisten – ein Online-Assistent, der in Echtzeit hilft.“

Das Experiment erwies sich als flexibles, motivierendes und effektives Lerninstrument. Die Möglichkeit, sofort und ohne Verwaltungsaufwand personalisiertes Feedback zu geben, ist von unschätzbarem Wert. Der KI-gesteuerte adaptive Lernfortschritt sorgt dafür, dass der Schwierigkeitsgrad immer optimal angepasst ist, während optionale Vertiefungen den individuellen Lernbedarf abdecken. 

Frühes Feedback

• „Für Menschen, die bei der Arbeit lernen und schnell etwas verstehen müssen, ist es auf jeden Fall sinnvoll.“
  

Die Zukunftsaussichten für adaptives Lernen

Aus dem Erfolg dieses Prototyps ergeben sich natürlich spannende neue Möglichkeiten für die zukünftige Entwicklung, darunter:

• Adaptive Beurteilungen: Eine neue Art, Skills und Wissen zu messen
• Adaptive Lernunterstützung und Motivation: Nicht nur eine Anpassung von Unterrichtsweise und Aufgaben, sondern eine personalisierte Unterstützung und Motivation der Lernenden während des gesamten Lernprozesses
• Adaptive Workflows: Bildschirmaufzeichnungen sind datenschutzrechtlich bedenklich – kann KI stattdessen kopierbare Workflows generieren, die für die Praxis optimiert sind und keine Risiken für reale Daten bergen? 

Seien Sie dabei

Wenn Sie diesen Prototyp selbst ausprobieren möchten, haben Sie folgende Möglichkeiten:

• Taylor Blake eine Direktnachricht auf LinkedIn senden
• Für unsere E-Mail-Liste zu Experimenten anmelden
• Degreed auf LinkedIn folgen

The post Degreed Experiments: Praktisches, adaptives Lernen erschließen appeared first on Degreed.

Vorab ein wichtiger Hinweis: In diesem Blogartikel dreht sich alles um einen KI-gestützten Coach für Führungskräfte, mit dem wir derzeit experimentieren. Es lohnt sich daher, ihn zuerst auszuprobieren, bevor Sie hier weiterlesen.

Hier geht’s zum Coach! Er ist zwar nicht perfekt, aber durchaus unterhaltsam. (Uns fallen Kosten für die Token-Nutzung an, daher wäre es schön, wenn sich Ihr Gespräch mit ihm nicht gleich auf mehrere Stunden auswächst.) Wir haben die Anmeldung zeitlich befristet, allerdings steht sie Ihnen noch einige Tage offen.

Nachdem Sie den Coach ausprobiert haben, können Sie ja zu diesem Artikel zurückkommen. Und damit weiter im Text:

Es ist wahr, die Roboter haben Sprechen gelernt!

OpenAI gab am 13. Mai bekannt, in den nächsten Wochen mit einem neuen Dialogmodus an den Start zu gehen.

Damit werden noch ausgefeiltere Fähigkeiten verfügbar, die den verbalen Austausch mit KI selbstverständlich machen werden. Was aber bedeutet das für L&D? Und warum beschäftigt uns das überhaupt? Schließlich sind Sprachassistenten längst nichts Neues mehr. Oder ist hier jetzt alles anders?

Um das herauszufinden, haben wir ein wenig experimentiert und dabei auch die Einschätzungen von L&D-Fachleuten eingeholt. Die Ergebnisse erläutern wir im Folgenden, ebenso wie die Auswirkungen, die damit einhergehen. Denn wie sich zunehmend abzeichnet, wird dialogorientierte KI einen ganz erheblichen Einfluss auf einige zentrale Aspekte von L&D nehmen.

Zunächst ein kurzer Überblick zur Technologie

Sprachassistenten wie Apple Siri oder Amazon Alexa gibt es schon seit einiger Zeit. Durch die Verarbeitung natürlicher Sprache verarbeiten sie Anfragen und geben dazu passende, vorgefertigte Antworten aus. So können sie zwar die Wettervorhersage verkünden, doch wie es Microsoft CEO Satya Nadella 2023 ausdrückte, sie sind auch „dumm wie ein Stein“. Es fehlt ihnen an den dynamischen oder generativen Fähigkeiten, die ein Large Language Model (LLM) wie das von ChatGPT bietet.

ChatGPT brachte dann auch die echte Veränderung: Mit Whisper, das 2022 als Ergänzung zu ChatGPT-3.5 eingeführt wurde, ließ sich Audio in Text umwandeln. So wurde es möglich, ChatGPT Sprachanweisungen zu geben und sich per Mausklick die Antworten vorlesen zu lassen. Audiofunktionen und Spracheingaben machten die Technologie zwar nutzbar, doch konnte sie die Ausgabe nicht unterbrechen oder dabei unterbrochen werden und war nicht zu einem echten Gespräch in der Lage, bei dem es keine strikten Anweisungen dafür braucht, wann wer etwas sagt.

Danach führten Start-ups aufbauend auf LLMs weitere Entwicklungen ins Feld, die einen natürlicheren Dialog ermöglichten. Wer im Gespräch an der Reihe ist, erkannten die Lösungen automatisch und ließen Unterbrechungen zu, sodass tatsächlich ein Dialog möglich wurde. Ergänzt wurde dies zudem um auflockernde Zwischenrufe wie „mhm“, mit denen die KI signalisiert, dass sie zuhört. Auch Betonung und Tonfall wurden analysiert, wobei all dies mitunter mit Latenzen verbunden war, da der zugrunde liegende Prozess mehrere Schritte beinhaltete: Zunächst generiert ein LLM wie ChatGPT-4 die Antwort, die dann von einem Sprachagenten und damit einer separaten Technologie gesprochen wird.

Diesen Monat gab OpenAI bekannt, dass ChatGPT-4o, die neueste Version seines generativen KI-Chatbots, in der Lage sein werde, Dialoge nativ zu verstehen und darauf zu antworten. Es braucht also keinen Sprachagenten mehr, der die Antworten des LLM vorliest. Das LLM spricht eigenständig: Fordert man die KI auf, langsamer zu sprechen oder eine bestimmte Rolle einzunehmen, wird sie dies tun. Ihrer Stimme wird dabei Ausdrucksstärke verliehen, und die KI wird den stimmlichen Ausdruck ihres Gegenübers verstehen können. All dies wird zudem in ein und dasselbe System integriert. Dadurch wird es schneller sein als alles bislang Dagewesene.

Zum Zeitpunkt der Veröffentlichung dieses Artikels ist nur das textbasierte Modell von GPT-4o verfügbar; die hochmodernen Sprachfunktionen (darunter auch eine umstrittene, der Schauspielerin Scarlett Johansson ähnelnde Stimme) wurden noch nicht veröffentlicht. Gegenwärtig ist es also möglich, ein Gespräch mit GPT-4o zu führen, doch muss man dem System mitteilen, wenn man es unterbrechen will, da es noch die frühere Technologie zur Spracheingabe und -ausgabe verwendet. Welche Funktionen aktuell verfügbar sind, können Sie hier nachlesen.

Zum Zeitpunkt der Veröffentlichung dieses Artikels wird in ChatGPT folgender Bildschirm angezeigt, wenn Sie den Sprachmodus aufrufen:

Gut, das war jetzt doch etwas länger als gedacht. Kommen wir nun also dazu, was die Verfügbarkeit von all dem für L&D bedeuten könnte.

Unsere Hypothese: Schnellere und authentischere Interaktionen für praktische Übungen und Reflexion

Mit textbasierten Chat-Szenarien für praktische Übungen und Rollenspiele hatten wir zuvor bereits experimentiert. Anfangs waren diese Interaktionen zwar unterhaltsam. Zu gewährleisten, dass sie sich real anfühlten (obwohl natürlich klar war, dass es sich um eine KI handelte), war aber letztlich mit einem viel zu großen Aufwand verbunden. Zudem erwies es sich als unnatürlich, Szenarien wie etwa ein Telefonat in einem Chat durchzuspielen, die eher in gesprochener Sprache stattfinden würden.

Um das Gefühl realer Interaktionen zu vermitteln und den Austausch einfacher zu gestalten, wollten wir das Szenario daher um Sprachfunktionen ergänzen.

Experiment 1: KI-Coach

Als LLM verwendeten wir GPT-4 Turbo, das wir um eine Ebene zur Sprachkommunikation erweiterten. Dann wiesen wir den Assistenten an, als Coach für Führungskräfte zu agieren. Zu bemerken ist hier, dass sich GPT-4 im Rahmen von früheren Forschungsarbeiten als effektivste Lösung für Rollenspiele erwiesen hat (wobei die Evaluierung eine begrenzte Auswahl anderer Modelle umfasste).

In diesem Video sind meine ersten Erfahrungen mit dieser Kombination festgehalten:

Zwar ist hier eine gewisse Latenz festzustellen. Die Fähigkeiten zur Gesprächsführung sind jedoch beeindruckend – tatsächlich bin ich derjenige, dem es schwerer fällt, sich klar auszudrücken.

Um Feedback von anderen einzuholen, ließ ich den KI-Coach von L&D-Verantwortlichen in meinem Netzwerk testen.

Insgesamt fiel die Resonanz äußerst positiv aus:

• „Sehr natürlich.“
• „Beeindruckend!“
• „Fantastisch!“
• „Echt realistisch.“
• „Leichtgängig.“
• „Das könnte ich mir auch für den täglichen Einsatz vorstellen.“  
• Gut, meine Frau sah das etwas anders. Sie fand das Ganze „echt bizarr“.

Zur sprachbasierten Interaktion erhielt ich folgende Kommentare:

• Ein sehr guter Gesprächsfluss, der aktuell am ehesten an die Interaktion mit Menschen herankommt.
• Sprachbasierte Interaktion eignet sich gut zur Reflexion; man ist dabei weniger selbstkritisch, weil das Gespräch linear abläuft (man also keine nachträglichen Änderungen mehr vornehmen kann) und nicht sichtbar ist, was man eingegeben, also gesagt hat. Mein Eindruck: Das Ganze lief schneller und war unkomplizierter.
• Als ich den Coach anwies, langsamer zu sprechen (damit ich seine Empfehlungen aufschreiben konnte), war er dazu nicht in der Lage.
• Auch wenn natürlich klar war, dass mein Gegenüber eine KI ist, fühlte sich das im Gesprächsverlauf zunehmend weniger danach an.
• Die Betonung und Artikulation waren gut und einem natürlichen Gespräch ähnlich.
• Die Latenz war zwar spürbar, fiel aber nicht allzu negativ auf.

Zum Nutzen des Coaches gab es folgende Anmerkungen:

• Der Coach lieferte hilfreiche Ideen und Empfehlungen.
• Er stellte gute Fragen, die wirklich zum Nachdenken anregten.
• Ansatz und Methodik wurden als effektiv bewertet.
• Der Coach hat die Angewohnheit, das Gesagte seines Gegenübers zu reflektieren (was von einigen als positiv, von anderen als negativ empfunden wurde).
• Zur praktischen Übung der Empfehlung schlug er ein Rollenspiel vor. Das war zwar angemessen, doch das Rollenspiel selbst fühlte sich etwas unbeholfen an.

Zur UI fielen die Kommentare wie folgt aus:

• Eine Möglichkeit zur Dokumentation der Empfehlungen wäre wichtig (wurde mehrfach erwähnt).
• Es war nicht auf Anhieb klar, wie man das Gespräch beginnt.
• Ein Avatar wäre hilfreich, damit man das Gefühl hat, mit einer Person zu sprechen.
• Man sollte Pausen einlegen können (zum Nachdenken oder um kurz andere Dinge zu erledigen).
• Es muss kommuniziert werden, wie viel Zeit das Szenario in Anspruch nehmen wird.
• Hilfreich wäre eine Mitschrift, eine Zusammenfassung, die Anzeige der nächsten Schritte oder von Ressourcen, auf die man später zurückgreifen kann.

Experiment 2: KI-Rollenspiel zum expressiven Verständnis

Hierbei untersuchten wir, inwieweit sich das expressive Verständnis und Interaktionen mit der KI natürlich anfühlen würden. Für das Experiment wählten wir ein Rollenspiel, bei dem ein verärgerter Kunde beim Service anruft, dem wir bei der Lösung seines Problems helfen müssen.

Nachfolgend ein kurzes Video dazu:

Zu diesem Szenario haben wir noch nicht allzu viel Feedback erhalten. Mein persönlicher Eindruck war jedoch, dass das Rollenspiel insofern effektiv war, als ich mich dabei reichlich unwohl gefühlt habe. Es war anspruchsvoll und ziemlich anstrengend. Die aufgebrachte Stimme einer anderen Person zu hören, ließ das Ganze in gewisser Weise „echt“ wirken.

Nachdem das nur ein Rollenspiel war, wusste ich natürlich, dass ich einfach hätte aussteigen können, wenn ich nicht weiter gewusst oder mich unwohl gefühlt hätte. Um das durchzuhalten, müsste ich wohl ein gewisses Maß an Verantwortung für das Ergebnis tragen oder meine Leistung müsste beurteilt werden. Jedenfalls wurde mir dabei klar: Für eine Rolle im Kundenservice bin ich nun wirklich nicht gemacht.

Eine Führungskraft aus unserem Vertrieb ließ ich ebenfalls auf dieses Rollenspiel los. Im Gespräch mit dem KI-Kunden benötigte sie nach eigenen Angaben 15 Minuten, bis sie zu einer guten Lösung gelangt war – wobei sie nach der Hälfte der Zeit ihre Taktik ändern musste. Sie berichtete mir zudem, dass sie den Ansporn verspürte, das Problem zu lösen, um zu „gewinnen“. Offenbar gehen die Leute vom Vertrieb solche Dinge einfach etwas anders an.

Bei einer weiteren Coaching-Interaktion untersuchten wir, ob eine KI mit einem expressiven Verständnis in der Lage ist, meine Emotionen zu erkennen, ohne sich auf den Inhalt meiner Worte zu stützen. Beeindruckenderweise gelang ihr dies, obwohl ich meine Emotionen nicht in entsprechenden Worten ausdrückte, doch wirklich überzeugen konnte mich ich das Ergebnis nicht. Grund hierfür war vielleicht, dass ich mich im Testmodus befand. Zumindest in diesem wirkte die Art, wie die KI auf meine Emotionen einging, nicht authentisch. Auch erkannte sie nicht besonders gut, wann sie aktiv in das Gespräch eingreifen sollte: Bei meinen unzufriedenen Ausführungen unterbrach sie mich wiederholt.

Unter dem Strich lässt sich festhalten, dass die Analyse expressiver Sprache vermutlich eher für echte zwischenmenschliche Interaktionen relevant ist.

Experiment 3: Schnellere Verarbeitung mit GPT-4o

Als der Textmodus von GPT-4o verfügbar wurde, beschlossen wir, unseren KI-Coach aus Experiment 1 erneut zu testen. Der Textmodus soll 50 % schneller sein als der von GPT-4 Turbo. Wir wollten wissen, ob sich dies in der Latenz unseres KI-Coaches niederschlagen würde.

Wie das nachfolgende Video zeigt, wurde die Latenz unseres KI-Coaches durch GPT-4o tatsächlich etwas verringert:

Unser Fazit: Mit GPT-4o konnten wir die Latenzzeit unserer KI-Coach-Anwendung von durchschnittlich 3,6 Sekunden auf 2,2 Sekunden reduzieren, wodurch das Gespräch wesentlich natürlicher wurde.

Ausblick

Auch weiterhin werden wir mit Dialogfunktionen experimentieren. Aktuell setzen wir einige Anregungen der L&D-Fachleute um, die den KI-Coach getestet haben. Zu nennen sind hier etwa Transkriptionen des Gesprächs, eine Zusammenfassung von Aktionspunkten, Verbesserungen an der UI sowie bei Analysen und Feedback-Optionen.

Ebenfalls testen wir weiterhin die neuesten LLMs und untersuchen den Einsatz sprachgesteuerter Interaktionen bei neuen Anwendungsfällen. Denkbar wäre hier etwa die Nutzung in mobilen Szenarien, bei der Interaktion während Meetings oder als Unterstützung bei administrativen Aufgaben.

Hier ein kurzer Einblick dazu, wie wir eine Live-Transkription implementieren möchten:

Kernpunkte für L&D-Teams

Je schneller sich die Technologie für Endverbraucher weiterentwickelt, umso größer wird der Druck für L&D, ebenso fortschrittliche Lernerfahrungen zu gestalten. Wie ist die Einführung dialogorientierter KI vor diesem Hintergrund also für L&D-Verantwortliche zu bewerten?

• Für alles ist dialogorientierte KI sicherlich nicht geeignet, bei bestimmten Anwendungsfällen etwa im Bereich der Skillentwicklung ist sie aber durchaus nützlich. Prüfen Sie daher, was für Ihre Zielgruppen am besten funktioniert, und ermitteln Sie dazu passende Lösungen.
• Dialogorientierte KI kann dabei helfen, mehr Personen mit besseren L&D-Erfahrungen zu geringeren Kosten zu erreichen. Wahrscheinlich ist aber auch, dass in diesem Zuge echte zwischenmenschliche Interaktionen kostspieliger werden.
• Für ein wirklich gutes Coaching braucht es zweifelsohne mehr als das, was wir in unserem Experiment gemacht haben. Dennoch sind wir überzeugt, dass KI-gestützte Interaktionen eine durchaus adäquate Ergänzung zu Ihren Lernprogrammen darstellen können.
• Die Kernaufgaben kann GPT-4o zwar beinahe komplett übernehmen. Einen Anbieter, der Funktionen für Berichte und Analysen liefert und die Anbindung an ergänzende Workflows ermöglicht, werden L&D-Teams aber wohl weiterhin benötigen. 

Sie möchten sich noch eingehender über dialogorientierte KI austauschen? Dann senden Sie mir einfach eine E-Mail an tblake@degreed.com. 

The post Dialogorientierte KI für L&D: Coaching, Rollenspiele und mehr appeared first on Degreed.

A skill-based approach can backfire if you don’t have good skill data. Incomplete data often contributes to the overlooking of quality internal talent. Why? They simply don’t have comprehensive skill profiles.

The Experiment: Strengthening Internal Talent Mobility Using AI

We hypothesized that AI can use inference to help fill skill data gaps and broaden a search for talent.

To set up our experiment, we created skill profiles (with 12 or more skills) for six employees: Taylor, a product manager (Hey, that’s me!); Adrian, a back-end developer; Jessica, a client success manager; Anne, a sales director; Quyen, a technical support specialist; and Stephen, a data analyst.

We then used AI to build a list of required skills for a new internal data analyst opportunity.

Today, most talent systems are looking for exact skill matches to recommend employees for new opportunities. This is what the talent pool looks like when an exact skill match for the data analyst position is performed.

Basically, Stephen (who is already a data analyst) looks to be the only person remotely qualified. This result is neither surprising nor insightful. And in today’s fast moving market, companies, managers, and employees need unexpected, innovative, and flexible solutions to fill skill gaps internally. 

But, using AI, we asked the system to also highlight people who have adjacent skills. After all, just because someone doesn’t explicitly have a skill listed on a skill profile doesn’t mean that person doesn’t actually have that skill. And voila! This is what our talent pool looks like when adjacent skills (using AI inference) are considered. 

Including adjacent skills creates an 89% increase in potential skill matches. We now see that Taylor (a product manager) and Jessica (client success manager) have adjacent skills that would help them qualify for this new position. Now we’re getting the more insightful and unexpected solutions that companies, managers, and employees need. 

Let’s take it one step further. We know that skills aren’t static. Increasingly, we’ll all need to upskill to fill skill gaps. So let’s use AI inference to highlight stretch skills that someone could upskill into.

Look at all that color. Accounting for development opportunities provides an even richer talent pool, resulting in 179% more potential matches than our original analysis. Quyen (technical support specialist) was not initially on our radar for this role, but we can now see that she has a path to upskill herself.

AI inference isn’t the end-all-be-all, but it’s a good place to start.

Are there limits to this use case? Sure. Just because AI infers that someone may have a skill doesn’t make it true. But it does help broaden our search, and it doesn’t exclude potentially qualified candidates right from the get-go. And this information can lead to further analysis—through follow up conversations or skill assessments—providing hiring teams with a wealth of potential options for internal talent mobility before otherwise defaulting to an external search.

Turn the talent you have into the talent you need.

Considering how challenging it can be to hire good talent, or to develop it from scratch, there’s no reason why learning leaders shouldn’t be amplifying the internal talent they already have. And if there are still some gaps at your organization, Degreed can help to turn the talent you have into the talent you need. 

Take a look at Verizon. When COVID lockdowns began, the wireless network operator, a Degreed client, temporarily closed nearly 70% of its retail stores essentially overnight. In doing so, Verizon looked at the skills of over 20,000 workers and redeployed them to serve other critical business needs. Through training, daily on-the-job coaching, and rapid reskilling, the company avoided layoffs and met the needs of customers faster and more efficiently. 

Exness, a Degreed client and Cyprus-based fintech company, found similar success clarifying job roles by mapping skills to them, which in turn enabled the organization to embrace a focused, adaptive approach to employee development. Skill gaps are clearly identified, learning needs are proactively defined, and upskilling happens, contributing to measurable business outcomes like improved performance and innovation.

Find out more. 

Thanks for following along with our experiments! You can check them all out, and be sure to watch for new experiments coming soon. (For example, would you like to see if AI can help estimate the time and cost for any employee to upskill to a certain level? Let’s find out!)

The post Internal Talent Mobility: Using AI to Find Overlooked Skills appeared first on Degreed.

We’ve been testing and discussing these topics inside and outside of Degreed. But, we’d like to open up the conversation. 

That’s why we’re excited to announce a new initiative, Degreed Experiments. This will be a blog series (and hopefully a two-way conversation) geared toward exploring the suitability of emerging technologies for the challenges in L&D. Through hands-on prototyping, we’ll share with you what works, what doesn’t, and new questions we encounter along the way. Through it all you’ll become a more informed, and credible partner who can help your business evaluate emerging technologies and opportunities. 

Why Degreed Experiments?

We’ve been building learning products for a long time, but the way we build products is changing. With the incorporation of AI, product experiences are less predictable and deterministic. You don’t really know what an AI-powered product will be like until you can play around with it.

Combine that unpredictability with the future of work and the evolving role of L&D and we have a dynamic that requires rapid experimentation and iteration.

Now, we see all the AI chatter and don’t want to contribute to the noise. We’re determined to give you actual data and examples that can only come from trial and error.

What You Can Expect: Hands-on Prototypes

First, we’re builders. That means there will be more showing as we demo hands-on prototypes, critically evaluate the outputs, and let you judge the results for yourself.

In future posts, we’ll deep dive into emerging technology use cases like:

Upgrading Practice Scenarios from Chat to Live-speech Conversations

Our Hypothesis: Practice scenarios are a powerful way to develop skills in context. Having the option to not only practice in a chat-based scenario but also in a live conversation (like you’re really talking to someone) will make the scenario feel more real. This could be more effective for use cases like sales calls, interviewing, and executive coaching.

Skill Inference from Employee Data

Our Hypothesis: Leveraging existing employee data and activity can help you quickly identify skill strengths and gaps resulting in better data coverage, more up-to-date profiles, and should be good enough for some use cases (though not all). We also expect the details on how this is done to matter a lot.

Dynamic Taxonomies for Skills, Tasks, or Other Requirements

Our Hypothesis: Organizing skills, people, and work quickly and flexibly (versus rigid and traditional taxonomies) can speed up building learning experiences, identifying talent, and mapping career paths.

Smart, Mobile Nudges and Content Delivery

Our Hypothesis: Lots of your existing content could be reformatted into mobile-friendly nudges to better optimize engagement and retention. The micro-learning concept has been overplayed, but we think there are new ways to approach this with emerging technologies.

Identifying Internal Talent

Our Hypothesis: We need dynamic ways to match people to internal opportunities. This may include looking at someone’s skills, experience, working relationships, or other key attributes. Those doing the evaluation should be able to change the criteria used for matching as needed to find the best fit.

Building Personalized Learning Experiences

Our Hypothesis: Learning is more than content. We can design and personalize experiences that are optimized for closing performance gaps.

Side-by-side Model Evaluation

Our Hypothesis: Comparing models and methodologies side-by-side will give us the ability to identify the best fit for any use case.

Reviews of the Latest Research on Emerging Technologies

AI is advancing rapidly and chaotically. We’re going to explore the latest technical research and evaluate its impact on L&D. 

Recent and dramatic advancements in emerging technologies will open new use cases for learning and development. 

• Multimodal: Images, audio, video, and avatars will open new doors (and traps) for content creation and delivery.
• Evolution of RAG (Retrieval Augmented Generation): The ability to search, summarize, or ask questions from your own source documents are huge use cases. We’re seeing rapid advancements in RAG methodologies, longer context windows, methods for extending memory, and new architectures (beyond transformers used in models like ChatGPT) that will empower knowledge management.

• Agents: As AI models get more similar and competitive, the next frontier will be the use of agents that can perform chains of actions (including planning and evaluating the work done) using various models. This will open the door for even more automation.

• Screen vision: Researchers are exploring AI assistants that can see and act on what’s on a screen, regardless of whether any formal integration between applications exists. This could transform on-the-job training and performance support.
• Wearables: New AI-wearables are just emerging but could inspire more ways to support deskless workers.

In addition, non-obvious but important limitations exist. While these can be managed or mitigated, it’s still crucial to understand them.

• Factuality: AI models still struggle with factuality when creating long-form content and providing accurate citations.
• Long-form reasoning: While AI models do a great job at finding self-contained pieces of information, they struggle to reason across long contexts.
• Following instructions: Even the most advanced models still don’t fully follow instructions a third of the time.
• Unpredictability: Not all models are well suited to all tasks. Outputs from models change, and the models themselves are frequently updated in unpredictable ways.
• Cost: As usage scales, cost will be an important factor. Vendors will look to make tradeoffs between capabilities and cost or pass the cost onto clients.

Finally, there are more strategic implications.

• Are you prepared to help navigate career mobility when AI disrupts the viability or capacity of certain roles?
• What functionality should you get from new vendors vs. waiting for it to be incorporated into your existing applications?
• How will new regulations and audits affect which capabilities you can take advantage of?
• Which data will AI have access to, what is the data quality, and will it increase visibility to sensitive or misclassified data?
• Will there be responsibilities that AI displaces from L&D?
• What is required to build AI literacy in your organization?

See, I told you there’d be lots of questions. So, follow along and we’ll see if we can answer them together.

What’s In It For You

Hopefully, a lot. We’ll let you judge for yourself the suitability of the emerging technologies for your use cases and organization. We’ll make it easy to stay up to date with all the advancements. We’ll help you become a better partner for your business as your colleagues ask similar questions internally. And hopefully we can even have some fun along the way!

How to Get Involved

Send us ideas or questions. We’d love to hear what’s on your mind. Email tblake@degreed.com.

Volunteer to take our experiments for a test run. We’ll pick a few partners to help test and provide feedback on each prototype. Let us know which topic has piqued your interest by emailing tblake@degreed.com

Follow us on LinkedIn to catch our next posts, which will be coming soon.

Thanks, all! We’re excited to see what we learn together.

Watch an on-demand session with AI Guru, Noelle Russell, discussing the future of AI.

The post Degreed Experiments with Emerging Technologies appeared first on Degreed.