Navigating AI-Driven Semantic Text Analysis for Decision Making in Idea Management

_{Created with DALL-E3}

In modernen Organisationen ist die Identifikation und Nutzung von innovativen Ideen für beispielsweise Prozessverbesserungen oder neue Produkte aus der Mitarbeiterschaft von entscheidender Bedeutung, allerdings stellt die Umsetzung solcher Ansätze einen großen Aufwand dar [1]. Dabei kommen sogenannte Ideenmanagementsysteme zum Einsatz, über welche Mitarbeitende ihre Ideen primär textuell einreichen, die im Anschluss ausgewertet und bewertet werden, um Entscheidungen zu treffen, welche fortgesetzt oder verworfen werden [2]. Allerdings können Organisationen beim Ideenmanagement vor erheblichen Herausforderungen stehen, wenn es darum geht, eine angemessen detaillierte Analyse und Bearbeitung der eingereichten Ideen sicherzustellen [3]. Bei hoher Beteiligung in der Mitarbeiterschaft können eine große Anzahl an Einreichungen von Ideen erfolgen, was häufig dazu führt, dass ähnliche oder nahezu identische Ideen mehrfach vorliegen. Dieser Umstand sorgt für einen erhöhten Bewertungsaufwand und erschwert den Entscheidungsprozess über die Weiterverfolgung der Ideen. Im Rahmen der Bewertungsprozesse werden darüber hinaus Experten oder Führungskräfte mit hohem technologischem und fachlichem Wissen eingesetzt. Hierbei handelt es sich um eine Personengruppe, deren Kostenintensität einen hohen finanziellen Aufwand erfordert und deren zeitliche Verfügbarkeit in der Regel stark begrenzt ist.

Hier setzt das Pathfinder Projekt an, indem es die aktuellen Möglichkeiten im Bereich der (generativen) künstlichen Intelligenz (KI) zur semantischen Analyse von Texten am Beispiel der Ideenmanagementsysteme untersucht. Ziel ist es, den Einsatz von KI zur Unterstützung und (Teil-)Automatisierung von Prozessen zur Ideenanalyse, -bewertung und -priorisierung zu evaluieren. So sollen moderne KI-Technologien dabei helfen, semantische Duplikate zu erkennen und ähnliche Ideen miteinander zu vergleichen [4]. Dies ermöglicht es, redundante Vorschläge zu reduzieren und Ideengeber:innen mit ähnlichen Ansätzen zu vernetzen, was wiederum die kollaborative Entwicklung und das Ausschöpfen von Synergiepotenzialen unterstützt und so zum Beispiel zur Gründung von sogenannten Communities of  Practice [5] führen kann. Die Forschungsfrage, inwiefern KI, insbesondere generative KI und Sprachmodelle (Language Models), genutzt werden können, um semantische Informationen aus textbasierten Inhalten zu extrahieren, steht dabei im Zentrum der Untersuchungen. Das Potenzial dieser Technologien den komplexen und ressourcenintensiven Prozess der Ideenauswertung zu unterstützen ist hoch [6], jedoch wird im Pathfinder Projekt besonders darauf geachtet, dass dabei die Qualität der Analysen und Bewertungen nicht beeinträchtigt werden und in Kollaboration mit dem Menschen gleich bleibt oder verbessert wird. 

Zu Beginn führen wir eine systematische Literaturrecherche nach der Methode von Xiao und Watson [7] durch. Ziel ist es, den aktuellen Stand der KI-gestützten semantischen Textanalyse zu ermitteln, die Einsatzmöglichkeiten sowie den Forschungsstand von KI im Bereich des Ideenmanagements zu analysieren und relevante Metriken zur Bewertung solcher Lösungen zu explorieren. Im Anschluss beabsichtigen wir, die vielversprechendsten Ansätze mit einem prototypischen Ideenmanagementsystem zu erproben und zu evaluieren. Für diesen Zweck wird eine möglichst große Menge an Daten benötigt. Dabei planen wir mit den folgenden zwei Datenquellen:

1. Das Digital and Data Literacy in Teaching Lab (DDLitLab), welches dieses Studierendenprojekt mit finanziellen Mitteln fördert, hat in den letzten drei Jahren zahlreiche Projektanträge zur Bewerbung auf Förderungen erhalten. Diese Anträge werden als eine Datenquelle genutzt, um Gemeinsamkeiten durch u.a. thematische Schwerpunkte oder methodische Ansätze zwischen diesen zu finden. Dadurch kann ein Matchmaking erfolgen, welches potenziell gemeinsame Förderungen oder Kollaborationen hervorbringt.
2. Mit dem prototypischen Ideenmanagementsystem werden im Rahmen von zwei geplanten Workshops Ideen zur Verbesserung der Nachhaltigkeit der Universität Hamburg gesammelt. Zusätzlich erstellt eine generative KI synthetische Ideen, die als Kontrollinstanz dienen. Diese realen und synthetischen Ideen werden anschließend miteinander verglichen, um ihr Potenzial zu bewerten, wobei sowohl Menschen als auch eine KI die Ideen unabhängig voneinander einstufen. Ziel ist es, die Unterschiede oder Übereinstimmungen in den Bewertungen von Menschen und KI zu untersuchen. 

Daten spielen eine essenzielle Rolle für unser Forschungsprojekt. Um künftig auch weitere Forschung in diesem Bereich zu unterstützen und anderen Forschungsgruppen die Möglichkeit zu bieten, eigene Algorithmen zu evaluieren, beabsichtigen wir, einen Datensatz zu erstellen und diesen der Forschungscommunity als Open-Source-Ressource zur Verfügung zu stellen. Dieser Datensatz wird aus den im Rahmen des Projekts generierten und gesammelten Ideen bestehen, jedoch unter Ausschluss der unter Punkt 1 genannten Projektanträge aus Datenschutzgründen. Damit schaffen wir eine fundierte Datengrundlage, die es ermöglicht, unsere Forschungsergebnisse nachzuvollziehen und mit neuen Ansätzen zu vergleichen. 

Ein weiterer zentraler Aspekt unserer Forschung ist die Sicherstellung von Fairness in der Bewertung und Entscheidungsfindung. Beim Einsatz von künstlicher Intelligenz besteht stets das Risiko, dass die Algorithmen aufgrund von Verzerrungen (Bias) in den Trainingsdaten oder den eingesetzten Modellen zu unausgewogenen oder unfairen Ergebnissen führen [8], [9]. Dies ist besonders relevant bei der automatisierten Auswertung von Ideen, da Voreingenommenheit potenziell innovative Ansätze benachteiligen oder bevorzugen könnte. Unser Ziel ist es, Methoden und Ansätze zu erforschen, die solche Verzerrungen verhindern oder zumindest deutlich machen. Damit soll unterstützt werden, dass die KI-basierte Verarbeitung möglichst objektiv und transparent bleibt und Ideen fair bewertet werden. 

Das Pathfinder Projekt soll somit einen Beitrag zur Weiterentwicklung von Ideenmanagementsystemen durch den gezielten Einsatz moderner KI-Technologien leisten. Unser Ansatz zielt darauf ab, die Effizienz und Qualität der Ideenbewertung zu steigern, die Kollaboration zwischen Ideengeber:innen zu fördern und gleichzeitig Fairness sowie Transparenz zu fördern. Damit schaffen wir eine Grundlage für Organisationen, um das in diesen schlummernde kreative Potenzial der Mitarbeiterschaft besser auszuschöpfen und Innovationsprozesse zu etablieren.

Und hier eine kurze Videovorstellung des Projekts:

Literatur:

[1] S. Høyrup, „Employee-driven innovation and workplace learning: basic concepts, approaches and themes“, Transfer: European Review of Labour and Research, Bd. 16, Nr. 2, S. 143–154, 2010, doi: 10.1177/1024258910364102. 
[2] C. Sandstrom und J. Bjork, „Idea management systems for a changing innovation landscape“, IJPD, Bd. 11, Nr. 3/4, S. 310, 2010, doi: 10.1504/IJPD.2010.033964. 
[3] J. Just, T. Ströhle, J. Füller, und K. Hutter, „AI-based novelty detection in crowdsourced idea spaces“, Innovation, Bd. 26, Nr. 3, S. 359–386, 2024, doi: 10.1080/14479338.2023.2215740. 
[4] S. Leka, „The Role of Artificial Intelligence in Idea Management Systems and Innovation Processes: An Integrative Review“, in AICCONF ’24: Proceedings of the Cognitive Models and Artificial Intelligence Conference, 2024. doi: https://dl.acm.org/doi/10.1145/3660853.3660890. 
[5] E. Davenport und H. Hall, „Organizational knowledge and communities of practice“, Annual review of Information Science and technology, Bd. 36, Nr. 1, 2002, doi: 10.1002/aris.1440360105. 
[6] J. Bell, C. Pescher, G. Tellis, und J. Füller, „Can AI Help in Ideation? A Theory-Based Model for Idea Screening in Crowdsourcing Contests“, 2023, doi: 10.1287/mksc.2023.1434. 
[7] Y. Xiao und M. Watson, „Guidance on Conducting a Systematic Literature Review“, Journal of Planning Education and Research, Bd. 39, Nr. 1, S. 93–112, 2019, doi: 10.1177/0739456X17723971. 
[8] N. Mehrabi, F. Morstatter, N. Saxena, K. Lerman, und A. Galstyan, „A Survey on Bias and Fairness in Machine Learning“, 2022, Verfügbar unter: http://arxiv.org/abs/1908.09635 
[9] P. S. Varsha, „How can we manage biases in artificial intelligence systems – A systematic literature review“, International Journal of Information Management Data Insights, Bd. 3, Nr. 1, S. 100165, 2023, doi: 10.1016/j.jjimei.2023.100165.