Project 4: Making Charisma Measurable: Advancing and Evaluating an LLM-Based Tool for Analyzing Charismatic Leadership Tactics in Speeches and Texts
Project Description
Charismatische Führungskommunikation zählt zu den wirksamsten Einflussmitteln von Führungskräften. Feldexperimente zeigen, dass Beschäftigte nach einer charismatisch gehaltenen Ansprache messbar produktiver arbeiten (Antonakis et al., 2022). Operationalisiert wird Charisma über die Charismatic Leadership Tactics (CLTs) – verbale Taktiken wie Metaphern, Geschichten, rhetorische Fragen, Dreierlisten oder Kontraste (Antonakis et al., 2011). Die Erhebung von CLTs erfolgt bislang überwiegend manuell durch geschulte Kodierende – ein aufwendiges, teures und kaum skalierbares Verfahren. Erste automatisierte Ansätze existieren (z. B. ein feingetuntes BERT-Modell; Saeid et al., 2024), sind jedoch auf englischsprachigen, synthetisch erzeugten Sätzen trainiert, nicht frei nutzbar und für Anwenderinnen und Anwender ohne KI-Kenntnisse nicht zugänglich.
Am Lehrstuhl wurde im Rahmen einer Bachelorarbeit bereits ein LLM-basierter Prototyp entwickelt, der Reden entlang der CLT-Kriterien analysiert. Dieser Prototyp ist funktional, jedoch deutlich begrenzt: Er verarbeitet nur einzelne Texte, wurde nicht systematisch gegen menschliche Kodierungen validiert, besitzt keine nutzerfreundliche Oberfläche und adressiert weder Prompt-Variabilität noch Halluzinationen. Damit ist er weder wissenschaftlich belastbar noch praktisch einsetzbar. Der bestehende Prototyp soll zu einem robusten, evaluierten und dokumentierten Analysewerkzeug weiterentwickelt, systematisch getestet und auf ein reales Redekorpus angewendet werden.
Project Objectives: Ziel des Projekts ist die Weiterentwicklung des bestehenden Prototyps zu einem validierten, dokumentierten und nachnutzbaren LLM-basierten Analysewerkzeug für charismatische Führungstaktiken in Reden und Texten. Das Vorgehen orientiert sich an der Design Science Research Methodology (z. B. Peffers et al., 2007).
Im Einzelnen soll die Projektgruppe:
- den bestehenden Prototyp analysieren, Schwachstellen dokumentieren und daraus Anforderungen ableiten;
- eine robuste Analysepipeline entwickeln (Import von Texten und Transkripten, Segmentierung, LLM-gestützte CLT-Klassifikation auf Satzebene, normierte Charisma-Scores, Export);
- ein transparentes, versioniertes Prompt- und Kodierschema auf Basis der CLT-Definitionen umsetzen;
- eine interaktive Oberfläche mit Visualisierungen bereitstellen (CLT-Profile, Verlauf innerhalb einer Rede, Vergleich mehrerer Sprecherinnen und Sprecher);
- das Artefakt systematisch evaluieren: gegen ein manuell kodiertes Goldstandard-Sample (Übereinstimmungsmaße wie Cohens Kappa), im Vergleich mehrerer Modelle sowie hinsichtlich der Stabilität wiederholter Durchläufe;
- das Tool auf ein reales Korpus anwenden (z. B. CEO-Reden, Aktionärsbriefe oder politische Reden) und die Ergebnisse interpretieren.
Ergebnis sind ein lauffähiges Tool, ein Evaluationsbericht sowie dokumentierte Design-Prinzipien, die eine anschließende wissenschaftliche Verwertung ermöglichen.
Project Requirements:
- Erstellung eines Projektplans und Verteilung der Aufgaben auf die Gruppenmitglieder mittels Projektmanagement-Techniken (Standard/Pflicht)
- Projektdokumentation (Standard/Pflicht)
- Präsentation der Projektergebnisse in Zwischen- und Abschlusspräsentation (Standard/Pflicht)
- Einarbeitung in den bestehenden Prototyp, Schwachstellenanalyse und Anforderungserhebung mit der Betreuung
- Entwicklung einer lauffähigen Applikation mit LLM-Anbindung, CLT-Klassifikation, Scoring und interaktiver Visualisierung
- Aufbau eines manuell kodierten Goldstandard-Samples und systematische Evaluation des Artefakts (Übereinstimmung mit menschlicher Kodierung, Modellvergleich, Stabilität der Ergebnisse)
- Anwendung des Tools auf ein reales Redekorpus sowie Aufbereitung und Interpretation der Ergebnisse
- Reproduzierbare Code-Basis mit Repository, README und versionierten Prompts
Prerequisites:
- Studierende der Fakultät für Informatik der Studiengänge Wirtschaftsinformatik oder Software Engineering im Bachelor mit mindestens 90 CP oder im Master (Standard/Pflicht)
- Grundsätzliches Interesse sich mit KI-basierten Methoden und deren programmatischen Umsetzung zu beschäftigen
- Bereitschaft, sich in führungstheoretische Grundlagen (Charismatic Leadership Tactics) einzuarbeiten – Vorkenntnisse sind nicht erforderlich
Literatur
- Antonakis, J., Fenley, M., & Liechti, S. (2011). Can charisma be taught? Tests of two interventions. Academy of Management Learning & Education, 10(3), 374–396. doi.org/10.5465/amle.2010.0012  ;
- Antonakis, J., d'Adda, G., Weber, R. A., & Zehnder, C. (2022). Just words? Just speeches? On the economic value of charismatic leadership. Management Science, 68(9), 6355–6381. doi.org/10.1287/mnsc.2021.4219  ;
- Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45–77. https://doi.org/10.2753/MIS0742-1222240302
- Saeid, Y., Neubürger, F., Krügl, S., Hüster, H., Kopinski, T., & Lanwehr, R. (2024). Harnessing large language models: Fine-tuned BERT for detecting charismatic leadership tactics in natural language. 2024 IEEE 3rd Conference on Information Technology and Data Science (CITDS). https://doi.org/10.48550/arXiv.2409.18984
How to apply
If you are interested in this porject, follow the steps below to submit your application.
1. Form a project group
Projects are typically carried out in groups of 3–5 students. We recommend forming a group with fellow students before applying.
2. Prepare your application
Send a short application including:
- your transcript of records
- a short motivation letter (about one page) explaining why your group is interested in the project.
3. Submit your application
Send your application via email to:jannis.nacke (at) icb.uni-due.de
