Lehrende: Tal Peer
Veranstaltungsart: Projekt
Anzeige im Stundenplan: MProj - SP
Semesterwochenstunden: 2
Unterrichtssprache: Englisch
Min. | Max. Teilnehmerzahl: - | 15
Kommentare/ Inhalte: The goal of this project is to develop a real-time transcription system of meetings with several persons. If a meeting is recorded with a single microphone e.g. placed on the table, this transcription is difficult in practice. This is because in real-word scenarios, speakers interrupt each other and the recordings may contain up to 20\% of overlapping speech [1]. A speech recognition engine alone fails to achieve transcription during these overlaps. A solution is to use a speech separation system which separates the speech signals before sending them separately to the speech recognition engine. However, there are several challenges. First, a system used in practice should work independent of who is speaking. Second, the number of speakers in the meeting is typically unknown and may also change during the course of a real-world meeting. Finally, the system should not distort speech when only one speaker is active. The core of this project is to develop a real-time speech separation system overcoming these challenges. [1] O. Çetin and E. Shriberg, “Analysis of overlaps in meetings by dialog factors, hot spots, speakers, and collection site: insights for automatic speech recognition,” in Interspeech. ISCA, 2006, pp. 293–296.
Lernziel: - Fachkompetenzen im Bereich der Signalverarbeitung und maschinellem Lernen - selbständiges und strukturiertes Bearbeiten eines Forschungsthemas und dessen Umsetzung in Software im Team. - Verbessern der Wissenschaftskommunikation durch das Ausarbeiten eines Projektberichts sowie die regelmäßige Präsentation von (Zwischen-)Ergebnissen - Einübung von Teamarbeit
Vorgehen: Zu Beginn wird eine Einführung in die (Audio-) Signalverarbeitung gegeben und relevante Fachliteratur besprochen. Anschließend werden die Themen und Ziele des Projekts konkretisiert. Dazu entwerfen und präsentieren die Studierenden einen Arbeitsplan inklusive Meilensteinen. Während der eigentlichen Arbeit an dem Projekt werden in regelmäßigen Abständen Statusberichte präsentiert und der Ablaufplan ggf. entsprechend angepasst.
Literatur: Wird in der Veranstaltung bekanntgegeben.
