Open Daily: 10am - 10pm | Alley door pickup 10am - 7pm 3038 Hennepin Ave Minneapolis, MN
612-822-4611

  • Open Daily: 10am - 10pm
    Alley-side Pickup: 10am - 7pm

    3038 Hennepin Ave Minneapolis, MN
    612-822-4611

Open Daily: 10am - 10pm | Alley-side Pickup: 10am - 7pm
3038 Hennepin Ave Minneapolis, MN
612-822-4611
Bildunterschrift

Bildunterschrift

Kannaiyan, Kanchana
R, Meenatchi

Paperback

Business General

ISBN10: 6207660994
ISBN13: 9786207660995
Publisher: Verlag Unser Wissen
Published: Jun 19 2024
Pages: 64
Weight: 0.23
Height: 0.15 Width: 6.00 Depth: 9.00
Language: German
Die Beschriftung von Bildern mit Audiodaten hat sich als anspruchsvolle, aber vielversprechende Aufgabe im Bereich des Deep Learning herausgestellt. Dieses Papier schlägt einen neuartigen Ansatz zur Bewältigung dieser Aufgabe durch die Integration von Convolutional Neural Networks (CNNs) für Bild Feature-Extraktion und rekurrente neuronale Netze (RNNs) für sequentielle Audio-Analyse. Konkret nutzen wir vortrainierte CNNs wie VGG, um visuelle Merkmale aus Bildern zu extrahieren, und verwenden Spektrogrammdarstellungen in Verbindung mit RNNs wie LSTM oder GRU, um Audioeingaben zu verarbeiten. Das von uns vorgeschlagene Modell basiert nicht nur auf dem visuellen Inhalt, sondern auch auf den begleitenden Audiohinweisen. Wir evaluieren die Leistung unseres Modells anhand von Benchmark-Datensätzen und demonstrieren seine Effektivität bei der Generierung kohärenter und kontextuell relevanter Bildunterschriften für Bilder mit entsprechenden Audioeingaben. Zusätzlich führen wir Tabellierungsstudien durch, um den Beitrag jeder Modalität zur Gesamtleistung der Beschriftung zu analysieren. Unsere Ergebnisse zeigen, dass die Fusion von visuellen und auditiven Modalitäten die Qualität der Beschriftung im Vergleich zur isolierten Verwendung einer der beiden Modalitäten deutlich verbessert.

Also from

Kannaiyan, Kanchana

View All

Also in

Business General

View All