Un jour, un outil d'IA générative

Hum2Song (https://www.carlostoxtli.com/hum2song/, documentation : https://github.com/toxtli/hum2song) génère un accompagnement musical à partir d’une mélodie fredonnée ou chantée.

Fonctionne localement et ne transmet aucune donnée : traitement et modèles s’exécutent dans le navigateur (Google Chrome recommandé).
Modèles et sons sont téléchargés au premier chargement (100 Mo).

En mode « Simple », un enregistrement de 2 à 8 secondes déclenche la génération.
Le mode « Avancé » montre les étapes de la génération : transcription audio en notes, détection du genre musical, adaptation instrumentale, génération basse et batterie, gamme, accords et accompagnement. Ce mode accepte un fichier audio importé ou un clavier MIDI connecté.

Le résultat téléchargé au format midi peut être édité dans une interface dédiée (https://www.carlostoxtli.com/daw/) avec édition des pistes, synthétiseurs, réglages BPM et export WAV.

Open source, gratuit, sans compte et illimité.

Tests depuis voix fredonnée en mode « Simple » (convertis en mp3 pour cet article) :

Tests depuis voix fredonnée en mode « Avancé » (converti en mp3 pour cet article) avec enregistrement initial :