Giorgio Cam

Questo è un esperimento costruito con l'apprendimento automatico che ti consente di fare musica con il computer semplicemente scattando una foto. Usa il riconoscimento delle immagini per etichettare ciò che vede, quindi trasforma quelle etichette in testi di una canzone.

COME FUNZIONA

L'applicazione javascript lato client acquisisce le immagini utilizzando WebRTC. Quando l'utente preme il pulsante di scatto, un'immagine viene inviata al server che quindi restituisce una serie di etichette e punteggi di affidabilità per quell'immagine utilizzando Cloud Vision. Queste etichette vengono inserite in un modello di rima per creare la frase successiva che il computer pronuncerà. Per ottenere l'audio di quella frase, il client fa un'altra richiesta al server MaryTTS (text to speech) che restituisce un file wav dell'audio. L'audio viene quindi sincronizzato con la musica utilizzando Tone.js. 

Provalo cliccando su GAME: