DivideConcept.net

le blog de divide.

Spectral Layers : Photoshop pour le son

english page

Voila maintenant 2 ans que je travail sur ce projet. Je n’aurai jamais cru m’embarquer dans un projet aussi long, et pourtant il n’est pas encore fini !
L’idée me trottait en tête depuis quelques années, et pourtant je n’ai vu aucun des acteurs majeurs de l’audio se lancer sur ce genre de concept :
Un Photoshop pour le son.

Un logiciel où on ne travaillerait plus sur cette vue waveform abstraite, mais directement sur une représentation visuelle du son, le spectre audio.
Un logiciel qui proposerait des outils pour travailler directement dessus, comme s’il s’agissait simplement de retouche d’image, isolant et retravaillant uniquement des fréquences ciblés.
Un logiciel qui proposerait un système de calques pour additionner mais aussi soustraire, transvaser les fréquences sans détruire l’original, pouvoir encore et encore affiner extractions et transformations.

Ce logiciel c’est Spectral Layers.

http://www.vimeo.com/25322534Version HD sur Vimeo

Ce projet m’a appris beaucoup (structuration, multithreading, conception d’interfaces…), et avec le framework Qt j’ai facilement gagné un an de développement en conception et en portage (le logiciel fonctionne sur Windows et Mac OS X).
Le retour des premiers alpha-testeur a été encourageant et très instructif, merci à eux !

Mais la route n’est pas fini, et le but de cet article est de trouver de nouveaux contacts :
Vous connaissez des acteurs du monde audiovisuel ? Ou des gens interessés pour investir sur ce genre de système ?
N’hésitez pas à leur transmettre cet article ou la vidéo et à me contacter !

71 commentaires pour “Spectral Layers : Photoshop pour le son”

  1. Sir_carma dit :

    Vraiment impressionnant, well done ! J’imagine pas le boulot passé derrière un tel soft…
    Je transmets à quelqu’un, pas sur que ça donne quoique ce soit mais on sait jamais.

  2. skaven dit :

    Ca fait plaisir de voir le produit presque sorti :)

  3. Darkstryder dit :

    Big up ! Fait plaisir de voir le truc à la lumière du jour :)

  4. Grendel dit :

    Sincèrement soufflé par la bête !
    Vends ça à la NSA ou à la CIA !

  5. Sir_carma dit :

    Vient sur msn quand tu peux, j’ai quelques contacts pour toi.

  6. Spam_One dit :

    Je transmet à une vieille connaissance du lycée qui est produit par Fresh Poulp : Pitbull the sexy dog
    http://www.fracama.org/actualite/view/1083/56eme-sortie-pour-le-netlabel-fresh-poulp-records

    En tout cas le concept est assez ouf. Il faut que le logiciel fasse ses preuves en prod avec des pros, histoire d’être le premier inséré dans le monde pro et devenir la référence.

  7. Austerlitz dit :

    Franchement impressionnant!!!

  8. anaconda dit :

    Super impressionnant le travail qu’il est possible d’effectuer avec ton logiciel. Pas assez de mots me viennent à l’esprit tellement je suis soufflé, en tout cas une chose est sur, c’est que devant toi, ya de l’avenir avec ça.

    C’est prévue pour être open source ou au moins libre de droits, ou ça passera payant à terme?

  9. Whisper dit :

    Le début de la gloire \o/

    Félicitations pour le boulot abattu dude :)

    je t’avais filé un contact d’un ingé son d’MTV, tu l’as toujours?

  10. jbriguet dit :

    Impressionant. GG.

  11. Wodash dit :

    C’est cool, j’avais aussi pensé à la même chose et ça me fait plaisir de voir que je n’étais pas le seul et de voir un si beau boulot. Félicitations

    Bon courage pour la suite!

  12. bloodyhenry dit :

    Wow. Depuis le temps que j’attendais un logiciel du genre.

  13. xandar dit :

    Très impressionnant !

    Si tu vends ton projet, j’espère très sincèrement que tu vas te faire les couilles en or.

  14. Gama dit :

    Grosse enflure, je bosse sur un truc équivalent depuis longtemps, tu me coupes tout avec ton soft !

    Bien joué en tout cas, ç’a l’air très propre. Tu comptes donner des détails un peu techniques (genre savoir si derrière tout ça c’est des ondelettes ou de la STFT), voire passer à l’open source ?

    En tout cas félicitations, ce genre de soft a de l’avenir - c’est en pleine expansion actuellement.

  15. Sir_carma dit :

    Gama a dit :
    Grosse enflure, je bosse sur un truc équivalent depuis longtemps, tu me coupes tout avec ton soft !
    Bien joué en tout cas, ç’a l’air très propre. Tu comptes donner des détails un peu techniques (genre savoir si derrière tout ça c’est des ondelettes ou de la STFT), voire passer à l’open source ?
    En tout cas félicitations, ce genre de soft a de l’avenir - c’est en pleine expansion actuellement.

    “En pleine expansion actuellement” C’est à dire ? Il y a déjà des soft similaires existants ?

  16. CYANure dit :

    Mince, c’est génial.

  17. Gama dit :

    Sir_Carma : Oui, de plus en plus - on est en train de passer du proof of concept de labo à des trucs utilisables (et utilisés) dans un cadre pro. Pas en studio, en tout cas pas encore à ma connaissance, mais en R&D acoustique.
    C’est pour ça que le timing de divide est très bon.

    Je peux en citer…si divide est d’accord.

  18. divide dit :

    Merci à tous !

    Gama: j’ai vu des tendances de ce genre dans Adobe Audition et iZotope RX, toutefois sans aller à un concept Photoshop (calques/panel d’outils parametrables). Si tu as d’autres refs je veux bien :)

  19. KaB dit :

    La vidéo claque.

    En tous cas ça donne envie. Il y a l’air d’y avoir à peu près toutes les features attendues depuis la beta.

  20. SPhoenix dit :

    Wow. C’est vraiment très impressionnant.

  21. Gama dit :

    Quelques noms de trucs qui circulent :
    Lea de Genesis Acoustics, axé psycho-acoustique. Très cher (usage pro). Le traitement du signal qu’il y a derrière est assez costaud.
    AudioSculpt de l’Ircam…Assez bon, mais sur Mac uniquement.
    Spear qui fait de la décomposition sinusoïdale.
    Meta Synth que j’ai jamais pu essayer (là aussi, Mac…) mais qui semble faire de la synthèse pure et vend du rêve.

    Dans l’ensemble ce sont des trucs très “recherche” donc pas des modèles d’ergonomie. Là-dessus t’as sûrement pas mal de choses à leur remontrer, c’est donc une très bonne chose !

    Pour la visualisation seulement, Sonic Visualizer que je trouve très mal foutu mais qui supporte les plugins VAMP et donc une quantité de choses hallucinantes (à peu près toutes les variantes de spectrogramme dont on puisse rêver, des ondelettes, des centaines de features en tout genre).
    Ça me permet de te demander : tu comptes mettre supporter l’extraction de features avec ce genre de plugins, ou carrément un support VST ?

  22. Waldeck dit :

    Je dis peut-être une bêtise mais ce truc ne pourrait-il pas carrément intéresser les marques de synthés comme Yamaha?
    Ca devrait pouvoir être intégrer à une technique de synthèse propriétaire.
    En tous cas, chapeau. J’ai hâte d’avoir accès à un logiciel comme ça.

  23. elemiah dit :

    Tu as pas peut d’une plainte pour “plagiat” concernant l’aspect du soft?

  24. divide dit :

    Plagiat par rapport à Photoshop tu veux dire ? Je ne pense pas, même si je m’inspire très ouvertement de leur interface la portée et le marché n’est pas du tout le même, je ne vais pas sur leur plate-bandes.

  25. jiminy-billy-bob dit :

    Génial. C’est génial.

  26. DindonPoilu dit :

    ça a l’air de claquer, mais c’est un domaine que je ne connais pas assez pour bien comprendre ce qu’on peut faire avec. Est-ce qu’on pourrait par exemple effacer les paroles d’une chanson tout en conservant la musique ? Et inversement ?

  27. zejulio dit :

    j’ai fait suivre ton article à quelques connaissances…
    on verra bien mais dores et déjà, un grand bravo!

  28. neFAST dit :

    Dis, ton GPU decoder, ça se vend comment si ce n’est pas indiscret ?
    D’ailleurs pour ce soft tu fais du traitement su gpu aussi ?

  29. divide dit :

    DindonPoilu: C’est l’idée; à la base j’ai pensé Spectral Layers pour extraire des pistes voix propre lors de tournages sur le vif. Et puis j’ai généralisé le principe pour tout type de traitement audio.

    neFAST: Ca s’est vendu correctement la première année (assez pour en vivre disons), et puis les ventes ont stagnés avec les nouvelles versions de Vegas et Premiere (qui intègrent plus ou moins des systèmes pour accélerer le décodage, et je n’ai pas rendu mon plugin compatible avec ces nouvelles versions) et la généralisation des core i5/i7 à même de faire le décodage sans aide GPU.
    J’utilise le GPU aussi dans Spectral Layers, à la fois pour l’affichage 2D/3D mais aussi pour une partie du traitement spectral (la transformation de grilles de nombres complexes en angle/amplitude). Toute la partie CPU est fortement multithreadé/SSE.

  30. Sebseaz dit :

    Comme je te l’ai déjà dit, ça a l’air super intéressant pour travailler des samples ou simplement extraire des accapellas, j’ai hâte de tester ça. En tout cas félicitations !

  31. Hag dit :

    DO. WANT.

  32. Monsieur_Paul dit :

    Félicitations, c’est très impressionnant.

    - À qui s’adresse le logiciel: Musiciens ou ingénieurs du sons ? Pour le coté musiciens, connais-tu le logiciel Capo ? Il a beaucoup moins de fonctionnalités, mais il y a un beau travail du coté de l’interface utilisateur.

    - Ta vidéo fait un peu “peur”, on se sent rapidement débordé par la complexité de ton logiciel. Comme dit dans un commentaire plus haut, on a l’impression de voir un extrait de film/série d’espionnage avec le nerd de service qui nettoie un enregistrement téléphonique pour trouver l’indice de la mort. As-tu envisagé un exemple de vidéo avec un exemple plus “simple”, genre musique de chambre très connue où le non-initié pourrait se rendre compte de ce que fait ton logiciel: hop, là j’enlève le violon, là je rajoute un effet sur la clarinette, là je monte le violoncelle d’une octave, etc. Mais, encore une fois, je ne sais pas quel est le public visé par ton soft.

    Encore bravo en tout cas.

  33. divide dit :

    Monsieur_Paul:
    -Les deux, mais je suppose un peu plus les ingé sons, on travail ici plus sur de l’audio brut que sur des notes distinctes. Je ne connaissais pas Capo, il a l’air un peu dans la même vague que Melodyne.
    -Et encore j’ai fait un effort, la premiere version du teaser avait zero explication (la meme sans la partie tuto au début). J’ai fait quelques tutos un peu plus posés pour les alpha-testeurs et j’en ferai de nouveaux (que je publierai peut être ici) pour comprendre plus en détail le principe du soft, le but de cette annonce était surtout de “teaser”.

  34. Radical dit :

    J’y connais rien en MAO mais ça a l’air tioptop, jayjay.

  35. monsieurcrescen dit :

    Assez impressionné aussi, mais une question me turlupupine :
    la première musique utilisée pour la démonstration, qu’est ce donc ? Je connais, mais impossible de me souvenir du nom.

  36. divide dit :

    monsieurcrescen:
    La première c’est Sasha - Wavy Gravy, extrait de l’album Airdrawndagger
    La deuxième c’est Hybrid - Terminate, extrait de l’album Scores

  37. monsieurcrescen dit :

    Hybrid ! C’est ça ! Merci pour ta réponse.

  38. mouito dit :

    Enorme!

  39. neFAST dit :

    C’est 2 ans de boulot quasi temps plein ?
    Tu ne connaissais pas QT avant de commencer ?
    Tu utilises d’autres lib open source ?
    Tu codes avec quel éditeur ?

  40. divide dit :

    On peut dire quasi à temps plein oui, au grès de ma motivation. J’en ai tiré quelques conclusions que je détail dans l’article précédent.
    Je ne connaissais pas Qt avant ce projet, je l’ai découvert en choisissant un framework pour commencer, j’ai adoré.
    J’utilise OpenAL (pour la gestion surround), KissFFT et FFmpeg pour citer les principales. Je remercie au passage Bitrock qui m’a offert une licence de leur excellent installeur multiplateforme.
    Je code avec l’editeur de Qt (Qt Creator), qui a sacrément évolué en 2 ans. Ca me permet d’avoir exactement le même projet sur mac et windows.

  41. Aristo dit :

    Ca doit fonctionner aussi sur Linux alors, si tu utilises Qt.

  42. divide dit :

    En théorie le portage ne devrait pas poser de grosses difficulté, mais ce n’est pas une plateforme prioritaire vu le marché ciblé.

  43. Nomys_Tempar dit :

    Dommage il y a un paquet de bidouilleurs sonore sous Linux…

  44. Conradson dit :

    Incroyable, ça a l’air d’une facilité d’utilisation déconcertante, et pourtant je ne connais rien au domaine d’édition sonore. La façon dont tu isoles les sons avec le pinceau pour en faire un calque… sérieux j’en reviens pas !

    J’espère que tu vas te faire plein de thune avec ce projet.

  45. neFAST dit :

    Merci pour tes réponses.
    J’ai jeté un oeil à Bitrock, c’est cher pour un installer. Je trouve incroyable qu’il y’ait un marché comme cela pour les installers. Dans mon bouot précédent on utilisait AdvancedInstallerPro, lui aussi horriblement cher (mais bien foutu). Aujourd’hui je cherche quelquechose de simple mais avec un minimum de GUI, je ne trouve rien de gratos …

    Sinon autre question, tu développes entièrement seul ? Quand tu butes tu poses tes questions où ? Des forums en particulier ?

  46. divide dit :

    Pour du Windows only, tu en trouvera quelques uns de gratuit et bien foutus genre Inno Setup. En multiplateforme je n’ai trouvé qu’InstallJammer avec une GUI et gratuit, mais il est un peu instable en version 1.3. C’est pour ça que je me suis tourné vers Bitrock.

    Je développe le projet tout seul; quand je bute c’est souvent sur une question Qt, dans ce cas je vais sur les forums Qt. Par ailleurs je suis dans le programme “Qt Ambassador”, ce qui me donne un accès plus rapide au support Nokia/Trolltech.

  47. UnF dit :

    J’ai le souffle coupé, c’est exceptionnel ! Félicitations, je te souhaite plein de succès car ce logiciel est tout bonnement énorme.

  48. neFAST dit :

    Je cherche du windows only, je connais inno mais l’interface est inexistante …
    Quitte à prendre un installer ou il faut éditer le script à la main, je me tournerai peut être vers nullsoft.
    Comment es-tu rentré dans les qt ambassador, tu as soumis ton projet ? Ou bien simplement en participant sur le forum ?

  49. divide dit :

    Projet soumis par les voies classiques. J’ai aussi contribué à régler quelques bugs dans Qt.

  50. L00 dit :

    C’est pas un logiciel d’édition sonore que tu viens de créer, c’est un sampler…
    Un putain de gros sampler qui semble à première vue hyper intuitif.
    C’est excellent, vraiment.
    Vivement que je termine mon déménagement que je me rebranche la x-station, ça me démange depuis quelques temps.
    Congratz’ et bonne chance pour la suite de ton projet.
    (mais je serais toi, j’irais direct toquer chez les fabricants de samplers.:)

  51. Bloodoctrine dit :

    Je valide L00, niveau sampling c’est ce dont tout musicien rêve depuis longtemps: pouvoir isoler facilement un son d’une track.
    Bravo, vraiment. Hâte de pouvoir utiliser ça un jour.

  52. divide dit :

    C’est surtout parce que je met l’aspect extraction en avant (c’est ce qu’il y a de plus démonstratif), mais l’idée c’est aussi à terme de proposer des outils plus créatif pour déformer/reconstruire/dessiner le son. Peut-être que ça pourrait donner lieu à différentes déclinaisons du soft.

  53. Monsieur_Paul dit :

    divide a dit :
    Peut-être que ça pourrait donner lieu à différentes déclinaisons du soft.

    Ce serait une super idée AMHA. Une version “musicien” focalisée sur l’extraction de son et le nettoyage de piste avec une super interface (idéalement native Cocoa) et une version “ingénieur” avec toute les fonctionnalités et un prix en conséquence.

  54. DindonPoilu dit :

    Jusqu’à quel point on pourrait “dessiner” du son ? Pourrait-on par exemple, lorsque notre cher président prononce le mot “urne”, intercaler la lettre “i” ou “b” pour lui faire dire “urine” ou “burne” ?
    Si t’arrivais à faire ce genre de trucs, ça pourrait faire une bonne opération de com :)

  55. Zezomys dit :

    Bordel, c’est excellent. Un énorme bravo, j’espère que tu seras récompensé pour le boulot que tu as abattu.

  56. ap0 dit :

    Woa, impressionnant !

  57. StudioBulles dit :

    Incroyable ! On m’a fait découvrir ton boulot grâce à un lien mail. Merveilleux travail prometteur qui me donne envie de suivre ton logiciel, et de l’acheter dès que possible !!! En revanche, ce n’est peut-être pas un acteur majeur de l’audio (quoi que), mais ton travail me fait pas mal penser au logiciel que l’IRCAM a développé et qui s’appelle AudioSculpt. Peut-être l’as-tu déjà vu? Le lien pour que tu aies une idée : http://forumnet.ircam.fr/691.html Peut-être que tu pourrais entrer en lien avec eux, ils sont très friands de nouvelles initiatives technologiques.
    Vraiment bravo à toi, bon courage pour la suite

  58. TheFrenchFrog dit :
  59. __MaX__ dit :

    DindonPoilu a dit :
    Jusqu’à quel point on pourrait “dessiner” du son ? Pourrait-on par exemple, lorsque notre cher président prononce le mot “urne”, intercaler la lettre “i” ou “b” pour lui faire dire “urine” ou “burne” ?
    Si t’arrivais à faire ce genre de trucs, ça pourrait faire une bonne opération de com :)

    C’est extrêmement complexe d’en arriver là… c’est pas pour rien que la synthèse vocale est si complexe à rendre réaliste. Par contre je pense que bidouiller pour créer des voix déformées ça, sans problèmes.

  60. kompleet dit :

    Ah tiens j’ai découvert ce projet sur un autre forum, j’étais tout excité à l’idée de tester le soft jusqu’à ce que je me rende compte que c’était encore à l’état de projet, GROS NEEEEED ! Bravo Divide.

  61. ng-aniki dit :

    Petite question, avec ton outil multichannel ou tu peux isoler des son suivant leur endroit dans l’espace, tu ne pourrais pas faire quelque-chose de plus automatique, ou tu sépares automatiquement les sons suivant leur éloignement ?

    Style, pouf tu choisis une précision, tu clickes, ça te crées X layers, bon certains sons se retrouveront sur deux layers ou plus, mais certains seraient correctement isolés et prêt à être utilisés.

    Enfin, juste une idée qui m’était passée par la tête.
    Super projet en tout cas, tout a l’air super pro et maîtrisé, j’espère aussi que tu vas te faire pleins de sous !

  62. divide dit :

    Une séparation full-auto donnerait des résultats un peu aléatoire, et mon système ne peut bosser qu’avec un seul calque en écriture simultanée; mais apres rien n’empeche de faire une premiere extraction avec un jeu de parametre, et de re-extraire a nouveau a partir de ce calque pour créer d’autres calques.

  63. neFAST dit :

    Dernière question de développeur : tu envisages d’utiliser quel système de protection ? Dongle usb, serial, autre ?

  64. divide dit :

    J’ai mis au point une protection pour mon précédent projet (GPU Decoder) qui a l’air d’avoir bien marché, puisque malgrès les demandes de crack que j’ai pu relever ca et la sur des forums un peu underground il n’y a toujours pas de version pirate du soft.
    En même temps ici la portée du projet n’est pas la même, il y aura certainement beaucoup plus de tentatives (qui finiront bien par aboutir, mais si ca pouvait tenir 2 mois ca serait deja pas mal). Je verrai en fonction de mon budget et de mes capacités à ce moment la…

  65. CameleonTH dit :

    C’est vraiment super impressionnant, et je pense qu’il y a vraiment un marché à prendre, juste un peu de com et c’est bon :).
    Sinon y a t’il moyen de changer la couleur verte Matrix du spectre qui pique un peu par moment?

  66. divide dit :

    Je me tatais à ce sujet, les couleurs ayant une signification bien précise dans le workflow.
    Mais je pense que je laisserai une option pour tweaker ça (ne serait-ce que pour les daltoniens).

  67. SethDeNod dit :

    Holy fucking shit.

    Mais c’est géant.

  68. sydney dit :

    La vache !! j’en ai des frissons

  69. -V- dit :
  70. neFAST dit :

    divide a dit :
    Je ne connaissais pas Qt avant ce projet, je l’ai découvert en choisissant un framework pour commencer, j’ai adoré.

    Non pas que je joue au détective mais je cherchais un vieil article sur ton blog (tu faisais pas de la stereoscopie avec un bi-objectif ?) et je tombe sure un article Qt datant de 2009…
    http://blogs.wefrag.com/divide/2009/09/21/qt-46-environnement-de-dev-multiplateforme/

    Ca fait 2 ans que tu planches sur spectral layers ???

  71. divide dit :

    Bonne mémoire pour la cam 3D et yep, cet article date exactement du mois ou j’ai commencé à coder les premieres lignes de Spectral Layers :) C’est d’ailleurs ce que je dis en introduction de cet article…

    Sinon pas mal de gros contacts se sont débloqués depuis l’annonce, j’ai hâte de pouvoir en parler ici !

Laisser un commentaire

Si vous avez un compte sur WeFrag, connectez-vous pour publier un commentaire.

Vous pouvez, entre autres, utiliser les tags XHTML suivant :
<a href="" title="">...</a>,<b>...</b>,<blockquote cite="">...</blockquote>,<code>...</code>,<i>...</i>