Cet œuf LED de la taille d'une pièce capture d'incroyables modèles 3D des personnes qui s'y trouvent – TechCrunch

Capturer les performances humaines en 3D haute définition est une proposition compliquée, et parmi les nombreux défis, il faut bien éclairer. Ce nouveau projet impressionnant des chercheurs de Google place le sujet au centre de ce qui ne peut être décrit que comme un œuf prismatique à LED, mais les modèles 3D résultants sont remarquables – et plus important encore, lisibles.

Ce que l’on appelle la capture volumétrique utilise plusieurs caméras dans une configuration à 360 degrés pour capturer ce qui peut ressembler à une représentation photoréaliste d’un sujet, y compris tous les petits détails tels que la déformation des vêtements, le mouvement des cheveux, etc. Il comporte deux faiblesses sérieuses: tout d’abord, il s’agit plus d’un film 3D que d’un modèle, car vous ne pouvez pas poser la personne, changer ses attributs ou ses vêtements; La seconde est une extension de la première, en ce sens que vous ne pouvez pas changer la façon dont la personne est éclairée – quel que soit l’éclairage qu’elle avait lorsque vous les avez capturées, c’est ce que vous obtenez.

«The Relightables» est une tentative d'une équipe de Google AI de résoudre ce second problème, car le premier est quasiment imbriqué. Leur système produit non seulement un modèle 3D très détaillé d'une personne en mouvement, mais permet également à ce modèle de fonctionner. éclairée de manière réaliste par des sources de lumière virtuelles, ce qui permet de la placer dans des jeux, des films et d’autres situations dans lesquelles l’éclairage peut changer.

Images du papier Google AI montrant le processus de capture et le modèle 3D résultant, seul et dans un environnement virtuel éclairé.

Tout cela grâce à l’œuf prismatique susmentionné (et à quelques lignes de code, bien sûr). L'œuf est tapissé de 331 lampes LED pouvant produire n'importe quelle couleur. Au fur et à mesure que la personne est capturée, ces LED se déplacent selon un motif structuré spécial qui produit un modèle indépendant de la lumière.

Les modèles résultants peuvent être placés dans n’importe quel environnement virtuel et refléteront non pas l’éclairage dans lequel ils ont été capturés, mais l’éclairage de ce petit monde. Les exemples de la vidéo ci-dessous ne correspondent pas exactement à la qualité hollywoodienne, mais vous pouvez voir l’idée générale de ce qu’ils recherchent.

Les limites de la capture volumétrique le rendent impropre à de nombreuses utilisations dans les films, mais sa lisibilité rend ces performances beaucoup plus proches des modèles 3D ordinaires qu’elles ne l’étaient auparavant. Bien sûr, vous devez toujours jouer dans un œuf géant.

«The Relightables» sera présenté par l'équipe de SIGGRAPH Asia.

(embed) https://www.youtube.com/watch?v=anBRroZWfzI (/ embed)

Traduit de la source : https://techcrunch.com/2019/11/18/this-room-sized-led-egg-captures-amazing-3d-models-of-the-people-inside-it/

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.