OpenAI가 개발하는 AI Text to 3D / Point-E 관련 정보 공개

https://github.com/openai/point-e

GitHub - openai/point-e: Point cloud diffusion for 3D model synthesis

https://huggingface.co/spaces/openai/point-e

Point E - a Hugging Face Space by openai

위 링크에서 테스트 삼아해 볼 수 있습니다.

 

  AI 그림은 이제 거의 완벽에 가깝게 진화하고 있습니다. 손가락마저도 그럴싸하게 그리기 시작하더라고요. 물론 사람이 100% 원하는 그림을 내뱉지는 못하지만 퀄리티는 나날이 좋아지고 있습니다.

  그에 비해 AI 3D는 전혀 발전하고 있지 않습니다. 얼마 전, Open AI에서 AI 3D 관련 새로운 툴을 선보였습니다.

 

  Point-E라고 명명된 이 AI 프로그램은 Image to 3D가 아닌 Text to 3d의 형식이며 Mesh 형태로 출력되는 방식이 아닌 색상이 들어간 Point Cloud 방식으로 결과물이 출력됩니다.

 

  다만 완전히 Text to 3d가 아닌, Text에서 Image로 전환 후 해당 Image를 기반으로 3D Point cloud가 생성된다 합니다. 관련 기사에서는 꽤나 그럴듯하게 만들어져 나와있습니다.

  특히나 위 사진처럼 Point cloud를 Mesh로 전환하면 깔끔한 작업물을 얻을 수 있다고 하는데, 아마도 Point cloud 기반으로 사람이 직접 후가공 작업한게 아닌가 싶습니다. 왜냐하면 point cloud의 해상도도 형편없는 데다가 mesh로 전환된 이미지가 너무나도 깔끔하고 디테일하기 때문입니다.

  그리고 아직까지 인식률이 매우 처참합니다. 형태를 알아보기 너무 힘듭니다. 햄스터를 달라고 입력했지만 내놓은 건 고래 비슷한 형상이었고요. 예시대로 개를 입력하면 그럴싸하게 나옵니다. 다만 이것도 납작한 개가 나오거나 꼬리가 발에 달려있는 둥 정확도가 매우 낮습니다. 아마도 기술 구현을 위해 특정 단어만 집중적으로 반복 학습시킨게 아닌가 싶습니다. 생성시간도 30~40초 정도 소요됩니다. 좀 더 복잡한 형상을 만들게 된다면 그 이상 걸리겠죠.

 

  놀랍다면 놀랍긴 하지만 아직까지 AI 3D 관련은 갈길이 멀어 보입니다. 아직 형상 자체도 제대로 못 뽑아내는데 언제 Polygon Topology와 UV까지 학습할지 참 막막하네요. 다만 형상 자체만 제대로 뽑아낸다면, Topology가 필요없는 3D 프린팅 계열에서는 꽤나 각광받을 듯합니다.