KR102068251B1 - 3차원 볼륨 데이터 생성 방법 - Google Patents

3차원 볼륨 데이터 생성 방법 Download PDF

Info

Publication number
KR102068251B1
KR102068251B1 KR1020130033739A KR20130033739A KR102068251B1 KR 102068251 B1 KR102068251 B1 KR 102068251B1 KR 1020130033739 A KR1020130033739 A KR 1020130033739A KR 20130033739 A KR20130033739 A KR 20130033739A KR 102068251 B1 KR102068251 B1 KR 102068251B1
Authority
KR
South Korea
Prior art keywords
generating
image
multilayer
generated
multilayer image
Prior art date
Application number
KR1020130033739A
Other languages
English (en)
Other versions
KR20130117668A (ko
Inventor
이창교
유병인
최창규
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/858,336 priority Critical patent/US9489764B2/en
Publication of KR20130117668A publication Critical patent/KR20130117668A/ko
Application granted granted Critical
Publication of KR102068251B1 publication Critical patent/KR102068251B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 볼륨 데이터 생성 방법에 관한 것으로서, 멀티레이어 영상을 생성하는 단계, 상기 생성된 멀티레이어 영상에 기초하여, 오브젝트의 보이는 부분의 종류 및 볼륨 정보를 생성하는 단계, 및 상기 생성된 멀티레이어 영상에 기초하여, 상기 오브젝트의 보이지 않는 부분의 종류 및 볼륨 정보를 생성하는 단계를 포함할 수 있다.

Description

3차원 볼륨 데이터 생성 방법{METHOD OF GENERATING 3D VOLUMETRIC DATA}
본 발명은 오브젝트(object)의 볼륨 재구성을 위한 인식기 학습의 입력 데이터로 활용될 수 있는 오브젝트의 3차원 볼륨 데이터를 생성하기 위한 기술적 사상을 개시한다.
일상 생활에서 인간은 두 눈을 이용하기 때문에, 원거리의 해상도가 낮은 인체 몸 자세(human body pose)일지라도 잘 인지할 수 있다. 그러나, 컴퓨터 비젼 시스템에서 인체 몸 자세(human body pose)를 인지하는 방법은 다양한 분야에서 요구되지만 잘 풀리지 않는 어려운 문제이다.
최근 사용자의 몸 동작을 센싱하여 사용자 인터페이스를 제어하는 기술에 대한 연구 및 개발이 가속화되고 있다.
그러나 현재의 동작 센싱 기술은 오브젝트의 보이는 부분만 인식해서 어클루젼(Occlusion) 등에 의해 발생하는 가려진 부분을 인식하는 것이 불가능할 뿐만 아니라, 적용 범위가 Human Object(Virtual Body Parts)와 깊이 영상(Depth Image)에 제한되어 있다.
종래에는 신체의 모션을 캡쳐하여 3차원 모델에 리타게팅을 해서 3차원 객체 모델의 몸 자세 데이터를 생성하였다. 하지만 사용자 체형을 반영한 3차원 볼륨데이터는 생성하지 못하였다.
본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 멀티레이어 영상을 생성하는 단계, 상기 생성된 멀티레이어 영상에 기초하여, 오브젝트의 보이는 부분의 종류 및 볼륨 정보를 생성하는 단계, 및 상기 생성된 멀티레이어 영상에 기초하여, 상기 오브젝트의 보이지 않는 부분의 종류 및 볼륨 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 멀티레이어 영상을 읽어들이는 단계, 상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트(Object) 파트 식별정보에 대한 세그먼트화를 수행하는 단계, 상기 수행한 세그먼트화에 따라서, 동일한 오브젝트(Object) 파트 식별정보에 해당하는 위치를 추정하는 단계, 및 상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정하는 단계를 포함한다.
도 1은 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법을 설명하는 메인 플로우챠트이다.
도 2는 비저블 데이터와 인비저블 데이터를 설명하는 도면이다.
도 3은 깊이 카메라(depth camera)로 오브젝트의 자세를 캡쳐한 영상으로서 비저블 레이어의 깊이 영상을 나타내는 도면이다.
도 4는 비저블 레이어의 오브젝트(Object) 파트 식별정보의 이미지에 대한 실시예를 설명하는 도면이다.
도 5는 멀티레이어 바디 파트 식별정보 이미지/멀티레이어 깊이 이미지의 실시예를 설명하는 도면이다.
도 6은 레이 캐스팅 기반의 멀티레이어 영상의 생성 방법을 설명하는 도면이다.
도 7은 멀티레이어 영상을 생성하는 첫 번째 실시 예로서, 레이 캐스팅 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 8은 첫 번째 실시예 중에서 Ray-Casting Based Training Data Synthesis 블록을 설명하는 도면이다.
도 9는 멀티레이어 영상을 생성하는 첫 번째 실시 예의 변형예로서, 슬라이싱(Slicing) 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 10은 슬라이싱 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 11은 Actor가 컬러 패치로 구성된 수트(Color Patch Suit)를 실제 착용한 예(1100)를 설명하는 도면이다.
도 12는 Ray-Triangle Intersection Method를 설명하기 위한 도면이다.
도 13은 멀티레이어 영상을 생성하는 두 번째 실시 예로서, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 14는 크로마 키 스크린 기반 멀티레이어 영상 생성방법 중에서 오브젝트(Object) 파트 식별정보-RGB 룩업 테이블의 예를 설명하는 도면이다.
도 15는 2개의 크로마 키 스크린 설치 예를 설명하는 도면이다.
도 16은 멀티레이어 영상을 생성하는 세 번째 실시 예로서, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 17은 초기 템플레이트에 따른 오브젝트(Object) 파트 룩업 테이블을 설명하는 도면이다.
도 18은 오브젝트(Object) 의 각 오브젝트(Object) 파트 프로퍼티를 실측하는 예를 설명하는 도면이다.
도 19는 오브젝트(Object) 의 각 오브젝트(Object) 파트 프로퍼티를 결정하는 실시예를 설명하는 도면이다.
도 20은 2차원 오브젝트(Object) 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예를 도시하는 도면이다.
도 21은 3차원 오브젝트(Object) 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예를 도시하는 도면이다.
도 22는 도 17에서 깊이 카메라 입력이 있을 경우 깊이 범위 안에서 영상을 생성하는 예를 도시한 도면이다.
도 23은 멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법을 개시한 흐름도이다.
도 24는 멀티레이어 영상을 바탕으로 스켈레톤 모델을 추정한 실시예를 설명한 도면이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법을 설명하는 메인 플로우챠트이다.
본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 오브젝트(Object) 의 볼륨 재구성을 위한 인식기 학습 입력 데이터를 생성하기 위한 것으로서, 단계 101을 통해서 비저블 데이터를 생성하고, 단계 102에서 인비저블 데이터를 생성한다.
구체적으로, 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 오브젝트의 보이는 부분(비저블 데이터)의 종류 및 볼륨 정보를 생성하고, 상기 오브젝트의 보이지 않는 부분(인비저블 데이터)의 종류 및 볼륨 정보를 생성한다.
이를 위해서, 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 레이 캐스팅 기반의 멀티레이어 영상, 크로마 키 스크린 기반의 멀티레이어 영상, 및 초기 템플레이트 기반의 멀티레이어 영상 중에서 적어도 하나의 멀티레이어 영상을 생성하고, 상기 생성된 멀티레이어 영상을 이용하여 상기 오브젝트의 보이는 부분과 보이지 않는 부분 각각에 대한 종류 및 볼륨 정보를 생성할 수 있다.
도 2는 비저블 데이터와 인비저블 데이터를 설명하는 도면이다.
본 발명에서는 이미지 센서(201)가 촬영하는 오브젝트의 보이는 부분을 비져블 오브젝트 파트(202)로 정의하고, 상기 비저블 데이터는 상기 비져블 오브젝트 파트(202)를 촬영하여 생성되는 데이터이다.
또한, 이미지 센서(201)가 촬영하는 오브젝트의 뒤나 안에 가려 보이지 않는 부분을 히든 오브젝트 파트(203)로 정의하고, 상기 인비저블 데이터는 상기 비저블 데이터로부터 추정되는 데이터이다.
이미지 센서(201)에서 오브젝트를 캡쳐링할 때, 센서 플랜에 상이 맺히는 부분을 비져블 오브젝트 파트로 정의하고, 오브젝트의 셀프 어클루젼(Self Occlusion)이나, 다른 오브젝트에 의해서 어클루젼(Occlusion)이 발생하는 오브젝트 영역을 히든 오브젝트 파트로 정의할 수 있다.
예를 들어 정육면체의 Front View(202)에서 보이는 3면은 3개의 비져블 오브젝트 파트로 정의할 수 있고, 정육면체의 Rear View(203)에서 보이는 3면은 3개의 히든 오브젝트 파트로 정의할 수 있다.
도 3은 오브젝트(Object) 의 자세를 캡쳐한 영상(300)을 설명하는 도면으로서, 깊이 카메라(depth camera)로 오브젝트(Object) 의 자세를 캡쳐한 영상(300)으로서 비저블 레이어의 깊이 영상을 도시한다.
도 4는 비저블 레이어의 오브젝트(Object) 파트 식별정보의 이미지에 대한 실시예를 설명하는 도면이다.
도 4는 깊이 카메라(depth camera)로 오브젝트(Object) 의 자세를 캡쳐한 영상인 깊이 데이터(Depth Data)에 존재하는 객체(Object)의 오브젝트 파트 식별정보(Object parts ID)를 갖고 있는 Labeled Data의 예를 표시한다.
다시 말해, 도 4에서는 비저블 레이어(Visible Layer)의 오브젝트(Object) 파트 식별정보(Object part ID) 이미지로서, 각각의 오브젝트(Object) 파트 마다 다른 식별정보(ID)를 부여하여 모든 오브젝트(Object) 파트들을 구분한다.
도 5는 멀티레이어 바디 파트 식별정보 이미지/멀티레이어 깊이 이미지의 실시예를 설명하는 도면이다.
구체적으로, 도 5의 첫 번째 이미지(510)는 비저블 레이어(Visible Layer)의 오브젝트 파트 식별정보(Object part ID)와 깊이(Depth) 이미지를 도시한다.
두 번째부터 다섯 번째까지의 이미지(520)는 인비저블 레이어(Invisible Layer)의 오브젝트 파트 식별정보와 깊이 이미지를 도시한다.
도 6은 레이 캐스팅 기반의 멀티레이어 영상의 생성 방법을 설명하는 도면이다.
구체적으로, 도 6은 레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법의 개념 도면을 나타낸다.
레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법이란 카메라(601) 위치로부터 3차원 오브젝트(602) 방향으로 가상의 Ray(603)를 생성하여, Ray(603)가 3차원 오브젝트(602)의 표면을 관통하여 지나갈 때 마다 닿는 표면의 픽셀을 영상에 저장하는 방법이다.
이때 Ray(603)가 최초로 만나는 표면은 비저블 레이어(604)로 저장하고, 3차원 오브젝트(602)를 관통하면서 만나게 되는 뒷부분의 표면은 각각의 인비저블 레이어(605)로 저장한다. 따라서, 레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법으로써 비저블 오브젝트 파트뿐만 아니라, 인비저블 오브젝트 파트를 생성할 수 있다.
도 7은 멀티레이어 영상을 생성하는 첫 번째 실시 예로서, 레이 캐스팅 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 7은 레이 캐스팅 기반 멀티레이어 영상 생성 방법의 첫 번째 실시 예이다.
레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 오브젝트의 모션을 캡쳐 한 후 획득한 데이터를 IK(Inverse Kinematics) 처리(701)하여 모션 데이터(703)를 생성한다.
또한, 레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 IK(Inverse Kinematics) 처리(701)와 별도로 오브젝트의 실제 체형을 반영하여 3차원 메시(3D Mesh)의 조합으로 구성된 3차원 오브젝트 모델을 생성한다(702).
다음으로, 레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 생성된 모션 데이터와 생성된 3차원 오브젝트 모델을 머지(Merge)하여, 모션(Motion)이 결합된 3차원 오브젝트 모델(Motion Augmented 3D Human Model)을 생성한다.
이때, 레이 캐스팅 기반 멀티레이어를 생성하기 위해 모션 데이터를 다른 체형을 가진 3차원 오브젝트 모델에 정합하기 위해 상기 생성된 3차원 오브젝트 모델에 대해서 리타게팅(Retargeting)을 수행할 수 있다(704).
마지막으로 도 6에서 설명한 레이 캐스팅 기반 멀티레이어 영상 생성 방법으로서 멀티레이어 영상을 생성할 수 있다(705).
도 8은 첫 번째 실시예 중에서 레이 캐스팅 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.
레이 캐스팅 기반 멀티레이어 영상 생성 방법, 즉 Ray-Casting Based Training Data Synthesis 방법은 우선, 레이 캐스팅 기반의 레이 맵을 생성할 수 있다(단계 801).
다음으로, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 상기 생성한 레이 맵으로부터 한 점을 선택하고(단계 802), 상기 생성된 3차원 오브젝트 모델(Human Model)로부터 복수개의 버텍스, 예를 들어 3개의 버텍스를 선택할 수 있다(단계 803).
다음으로, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 레이의 한 점이 복수개의 버텍스, 예를 들어 3개의 버텍스 안쪽에 위치하는지 여부를 판단할 수 있다(단계 804).
즉, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 상기 선택된 한 점과 상기 복수개의 버텍스와의 상대적인 위치를 확인할 수 있다.
다시 말해, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 하나의 레이를 선택하고, 3차원 오브젝트 모델을 구성하는 다수의 메쉬, 예를 들어 Polygon의 형태로 형성된 다수의 메쉬 중에서 하나를 선택한다. 그리고 하나의 메쉬를 구성하는 복수개의 버텍스와 레이가 교차하는지 여부를 판단하여 레이의 한 점이 복수개의 버텍스, 예를 들어 3개의 버텍스로 형성되는 삼각형 안쪽에 위치하는지 여부를 판단할 수 있다.
이 방법을 이용해서 레이맵으로부터 선정한 하나의 점과 복수개의 버텍스가 교차하면, 즉 상기 선택된 레이의 한 점이 상기 3개의 버텍스 안쪽에 위치하는 경우에 상기 멀티레이어 영상을 저장할 수 있다(단계 805).
또한, 단계 804의 판단결과, 안쪽에 위치하지 않으면 버텍스의 조합이 마지막인지 여부를 확인하여(단계 806), 마지막인 경우에 단계 807로 분기하여 레이맵의 모든 점을 검사했는지 여부를 더 판단할 수 있다(단계 807). 단계 807의 판단결과, 레이맵의 모든 점을 검사했다면 멀티레이어 영상 생성을 종료할 수 있다(단계 808).
만약, 단계 806의 판단 결과, 상기 버텍스의 조합이 마지막이 아닌 경우, 단계 803으로 분기하여 3차원 오브젝트 모델(Human Model)로부터 새로운 복수개의 버텍스를 선택할 수 있다.
만약, 단계 807의 판단 결과, 상기 레이맵의 모든 점을 검사하지 않았다면, 단계 802로 분기하여 레이맵으로부터 새로운 한 점을 선택할 수 있다.
교차 여부를 판단하기 위해서는, Ray-triangle Intersection Method를 이용할 수 있는데, 이러한 Ray-Triangle Intersection Method는 추후 도 12에서 상세히 설명한다.
도 9는 멀티레이어 영상을 생성하는 첫 번째 실시 예의 변형 예로서, 슬라이싱 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
상기 슬라이싱 기반의 멀티레이어 영상 생성 방법은 오브젝트의 모션을 캡쳐 한 후 획득한 데이터를 IK(Inverse Kinematics) 처리(901)하여 모션 데이터(903)를 생성한다.
또한, 슬라이싱 기반 멀티레이어를 생성하기 위해서는 IK(Inverse Kinematics) 처리(901)와 별도로 오브젝트의 실제 체형을 반영하여 3차원 메시(3D Mesh)의 조합으로 구성된 3차원 오브젝트 모델을 생성한다(902).
다음으로, 레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 생성된 모션 데이터와 생성된 3차원 오브젝트 모델을 머지(Merge)하여, 모션(Motion)이 결합된 3차원 오브젝트 모델(Motion Augmented 3D Human Model)을 생성한다.
이때, 레이 캐스팅 기반 멀티레이어를 생성하기 위해 모션 데이터를 다른 체형을 가진 3차원 오브젝트 모델에 정합하기 위해 상기 생성된 3차원 오브젝트 모델에 대해서 리타게팅(Retargeting)을 수행할 수 있다(904).
마지막으로, 슬라이싱 기반 멀티레이어 영상 생성 방법으로서 멀티레이어 영상을 생성할 수 있다(905). 상기 슬라이싱 기반 멀티레이어 영상 생성 방법은 도 10을 통해서 설명한다.
도 10은 슬라이싱 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 10에서 보는 바와 같이, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 Motion Augmented 3D Human Model을 생성하거나(단계 1001), 또는 Primitive Template 3D Human Model을 생성한다(단계 1002).
이후, 상기 생성된 Motion Augmented 3D Human Model 또는 상기 생성된 Primitive Template 3D Human Model을 이용하여, 현재 깊이 값(Z)에 해당하는 모델의 모든 픽셀(또는 복셀(voxel))을 검색한다(단계 1003).
다음으로, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 상기 검색된 모든 픽셀 중에서 현재 깊이 값(Z)에 해당하는 픽셀이 있을 경우 레이블드(Labeled) 영상을 생성하고(단계 1004), 상기 레이블드 영상과 함께 깊이(Depth) 영상을 생성한다(단계 1005).
다음으로, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 Z값을 1 증가 시킨(단계 1006) 후 위의 검색과 영상 생성 과정을 Z가 마지막인지 여부를 판단(단계 1007)하고, 마지막일 때까지 반복 수행한 후 영상 생성을 종료한다(단계 1008).
도 11은 오브젝트가 컬러 패치로 구성된 수트(Color Patch Suit)를 실제 착용한 예(1100)를 설명하는 도면이다.
크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 크로마 키 스크린 및 피사체가 착용하고 오브젝트 파트 별로 다른 색이 적용된 수트로부터 컬러카메라 영상을 생성할 수 있다. 수트를 구성하는 컬러 패치의 개수는 오브젝트 파트(Object part)에 따라 변경 가능하다.
교차 여부를 판단하기 위해서는, Ray-triangle Intersection Method를 이용할 수 있다.
먼저 도 12의 도면부호 1210 같이 3개의 Vertex (p0, p1, p2)와 Normal Vector n을 [수학식1]과 같이 정의한다.
[수학식 1]
n: normal of the plane
n = (p1-p0)*(p2-p0)
n은 p0, p1, p2 Vertex로 이루어진 평면의 노멀 벡터(normal vector)이다.
참고로, 노멀벡터 n은 3차원 공간 상에서 벡터 p2-p0와 수직이고, p1-p0과도 수직으로 해석될 수 있다.
그 다음 도면부호 1220 또는 1230과 같이 ray vector x가 3개의 Vertex (p0, p1, p2)로 구성된 plane을 지나가는지 여부를 판별할 수 있다. 이때 해당 평면의 Normal Vector n도 [수학식 2]와 같이 이용된다.
[수학식 2]
(p1-p0)×(x-p0)ㆍn≥0
(p2-p1)×(x-p1)ㆍn≥0
(p0-p2)×(x-p2)ㆍn≥0
참고로, 도면부호 1220은 ray vector인 x가 Vertex 안에 위치하는 실시예이고, 도면부호 1230은 x가 Vertex 밖에 위치하는 실시예로서, ray vector가 Vertex 안에 있는지 또는 밖에 있는지를 판별하기 위한 실시예들이다.
CCW는 방향을 나타내는 것인데, 이 중에서 CCW0, CCW1, 및 CCW2는 Vertex 안의 x로 향하는 방향으로서, 반시계 방향을 나타낸다. 또한, CCW3 및 CCW5는 Vertex가 밖의 x로 향하는 것으로서, 역시 반시계 방향을 나타내며 CCW4는 시계 방향을 나타낸다.
도 13은 멀티레이어 영상을 생성하는 두 번째 실시 예로서, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 위해서는, 크로마 키 스크린 및 카메라를 설치하고(단계 1301), 액터는 오브젝트 파트 별로 다른 색을 적용한 수트를 착용할 수 있다(단계 1302).
이후, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 상기 수트의 컬러 패치 정보와 오브젝트 파트 식별정보가 기록된 RGB 룩업 테이블을 생성하고(단계 1303), 컬러 카메라 영상을 생성할 수 있다(단계 1304).
RGB 룩업 테이블은 도 14을 참조할 수 있다.
도 14에서 보는 바와 같이, RGB 룩업 테이블(1400)은 2개의 Chroma-Key Screen 설치 예이다.
크로마 키 스크린 기반의 멀티레이어 영상 생성 방법에서 오브젝트 파트 식별정보와 관련되는 RGB의 룩업 테이블(1400)은 Color Patch 픽셀(x, y)의 Color 정보(red, green, blue)를 저장하고, 해당하는 Object part ID(Color Patch)를 저장한다.
룩업 테이블(1400)의 입력은 컬러 카메라의 특정 픽셀에 대한 색 정보(RGB)이며, 출력은 오브젝트 파트 식별정보이다.
다시 도 13을 참고하면, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 크로마 키 스크린 및 피사체가 착용하고 오브젝트 파트 별로 다른 색이 적용된 수트(1100)으로부터 컬러카메라 영상을 생성할 수 있다.
다음으로, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 상기 생성된 컬러카메라 영상의 현재 위치에 대한 색상 정보를 확인하고, 상기 확인된 색상 정보와 상기 RGB 룩업 테이블을 비교하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색할 수 있다.
구체적으로, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 컬러 영상의 현재 위치의 R, G, B의 값을 읽고(단계 1305), 크로마 키 스크린과 같은 색인지 여부를 판단한다(단계 1306).
상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인 경우, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 Labeled image의 현재 위치에 "배경"으로 저장한다.
이후, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 컬러 카메라 영상의 마지막 픽셀인지 여부를 판단하여(단계 1310), 마지막 픽셀인 경우에 멀티레이어 레이블 영상을 생성할 수 있다(단계 1311).
만약, 상기 확인된 색상 정보가 크로마 키 스크린과 다른 색인 경우, 상기 RGB 룩업 테이블에 기초하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하고(단계 1308), 저장한다(단계 1309).
만약, 단계 1310의 판단 결과, 마지막 픽셀이 아닌 경우라면 컬러 영상의 다음위치를 선정하고(단계 1312), 단계 1305로 이동할 수 있다.
멀티레이어 영상 생성 환경은 도 15와 같이 복수개의 크로마 키 스크린과 깊이 카메라, 컬러 카메라를 설치해서 구성할 수 있다. 도 15와 같은 환경에서 도 13의 방법을 이용하여, 멀티레이어 영상을 생성 한다.
도 15에서는 2개의 깊이 카메라(1501), 2개의 컬러 카메라(1502)를 각각 설치하였지만, 복수개의 크로마 키 스크린과 깊이 카메라, 컬러 카메라가 설치될 수도 있다.
자세히 설명하면, 먼저 도 13에서 사용 되는 룩업 테이블은 컬러 카메라로 촬영한 영상에서 액터가 입고 있는 의상의 컬러 패치 정보로부터 생성될 수 있다.
액터가 컬러 패치 의상을 입고, 멀티레이어 데이터 생성을 위해 도 15의 환경에 진입하면, 컬러 영상의 현재 위치(x, y) 픽셀의 Red, Green, Blue 값을 읽는다. 이때 픽셀이 크로마 키 스크린과 같은 컬러 정보인지 확인한다. Yes면 Labeled Image 현재 픽셀 위치에 "배경"으로 저장한다. No면 룩업 테이블에서 RGB에 해당하는 오브젝트 파트 식별정보를 검색한다. Labeled Image 현재 위치에 오브젝트 파트 식별정보를 저장한다.
오브젝트의 수트에서 컬러 패치의 개수는 한정되지 않는다.
그리고 현재 픽셀이 입력된 이미지의 마지막 픽셀인지 확인하고, Yes면 Labeled Image의 생성을 완료하고, No면 컬러 영상의 다음 픽셀로 옮겨서, Labeled Image 생성을 계속한다. 이때 부가적으로 컬러 패치 수트 위에 Retro-Reflective Marker등을 부착하여 상세한 모션 데이터를 생성할 수도 있다.
도 16은 멀티레이어 영상을 생성하는 세 번째 실시 예로서, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 성별, 연령, 체형에 따른 오브젝트 파트들 각각의 속성 값을 측정한다(단계 1601).
다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 측정된 각각의 속성 값으로 초기 템플레이트를 정의하고(단계 1602), 상기 정의된 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성한다(단계 1603).
예를 들어 성별, 연령, 체형의 평균값을 속성으로, 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성할 수 있다.
초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 오브젝트 파트 룩업 테이블을 생성과 병행하여, 모션 캡쳐 시스템을 준비하고(단계 1604), 상기 준비된 모션 캡쳐 시스템을 이용하여, 모션 캡쳐 데이터를 생성한다(단계 1605).
예를 들어 복수개의 IR 카메라와 Retro-Reflective Marker 등을 이용하여 모션 데이터를 생성할 수도 있다. 이때 모션 데이터를 생성하는 시스템은 특정 종류에 한정되지 않는다.
초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 오브젝트 파트 룩업 테이블을 생성 및 모션 캡쳐 데이터의 생성과 병행하여, 깊이 카메라로부터 깊이 영상을 입력 받을 수 있다(단계 1606).
다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 정합된 영역의 크기나 볼륨 등을 상기 생성된 오브젝트 파트 룩업 테이블에 기초하여 상기 생성된 모션 캡쳐 데이터의 각 조인트에 상기 정의된 초기 템플레이트를 정합한다(단계 1607).
다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 깊이 영상을 입력 받고, 상기 입력된 깊이 영상에 기초하여 선정된 깊이 범위 내에서 영상을 생성한다(단계 1608).
예를 들어, 상기 깊이 영상은 상기 룩업 테이블에 기록된 깊이 정보로부터 생성할 수 있다.
또 다른 예로 상기 깊이 영상은 깊이 카메라와 모션 데이터 생성 시스템을 동시에 이용하여 깊이 데이터와 모션 데이터를 획득한 경우, 초기 템플레이트를 이용하여 정합된 영역의 크기나 볼륨을 깊이 영상 범위를 참고하여 좀 더 정확하게 생성 할 수 있다.
이후, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 선정된 깊이 범위 내에서 생성된 영상으로부터 멀티레이어 깊이 영상을 생성하고(단계 1609), 멀티레이어 레이블드 영상을 생성할 수 있다(단계 1610).
도 17은 초기 템플레이트에 따른 오브젝트 파트 룩업 테이블(1700)을 설명하는 도면이다.
오브젝트 파트 룩업 테이블(1700)은 성별, 연령, 체형에 따른 오브젝트 파트들에 대해서 측정된 속성 값을 저장하는데, 각 오브젝트 파트별 속성 값의 평균과 표준편차를 계산하여 저장할 수 있다.
도 18은 사람(1800)의 각 오브젝트 파트 프로퍼티를 실측하는 예를 설명하는 도면이다.
도 18에서 보는 바와 같이, 각 오브젝트 파트 프로퍼티는 성별, 연령, 체형에 따라 각 오브젝트 파트의 속성 값을 측정하여 평균과 표준편차를 구하여 산출할 수 있다.
도 19는 사람(1900)의 각 오브젝트 파트 프로퍼티를 결정하는 실시예를 설명하는 도면으로서, 도 19에서 보는 바와 같이 각 오브젝트 파트 별 측정한 속성 값을 오브젝트 비율을 고려하여 결정할 수 있다.
도 20은 2차원 오브젝트 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예(2000)를 도시하는 도면이다.
도 20에서 보는 바와 같이 머리는 원, 어깨는 사다리꼴, 팔과 몸통, 다리는 직사각형, 손은 반원, 발은 호인 ID가 다른 도형으로 세팅한다. 도형의 종류는 위에 기술한 5가지 종류에 한정되지 않는다.
도 21은 3차원 오브젝트 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예(2100)를 도시하는 도면으로서, 각 오브젝트 파트를 3차원 오브젝트 모양(3D Body Shape)으로 만들어 초기 템플레이트로 정의한다.
도 22는 도 17에서 깊이 카메라 입력이 있을 경우 깊이 범위 안에서 영상을 생성하는 예를 도시한 도면으로서, Real Depth Data의 범위 안에서 초기 오브젝트 파트 템플레이트(Primitive Object part Template)를 이용하여 Labeled 영상(2200)을 생성하는 예이다.
도 23은 멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법을 개시한 흐름도이다.
멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법은 멀티레이어 영상을 읽어들이고 (단계 2301), 상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트 파트 식별정보에 대한 세그먼트화를 수행한다(단계 2302).
상기 수행한 세그먼트화에 따라서, 동일한 오브젝트 파트 식별정보에 해당하는 위치를 추정하고(단계 2303), 상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정한다(단계 2304).
도 24는 멀티레이어 영상을 바탕으로 스켈레톤 모델(2400)을 추정한 실시예를 설명한 도면이다.
도 23 및 21에 따라서 스켈레톤 모델을 생성하는 방법은 별도의 Retro-Reflective Marker 없이 모션 데이터 캡쳐 시스템으로도 활용할 수 있는 실시 예이다.
결국 본 발명에 따르면, 본 발명에 의해 생성한 산출물을 통해 오브젝트 의 볼륨 재구성을 위한 인식기 학습의 입력데이터로 활용되어 오브젝트 의 볼륨 및 자세를 인식할 수 있는 데이터로 활용할 수 있다. 또한, 본 발명에 따른 비저블 레이어 및 인비저블 레이어로 구성된 오브젝트의 3차원 볼륨 데이터를 생성 할 수 있다.
본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 비저블 데이터 생성 단계
102: 인비저블 데이터 생성 단계

Claims (13)

  1. 멀티레이어 영상을 생성하는 단계;
    상기 생성된 멀티레이어 영상에 기초하여, 오브젝트의 보이는 부분의 종류 및 볼륨 정보를 생성하는 단계; 및
    상기 생성된 멀티레이어 영상에 기초하여, 상기 오브젝트의 보이지 않는 부분의 종류 및 볼륨 정보를 생성하는 단계
    를 포함하고,
    상기 멀티레이어 영상을 생성하는 단계는,
    피사체의 모션 캡쳐를 수행하여 모션 데이터를 생성하는 단계;
    오브젝트의 실제 체형을 반영하여 3차원 메시(3D mesh)의 조합으로 구성된 3차원 오브젝트 모델(Object Model)을 생성하는 단계;
    상기 생성된 모션 데이터를 상기 생성된 3차원 오브젝트 모델에 정합하기 위한 리타게팅을 수행하는 단계; 및
    상기 리타게팅 결과에 따라 슬라이싱 기반의 멀티레이어 영상을 생성하는 단계를 포함하고,
    상기 슬라이싱 기반의 멀티레이어 영상을 생성하는 단계는,
    상기 모션 데이터와 상기 3차원 오브젝트 모델에 기반하는 모션 증진 3차원 오브젝트 모델(Motion Augmented 3D Human Model) 또는 초기 템플레이트 3차원 오브젝트 모델(Primitive Template 3D Human Model)을 생성하는 단계;
    상기 생성된 모션 증진 3차원 오브젝트 모델 또는 상기 초기 템플레이트 3차원 오브젝트 모델에 현재 깊이 값에 해당하는 픽셀이 있는 경우에 레이블드 영상 및 깊이 영상을 생성하는 단계; 및
    상기 생성된 레이블드 영상 및 깊이 영상을 이용하여 상기 멀티레이어 영상을 생성하는 단계를 포함하는
    3차원 볼륨 데이터 생성 방법.
  2. 제1항에 있어서,
    상기 멀티레이어 영상을 생성하는 단계는,
    피사체의 모션 캡쳐를 수행하여 모션 데이터를 생성하는 단계;
    오브젝트 의 실제 체형을 반영하여 3차원 메시(3D mesh)의 조합으로 구성된 3차원 오브젝트 모델(Object Model)을 생성하는 단계;
    상기 생성된 모션 데이터를 상기 생성된 3차원 오브젝트 모델에 정합하기 위한 리타게팅을 수행하는 단계; 및
    상기 리타게팅 결과에 따라 레이 캐스팅 기반의 멀티레이어 영상을 생성하는 단계
    를 포함하는 3차원 볼륨 데이터 생성 방법.
  3. 제2항에 있어서,
    상기 레이 캐스팅 기반의 멀티레이어 영상을 생성하는 상기 단계는,
    레이 캐스팅 기반의 레이 맵을 생성하는 단계;
    상기 생성한 레이 맵으로부터 한 점을 선택하고, 상기 생성된 3차원 오브젝트 모델(Human Model)로부터 복수개의 버텍스를 선택하는 단계; 및
    상기 선택된 한 점과 상기 복수개의 버텍스와의 위치에 기초하여 상기 멀티레이어 영상의 저장 여부를 결정하는 단계
    를 포함하는 3차원 볼륨 데이터 생성 방법.
  4. 제3항에 있어서,
    상기 선택된 한 점과 상기 복수개의 버텍스와의 위치에 기초하여 상기 멀티레이어 영상의 저장 여부를 결정하는 상기 단계는,
    상기 선택된 한 점이 상기 복수개의 버텍스가 생성하는 범위 내에 위치하는지 여부를 확인하는 단계
    를 포함하는 3차원 볼륨 데이터 생성 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 멀티레이어 영상을 생성하는 단계는,
    크로마 키 스크린 및 피사체가 착용하고 바디 파트 별로 다른 색이 적용된 수트로부터, 컬러카메라 영상을 생성하는 단계;
    상기 수트의 컬러 패치 정보와 오브젝트파트 식별정보가 기록된 RGB 룩업 테이블을 생성하는 단계;
    상기 생성된 컬러카메라 영상의 현재 위치에 대한 색상 정보를 확인하고, 상기 확인된 색상 정보와 상기 RGB 룩업 테이블을 비교하여, 상기 색상 정보에 해당하는 오브젝트파트 식별 정보를 검색하는 단계; 및
    상기 검색된 오브젝트파트 식별 정보를 이용하여 멀티레이어 영상을 생성하는 단계
    를 포함하는 3차원 볼륨 데이터 생성 방법.
  8. 제7항에 있어서,
    상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하는 상기 단계는,
    상기 생성된 컬러카메라 영상의 현재 위치에 대한 R, G, B 값을 읽어들어 상기 색상 정보를 확인하는 단계;
    상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인지 여부를 판단하는 단계;
    상기 확인된 색상 정보가 크로마 키 스크린과 다른 색인 경우, 상기 RGB 룩업 테이블에 기초하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하고 저장하는 단계
    를 포함하는 3차원 볼륨 데이터 생성 방법.
  9. 제8항에 있어서,
    상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하는 상기 단계는,
    상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인 경우, 상기 확인된 색상 정보를 배경색으로 결정하는 단계
    를 더 포함하는 3차원 볼륨 데이터 생성 방법.
  10. 제1항에 있어서,
    상기 멀티레이어 영상을 생성하는 단계는,
    오브젝트 파트들 각각의 속성 값을 측정하는 단계;
    상기 측정된 각각의 속성 값으로 초기 템플레이트를 정의하고, 상기 정의된 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성하는 단계;
    모션 캡쳐 시스템을 이용하여, 모션 캡쳐 데이터를 생성하는 단계;
    상기 생성된 모션 캡쳐 데이터의 각 조인트에 상기 정의된 초기 템플레이트를 정합하는 단계; 및
    깊이 카메라 영상을 입력 받고, 상기 입력된 깊이 카메라 영상에 기초하여 선정된 깊이 범위 내의 영상을 생성하는 단계
    를 포함하는 3차원 볼륨 데이터 생성 방법.
  11. 제10항에 있어서,
    상기 선정된 깊이 범위 내의 영상으로부터 멀티레이어 깊이 영상 및 멀티레이어 레이블드 영상을 생성하는 단계
    를 더 포함하는 3차원 볼륨 데이터 생성 방법.
  12. 멀티레이어 영상을 생성하는 단계;
    상기 멀티레이어 영상을 읽어들이는 단계;
    상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트 파트 식별정보에 대한 세그먼트화를 수행하는 단계;
    상기 수행한 세그먼트화에 따라서, 동일한 오브젝트 파트 식별정보에 해당하는 위치를 추정하는 단계; 및
    상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정하는 단계
    를 포함하고,
    상기 멀티레이어 영상을 생성하는 단계는,
    모션 데이터와 3차원 오브젝트 모델에 기반하는 모션 증진 3차원 오브젝트 모델(Motion Augmented 3D Human Model) 또는 초기 템플레이트 3차원 오브젝트 모델(Primitive Template 3D Human Model)을 생성하는 단계;
    상기 생성된 모션 증진 3차원 오브젝트 모델 또는 상기 초기 템플레이트 3차원 오브젝트 모델에 현재 깊이 값에 해당하는 픽셀이 있는 경우에 레이블드 영상 및 깊이 영상을 생성하는 단계; 및
    상기 생성된 레이블드 영상 및 깊이 영상을 이용하여 상기 멀티레이어 영상을 생성하는 단계를 포함하는
    3차원 볼륨 데이터 생성 방법.
  13. 제1항 내지 제4항 및 제7항 내지 제12항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020130033739A 2012-04-17 2013-03-28 3차원 볼륨 데이터 생성 방법 KR102068251B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/858,336 US9489764B2 (en) 2012-04-17 2013-04-08 Method of generating three-dimensional (3D) volumetric data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120039788 2012-04-17
KR20120039788 2012-04-17

Publications (2)

Publication Number Publication Date
KR20130117668A KR20130117668A (ko) 2013-10-28
KR102068251B1 true KR102068251B1 (ko) 2020-01-20

Family

ID=49636374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130033739A KR102068251B1 (ko) 2012-04-17 2013-03-28 3차원 볼륨 데이터 생성 방법

Country Status (1)

Country Link
KR (1) KR102068251B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102187926B1 (ko) * 2018-10-23 2020-12-07 주식회사 케이티 볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체
US11889222B2 (en) * 2020-07-23 2024-01-30 Malay Kundu Multilayer three-dimensional presentation
KR102547323B1 (ko) * 2023-03-16 2023-06-22 이채영 3d 스캐닝을 통해 형성된 오브젝트의 세그멘테이션 장치 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023302A (en) 1996-03-07 2000-02-08 Powertv, Inc. Blending of video images in a home communications terminal
US20050237328A1 (en) * 2004-04-23 2005-10-27 Jens Guhring Method and system for mesh-to-image registration using raycasting
US20060256112A1 (en) 2005-05-10 2006-11-16 Sony Computer Entertainment Inc. Statistical rendering acceleration
US20090103793A1 (en) * 2005-03-15 2009-04-23 David Borland Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data
US20110221743A1 (en) * 2010-03-11 2011-09-15 Gary Keall Method And System For Controlling A 3D Processor Using A Control List In Memory
US20120019517A1 (en) * 2010-07-23 2012-01-26 Mixamo, Inc. Automatic generation of 3d character animation from 3d meshes

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101107308B1 (ko) * 2009-10-29 2012-01-20 한국인식산업(주) 영상 검색 및 인식 방법
KR20120073804A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 영상 처리 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023302A (en) 1996-03-07 2000-02-08 Powertv, Inc. Blending of video images in a home communications terminal
US20050237328A1 (en) * 2004-04-23 2005-10-27 Jens Guhring Method and system for mesh-to-image registration using raycasting
US20090103793A1 (en) * 2005-03-15 2009-04-23 David Borland Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data
US20060256112A1 (en) 2005-05-10 2006-11-16 Sony Computer Entertainment Inc. Statistical rendering acceleration
US7289119B2 (en) 2005-05-10 2007-10-30 Sony Computer Entertainment Inc. Statistical rendering acceleration
US20110221743A1 (en) * 2010-03-11 2011-09-15 Gary Keall Method And System For Controlling A 3D Processor Using A Control List In Memory
US20120019517A1 (en) * 2010-07-23 2012-01-26 Mixamo, Inc. Automatic generation of 3d character animation from 3d meshes

Also Published As

Publication number Publication date
KR20130117668A (ko) 2013-10-28

Similar Documents

Publication Publication Date Title
US11727587B2 (en) Method and system for scene image modification
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US9525862B2 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US10867453B2 (en) Method and system for generating an image file of a 3D garment model on a 3D body model
CN109074660B (zh) 单目相机实时三维捕获和即时反馈的方法和系统
US20180197331A1 (en) Method and system for generating an image file of a 3d garment model on a 3d body model
JP7128708B2 (ja) 機械学習用の訓練データの効率的な収集のための拡張現実を使用したシステム及び方法
US9489764B2 (en) Method of generating three-dimensional (3D) volumetric data
US8487926B2 (en) Method and apparatus for generating 3D image using 2D photograph images
US20200184651A1 (en) Image processing system, image processing method, and program
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
US20130163883A1 (en) Apparatus for measuring three-dimensional position, method thereof, and program
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
WO2018075053A1 (en) Object pose based on matching 2.5d depth information to 3d information
KR20190117354A (ko) 실내공간의 3차원 지도 생성 방법 및 장치
US11823394B2 (en) Information processing apparatus and method for aligning captured image and object
JP7475022B2 (ja) 室内空間の３次元地図生成方法及び装置
Thomas et al. A flexible scene representation for 3d reconstruction using an rgb-d camera
KR101652594B1 (ko) 증강 현실 컨텐츠 제공 장치 및 방법
US11816854B2 (en) Image processing apparatus and image processing method
US20230245396A1 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications
KR102068251B1 (ko) 3차원 볼륨 데이터 생성 방법
Wientapper et al. Composing the feature map retrieval process for robust and ready-to-use monocular tracking
Lim et al. 3-D reconstruction using the kinect sensor and its application to a visualization system
Macedo et al. A markerless augmented reality approach based on real-time 3d reconstruction using kinect

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant