KR102110459B1 - 3차원 이미지 생성 방법 및 장치 - Google Patents

3차원 이미지 생성 방법 및 장치 Download PDF

Info

Publication number
KR102110459B1
KR102110459B1 KR1020150137713A KR20150137713A KR102110459B1 KR 102110459 B1 KR102110459 B1 KR 102110459B1 KR 1020150137713 A KR1020150137713 A KR 1020150137713A KR 20150137713 A KR20150137713 A KR 20150137713A KR 102110459 B1 KR102110459 B1 KR 102110459B1
Authority
KR
South Korea
Prior art keywords
information
image
posture
images
calculating
Prior art date
Application number
KR1020150137713A
Other languages
English (en)
Other versions
KR20160081775A (ko
Inventor
융지 장
후이 장
페이 두안
하오싱 왕
한재준
김정배
이선민
껑위 마
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/977,282 priority Critical patent/US10326972B2/en
Publication of KR20160081775A publication Critical patent/KR20160081775A/ko
Application granted granted Critical
Publication of KR102110459B1 publication Critical patent/KR102110459B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields

Landscapes

  • Image Analysis (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

2차원(Dimensional; D) 이미지들을 이용하여 3D 이미지를 생성하기 위한 방법 및 장치가 제공된다. 3D 이미지를 생성하는 방법 및 장치는 3D 이미지의 대상이 되는 오브젝트의 복수의 이미지들을 획득하고 관성 측정 장치(Inertial Measurement Unit; IMU)에 의해 측정된 복수의 이미지들 각각의 자세 데이터(pose date)에 기반하여 복수의 이미지들 간의 자세 정보를 계산하고, 자세 정보에 기반하여 3D 이미지를 생성할 수 있다.

Description

3차원 이미지 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING THREE DIMENSION IMAGE}
아래의 실시예들은 3차원 이미지를 생성하기 위한 방법 및 장치에 관한 것으로, 보다 상세하게는 2차원 이미지들을 이용하여 3차원 이미지를 생성하는 방법에 관한 것이다.
2차원(Dimensional; D) 이미지들을 3D 이미지로 변환하는 종래의 방법은 전문 소프트웨어를 이용하여 수행되었다. 이러한 방법은 임의의 사람 얼굴에 대해 2D 이미지들을 3D 이미지로 변환하는 경우, 2D 이미지들은 사람의 3D 이미지 생성에 요구되는 높이 정보가 대부분 유실된 상태이므로, 실제의 형상을 생성하는 것이 어려울 수 있다. 이러한 방법은 기술자들의 자의적 표현능력에 따라 3D 이미지가 나타내는 형상이 다르게 나타날 수 있다.
일 측면에 따른, 3차원(Dimensional; D) 이미지를 생성하는 방법은 상기 3D 이미지의 대상이 되는 오브젝트의 복수의 이미지들을 획득하는 단계, 관성 측정 장치(Inertial Measurement Unit; IMU)에 의해 측정된 상기 복수의 이미지들 각각의 자세 데이터(pose date)에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하는 단계 및 상기 자세 정보에 기반하여 상기 3D 이미지를 생성하는 단계를 포함한다.
상기 자세 정보를 계산하는 단계는 상기 복수의 이미지들을 적어도 하나의 이미지 세그먼트로 구분하는 단계, 각 이미지 세그먼트 내의 이미지들 간의 제1 자세 정보를 상기 이미지들 각각의 자세 데이터에 기반하여 계산하는 단계 및 상기 제1 자세 정보에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하는 단계를 포함할 수 있다.
상기 제1 자세 정보를 계산하는 단계는 상기 이미지들 각각의 자세 데이터에 기반하여 상기 각 이미지 세그먼트 내의 인접한 이미지들 간의, 회전 각도 정보 및 평행 이동 방향 정보 중 적어도 하나를 포함하는 제1 자세 파라미터를 계산하는 단계, 인접한 제1 자세 파라미터들을 병합함으로써 제2 자세 파라미터를 계산하는 단계 - 상기 인접한 제1 자세 파라미터들은 하나의 공통 이미지에 대응하고, 상기 제2 자세 파라미터는 평행 이동 스케일 정보를 포함함 -, 및 상기 제1 자세 파라미터 및 상기 제2 자세 파라미터에 기반하여 상기 제1 자세 정보를 계산하는 단계를 포함할 수 있다.
상기 제2 자세 파라미터를 계산하는 단계는 장거리 특징 대응 정보 및 상기 자세 추정 결과 정보에 기반하여 상기 인접한 제1 자세 파라미터들을 병합하는 단계 - 상기 장거리 특징 대응 정보는 상기 특징 대응 초기 이미지를 제외한 상기 제1 이미지 세그먼트 내의 이미지들 간의 특징 대응 정보를 포함함 -를 포함할 수 있다.
상기 인접한 이미지들 간의 자세 추정 결과 정보를 계산하는 단계는 상기 단거리 특징 대응 정보를 획득하는 단계, 상기 단거리 특징 대응 정보를 선택하는 단계 및 상기 선택된 단거리 특징 대응 정보에 기반하여 상기 자세 추정 결과 정보를 계산하는 단계를 포함할 수 있다.
상기 인접한 제1 자세 파라미터들을 병합하는 단계는 상기 장거리 특징 대응 정보를 획득하는 단계, 상기 장거리 특징 대응 정보에 기반하여 상기 인접한 제1 자세 파라미터들의 제1의 3D 포인트 정보를 계산하는 단계, 상기 자세 추정 결과 정보를 통해 획득한 3D 포인트 정보를 제2의 3D 포인트 정보로 결정하는 단계 및 상기 제1의 3D 포인트 정보 및 상기 제2의 3D 포인트 정보에 기반하여 상기 인접한 제1 자세 파라미터들을 병합하는 단계를 포함할 수 있다.
상기 복수의 이미지들 간의 자세 정보를 계산하는 단계는 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들을 병합함으로써 상기 복수의 이미지들 간의 제3 자세 파라미터를 계산하는 단계 - 상기 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들은 상기 서로 다른 이미지 세그먼트들이 공유하는 이미지에 대응하고, 상기 제3 자세 파라미터는 평행 이동 스케일 정보를 포함함 -; 및 상기 제1 자세 정보 및 상기 제3 자세 파라미터에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하는 단계를 더 포함할 수 있다.
상기 제3 자세 파라미터를 계산하는 단계는 상기 자세 추정 결과 정보를 통해 획득한 3D 포인트 정보인, 제2의 3D 포인트 정보 중에서 상기 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들에 각각 대응하는 제3의 3D 포인트 정보 및 제4의 3D 포인트 정보를 결정하는 단계 및 상기 제3의 3D 포인트 정보 및 상기 제4의 3D 포인트 정보에 기반하여 상기 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들을 병합함으로써 상기 복수의 이미지들 간의 제3 자세 파라미터를 계산하는 단계를 포함할 수 있다.
상기 자세 정보에 기반하여 상기 3D 이미지를 생성하는 단계는 상기 자세 정보를 개선(refine)하는 단계 및 상기 개선된 자세 정보에 기반하여 상기 3D 이미지를 생성하는 단계를 포함할 수 있다.
상기 자세 정보에 기반하여 상기 3D 이미지를 생성하는 단계는 상기 자세 정보에 기반하여 상기 오브젝트의 표면 모델 정보를 생성하는 단계 및 상기 표면 모델 정보에 기반하여 상기 3D 이미지를 생성하는 단계를 포함할 수 있다.
상기 표면 모델 정보를 생성하는 단계는 상기 자세 정보에 기반하여 입체 매칭을 수행하는 단계, 상기 입체 매칭에 기반하여 상기 오브젝트에 대한 깊이 이미지(depth image) 정보를 얻는 단계 및 상기 깊이 이미지 정보에 기반하여 상기 표면 모델 정보를 생성하는 단계를 포함할 수 있다.
상기 표면 모델 정보를 생성하는 단계는 상기 자세 정보에 기반하여 상기 오브젝트의 제1 표면 모델 정보를 생성하는 단계 및 상기 제1 표면 모델 정보를 개선함으로써 상기 표면 모델 정보를 생성하는 단계를 포함할 수 있다.
상기 제1 표면 모델 정보를 개선함으로써 상기 표면 모델 정보를 생성하는 단계는 상기 오브젝트의 템플릿(template) 모델 정보에 기반하여 상기 제1 표면 모델 정보를 개선하는 단계를 포함할 수 있다.
상기 오브젝트의 템플릿 모델 정보에 기반하여 상기 제1 표면 모델 정보를 개선하는 단계는 상기 제1 표면 모델 정보 중 상기 템플릿 모델 정보에 대응되지 않는 정보를 제거하는 단계, 상기 제1 표면 모델 정보의 제1 값 및 상기 제1 값에 대응되는 상기 템플릿 모델 정보의 제2 값 간의 차이가 미리 설정된 임계치 보다 더 큰 경우 상기 제1 값을 제거하는 단계 및 상기 제1 표면 모델 정보에 정보를 추가하는 단계 중 적어도 하나의 단계를 포함할 수 있다.
상기 복수의 이미지들을 획득하는 단계는 미리 설정된 이미지 추출 방법에 따라 상기 오브젝트의 복수의 초기 이미지들 중 일부의 이미지들을 추출함으로써 상기 복수의 이미지들을 획득하는 단계를 포함할 수 있다.
상기 미리 설정된 이미지 추출 방법은 이미지의 품질에 기반하여 추출하는 방법, 이미지의 자세 데이터에 기반하여 이미지를 추출하는 방법 및 이미지의 촬영 시각에 기반하여 이미지를 추출하는 방법 중 적어도 하나를 포함할 수 있다.
상기 일부의 이미지를 추출함으로써 상기 복수의 이미지들을 획득하는 단계는 상기 추출된 일부의 이미지들을 후보 이미지들로 설정하는 단계, 상기 후보 이미지들 중 상기 오브젝트의 정면에 대응하는 정면 이미지를 결정하는 단계, 상기 후보 이미지들 중 상기 정면 이미지와 미리 설정된 회전 각도를 갖는 이미지를 측면 이미지로 결정하는 단계 및 상기 정면 이미지 및 상기 측면 이미지에 기반하여 상기 복수의 이미지들을 획득하는 단계를 포함할 수 있다.
상기 자세 정보를 획득하는 단계는 상기 복수의 이미지들을 적어도 하나의 이미지 세그먼트로 구분하는 단계를 포함할 수 있다.
인접한 이미지 세그먼트들은 적어도 하나의 이미지를 공유할 수 있다.
상기 오브젝트는 얼굴일 수 있다.
다른 일 측면에 따른, 단말은 3차원(Dimensional; D) 이미지의 대상이 되는 오브젝트의 복수의 이미지들을 획득하는 카메라; 및 관성 측정 장치(Inertial Measurement Unit; IMU)에 의해 측정된 상기 복수의 이미지들 각각의 자세 데이터(pose date)에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하고, 상기 자세 정보에 기반하여 상기 3D 이미지를 생성하는 처리부를 포함한다.
도 1은 일 예에 따른 2차원 이미지들을 이용하여 3차원 이미지를 생성하는 개략도를 도시한다.
도 2는 일 실시예에 따른 3차원 이미지 생성 장치의 구성도이다.
도 3은 일 실시예에 따른 3차원 이미지 생성 방법의 흐름도이다.
도 4는 일 예에 따른 오브젝트의 복수의 이미지들을 획득하는 방법의 흐름도이다.
도 5는 일 예에 따른 결정된 정면 이미지 및 측면 이미지를 도시한다.
도 6은 일 예에 따른 복수의 이미지들 간의 자세 정보를 계산하는 방법의 흐름도이다.
도 7은 일 예에 따른 이미지 세그먼트들을 도시한다.
도 8은 일 예에 따른 이미지들 간의 제1 자세 정보를 계산하는 방법의 흐름도이다.
도 9는 일 예에 따른 이미지들 간의 제1 자세 파라미터를 계산하는 방법의 흐름도이다.
도 10은 일 예에 따른 제2 자세 파라미터를 계산하는 방법의 흐름도이다.
도 11은 일 예에 따른 단거리 특징 대응 정보 및 장거리 특징 대응 정보를 도시한다.
도 12는 다른 예에 따른 이미지들 간의 제1 자세 정보를 계산하는 방법의 흐름도이다.
도 13은 일 예에 따른 제3 자세 파라미터를 계산하는 방법의 흐름도이다.
도 14는 일 예에 따른 오브젝트의 3차원 이미지를 생성하는 방법의 흐름도이다.
도 15는 다른 일 예에 따른 오브젝트의 3차원 이미지를 생성하는 방법의 흐름도이다.
도 16은 일 예에 따른 표면 모델 정보를 생성하는 방법의 흐름도이다.
도 17은 다른 예에 따른 표면 모델 정보를 생성하는 방법의 흐름도이다.
도 18은 다른 실시예에 따른 3차원 이미지 생성 장치의 구성도이다.
도 19는 또 다른 실시예에 따른 3차원 이미지 생성 장치의 구성도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 예에 따른 2차원 이미지들을 이용하여 3차원 이미지를 생성하는 개략도를 도시한다.
'이미지(image)'는 복소의 화소들을 포함하는 디지털 이미지를 의미할 수 있다. 이미지 및 프레임(frame)과 동일한 의미로 해석될 수 있다.
오브젝트를 촬영한 2차원(dimensional; D) 이미지들을 이용하여 3D 이미지를 생성할 수 있다. 3D 이미지를 생성하기 위해서는 복수의 시점들에서 촬영한 2D 이미지들이 필요하다.
2D 이미지들 내의 특징들을 이용하여 2D 이미지들 간의 상관 관계를 계산할 수 있다. 계산된 상관 관계를 이용하여 오브젝트에 대한 3D 모델을 생성할 수 있다.
일 측면에 따르면, 오브젝트는 사람의 얼굴을 포함하는 머리일 수 있다.
예를 들어, 사용자는 휴대용 단말에 부착된 카메라를 이용하여 복수의 시점에서 얼굴을 촬영할 수 있다. 휴대용 단말은 오브젝트에 대한 2D 이미지들(111 내지 115)을 생성할 수 있다.
휴대용 단말은 2D 이미지들(111 내지 115) 간의 특징 대응 관계(feature correspondence relationship)를 계산할 수 있다. 휴대용 단말은 특징 대응 관계에 기반하여 오브젝트의 표면(surface)(120)을 생성할 수 있다.
휴대용 단말은 표면(120)에 기반하여 오브젝트의 3D 이미지(130)를 생성할 수 있다. 예를 들어, 휴대용 단말은 표면(120)에 텍스쳐링(texturing)을 수행할 수 있다.
상기의 실시예에서는 2D 이미지를 생성하기 위해 휴대용 단말이 이용되었나, 이에 한정되는 것은 아니다.
일 측면에 따르면, 3D 이미지(130)를 생성하기 위해 2D 이미지들(111 내지 115)을 촬영한 휴대용 단말의 자세 데이터(pose data)가 추가적으로 이용될 수 있다. 예를 들어, 자세 데이터는 휴대용 단말에 포함된 관성 센서(inertial sensor) 또는 관성 측정 장치(Inertial Measurement Unit; IMU)를 이용하여 측정될 수 있다.
자세 데이터를 이용하여 3D 이미지를 생성하는 방법에 대해, 하기에서 도 2 내지 도 10을 참조하여 상세히 설명된다.
도 2는 일 실시예에 따른 3차원 이미지 생성 장치의 구성도이다.
3D 이미지 생성 장치(200)는 단말일 수 있다. 예를 들어, 3D 이미지 생성 장치(200)는 휴대용 단말, 개인용 컴퓨터(Personal Computer; PC), 랩탑(laptop) 중 하나일 수 있으며, 명칭에 관계없이 촬영된 이미지를 처리할 수 있는 장치는 3D 이미지 생성 장치(200)일 수 있다.
3D 이미지 생성 장치(200)(이하에서, 3D 이미지 생성 장치(200)는 장치(200)로 약술된다)는 카메라(210), 처리부(220) 및 저장부(230)를 포함한다.
카메라(210)는 실제의 오브젝트를 촬영하여 디지털 이미지를 생성할 수 있다.
처리부(220)는 장치(200)에 포함된 하드웨어 프로세서(hardware processor)일 수 있다. 처리부(220)는 카메라(210) 및 저장부(230)를 제어할 수 있다. 처리부(220)는 카메라(210)가 촬영한 이미지를 처리하거나, 저장부(230)의 데이터를 처리할 수 있다.
처리부(220)는 카메라(210)가 이미지를 처리하도록 제어할 수 있다.
저장부(230)는 카메라(210)가 촬영한 이미지를 저장하거나, 처리부(220)가 처리한 데이터를 저장할 수 있다.
카메라(210), 처리부(220) 및 저장부(230)에 대해, 하기에서 도 3 내지 도 19를 참조하여 상세히 설명한다.
도 3은 일 실시예에 따른 3차원 이미지 생성 방법의 흐름도이다.
단계(310)에서, 카메라(210)는 오브젝트를 촬영함으로써 오브젝트의 복수의 이미지들을 획득한다.
복수의 이미지들을 획득하는 방법에 대해, 하기에서 도 4 및 도 5를 참조하여 설명한다.
단계(320)에서, 처리부(220)는 복수의 이미지들 간의 자세 정보를 계산한다.
일 측면에 따르면, 자세 정보는 복수의 이미지들 간의 상관 관계일 수 있다. 예를 들어, 처리부(220)는 자세 정보는 복수의 이미지들 각각에 대한 자세 데이터에 기반하여 계산할 수 있다.
자세 정보를 계산하는 방법에 대해, 하기에서 도 6 내지 도 13을 참조하여 상세히 설명한다.
단계(330)에서, 처리부(220)는 자세 정보에 기반하여 오브젝트의 3D 이미지를 생성한다.
오브젝트의 3D 이미지를 생성하는 방법에 대해, 하기에서 도 14 내지 도 17을 참조하여 상세히 설명한다.
도 4는 일 예에 따른 오브젝트의 복수의 이미지들을 획득하는 방법의 흐름도이다.
전술된 단계(310)는 하기의 단계들(410 내지 450)을 포함할 수 있다.
단계(410)에서, 처리부(220)는 오브젝트를 촬영한 복수의 초기 이미지들 중 일부의 이미지들을 추출할 수 있다. 복수의 초기 이미지들은 카메라(210)에 의해 촬영될 수 있다.
일 측면에 따르면, 사용자는 카메라(210)를 이용하여 얼굴을 촬영할 수 있다. 카메라(210)는 3D 머리 초상(head portraits) 이미지들을 생성할 수 있다.
예를 들어, 사용자는 휴대용 단말을 손에 들고 머리를 축으로 한쪽 측면(예를 들어, 왼쪽 귀 부분)에서 다른 측면(예를 들어, 오른쪽 귀 부분)으로 이동하면서 동영상을 촬영할 수 있다. 촬영된 동영상은 사용자 머리에 대한 복수의 초기 이미지들을 포함할 수 있다. 상기의 예에서, 휴대용 단말의 전면 카메라가 사용될 수 있다.
초기 이미지들을 획득하는 방법에 대해서는 상기의 예로 한정되지 않는다.
일 측면에 따르면, 각각의 초기 이미지는 타임 스탬프(time stamp)를 포함할 수 있다. 타임 스탬프는 각각의 초기 이미지가 촬영 또는 생성된 시각을 나타낼 수 있다.
다른 일 측면에 따르면, 각각의 초기 이미지는 자세 데이터 및 자세 데이터에 대응하는 타임 스탬프를 포함할 수 있다. 자세 데이터는 각각의 초기 이미지가 촬영 또는 생성될 때의 휴대용 단말의 자세에 대한 데이터일 수 있다. 예를 들어, 자세 데이터는 휴대용 단말에 포함된 관성 센서 또는 IMU 를 이용하여 측정될 수 있다.
자세 데이터는 초기 이미지를 촬영하는 휴대용 단말이 향한 방향 또는 휴대용 단말의 자세를 나타낼 수 있다. 예를 들어, 자세 데이터는 초기 이미지를 촬영한 때의 휴대용 단말의 회전 각도를 나타낼 수 있다. 처리부(220)는 휴대용 단말에서 자세 데이터를 획득하고, 자세 데이터를 회전 행렬을 이용하여 각각의 초기 이미지에 대응시킬 수 있다.
관성 센서를 이용하여 자세 데이터를 획득하는 자세한 방법은 본 기술 분야에서 통상의 지식을 가진 자에게는 널리 알려진 기술이므로 이하 생략한다.
처리부(220)는 자세 데이터를 획득한 후, 자세 데이터에 대한 전-처리(pre-processing)를 수행할 수 있다. 초기 이미지의 타임 스탬프는 초기 이미지에 대응하는 자세 데이터의 타임 스탬프와 다를 수 있다. 예를 들어, 자세 데이터의 타임 스탬프가 초기 이미지의 타임 스탬프에 비해 더 늦을 수 있다. 또는 반대로, 초기 이미지의 타임 스탬프가 자세 데이터의 타임 스탬프에 비해 더 늦을 수 있다.
예를 들어, 처리부(220)는 상기의 타임 스탬프들을 서로 상관시키기 위해 미리 정해진 시간만큼 초기 이미지의 타임 스탬프를 지연시킴으로써 전-처리를 수행할 수 있다. 예를 들어, 상기 미리 정해진 시간은 200ms(millisecond)일 수 있다.
일 측면에 따르면, 처리부(220)는 미리 설정된 이미지 추출 방법에 따라 오브젝트의 복수의 초기 이미지들 중 일부의 이미지들을 추출할 수 있다. 예를 들어, 미리 설정된 이미지 추출 방법은 이미지의 품질에 기반하여 추출하는 방식, 이미지의 자세 데이터에 기반하여 이미지를 추출하는 방법 및 이미지의 촬영 시각에 기반하여 이미지를 추출하는 방법 중 적어도 하나를 포함할 수 있다.
단계(420)에서, 처리부(220)는 추출된 일부의 이미지들을 후보 이미지들로 설정할 수 있다.
단계(430)에서, 처리부(220)는 후보 이미지들 중 오브젝트의 정면에 대응하는 정면 이미지를 결정할 수 있다. 정면 이미지는 주요(key) 이미지로 선정될 수 있다. 정면 이미지에 대해, 하기에서 도 5를 참조하여 상세히 설명한다.
단계(440)에서, 처리부(220)는 후보 이미지들 중 정면 이미지와 미리 설정된 회전 각도를 갖는 이미지를 측면 이미지로 결정할 수 있다. 측면 이미지는 주요 이미지로 선정될 수 있다. 측면 이미지에 대해, 하기에서 도 5를 참조하여 상세히 설명한다.
단계(450)에서, 처리부(220)는 정면 이미지 및 측면 이미지에 기반하여 3D 이미지를 생성하기 위해 이용되는 복수의 이미지들을 획득할 수 있다.
일 측면에 따르면, 처리부(220)는 후보 이미지들의 품질에 기반하여 품질이 좋은 이미지들을 복수의 이미지들로 결정할 수 있다. 예를 들어, 모션 아티팩트(motion artifact)가 적거나, 선명한 화질을 갖는 후보 이미지들이 복수의 이미지들로 결정될 수 있다.
다른 일 측면에 따르면, 처리부(220)는 자세 데이터를 이용하여 복수의 이미지들을 선정할 수 있다. 예를 들어, 처리부(220)는 후보 이미지들 각각의 자세 데이터에 기반하여 미리 설정된 범위 내의 회전 각도를 갖는 후보 이미지들을 복수의 이미지들로 결정할 수 있다.
또 다른 일 측면에 따르면, 처리부(220)는 시각에 기반하여 복수의 이미지들을 결정할 수 있다.
예를 들어, 후보 이미지들의 생성 시간이 0 내지 5초인 경우, 생성 시간이 2 내지 4초인 후보 이미지들이 복수의 이미지들로 결정될 수 있다. 생성 초기의 후보 이미지들에 비해 중간에 생성된 후보 이미지들의 품질이 더 좋을 수 있다.
또 다른 일 측면에 따르면, 처리부(220)는 복수의 이미지들의 시작 및 끝의 위치를 IMU에 기반하여 획득된 각도 정보 및 수직 방향 변위(vertical direction displacement) 중 적어도 하나를 이용하여 결정할 수 있다.
예를 들어, 처리부(220)는 획득된 부앙각(pitch angle)의 변화 폭이 미리 설정된 각도보다 작을 때, 현재 모멘트(current moment)를 복수의 이미지들의 시작 위치로 결정할 수 있다. 처리부(220)는 획득된 부앙각의 변화 폭이 미리 설정된 각도보다 클 때, 현재 모멘트를 복수의 이미지들의 끝 위치로 결정할 수 있다. 일 예에 따르면, 미리 설정된 각도는 5° 또는 7°일 수 있으나, 이에 한정되지 않는다.
또 다른 일 측면에 따르면, 처리부(220)는 획득된 수직 방향 변위의 변화 폭이 미리 설정된 위치보다 작을 때, 현재 모멘트를 복수의 이미지들의 시작 위치로 결정할 수 있다. 카메라(210)는 획득된 수직 방향 변위(displacement of vertical direction)의 변화 폭이 미리 설정된 폭보다 클 때, 현재 모멘트를 복수의 이미지들의 끝 위치로 결정할 수 있다. 미리 설정된 폭은 1cm(centimeter) 또는 2cm일 수 있으나, 이에 한정되지 않는다.
처리부(220)가 후보 이미지들 중 복수의 이미지들을 결정하는 방법은 이미지 내의 특정한 구역을 포함하는 이미지만을 선택할 수 있다. 예를 들어, 특정한 구역은 오브젝트일 수 있다. 처리부(220)는 오브젝트를 포함하지 않는 이미지를 후보 이미지들에서 제거할 수 있다.
일 측면에 따르면, 처리부(220)는 복수의 이미지들의 각각의 이미지 내에 포함된 오브젝트 이외의 영역을 제거할 수 있다. 예를 들어, 처리부(220)는 복수의 이미지들 각각에 대해 얼굴 영역만을 포함하고, 배경 영역은 포함하지 않도록 이미지에서 제거할 수 있다. 오브젝트 이외의 영역이 제거된 복수의 이미지들이 3D 이미지 생성에 이용될 경우 이후의 처리 시간이 단축될 수 있다.
도 5는 일 예에 따른 결정된 정면 이미지 및 측면 이미지를 도시한다.
처리부(220)는 후보 이미지들 중 오브젝트의 정면에 대응하는 정면 이미지(510)를 결정할 수 있다.
일 측면에 따르면, 처리부(220)는 후보 이미지들 중 임의의 이미지에 대한 특징 포인트 정보(feature point information)를 검출할 수 있다. 처리부(220)는 특징 포인트의 대칭성을 계산할 수 있다. 처리부(220)는 특징 포인트의 대칭성이 가장 좋은 이미지를 정면 이미지(510)로 계산할 수 있다. 예를 들어, 특징 포인트는 검출되는 눈의 위치일 수 있다.
처리부(220)는 후보 이미지들 중 오브젝트의 측면에 대응하는 측면 이미지(520, 530, 530 또는 540)를 결정할 수 있다.
일 측면에 따르면, 처리부(220)는 후보 이미지들의 자세 데이터를 이용하여 정면 이미지(510)와 미리 설정된 회전 각도를 이루는 후보 이미지를 측면 이미지(520, 530, 530 또는 540)로 결정할 수 있다. 예를 들어, 미리 설정된 회전 각도는 -15°, +15°, -30° 및 30°일 수 있다.
다른 일 측면에 따르면, 처리부(220)는 자동 알고리즘을 이용하여 최적(best)의 이미지 쌍(image pair)를 결정할 수 있다.
도 6은 일 예에 따른 복수의 이미지들 간의 자세 정보를 계산하는 방법의 흐름도이다.
전술된 단계(320)는 하기의 단계들(610 내지 630)을 포함할 수 있다.
단계(610)에서, 처리부(220)는 복수의 이미지들을 적어도 하나의 이미지 세그먼트(image segment)로 구분할 수 있다. 이미지 세그먼트는 적어도 하나의 이미지를 포함할 수 있다. 이미지 세그먼트를 구분하는 방법에 대해, 하기에서 도 7을 참조하여 상세히 설명한다.
단계(620)에서, 처리부(220)는 각 이미지 세그먼트 내의 인접한 이미지들 간의 제1 자세 정보(first pose information)를 계산할 수 있다.
인접한 이미지들에 대해, 하기에서 도 7을 참조하여 설명한다.
제1 자세 정보를 계산하는 방법에 대해, 하기에서 도 8을 참조하여 상세히 설명한다.
단계(630)에서, 처리부(220)는 제1 자세 정보에 기반하여 복수의 이미지들 간의 자세 정보를 계산할 수 있다.
도 7은 일 예에 따른 이미지 세그먼트들을 도시한다.
도 7에는 복수의 이미지들(11 내지 19)이 도시된다.
예를 들어, 처리부(220)는 3개의 이미지들이 하나의 이미지 세그먼트를 구성하도록 이미지 세그먼트들을 구분할 수 있다.
일 측면에 따르면, 처리부(220)는 인접한 이미지 세그먼트들 간에 이미지를 공유하도록 이미지 세그먼트들을 구분할 수 있다. 예를 들어, 제1 이미지 세그먼트는 이미지들(11 내지 13)을 포함할 수 있다. 제2 이미지 세그먼트는 이미지들(13 내지 15)을 포함할 수 있다. 이미지(13)는 제1 이미지 세그먼트 및 제2 이미지 세그먼트 간에 공유되는 공통 이미지일 수 있다.
예를 들어, 도 6에서 전술되었던 각 이미지 세그먼트 내의 인접한 이미지들은 이미지(11) 및 이미지(12)일 수 있다. 다른 예로, 각 이미지 세그먼트 내의 인접한 이미지들은 이미지(15) 및 이미지(16)일 수 있다.
예를 들어, 처리부(220)는 주요 이미지가 공유되도록 이미지 세그먼트들을 구분할 수 있다.
도 8은 일 예에 따른 이미지들 간의 제1 자세 정보를 계산하는 방법의 흐름도이다.
전술된 단계(620)는 하기의 단계들(810 내지 830)을 포함할 수 있다.
단계(810)에서, 처리부(220)는 각 이미지 세그먼트 내의 인접한 이미지들 간의, 회전 각도 정보(rotation angle information), 평행 이동 정보(parallel transference information) 및 평행 이동 방향 정보(parallel transference direction information) 중 적어도 하나를 포함하는 제1 자세 파라미터(first pose parameter)를 계산할 수 있다. 예를 들어, 처리부(220)는 인접한 이미지들 각각의 자세 데이터를 이용하여 인접한 이미지들 간의 제1 자세 파라미터를 계산할 수 있다. 제1 자세 파라미터를 계산하는 방법에 대해, 하기에서 도 9를 참조하여 상세히 설명된다.
단계(820)에서, 처리부(220)는 인접한 제1 자세 파라미터들을 병합함으로써 제2 자세 파라미터(second pose parameter)를 계산할 수 있다. 인접한 제1 자세 파라미터들은 하나의 공통 이미지에 대응할 수 있다. 예를 들어, 제2 자세 파라미터는 평행 이동 스케일 정보(parallel transference scale factor)를 포함할 수 있다.
단계(830)에서, 처리부(220)는 제1 자세 파라미터 및 제2 자세 파라미터에 기반하여 제1 자세 정보를 계산할 수 있다. 제1 자세 정보는 이미지 세그먼트 내의 모든 이미지들에 대한 자세 정보일 수 있다. 예를 들어, 제1 자세 정보는 회전 각도 정보, 평행 이동 정보, 평행 이동 방향 정보 및 평행 이동 스케일 정보 중 적어도 하나를 포함할 수 있다.
도 9는 일 예에 따른 이미지들 간의 제1 자세 파라미터를 계산하는 방법의 흐름도이다.
전술된 단계(810)는 단거리 특징 대응 정보(short distance feature correspondence information)에 기반하여 인접한 이미지들 간의 자세 추정 결과 정보(pose estimation result information)를 계산하는 단계를 포함할 수 있다. 자세 추정 결과 정보는 제1 자세 파라미터를 포함할 수 있다
단계(810)는 하기의 단계들(910 내지 930)을 포함할 수 있다.
단계(910)에서, 처리부(220)는 각 이미지 세그먼트 내의 단거리 특징 대응 정보를 획득할 수 있다. 예를 들어, 단거리 특징 대응 정보는 제1 이미지 및 제1 이미지에 인접한 제2 이미지들 간에 대응하는 특징에 관한 정보일 수 있다.
일 측면에 따르면, 처리부(220)는 능동적 윤곽 모델(Active Contour Model; ACM), 능동적 형상 모델(Active Shape Model; ASM), 능동적 외양 모델(Active Appearance model; AAM), 또는 SDM(Supervised Descent Method) 등을 이용하여 제1 이미지 및 제2 이미지들 간의 대응하는 하나 이상의 특징점들을 추출함으로써 단거리 특징 대응 정보를 획득할 수 있다. 단거리 특징 대응 정보는 복수의 특징 대응 정보를 포함할 수 있다.
단거리 특징 대응 정보에 대해, 하기에서 도 11을 참조하여 상세히 설명한다.
일 측면에 따르면, 처리부(220)는 이미지 세그먼트 내의 인접한 이미지들 간의 특징 포인트를 검출할 수 있다. 처리부(220)는 검출한 특징 포인트에 기반하여 인접한 이미지들 간의 특징 포인트를 추적할 수 있다. 예를 들어, 단거리 특징 대응 정보는 인접한 이미지들 간에 대응하는 특징들을 매칭(matching) 또는 추적(tracking)하는 것일 수 있다.
예를 들어, 처리부(220)는 오픈 소스 컴퓨터 비전 라이브러리(open source computer vision library; OpenCV)를 이용하여 특징 포인트를 검출할 수 있다. 다른 예로, 처리부(220)는 가속 세그먼트 테스트 특징(Features From Accelerated Segment Test; FAST)을 이용하여 특징 포인트를 검출할 수 있다.
단계(920)에서, 처리부(220)는 단거리 특징 대응 정보를 선택(selection)할 수 있다.
일 측면에 다르면, 처리부(220)는 자세 추정 알고리즘을 이용하여 단거리 특징 대응 정보를 선택할 수 있다. 예를 들어, 자세 추정 알고리즘은 랜덤 샘플 일치(Random Sample Consensus; RANSAC)일 수 있다.
처리부(220)는 자세 추정 알고리즘 및 IMU를 이용하여 획득된 인접한 이미지들의 회전 각도 정보에 기반하여 인접한 이미지들에 대한 평행 이동 방향 정보를 추정할 수 있다.
처리부(220)는 자세 추정 알고리즘 및 추정된 평행 이동 방향 정보에 기반하여 단거리 특징 대응 정보를 선택할 수 있다. 예를 들어, 선택된 단거리 특징 대응 정보는 인접한 이미지들 간의 정확성이 높은 특징 대응 정보일 수 있다.
단거리 특징 대응 정보가 선택됨으로써 신뢰성 있는(reliable) 단거리 특징 대응 정보가 획득될 수 있다.
단계(930)에서, 처리부(220)는 자세 추정 알고리즘 및 선택된 단거리 특징 대응 정보에 기반하여 인접한 이미지들 간의 자세 추정 결과 정보를 계산할 수 있다. 예를 들어, 자세 추정 결과 정보는 회전 각도 정보 및 평행 이동 방향 정보 중 적어도 하나를 포함하는 제1 자세 파라미터를 포함할 수 있다.
도 10은 일 예에 따른 제2 자세 파라미터를 계산하는 방법의 흐름도이다.
전술된 단계(820)는 장거리 특징 대응 정보(long distance feature correspondence information) 및 자세 추정 결과 정보에 기반하여 인접한 제1 자세 파라미터들을 병합하는 단계를 포함할 수 있다.
단계(820)는 하기의 단계들(1010 내지 1040)을 포함할 수 있다.
단계(1010)에서, 처리부(220)는 장거리 특징 대응 정보를 획득할 수 있다. 예를 들어, 장거리 특징 대응 정보는 하나의 이미지 세그먼트 내의 제1 이미지와 인접하지 않는 제3 이미지 간에 대응하는 특징에 관한 정보일 수 있다.
일 측면에 따르면, 장거리 특징 대응 정보는 제1 이미지 및 제1 이미지와 인접한 제2 이미지 간에 획득된 특징 포인트를 제3 이미지에 연장하여 대응시키는 것일 수 있다. 제1 이미지 및 제2 이미지 간에 획득된 특징 포인트는 단거리 특징 대응 정보에 포함될 수 있다.
장거리 특징 대응 정보를 각각의 이미지 세그먼트 내에서만 획득함으로써 특징 대응 정보의 정확성이 향상될 수 있다.
단계(1020)에서, 처리부(220)는 3각화 알고리즘(triangularization algorithm) 및 장거리 특징 대응 정보에 기반하여 이미지 세그먼트 내의 인접한 두 개의 제1 자세 파라미터들의 제1의 3D 포인트 정보를 계산할 수 있다.
일 측면에 따르면, 제1의 3D 포인트 정보는 공간적 위치를 가지는 버텍스(vertex)로 표현될 수 있다.
단계(1030)에서, 처리부(220)는 자세 추정 결과 정보에서 획득한 3D 포인트 정보를 제2의 3D 정보로 결정할 수 있다.
일 측면에 따르면, 제2의 3D 포인트 정보는 공간적 위치를 가지는 버텍스로 표현될 수 있다.
단계(1040)에서, 처리부(220)는 제1의 3D 포인트 정보 및 제2의 3D 포인트 정보에 기반하여 인접한 두 개의 제1 자세 파라미터들을 병합함으로써 제2 자세 파라미터를 생성할 수 있다.
일 실시예에 따르면, 이미지 세그먼트 내의 인접한 두 개의 제1 자세 파라미터들의 병합은 이미지 세그먼트 내의 평행 이동 스케일 정보를 획득하기 위해 이용될 수 있다. 예를 들어, 처리부(220)는 인접한 두 개의 제1 자세 파라미터들의 평행 이동 벡터 중 한 개의 평행 이동 벡터에 스케일 인자(scale factor)를 곱함으로써 제2 자세 파라미터를 생성할 수 있다.
예를 들어, 이미지 세그먼트 내의 인접한 두 개의 제1 자세 파라미터들의 제1의 3D 포인트를 A라고 가정하고, 제2의 3D 포인트를 B로 가정하고, 인접한 두 개의 제1 자세 파라미터들의 공통 이미지의 광 중심(light center) 포인트를 O로 가정하는 경우, AO의 거리를 BO의 거리로 나누면 스케일 인자가 획득될 수 있다.
추가적으로, 이미지 세그먼트 내에 여러 개의 인접한 제1 자세 파라미터들이 존재하는 경우, 복수의 스케일 인자들이 계산될 수 있다. 복수의 스케일 인자들이 계산되는 경우, 처리부(220)는 복수의 스케일 인자들 중 하나의 대표 스케일 인자를 획득할 수 있다.
예를 들어, 처리부(220)는 복수의 스케일 인자들 중 공통 직선에 위치하지 않는 A, B 및 O에 대해 계산된 스케일 인자를 제거할 수 있다. 처리부(220)는 나머지 스케일 인자들에 대해 중간 값을 계산하고, 계산된 중간 값을 대표 스케일 인자로 결정할 수 있다.
도 11은 일 예에 따른 단거리 특징 대응 정보 및 장거리 특징 대응 정보를 도시한다.
도 11은 도 7에서 도시되었던 복수의 이미지들을 도시한다.
예를 들어, 단거리 특징 대응 정보를 획득하기 위해 이용되는 인접한 이미지들은 제1 이미지 세그먼트 내의 이미지(11) 및 이미지(12)일 수 있다. 이미지(11)는 특징 대응 초기 이미지(feature correspondence initial image)로 명명될 수 있다.
단거리 특징 대응 정보(1110)는 특징 대응 초기 이미지(11) 및 특징 대응 초기 이미지(11)가 포함된 이미지 세그먼트(제1 이미지 세그먼트) 내의 특징 대응 초기 이미지(11)와 인접한 이미지(12) 간의 특징 대응 정보일 수 있다.
장거리 특징 대응 정보(1120)는 특징 대응 초기 이미지(11)를 제외한 제1 이미지 세그먼트 내의 이미지들(1110 및 1120) 간의 특징 대응 정보일 수 있다.
일 측면에 따르면, 세 개의 이미지들(11 내지 13)로 구성된 제1 이미지 세그먼트는, 이미지(12)가 특징 대응 초기 이미지(12)인 경우, 특징 대응 초기 이미지(120)에 대한 장거리 특징 대응 정보를 가지지 않을 수 있다.
도 12는 다른 예에 따른 이미지들 간의 제1 자세 정보를 계산하는 방법의 흐름도이다.
전술된 단계(620)는 하기의 단계들(1210 및 1220)을 더 포함할 수 있다.
단계(1210)에서, 처리부(220)는 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들을 병합함으로써 복수의 이미지들 간의 제3 자세 파라미터를 계산할 수 있다. 예를 들어, 제3 자세 파라미터는 평행 이동 스케일 정보를 포함할 수 있다.
서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들은 서로 다른 이미지 세그먼트들 사이에 공유한 공통 이미지에 대응할 수 있다.
제3 자세 파라미터를 계산하는 방법에 대해, 하기에서 도 13을 참조하여 상세히 설명한다.
단계(1220)에서, 처리부(220)는 제1 자세 정보 및 제3 자세 파라미터에 기반하여 복수의 이미지들의 자세 정보를 계산할 수 있다.
제1 자세 정보는 전술된 단계(830)에서, 제1 자세 파라미터 및 제2 자세 파라미터에 기반하여 계산될 수 있다.
일 측면에 따르면, 자세 정보는 각 이미지 세그먼트 내의 인접한 주요 이미지들 간의 회전 각도 정보, 평행 이동 방향 정보, 평행 이동 스케일 정보를 포함할 수 있다. 자세 정보는 복수의 이미지들 간의 평행 이동 스케일 정보를 더 포함할 수 있다.
예를 들어, 처리부(220)는 5-포인트 알고리즘(point algorithm), 6-포인트 알고리즘 및 8-포인트 알고리즘 중 어느 하나를 이용하여 복수의 이미지들의 자세 정보를 계산할 수 있다.
도 13은 일 예에 따른 제3 자세 파라미터를 계산하는 방법의 흐름도이다.
전술된 단계(1210)는 하기의 단계들(1310 및 1320)을 포함할 수 있다.
단계(1310)에서, 처리부(220)는 제2의 3D 포인트 정보 중에서 서로 다른 이미지 세그먼트들에 각각 포함되는 인접한 제1 자세 파라미터들에 각각 대응하는 제3의 3D 포인트 정보 및 제4의 3D 포인트 정보를 결정할 수 있다.
예를 들어, 전술된 도 11을 참조하면, 제1 이미지 세그먼트 및 제2 이미지 세그먼트에 각각 포함되는 인접한 제1 자세 파라미터들이 고려될 수 있다. 제1 이미지 세그먼트에 포함되는 제1 자세 파라미터는 제3의 3D 포인트 정보에 대응할 수 있다. 제2 이미지 세그먼트에 포함되는 제1 자세 파라미터는 제4의 3D 포인트 정보에 대응할 수 있다.
제2의 3D 포인트 정보는 자세 추정 알고리즘의 계산에 기반하여 획득한 각 이미지 세그먼트의 3D 포인트 정보를 포함할 수 있다. 처리부(220)는 제2의 3D 포인트 정보 중에서 획득한 제1 이미지 세그먼트의 3D 포인트 정보를 제3의 3D 포인트 정보로 결정할 수 있다. 처리부(220)는 제2의 3D 포인트 정보 중에서 획득한 제2 이미지 세그먼트의 3D 포인트 정보를 제4의 3D 포인트 정보로 결정할 수 있다.
단계(1320)에서, 처리부(220)는 제3의 3D 포인트 정보 및 제4의 3D 포인트 정보에 기반하여 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들을 병합함으로써 복수의 이미지들 간의 제3 자세 파라미터를 계산할 수 있다.
제3 자세 파라미터를 계산하는 방법에 대한 설명은 전술하여 설명된 제2 자세 파라미터를 계산하는 방법과 유사하므로 이하 생략된다.
도 14는 일 예에 따른 오브젝트의 3차원 이미지를 생성하는 방법의 흐름도이다.
전술된 단계(330)는 하기의 단계들(1410 및 1420)을 포함할 수 있다.
단계(1410)에서, 처리부(220)는 자세 정보를 개선(refine)할 수 있다. 예를 들어, 처리부(220)는 자세 정보에 대해 광속 조정(Bundle Adjustment) 처리를 함으로써 자세 정보를 개선할 수 있다.
단계(1420)에서, 처리부(220)는 개선된 자세 정보에 기반하여 3D 이미지를 생성할 수 있다. 3D 이미지를 생성하는 방법에 대해, 하기에서 도 15 내지 도 17을 참조하여 상세히 설명한다.
도 15는 다른 일 예에 따른 오브젝트의 3차원 이미지를 생성하는 방법의 흐름도이다.
전술된 단계(330)는 하기의 단계들(1510 및 1520)을 포함할 수 있다.
단계(1510)에서, 처리부(220)는 자세 정보에 기반하여 오브젝트의 표면 모델 정보(surface model information)를 생성할 수 있다. 표면 모델 정보를 생성하는 방법에 대해, 하기에서 도 16 및 도 17을 참조하여 상세히 설명한다.
단계(1520)에서, 처리부(220)는 표면 모델 정보에 기반하여 오브젝트의 3D 이미지를 생성할 수 있다.
도 16은 일 예에 따른 표면 모델 정보를 생성하는 방법의 흐름도이다.
전술된 단계(1510)는 하기의 단계들(1610 내지 1630)을 포함할 수 있다.
단계(1610)에서, 처리부(220)는 자세 정보에 기반하여 입체 매칭(stereo matching)을 수행할 수 있다. 예를 들어, 입체 매칭은 복수의 이미지들의 특징들을 매칭하는 것일 수 있다.
입체 매칭에 관한 자세한 설명은 본 기술분야에서 통상의 지식을 가진 자에게는 널리 알려진 기술이므로 이하 생략한다.
단계(1620)에서, 처리부(220)는 입체 매칭에 기반하여 오브젝트에 대한 깊이 이미지(depth image) 정보를 획득할 수 있다.
단계(1630)에서, 처리부(220)는 깊이 이미지에 기반하여 오브젝트의 표면 모델 정보를 생성할 수 있다.
도 17은 다른 예에 따른 표면 모델 정보를 생성하는 방법의 흐름도이다.
전술된 단계(1510)는 하기의 단계들(1710 및 1720)을 포함할 수 있다.
단계(1710)에서, 처리부(220)는 자세 정보에 기반하여 오브젝트의 제1 표면 모델 정보를 생성할 수 있다.
일 측면에 따르면, 처리부(220)는 깊이 이미지에 기반하여 제1 표면 모델 정보를 생성할 수 있다. 예를 들어, 단계(1630)에서 생성된 표면 모델 정보는 제1 표면 모델 정보일 수 있다.
단계(1720)에서, 처리부(220)는 제1 표면 모델 정보를 개선함으로써 오브젝트의 표면 모델 정보를 생성할 수 있다.
일 측면에 따르면, 처리부(220)는 오브젝트의 템플릿(template) 모델 정보에 기반하여 제1 표면 모델 정보를 개선할 수 있다. 예를 들어, 처리부(220)는 템플릿 모델을 정면 이미지에 정렬(alignment)할 수 있다. 처리부(220)는 템플릿 모델의 특징 포인트 및 정면 이미지의 특징 포인트에 기반하여 템플릿 모델을 정면 이미지에 정렬할 수 있다.
예를 들어, 처리부(220)는 템플릿 모델 정보에 기반하여, 제1 표면 모델 정보 중 템플릿 모델 정보에 대응하지 않는 정보를 제거할 수 있다.
다른 예로, 처리부(220)는 템플릿 모델 정보에 기반하여, 제1 표면 모델 정보의 제1 값 및 제1 값에 대응하는 템플릿 모델 정보의 제2 값 간의 차이가 미리 설정된 임계치 보다 더 큰 경우 제1 값을 제거할 수 있다.
또 다른 예로, 처리부(220)는 템플릿 모델 정보에 기반하여, 제1 표면 모델 정보에 정보를 추가할 수 있다.
다른 일 측면에 따르면, 처리부(220)는 정렬된 템플릿 모델 정보에 대해 원통 도법(cylindrical projection)을 수행함으로써 제1 원통 도법 정보를 획득할 수 있다. 처리부(220)는 제1 원통 도법 정보에 상응하는 텍스쳐(texture) 좌표 정보를 획득할 수 있다.
처리부(220)는 제1 원통 도법 정보를 개선함으로써 제2 원통 도법 정보를 생성할 수 있다. 제2 원통 도법 정보는 오브젝트의 표면 모델 정보일 수 있다.
예를 들어, 처리부(220)는 제2 원통 도법 정보 중에서 제1 원통 도법 정보와 대응하지 않는 정보를 제거할 수 있다.
다른 예로, 처리부(220)는 제2 원통 도법 정보 중에서 제1 원통 도법 정보와의 차이가 미리 설정된 임계치 보다 더 큰 정보를 제거할 수 있다.
또 다른 예로, 처리부(220)는 제1 원통 도법 정보의 경사도 값에 기반하여 제2 원통 도법 정보에 추가 정보를 삽입할 수 있다.
처리부(220)는 제2 원통 도법 정보에 대하여 평활(smoothness) 처리를 수행할 수 있다.
단계(1720)가 수행된 후, 전술된 단계(1520)에서, 처리부(220)는 표면 모델 정보에 기반하여 3D 이미지를 생성할 수 있다.
일 측면에 따르면 처리부(220)는 표면 모델 정보에 대한 텍스쳐 정보를 생성할 수 있다.
예를 들어, 처리부(220)는 오브젝트의 서로 다른 두 개의 측면 이미지들을 각각 획득하고, 두 개의 측면 이미지들을 텍스쳐 좌표가 존재하는 평면에 매핑(mapping)함으로써 두 개의 텍스쳐 도면들을 획득할 수 있다. 텍스쳐 좌표는 제1 표면 모델 정보에 대하여 원통 도법을 수행함으로써 획득된 것일 수 있다.
처리부(220)는 두 개의 텍스쳐 도면들의 조명 및 색상에 대한 조정을 수행할 수 있다. 처리부(220)는 조정된 두 개의 텍스쳐 도면들을 조인트(joint)함으로써 하나의 텍스쳐 도면을 획득할 수 있다.
처리부(220)는 획득된 텍스쳐 도면에 기반하여 3D 이미지를 생성할 수 있다.
도 18은 다른 실시예에 따른 3차원 이미지 생성 장치의 구성도이다.
3D 이미지 생성 장치(1800)는 전술된 장치(200)에 대응할 수 있다.
3D 이미지 생성 장치(1800)는 획득부(1810), 연산부(1820) 및 이미지 생성부(1830)를 포함할 수 있다.
획득부는(1810)는 오브젝트의 복수의 이미지들을 획득할 수 있다.
연산부(1820)는 복수의 이미지들 간의 자세 정보를 계산할 수 있다.
이미지 생성부(1830)는 자세 정보에 기반하여 3D 이미지를 생성할 수 있다.
일 측면에 따르면, 획득부(1810)는 미리 설정된 추출 방법에 따라 오브젝트의 복수의 초기 이미지들 중 일부의 이미지들을 후보 이미지들로 추출하는 추출부(1811), 후보 이미지들 중 정면 이미지 및 측면 이미지를 결정하는 결정부(1812), 결정된 정면 이미지 및 측면 이미지에 기반하여 복수의 이미지들을 획득하는 이미지 시퀀스 생성부(1813)를 포함할 수 있다.
일 측면에 따르면, 연산부(1820)는 각 이미지 세그먼트 내의 인접한 이미지들 간의 제1 자세 파라미터를 계산하는 계산모듈(1821), 인접한 두 개의 제1 자세 파라미터들을 병합함으로써 제2 자세 파라미터를 생성하는 병합모듈(1822) 및 제1 자세 파라미터 및 제2 자세 파라미터에 기반하여 제1 자세 정보를 생성하는 자세 정보 생성 모듈(1823)을 포함한다.
예를 들어, 계산모듈(1821)은 단거리 특징 대응 정보를 획득하는 제1 획득 서브 모듈(18211), 단거리 특징 대응 정보를 선택하는 선택 서브 모듈(18212), 선택된 단거리 특징 대응 정보에 기반하여 인접한 이미지 간의 자세 추정 결과 정보를 계산하는 제1 계산 서브모듈(18213)을 포함할 수 있다.
예를 들어, 병합모듈(1822)은, 장거리 특징 대응 정보를 획득하는 제2 획득 서브 모듈(18221), 장거리 특징 대응 정보에 기반하여 인접한 두 개의 제1 자세 파라미터들의 제1의 3D 포인트 정보를 계산하는 제2 계산 서브모듈(18222), 제1의 3D 포인트 정보와 제2의 3차원 포인트 정보에 기반하여 인접한 두 개의 제1 자세 파라미터들을 병합하는 병합 서브 모듈(18223)을 포함할 수 있다.
일 측면에 따르면, 이미지 생성부(1830)는 자세 정보에 기반하여 입체 매칭을 수행하여 깊이 이미지 정보를 생성하는 입체 매칭 모듈(1831), 깊이 이미지 정보에 기반하여 표면 모델 정보를 생성하는 제1 모델 생성 모듈(1832), 자세 정보에 기반하여 오브젝트의 제1 표면 모델 정보를 생성하는 제2 모델 생성 모듈(1833), 제1 표면 모델 정보를 개선함으로써 오브젝트의 표면 모델 정보를 생성하는 제련 모듈(1034)을 포함할 수 있다.
도 19는 또 다른 실시예에 따른 3차원 이미지 생성 장치의 구성도이다.
전자 장비(1900)는 전술된 장치(200)에 대응할 수 있다.
전자 장비(1900)는 프로세서(1910)(예를 들어, 중앙처리장치(Central Processing Unit; CPU)), 적어도 하나의 출력 인터페이스(1920) 및 기타 사용자 인터페이스(1930), 메모리(1940) 및 적어도 하나의 통신 버스(communication bus)(1950)를 포함할 수 있다.
예를 들어, 처리부(220)는 프로세서(1910)에 대응되고, 카메라(210)는 기타 사용자 인터페이스(1930)에 대응되고, 메모리(1940)는 저장부(230)에 대응될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
200: 3차원 이미지 생성 장치
210: 카메라
220: 처리부
230: 저장부

Claims (20)

  1. 3차원(Dimensional; D) 이미지를 생성하는 방법에 있어서,
    상기 3D 이미지의 대상이 되는 오브젝트의 복수의 이미지들을 획득하는 단계;
    관성 측정 장치(Inertial Measurement Unit; IMU)에 의해 측정된 상기 복수의 이미지들 각각의 자세 데이터(pose date)에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하는 단계; 및
    상기 자세 정보에 기반하여 상기 3D 이미지를 생성하는 단계
    를 포함하고,
    상기 자세 정보에 기반하여 상기 3D 이미지를 생성하는 단계는,
    상기 자세 정보에 기반하여 상기 오브젝트의 표면 모델 정보를 생성하는 단계; 및
    상기 표면 모델 정보에 기반하여 상기 3D 이미지를 생성하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 자세 정보를 계산하는 단계는,
    상기 복수의 이미지들을 적어도 하나의 이미지 세그먼트로 구분하는 단계;
    각 이미지 세그먼트 내의 이미지들 간의 제1 자세 정보를 상기 이미지들 각각의 자세 데이터에 기반하여 계산하는 단계; 및
    상기 제1 자세 정보에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  3. 제2항에 있어서,
    상기 제1 자세 정보를 계산하는 단계는,
    상기 이미지들 각각의 자세 데이터에 기반하여 상기 각 이미지 세그먼트 내의 인접한 이미지들 간의, 회전 각도 정보 및 평행 이동 방향 정보 중 적어도 하나를 포함하는 제1 자세 파라미터를 계산하는 단계;
    인접한 제1 자세 파라미터들을 병합함으로써 제2 자세 파라미터를 계산하는 단계 - 상기 인접한 제1 자세 파라미터들은 하나의 공통 이미지에 대응하고, 상기 제2 자세 파라미터는 평행 이동 스케일 정보를 포함함 -; 및
    상기 제1 자세 파라미터 및 상기 제2 자세 파라미터에 기반하여 상기 제1 자세 정보를 계산하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  4. 제3항에 있어서,
    상기 제1 자세 파라미터를 계산하는 단계는,
    단거리 특징 대응 정보에 기반하여 상기 인접한 이미지들 간의 자세 추정 결과 정보를 계산하는 단계 - 상기 자세 추정 결과 정보는 상기 제1 자세 파라미터를 포함하고, 상기 단거리 특징 대응 정보는 특징 대응 초기 이미지 및 상기 특징 대응 초기 이미지가 포함된 제1 이미지 세그먼트 내의 상기 특징 대응 초기 이미지와 인접한 이미지 간의 특징 대응 정보를 포함함 -;
    를 포함하고,
    상기 제2 자세 파라미터를 계산하는 단계는,
    장거리 특징 대응 정보 및 상기 자세 추정 결과 정보에 기반하여 상기 인접한 제1 자세 파라미터들을 병합하는 단계 - 상기 장거리 특징 대응 정보는 상기 특징 대응 초기 이미지를 제외한 상기 제1 이미지 세그먼트 내의 이미지들 간의 특징 대응 정보를 포함함 -
    를 포함하는,
    3차원 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 인접한 이미지들 간의 자세 추정 결과 정보를 계산하는 단계는,
    상기 단거리 특징 대응 정보를 획득하는 단계;
    상기 단거리 특징 대응 정보를 선택하는 단계; 및
    상기 선택된 단거리 특징 대응 정보에 기반하여 상기 자세 추정 결과 정보를 계산하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  6. 제4항에 있어서,
    상기 인접한 제1 자세 파라미터들을 병합하는 단계는,
    상기 장거리 특징 대응 정보를 획득하는 단계;
    상기 장거리 특징 대응 정보에 기반하여 상기 인접한 제1 자세 파라미터들의 제1의 3D 포인트 정보를 계산하는 단계;
    상기 자세 추정 결과 정보를 통해 획득한 3D 포인트 정보를 제2의 3D 포인트 정보로 결정하는 단계; 및
    상기 제1의 3D 포인트 정보 및 상기 제2의 3D 포인트 정보에 기반하여 상기 인접한 제1 자세 파라미터들을 병합하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  7. 제3항에 있어서,
    상기 복수의 이미지들 간의 자세 정보를 계산하는 단계는,
    서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들을 병합함으로써 상기 복수의 이미지들 간의 제3 자세 파라미터를 계산하는 단계 - 상기 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들은 상기 서로 다른 이미지 세그먼트들이 공유하는 이미지에 대응하고, 상기 제3 자세 파라미터는 평행 이동 스케일 정보를 포함함 -; 및
    상기 제1 자세 정보 및 상기 제3 자세 파라미터에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하는 단계
    를 더 포함하는,
    3차원 이미지 생성 방법.
  8. 제4항에 있어서,
    상기 복수의 이미지들 간의 자세 정보를 계산하는 단계는,
    서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들을 병합함으로써 상기 복수의 이미지들 간의 제3 자세 파라미터를 계산하는 단계 - 상기 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들은 상기 서로 다른 이미지 세그먼트들이 공유하는 이미지에 대응하고, 상기 제3 자세 파라미터는 평행 이동 스케일 정보를 포함함 -; 및
    상기 제1 자세 정보 및 상기 제3 자세 파라미터에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하는 단계
    를 더 포함하고,
    상기 제3 자세 파라미터를 계산하는 단계는,
    상기 자세 추정 결과 정보를 통해 획득한 3D 포인트 정보인, 제2의 3D 포인트 정보 중에서 상기 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들에 각각 대응하는 제3의 3D 포인트 정보 및 제4의 3D 포인트 정보를 결정하는 단계; 및
    상기 제3의 3D 포인트 정보 및 상기 제4의 3D 포인트 정보에 기반하여 상기 서로 다른 이미지 세그먼트들에 포함되는 인접한 제1 자세 파라미터들을 병합함으로써 상기 복수의 이미지들 간의 제3 자세 파라미터를 계산하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  9. 제1항에 있어서,
    상기 자세 정보에 기반하여 상기 3D 이미지를 생성하는 단계는,
    상기 자세 정보를 개선(refine)하는 단계; 및
    상기 개선된 자세 정보에 기반하여 상기 3D 이미지를 생성하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  10. 삭제
  11. 제1항에 있어서,
    상기 표면 모델 정보를 생성하는 단계는,
    상기 자세 정보에 기반하여 입체 매칭을 수행하는 단계;
    상기 입체 매칭에 기반하여 상기 오브젝트에 대한 깊이 이미지(depth image) 정보를 얻는 단계; 및
    상기 깊이 이미지 정보에 기반하여 상기 표면 모델 정보를 생성하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  12. 제1항에 있어서,
    상기 표면 모델 정보를 생성하는 단계는,
    상기 자세 정보에 기반하여 상기 오브젝트의 제1 표면 모델 정보를 생성하는 단계; 및
    상기 제1 표면 모델 정보를 개선함으로써 상기 표면 모델 정보를 생성하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  13. 제12항에 있어서,
    상기 제1 표면 모델 정보를 개선함으로써 상기 표면 모델 정보를 생성하는 단계는,
    상기 오브젝트의 템플릿(template) 모델 정보에 기반하여 상기 제1 표면 모델 정보를 개선하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  14. 제13항에 있어서,
    상기 오브젝트의 템플릿 모델 정보에 기반하여 상기 제1 표면 모델 정보를 개선하는 단계는,
    상기 제1 표면 모델 정보 중 상기 템플릿 모델 정보에 대응되지 않는 정보를 제거하는 단계;
    상기 제1 표면 모델 정보의 제1 값 및 상기 제1 값에 대응되는 상기 템플릿 모델 정보의 제2 값 간의 차이가 미리 설정된 임계치 보다 더 큰 경우 상기 제1 값을 제거하는 단계; 및
    상기 제1 표면 모델 정보에 정보를 추가하는 단계
    중 적어도 하나의 단계를 포함하는,
    3차원 이미지 생성 방법.
  15. 제1항에 있어서,
    상기 복수의 이미지들을 획득하는 단계는,
    미리 설정된 이미지 추출 방법에 따라 상기 오브젝트의 복수의 초기 이미지들 중 일부의 이미지들을 추출함으로써 상기 복수의 이미지들을 획득하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  16. 제15항에 있어서,
    상기 미리 설정된 이미지 추출 방법은 이미지의 품질에 기반하여 추출하는 방법, 이미지의 자세 데이터에 기반하여 이미지를 추출하는 방법 및 이미지의 촬영 시각에 기반하여 이미지를 추출하는 방법 중 적어도 하나를 포함하는,
    3차원 이미지 생성 방법.
  17. 제15항에 있어서,
    상기 일부의 이미지를 추출함으로써 상기 복수의 이미지들을 획득하는 단계는,
    상기 추출된 일부의 이미지들을 후보 이미지들로 설정하는 단계;
    상기 후보 이미지들 중 상기 오브젝트의 정면에 대응하는 정면 이미지를 결정하는 단계;
    상기 후보 이미지들 중 상기 정면 이미지와 미리 설정된 회전 각도를 갖는 이미지를 측면 이미지로 결정하는 단계; 및
    상기 정면 이미지 및 상기 측면 이미지에 기반하여 상기 복수의 이미지들을 획득하는 단계
    를 포함하는,
    3차원 이미지 생성 방법.
  18. 제1항에 있어서,
    상기 자세 정보를 획득하는 단계는,
    상기 복수의 이미지들을 적어도 하나의 이미지 세그먼트로 구분하는 단계
    를 포함하고,
    인접한 이미지 세그먼트들은 적어도 하나의 이미지를 공유하는,
    3차원 이미지 생성 방법.
  19. 제1항에 있어서,
    상기 오브젝트는 얼굴인,
    3차원 이미지 생성 방법.
  20. 3차원(Dimensional; D) 이미지의 대상이 되는 오브젝트의 복수의 이미지들을 획득하는 카메라; 및
    관성 측정 장치(Inertial Measurement Unit; IMU)에 의해 측정된 상기 복수의 이미지들 각각의 자세 데이터(pose date)에 기반하여 상기 복수의 이미지들 간의 자세 정보를 계산하고, 상기 자세 정보에 기반하여 상기 3D 이미지를 생성하는 처리부
    를 포함하고,
    상기 처리부는, 상기 자세 정보에 기반하여 상기 오브젝트의 표면 모델 정보를 생성하고, 상기 표면 모델 정보에 기반하여 상기 3D 이미지를 생성하는,
    단말.
KR1020150137713A 2014-12-31 2015-09-30 3차원 이미지 생성 방법 및 장치 KR102110459B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/977,282 US10326972B2 (en) 2014-12-31 2015-12-21 Three-dimensional image generation method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410854192.2A CN105809664B (zh) 2014-12-31 2014-12-31 生成三维图像的方法和装置
CN201410854192.2 2014-12-31

Publications (2)

Publication Number Publication Date
KR20160081775A KR20160081775A (ko) 2016-07-08
KR102110459B1 true KR102110459B1 (ko) 2020-05-13

Family

ID=56464917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150137713A KR102110459B1 (ko) 2014-12-31 2015-09-30 3차원 이미지 생성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102110459B1 (ko)
CN (1) CN105809664B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018185972A1 (ja) * 2017-04-03 2018-10-11 三菱電機株式会社 マップデータ生成装置および方法
EP3694208A1 (en) * 2019-02-05 2020-08-12 Jerry Nims A method and system for simulating a 3-dimensional image sequence
CN113132717A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 数据处理方法、终端和服务器
CN111738220B (zh) * 2020-07-27 2023-09-15 腾讯科技（深圳）有限公司 三维人体姿态估计方法、装置、设备及介质
CN112634409B (zh) * 2020-12-28 2022-04-19 稿定（厦门）科技有限公司 自定义动画曲线生成方法及装置
KR20240068991A (ko) * 2022-11-11 2024-05-20 한국전자기술연구원 2d 이미지 기반의 자유시점 3d 콘텐츠 복원 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014060441A1 (fr) 2012-10-18 2014-04-24 Morpho Procede d'authentification d'une capture d'image d'une entite tridimensionnelle
US20140168212A1 (en) * 2012-12-15 2014-06-19 Realitycap, Inc. Three-dimensional scanning using existing sensors on portable electronic devices

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100483462C (zh) * 2002-10-18 2009-04-29 清华大学 融合多视角、多线索二维信息的人脸三维模型的建立方法
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US7302359B2 (en) * 2006-02-08 2007-11-27 Honeywell International Inc. Mapping systems and methods
CN101231751A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用激光标志点实现图像快速匹配的方法和装置
CN100557640C (zh) * 2008-04-28 2009-11-04 清华大学 一种交互式多视点三维模型重建方法
CN101650178B (zh) * 2009-09-09 2011-11-30 中国人民解放军国防科学技术大学 序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法
CN101697236B (zh) * 2009-10-21 2012-09-19 南昌航空大学 基于智能优化算法的直线光流场三维重建方法
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
KR101893769B1 (ko) * 2012-01-19 2018-08-31 삼성전자주식회사 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법
KR101893788B1 (ko) * 2012-08-27 2018-08-31 삼성전자주식회사 다시점 카메라간 정합 장치 및 방법
CN104036483B (zh) * 2013-03-06 2021-01-15 北京三星通信技术研究有限公司 图像处理系统和图像处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014060441A1 (fr) 2012-10-18 2014-04-24 Morpho Procede d'authentification d'une capture d'image d'une entite tridimensionnelle
US20140168212A1 (en) * 2012-12-15 2014-06-19 Realitycap, Inc. Three-dimensional scanning using existing sensors on portable electronic devices

Also Published As

Publication number Publication date
CN105809664A (zh) 2016-07-27
KR20160081775A (ko) 2016-07-08
CN105809664B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
KR102146398B1 (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US7894636B2 (en) Apparatus and method for performing facial recognition from arbitrary viewing angles by texturing a 3D model
KR101169533B1 (ko) 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US8126261B2 (en) 3D face reconstruction from 2D images
US9020251B2 (en) Image processing apparatus and method
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
JP2009020761A (ja) 画像処理装置及びその方法
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
US9727776B2 (en) Object orientation estimation
KR20160098560A (ko) 동작 분석 장치 및 방법
KR101759188B1 (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
KR102001636B1 (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
JP6285686B2 (ja) 視差画像生成装置
KR20190069750A (ko) 2d를 3d로 변환하는 기술과 posit 알고리즘을 이용한 증강현실 표현방법
US20170069096A1 (en) Simultaneous localization and mapping initialization
JP2006215743A (ja) 画像処理装置及び画像処理方法
WO2019016879A1 (ja) 物体検出装置、及び、物体検出手法
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR20150040194A (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant