KR101652393B1 - 3차원 영상 획득 장치 및 방법 - Google Patents

3차원 영상 획득 장치 및 방법 Download PDF

Info

Publication number
KR101652393B1
KR101652393B1 KR1020100004057A KR20100004057A KR101652393B1 KR 101652393 B1 KR101652393 B1 KR 101652393B1 KR 1020100004057 A KR1020100004057 A KR 1020100004057A KR 20100004057 A KR20100004057 A KR 20100004057A KR 101652393 B1 KR101652393 B1 KR 101652393B1
Authority
KR
South Korea
Prior art keywords
depth image
light
pattern
image
unit
Prior art date
Application number
KR1020100004057A
Other languages
English (en)
Other versions
KR20110084029A (ko
Inventor
박성찬
최원희
박병관
이성덕
임재균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100004057A priority Critical patent/KR101652393B1/ko
Priority to US13/006,676 priority patent/US20110175983A1/en
Publication of KR20110084029A publication Critical patent/KR20110084029A/ko
Application granted granted Critical
Publication of KR101652393B1 publication Critical patent/KR101652393B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

3차원 영상 획득 장치 및 방법이 개시된다. 본 발명의 일 양상에 따르면, 적외선의 패턴광을 이용해서 제 1 멀티 뷰 영상을 생성하고, 가시광의 비-패턴광을 이용해서 제 2 멀티 뷰 영상을 생성할 수 있다. 제 1 멀티 뷰 영상으로부터 제 1 깊이 영상이 획득되고, 제 2 멀티 뷰 영상으로부터 제 2 깊이 영상이 획득된다. 그리고 제 1 깊이 영상과 제 2 깊이 영상을 스테레오 매칭하여 최종적인 깊이 영상을 생성한다.

Description

3차원 영상 획득 장치 및 방법{Apparatus and Method for obtaining 3D image}
거리 영상 및 3차원 영상 획득 기술과 관련된다.
영상을 기초로 피사체까지의 거리 정보를 알아내는 대표적인 기술로는 삼각법이 있다. 삼각법은 다른 위치에서 촬영된 적어도 2 이상의 영상을 이용하여 피사체까지의 거리를 측정하는 방법이다. 삼각법은 사람이 두 개의 눈을 통해 물체까지의 거리를 추정하는 원리와 유사한 원리에 기초한다. 이러한 삼각법은 다시 크게 능동적 방법과 수동적 방법으로 구분할 수 있다.
능동적 방법은 특정한 패턴 무늬를 피사체에 투영한 후, 패턴 무늬를 참조하는 방법이다. 능동적 방법은 기준이 되는 패턴 무늬에 관한 거리 정보가 미리 제공되므로 비교적 정확한 거리를 측정할 수 있다. 그러나 능동적 방법은 패턴 세기의 한계가 있기 때문에 피사체까지의 거리가 먼 경우에는 그 효율이 떨어진다.
수동적 방법은 특정한 패턴 무늬 없이 피사체 고유의 텍스처(texture) 정보를 참조하는 방법이다. 수동적 방법은 피사체의 텍스처 정보에 기반하여 거리를 측정하기 때문에 외곽정보는 잘 파악할 수 있으나, 낮은 텍스처를 갖는 부분에 대해서는 적용하기에 적절치 않다.
물체의 텍스처 정도 및 거리에 상관 없이 영상으로부터 정확한 거리 정보를 추출할 수 있는 3차원 영상 획득 장치 및 방법이 개시된다.
본 발명의 일 양상에 따른 영상 획득 장치는, 패턴광에 기초하여 제 1 깊이 영상을 획득하는 제 1 깊이 영상 획득부, 패턴광과 상이한 비-패턴광에 기초하여 제 2 깊이 영상을 획득하는 제 2 깊이 영상 획득부, 및 제 1 깊이 영상 및 제 2 깊이 영상에 기초하여 제 3 깊이 영상을 획득하는 제 3 깊이 영상 획득부를 포함할 수 있다.
본 발명의 일 양상에 따라, 제 1 깊이 영상은 적외광 기반의 멀티 뷰 영상에 삼각법을 적용하여 생성될 수 있고, 제 2 깊이 영상은 가시광 기반의 멀티 뷰 영상에 삼각법을 적용하여 생성될 수가 있다.
또한, 본 발명의 일 양상에 따라, 제 3 깊이 영상은 제 1 깊이 영상과 제 2 깊이 영상을 스테레오 매칭하여 생성될 수 있다. 스테레오 매칭은 에너지 기반의 마르코프 랜덤 장(Markov random field) 모델에 기초하여 수행될 수 있다.
또한, 본 발명의 일 양상에 따라 영상 획득 장치는 패턴광을 피사체에 조사하는 패턴 조사부 및 피사체로부터 반사된 광을 검출하는 카메라부를 더 포함할 수도 있다. 이 때, 패턴 조사부는 적외광 또는 자외광을 이용하여 패턴광을 생성할 수 있으며, 카메라부는 피사체로부터 패턴광에 대응되는 적외광 또는 자외광을 검출하는 제 1 센서부와, 피사체로부터 비-패턴광에 대응되는 가시광을 검출하는 제 2 센서부를 포함할 수 있다.
한편, 본 발명의 일 양상에 따른 3차원 영상 획득 방법은, 패턴광에 기초하여 제 1 깊이 영상을 획득하는 단계, 패턴광과 상이한 비-패턴광에 기초하여 제 2 깊이 영상을 획득하는 단계, 및 제 1 깊이 영상 및 제 2 깊이 영상에 기초하여 제 3 깊이 영상을 획득하는 단계를 포함할 수 있다.
개시된 내용에 따르면, 상대적으로 근거리에서 강력한 패턴광 기반의 깊이 영상과 상대적으로 원거리에서 강력한 비-패턴광 기반의 깊이 영상을 모두 이용하기 때문에, 피사체까지의 거리에 관계 없이 정확한 깊이 영상을 생성하는 것이 가능하다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 획득 장치의 전체적인 구성을 도시한다.
도 2는 본 발명의 일 실시예에 따른 패턴 조사부의 구성을 도시한다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 카메라부의 구성을 도시한다.
도 4는 본 발명의 일 실시예에 따른 신호 처리 장치의 구성을 도시한다.
도 5는 본 발명의 일 실시예에 따른 3차원 영상 획득 방법의 흐름을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 획득 장치의 전체적인 구성을 도시한다.
도 1을 참조하면, 3차원 영상 획득 장치(100)는 패턴 조사부(101), 카메라부(102), ISP(image signal processor, 이미지 신호 처리부)(103)를 포함한다.
패턴 조사부(101)와 외부 광원(104)은 피사체(105)로 빛을 조사한다. 카메라부(102)는 피사체(105)로부터 반사된 빛을 검출한다. 카메라부(102)에서 검출되는 빛은 패턴 조사부(101)에 의한 반사광(예컨대, 점선) 및 외부 광원(104)에 의한 반사광(예컨대, 실선)이 될 수 있다.
패턴 조사부(101)는 패턴광(pattern light)을 피사체(105)로 조사한다. 여기서 패턴광이란 임의의 패턴 무늬를 갖는 적외광 또는 자외광이 될 수 있다. 예를 들어, 패턴 조사부(101)는 적외광을 이용해서 소정의 패턴 무늬가 피사체(105)에 투영(projection)되도록 할 수 있다.
외부 광원(104)은 비-패턴광(non-pattern light)을 피사체(105)로 조사한다. 여기서 비-패턴광이란 패턴 무늬를 갖지 않는 가시광이 될 수 있다. 예를 들어, 외부 광원(104)는 가시광을 피사체(105)로 조사할 수 있다.
패턴 조사부(101)의 패턴광은 피사체(105)에서 반사되고 카메라부(102)로 입력된다. 카메라부(102)가 패턴광에 대응되는 반사광을 검출하면, ISP(103)는 패턴광 기반의 멀티 뷰 영상(multi view image)을 생성하고, 생성된 패턴광 기반의 멀티 뷰 영상을 이용해서 제 1 깊이 영상을 생성한다.
외부 광원(104)의 비-패턴광은 피사체(105)에서 반사되고 카메라부(102)로 입력된다. 카메라부(102)가 비-패턴광에 대응되는 반사광을 검출하면, ISP(103)는 비-패턴광 기반의 멀티 뷰 영상을 생성하고, 생성된 비-패턴광 기반의 멀티 뷰 영상을 이용해서 제 2 깊이 영상을 생성한다.
이 때, 제 1 깊이 영상 및 제 2 깊이 영상은 동시에 생성 및 획득될 수 있다.
멀티 뷰 영상이란 서로 다른 위치에서 촬영된 것으로 보여지는 적어도 2 이상의 영상을 말한다. 예를 들어, 사람의 눈처럼 어떤 피사체에 대해 좌 영상과 우 영상이 있는 경우, 이러한 좌/우 영상을 멀티 뷰 영상이라고 지칭한다.
또한, 깊이 영상이란 피사체까지의 거리 정보가 포함된 영상을 말한다. 멀티 뷰 영상을 이용해서 거리 정보가 담긴 깊이 영상을 생성하는 방법은 다양한 방법이 알려져 있다. 예를 들어, ISP(103)는 멀티 뷰 영상에 삼각법을 적용해서 제 1 깊이 영상 및 제 2 깊이 영상을 생성할 수 있다.
ISP(103)는 생성된 제 1 깊이 영상 및 제 2 깊이 영상을 스테레오 매칭(stereo matching)해서 최종 깊이 영상인 제 3 깊이 영상을 생성한다. 본 실시예에 따른 구체적인 스테레오 매칭 방법에 대해서는 후술한다.
이와 같이, 3차원 영상 획득 장치(100)는 패턴 기반의 깊이 영상과 비-패턴 기반의 깊이 영상을 모두 이용하여 최종적인 깊이 영상을 생성하기 때문에, 근거리 및 원거리에 모두 강력한 3차원 영상을 획득할 수가 있다.
도 2는 본 발명의 일 실시예에 따른 패턴 조사부를 도시한다.
도 2를 참조하면, 패턴 조사부(200)는 광원(201) 및 패턴 생성기(202)를 포함한다.
광원(201)은 레이저(laser)와 같은 코히어런트 광(coherent light)을 방출한다. 예컨대, 광원(201)은 적외광을 방출할 수 있다. 광원(201)에서 방출된 빛은 패턴 생성기(202)로 입력된다.
패턴 생성기(202)는 입력된 빛에 대해 임의의 스펙클 패턴(random speckle pattern)을 생성한다. 따라서 패턴 생성기(202)에서 방출된 빛이 피사체(105)에 조사되면 피사체(105) 표면에 임의의 광 패턴 무늬(203)가 생길 수가 있다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 카메라부를 도시한다.
도 3a 내지 도 3d에서, 카메라부(300)는 적어도 1 이상의 카메라 모듈을 포함한다. 카메라 모듈은 렌즈, 컬러 필터 어레이, 및 이미지 센서 등이 될 수 있다. 이미지 센서로는 빛을 감지하고 감지된 빛에 대응되는 전기 신호를 생성하는 Charge-Coupled Device(CCD) 또는 Complemetary Metal-Oxide Semiconductor(CMOS)와 같은 고체 촬상 소자가 이용될 수 있다. 본 실시예에 따라, 카메라부(300)는 패턴광에 대응되는 반사광을 수광하는 부분과 비-패턴광에 대응되는 반사광을 수광하는 부분으로 구분될 수 있다.
도 3a에서, 카메라부(300)는 4개의 카메라 모듈(L1, R1, L2, R2)로 구성된다. 4개의 카메라 모듈(L1, R1, L2, R2) 중 두 개의 카메라 모듈(L1, R1)은 패턴광에 대응되는 반사광을 검출한다. 패턴광에 대응되는 반사광이란 패턴 조사부(101)에서 방출된 빛 중, 피사체(105)에 반사되어 카메라부(300)로 입력된 빛이 될 수 있다. 예컨대, L1 카메라 모듈 및 R1 카메라 모듈은 적외광을 검출할 수 있다. 이 때, 제 1 깊이 영상은 L1 카메라 모듈 및 R1 카메라 모듈이 검출한 적외광에 기초해서 생성될 수 있다. 그리고 나머지 두 개의 카메라 모듈(L2, R2)는 비-패턴광에 대응되는 반사광을 검출한다. 비-패턴광에 대응되는 반사광이란 외부 광원(104)에서 방출된 빛 중, 피사체(105)에 반사되어 카메라부(300)로 입력된 빛이 될 수 있다. 예컨대, L2 카메라 모듈 및 R2 카메라 모듈은 가시광을 검출할 수 있다. 이 때, 제 2 깊이 영상은 L2 카메라 모듈 및 R2 카메라 모듈이 검출한 가시광에 기초해서 생성될 수 있다.
도 3b에서, 카메라부(300)는 두 개의 카메라 모듈(L, R)로 구성된다. 두 개의 카메라 모듈(L, R)을 이용하는 경우, L 카메라 모듈 및 R 카메라 모듈에서 검출된 적외광 성분을 이용하여 패턴광 기반의 멀티 뷰 영상을 얻고, L 카메라 및 R 카메라에서 검출된 가시광 성분을 이용하여 비-패턴광 기반의 멀티 뷰 영상을 얻을 수 있다. 이 때, 적외광 성분을 이용한 패턴광 기반의 멀티 뷰 영상은 제 1 깊이 영상의 기초가되고, 가시광 성분을 이용한 비-패턴광 기반의 멀티 뷰 영상은 제 2 깊이 영상의 기초가 된다.
도 3c를 참조하면, 카메라부(300)는 하나의 카메라 모듈(301)로 구성된다. 하나의 카메라 모듈(301)로 멀티 뷰 영상을 얻기 위해 라이트 필드 카메라(light field camera)를 카메라 모듈(301)로 이용할 수가 있다. 라이트 필드 카메라는 다수의 렌즈(302) 및 적절한 필터(303)를 통해 하나의 카메라로도 멀티 뷰 영상을 얻을 수 있는 광학 구조를 갖는다. 다수의 렌즈(302)는 멀티 뷰 초점을 조절한다. 필터(303)는 패턴광에 대응되는 반사광과 비-패턴광에 대응되는 반사광을 분리해주는 역할을 한다. 필터(303)의 예는 도 3d와 같다.
도 3d를 참조하면, 필터(303)의 3x3 행렬 구조 내에 적외광이 통과되는 영역(IR)과 가시광이 통과되는 영역(RGB)이 형성될 수 있다. 도 3d의 배열 구조는 일 예일 뿐이며 IR과 RGB 픽셀의 배치는 응용에 따라 다양하게 바뀔 수 있음은 물론이다.
도 4는 본 발명의 일 실시예에 따른 ISP를 도시한다.
도 4를 참조하면, ISP(400)는 제 1 깊이 영상 획득부(401), 제 2 깊이 영상 획득부(402), 및 제 3 깊이 영상 획득부(403)를 포함한다.
제 1 깊이 영상 획득부(401)는 패턴광에 기초하여 제 1 깊이 영상을 획득한다. 패턴광은 패턴 조사부(101)에서 방출된 적외광 또는 자외광이 될 수 있다. 패턴 조사부(101)에서 방출된 패턴광은 피사체(105)에서 반사되서 카메라부(102)로 입력된다. 제 1 깊이 영상 획득부(401)는 카메라부(102)가 검출한 패턴광 기반의 멀티 뷰 영상을 이용하여 제 1 깊이 영상을 획득한다. 예를 들어, 도 3a에서, 제 1 깊이 영상 획득부(401)는 L1 카메라 및 R1 카메라가 검출한 적외광 정보에 기초해서 제 1 깊이 영상을 획득할 수 있다.
제 2 깊이 영상 획득부(402)는 비-패턴광에 기초하여 제 2 깊이 영상을 획득한다. 비-패턴광이란, 예컨대, 도 1의 외부 광원(104)에서 방출된 빛이 될 수 있다. 본 실시예에 따라 비-패턴광은 소정의 패턴 무늬를 갖지 아니하며 패턴 조사부(101)에서 방출되는 패턴광과 상이한 파장 대역을 가질 수 있다. 제 2 깊이 영상 획득부(402)는 카메라부(102)가 검출한 비-패턴광 기반의 멀티 뷰 영상을 이용해서 제 2 깊이 영상을 획득한다. 예를 들어, 도 3a에서, 제 2 깊이 영상 획득부(402)는 L2 카메라 및 R2 카메라가 검출한 가시광 정보에 기초해서 제 2 깊이 영상을 획득할 수 있다.
제 3 깊이 영상 획득부(403)는 제 1 깊이 영상과 제 2 깊이 영상을 스테레오 매칭(stereo matching)해서 최종 깊이 영상인 제 3 깊이 영상을 획득한다.
예를 들어, 제 3 깊이 영상 획득부(403)는 에너지 기반의 마르코프 랜덤 장(Markov random field, MRF) 모델에 기초하여 스테레오 매칭을 수행하는 것이 가능하며, 이를 구체적으로 수식과 함께 살펴보면 다음과 같다.
Figure 112010002899384-pat00001
수학식 1에서,
Figure 112010002899384-pat00002
은 MRF 모델
Figure 112010002899384-pat00003
을 최소화하는 거리를 나타낸다.
Figure 112010002899384-pat00004
는 픽셀 별 거리를 나타낸다.
Figure 112010002899384-pat00005
는 제 2 깊이 영상으로부터 구해진 코스트 함수를,
Figure 112010002899384-pat00006
는 제 1 깊이 영상으로부터 구해진 코스트 함수를,
Figure 112010002899384-pat00007
는 서로 인접한 픽셀들의 거리 값의 제약(constraint) 코스트 함수를 나타낸다.
수학식 1에서,
Figure 112010002899384-pat00008
는 비-패턴광인 가시광 기반의 멀티 뷰 영상을 이용해서 absolute difference를 구하고 bilateral filter를 적용해서 구할 수 있으며, 이를 수식으로 나타내면 다음과 같다.
Figure 112010002899384-pat00009
수학식 2에서, W는 bilateral weight을 나타낸다. bilateral weight는 spatial weight와 photometric weight으로 나눌 수 있다. g는 gaussian 함수를 나타낸다. R(i)는 i 번째 픽셀을 중심으로 하는 소정 크기의 window 내의 픽셀 집합을 나타낸다. 그리고, IR V는 기준 영상이고, Ik V는 다른 위치에서 촬영된 NV개의 영상이다. hk V는 기준 영상의 i 픽셀에서 3차원 위치를 (X, Y, di)로 나타낼 때, 기준 위치에 대응되는 다른 영상 Ik V의 대응점을 나타낸다. 각 대응점은 영상 별 캘리브레이션을 통한 투영 매트릭스(projection matrix)를 구해서 계산할 수 있다.
다시 수학식 1에서,
Figure 112010002899384-pat00010
는 다음과 같이 구할 수 있다.
Figure 112010002899384-pat00011
수학식 3에서,
Figure 112010002899384-pat00012
는 패턴광 기반의 멀티 뷰 영상으로부터 계산된 거리 값
Figure 112010002899384-pat00013
의 전체 코스트 내의 반영정도를 이용하여 계산될 수 있다. α1은 R(i) 내에서 영상의 gradient의 절대 값을 가중 평균한 값을 나타낸다. 즉, 패턴광 기반의 영상에서 패턴의 미분 값이 높은 픽셀에서는 매칭을 통해 정합 코스트를 구하고 패턴의 미분 값이 낮은 픽셀에서는 비-패턴광 기반의 영상의 거리 정보를 더 반영할 수 있다. 그리고
Figure 112010002899384-pat00014
은 패턴광 기반의 멀티 뷰 영상으로부터 계산된 거리 값으로서, 기준 영상인 IR IR 및 다른 위치에서 촬영된 영상인 Ik IR 을 이용하여 absolute difference를 구하고 spatial filter를 통해 코스트 값을 구할 수 있다.
다시 수학식 1에서,
Figure 112010002899384-pat00015
는 결과 영상이 물체의 경계에서는 선명한 discontinuity를 가지면서 동시에 물체의 내부에서는 부드러운 표면이 표현되도록 하는 코스트 함수로서, 이를 수식으로 나타내면 다음과 같다.
Figure 112010002899384-pat00016
수학식 4에서,
Figure 112010002899384-pat00017
는 거리값의 difference값을 코스트로 반영하여 결과값이 비슷한 값들간에는 smooth하게 하고 차이가 어느 정도 나는 값들간에는 Ts로 truncation 하여　물체의 boundary에서 sharp 한 depth가 나올 수 있도록 해 준다.
도 5는 본 발명의 일 실시예에 따른 3차원 영상 획득 방법을 도시한다.
도 5를 참조하면, 먼저 적외광(IR) 기반의 제 1 깊이 영상을 획득한다(5001). 예를 들어, 패턴 조사부(101)가 적외광을 이용한 패턴광을 피사체에 조사하고, 카메라부(102)가 피사체로부터 반사된 적외광을 검출하고, 제 1 깊이 영상 획득부(401)가 적외광 기반의 멀티 뷰 영상 및 거리 정보가 담긴 제 1 깊이 영상을 생성할 수 있다.
그리고, 가시광(visible light) 기반의 제 2 깊이 영상을 획득한다(5002). 예를 들어, 외부 광원(104)이 패턴이 없는 가시광을 피사체에 조사하고, 카메라부(102)가 피사체로부터 반사된 가시광을 검출하고, 제 2 깊이 영상 획득부(402)가 가시광 기반의 멀티 뷰 영상 및 거리 정보가 담긴 제 2 깊이 영상을 생성할 수 있다.
그리고 제 1 깊이 영상과 제 2 깊이 영상을 스테레오 매칭해서 제 3 깊이 영상을 획득한다(5003). 예컨대, 제 3 깊이 영상 획득부(403)가 에너지 기반의 마르코프 랜덤 장(Markov random field) 모델을 이용해서 스테레오 매칭을 수행할 수 있다. 구체적인 과정은 전술한 수학식 1 내지 4와 같다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시예에 한정되지 아니할 것이다.

Claims (10)

  1. 패턴광에 기초하여 제 1 깊이 영상을 획득하는 제 1 깊이 영상 획득부;
    상기 패턴광과 상이한 비-패턴광에 기초하여 제 2 깊이 영상을 획득하는 제 2 깊이 영상 획득부; 및
    상기 제 1 깊이 영상 및 상기 제 2 깊이 영상을 스테레오 매칭하여 제 3 깊이 영상을 획득하는 제 3 깊이 영상 획득부; 를 포함하고,
    상기 스테레오 매칭은 제2 깊이 영상으로부터 획득된 코스트 함수, 제1 깊이 영상으로부터 획득된 코스트 함수, 인접 픽셀들의 거리 값의 제약 코스트 함수의 합을 최소화하는 픽셀 거리를 결정하는 것을 포함하는 3차원 영상 획득 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 제 3 깊이 영상 획득부는,
    에너지 기반의 마르코프 랜덤 장(Markov random field) 모델에 기초하여 상기 스테레오 매칭을 수행하는 3차원 영상 획득 장치.
  4. 제 1 항에 있어서,
    상기 패턴광을 피사체에 조사하는 패턴 조사부; 및
    상기 피사체로부터 반사된 광을 검출하는 카메라부; 를 더 포함하는 3차원 영상 획득 장치.
  5. 제 4 항에 있어서, 상기 패턴 조사부는,
    적외광 또는 자외광을 이용하여 상기 패턴광을 생성하는 3차원 영상 획득 장치.
  6. 제 5 항에 있어서, 상기 카메라부는,
    상기 피사체로부터 상기 패턴광에 대응되는 적외광 또는 자외광을 검출하는 제 1 센서부; 및
    상기 피사체로부터 상기 비-패턴광에 대응되는 가시광을 검출하는 제 2 센서부; 를 포함하는 3차원 영상 획득 장치.
  7. 패턴광에 기초하여 제 1 깊이 영상을 획득하는 단계;
    상기 패턴광과 상이한 비-패턴광에 기초하여 제 2 깊이 영상을 획득하는 단계; 및
    상기 제 1 깊이 영상 및 상기 제 2 깊이 영상을 스테레오 매칭하여 제 3 깊이 영상을 획득하는 단계; 를 포함하고,
    상기 스테레오 매칭은 제2 깊이 영상으로부터 획득된 코스트 함수, 제1 깊이 영상으로부터 획득된 코스트 함수, 인접 픽셀들의 거리 값의 제약 코스트 함수의 합을 최소화하는 픽셀 거리를 결정하는 것을 포함하는 3차원 영상 획득 방법.
  8. 삭제
  9. 제 7 항에 있어서, 상기 제 3 깊이 영상을 획득하는 단계는,
    에너지 기반의 마르코프 랜덤 장(Markov random field) 모델에 기초하여 상기 스테레오 매칭을 수행하는 과정을 포함하는 3차원 영상 획득 방법.
  10. 제 7 항에 있어서, 상기 패턴광은,
    적외광 또는 자외광에 기초하여 정의되는 3차원 영상 획득 방법.
KR1020100004057A 2010-01-15 2010-01-15 3차원 영상 획득 장치 및 방법 KR101652393B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100004057A KR101652393B1 (ko) 2010-01-15 2010-01-15 3차원 영상 획득 장치 및 방법
US13/006,676 US20110175983A1 (en) 2010-01-15 2011-01-14 Apparatus and method for obtaining three-dimensional (3d) image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100004057A KR101652393B1 (ko) 2010-01-15 2010-01-15 3차원 영상 획득 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110084029A KR20110084029A (ko) 2011-07-21
KR101652393B1 true KR101652393B1 (ko) 2016-08-31

Family

ID=44277336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100004057A KR101652393B1 (ko) 2010-01-15 2010-01-15 3차원 영상 획득 장치 및 방법

Country Status (2)

Country Link
US (1) US20110175983A1 (ko)
KR (1) KR101652393B1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI462569B (zh) * 2011-04-22 2014-11-21 Mstar Semiconductor Inc 三維影像攝相機及其相關控制方法
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US20120287249A1 (en) * 2011-05-12 2012-11-15 Electronics And Telecommunications Research Institute Method for obtaining depth information and apparatus using the same
KR101242891B1 (ko) * 2011-08-31 2013-03-12 엘지이노텍 주식회사 뎁스맵 이미지 추출 장치 및 방법
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
EP2611169A1 (fr) * 2011-12-27 2013-07-03 Thomson Licensing Dispositif d'acquisition d'images stereoscopiques
US9225959B2 (en) * 2012-01-10 2015-12-29 Samsung Electronics Co., Ltd. Method and apparatus for recovering depth value of depth image
EP2634747A1 (en) 2012-02-29 2013-09-04 Flir Systems AB A method and system for projecting a visible representation of infrared radiation
EP2635022A1 (en) * 2012-02-29 2013-09-04 Flir Systems AB A method and system for performing alignment of a projection image to detected infrared (IR) radiation information
KR102019089B1 (ko) * 2012-08-22 2019-09-06 엘지이노텍 주식회사 이미지 센서 및 그를 갖는 카메라 장치
KR101951318B1 (ko) 2012-08-27 2019-04-25 삼성전자주식회사 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
US9648214B2 (en) 2012-11-21 2017-05-09 Nokia Technologies Oy Module for plenoptic camera system
KR101275749B1 (ko) * 2012-12-05 2013-06-19 최상복 ３차원 깊이정보 획득 방법 및 그 장치
KR102012697B1 (ko) * 2013-03-25 2019-08-21 삼성전자주식회사 멀티 인테그랄 포토그래피 카메라 매칭 시스템 및 방법
KR102157338B1 (ko) * 2013-11-12 2020-09-17 삼성전자주식회사 복수의 센서 기능을 수행하는 전자 장치 및 방법
KR102277309B1 (ko) 2014-01-29 2021-07-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR102135372B1 (ko) * 2014-03-19 2020-07-17 엘지전자 주식회사 구조광 시스템
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
KR102211862B1 (ko) 2014-04-09 2021-02-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 센서 시스템
CN107430324B (zh) * 2014-09-15 2020-11-20 惠普发展公司，有限责任合伙企业 具有不可见光通道的数字光投影仪
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US20160335492A1 (en) * 2015-05-15 2016-11-17 Everready Precision Ind. Corp. Optical apparatus and lighting device thereof
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN106572339B (zh) * 2016-10-27 2018-11-30 深圳奥比中光科技有限公司 一种图像采集器和图像采集系统
CN106454287B (zh) * 2016-10-27 2018-10-23 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN106572340B (zh) * 2016-10-27 2019-05-10 深圳奥比中光科技有限公司 摄像系统、移动终端及图像处理方法
CN110533709B (zh) * 2018-05-23 2023-02-07 杭州海康威视数字技术股份有限公司 深度图像获取方法、装置及系统、图像采集设备
US10867408B1 (en) * 2018-07-23 2020-12-15 Apple Inc. Estimation of spatial relationships between sensors of a multi-sensor device
KR102147120B1 (ko) * 2019-04-02 2020-08-24 엘지이노텍 주식회사 3차원 영상처리 시스템
KR102284187B1 (ko) * 2019-04-02 2021-08-02 엘지이노텍 주식회사 스테레오 매칭장치
KR102086594B1 (ko) * 2019-04-02 2020-03-10 엘지이노텍 주식회사 스테레오 매칭장치
WO2023162675A1 (ja) * 2022-02-25 2023-08-31 パナソニックＩｐマネジメント株式会社 撮像装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194114A (ja) * 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
US20060056679A1 (en) * 2003-01-17 2006-03-16 Koninklijke Philips Electronics, N.V. Full depth map acquisition

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194114A (ja) * 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
US20060056679A1 (en) * 2003-01-17 2006-03-16 Koninklijke Philips Electronics, N.V. Full depth map acquisition

Also Published As

Publication number Publication date
US20110175983A1 (en) 2011-07-21
KR20110084029A (ko) 2011-07-21

Similar Documents

Publication Publication Date Title
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
JP6480441B2 (ja) 飛行時間型カメラシステム
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
KR101613133B1 (ko) 3차원 영상 처리 장치 및 그 방법
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
KR102618542B1 (ko) ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
KR101858577B1 (ko) 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
KR20140121710A (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR20110085785A (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR20120093502A (ko) 레이저를 이용한 장애물 감지장치 및 방법.
JP6435661B2 (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
JP6782433B2 (ja) 画像認識装置
US9258548B2 (en) Apparatus and method for generating depth image
US20220028102A1 (en) Devices and methods for determining confidence in stereo matching using a classifier-based filter
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
KR101650009B1 (ko) 단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
JP7028814B2 (ja) 外形認識装置、外形認識システム及び外形認識方法
KR102389380B1 (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법
CN111373222A (zh) 光投射系统
JP2004132759A (ja) 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 4