KR101367281B1 - 깊이 영상 생성 방법 및 장치 - Google Patents

깊이 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101367281B1
KR101367281B1 KR1020070115540A KR20070115540A KR101367281B1 KR 101367281 B1 KR101367281 B1 KR 101367281B1 KR 1020070115540 A KR1020070115540 A KR 1020070115540A KR 20070115540 A KR20070115540 A KR 20070115540A KR 101367281 B1 KR101367281 B1 KR 101367281B1
Authority
KR
South Korea
Prior art keywords
light
time
irradiated
detected
received
Prior art date
Application number
KR1020070115540A
Other languages
English (en)
Other versions
KR20090049322A (ko
Inventor
강병민
김도균
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070115540A priority Critical patent/KR101367281B1/ko
Priority to US12/216,631 priority patent/US8305562B2/en
Publication of KR20090049322A publication Critical patent/KR20090049322A/ko
Application granted granted Critical
Publication of KR101367281B1 publication Critical patent/KR101367281B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques

Abstract

본 발명은 깊이 영상 생성 방법 및 장치에 관한 것으로, 그 깊이 영상 생성 방법은 대상물체에 일정 시간 동안 광을 조사하고, 광이 조사된 때부터 일정 시간 동안 대상물체의 제 1 광 정보를 검출하고, 광이 조사된 때부터 소정 시간 후에, 일정 시간 동안 대상물체의 제 2 광 정보를 검출한 후, 검출된 제 1 광 정보 및 검출된 제 2 광 정보를 이용하여, 대상물체에 대한 깊이 영상을 생성함으로써 보다 빠르게 깊이 영상을 생성할 수 있다.

Description

깊이 영상 생성 방법 및 장치{Depth image generating method and apparatus}
본 발명은 깊이 영상 생성 방법 및 장치에 관한 것이다.
영상을 구성하는 화소들 각각의 R(Red)값, G(Green)값 및 B(Blue)값으로 구성된 컬러(color) 정보와 영상을 구성하는 화소들 각각의 깊이 값을 나타내는 깊이(depth) 정보를 실시간으로 획득하여 사용자에게 제공하는 3D 이미지 센싱(3D image sensing) 기술은, 사용자에게 시각적인 사실감을 느끼게 하며 가상환경을 체험하게 하는데 중요한 역할을 한다.
그리고, 이러한 3D 이미지 센싱 기술은, 얼굴 추적 및 얼굴 인식 분야, 사용자의 동작을 인식하는 게임 분야, 디지털 카메라 분야, 승객의 위치나 신체 크기에 따라 에어백 시스템을 조절하는 것이나, 네비게이션 분야 등에서 광범위하게 활용되고 있다.
그런데, 이러한 3D 이미지 센싱 기술에 있어서 단위 시간당 취득할 수 있는 화면의 개수인 프레임율(frame rate)를 향상시키는 것은 화질의 향상에 매우 중요한 기여를 할 수 있으며, 이러한 프레임율의 향상을 위해 깊이 영상 정보를 보다 빠르게 취득하는 것이 중요하다.
본 발명이 이루고자 하는 기술적 과제는 대상물체에 대한 깊이 영상을 빠르게 취득함으로써 프레임율을 향상시키는 깊이 영상 생성 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 거리 영상 생성 방법은 대상물체에 일정 시간 동안 광을 조사하는 단계; 상기 광이 조사된 때부터 상기 일정 시간 동안 상기 대상물체의 제 1 광 정보를 검출하는 단계; 상기 광이 조사된 때부터 소정 시간 후에, 상기 일정 시간 동안 상기 대상물체의 제 2 광 정보를 검출하는 단계; 및 상기 검출된 제 1 광 정보 및 상기 검출된 제 2 광 정보를 이용하여, 상기 대상물체에 대한 깊이 영상을 생성하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 다른 기술적 과제를 이루기 위한 본 발명에 따른 거리 영상 생성 장치는 대상물체에 일정 시간 동안 광을 조사하는 광 조사부; 상기 광이 조사된 때부터 상기 일정 시간 동안 상기 대상물체의 제 1 광 정보를 검출하는 제 1 광 검출부; 상기 광이 조사된 때부터 소정 시간 후에, 상기 일정 시간 동안 상기 대상물체의 제 2 광 정보를 검출하는 제 2 광 검출부; 및 상기 검출된 제 1 광 정보 및 상기 검출된 제 2 광 정보를 이용하여, 상기 대상물체에 대한 깊이 영상을 생성하는 깊이 영상 생성부를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 일 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 깊이 영상 생성 장치의 구성을 블록도로 도시한 것이다. 도 1을 참조하면, 깊이 영상 생성 장치(10)는 펄스 제어부(110), 광 조사부(120), 렌즈(130), 필터부(140), 센서부(150), 판단부(160), 깊이 계산부(170), 깊이 영상 생성부(180)로 구성된다.
펄스 제어부(110)는 광 조사부(120) 및 센서부(150)를 제어하는 제어 펄스 신호를 생성한다. 특히, 펄스 제어부(110)는 일정 주기에 따라 교대로 온 오프(on off)를 반복하는 제어 펄스 신호를 생성하여 광 조사부(110) 및 센서부(150)에 인가한다.
광 조사부(120)는 LED 어레이(Light Emitting Diode Array) 혹은 레이저 기기 등으로서, 펄스 제어부(110)로부터 인가된 제어 펄스 신호에 따라 대상물체(20)에 광을 조사한다. 일 예로서, 광 조사부(120)는 펄스 제어부(110)로부터 인가된 제어 펄스 신호가 온(on)이면 대상물체(20)에 광을 조사하고, 인가된 제어 펄스 신호가 오프(off)이면 대상물체(20)에 광을 조사하지 않는다. 이때 광 조사부(120)는 적외선, 자외선, 가시광선 등의 광을 조사하며, 광 조사부(120)에 의해 광이 조사되는 시간을 T0라고 하자.
렌즈(130)는 대상물체(20)로부터 입사된 광을 모아서 필터부(140)에 전달한다.
필터부(140)는 렌즈(130)로부터 전달된 광 중 광 조사부(120)에 의해 조사된 광과 동일한 파장 대의 광만 통과시키고, 다른 파장 대의 광은 차단한다. 이는, 센서부(150)가 광 조사부(120)에 의해 조사되었던 광만을 수광하고, 그 이외의 광은 수광하지 못하도록 하기 위해서이다.
센서부(150)는 픽셀들이 2차원적으로 배열된 픽셀 어레이로 구성되며, 각 픽셀들에 위치한 포토게이트(photogate)들이나 포토다이오드(photodiode)들과 같은 광전변환소자들은 광이 수광되면 수광된 광을 전하로 변환하여 축적하고, 축적된 전하량들에 따른 광 정보를 검출한다. 본 실시예에서는 광변환소자로서 포토게이트를 사용하는 경우를 중심으로 설명하기로 하며, 이러한 포토게이트들은 온(on)상태에 있을 때에 광을 수광하여 전하를 축적할 수 있다.
특히, 본 실시예에서 센서부(150)는 도 2에 도시된 것과 같이, 제 1 광 정보를 검출하는 제 1 광 검출부인 제 1 픽셀의 포토게이트와 제 2 광 정보를 검출하는 제 2 광 검출부인 제 2 픽셀의 포토게이트로 구성되는 2개의 포토게이트를 한 조로 사용한다. 그리고, 펄스 제어부(110)로부터 인가된 제어 펄스 신호에 따라 도 3에 도시된 바와 같이 제 1 픽셀의 포토게이트는 광 조사부(120)에 의해 광이 조사된 시각부터 T0의 시간 동안 온(on) 상태에 있도록 설정되고, 제 2 픽셀의 포토게이트는 광 조사부(120)에 의해 광이 조사된 시점보다 α·T0 만큼 늦게 온(on)되어 T0의 시간 동안 온(on) 상태에 있도록 설정된다. 이때의 α는 0과 1 사이의 값으로써, α가 0에 가까울수록 광이 조사된 시점과 제 2 픽셀의 포토게이트가 온(on)되는 시점이 가깝게 된다.
그리고, 광이 조사된 시점부터 센서부(150)에 광이 수광되는 시점까지의 시간을 td라 하고, 제 2 픽셀의 포토게이트가 온(on)되는 시점과 센서부(150)에 광이 수광된 시점 사이의 차이를 tx라 하자. 그러면, tx는 td와 α·T0 의 차이와 같다. 그리고, 광조사부(120)에 의해 조사된 광의 세기를 A0 이라 하고, 대상물체(20)의 반사율을 r 이라 하자. 그러면, 센서부(150)에 도달된 광의 세기는 반사율 r과 조사되었던 광의 세기 A0을 곱한 값과 같다.
그러면, 제 1 픽셀의 포토게이트에는 T0-td 의 시간 동안에 r×A0의 세기를 가진 광이 수광되므로, 제 1 픽셀의 포토게이트에 축적된 전하량을 Q1 이라 하면, Q1은 (T0-td)×r×A0에 비례한다. 이를 수학식으로 표현하면, 다음의 수학식1과 같다.
Figure 112007081328621-pat00001
마찬가지로, 제 2 픽셀의 포토게이트에는 T0-tx 의 시간 동안에 r×A0의 세기를 가진 광이 수광되므로, 제 2 픽셀의 포토게이트에 축적된 전하량을 Q2라 하면, Q2는 (T0-tx)×r×A0에 비례한다. 이를 수학식으로 표현하면, 다음의 수학식2와 같다.
Figure 112007081328621-pat00002
센서부(150)를 구성하는 픽셀들 중 제 1 픽셀의 포토게이트에 축적된 전하량 Q1은 (T0-td)×r×A0에 비례하고, 제 2 픽셀의 포토게이트에 축적된 전하량 Q2는 (T0-tx)×r×A0에 비례한다.
깊이 계산부(170)는 센서부(150)에 의해 축적된 전하량을 이용하여, 대상물체(20)의 깊이를 계산한다. 특히, 깊이 계산부(170)는 제 2 픽셀이 포토게이트가 온(on)된 시점과 센서부(150)에 광이 수광된 시점 중 어느 시점이 먼저인지에 따라 서로 다른 방법으로 대상물체(20)의 깊이를 계산한다.
도 3은 제 2 픽셀이 포토게이트가 온(on)된 시점이 센서부(150)에 광이 수광된 시점보다 먼저인 경우를 도시한 것이고, 도 4는 센서부(150)에 광이 수광된 시점이 제 2 픽셀이 포토게이트가 온(on)된 시점보다 먼저인 경우를 도시한 것으로서, 도 3 및 도 4를 참조하여, 각각 다른 방법으로 대상물체(20)의 깊이를 계산하는지 이유를 설명하기로 한다.
먼저, 제 1 픽셀의 포토게이트에 축적된 전하량인 Q1은 수학식 1과 같이, 광을 수광한 시간인 (T0-td)와 광의 세기인 r×A0를 곱한 값에 비례한다. 그리고, 제 2 픽셀의 포토게이트에 축적된 전하량인 Q2는 수학식 2과 같이, 광을 수광한 시간인 (T0-tx)와 광의 세기인 r×A0를 곱한 값에 비례한다.
따라서, 다음의 수학식 3을 도출할 수 있다.
Figure 112007081328621-pat00003
그런데, tx는 제 2 픽셀의 포토게이트가 온(on)되는 시점과 광이 수광된 시점 사이의 차이이므로, 도 3에 도시된 바와 같이 제 2 픽셀의 포토게이트가 온(on)이 된 후 센서부(150)에 광이 수광된 경우에는 tx는 td에서 α·T0를 감산한 값이 되고, 도 4에 도시된 바와 같이 제 2 픽셀의 포토게이트가 온(on)이 되기 전에 광이 수광된 경우에는 tx가 α·T0에서 td를 감산한 값이 된다. 즉, 제 2 픽셀의 포토게이트가 온(on)이 된 시점과 센서부(150)에 광이 수광된 시점 중 어느 시점이 먼저인지에 따라 수학식 3의 tx의 값이 다르므로, 각각 다른 방법으로 깊이를 계산한다.
따라서, 도 3에 도시된 바와 같이, 제 2 픽셀의 포토게이트가 온(on)이 된 후 센서부(150)에 광이 수광된 경우에는 tx는 td에서 α·T0를 감산한 값이므로, 수학식 3에 tx = td -α·T0를 대입하여, 다음의 수학식 4를 얻을 수 있다.
Figure 112007081328621-pat00004
그리고, 수학식 4로부터 광이 조사된 시점부터 센서부(150)에 광이 수광되는 시점까지의 시간인 td를 다음의 수학식 5와 같이 계산할 수 있다.
Figure 112007081328621-pat00005
그리고, 도 4에 도시된 바와 같이, 제 2 픽셀의 포토게이트가 온(on)이 되기 전에 센서부(150)에 광이 수광된 경우에는 tx는 α·T0에서 td를 감산한 값이므로, 수학식 3에 tx = α·T0-td를 대입하면, 다음의 수학식 6을 얻을 수 있다.
Figure 112007081328621-pat00006
그리고, 수학식 6으로부터 광이 조사된 시점부터 센서부(150)에 광이 수광되는 시점까지의 시간인 td를 다음의 수학식 7과 같이 계산할 수 있다.
Figure 112007081328621-pat00007
이를 통해, 제 2 픽셀의 포토게이트가 온(on)이 된 후 센서부(150)에 광이 수광된 경우에는 수학식 5를 통해 td를 계산하고, 제 2 픽셀의 포토게이트가 온(on)이 되기 전에 센서부(150)에 광이 수광된 경우에는 수학식 7을 통해 td를 계산한다.
그렇다면, 조사된 광이 수광된 시점과 상기 제 2 광 정보를 검출하는 시점 중 어느 시점이 먼저인지를 쉽게 판단하는 것이 요구된다.
그런데, 도 3에 도시된 바와 같이 제 2 픽셀의 포토게이트가 온(on)이 된 후 센서부(150)에 광이 수광된 경우에는, td는 α·T0 보다 크므로 td≥α·T0 의 관 계가 성립하고, 이 식에 수학식 5의 td를 대입하여 계산하면, Q1과 Q2간에는 다음의 수학식 8과 같은 관계가 성립한다.
Figure 112007081328621-pat00008
반대로, 도 4에 도시된 바와 같이 제 2 픽셀의 포토게이트가 온(on)되기 전에 센서부(150)에 광이 수광된 경우에는 td는 α·T0 보다 작으므로, td＜α·T0 의 관계가 성립하고, 이 식에 수학식 7의 td를 대입하여 계산하면, Q1과 Q2간에는 다음의 수학식 9와 같은 관계가 성립한다.
Figure 112007081328621-pat00009
따라서, 판단부(160)는 제 1 픽셀의 포토게이트에 축적된 전하량 Q1과 제 2 픽셀의 포토게이트에 축적된 전하량인 Q2가 수학식 8을 만족하면, 제 2 픽셀의 포토게이트가 온(on)되는 시점이 광이 수광된 시점보다 먼저인 경우로 판단한다. 반면에, 판단부(160)는 제 1 픽셀의 포토게이트에 축적된 전하량 Q1과 제 2 픽셀의 포토게이트에 축적된 전하량인 Q2가 수학식 9를 만족하면, 제 2 픽셀의 포토게이트가 온(on)이 되기 시점이 광이 수광된 시점보다 나중인 경우로 판단한다.
그리고, 깊이 계산부(170)는 판단부(160)의 판단 결과 제 2 픽셀의 포토게이트가 온(on)되는 시점이 광이 수광된 시점보다 먼저이면, 수학식 5를 이용하여 광이 조사된 시점부터 센서부(150)에 광이 수광되는 시점까지의 시간인 td를 계산할 수 있도록 한다.
즉,
Figure 112007081328621-pat00010
의 연산을 수행하여 td를 계산한다.
반면에, 깊이 계산부(170)는 판단부(160)의 판단 결과 제 2 픽셀의 포토게이트가 온(on)이 되기 시점이 광이 수광된 시점보다 나중이면, 수학식 7을 이용하여 광이 조사된 시점부터 센서부(150)에 광이 수광되는 시점까지의 시간인 td를 계산한다.
즉,
Figure 112007081328621-pat00011
의 연산을 수행하여 td를 계산한다.
그리고, 깊이 계산부(170)는 계산된 td를 2로 나누고 빛의 속도 c를 곱합으로써, 즉 ½×c×td 의 연산을 수행함으로써, 대상물체(20)의 깊이를 계산한다. 이러한 깊이 계산부(170)는 센서부(150)를 구성하는 모든 픽셀들에 대하여, 상기된 연산을 반복하여 수행함으로써 대상물체(20)의 깊이를 계산한다.
깊이 영상 생성부(180)는 깊이 계산부(170)에 의해 계산된 깊이를 이용하여 대상물체(20)에 대한 깊이 영상을 생성한다. 예를 들어, 깊이 영상 생성부(180)는 근거리 물체의 거리값인 작은 깊이는 영상에서 밝은 색으로 표현하고, 원거리 물체의 거리값인 큰 깊이는 영상에서 어두운 색으로 표현할 수 있다.
본 발명의 다른 일 실시예로서, 센서부(150)가 픽셀들이 2차원적으로 배열된 픽셀 어레이로 구성될 때, 하나의 픽셀에 포토게이트1(photogate1)과 포토게이트2(photogate2) 등의 복수의 포토게이트들로 구성되는 경우에는 하나의 픽셀에 대하여 깊이 값을 계산할 수 있어서, 깊이 영상의 해상도를 높일 수 있다. 이 경우에는 제 1 픽셀의 포토게이트는 포토게이트1와 대응되고, 제 2 픽셀의 포토게이트는 포토게이트2와 대응되며, 제 1 픽셀과 제 2 픽셀을 이용하여 깊이 영상을 생성하는 것과 동일한 방법을 사용하여 깊이 영상을 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 거리 영상 생성 방법의 일 예를 흐름도로 도시한 것이다. 도 6을 참조하면, 본 실시예에 따른 거리 영상 생성 방법은 도 1에 도시된 거리 영상 생성 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 거리 영상 생성 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 거리 영상 생성 방법에도 적용된다.
61 단계에서 거리 영상 생성 장치(10)는 일정 주기에 따라 교대로 온 오프(on off)를 반복하는 제어 펄스 신호를 생성한다.
62 단계에서 거리 영상 생성 장치(10)는 61 단계에서 인가된 제어 펄스 신호에 따라 대상물체에 광을 조사한다. 일 예로서, 인가된 제어 펄스 신호가 온(on)이면 대상물체에 광을 조사하고, 인가된 제어 펄스 신호가 오프(off)이면 대상물체에 광을 조사하지 않는다. 이때, 광이 조사되는 시간을 T0라고 하자.
63 단계에서 거리 영상 생성 장치(10)는 대상물체로부터 수광된 광 중 62 단 계에서 조사된 광과 동일한 파장 대의 광만 통과시키고, 다른 파장 대의 광은 차단한다.
64 단계에서 거리 영상 생성 장치(10)는 63 단계에서 통과된 광에 따른 전하를 발생시켜고, 발생된 전하를 축적한다. 이때, 거리 영상 생성 장치(10)의 제 1 픽셀의 포토게이트에는 T0-td 의 시간 동안에 r×A0의 세기를 가진 광이 수광되므로, 수학식 1과 같이 (T0-td)×r×A0에 비례한 전하량 Q1이 축적된다. 그리고, 제 2 픽셀의 포토게이트에는 T0-tx 의 시간 동안에 r×A0의 세기를 가진 광이 수광되므로, 수학식 2와 같이 (T0-tx)×r×A0에 비례한 전하량 Q2가 축적된다.
65 단계에서 거리 영상 생성 장치(10)는 제 2 픽셀의 포토게이트가 온(on)되는 시점이 광이 수광된 시점보다 먼저인지 여부를 판단한다. 이를 위해, 거리 영상 생성 장치(10)는 64 단계에서 축적된 전하량인 Q1 및 Q2가 수학식 8의 조건을 만족하는지 여부를 판단하여, 수학식 8의 조건을 만족하는 경우에 제 2 픽셀의 포토게이트가 온(on)되는 시점이 광이 수광된 시점보다 먼저라고 판단한다.
66 단계에서 거리 영상 생성 장치(10)는 65 단계에서의 판단 결과 제 2 픽셀의 포토게이트가 온(on)되는 시점이 광이 수광된 시점보다 먼저라면, 수학식 5를 이용하여 광이 조사된 시점부터 광이 수광되는 시점까지의 시간인 td를 계산하고, ½×c×td 를 수행함으로써 대상물체의 깊이를 계산한다.
67 단계에서 거리 영상 생성 장치(10)는 65 단계에서의 판단 결과 제 2 픽셀의 포토게이트가 온(on)되는 시점이 광이 수광된 시점보다 먼저가 아니라면, 즉 광이 수광된 시점이 제 2 픽셀이 포토게이트가 온(on)되는 시점보다 먼저라면, 수학 식 7을 이용하여 광이 조사된 시점부터 광이 수광되는 시점까지의 시간인 td를 계산하고, ½×c×td 를 수행함으로써 대상물체의 깊이를 계산한다.
68 단계에서 거리 영상 생성 장치(10)는 66 단계와 67 단계에서 계산된 대상물체의 깊이를 이용하여 대상물체에 대한 깊이 영상을 생성한다.
이와 같이, 본 실시예에 따르면, 깊이 영상을 취득하는데 소요되는 시간은 도 5에 도시된 바와 같이, T0+α·T0 에 불과하여 보다 짧은 시간 동안에 깊이 영상을 취득할 수 있게 하는 효과가 있으며, α를 0에 근사시키면 거의 광이 조사되는 시간 동안인 T0에 가까운 시간 동안에 깊이 영상을 취득할 수 있어서, 단위 시간당 취득할 수 있는 화면의 개수인 프레임율(frame rate)를 빠르게 할 수 있게 하는 효과가 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 깊이 영상 생성 장치의 구성을 블록도로 도시한 것이다.
도 2는 도 1에 도시된 센서부(150)의 제 1 픽셀 및 제 2 픽셀을 도시한 것이다.
도 3은 도 1에 도시된 센서부(150)를 구성하는 제 2 픽셀의 포토게이트가 온(on)이 된 후 반사광이 수광된 경우를 도시한 것이다.
도 4는 도 1에 도시된 센서부(150)를 구성하는 제 2 픽셀의 포토게이트가 온(on)이 되기 전에 반사광이 수광된 경우를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 깊이 영상을 취득하는데 소요되는 시간을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 거리 영상 생성 방법을 흐름도로 도시한 것이다.

Claims (13)

  1. 대상물체에 일정 시간 동안 광을 조사하는 단계;
    상기 광이 조사된 때부터 상기 일정 시간 동안 상기 대상물체의 제 1 광 정보를 검출하는 단계;
    상기 광이 조사된 때부터 소정 시간 후에, 상기 일정 시간 동안 상기 대상물체의 제 2 광 정보를 검출하는 단계;
    상기 검출된 제 1 광 정보 및 상기 검출된 제 2 광 정보의 비교 결과에 기초하여 상기 조사된 광이 수광된 시점과 상기 제 2 광 정보를 검출하는 시점 중 우선하는 시점을 판단하는 단계;
    상기 판단 결과에 기초하여 상기 광이 조사된 시점으로부터 상기 조사된 광이 수광된 시점까지의 시간을 연산하는 단계; 및
    상기 연산된 시간을 이용하여, 상기 대상물체에 대한 깊이 영상을 생성하는 단계를 포함하고,
    상기 소정 시간은 상기 일정 시간보다 적은 것을 특징으로 하는 깊이 영상 생성 방법.
  2. 제 1 항에 있어서, 상기 우선하는 시점을 판단하는 단계는
    상기 검출된 제 1 광 정보에 포함된 제 1 전하량 및 상기 검출된 제 2 광 정보에 포함된 제 2 전하량 간의 비를 이용하여, 상기 우선하는 시점을 판단하는 것을 특징으로 하는 깊이 영상 생성 방법.
  3. 제 1 항에 있어서, 상기 연산하는 단계는
    상기 판단 결과 상기 조사된 광이 수광된 시점이 상기 제 2 광 정보를 검출하는 시점보다 먼저이면, 상기 제 2 광 정보가 검출되는 시간은 상기 광이 조사되는 시점부터 상기 조사된 광이 수광되는 시점까지의 시간에서 상기 광이 조사되는 시점부터 상기 제 2 광 정보를 검출하는 시점까지의 시간을 감산한 시간을 이용하여, 상기 광이 조사된 시점으로부터 상기 조사된 광이 수광된 시점까지의 시간을 연산하는 것을 특징으로 하는 깊이 영상 생성 방법.
  4. 제 1 항에 있어서, 상기 연산하는 단계는
    상기 판단 결과 상기 제 2 광 정보를 검출하는 시점이 상기 조사된 광이 수광된 시점보다 먼저이면, 상기 제 2 광 정보가 검출되는 시간은 상기 광이 조사되는 시점부터 상기 조사된 광이 수광되는 시점까지의 시간에서 상기 광이 조사되는 시점부터 상기 제 2 광 정보를 검출하는 시점까지의 시간을 감산한 시간에 비례하는 것을 이용하여, 상기 광이 조사된 시점으로부터 상기 조사된 광이 수광된 시점까지의 시간을 연산하는 것을 특징으로 하는 깊이 영상 생성 방법.
  5. 삭제
  6. 제 3 또는 제 4 항에 있어서, 상기 우선하는 시점을 판단하는 단계는
    상기 검출된 제 2 광 정보에 포함된 제 2 전하량과 상기 검출된 제 1 광 정보에 포함된 제 1 전하량 간의 차이가 상기 제 2 전하량을 소정 배 한 값보다 큰지를 검사함으로써 상기 조사된 광이 수광된 시점과 상기 제 2 광 정보를 검출하는 시점 중 우선하는 시점을 판단하는 것을 특징으로 하는 깊이 영상 생성 방법.
  7. 제 1 항 내지 제 4 항 및 제 6 항의 방법 중에 어느 한 항의 방법을 컴퓨터에서 실행시기기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  8. 대상물체에 일정 시간 동안 광을 조사하는 광 조사부;
    상기 광이 조사된 때부터 상기 일정 시간 동안 상기 대상물체의 제 1 광 정보를 검출하는 제 1 광 검출부;
    상기 광이 조사된 때부터 소정 시간 후에, 상기 일정 시간 동안 상기 대상물체의 제 2 광 정보를 검출하는 제 2 광 검출부;
    상기 검출된 제 1 광 정보 및 상기 검출된 제 2 광 정보의 비교 결과에 기초하여 상기 조사된 광이 수광된 시점과 상기 제 2 광 정보를 검출하는 시점 중 우선하는 시점을 판단하는 판단부;
    상기 판단 결과에 기초하여 상기 광이 조사된 시점으로부터 상기 조사된 광이 수광된 시점까지의 시간을 연산하는 깊이 계산부; 및
    상기 연산된 시간을 이용하여, 상기 대상물체에 대한 깊이 영상을 생성하는 깊이 영상 생성부를 포함하고,
    상기 소정 시간은 상기 일정 시간보다 적은 것을 특징으로 하는 깊이 영상 생성 장치.
  9. 제 8 항에 있어서, 상기 판단부는
    상기 검출된 제 1 광 정보에 포함된 제 1 전하량 및 상기 검출된 제 2 광 정보에 포함된 제 2 전하량 간의 비를 이용하여, 상기 우선하는 시점을 판단하는 것을 특징으로 하는 깊이 영상 생성 장치.
  10. 제 8 항에 있어서, 상기 깊이 계산부는
    상기 판단 결과 상기 조사된 광이 수광된 시점이 상기 제 2 광 정보를 검출하는 시점보다 먼저이면, 상기 제 2 광 정보가 검출되는 시간은 상기 광이 조사되는 시점부터 상기 조사된 광이 수광되는 시점까지의 시간에서 상기 광이 조사되는 시점부터 상기 제 2 광 정보를 검출하는 시점까지의 시간을 감산한 시간을 이용하여, 상기 광이 조사된 시점으로부터 상기 광이 수광된 시점까지의 시간을 연산하는 것을 특징으로 하는 깊이 영상 생성 장치.
  11. 제 8 항에 있어서, 상기 깊이 계산부는
    상기 판단 결과 상기 제 2 광 정보를 검출하는 시점이 상기 조사된 광이 수광된 시점보다 먼저이면, 상기 제 2 광 정보가 검출되는 시간은 상기 광이 조사되는 시점부터 상기 조사된 광이 수광되는 시점까지의 시간에서 상기 광이 조사되는 시점부터 상기 제 2 광 정보를 검출하는 시점까지의 시간을 감산한 시간에 비례하는 것을 이용하여, 상기 광이 조사된 시점으로부터 상기 조사된 광이 수광된 시점까지의 시간을 연산하는 것을 특징으로 하는 깊이 영상 생성 장치.
  12. 삭제
  13. 제 10 항 또는 제 11 항에 있어서, 상기 판단부는
    상기 검출된 제 2 광 정보에 포함된 제 2 전하량과 상기 검출된 제 1 광 정보에 포함된 제 1 전하량 간의 차이가 상기 제 2 전하량을 소정 배 한 값보다 큰지를 검사함으로써 상기 조사된 광이 수광된 시점과 상기 제 2 광 정보를 검출하는 시점 중 우선하는 시점을 판단하는 것을 특징으로 하는 깊이 영상 생성 장치.
KR1020070115540A 2007-11-13 2007-11-13 깊이 영상 생성 방법 및 장치 KR101367281B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070115540A KR101367281B1 (ko) 2007-11-13 2007-11-13 깊이 영상 생성 방법 및 장치
US12/216,631 US8305562B2 (en) 2007-11-13 2008-07-08 Depth image generating method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070115540A KR101367281B1 (ko) 2007-11-13 2007-11-13 깊이 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090049322A KR20090049322A (ko) 2009-05-18
KR101367281B1 true KR101367281B1 (ko) 2014-02-25

Family

ID=40623754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070115540A KR101367281B1 (ko) 2007-11-13 2007-11-13 깊이 영상 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US8305562B2 (ko)
KR (1) KR101367281B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666020B1 (ko) 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
CN102857769A (zh) * 2011-06-28 2013-01-02 瑞昱半导体股份有限公司 3d 影像处理装置
US9589326B2 (en) 2012-11-29 2017-03-07 Korea Institute Of Science And Technology Depth image processing apparatus and method based on camera pose conversion
KR101362183B1 (ko) 2012-11-29 2014-02-13 한국과학기술연구원 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
KR102061699B1 (ko) 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
EP3112901A4 (en) * 2014-02-28 2017-03-01 Panasonic Intellectual Property Management Co., Ltd. Distance measuring apparatus and distance measuring method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116516A (ja) 1999-08-11 2001-04-27 Asahi Optical Co Ltd ３次元画像検出装置
JP2001186544A (ja) 1999-12-27 2001-07-06 Asahi Optical Co Ltd ３次元画像入力装置
JP2002500367A (ja) 1997-12-23 2002-01-08 シーメンス アクチエンゲゼルシヤフト ３次元距離画像を撮影するための方法及び装置
JP2004538491A (ja) 2001-08-06 2004-12-24 シーメンス　アクチエンゲゼルシヤフト 三次元距離画像を記録するための方法及び装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4105801B2 (ja) * 1998-07-02 2008-06-25 ペンタックス株式会社 ３次元画像入力装置
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002500367A (ja) 1997-12-23 2002-01-08 シーメンス アクチエンゲゼルシヤフト ３次元距離画像を撮影するための方法及び装置
JP2001116516A (ja) 1999-08-11 2001-04-27 Asahi Optical Co Ltd ３次元画像検出装置
JP2001186544A (ja) 1999-12-27 2001-07-06 Asahi Optical Co Ltd ３次元画像入力装置
JP2004538491A (ja) 2001-08-06 2004-12-24 シーメンス　アクチエンゲゼルシヤフト 三次元距離画像を記録するための方法及び装置

Also Published As

Publication number Publication date
US8305562B2 (en) 2012-11-06
KR20090049322A (ko) 2009-05-18
US20090123061A1 (en) 2009-05-14

Similar Documents

Publication Publication Date Title
KR101344490B1 (ko) 영상 생성 방법 및 장치
JP7191921B2 (ja) Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
KR101367281B1 (ko) 깊이 영상 생성 방법 및 장치
JP5739174B2 (ja) 距離情報抽出方法及び該方法を採用した光学装置
CN104104941B (zh) 三维图像获取装置以及生成深度图像的方法
KR101613133B1 (ko) 3차원 영상 처리 장치 및 그 방법
US8768010B2 (en) Distance measuring apparatus, distance measuring method, and program
KR101854188B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR101574376B1 (ko) 우식을 탐지하는 방법 및 장치
KR102611080B1 (ko) 오토 포커스 제어를 갖는 이미징 디바이스들
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
KR20120000299A (ko) 깊이 영상 생성 장치 및 그 방법
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
JP2011169701A (ja) 物体検出装置および情報取得装置
KR20120093502A (ko) 레이저를 이용한 장애물 감지장치 및 방법.
JP2008032427A (ja) 距離画像作成方法及び距離画像センサ、及び撮影装置
US20200026031A1 (en) Bokeh control utilizing time-of-flight sensor to estimate distances to an object
KR20150037370A (ko) 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
US20090103782A1 (en) Method and apparatus for obtaining depth information
JP7005175B2 (ja) 距離測定装置、距離測定方法及び撮像装置
JP6159811B2 (ja) 解像度および焦点改善
JP2020051991A (ja) 奥行取得装置、奥行取得方法およびプログラム
CN109729289A (zh) 光学式传感器及检测方法
US9906705B2 (en) Image pickup apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 7