KR20130098042A - 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치 - Google Patents

깊이 정보 생성 장치 및 이를 포함하는 촬영 장치 Download PDF

Info

Publication number
KR20130098042A
KR20130098042A KR1020120019833A KR20120019833A KR20130098042A KR 20130098042 A KR20130098042 A KR 20130098042A KR 1020120019833 A KR1020120019833 A KR 1020120019833A KR 20120019833 A KR20120019833 A KR 20120019833A KR 20130098042 A KR20130098042 A KR 20130098042A
Authority
KR
South Korea
Prior art keywords
data
depth
depth data
subjects
estimated
Prior art date
Application number
KR1020120019833A
Other languages
English (en)
Inventor
배광혁
경규민
김태찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120019833A priority Critical patent/KR20130098042A/ko
Priority to US13/598,824 priority patent/US20130222543A1/en
Publication of KR20130098042A publication Critical patent/KR20130098042A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명의 기술적 사상은 깊이 정보 생성 장치에 관한 것으로, 복수의 피사체들로부터의 수신광을 센싱하여, 상기 복수의 피사체들에 대한 거리 정보를 가지는 초기 깊이 데이터 및 상기 복수의 피사체들로부터 획득한 영상에 대한 이차원 영상 정보를 가지는 이차원 영상 데이터를 제공하는 센싱부; 및 상기 이차원 영상 데이터를 삼차원으로 변환하여 상기 복수의 피사체들에 대한 추정된 거리 정보를 가지는 추정 깊이 데이터를 생성하고, 상기 초기 깊이 데이터 및 상기 추정 깊이 데이터를 기초로 하여 최종 깊이 데이터를 제공하는 최종 깊이 제공부를 포함한다.

Description

깊이 정보 생성 장치 및 이를 포함하는 촬영 장치{Apparatus of generating depth information and photographing apparatus including the same}
본 발명의 기술적 사상은 촬영 장치에 관한 것으로서, 더욱 상세하게는, 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치에 관한 것이다.
이미지 센서는 영상 또는 거리 정보를 포함하는 광 신호를 전기적 신호로 변환하는 장치이다. 정밀하면서도 정확하게 원하는 정보를 제공하기 위하여 이미지 센서에 대한 연구가 진행되고 있으며, 특히, 영상 정보뿐만 아니라 거리 정보를 제공하는 3차원 이미지 센서(3D image sensor)에 대한 연구가 활발히 진행되고 있다.
본 발명의 기술적 사상이 해결하려는 과제는 깊이 센서에서 제공된 깊이 데이터에 비해 보정되어 정확도가 향상된 깊이 정보를 가지는 최종 깊이 정보를 생성할 수 있는 깊이 정보 생성 장치를 제공하는데 있다.
본 발명의 다른 기술적 사상이 해결하려는 과제는 깊이 센서에서 제공된 깊이 데이터에 비해 보정되어 정확도가 향상된 깊이 정보를 가지는 최종 깊이 정보를 생성할 수 있는 깊이 정보 생성 장치를 포함하는 촬영 장치를 제공하는데 있다.
본 발명의 기술적 사상에 따른 깊이 정보 생성 장치는 복수의 피사체들로부터의 수신광을 센싱하여, 상기 복수의 피사체들에 대한 거리 정보를 가지는 초기 깊이 데이터 및 상기 복수의 피사체들로부터 획득한 영상에 대한 이차원 영상 정보를 가지는 이차원 영상 데이터를 제공하는 센싱부; 및 상기 이차원 영상 데이터를 삼차원으로 변환하여 상기 복수의 피사체들에 대한 추정된 거리 정보를 가지는 추정 깊이 데이터를 생성하고, 상기 초기 깊이 데이터 및 상기 추정 깊이 데이터를 기초로 하여 최종 깊이 데이터를 제공하는 최종 깊이 제공부를 포함한다.
실시예들에 있어서, 상기 최종 깊이 제공부는, 상기 영상을 제1 영역 및 제2 영역으로 구분하고, 상기 제1 영역에 대한 상기 초기 깊이 데이터와 상기 제2 영역에 대한 상기 추정 깊이 데이터를 결합하여 상기 최종 깊이 데이터를 제공할 수 있다. 실시예들에 있어서, 상기 제1 영역은 상기 복수의 피사체들 중 적어도 하나의 주요 피사체에 대한 전경(foreground)을 포함하고, 상기 제2 영역은 상기 복수의 피사체들 중 상기 적어도 하나의 주요 피사체를 제외한 배경(background)을 포함할 수 있다.
실시예들에 있어서, 상기 최종 깊이 제공부는, 상기 영상을 복수의 구역들로 분할하고, 상기 초기 깊이 데이터를 기초로 하여 상기 복수의 구역들을 제1 영역 및 제2 영역으로 구분하는 제1 분할부; 상기 이차원 영상 데이터를 삼차원으로 변환하여 상기 추정 깊이 데이터를 생성하는 변환부; 상기 초기 깊이 데이터로부터 상기 제1 영역에 해당하는 제1 데이터를 추출하고, 상기 추정 깊이 데이터로부터 상기 제2 영역에 해당하는 제2 데이터를 추출하는 추출부; 및 상기 제1 데이터 및 상기 제2 데이터를 결합하여 상기 최종 깊이 데이터를 제공하는 결합부를 포함할 수 있다.
실시예들에 있어서, 상기 변환부는, 상기 영상 내의 깊이 단서(depth cue)를 기초로 하여 상기 영상을 복수의 구역들로 분할하는 제2 분할부; 상기 초기 깊이 데이터를 기초로 하여 상기 복수의 구역들 각각의 깊이를 인덱싱하는 인덱싱부; 및 인덱싱된 상기 복수의 구역들 각각의 깊이로부터 깊이 맵(map)을 생성하는 깊이 맵 생성부를 포함할 수 있다. 실시예들에 있어서, 상기 변환부는, 생성된 상기 깊이 맵을 기초로 하여 삼차원의 상기 추정 깊이 데이터를 제공하는 추정 깊이 제공부를 더 포함할 수 있다.
실시예들에 있어서, 상기 이차원 영상 데이터는 인텐시티(intensity) 데이터 및 컬러 데이터 중 적어도 하나를 포함할 수 있다.
실시예들에 있어서, 상기 센싱부는, 상기 복수의 피사체들로부터의 반사광을 기초로 하여 상기 초기 깊이 데이터 및 인텐시티 데이터를 생성하는 깊이 센서를 포함할 수 있다.
실시예들에 있어서, 상기 센싱부는, 상기 복수의 피사체들로부터의 반사광을 기초로 하여 상기 초기 깊이 데이터 및 인텐시티 데이터를 생성하는 깊이 센서; 및 상기 피사체로부터의 가시광선을 기초로 하여 컬러 데이터를 생성하는 컬러 센서를 포함할 수 있다.
실시예들에 있어서, 상기 센싱부는, 상기 복수의 피사체들로부터의 반사광 및 가시광선을 기초로 하여 상기 초기 깊이 데이터, 인텐시티 데이터 및 컬러 데이터를 동시에 생성하는 깊이/컬러 센서를 포함할 수 있다.
실시예들에 있어서, 상기 센싱부는, 상기 초기 깊이 데이터를 제공하는 ToF(Time of Flight) 센서를 포함할 수 있다.
본 발명의 다른 기술적 사상에 따른 디지털 촬영 장치는 복수의 피사체들로부터의 수신광을 센싱하여 상기 피사체에 대한 거리 정보를 가지는 초기 깊이 데이터 및 상기 복수의 피사체들로부터 획득한 영상에 대한 이차원 영상 정보를 가지는 이차원 영상 데이터를 제공하는 센싱부를 포함하는 이미지 센서; 및 상기 이차원 영상 데이터를 삼차원으로 변환하여 추정 깊이 데이터를 생성하고, 상기 초기 깊이 데이터 및 상기 추정 깊이 데이터를 기초로 하여 최종 깊이 데이터를 제공하는 최종 깊이 제공부를 포함하는 프로세서를 포함한다.
실시예들에 있어서, 상기 최종 깊이 제공부는, 상기 영상을 제1 영역 및 제2 영역으로 구분하고, 상기 제1 영역에 대한 상기 초기 깊이 데이터와 상기 제2 영역에 대한 상기 추정 깊이 데이터를 결합하여 상기 최종 깊이 데이터를 제공할 수 있다.
실시예들에 있어서, 상기 최종 깊이 제공부는, 상기 영상을 복수의 구역들로 분할하고, 상기 초기 깊이 데이터를 기초로 하여 상기 복수의 제1 구역들을 제1 영역 및 제2 영역으로 구분하는 제1 분할부; 상기 이차원 영상 데이터를 삼차원으로 변환하여 상기 추정 깊이 데이터를 생성하는 변환부; 상기 초기 깊이 데이터로부터 상기 제1 영역에 해당하는 제1 데이터를 추출하고, 상기 추정 깊이 데이터로부터 상기 제2 영역에 해당하는 제2 데이터를 추출하는 추출부; 및 상기 제1 데이터 및 상기 제2 데이터를 결합하여 상기 최종 깊이 데이터를 제공하는 결합부를 포함할 수 있다.
실시예들에 있어서, 상기 이차원 영상 데이터는 인텐시티 데이터 및 컬러 데이터 중 적어도 하나를 포함할 수 있다.
본 발명의 기술적 사상에 따른 깊이 정보 생성 장치는 초기 깊이 데이터 및 이차원 영상 데이터로부터 생성된 추정 깊이 데이터를 기초로 하여 최종 깊이 데이터를 생성함으로써, 초기 깊이 데이터에 비해 보정되어 정확도가 향상된, 즉, 정확하고 사실적인 최종 깊이 데이터를 생성할 수 있다.
구체적으로, 깊이 정보 생성 장치는 피사체들로부터의 거리가 상대적으로 가까운 영역에 대해서는 초기 깊이 데이터를 추출하고, 피사체들로부터의 거리가 상대적으로 먼 영역에 대해서는 이차원 영상 데이터로부터 생성된 추정 깊이 데이터를 추출하고, 추출된 초기 깊이 데이터와 추출된 추정 깊이 데이터를 결합함으로써 보다 정확하고 사실적인 최종 깊이 데이터를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치를 개략적으로 나타내는 블록도이다.
도 2는 도 1의 깊이 정보 생성 장치를 상세하게 나타내는 블록도이다.
도 3은 도 2의 제1 분할부에서 분할되는 영역들의 일 예를 나타낸다.
도 4는 도 2의 깊이 정보 생성 장치의 일 예를 나타내는 블록도이다.
도 5는 도 4의 깊이 센서를 상세하게 나타내는 블록도이다.
도 6은 도 4의 깊이 센서에서 피사체 그룹까지의 거리를 계산하는 일 예를 나타낸다.
도 7은 도 2의 깊이 정보 생성 장치의 다른 예를 나타내는 블록도이다.
도 8은 도 7의 컬러 센서를 상세하게 나타내는 블록도이다.
도 9는 도 2의 깊이 정보 생성 장치의 또 다른 예를 나타내는 블록도이다.
도 10은 도 9의 깊이/컬러 센서를 상세하게 나타내는 블록도이다.
도 11은 도 2의 변환부의 일 예를 상세하게 나타내는 블록도이다.
도 12a 내지 도 12c는 도 11의 변환부에서 제공되는 추정 깊이 데이터의 예들을 나타낸다.
도 13a 내지 도 13d는 도 11의 변환부에 포함된 구성 요소들에서 출력되는 결과들의 일 예를 나타낸다.
도 14a 내지 도 14d는 도 2의 최종 깊이 제공부의 동작을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 깊이 정보 생성 방법을 나타내는 흐름도이다.
도 16은 본 발명의 다른 실시예에 따른 깊이 정보 생성 방법을 나타내는 흐름도이다.
도 17은 본 발명의 또 다른 실시예에 따른 깊이 정보 생성 방법을 나타내는 흐름도이다.
도 18은 본 발명의 실시예들에 따른 깊이 정보 생성 장치를 이용하는 촬영 장치를 나타내는 블록도이다.
도 19은 도 18의 촬영 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 20은 도 19의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다. 본 발명의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 벗어나지 않으면서, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치를 개략적으로 나타내는 블록도이다.
도 1을 참조하면, 깊이 정보 생성 장치(1)는 센싱부(10) 및 최종 깊이 제공부(20)를 포함할 수 있고, 광원(30) 및 렌즈부(40)를 더 포함할 수 있다. 피사체 그룹(2)은 복수의 피사체들, 즉, 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)을 포함할 수 있으며, 깊이 정보 생성 장치(1)로부터 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 각각에 대한 거리는 서로 다를 수 있다. 이때, 피사체 그룹(2)에 포함되는 피사체들의 개수는 이에 한정되지 않는다.
광원(30)은 소정의 파장을 가진 방출광(예를 들어, 적외선 또는 근적외선)(EL)을 생성하고, 방출광(EL)을 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)에 조사할 수 있다. 광원(30)은 발광 다이오드(light emitting diode, LED), 레이저 다이오드 등으로 구현될 수 있다. 일 실시예에서, 광원(30)은 센싱부(10)와 별도의 장치로 구현될 수 있다. 다른 실시예에서, 광원(30)은 적어도 일부의 구성이 센싱부(10)에 포함되도록 구현될 수도 있다.
여기서, 방출광(EL)은 예를 들어, 센싱부(10)에 포함된 제어부(미도시)에 의해 제어되어 인텐시티(intensity)(즉, 단위 면적 당 광자의 수)가 주기적으로 변할 수 있다. 예를 들어, 방출광(EL)의 인텐시티는 연속적인 펄스들을 가지는 펄스 파, 사인 파, 코사인 파 등과 같은 형태를 가지도록 제어될 수 있다.
렌즈부(40)는 적어도 하나의 렌즈(미도시)를 포함할 수 있고, 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)로부터의 수신광, 구체적으로, 반사광(RL) 및/또는 가시광선(VL)을 센싱부(10)의 수광 영역(예를 들어, 센싱부(10)에 포함되는 픽셀 어레이들(미도시)에 포함되는 거리 픽셀들 및/또는 컬러 픽셀들)으로 집광시킬 수 있다.
일 실시예에서, 렌즈부(40)는 복수의 렌즈들을 포함할 수 있고, 복수의 렌즈들의 개수는 센싱부(10)에 포함된 센서들(미도시)의 개수에 대응될 수 있다. 이때, 복수의 렌즈들은 동일 평면 상에 다양한 형태로 배치될 수 있다. 예를 들어, 가로 방향 또는 세로 방향으로 일렬로 배치되거나 가로X세로의 행렬 형태로 배치될 수 있다. 다른 실시예에서, 렌즈부(40)는 하나의 렌즈 및 적어도 하나의 프리즘(미도시)을 포함할 수 있고, 적어도 하나의 프리즘의 개수는 센싱부(10)에 포함된 센서들의 개수에 대응될 수 있다.
도 2는 도 1의 깊이 정보 생성 장치를 상세하게 나타내는 블록도이다.
도 2를 참조하면, 센싱부(10)는 적어도 하나의 센서(11)를 포함할 수 있고, 최종 깊이 제공부(20)는 제1 분할부(segmentation unit)(21), 변환부(transformation unit)(22), 추출부(extraction unit)(23) 및 결합부(combining unit)(24)를 포함할 수 있다. 이하에서는, 도 1 및 도 2를 참조하여, 센싱부(10) 및 최종 깊이 제공부(20)의 구성 및 동작에 대해 상술하기로 한다.
센싱부(10)는 렌즈부(40)에서 집광된 반사광(RL) 및/또는 가시광선(VL)을 센싱할 수 있다. 구체적으로, 센싱부(10)에 포함된 적어도 하나의 센서(11)는 반사광(RL) 및/또는 가시광선(VL)을 센싱하여, 초기 깊이 데이터(IZD) 및 이차원 영상 데이터(2DD)를 제공할 수 있다.
여기서, 초기 깊이 데이터(IZD)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)에 대한 거리 정보를 가지는 데이터이고, 이차원 영상 데이터(2DD)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)로부터 획득한 영상에 대한 이차원 영상 정보를 가지는 데이터일 수 있다. 이때, 초기 깊이 데이터(IZD)는 센싱부(10)와 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 사이의 거리에 따라 변경되는 데이터인 반면, 이차원 영상 데이터(2DD)는 센싱부(10)와 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 사이의 거리에 무관한 데이터이다.
구체적으로, 센싱부(10)에서 측정 가능한 최대 거리는 광원(30)에서 출력되는 방출광(EL)의 변조 주파수(modulation frequency)에 따라서 결정될 수 있다. 예를 들어, 방출광(EL)의 변조 주파수가 30 MHz인 경우, 센싱부(10)는 센싱부(10)로부터 최대 5m까지 거리를 측정할 수 있다. 그러나, 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 중 적어도 하나는 센싱부(10)로부터 5m보다 먼 거리에 존재할 수 있다. 예를 들어, 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 중 제1 피사체(SUB1)와 센싱부(10) 사이의 거리는 7m일 수 있으며, 이때, 센싱부(10)는 제1 피사체(SUB1)와 센싱부(10) 사이의 거리를 2m로 측정할 수 있다. 이러한 현상을 깊이 접힘(depth folding)이라고 한다.
이와 같이, 센싱부(10)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)과 센싱부(10) 사이의 거리가 상대적으로 먼 경우에는, 다시 말해, 센싱부(10)가 측정 가능한 최대 거리보다 먼 경우에는 정확한 거리 정보를 제공할 수 없다. 다시 말해, 초기 깊이 데이터(IZD)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)과 센싱부(10) 사이의 거리가 상대적으로 먼 경우에는, 예를 들어, 영상에서 배경 부분의 경우에는 부정확한 값을 가질 수 있다.
최종 깊이 제공부(20)는 이차원 영상 데이터(2DD)를 삼차원으로 변환하여 추정 깊이 데이터(EZD)를 생성하고, 초기 깊이 데이터(IZD) 및 추정 깊이 데이터(EZD)를 기초로 하여 최종 깊이 데이터(FZD)를 제공할 수 있다. 여기서, 추정 깊이 데이터(EZD)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)에 대한 추정된 거리 정보를 가지는 데이터일 수 있다. 또한, 최종 깊이 데이터(FZD)는 초기 깊이 데이터(IZD)에 비해, 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)에 대한 보정된(corrected), 즉, 더욱 사실적이고 더욱 정확한 깊이 정보를 가지는 데이터일 수 있다.
제1 분할부(21)는 영상을 복수의 구역들로 분할하고, 초기 깊이 데이터(IZD)를 기초로 하여 복수의 구역들을 제1 영역(AREA1) 및 제2 영역(AREA2)으로 구분할 수 있다. 일 실시예에서, 제1 영역(AREA1)은 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 중 포커싱(focusing)하고자 하는 적어도 하나의 주요 피사체에 대한 전경(foreground)을 포함할 수 있고, 제2 영역(AREA2)은 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 중 주요 피사체를 제외한 배경(background)을 포함할 수 있다.
도 3은 도 2의 제1 분할부에서 구분되는 영역들의 일 예를 나타낸다.
도 3을 참조하면, 제1 분할부(21)는 영상을 16개의 구역들(X11-X14, X21-X24, X31-X34, X41-X44)로 분할할 수 있다. 여기서, 16개의 구역들은 일 예에 불과하고, 다른 실시예에서, 제1 분할부(21)는 영상을 16개보다 많은 수의 구역들로 분할하거나 16개보다 적은 수의 구역들로 분할할 수도 있다.
제1 분할부(21)는 초기 깊이 데이터(IZD)를 기초로 하여 16개의 구역들을 적어도 두 개의 영역들, 예를 들어, 제1 영역(AREA1) 및 제2 영역(AREA2)으로 구분할 수 있다. 일 실시예에서, 제1 분할부(21)는 센싱부(10)에서 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)까지의 거리가 상대적으로 가까운 영역을 제1 영역(AREA1)으로 결정하고, 센싱부(10)에서 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)까지의 거리가 상대적으로 먼 영역을 제2 영역(AREA2)으로 결정할 수 있다.
구체적으로, 제1 분할부(21)는 16개의 구역들(X11-X14, X21-X24, X31-X34, X41-X44)에 각각에 대한 초기 깊이 데이터(IZD)를 기초로 하여, 초기 깊이 데이터(IZD)가 임계값, 예를 들어, 3보다 작은 구역들(X22, X23, X32, X33)은 제1 영역(AREA1)으로 결정하고, 초기 깊이 데이터(IZD)가 임계값, 예를 들어, 3보다 큰 구역들(X11-X14, X21, X24, X31, X34, X41-X44)은 제2 영역(AREA2)으로 결정할 수 있다.
다시 도 2를 참조하면, 변환부(22)는 이차원 영상 데이터(2DD)를 삼차원으로 변환하여 추정 깊이 데이터(EZD)를 생성할 수 있다. 변환부(22)의 구성 및 구체적인 동작에 대해서는 도 11을 참조하여 후술하기로 한다.
추출부(23)는 제1 및 제2 추출부들(231, 232)을 포함할 수 있고, 제1 추출부(231)는 초기 깊이 데이터(IZD)로부터 제1 영역(AREA1)에 해당하는 제1 데이터(ZD1)를 추출하고, 제2 추출부(232)는 추정 깊이 데이터(EZD)로부터 제2 영역(AREA2)에 해당하는 제2 데이터(ZD2)를 추출할 수 있다. 예를 들어, 제1 추출부(231)는 초기 깊이 데이터(IZD)로부터 전경에 해당하는 제1 데이터(ZD1)를 추출하고, 제2 추출부(232)는 추정 깊이 데이터(EZD)로부터 배경에 해당하는 제2 데이터(ZD2)를 추출할 수 있다.
결합부(24)는 제1 데이터(ZD1) 및 제2 데이터(ZD2)를 결합하여 최종 깊이 데이터(FZD)를 제공할 수 있다. 전경에 포함된 피사체의 반사도가 상대적으로 낮은 경우에는, 센싱부(10)는 피사체에 대한 정확한 초기 깊이 데이터(IZD)를 제공할 수 없을 수도 있다. 이 경우, 본 실시예에 따르면, 센싱부(10)에서 생성된 이차원 영상 데이터(2DD)를 기초로 하여 초기 깊이 데이터(IZD)에 비해 보정되어 정확도가 향상된 최종 깊이 데이터를 생성할 수 있다.
이와 같이, 본 실시예에 따르면, 센싱부(10)에서 제공되는 초기 깊이 데이터(IZD)에 대해, 센싱부(10)에서 제공되는 이차원 영상 데이터(2DD)로부터 생성된 추정 깊이 데이터(EZD)를 결합함으로써, 초기 깊이 데이터(IZD)에 비해 보정된, 즉, 사실적이고 정확한 최종 깊이 데이터(FZD)를 제공할 수 있다.
도 4는 도 2의 깊이 정보 생성 장치의 일 예를 나타내는 블록도이다.
도 4를 참조하면, 깊이 정보 생성 장치(1A)는 센싱부(10a) 및 최종 깊이 제공부(20a)를 포함할 수 있고, 센싱부(10a)는 깊이 센서(11a)를 포함할 수 있다. 깊이 센서(11a)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)로부터 수신한 반사광(RL)을 기초로 하여 초기 깊이 데이터(IZD) 및 인텐시티 데이터(INT)를 제공할 수 있다. 일 실시예에서, 깊이 센서(11a)는 ToF(time of flight) 센서를 포함할 수 있다.
여기서, 초기 깊이 데이터(IZD)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)이 깊이 정보 생성 장치(1A)로부터 얼마나 떨어져 있는지, 즉, 원근감을 나타낼 수 있다. 인텐시티 데이터(INT)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)로부터 반사 및/또는 굴절된 광선의 세기를 이용하여 측정되므로 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)의 식별을 가능하게 한다. 구체적으로, 인텐시티 데이터(INT)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)에 대한 오프셋(offset), 진폭(amplitude) 등과 같은 이차원 흑백 영상 정보를 가질 수 있다.
도 5는 도 4의 깊이 센서를 상세하게 나타내는 블록도이다.
도 5를 참조하면, 깊이 센서(11a)는 깊이 픽셀 어레이(depth pixel array)(111a), 로우 주사 회로(row scanning circuit)(112), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(113), 컬럼 주사 회로(column scanning circuit)(114) 및 제어부(115)를 포함할 수 있다.
수광 렌즈(41)는 광원(30)에서 출력된 방출광(EL)이 피사체 그룹(2)에서 반사되어 입력되는 반사광(RL)을 깊이 픽셀 어레이(111a)에 집광할 수 있다.
깊이 픽셀 어레이(111a)는 수광 렌즈(41)에서 집광된 반사광(RL)을 전기적인 신호로 변환하는 깊이 픽셀들(depth pixels)(미도시)을 포함할 수 있다. 깊이 픽셀 어레이(111a)는 깊이 센서(11a)로부터 피사체 그룹(2)까지의 거리 정보 및 피사체 그룹(2)에 대한 오프셋, 진폭 등과 같은 이차원 흑백 영상 정보를 제공할 수 있다.
로우 주사 회로(112)는 제어부(115)로부터 제어 신호들을 수신하여 깊이 픽셀 어레이(111a)의 로우 어드레스 및 로우 주사를 제어할 수 있다. 로우 주사 회로(112)는 로우 라인들 중에서 해당 로우 라인을 선택하기 위하여 해당 로우 라인을 활성화시키는 신호를 깊이 픽셀 어레이(111a)에 인가할 수 있다. 일 실시예에서, 로우 주사 회로(112)는 깊이 픽셀 어레이(111a) 내의 로우 라인을 선택하는 로우 디코더 및 선택된 로우 라인을 활성화시키는 신호를 공급하는 로우 드라이버를 포함할 수 있다.
ADC부(113)는 깊이 픽셀 어레이(111a)로부터 출력되는 거리 정보 및 이차원 흑백 영상 정보와 같은 아날로그 신호를 디지털 신호로 변환하여 초기 깊이 데이터(IZD) 및 인텐시티 데이터(INT)를 제공할 수 있다. 일 실시예에서, ADC부(113a)는 각 컬럼 라인마다 연결된 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 병렬로 변환하는 컬럼 ADC를 수행할 수 있다. 다른 실시예에서, ADC부(113a)는 단일한 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 순차적으로 변환하는 단일 ADC를 수행할 수도 있다.
실시예에 따라, ADC부(113)는 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부(미도시)를 포함할 수 있다. 일 실시예에서, CDS부는 리셋 성분을 나타내는 아날로그 리셋 신호와 신호 성분을 나타내는 아날로그 데이터 신호의 차이에 기초하여 유효 신호 성분을 추출하는 아날로그 더블 샘플링을 수행할 수 있다. 다른 실시예에서, CDS부는 아날로그 리셋 신호와 아날로그 데이터 신호를 디지털 신호들로 각각 변환한 후 유효 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링을 수행할 수 있다. 또 다른 실시예에서, CDS부는 아날로그 더블 샘플링 및 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.
컬럼 주사 회로(114)는 제어부(115)로부터 제어 신호들을 수신하여 깊이 픽셀 어레이(111a)의 컬럼 어드레스 및 컬럼 주사를 제어할 수 있다. 컬럼 주사 회로(114)는 ADC부(113)에서 출력되는 디지털 출력 신호를 디지털 신호 프로세싱 회로(Digital Signal Processing Circuit, 미도시) 또는 외부의 호스트(미도시)로 출력할 수 있다. 예를 들어, 컬럼 주사 회로(114)는 수평 주사 제어 신호를 ADC부(113)에 출력함으로써, ADC부(113) 내의 복수의 아날로그-디지털 변환기들을 순차적으로 선택할 수 있다. 일 실시예에서, 컬럼 주사 회로(14)는 복수의 아날로그-디지털 변환기들 중 하나를 선택하는 컬럼 디코더 및 선택된 아날로그-디지털 변환기의 출력을 수평 전송선으로 유도하는 컬럼 드라이버를 포함할 수 있다. 이때, 수평 전송선은 디지털 출력 신호를 출력하기 위한 비트 폭을 가질 수 있다.
제어부(115)는 로우 주사 회로(112), ADC부(113), 컬럼 주사 회로(114) 및 광원(30)을 제어할 수 있다. 구체적으로, 제어부(115)는 로우 주사 회로(112), ADC부(113), 컬럼 주사 회로(114) 및 광원부(30)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 제어부(115)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다. 다른 실시예에서 제어부(115)의 기능은 별도의 엔진부 등과 같은 프로세서에서 수행될 수도 있다.
도 6은 도 4의 깊이 센서에서 피사체 그룹까지의 거리를 계산하는 일 예를 나타낸다.
도 6을 참조하면, X축은 시간을 나타내고, Y축은 인텐시티를 나타낸다. 도 6에서는 설명의 편의를 위하여 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 중 하나의 피사체로부터의 반사광(RL)을 기초로, 깊이 센서(11a)에서 피사체 그룹(2)까지의 거리를 계산하는 일 예를 설명한다.
도 4 내지 도 6를 참조하면, 광원(30)에서 출력된 방출광(EL)은 주기적으로 변동하는 인텐시티를 가질 수 있다. 본 실시예에서, 방출광(EL)의 인텐시티는 사인 파의 형태를 가질 수 있다.
광원(30)에서 출력된 방출광(EL)은 피사체 그룹(2)에서 반사되어 반사광(RL)으로서 깊이 센서(11a)에 포함된 깊이 픽셀 어레이(111)에 입사될 수 있다. 깊이 픽셀 어레이(111)는 반사광(RL)을 주기적으로 샘플링할 수 있다. 실시예에 따라, 깊이 픽셀 어레이(111)는 반사광(RL)의 각 주기(즉, 방출광(EL)의 주기)마다 180도의 위상 차를 가지는 두 개의 샘플링 포인트들, 각각 90도의 위상 차를 가지는 네 개의 샘플링 포인트들, 또는 그 이상의 샘플링 포인트들에서 반사광(RL)을 샘플링할 수 있다. 예를 들어, 깊이 픽셀 어레이(111)는 매 주기 마다 방출광(EL)의 90도, 180도, 270도 및 360도의 위상들에서 반사광(RL)의 샘플들(A0, A1, A2, A3)을 추출할 수 있다.
반사광(RL)은 추가적인 배경 광, 노이즈 등에 의해 광원(30)에서 출력된 방출광(EL)의 오프셋(B')과 다른 오프셋(B)을 가질 수 있다. 반사광(RL)의 오프셋(B)은 아래의 [수학식 1]과 같이 계산될 수 있다.
[수학식 1]
Figure pat00001
여기서, A0는 방출광(EL)의 90도의 위상에서 샘플링된 반사광(RL)의 인텐시티를 나타내고, A1은 방출광(EL)의 180도의 위상에서 샘플링된 반사광(RL)의 인텐시티를 나타내고, A2는 방출광(EL)의 270도의 위상에서 샘플링된 반사광(RL)의 인텐시티를 나타내고, A3는 방출광(EL)의 360도의 위상에서 샘플링된 반사광(RL)의 인텐시티를 나타낸다.
반사광(RL)은 광 손실에 의해 광원(30)에서 출력된 방출광(EL)의 진폭(A')보다 작은 진폭(A)을 가질 수 있다. 반사광(RL)의 진폭(A)은 아래의 [수학식 2]와 같이 계산될 수 있다.
[수학식 2]
Figure pat00002
깊이 픽셀 어레이(111)에 포함된 거리 픽셀들 각각에 대한 반사광(RL)의 진폭(A)에 기초하여 피사체 그룹(2)에 대한 이차원 흑백 영상 정보가 제공될 수 있다.
반사광(RL)은 방출광(EL)에 대하여 깊이 센서(11a)로부터 피사체 그룹(2)의 거리의 두 배에 상응하는 위상 차(φ)만큼 지연된다. 방출광(EL)에 대한 수신 광(RL)의 위상 차(φ)는 아래의 [수학식 3]과 같이 계산될 수 있다.
[수학식 3]
Figure pat00003
방출광(EL)에 대한 반사광(RL)의 위상 차(φ)는 광의 비행 시간(Time-Of-Flight; TOF)에 상응한다. 깊이 센서(11a)로부터 피사체 그룹(2)까지의 거리는 아래의 [수학식 4]와 같이 계산될 수 있다.
[수학식 4]
R = c * TOF / 2
여기서, R은 깊이 센서(11a)에서 피사체 그룹(2)까지의 거리를 나타내고, c는 빛의 속도를 나타낸다.
또한, 깊이 센서(11a)로부터 피사체 그룹(2)까지의 거리는 반사광(RL)의 위상 차(φ)를 이용하여 아래의 [수학식 5]와 같이 계산될 수 있다.
[수학식 5]
Figure pat00004
여기서, f는 변조 주파수, 즉 방출광(EL)(또는 반사광(RL))의 주파수를 나타낸다.
도 6에는 사인파의 형태를 가지도록 변조된 방출광(EL)을 이용한 예가 도시되어 있으나, 실시예에 따라, 깊이 센서(11a)는 다양한 형태의 변조된 방출광(EL)을 이용할 수 있다. 또한, 깊이 센서(11a)는 방출광(EL)의 인텐시티의 파형, 거리 픽셀의 구조 등에 따라 다양한 방식으로 거리 정보를 추출할 수 있다.
도 7은 도 2의 깊이 정보 생성 장치의 다른 예를 나타내는 블록도이다.
도 7을 참조하면, 깊이 정보 생성 장치(1B)는 센싱부(10b) 및 최종 깊이 제공부(20b)를 포함할 수 있고, 센싱부(10b)는 깊이 센서(11a) 및 컬러 센서(11b)를 포함할 수 있다. 깊이 센서(11a)는 피사체 그룹(2)으로부터 수신한 반사광(RL)에 기초하여 초기 깊이 데이터(IZD) 및 인텐시티 데이터(INT)를 생성할 수 있다. 이때, 깊이 센서(11a)는 도 5에 도시된 바와 같이 구현될 수 있다. 컬러 센서(11b)는 피사체 그룹(2)으로부터 수신한 가시광선(VL)을 기초로 하여 피사체 그룹(2)에 대한 컬러 데이터(CD)를 생성할 수 있다. 여기서, 컬러 데이터(CD)는 피사체 그룹(2)에 대한 RGB와 같은 이차원 컬러 영상 정보를 가질 수 있다.
전경에 포함된 피사체의 반사도가 상대적으로 낮은 경우에는, 깊이 센서(11a)는 피사체에 대한 정확한 초기 깊이 데이터(IZD)를 제공할 수 없을 수도 있다. 이 경우, 본 실시예에 따르면, 컬러 센서(11b)에서 생성된 컬러 데이터(CD)를 기초로 하여 초기 깊이 데이터(IZD)에 비해 보정되어 정확도가 향상된 최종 깊이 데이터를 생성할 수 있다.
도 8은 도 7의 컬러 센서를 상세하게 나타내는 블록도이다.
도 8을 참조하면, 컬러 센서(11b)는 깊이 픽셀 어레이(color pixel array)(111b), 로우 주사 회로(112), 아날로그-디지털 변환(ADC)부(113), 컬럼 주사 회로(114) 및 제어부(115)를 포함할 수 있다. 컬러 센서(11b)는 컬러 픽셀 어레이(111b)를 제외하면, 도 5의 깊이 센서(11a)와 실질적으로 유사한 구성을 가질 수 있다. 따라서, 로우 주사 회로(112), 아날로그-디지털 변환(ADC)부(113), 컬럼 주사 회로(114) 및 제어부(115)에 대한 상세한 설명은 생략하기로 한다.
수광 렌즈(42)는 피사체 그룹(2)으로부터 수신한 가시 광선(VL)을 컬러 픽셀 어레이(111a)에 집광할 수 있다.
컬러 픽셀 어레이(111b)는 수광 렌즈(42)에서 집광된 가시광선(VL)을 전기적인 신호로 변환하는 컬러 픽셀들(color pixels)(미도시)을 포함할 수 있다. 컬러 픽셀 어레이(111b)는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)에 대한 RGB와 같은 이차원 컬러 영상 정보를 제공할 수 있다.
도 9는 도 2의 깊이 정보 생성 장치의 또 다른 예를 나타내는 블록도이다.
도 9를 참조하면, 깊이 정보 생성 장치(1C)는 센싱부(10c) 및 최종 깊이 제공부(20c)를 포함할 수 있고, 센싱부(10c)는 깊이/컬러 센서(11c)를 포함할 수 있다. 깊이/컬러 센서(11c)는 피사체 그룹(2)으로부터 수신된 반사광(RL)을 기초로 하여 초기 깊이 데이터(IZD) 및 인텐시티 데이터(INT)를 생성할 수 있다. 또한, 깊이/컬러 센서(11c)는 피사체 그룹(2)으로부터 수신된 가시광선(VL)을 기초로 하여 피사체 그룹(2)에 대한 컬러 데이터(CD)를 생성할 수 있다. 여기서, 컬러 데이터(CD)는 피사체 그룹(2)에 대한 RGB와 같은 이차원 컬러 영상 정보를 가질 수 있다.
전경에 포함된 피사체의 반사도가 상대적으로 낮은 경우에는, 깊이/컬러 센서(11c)는 피사체에 대한 정확한 초기 깊이 데이터(IZD)를 제공할 수 없을 수도 있다. 이 경우, 본 실시예에 따르면, 깊이/컬러 센서(11c)에서 생성된 컬러 데이터(CD)를 기초로 하여 초기 깊이 데이터(IZD)에 비해 보정되어 정확도가 향상된 최종 깊이 데이터를 생성할 수 있다.
도 10은 도 9의 깊이/컬러 센서를 상세하게 나타내는 블록도이다.
도 10을 참조하면, 깊이/컬러 센서(11c)는 깊이/컬러 픽셀 어레이(111c), 깊이 픽셀 선택 회로(112a, 114a), 컬러 픽셀 선택 회로(112b, 114b), 깊이 픽셀 컨버터(113a), 컬러 픽셀 컨버터(113b) 및 제어부(115)를 포함할 수 있다.
수광 렌즈(43)는 광원에서 출력된 방출광(EL)이 피사체 그룹(2)에서 반사되어 입력되는 반사광(RL) 및 피사체 그룹(2)으로부터 수신한 가시 광선(VL)을 깊이/컬러 픽셀 어레이(111c)에 집광할 수 있다.
깊이/컬러 픽셀 어레이(111c)는 수광 렌즈(43)에서 집광된 반사광(RL)을 전기적인 신호로 변환하는 복수의 깊이 픽셀들과, 수광 렌즈(43)에서 집광된 가시광선(VL)을 전기적인 신호로 변환하는 복수의 컬러 픽셀들을 포함할 수 있다. 깊이/컬러 픽셀 어레이(111c)는 깊이 센서(11a)로부터 피사체 그룹(2)까지의 거리 정보, 피사체 그룹(2)에 대한 오프셋, 진폭 등과 같은 이차원 흑백 영상 정보 및 피사체 그룹(2)에 대한 RGB와 같은 이차원 컬러 영상 정보를 제공할 수 있다.
컬러 픽셀 선택 회로(112b, 114b)와 컬러 픽셀 컨버터(113b)는 픽셀 어레이(111c) 내의 컬러 픽셀을 제어하여 컬러 데이터(CD)를 제공하고, 깊이 픽셀 선택 회로(112a, 114a)와 깊이 픽셀 컨버터(113a)는 픽셀 어레이(111c) 내의 거리 픽셀을 제어하여 깊이 정보(ZD)를 제공한다. 제어부(115)는 컬러 픽셀 선택 회로(112b, 114b), 깊이 픽셀 선택 회로(112a, 114a), 컬러 픽셀 컨버터(113b) 및 깊이 픽셀 컨버터(113a)를 제어할 수 있다.
이와 같이, 센서부(11c)에서는 영상의 컬러 데이터(CD), 초기 깊이 데이터(IZD) 및 인텐시티 데이터(INT)를 제공하기 위하여 컬러 픽셀들을 제어하는 구성 요소들과 거리 픽셀들을 제어하는 구성 요소들이 별도로 구비되어 서로 독립적으로 동작할 수 있다.
도 11은 도 2의 변환부의 일 예를 상세하게 나타내는 블록도이다.
도 11을 참조하면, 변환부(22a)는 제2 분할부(221), 인덱싱부(indexing unit)(222), 깊이 맵(depth map, DM) 생성부(223) 및 추정 깊이(estimated depth) 제공부(224)를 포함할 수 있다.
제2 분할부(221)는 영상 내의 깊이 단서(depth cue)를 기초로 하여 영상을, 즉, 이차원 영상 데이터(2DD)를 복수의 구역들로 분할할 수 있다. 구체적으로, 제2 분할부(221)는 영상 내의 깊이 단서를 기초로 하여 영상을 적어도 두 개의 영역들로 구분하고, 구분된 영역들 중 하나를 복수의 구역들로 분할할 수 있다. 예를 들어, 제2 분할부(221)는 영상에서 피사체 분할을 통해 영상의 전경과 후경의 두 개의 영역들로 구분하고, 전경을 복수의 구역들로 분할할 수 있다.
여기서, 깊이 단서는 깊이를 알려주는 여러 종류의 정보이며, 이를 이용하여 가시공간 내에서 물체들의 상대적인 위치를 파악할 수 있다. 예를 들어, 깊이 단서는 2차 가우시안 도함수(second Gaussian derivative)를 이용한 디포커스(defocus), 소실선 검출(vanishing line detection) 및 그레디언트 평면 배치(gradient plane assignment)를 이용한 직선 원근법(linear perspective), 광 산란 모델을 이용한 대기 산란(atmosphere scattering), 에너지 최소화를 이용한 쉐이딩(shading), 정면(frontal) 텍셀(texel, texture element)을 이용한 페터닝된 텍스쳐(patterned texture), 광도 구속 조건과 기하학 구속조건의 결합을 이용한 대칭 패턴들(symmetric patterns), 스무딩 곡률(smoothing curvature)과 등광 도선(isophote)를 이용한 곡률과 최단 경로를 이용한 단일 변환(single transformation)을 포함하는 오클루전(occlusion), 및 색상 기반의 발견법(color-based heuristics)와 통계적 추정 법칙을 이용하는 통계적 패턴들 중 적어도 하나를 포함할 수 있다.
인덱싱부(222)는 초기 깊이 데이터(IZD)를 기초로 하여 복수의 구역들 각각의 깊이를 인덱싱할 수 있다. 구체적으로, 인덱싱부(222)는 초기 깊이 데이터(IZD)를 기준 값으로 이용하여, 초기 깊이 데이터(IZD)를 기준으로 복수의 구역들의 상대적인 깊이를 인덱싱할 수 있다. 이와 같이, 인덱싱부(222)는 영상 내에 있는 제1 내지 제3 피사체들(SUB1, SUB2, SUB3) 중에서 초기 깊이를 알고 있는 피사체를 기준으로 하여 복수의 구역들의 상대적인 깊이를 인덱싱할 수 있다.
깊이 맵 생성부(223)는 인덱싱된 복수의 구역들 각각의 깊이로부터 깊이 맵(DM)을 생성할 수 있다. 여기서, 깊이 맵(DM)은 컴퓨터 그래픽에서 각 화소의 값이 관측자의 눈에서 물체 표면까지의 3차원 거리를 나타내는 화상 정보를 말한다.
추정 깊이 제공부(224)는 생성된 깊이 맵(DM)을 기초로 하여 삼차원의 추정 깊이 데이터(EZD)를 제공할 수 있다. 구체적으로, 추정 깊이 제공부(224)는 깊이 맵(DM)에 나타난 화상 정보를 제1 내지 제3 피사체들(SUB1, SUB2, SUB3)에 대한 추정 깊이 데이터(EZD)로서 제공할 수 있다.
도 12a 내지 도 12c는 도 11의 변환부에서 제공되는 추정 깊이 데이터의 예들을 나타낸다.
구체적으로, 도 12a는 이차원 컬러 영상의 원본이며, 도 12b는 도 12a의 원본 영상에 대해 변환부(22)에서 제공되는 추정 깊이 데이터(EZD)의 일 예를 나타내며, 도 12c는 도 12a의 원본 영상에 대해 변환부(22)에서 제공되는 추정 깊이 데이터(EZD)의 다른 예를 나타낸다.
도 12b를 참조하면, 제2 분할부(221)는 먼저 영상에서 피사체 분할을 통해 전경(FORE)과 후경(BACK)을 추출한 뒤에, 전경(FORE)을 복수의 구역들로 분할할 수 있다. 인덱싱부(222)는 초기 깊이 데이터(IZD)를 기초로 하여 전경(FORE)의 중앙에서 모서리 쪽의 방향으로, 즉, 도 12b에서 화살표로 표시된 방향으로, 복수의 구역들의 상대적인 깊이를 인덱싱할 수 있다. 깊이 맵 생성부(223)는 인덱싱된 복수의 구역들 각각의 깊이로부터 깊이 맵(DM)을 생성할 수 있고, 추정 깊이 제공부(224)는 생성된 깊이 맵(DM)을 기초로 하여 도 12b에 도시된 바와 같은 추정 깊이 데이터를 포함하는 영상을 제공할 수 있다.
도 12c를 참조하면, 제2 분할부(221)는 먼저 영상에서 피사체 분할을 통해 전경(FORE)과 후경(BACK)을 추출한 뒤에, 전경(FORE)을 복수의 구역들로 분할할 수 있다. 인덱싱부(222)는 초기 깊이 데이터(IZD)를 기초로 하여 전경(FORE)의 아래에서 위쪽의 방향으로, 즉, 도 12c에서 화살표로 표시된 방향으로, 복수의 구역들의 상대적인 깊이를 인덱싱할 수 있다. 깊이 맵 생성부(223)는 인덱싱된 복수의 구역들 각각의 깊이로부터 깊이 맵(DM)을 생성할 수 있고, 추정 깊이 제공부(224)는 생성된 깊이 맵(DM)을 기초로 하여 도 12c에 도시된 바와 같은 추정 깊이 데이터를 포함하는 영상을 제공할 수 있다.
도 13a 내지 도 13d는 도 11의 변환부에 포함된 구성 요소들에서 출력되는 결과들의 일 예를 나타낸다.
구체적으로, 도 13a는 13d는 패터닝된 텍스쳐를 깊이 단서로 이용하는 경우에 변환부(22)에 포함된 구성 요소들에서 출력되는 결과들의 일 예를 나타낸다.
도 13a 내지 도 13d를 참조하면, 제2 분할부(221)는 도 13a에 도시된 원본 영상, 즉, 이차원 컬러 영상(2DD, CD)을 수신하고, 패터닝된 텍스쳐를 깊이 단서로 이용하여 도 13b에 도시된 바와 같은 분할된 텍스쳐 영역을 제공할 수 있다. 여기서, 제2 분할부(221)는 주요 피사체, 즉, 딸기의 몸통을 전경으로 결정하고, 딸기의 몸통을 제외한 영역을 배경으로 결정할 수 있다. 깊이 맵 생생부(223)는 도 13c에 도시된 바와 같은 깊이 맵(DM)을 생성할 수 있다. 추정 깊이 제공부(224)는 도 13d에 도시된 바와 같은 추정 깊이 데이터(EZD)를 제공할 수 있다.
이와 같이, 변환부(22a)는 패터닝된 텍스쳐를 깊이 단서로 이용하여 이차원 컬러 영상(2DD, CD)을 삼차원으로 변환하여 추정 깊이 데이터(EZD)를 제공할 수 있다. 그러나, 이는 변환부(22a)에서 이차원 영상 데이터를 삼차원으로 변환하는 일 예에 불과하고, 변환부(22a)는 상술한 바와 같이 다양한 깊이 단서를 이용하여 이차원 영상 데이터를 삼차원으로 변환할 수 있다.
도 14a 내지 도 14d는 도 2의 최종 깊이 제공부의 동작을 설명하기 위한 도면이다.
도 2 및 도 14a 내지 도 14d를 참조하면, 센싱부(10)는 피사체 그룹(2)로부터의 수신광을 기초로 하여 도 14a에 도시된 바와 같은 컬러 데이터(CD) 및 도 14c에 도시된 바와 같은 초기 깊이 데이터(IZD)를 제공할 수 있다. 여기서, 초기 깊이 데이터(IZD)에 따르면, 주요 피사체를 제외하는 배경(BACK) 중 일부 영역은 주요 피사체를 포함하는 전경(FORE)과 동일한 깊이를 가지는 것처럼 보인다. 이는, 앞서 설명한 깊이 접힘 현상에 기인한 것으로, 센싱부(10)가 측정 가능한 최대 거리 이상에 위치하는 피사체는 실제보다 가까이 위치하는 것으로 센싱될 수 있다.
제1 분할부(21)는 피사체 그룹(2)로부터 획득한 영상을 제1 및 제2 영역들, 예를 들어, 전경(FORE) 및 후경(BACK)으로 구분할 수 있다. 변환부(22)는 도 14a에 도시된 바와 같은 컬러 데이터(CD)를 삼차원으로 변환하여 도 14b에 도시된 바와 같은 추정 깊이 데이터(EZD)를 제공할 수 있다. 여기서, 추정 깊이 데이터(EZD)는 센싱부(10)와 피사체 사이의 거리에 관계없이 생성될 수 있다.
제1 추출부(231)는 초기 깊이 데이터(IZD), 즉, 도 14c에 도시된 영상에서 전경(FORE)에 해당하는 부분을 제1 데이터(ZD1)로 추출할 수 있다. 또한, 제2 추출부(232)는 추정 깊이 데이터(EZD), 즉, 도 14b에 도시된 영상에서 배경(BACK)에 해당하는 부분을 제2 데이터(ZD2)로 추출할 수 있다. 결합부(24)는 제1 데이터(ZD1)와 제2 데이터(ZD2)를 결합하여 도 14d에 도시된 바와 같은 최종 깊이 데이터(FZD)를 제공할 수 있다.
도 14c에 도시된 초기 깊이 데이터(IZD)와 도 14d에 도시된 최종 깊이 데이터(FZD)를 비교해보면, 최종 깊이 데이터(FZD)가 훨씬 더 사실적이고 정확한 깊이 정보를 가지고 있는 것을 알 수 있다. 이와 같이, 본 실시예에 따르면, 전경에 대해서는 초기 깊이 데이터(IZD)를 이용하고, 배경에 대해서는 추정 깊이 데이터(EZD)를 이용함으로써, 초기 깊이 데이터(IZD)에 비해 보정된, 즉, 사실적이고 정확한 깊이 정보를 가지는 최종 깊이 데이터(FZD)를 제공할 수 있다.
도 15는 본 발명의 일 실시예에 따른 깊이 정보 생성 방법을 나타내는 흐름도이다.
도 15를 참조하면, 깊이 정보 생성 방법은 도 1, 도 2, 도 4 및 도 5에 도시된 깊이 정보 생성 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1, 도 2, 도 4 및 도 5에 도시된 깊이 정보 생성 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 깊이 정보 생성 방법에도 적용된다.
S100 단계에서, 광원(30)은 복수의 피사체들(SUB1, SUB2, SUB3)에 방출광(EL)을 조사한다.
S110 단계에서, 렌즈부(40)는 복수의 피사체들(SUB1, SUB2, SUB3)로부터 수신한 반사광(RL)을 센싱부(10)에 집광시킨다.
S120 단계에서, 깊이 센서(11a)는 복수의 피사체들(SUB1, SUB2, SUB3)로 수신한 반사광(RL)을 센싱하여, 복수의 피사체들(SUB1, SUB2, SUB3)에 대한 거리 정보를 가지는 초기 깊이 데이터(IZD) 및 복수의 피사체들(SUB1, SUB2, SUB3)에 대한 인텐시티 데이터(INT)를 제공한다.
S130 단계에서, 제1 분할부(21)는 영상을 복수의 구역들로 분할하고, 초기 깊이 데이터(IZD)를 기초로 하여 복수의 구역들을 제1 영역(AREA1) 및 제2 영역(AREA2)으로 구분한다.
S140 단계에서, 변환부(22a)는 인텐시티 데이터(INT)를 삼차원으로 변환하여 추정 깊이 데이터(EZD)를 생성한다.
S150 단계에서, 제1 추출부(231)는 초기 깊이 데이터(IZD)로부터 제1 영역(AREA1)에 해당하는 제1 데이터(ZD1)를 추출한다.
S160 단계에서, 제2 추출부(232)는 추정 깊이 데이터(EZD)로부터 제2 영역(AREA2)에 해당하는 제2 데이터(ZD2)를 추출한다.
S170 단계에서, 결합부(24)는 제1 데이터(ZD1) 및 제2 데이터(ZD2)를 결합하여 최종 깊이 데이터(FZD)를 제공한다.
도 16은 본 발명의 다른 실시예에 따른 깊이 정보 생성 방법을 나타내는 흐름도이다.
도 16을 참조하면, 깊이 정보 생성 방법은 도 1, 도 2, 도 7 및 도 8에 도시된 깊이 정보 생성 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1, 도 2, 도 7 및 도 8에 도시된 깊이 정보 생성 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 깊이 정보 생성 방법에도 적용된다.
S200 단계에서, 광원(30)은 복수의 피사체들(SUB1, SUB2, SUB3)에 방출광(EL)을 조사한다.
S210 단계에서, 렌즈부(40)는 복수의 피사체들(SUB1, SUB2, SUB3)로부터 수신한 반사광(RL)을 센싱부(10)에 집광시킨다.
S220 단계에서, 깊이 센서(11a)는 복수의 피사체들(SUB1, SUB2, SUB3)로부터 수신한 반사광(RL)을 센싱하여, 복수의 피사체들(SUB1, SUB2, SUB3)에 대한 거리 정보를 가지는 초기 깊이 데이터(IZD) 및 복수의 피사체들(SUB1, SUB2, SUB3)에 대한 인텐시티 데이터(INT)를 제공한다.
S230 단계에서, 컬러 센서(11b)는 복수의 피사체들(SUB1, SUB2, SUB3)로부터 수신한 가시광선(VL)을 센싱하여, 복수의 피사체들(SUB1, SUB2, SUB3)에 대한 컬러 데이터(CD)를 제공한다.
S240 단계에서, 제1 분할부(21)는 영상을 복수의 구역들로 분할하고, 초기 깊이 데이터(IZD)를 기초로 하여 복수의 구역들을 제1 영역 및 제2 영역으로 구분한다.
S250 단계에서, 변환부(22b)는 컬러 데이터(CD)를 삼차원으로 변환하여 추정 깊이 데이터(EZD)를 생성한다.
S260 단계에서, 제1 추출부(231)는 초기 깊이 데이터(IZD)로부터 제1 영역에 해당하는 제1 데이터를 추출한다.
S270 단계에서, 제2 추출부(232)는 추정 깊이 데이터(EZD)로부터 제2 영역에 해당하는 제2 데이터를 추출한다.
S280 단계에서, 결합부(24)는 제1 데이터 및 제2 데이터를 결합하여 최종 깊이 데이터를 제공한다.
도 17은 본 발명의 또 다른 실시예에 따른 깊이 정보 생성 방법을 나타내는 흐름도이다.
도 17을 참조하면, 깊이 정보 생성 방법은 도 1, 도 2, 도 9 및 도 10에 도시된 깊이 정보 생성 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1, 도 2, 도 9 및 도 10에 도시된 깊이 정보 생성 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 깊이 정보 생성 방법에도 적용된다.
S300 단계에서, 광원(30)은 복수의 피사체들(SUB1, SUB2, SUB3)에 방출광(EL)을 조사한다.
S310 단계에서, 렌즈부(40)는 복수의 피사체들(SUB1, SUB2, SUB3)로부터 수신한 수신광을 센싱부(10)에 집광시킨다.
S320 단계에서, 깊이/컬러 센서(11c)는 복수의 피사체들(SUB1, SUB2, SUB3)로부터 수신한 반사광(RL)을 센싱하여, 복수의 피사체들(SUB1, SUB2, SUB3)에 대한 거리 정보를 가지는 초기 깊이 데이터(IZD) 및 복수의 피사체들(SUB1, SUB2, SUB3)에 대한 인텐시티 데이터(INT)를 제공하고, 복수의 피사체들(SUB1, SUB2, SUB3)로부터의 가시광선(VL)을 센싱하여, 복수의 피사체들(SUB1, SUB2, SUB3)에 대한 컬러 데이터(CD)를 제공한다.
S330 단계에서, 제1 분할부(21)는 영상을 복수의 구역들로 분할하고, 초기 깊이 데이터(IZD)를 기초로 하여 복수의 구역들을 제1 영역 및 제2 영역으로 구분한다.
S340 단계에서, 변환부(22b)는 컬러 데이터(CD)를 삼차원으로 변환하여 추정 깊이 데이터(EZD)를 생성한다.
S350 단계에서, 제1 추출부(231)는 초기 깊이 데이터(IZD)로부터 제1 영역에 해당하는 제1 데이터를 추출한다.
S360 단계에서, 제2 추출부(232)는 추정 깊이 데이터(EZD)로부터 제2 영역에 해당하는 제2 데이터를 추출한다.
S370 단계에서, 결합부(24)는 제1 데이터 및 제2 데이터를 결합하여 최종 깊이 데이터를 제공한다.
도 18은 본 발명의 실시예들에 따른 깊이 정보 생성 장치를 이용하는 촬영 장치를 나타내는 블록도이다.
도 18을 참조하면, 촬영 장치(1000)는 예를 들어, 카메라일 수 있는데, 이미지 센서(1100) 및 프로세서(1200)를 포함할 수 있고, 프로세서(1200)는 마이크로 프로세서, 이미지 프로세서 또는 임의의 다른 유형의 제어 회로(application-specific integrated circuit, ASIC) 등일 수 있다. 일 실시예에서, 이미지 센서(1100) 및 프로세서(1200)는 개별적인 집적 회로로 구현될 수 있다. 다른 실시예에서, 이미지 센서(1100) 및 프로세서(1200)는 동일한 집적 회로 상에 구현될 수 있다.
이미지 센서(1100)는 광학 영상을 전기적 신호로 변환시키는 반도체 장치이며, 도 1 내지 도 14를 참조하여 상술한 깊이 정보 생성 장치(1)를 포함할 수 있다. 따라서, 이미지 센서(1100)는 센싱부(10) 및 최종 깊이 제공부(20)를 포함할 수 있다. 센싱부(10)는 복수의 피사체들로부터의 수신광, 즉, 반사광 및/또는 가시광선을 센싱하여, 복수의 피사체들에 대한 거리 정보를 가지는 초기 깊이 데이터 및 복수의 피사체들로부터 획득한 영상에 대한 이차원 영상 정보를 가지는 이차원 영상 데이터를 제공할 수 있다. 깊이 정보 제공부(20)는 이차원 영상 데이터를 삼차원으로 변환하여 복수의 피사체들에 대한 추정된 거리 정보를 가지는 추정 깊이 데이터를 생성하고, 초기 깊이 데이터 및 추정 깊이 데이터를 기초로 하여 최종 깊이 데이터를 제공할 수 있다.
프로세서(1200)는 영상 신호 처리부(1210), 제어부(1220) 및 인터페이스부(1230)를 포함할 수 있다. 영상 신호 처리부(1210)는 이미지 센서(1100)에서 출력되는 최종 거리 데이터를 포함하는 영상 데이터를 수신하여 신호 처리를 수행할 수 있다. 제어부(1220)는 이미지 센서(1100)로 제어 신호를 출력할 수 있다. 인터페이스부(1230)는 신호 처리된 데이터를 디스플레이(1500)에 전달하여 재생하도록 할 수 있다.
본 실시예에서, 촬영 장치(1000)는 디스플레이(1500)와 연결될 수 있다. 다른 실시예에서, 촬영 장치(1000)와 디스플레이(1500)는 일체로 구현될 수도 있다.
도 19는 도 18의 촬영 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 19를 참조하면, 컴퓨팅 시스템(2000)은 프로세서(2010), 메모리 장치(2020), 스토리지 장치(2030), 입출력 장치(2040), 전원 장치(2050) 및 촬영 장치(1000)를 포함할 수 있다. 한편, 도 19에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(2010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(2010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(2010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus) 등과 같은 버스(2060)를 통하여 메모리 장치(2020), 스토리지 장치(2030) 및 입출력 장치(2040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
메모리 장치(2020)는 컴퓨팅 시스템(2000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(2020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 스토리지 장치(2030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다.
입출력 장치(2040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치(2050)는 컴퓨팅 시스템(2000)의 동작에 필요한 동작 전압을 공급할 수 있다.
촬영 장치(1000)는 버스(2060) 또는 다른 통신 링크를 통해서 프로세서(2010)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 촬영 장치(1000)는 복수의 피사체들로부터의 수신광을 센싱하여, 복수의 피사체들에 대한 거리 정보를 가지는 초기 깊이 데이터 및 복수의 피사체들로부터 획득한 영상에 대한 이차원 영상 정보를 가지는 이차원 영상 데이터를 제공할 수 있고, 이어서, 이차원 영상 데이터를 삼차원으로 변환하여 복수의 피사체들에 대한 추정된 거리 정보를 가지는 추정 깊이 데이터를 생성하고, 초기 깊이 데이터 및 추정 깊이 데이터를 기초로 하여 최종 깊이 데이터를 제공할 수 있다.
촬영 장치(1000)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 촬영 장치(1000)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.
한편, 컴퓨팅 시스템(2000)은 촬상 장치를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(2000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
도 20은 도 19의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 20을 참조하면, 컴퓨팅 시스템(3000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(3110), 촬영 장치(3140) 및 디스플레이(3150) 등을 포함할 수 있다. 어플리케이션 프로세서(3110)의 CSI 호스트(3112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 촬영 장치(3140)의 CSI 장치(3141)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, CSI 호스트(3112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(3141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(3110)의 DSI 호스트(3111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(3150)의 DSI 장치(3151)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, DSI 호스트(3111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(3151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(3000)은 어플리케이션 프로세서(3110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(3160)을 더 포함할 수 있다. 컴퓨팅 시스템(3000)의 PHY(3113)와 RF 칩(3160)의 PHY(3161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(3110)는 PHY(3161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(3114)를 더 포함할 수 있다.
한편, 컴퓨팅 시스템(3000)은 지피에스(Global Positioning System; GPS)(3120), 스토리지(3170), 마이크(3180), 디램(Dynamic Random Access Memory; DRAM)(3185) 및 스피커(3190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(3100)은 초광대역(Ultra WideBand; UWB)(3210), 무선 랜(Wireless Local Area Network; WLAN)(3220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(3230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(3000)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
1: 깊이 정보 생성 장치
2: 피사체 그룹
SUB1, SUB2, SUB3: 제1 내지 제3 피사체들
10: 센싱부
20: 최종 깊이 제공부
30: 광원
40: 렌즈부

Claims (10)

  1. 복수의 피사체들로부터의 수신광을 센싱하여, 상기 복수의 피사체들에 대한 거리 정보를 가지는 초기 깊이 데이터 및 상기 복수의 피사체들로부터 획득한 영상에 대한 이차원 영상 정보를 가지는 이차원 영상 데이터를 제공하는 센싱부; 및
    상기 이차원 영상 데이터를 삼차원으로 변환하여 상기 복수의 피사체들에 대한 추정된 거리 정보를 가지는 추정 깊이 데이터를 생성하고, 상기 초기 깊이 데이터 및 상기 추정 깊이 데이터를 기초로 하여 최종 깊이 데이터를 제공하는 최종 깊이 제공부를 포함하는 깊이 정보 생성 장치.
  2. 제1항에 있어서,
    상기 최종 깊이 제공부는,
    상기 영상을 제1 영역 및 제2 영역으로 구분하고, 상기 제1 영역에 대한 상기 초기 깊이 데이터와 상기 제2 영역에 대한 상기 추정 깊이 데이터를 결합하여 상기 최종 깊이 데이터를 제공하는 것을 특징으로 하는 깊이 정보 생성 장치.
  3. 제2항에 있어서,
    상기 제1 영역은 상기 복수의 피사체들 중 적어도 하나의 주요 피사체에 대한 전경(foreground)을 포함하고,
    상기 제2 영역은 상기 복수의 피사체들 중 상기 적어도 하나의 주요 피사체를 제외한 배경(background)을 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  4. 제1항에 있어서,
    상기 최종 깊이 제공부는,
    상기 영상을 복수의 구역들로 분할하고, 상기 초기 깊이 데이터를 기초로 하여 상기 복수의 구역들을 제1 영역 및 제2 영역으로 구분하는 제1 분할부;
    상기 이차원 영상 데이터를 삼차원으로 변환하여 상기 추정 깊이 데이터를 생성하는 변환부;
    상기 초기 깊이 데이터로부터 상기 제1 영역에 해당하는 제1 데이터를 추출하고, 상기 추정 깊이 데이터로부터 상기 제2 영역에 해당하는 제2 데이터를 추출하는 추출부; 및
    상기 제1 데이터 및 상기 제2 데이터를 결합하여 상기 최종 깊이 데이터를 제공하는 결합부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  5. 제4항에 있어서,
    상기 변환부는,
    상기 영상 내의 깊이 단서(depth cue)를 기초로 하여 상기 영상을 복수의 구역들로 분할하는 제2 분할부;
    상기 초기 깊이 데이터를 기초로 하여 상기 복수의 구역들 각각의 깊이를 인덱싱하는 인덱싱부; 및
    인덱싱된 상기 복수의 구역들 각각의 깊이로부터 깊이 맵(map)을 생성하는 깊이 맵 생성부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  6. 제5항에 있어서,
    상기 변환부는,
    생성된 상기 깊이 맵을 기초로 하여 삼차원의 상기 추정 깊이 데이터를 제공하는 추정 깊이 제공부를 더 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  7. 제1항에 있어서,
    상기 센싱부는,
    상기 복수의 피사체들로부터의 반사광을 기초로 하여 상기 초기 깊이 데이터 및 인텐시티 데이터를 생성하는 깊이 센서를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  8. 제1항에 있어서,
    상기 센싱부는,
    상기 복수의 피사체들로부터의 반사광을 기초로 하여 상기 초기 깊이 데이터 및 인텐시티 데이터를 생성하는 깊이 센서; 및
    상기 피사체로부터의 가시광선을 기초로 하여 컬러 데이터를 생성하는 컬러 센서를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  9. 제1항에 있어서,
    상기 센싱부는,
    상기 복수의 피사체들로부터의 반사광 및 가시광선을 기초로 하여 상기 초기 깊이 데이터, 인텐시티 데이터 및 컬러 데이터를 동시에 생성하는 깊이/컬러 센서를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  10. 이미지 센서 및 프로세서를 포함하는 촬영 장치로서,
    상기 이미지 센서는,
    복수의 피사체들로부터의 수신광을 센싱하여 상기 피사체에 대한 거리 정보를 가지는 초기 깊이 데이터 및 상기 복수의 피사체들로부터 획득한 영상에 대한 이차원 영상 정보를 가지는 이차원 영상 데이터를 제공하는 센싱부; 및
    상기 이차원 영상 데이터를 삼차원으로 변환하여 추정 깊이 데이터를 생성하고, 상기 초기 깊이 데이터 및 상기 추정 깊이 데이터를 기초로 하여 최종 깊이 데이터를 제공하는 최종 깊이 제공부를 포함하는 촬영 장치.
KR1020120019833A 2012-02-27 2012-02-27 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치 KR20130098042A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120019833A KR20130098042A (ko) 2012-02-27 2012-02-27 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치
US13/598,824 US20130222543A1 (en) 2012-02-27 2012-08-30 Method and apparatus for generating depth information from image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120019833A KR20130098042A (ko) 2012-02-27 2012-02-27 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치

Publications (1)

Publication Number Publication Date
KR20130098042A true KR20130098042A (ko) 2013-09-04

Family

ID=49002438

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120019833A KR20130098042A (ko) 2012-02-27 2012-02-27 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치

Country Status (2)

Country Link
US (1) US20130222543A1 (ko)
KR (1) KR20130098042A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115800A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치
WO2015115797A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR20150090685A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
KR20160085562A (ko) 2015-01-08 2016-07-18 (주) 금성풍력 송풍기 베인의 개폐장치
KR20200064966A (ko) * 2014-01-29 2020-06-08 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201422053A (zh) * 2012-11-29 2014-06-01 Beyond Innovation Tech Co Ltd 關聯於發光二極體的負載驅動裝置
US8730300B1 (en) * 2013-01-15 2014-05-20 Byron J. Willner Three dimensional television encoding and broadcasting method
US9210769B2 (en) * 2013-03-15 2015-12-08 Microchip Technology Incorporated Constant brightness LED drive communications port
US20140363073A1 (en) * 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
TWI519884B (zh) * 2014-01-23 2016-02-01 鈺創科技股份有限公司 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
US9508681B2 (en) * 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
KR102286572B1 (ko) * 2015-03-04 2021-08-06 한국전자통신연구원 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
JP6406076B2 (ja) * 2015-03-13 2018-10-17 オムロン株式会社 オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム
US10663646B2 (en) 2015-07-08 2020-05-26 Bambu Vault Llc LED panel lighting system
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
US11425359B2 (en) * 2018-08-23 2022-08-23 Lg Electronics Inc. Apparatus and method for generating three-dimensional image
US11935199B2 (en) * 2021-07-26 2024-03-19 Google Llc Augmented reality depth detection through object recognition

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157733A (en) * 1997-04-18 2000-12-05 At&T Corp. Integration of monocular cues to improve depth perception
JP2002150315A (ja) * 2000-11-09 2002-05-24 Minolta Co Ltd 画像処理装置および記録媒体
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
JP4903240B2 (ja) * 2009-03-31 2012-03-28 シャープ株式会社 映像処理装置、映像処理方法及びコンピュータプログラム
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115800A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치
WO2015115797A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR20150090685A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
US10094926B2 (en) 2014-01-29 2018-10-09 Lg Innotek Co., Ltd. Device for extracting depth information
US10338221B2 (en) 2014-01-29 2019-07-02 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
KR20200064966A (ko) * 2014-01-29 2020-06-08 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
US10802148B2 (en) 2014-01-29 2020-10-13 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
US11680789B2 (en) 2014-01-29 2023-06-20 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
KR20160085562A (ko) 2015-01-08 2016-07-18 (주) 금성풍력 송풍기 베인의 개폐장치

Also Published As

Publication number Publication date
US20130222543A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
KR20130098042A (ko) 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치
US10677923B2 (en) Optoelectronic modules for distance measurements and/or multi-dimensional imaging
EP3092509B1 (en) Fast general multipath correction in time-of-flight imaging
CN105190426B (zh) 飞行时间传感器装仓
KR101694797B1 (ko) 3차원 이미지 센서의 구동 방법
US9602807B2 (en) Single frequency time of flight de-aliasing
US11015927B2 (en) Optical sensor and optical sensor system
JP5918763B2 (ja) 階層的な飛行時間（ｔｏｆ）システムのディエリアシング方法およびシステム
KR20120075739A (ko) 이미지 처리 시스템 및 이미지 처리 방법
US9971023B2 (en) Systems and methods for time of flight measurement using a single exposure
CN110471080A (zh) 基于tof图像传感器的深度测量装置
CN112235522B (zh) 成像方法和成像系统
EP3008486A1 (en) Depth map correction using lookup tables
KR20130100524A (ko) 3차원 이미지 센서의 구동 방법
JP2016510396A (ja) 異なる奥行き撮像技術を用いて生成された奥行き画像をマージするための方法および装置
US10996335B2 (en) Phase wrapping determination for time-of-flight camera
EP3170025A1 (en) Wide field-of-view depth imaging
WO2013120041A1 (en) Method and apparatus for 3d spatial localization and tracking of objects using active optical illumination and sensing
KR20170130389A (ko) 공간-시간 압축된 비행시간 이미징을 위한 기술
CN109991581A (zh) 飞行时间获取方法和飞行时间相机
Chiu et al. Chaos LiDAR based RGB-D face classification system with embedded CNN accelerator on FPGAs
KR102211862B1 (ko) 이미지 센서 및 이를 포함하는 이미지 센서 시스템
Ttofis et al. A hardware-efficient architecture for accurate real-time disparity map estimation
KR20120111092A (ko) 촬상 장치
CN111292368A (zh) 用于确定相对于飞行时间相机的深度运动的装置和方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid