KR20120075739A - 이미지 처리 시스템 및 이미지 처리 방법 - Google Patents

이미지 처리 시스템 및 이미지 처리 방법 Download PDF

Info

Publication number
KR20120075739A
KR20120075739A KR1020100137537A KR20100137537A KR20120075739A KR 20120075739 A KR20120075739 A KR 20120075739A KR 1020100137537 A KR1020100137537 A KR 1020100137537A KR 20100137537 A KR20100137537 A KR 20100137537A KR 20120075739 A KR20120075739 A KR 20120075739A
Authority
KR
South Korea
Prior art keywords
image
input image
light
received light
resolution
Prior art date
Application number
KR1020100137537A
Other languages
English (en)
Other versions
KR101887099B1 (ko
Inventor
배광혁
경규민
김태찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100137537A priority Critical patent/KR101887099B1/ko
Priority to US13/337,724 priority patent/US8953021B2/en
Publication of KR20120075739A publication Critical patent/KR20120075739A/ko
Application granted granted Critical
Publication of KR101887099B1 publication Critical patent/KR101887099B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

이미지 처리 장치는 재구성부, 신뢰도 맵 추정부 및 업샘플링부를 포함한다. 상기 재구성부는 제1 수신광의 세기와 재구성된 제1 수신광의 세기의 차이인 재구성 에러를 제공한다. 신뢰도 맵 추정부는 제1 수신광의 강도를 나타내는 진폭과 상기 제1 수신광의 오프셋 및 상기 재구성 에러에 기초하여 상기 제1 수신광에 기초하여 생성되는 제1 해상도를 갖는 제1 입력 이미지에 대한 신뢰도 맵을 추정한다. 업샘플링부는 상기 신뢰도 맵에 기초하여 상기 제1 입력 이미지와 상기 피사체에 대한 제2 입력 이미지를 이용하여 적응적으로 결합 양방향 업샘플링을 수행하여 상기 제2 입력 이미지와 동일한 해상도를 갖는 출력 이미지를 제공한다.

Description

이미지 처리 시스템 및 이미지 처리 방법{image processing system and image processing method}
본 발명은 이미지 분야에 관한 것으로 보다 상세하게는 3차원 깊이 카메라를 이용한 이미지 처리 시스템 및 이미지 처리 방법에 관한 것이다.
이미지 센서는 영상(Image) 또는 거리(Distance, Depth) 정보를 포함하는 광 신호를 전기적인 신호로 변환하는 장치이다. 정밀하면서도 정확하게 원하는 정보를 제공하기 위하여 이미지 센서에 대한 연구가 진행 중이며, 특히, 영상 정보뿐만 아니라 거리 정보를 제공하는 3차원 이미지 센서(3D Image Sensor)에 대한 연구 및 개발이 최근 활발하게 진행되고 있다.
하지만, 3차원 이미지 센서의 깊이 데이터는 2차원 컬러 데이터에 비하여 해상도가 낮다는 문제가 있다.
이에 따라, 본 발명의 일 목적은 3차원 깊이 데이터의 해상도를 높일 수 있는 이미지 처리 시스템을 제공하는데 있다.
본 발명의 일 목적은 3차원 깊이 데이터의 해상도를 높일 수 있는 이미지 처리 방법을 제공하는데 있다.
상기 일 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 이미지 처리 시스템은 연산부, 재구성부, 신뢰도 맵 추정부 및 업샘플링부를 포함한다. 상기 연산부는 조사광에 의하여 피사체로부터 반사된 제1 수신광에 기초하여 상기 조사광과 상기 제1 수신광의 위상차, 상기 제1 수신광의 강도를 나타내는 진폭, 상기 제1 수신광의 오프셋을 계산한다. 상기 재구성부는 상기 위상차에 기초하여 상기 제1 수신광을 재구성하고, 상기 재구성된 제1 수신광과 상기 반사된 제1 수신광 각각의 복수의 샘플링 포인트들에서 상기 제1 수신광의 세기와 상기 재구성된 제2 수신광의 세기의 차이인 재구성 에러를 제공 상기 신뢰도 맵 추정부는 상기 진폭과 상기 오프셋 및 상기 재구성 에러에 기초하여 상기 제1 수신광에 기초하여 생성되는 제1 해상도를 갖는 제1 입력 이미지에 대한 신뢰도 맵을 추정한다. 상기 업샘플링부는 상기 신뢰도 맵에 기초하여 상기 제1 입력 이미지와 상기 피사체에 대한 제2 입력 이미지를 이용하여 상기 위상차에 대하여 적응적으로 결합 양방향 업샘플링을 수행하여 상기 제2 입력 이미지와 동일한 해상도를 갖는 출력 이미지를 제공한다.
예시적인 실시예에 있어서, 상기 제2 입력 이미지는 상기 제1 해상도보다 높은 제2 해상도를 갖고, 상기 제1 입력 이미지는 상기 피사체에 대한 3차원 깊이(depth) 이미지이고, 상기 제2 입력 이미지는 상기 피사체에 대한 2차원 컬러 이미지이고, 상기 출력 이미지는 상기 피사체에 대한 3차원 깊이 이미지일 수 있다.
예시적인 실시예에 있어서, 상기 업샘플링부는 다음의 [수학식 1]을 이용하여 업샘플링을 수행할 수 있다.
[수학식 1]
Figure pat00001
여기서,
Figure pat00002
는 제2 입력 이미지의 중심 픽셀(p)의 강도,
Figure pat00003
는 제2 입력 이미지의 중심 픽셀(p)의 주변 픽셀(q)의 강도, Ω는 q가 위치하는 영역,
Figure pat00004
와
Figure pat00005
는 각각 p와 q에 상응하는 제1 입력 이미지의 픽셀,
Figure pat00006
는 제1 입력 이미지에서의 픽셀(
Figure pat00007
)의 깊이 값,
Figure pat00008
는 출력 이미지에서 픽셀(p)의 깊이 값, f는 공간적 필터 커널, g와 h는 레인지 필터 커널,
Figure pat00009
는 블렌딩 함수,
Figure pat00010
는 노멀라이징 팩터이고,
Figure pat00011
는 다음의 [수학식 2]을 만족하고,
[수학식 2]
Figure pat00012
여기서,
Figure pat00013
이고
Figure pat00014
이며,
Figure pat00015
는 상기 신뢰도 맵을 나타냄.
예시적인 실시예에 있어서, 상기
Figure pat00016
는 다음의 [수학식 3]을 만족할 수 있다.
[수학식 3]
Figure pat00017
여기서
Figure pat00018
,
Figure pat00019
이고
Figure pat00020
를 만족함.
예시적인 실시예에 있어서, 상기 f, g 및 h는 각각 가우스 함수일 수 있다.
예시적인 실시예에 있어서, 상기
Figure pat00021
는 다음의 [수학식 4]을 만족할 수 있다.
[수학식 4]
Figure pat00022
여기서,
Figure pat00023
는 주변 영역에서의 측정된 깊이 값의 최대값과 최소값의 차이를 나타냄.
예시저인 실시예에 있어서, 상기 업샘플링부는 상기 피사체를 구성하는 각 픽셀의 반사도를 고려하여 상기 업샘플링을 수행할 수 있다.
상기 본 발명의 일 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지 처리 방법에서는 제1 이미지 센서를 이용하여 피사체에 광을 조사하고 수신광에 기초하여 제1 해상도를 갖는 제1 입력 이미지를 제공한다. 제2 이미지 센서를 이용하여 상기 제1 해상도보다 높은 제2 해상도를 갖는 제2 입력 이미지를 제공한다. 상기 제1 입력 이미지에 대한 신뢰도 맵과 상기 제2 입력 이미지에 기초하여 상기 제1 입력 이미지에 대하여 적응적으로 결합 양방향 업샘플링을 수행하여 상기 제2 해상도를 갖는 출력 이미지를 제공한다.
예시적인 실시예예 있어서, 상기 출력 이미지를 제공하기 위하여 상기 조사광의 한 주기 동안에 상기 수신광을 동일한 위상 간격에서 복수번 샘플링하여 상기 반사광에 대한 진폭과 오프셋을 구할 수 있다. 상기 조사광과 상기 반사광의 위상차에 기초하여 상기 수신광을 재구성하고, 상기 재구성된 수신광과 상기 수신광 각각의 복수의 샘플링 포인트들에서 상기 수신광의 세기와 상기 재구성된 수신광의 세기의 차이인 재구성 에러를 제공 재구성 에러를 산출할 수 있다. 상기 진폭, 상기 오프셋 및 상기 재구성 에러에 기초하여 상기 제1 입력 이미지에 대한 신뢰도 맵을 추정할 수 있다. 상기 신뢰도 맵에 기초하여 상기 업샘플링을 수행할 수 있다.
예시적인 실시예에 있어서, 상기 제1 입력 이미지는 상기 피사체에 대한 3차원 깊이(depth) 이미지이고, 상기 제2 입력 이미지는 상기 피사체에 대한 2차원 컬러 이미지이고, 상기 출력 이미지는 상기 피사체에 대한 3차원 깊이 이미지일 수 있다.
예시적인 실시예에 있어서, 상기 조사광은 근적외선 또는 적외선일 수 있다.
본 발명의 실시예들에 따르면, 동일한 거리 상의 피사체의 표면의 물질의 반사도에 따라 적응적으로 저해상도의 깊이 데이터를 샘플링하여 경계영역의 이미지를 향상시킨 고해상도를 갖는 출력 이미지를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일 실시에예 따른 도 1의 제1 이미지 센서의 구성을 보다 상세히 나타내는 블록도이다.
도 3은 도 1의 이미지 처리 시스템에서 조사된 광과 제1 수신 광을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 이미지 처리 장치의 구성을 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 제1 입력 이미지 또는 제2 입력 이미지를 나타낸다.
도 6a 내지 도 6c는 각각 진폭, 오프셋 및 재구성 에러에 대한 트랜스퍼 방정식을 나타내는 도면이다.
도 7은 도 1의 제2 이미지 센서에서 제공되는 제2 입력 이미지를 나타낸다.
도 8은 도 1의 제1 이미지 센서에서 제공되는 제1 입력 이미지를 나타낸다.
도 9a 내지 도 9d는 제1 입력 이미지가 샘플링 포인트들에서 샘플링된 경우를 나타낸다.
도 10은 본 발명의 실시예에 따른 피사체에 대한 신뢰도 맵을 나타낸다.
도 11은 본 발명의 실시예에 따른 피사체에 대한 출력 이미지를 나타낸다.
도 12a 및 도 12b는 본 발명과 비교하기 위한 다른 방법들에 의한 피사체에 대한 출력 이미지를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 이미지 처리 방법을 나타내는 흐름도이다.
도 14는 본 발명의 이미지 처리 시스템을 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 15는 도 14의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 1을 참조하면, 이미지 처리 시스템(10)은 제1 이미지 센서(100), 제2 이미지 센서(200) 및 업샘플링부(350)를 포함한다.
제1 이미지 센서(100)는 광원 모듈(170), 제1 필터(105) 및 본체부(160)를 포함한다. 광원 모듈(170)에서는 광(Tx)을 피사체(20)에 조사하고, 제1 반사광(Rx1)을 수신한다. 제1 필터(105)는 적외선 필터일 수 있다. 따라서 본체부(160)는 제1 반사광(Rx1) 중에서 적외선 성분만을 수신할 수 있다. 본체부(160)는 제1 반사광(Rx1)을 처리하여 제1 해상도를 갖는 제1 입력 이미지(LDI)를 제공하고 제1 입력 이미지(LDI)에 기초하여 신뢰도 맵(CM)을 제공한다.
제2 이미지 센서(200)는 제2 필터(210) 및 본체부(220)를 포함한다. 제2 필터(210)는 컬러 필터일 수 있다. 따라서 제2 본체부(220)는 제2 반사광(Rx2) 중 컬러 성분만을 수신할 수 있다. 본체부(220)는 제2 반사광(Rx2)을 처리하여 제2 해상도를 갖는 제2 입력 이미지(HCI)로 제공한다.
제1 이미지 센서(100)와 제2 이미지 센서(200)는 동일 축상에 정렬되어 피사체(20)의 동일한 부분을 촬상한다.
실시예에 있어서, 제1 이미지 센서(100)는 3차원 ToF(time-of-flight) 이미지 센서일 수 있고, 제2 이미지 센서(200)는 2차원 컬러 이미지 센서일 수 있다. 따라서 제1 입력 이미지(LDI)는 3차원 깊이(depth) 이미지일 수 있고, 제2 입력 이미지(HCI)는 2차원 컬러 이미지 일 수 있다. 그러므로, 제2 입력 이미지(HCI)의 제2 해상도는 제1 입력 이미지(LDI)의 제1 해상도보다 높을 수 있다.
업샘플링부(350)는 제1 입력 이미지(LDI)와 제2 입력 이미지(HCI)를 이용하여 위상차(Φ)의 깊이 정보에 대하여 적응적으로 결합 양방향 업샘플링을 수행하여 제1 입력 이미지(LDI)의 해상도를 제2 해상도로 높여 출력 이미지(HDI)로 제공한다. 따라서 출력 이미지(HDI)는 제2 해상도를 갖는 깊이 정보와 컬러 정보를 함께 가지게 된다. 도 2 및 도 4를 참조하여 후술되는 바와 같이, 이미지 처리 장치(300)는 제1 입력 이미지(LDI)에 대한 진폭(A)오프셋(B) 및 재구성 에러(RE) 등을 계산하여 신뢰도 맵(CM)을 추정하고, 신뢰도 맵(CM)을 기초로 하여 위상차(Φ)의 깊이 정보에 대하여 적응적으로 업샘플링을 수행하는 경우의 계수를 적응적으로 선택하여 제1 입력 이미지(LDI)의 해상도를 제2 해상도로 높일 수 있다. 즉, 이미지 처리 장치(300)는 제1 입력 이미지(LDI)의 어느 한 픽셀에 대한 깊이 값을 산출하는데 있어 주변 픽셀들의 반사도를 고려하여 제1 입력 이미지(LDI)의 어느 한 픽셀에 대한 깊이 값을 산출할 수 있다.
도 2는 본 발명의 일 실시에예 따른 도 1의 제1 이미지 센서의 구성을 보다 상세히 나타내는 블록도이다.
도 2를 참조하면, 제1 이미지 센서(100)는 픽셀 어레이(110), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(120), 로우 주사 회로(130), 컬럼 주사 회로(140), 제어부(150), 광원 모듈(170) 및 이미지 처리 장치(image signal processor; ISP, 300)을 포함한다.
픽셀 어레이(110)는 광원 모듈(200)에서 송신된 광(Tx)이 피사체(20)에서 반사되어 수신된 광(Rx)을 전기적인 신호로 변환하는 거리 픽셀(depth pixel)들을 포함한다. 상기 거리픽셀들은 흑백 영상 정보와 함께 3차원 이미지 센서인 제1 이미지 센서(100)로부터 피사체(20)의 거리에 대한 정보를 제공할 수 있다.
픽셀 어레이(110)는 컬러 영상 정보를 제공하는 컬러 픽셀들을 더 포함할 수 있다. 이 경우, 3차원 이미지 센서(100)는 상기 컬러 영상 정보 및 상기 거리 정보를 동시에 제공하는 3차원 컬러 이미지 센서일 수 있다. 일 실시예에서, 적외선(또는 근적외선) 필터가 상기 거리 픽셀들 상에 형성되고, 컬러 필터(예를 들어, 적색, 녹색 및 청색 필터들)가 상기 컬러 픽셀들 상에 형성될 수 있다. 실시예에 따라, 상기 거리 픽셀과 상기 컬러 픽셀의 개수 비는 변경될 수 있다.
ADC부(120)는 픽셀 어레이(110)로부터출력되는 아날로그 신호를 디지털 신호로 변환하여 제1 입력 이미지(LDI)를 제공한다.. 실시예에 따라, ADC부(120)는 각 컬럼 라인마다 연결된 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 병렬로 변환하는 컬럼 ADC를 수행하거나, 단일한 아날로그-디지털 변환기를 이용하여 상기 아날로그 신호들을 순차적으로 변환하는 단일 ADC를 수행할 수 있다.
실시예에 따라, ADC부(120)는 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부를 포함할 수 있다. 일 실시예에서, 상기 CDS부는 리셋 성분을 나타내는 아날로그 리셋 신호와 신호 성분을 나타내는 아날로그 데이터 신호의 차이에 기초하여 상기 유효 신호 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다. 다른 실시예에서, 상기 CDS부는 상기 아날로그 리셋 신호와 상기 아날로그 데이터 신호를 디지털 신호들로 각각 변환한 후 상기 유효 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다. 또 다른 실시예에서, 상기 CDS부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.
로우 주사 회로(130)는 제어부(150)로부터 제어 신호들을 수신하여 픽셀 어레이(110)의 로우 어드레스 및 로우 주사를 제어할 수 있다. 로우 주사 회로(130)는 로우 라인들 중에서 해당 로우 라인을 선택하기 위하여 해당 로우 라인을 활성화시키는 신호를 픽셀 어레이(110)에 인가할 수 있다. 일 실시예에서, 로우 주사 회로(130)는 픽셀 어레이(110) 내의 로우 라인을 선택하는 로우 디코더 및 선택된 로우 라인을 활성화시키는 신호를 공급하는 로우 드라이버를 포함할 수 있다.
컬럼 주사 회로(140)는 제어부(150)로부터 제어 신호들을 수신하여 픽셀 어레이(110)의 컬럼 어드레스 및 컬럼 주사를 제어할 수 있다. 컬럼 주사 회로(140)는 ADC부(120)에서 출력되는 제1 입력 이미지(LDI)를 이미지 처리 장치(300)로 제공할 수 있다. 예를 들어, 컬럼 주사 회로(140)는 수평 주사 제어 신호를 ADC부(120)에 출력함으로써, ADC부(120) 내의 복수의 아날로그-디지털 변환기들을 순차적으로 선택할 수 있다. 일 실시예에서, 컬럼 주사 회로(140)는 복수의 아날로그-디지털 변환기들 중 하나를 선택하는 컬럼 디코더 및 선택된 아날로그-디지털 변환기의 출력을 수평 전송선으로 유도하는 컬럼 드라이버를 포함할 수 있다. 한편, 상기 수평 전송선은 상기 디지털 출력 신호를 출력하기 위한 비트 폭을 가질 수 있다.
제어부(150)는 ADC부(120), 로우 주사 회로(130), 컬럼 주사 회로(140) 및 광원 모듈(170)을 제어할 수 있다. 제어부(150)는 ADC부(120), 로우 주사 회로(130), 컬럼 주사 회로(140) 및 광원 모듈(170)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 제어부(150)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.
광원 모듈(170)은 소정의 파장을 가진 광(예를 들어, 적외선 또는 근적외선)을 출력할 수 있다. 광원 모듈(170)은 광원(171) 및 렌즈(172)를 포함할 수 있다. 광원(171)은 제어부(150)에 의해 제어되어 세기가 주기적으로 변하는 광(TX)을 출력할 수 있다. 예를 들어, 광(TX)의 세기는 연속적인 펄스들을 가지는 펄스 파, 사인 파, 코사인 파 등과 같은 형태를 가지도록 제어될 수 있다. 광원(171)은 발광 다이오드(light emitting diode, LED), 레이저 다이오드 등으로 구현될 수 있다. 렌즈(172)는 광원(171)에서 출력된 광(Tx)의 확산각을 조절할 수 있다. 예를 들어, 광원(171)과 렌즈(172)의 간격이 제어부(150)에 의해 제어되어 광(Tx)의 확산각이 조절될 수 있다.
이하, 본 발명의 실시예들에 따른 제1 이미지 센서(100)의 동작을 설명한다.
제어부(150)는 주기적으로 변동하는 세기를 가지는 광(Tx)을 출력하도록 광원 모듈(170)을 제어할 수 있다. 광원 모듈(170)에서 조사광(Tx)은 피사체(160)에서 반사되고, 제1 수신 광(Rx1)으로서 상기 거리 픽셀들에 입사될 수 있다. 상기 거리 픽셀들은 로우 주사 회로(130)에 의해 활성화되어 제1 수신 광(Rx1)에 상응하는 아날로그 신호를 출력할 수 있다. ADC부(120)는 상기거리 픽셀들로부터 출력된 아날로그 신호를 디지털 데이터로 변환하여 제1 입력 이미지(LDI)를 이미지 처리 장치(300)에 제공할 수 있다. 제1 입력 이미지(LDI)는 이미지 처리 장치(300)에 의해 거리 정보로 변환될 수 있다. 실시예에 따라, 픽셀 어레이(110)는 컬러 픽셀들을 포함할 수 있고, 상기 이미지 처리 장치(300)에는 상기 거리 정보와 함께 컬러 영상 정보가 제공될 수 있다.
도 3은 도 1의 이미지 처리 시스템에서 조사된 광과 제1 수신 광을 나타내는 도면이다.
도 1 및 도 3을 참조하면, 광원 모듈(170)에서 조사광(Tx)은 주기적으로 변동하는 세기를 가질 수 있다. 예를 들어, 조사광(Tx)의 세기(즉, 단위 면적당 광자의 수)는 사인 파의 형태를 가질 수 있다.
광원 모듈(170)에서 조사광(Tx)은 피사체(20)에서 반사되어 제1 수신 광(Rx1)으로서 픽셀 어레이(110)에 입사된다. 픽셀 어레이(110)는 수신 광(Rx)을 주기적으로 샘플링할 수 있다. 실시예에 따라, 픽셀 어레이(110)는 제1 수신 광(Rx1)의 각 주기(즉, 조사광(Tx)의 주기)마다 180 도의 위상 차를 가지는 두 개의 샘플링 포인트들, 각각 90 도의 위상 차를 가지는 네 개의 샘플링 포인트들, 또는 그 이상의 샘플링 포인트들에서 수신 광(Rx)을 샘플링할 수 있다. 예를 들어, 픽셀 어레이(110)는 매 주기 마다 조사광(Tx)의 0도, 90 도, 180도 및 270도의 위상들에서 제1 수신 광(Rx1)의 샘플들(A0, A1, A2, A3)을 추출할 수 있다.
제1 수신 광(Rx1)은 추가적인 배경 광, 노이즈 등에 의해 광원 모듈(170)에서 조사광(Tx)의 오프셋과 다른 오프셋(B)을 가질 수 있다. 제1 수신 광(Rx1)의 오프셋(B)은 [수학식 1]과 같이 계산될 수 있다.
[수학식 1]
Figure pat00024
여기서, A0는 조사광(Tx)의 0 도의 위상에서 샘플링된 제1 수신 광(Rx1)의 세기를 나타내고, A1은 조사광(Tx)의 90 도의 위상에서 샘플링된 제1 수신 광(Rx1)의 세기를 나타내고, A2는 조사광(Tx)의 180 도의 위상에서 샘플링된 제1 수신 광(Rx1)의 세기를 나타내고, A3는 조사광(Tx)의 270 도의 위상에서 샘플링된 제1 수신 광(Rx1)의 세기를 나타낸다.
수신 광(Rx1)은 광 손실에 의해 광원 모듈(170)에서 조사광(Tx)의 진폭(amplitude)보다 작은 진폭(A)을 가질 수 있다. 제1 수신 광(Rx1)의 진폭(A)은 [수학식 2]와 같이 계산될 수 있다.
[수학식 2]
Figure pat00025
픽셀 어레이(110)에 포함된 거리 픽셀들 각각에 대한 제1 수신 광(Rx1)의 진폭(A)에 기초하여 피사체(20)에 대한 흑백 영상 정보가 제공될 수 있다.
제1 수신 광(Rx1)은 조사광(Tx)에 대하여 제1 이미지 센서(100)로부터 피사체(20)의 거리의 두 배에 상응하는 위상 차(Φ)만큼 지연된다. 조사광(Tx)에 대한 제1 수신 광(RX)의 위상 차(Φ)는 [수학식 3]과 같이 계산될 수 있다.
[수학식 3]
Figure pat00026
조사광(Tx)에 대한 제1 수신 광(Rx1)의 위상 차(Φ)는 광의 비행 시간(Time-Of-Flight; TOF)에 상응한다. 3차원 이미지 센서인 제1 이미지 센서(100)로부터 피사체(20)의 거리는 수학식 "R = c * TOF / 2"(여기서, R은 피사체(20)의 거리를 나타내고, c는 빛의 속도를 나타낸다)을 이용하여 계산될 수 있다. 또한, 3차원 이미지 센서(100)로부터 피사체(20)의 거리는 제1 수신 광(Rx1)의 위상 차(Φ)를 이용하여 [수학식4]와 같이 계산될 수 있다.
[수학식 4]
Figure pat00027
여기서, f는 변조 주파수, 즉 조사광(Tx)(또는 제1 수신 광(Rx1))의 주파수를 나타낸다.
여기서, 진폭(A)과 오프셋(B)은 깊이 정보의 정확성(precision)과 관련된다.
깊이 정확성(depth precision)은 [수학식 5]와 같이 계산될 수 있다.
[수학식 5]
Figure pat00028
여기서 L(L= c/2f)은 피사체까지의 거리를 나타낸다.
[수학식 5]에 의하면 오프셋(B)이 너무 작으면 진폭(A)은 커질수가 없고, 오프셋(B)이 너무 크면 픽셀은 주변의 빛에 의하여 새츄레이션된다.
상술한 바와 같이, 본 발명의 실시예들에 따른 제1 이미지 센서(100)는 광원 모듈(170)에서 조사광(Tx)을 이용하여 피사체(20)에 대한 거리 정보, 제1 수신광(Rx1)의 오프셋(B), 진폭(A) 및 조사광(Tx)에 대한 제1 수신 광(RX)의 위상 차(Φ) 등을 구할 수 있다. 도 3에는 사인 파의 형태를 가지도록 변조된 광(Tx)을 이용한 예가 도시되어 있으나, 실시예에 따라, 제1 이미지 센서(100)는 다양한 형태의 변조된 광(Tx)을 이용할 수 있다. 또한, 3차원 이미지 센서(100)는 광(Tx)의 세기의 파형, 거리 픽셀의 구조 등에 따라 다양한 방식으로 제1 수신광(Rx1)에 대한 정보를 추출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 도 1의 이미지 처리 장치의 구성을 나타내는 블록도이다.
도 4를 참조하면, 이미지 처리 장치(300)는 연산부(310), 재구성부(320) 및 신뢰도 맵 추정부(330)를 포함할 수 있다.
연산부(310)는 제1 해상도를 갖는 제1 입력 이미지(LDI)를 기초로 제1 이미지 센서(100)에서 피사체(20)까지의 거리 정보, 제1 수신광(Rx1)의 오프셋(B), 진폭(A) 및 조사광(Tx)에 대한 제1 수신 광(RX)의 위상 차(Φ) 등을 구할 수 있다. 재구성부(320)는 조사광(Tx)에 대한 제1 수신 광(Rx1)의 위상 차(Φ), 진폭(A) 및 오프셋(B)에 기초하여 제1 수신광(Rx1)을 재구성하고 재구성된 제1 수신광에 대하여 이상적인 샘플링 포인트들을 산출한다. 재구성부(320)는 제1 수신 광(Rx1)의 샘플링 포인트들에서의 세기와 재구성된 제1 수신광의 이상적인 샘플링 포인트들에서의 세기의 차이인 재구성 에러(RE)를 산출한다.
이상적인 샘플링 포인트들을 각각에서의 재구성된 수신광의 세기를 각각 A0', A1' A2', A3'라고하면, A0'=B+A/2cosΦ, A1'=B-A/2sinΦ, A2'=B-A/2cosΦ, A3'=B+A/2sinΦ를 만족하고, 재구성 에러(RE)는 다음의 [수학식6]에 의하여 구할 수 있다.
[수학식6]
Figure pat00029
신뢰도 맵 추정부(330)는 진폭(A), 오프셋(B) 및 재구성 에러(R)에 기초하여 제1 입력 이미지(LDI)에 대한 신뢰도 맵(CM)을 추정한다. 추정된 신뢰도 맵(CM)은 업샘플링부(350)로 제공된다.
도 4에서는 업샘플링부(350)가 이미지 처리 장치(300) 외부에 위치하는 것으로 포함되었으나 다른 실시예에서는 업샘플링부(350)가 이미지 처리 장치(300)에 포함될 수도 있다. 이 경우에 이미지 처리 장치(300)는 연산부(310), 재구성부(320), 신뢰도 맵 추정부(330) 및 업샘플링부(350)를 포함하여 구성되고, 이미지 처리 장치(300)는 출력 이미지(HDI)를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 제1 입력 이미지 또는 제2 입력 이미지를 나타낸다.
도 5에서 p는 중심 픽셀을 나타내고 q는 p 주위의 주변 픽셀들을 나타낸다. 여기서 주변 픽셀들(q)의 영역을 Ω로 나타낼 수 있다.
진폭(A)은 다음의 [수학식7]를 이용하여 정규화될 수 있다.
[수학식7]
Figure pat00030
오프셋(B)은 다음의 [수학식8]을 이용하여 정규화될 수 있다.
[수학식8]
Figure pat00031
재구성 에러(R)는 다음의 [수학식9]을 이용하여 정규화될 수 있다.
[수학식9]
Figure pat00032
여기서, RE은 영역(Ω)에 대한 재구성 에러를 나타낸다.
그러면 영역(Ω)에 대한 신뢰도 맵은 다음의 [수학식10]을 이용하여 구할 수 있다.
[수학식10]
Figure pat00033
여기서, wA, wB 및 wC는 각각의 웨이트이다.
영역(Ω)이 n× n의 픽셀을 포함하고 있다면, 진폭(A), 오프셋(B) 및 재구성 에러(R)는 각각 n× n 행렬로 구성될 수 있다.
도 6a 내지 도 6c는 각각 진폭, 오프셋 및 재구성 에러에 대한 트랜스퍼 방정식을 나타내는 도면이다.
도 6a는 [수학식7]을 나타내는 것으로 τ1은 중앙값을 나타내고, [수학식7]에서 ε1은 도 6a에서의 그래프의 기울기를 결정하는 값이다.
도 6b는 [수학식8]을 나타내는 것으로 τ2은 중앙값을 나타내고, [수학식8]에서 ε2은 도 6b에서의 그래프의 기울기를 결정하는 값이다.
도 6c는 [수학식9]을 나타내는 것으로 [수학식9]에서 ε3은 도 6c에서의 그래프의 기울기를 결정하는 값이다.
즉, [수학식7], [수학식8] 및 [수학식9]은 각각 진폭(A), 오프셋(B) 및 재구성 에러(R)에 대한 신뢰도를 나타낸다.
[수학식10]에 의한 영역(Ω)에서의 신뢰도 맵의 평균은 [수학식11]에 의하여 구할 수 있다.
[수학식11]
Figure pat00034
여기서, 신뢰도 맵의 평균(
Figure pat00035
)의 값이 작다는 것은 픽셀(p)의 깊이 값이 불확실하는 것을 의미한다. 신뢰도 맵의 평균(
Figure pat00036
)의 값이 큰 경우에는 국부적 깊이 변이요인을 결정하기 위하여 분산이 [수학식12]에 의하여 계산된다.
[수학식12]
Figure pat00037
분산(
Figure pat00038
) 값이 매우 작다는 것은 픽셀(p)의 깊이 값이 확실하다는 것을 의미한다. 분산(
Figure pat00039
) 값이 매우 크다는 것은 픽셀(p)이 피사체의 경계에 위치한다는 것을 의미한다. 분산(
Figure pat00040
) 값이 제1 기준 값(
Figure pat00041
)과 제2 기준 값(
Figure pat00042
) 사이인 경우에는 영역(Ω)에 잘못된 깊이 데이터가 있다는 것을 의미한다. 잘못된 깊이 데이터는 반사도가 낮은 텍스쳐(texture)에서 유래되는 것이고, 따라서 깊이 변이요인이 된다. 이러한 깊이 변이 요인(depth artifact)을 감소시키기 위하여 분산(
Figure pat00043
) 값에 따라 적응적으로 [수학식12]에 의하여 제1 입력 이미지(LDI)의 주변 픽셀들을 업샘플링하여 제1 입력 이미지(LDI)의 해상도를 높일 수 있다.
[수학식13]
Figure pat00044
여기서
Figure pat00045
는 [수학식14]을 만족한다.
[수학식14]
Figure pat00046
[수학식14]에서
Figure pat00047
의 값은 분산(
Figure pat00048
) 값에 따라 달라지는 것을 알수 있다. 따라서 [수학식13]도 분산(
Figure pat00049
) 값에 따라 달라진다. 즉 본발명의 실시예에서는 주변 픽셀(q)의 반사도와 픽셀(p)의 위치를 픽셀(p)의 해상도를 높이는 것을 알 수 있다.
도 7은 도 1의 제2 이미지 센서에서 제공되는 제2 입력 이미지를 나타낸다.
도 8은 도 1의 제1 이미지 센서에서 제공되는 제1 입력 이미지를 나타낸다.
도 7 및 도 8을 참조하면, 제2 이미지 센서(200)에서는 피사체(20)에 대한 제2 해상도의 2차원 컬러 이미지를 제공하고, 제1 이미지 센서(100)에서는 제1 해상도의 3차원 깊이 이미지를 제공함을 알 수 있다. 또한 제1 입력 이미지(LDI)의 해상도가 제2 입력 이미지(HCI)의 해상도보다 낮음을 알 수 있다. 또한 [수학식3]에 의하여 계산되는 도 8의 깊이 데이터에는 노이즈가 매우 많음을 알 수 있다.
도 9a 내지 도 9d는 제1 입력 이미지가 샘플링 포인트들에서 샘플링된 경우를 나타낸다.
도 9a 내지 도 9d를 참조하면, 도 3에서와 같이 조사광(Tx)의 0 도, 90 도, 180도 및 270도의 위상들에서 제1 수신 광(Rx1)의 샘플들(A0, A1, A2, A3)을 추출하는 경우, 제1 입력 이미지가(LDI)가 각각 도 9a 내지 도 9d와 같이 나타남을 알 수 있다.
도 10은 본 발명의 실시예에 따른 피사체에 대한 신뢰도 맵을 나타낸다.
도 11은 본 발명의 실시예에 따른 피사체에 대한 출력 이미지를 나타낸다.
도 12a 및 도 12b는 본 발명과 비교하기 위한 다른 방법들에 의한 피사체에 대한 출력 이미지를 나타낸다.
도 4에서 신뢰도 맵 추정부(330)가 진폭(A), 오프셋(B) 및 재구성 에러(RE)에 기초하여 피사체에 대한 신뢰도 맵(CM)을 도 10와 같이 추정하고, 업샘플링부(350)에서는 신뢰도 맵(CM)을 참조하고 [수학식13]를 이용하여 제1 입력 이미지(LDI)의 위상차(Φ)의 깊이 데이터에 대하여 적응적으로 결합 양방향 업샘플링을 수행하여 제2 해상도를 갖는 출력 이미지(HDI)를 제공한다.
도 11을 참조하면, 본 발명의 실시예에 따를 경우, 깊이 데이터의 해상도를 컬러 데이터의 해상도로 높일 수 있고, 노이즈를 제거하며, 피사체의 경계부분이 향상되는 것을 알 수 있다.
도 12a는 [수학식15]에 의하여 업샘플링이 수행된 후의 이미지를 나타낸다.
[수학식15]
Figure pat00050
도 12a를 참조하면, [수학식15]에 의한 업샘플링에서는 컬러 이미지의 동일한 거리에 있는 피사체의 텍스쳐를 카피하여 깊이 변이 요인을 발생시키게 된다.
도 12b는 [수학식16]에 의하여 업샘플링이 수행된 후의 이미지를 나타낸다.
[수학식16]
Figure pat00051
[수학식16]에 의한 업샘플링 방법에서는 고해상도 컬러 이미지와 저해상도 깊이 맵에서 레인지 도메인을 적응적으로 선택하여 [수학식15]에 의한 피사체의 텍스쳐를 카피하는 것을 방지한다. 하지만 [수학식16]깊이 맵의 레인지 도메인만을 사용하기 때문에 동일한 거리에 있는 피사체의 표면의 물질에 따른 반사도 차이를 반영하지 못한다. 즉 [수학식16]에 의한 방법에서는 반사도 차이가 에지로 인식된다.
도 11, 도 12a 및 도 12b는 도 7과 동일한 해상도, 즉 제2 해상도를 갖는다.
도 13은 본 발명의 일 실시예에 따른 이미지 처리 방법을 나타내는 흐름도이다.
이하 도 1, 도 4 및 도 13을 참조하여 본 발명의 실시예에 따른 이미지 처리 방법을 보다 상세히 설명한다.
본 발명의 실시예에 따른 이미지 처리 방법에서는 제1 이미지 센서(100)를 이용하여 피사체(20)에 광을 조사하고 수신광(Rx1)에 기초하여 제1 해상도를 갖는 제1 입력 이미지(LDI)를 제공한다(S110). 여기서 제1 이미지 센서(100)는 3차원 ToF(time-of-flight) 이미지 센서일 수 있고, 따라서 제1 입력 이미지(LDI)는 3차원 깊이 이미지일 수 있다. 다음에 제2 이미지 센서(200)를 이용하여 제1 해상도보다 높은 제2 해상도를 갖는 제2 입력 이미지(HCI)를 제공한다(S120). 여기서 제2 이미지 센서(200)는 2차원 컬러 이미지 센서일 수 있고, 따라서 제2 입력 이미지(HCI)는 2차원 컬러 이미지일 수 있다. 다음에 제1 입력 이미지(LDI)에 대한 신뢰도 맵(CM)과 제2 입력 이미지(HCI)에 기초하여 적응적으로 결합 양방향 업 샘플링을 수행하여 제2 해상도를 갖는 출력 이미지(HDI)를 제공한다(S130). 여기서 출력 이미지(HDI)를 제공하기 위하여 조사광(Tx)의 한 주기 동안에 반사광(Rx1)을 동일한 위상 간격에서 복수번 샘플링하여 반사광(Rx1)에 대한 진폭(A)과 오프셋(B)을 구한다. 조사광(Tx)과 반사광(Rx1)의 위상차(Φ)에 기초하여 수신광(Rx1)을 재구성하고, 재구성된 수신광과 수신광 각각의 복수의 샘플링 포인트들에서 수신광의 세기와 재구성된 수신광의 세기의 차이인 재구성 에러(RE)를 산출한다. 진폭(A), 오프셋(B) 및 재구성 에러(RE)에 기초하여 제1 입력 이미지(LDI)에 대한 신뢰도 맵(CM)을 추정한다. 다음에 신뢰도 맵(CM)에 기초하여 업샘플링을 수행한다. 여기서 업샘플링은 [수학식13]을 이용하여 수행될 수 있다.
도 14는 본 발명의 이미지 처리 시스템을 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 14를 참조하면, 컴퓨팅 시스템(400)은 버스(460)를 통하여 서로 연결되는 제1 이미지 센서(100), 제2 이미지 센서(200), 업샘플링부(350), 프로세서(410), 메모리 장치(420), 저장 장치(430), 입출력 장치(440) 및 파워 서플라이(450)를 포함할 수 있다. 한편, 도 14에는 도시되지 않았지만, 컴퓨팅 시스템(400)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(410)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(410)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(410)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(420), 저장 장치(430) 및 입출력 장치(440)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(410)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(420)는 컴퓨팅 시스템(400)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(420)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 저장 장치(430)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(440)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(450)는 컴퓨팅 시스템(400)의 동작에 필요한 동작 전압을 공급할 수 있다.
제1 이미지 센서(100)와 제2 이미지 센서(200)는 버스(460) 또는 다른 통신 링크를 통해서 프로세서(410) 또는 업샘플링부(350)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 제1 이미지 센서(100)는 피사체에 대한 제1 해상도를 갖는 제1 입력 이미지를 기초로 신뢰도 맵을 제공하고, 제2 이미지 센서(200)는 피사체에 대한 제2 해상도를 갖는 제2 입력 이미지를 제공하고, 업샘플링부(350)는 신뢰도 맵를 기초로 제1 입력 이미지의 위상차의 깊이 데이터에 대한 업샘플링을 수행하여 제1 이미지의 해상도를 제2 해상도로 높일 수 있다. 업샘플링부(350)의 기능은 프로세서(410)에 통합되어 구현될 수 있다.
제1 이미지 센서(100), 제2 이미지 센서(200) 및 이미지 처리 장치(300)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 제1 이미지 센서(100), 제2 이미지 센서(200) 및 이미지 처리 장치(300)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.
한편, 컴퓨팅 시스템(400)은 제1 이미지 센서(100), 제2 이미지 센서(200) 및 업샘플링부(350)를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(400)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
도 15는 도 14의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 15를 참조하면, 컴퓨팅 시스템(500)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(510), 이미지 센서 모듈(540) 및 디스플레이(550) 등을 포함할 수 있다. 이미지 센서 모듈(540)은 도 14에서 제1 이미지 센서(100), 제2 이미지 센서(200) 및 업샘플링부(350)를 포함한다. 어플리케이션 프로세서(510)의 CSI 호스트(512)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서 모듈(540)의 CSI 장치(541)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(512)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(541)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(510)의 DSI 호스트(511)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(550)의 DSI 장치(551)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, DSI 호스트(511)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(551)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(500)은 어플리케이션 프로세서(510)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(560)을 더 포함할 수 있다. 컴퓨팅 시스템(500)의 PHY(513)와 RF 칩(560)의 PHY(561)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(510)는 PHY(561)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(514)를 더 포함할 수 있다. 한편, 컴퓨팅 시스템(500)은 지피에스(Global Positioning System; GPS)(520), 스토리지(570), 마이크(580), 디램(Dynamic Random Access Memory; DRAM)(585) 및 스피커(590)를 포함할 수 있다. 또한, 컴퓨팅 시스템(500)은 초광대역(Ultra WideBand; UWB)(610), 무선 랜(Wireless Local Area Network; WLAN)(620) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(630) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(500)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
본 발명의 실시예들에 따르면, 동일한 거리 상의 피사체의 표면의 물질의 반사도에 따라 적응적으로 저해상도의 깊이 데이터를 샘플링하여 경계영역의 이미지를 향상시킨 고해상도를 갖는 추력 이미지를 제공할 수 있다.
본 발명의 실시예들은 3차원으로 이미지를 처리하는 다양한 분야에 적용될 수 있다.
상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 조사광에 의하여 피사체로부터 반사된 제1 수신광에 기초하여 상기 조사광과 상기 제1 수신광의 위상차, 상기 제1 수신광의 강도를 나타내는 진폭, 상기 제1 수신광의 오프셋을 계산하는 연산부;
    상기 위상차에 기초하여 상기 제1 수신광을 재구성하고, 상기 재구성된 제1 수신광과 상기 반사된 제1 수신광 각각의 복수의 샘플링 포인트들에서 상기 제1 수신광의 세기와 상기 재구성된 제2 수신광의 세기의 차이인 재구성 에러를 제공하는 재구성부; 및
    상기 진폭과 상기 오프셋 및 상기 재구성 에러에 기초하여 상기 제1 수신광에 기초하여 생성되는 제1 해상도를 갖는 제1 입력 이미지에 대한 신뢰도 맵을 추정하는 신뢰도 맵 추정부; 및
    상기 신뢰도 맵에 기초하여 상기 제1 입력 이미지와 상기 피사체에 대한 제2 입력 이미지를 이용하여 상기 위상차에 대하여 적응적으로 결합 양방향 업샘플링을 수행하여 상기 제2 입력 이미지와 동일한 해상도를 갖는 출력 이미지를 제공하는 업샘플링부를 포함하는 이미지 처리 시스템.
  2. 제1항에 있어서, 상기 제2 입력 이미지는 상기 제1 해상도보다 높은 제2 해상도를 갖고,
    상기 제1 입력 이미지는 상기 피사체에 대한 3차원 깊이(depth) 이미지이고, 상기 제2 입력 이미지는 상기 피사체에 대한 2차원 컬러 이미지이고, 상기 출력 이미지는 상기 피사체에 대한 3차원 깊이 이미지인 것을 특징으로 하는 이미지 처리 시스템.
  3. 제1항에 있어서, 상기 업샘플링부는 다음의 [수학식 1]을 이용하여 업샘플링을 수행하는 것을 특징으로 하는 이미지 처리 시스템.
    [수학식 1]
    Figure pat00052

    여기서,
    Figure pat00053
    는 제2 입력 이미지의 중심 픽셀(p)의 강도,
    Figure pat00054
    는 제2 입력 이미지의 중심 픽셀(p)의 주변 픽셀(q)의 강도, Ω는 q가 위치하는 영역,
    Figure pat00055
    와
    Figure pat00056
    는 각각 p와 q에 상응하는 제1 입력 이미지의 픽셀,
    Figure pat00057
    는 제1 입력 이미지에서의 픽셀(
    Figure pat00058
    )의 깊이 값,
    Figure pat00059
    는 출력 이미지에서 픽셀(p)의 깊이 값, f는 공간적 필터 커널, g와 h는 레인지 필터 커널,
    Figure pat00060
    는 블렌딩 함수,
    Figure pat00061
    는 노멀라이징 팩터이고,
    Figure pat00062
    는 다음의 [수학식 2]을 만족하고,
    [수학식 2]
    Figure pat00063

    여기서,
    Figure pat00064
    이고
    Figure pat00065
    이며,
    Figure pat00066
    는 상기 신뢰도 맵을 나타냄.
  4. 제3항에 있어서, 상기
    Figure pat00067
    는 다음의 [수학식 3]을 만족하는 것을 특징으로 하는 이미지 처리 시스템.
    [수학식 3]
    Figure pat00068

    여기서
    Figure pat00069
    ,
    Figure pat00070
    이고
    Figure pat00071
    를 만족함.
  5. 제3항에 있어서, 상기 f, g 및 h는 각각 가우스 함수인 것을 특징으로 하는 이미지 처리 시스템.
  6. 제3항에 있어서, 상기
    Figure pat00072
    는 다음의 [수학식 4]을 만족하는 것을 특징으로 하는 이미지 처리 시스템.
    [수학식 4]
    Figure pat00073

    여기서,
    Figure pat00074
    는 주변 영역에서의 측정된 깊이 값의 최대값과 최소값의 차이를 나타냄.
  7. 제1항에 있어서, 상기 업샘플링부는 상기 피사체를 구성하는 각 픽셀의 반사도를 고려하여 상기 업샘플링을 수행하는 것을 특징으로 하는 이미지 처리 시스템.
  8. 제1 이미지 센서를 이용하여 피사체에 광을 조사하고 수신광에 기초하여 제1 해상도를 갖는 제1 입력 이미지를 제공하는 단계;
    제2 이미지 센서를 이용하여 상기 제1 해상도보다 높은 제2 해상도를 갖는 제2 입력 이미지를 제공하는 단계; 및
    상기 제1 입력 이미지에 대한 신뢰도 맵과 상기 제2 입력 이미지에 기초하여 상기 제1 입력 이미지에 대하여 적응적으로 결합 양방향 업샘플링을 수행하여 상기 제2 해상도를 갖는 출력 이미지를 제공하는 단계를 포함하는 이미지 처리 방법.
  9. 제8항에 있어서, 상기 출력 이미지를 제공하는 단계는,
    상기 조사광의 한 주기 동안에 상기 수신광을 동일한 위상 간격에서 복수번 샘플링하여 상기 반사광에 대한 진폭과 오프셋을 구하는 단계;
    상기 조사광과 상기 반사광의 위상차에 기초하여 상기 수신광을 재구성하고, 상기 재구성된 수신광과 상기 수신광 각각의 복수의 샘플링 포인트들에서 상기 수신광의 세기와 상기 재구성된 수신광의 세기의 차이인 재구성 에러를 제공 재구성 에러를 산출하는 단계;
    상기 진폭, 상기 오프셋 및 상기 재구성 에러에 기초하여 상기 제1 입력 이미지에 대한 신뢰도 맵을 추정하는 단계; 및
    상기 신뢰도 맵에 기초하여 상기 업샘플링을 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  10. 제8항에 있어서, 상기 조사광은 적외선 또는 근적외선인 것을 특징으로 하는 이미지 처리 방법.
KR1020100137537A 2010-12-29 2010-12-29 이미지 처리 시스템 및 이미지 처리 방법 KR101887099B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100137537A KR101887099B1 (ko) 2010-12-29 2010-12-29 이미지 처리 시스템 및 이미지 처리 방법
US13/337,724 US8953021B2 (en) 2010-12-29 2011-12-27 Image processing systems for increasing resolution of three-dimensional depth data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100137537A KR101887099B1 (ko) 2010-12-29 2010-12-29 이미지 처리 시스템 및 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20120075739A true KR20120075739A (ko) 2012-07-09
KR101887099B1 KR101887099B1 (ko) 2018-08-09

Family

ID=46380419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100137537A KR101887099B1 (ko) 2010-12-29 2010-12-29 이미지 처리 시스템 및 이미지 처리 방법

Country Status (2)

Country Link
US (1) US8953021B2 (ko)
KR (1) KR101887099B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140054865A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
WO2014081107A1 (ko) * 2012-11-23 2014-05-30 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
KR20160045911A (ko) * 2013-09-05 2016-04-27 이베이 인크. 단일 이미지로부터 깊이를 추정하기
US11454723B2 (en) 2016-10-21 2022-09-27 Sony Semiconductor Solutions Corporation Distance measuring device and distance measuring device control method

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP2014073143A (ja) * 2012-10-02 2014-04-24 Canon Inc 内視鏡システム
KR101904720B1 (ko) * 2012-12-28 2018-10-05 삼성전자주식회사 영상 처리 장치 및 방법
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US9076236B2 (en) 2013-09-12 2015-07-07 At&T Intellectual Property I, L.P. Guided image upsampling using bitmap tracing
KR102101864B1 (ko) * 2014-01-29 2020-04-20 엘지이노텍 주식회사 깊이 정보 추출 장치
US9805454B2 (en) * 2014-07-15 2017-10-31 Microsoft Technology Licensing, Llc Wide field-of-view depth imaging
CN104202533B (zh) * 2014-09-24 2019-05-21 中磊电子（苏州）有限公司 移动检测装置及移动检测方法
KR102248404B1 (ko) 2014-11-17 2021-05-07 삼성전자주식회사 움직임 분석 방법 및 움직임 분석 장치
US10679326B2 (en) * 2015-11-24 2020-06-09 Canon Kabushiki Kaisha Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data
US10929994B2 (en) * 2016-12-07 2021-02-23 Electronics And Telecommunications Research Institute Image processing device configured to generate depth map and method of operating the same
US10425629B2 (en) * 2017-06-28 2019-09-24 Siemens Healthcare Gmbh System for dense registration of two-dimensional depth images
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
US11562582B2 (en) * 2018-12-03 2023-01-24 Ams International Ag Three dimensional imaging with intensity information
US11544873B2 (en) * 2019-03-05 2023-01-03 Artilux, Inc. High resolution 3D image processing apparatus and method thereof
CN110087057B (zh) * 2019-03-11 2021-10-12 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
JP7312026B2 (ja) * 2019-06-12 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100011676A (ko) * 2008-07-25 2010-02-03 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
KR20100081196A (ko) * 2009-01-05 2010-07-14 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR20110049383A (ko) * 2009-11-05 2011-05-12 삼성전자주식회사 영상 처리 장치 및 방법
KR20120059020A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 컬러 이미지와 깊이 이미지를 동시에 얻을 수 있는 이미지 센서, 이미지 센서의 동작 방법 및 이미지 센서를 포함하는 이미지 처리 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5746210A (en) * 1993-02-26 1998-05-05 David A. Benaron Device and method for detection, localization, and characterization of inhomogeneities in turbid media
JP4030482B2 (ja) * 2003-08-18 2008-01-09 シャープ株式会社 Ｉ／ｑ復調回路
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
JP5295511B2 (ja) * 2007-03-23 2013-09-18 富士フイルム株式会社 測距装置及び測距方法
US7586077B2 (en) * 2007-07-18 2009-09-08 Mesa Imaging Ag Reference pixel array with varying sensitivities for time of flight (TOF) sensor
FR2919943B1 (fr) 2007-08-07 2010-02-26 Dxo Labs Procede de traitement d'objet numerique et systeme associe
JP2009100373A (ja) 2007-10-18 2009-05-07 Sanyo Electric Co Ltd ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
KR101565969B1 (ko) * 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
US10198792B2 (en) * 2009-10-14 2019-02-05 Dolby Laboratories Licensing Corporation Method and devices for depth map processing
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US20120095575A1 (en) * 2010-10-14 2012-04-19 Cedes Safety & Automation Ag Time of flight (tof) human machine interface (hmi)
US10571571B2 (en) * 2010-11-12 2020-02-25 Texas Instruments Incorporated Method and apparatus for controlling time of flight confidence map based depth noise and depth coverage range

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100011676A (ko) * 2008-07-25 2010-02-03 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
KR20100081196A (ko) * 2009-01-05 2010-07-14 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR20110049383A (ko) * 2009-11-05 2011-05-12 삼성전자주식회사 영상 처리 장치 및 방법
KR20120059020A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 컬러 이미지와 깊이 이미지를 동시에 얻을 수 있는 이미지 센서, 이미지 센서의 동작 방법 및 이미지 센서를 포함하는 이미지 처리 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140054865A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
WO2014081107A1 (ko) * 2012-11-23 2014-05-30 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
US9906774B2 (en) 2012-11-23 2018-02-27 Lg Electronics Inc. Method and apparatus for obtaining 3D image
KR20160045911A (ko) * 2013-09-05 2016-04-27 이베이 인크. 단일 이미지로부터 깊이를 추정하기
US10255686B2 (en) 2013-09-05 2019-04-09 Ebay Inc. Estimating depth from a single image
US11454723B2 (en) 2016-10-21 2022-09-27 Sony Semiconductor Solutions Corporation Distance measuring device and distance measuring device control method

Also Published As

Publication number Publication date
US20120169848A1 (en) 2012-07-05
US8953021B2 (en) 2015-02-10
KR101887099B1 (ko) 2018-08-09

Similar Documents

Publication Publication Date Title
KR101887099B1 (ko) 이미지 처리 시스템 및 이미지 처리 방법
KR101694797B1 (ko) 3차원 이미지 센서의 구동 방법
US20130229491A1 (en) Method of operating a three-dimensional image sensor
CN105026955B (zh) 用于对来自距离感应相机的数据进行降噪的方法和装置
KR20130098042A (ko) 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치
US10186045B2 (en) Methods of and apparatuses for recognizing motion of objects, and associated systems
KR20120111013A (ko) 3차원 이미지 센서 및 이를 이용한 거리 측정 방법
US20140232591A1 (en) System and Method for Multiple Spotlight Synthetic Radar Imaging Using Random Beam Steering
KR20120084216A (ko) 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
KR20120138304A (ko) 깊이 이미지 신호 처리 방법, 이를 이용한 깊이 센서 및 이를 포함한 이미지 센싱 시스템
CN107278272B (zh) 时空压缩飞行时间成像技术
KR102003322B1 (ko) 3차원 이미지 센서의 거리 픽셀의 구동 방법 및 3차원 이미지 센서의 구동 방법
US11789133B2 (en) Time-of-flight sensor and method of calibrating errors in the same
US11016183B2 (en) Real time LiDAR signal processing FPGA modules
US11611695B2 (en) Imaging device and electronic device including the same
KR20120111092A (ko) 촬상 장치
Chen et al. A configurable and real-time multi-frequency 3D image signal processor for indirect time-of-flight sensors
JP6892603B2 (ja) 距離計測装置、距離計測方法および距離計測プログラム
Liu et al. Sparsity-driven distributed array imaging
US11849223B2 (en) Time of flight camera data processing system
WO2018070183A1 (en) Time-of-flight sensor, system for determining model of scene including one or several objects, and method for time-of-flight sensing
KR20120110614A (ko) 3차원 이미지 센서
CN112017113A (zh) 图像处理方法及装置、模型训练方法及装置、设备及介质
KR20120128224A (ko) 3차원 이미지 센서의 구동 방법
KR20220145237A (ko) 비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right