KR102299575B1 - 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치 - Google Patents

위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치 Download PDF

Info

Publication number
KR102299575B1
KR102299575B1 KR1020150032452A KR20150032452A KR102299575B1 KR 102299575 B1 KR102299575 B1 KR 102299575B1 KR 1020150032452 A KR1020150032452 A KR 1020150032452A KR 20150032452 A KR20150032452 A KR 20150032452A KR 102299575 B1 KR102299575 B1 KR 102299575B1
Authority
KR
South Korea
Prior art keywords
phase
phase detection
window
cpu
detection pixel
Prior art date
Application number
KR1020150032452A
Other languages
English (en)
Other versions
KR20160108955A (ko
Inventor
김동훈
조주현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150032452A priority Critical patent/KR102299575B1/ko
Priority to US15/063,109 priority patent/US9824417B2/en
Publication of KR20160108955A publication Critical patent/KR20160108955A/ko
Application granted granted Critical
Publication of KR102299575B1 publication Critical patent/KR102299575B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

CPU를 포함하는 이미지 신호 프로세서가 개시된다. 상기 CPU는 위상 검출 픽셀들의 위치 정보와 이미지 데이터를 이미징 장치로부터 수신하고, 상기 위상 검출 픽셀들의 위치 정보를 이용하여 상기 이미지 데이터로부터 제1위상 검출 픽셀 데이터와 제2위상 검출 픽셀 데이터를 추출하고, 제1윈도우를 이동시켜가면서 상기 제1위상 검출 픽셀 데이터로부터 제1위상 그래프들을 계산하고, 제2윈도우를 이동시켜가면서 상기 제2위상 검출 픽셀 데이터로부터 제2위상 그래프들을 계산하고, 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 상기 위상 검출 픽셀들에 대한 디스패리티들을 계산하고, 상기 디스패리티들을 이용하여 깊이 맵을 생성한다.

Description

위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치{IMAGE SIGNAL PROCESSOR FOR GENERATING DEPTH MAP FROM PHASE DETECTION PIXELS, AND DEVICE HAVING SAME}
본 발명의 개념에 따른 실시 예는 깊이 맵 생성 장치에 관한 것으로, 특히 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와, 이를 포함하는 장치에 관한 것이다.
PAF는 위상 검출 자동 초점(phase detection auto focus) 또는 위상 차이 자동 초점(phase difference auto focus)을 의미할 수도 있다.
3차원 컴퓨터 그래픽스에서, 깊이 맵(depth map)은 시각(viewpoint)으로부터 장면 물체들(scene objects)의 표면들의 거리에 관련된 정보를 포함하는 이미지를 의미할 수 있다.
깊이 맵을 생성하기 위해, 종래에는 두 개의 카메라들을 이용하거나 위상 차이 검출용 픽셀들을 이용했다. 종래의 위상 차이 검출용 픽셀은 포토다이오드의 일부분을 금속 등으로 가려서(shield), 좌우의 영상 또는 상하의 영상을 확보할 수 있었다.
본 발명이 이루고자 하는 기술적인 과제는 부가적인 장치 없이 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 CPU를 포함하는 이미지 신호 프로세서에서, 상기 CPU는 위상 검출 픽셀들의 위치 정보와 이미지 데이터를 이미징 장치로부터 수신하고, 상기 위상 검출 픽셀들의 위치 정보를 이용하여 상기 이미지 데이터로부터 제1위상 검출 픽셀 데이터와 제2위상 검출 픽셀 데이터를 추출하고, 제1윈도우를 이동시켜가면서 상기 제1위상 검출 픽셀 데이터로부터 제1위상 그래프들을 계산하고, 제2윈도우를 이동시켜가면서 상기 제2위상 검출 픽셀 데이터로부터 제2위상 그래프들을 계산하고, 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 상기 위상 검출 픽셀들에 대한 디스패리티들을 계산하고, 상기 디스패리티들을 이용하여 깊이 맵을 생성한다.
상기 CPU는 상기 디스패리티들을 그레이 레벨들로 변환하고, 상기 그레이 레벨들을 이용하여 상기 깊이 맵을 생성한다.
상기 CPU는 서로 동일한 크기를 갖는 상기 제1윈도우와 상기 제2윈도우를 설정하고, 상기 제1윈도우와 상기 제2윈도우를 스캐닝 방향을 따라 동시에 이동시키면서 상기 제1위상 그래프들 각각과 상기 제2위상 그래프들 각각을 생성한다.
상기 제1위상 검출 픽셀 데이터와 상기 제2위상 검출 픽셀 데이터 각각의 크기는 상기 깊이 맵의 크기보다 크다.
상기 CPU는 상기 이미지 데이터에 포함된 컬러 데이터와 상기 깊이 맵을 이용하여 3차원 이미지 데이터를 생성할 수 있다. 상기 CPU는 상기 깊이 맵을 이용하여 상기 이미지 데이터에 해당하는 사용자의 제스처를 인식할 수 있다.
본 발명의 실시 예에 따른 모바일 컴퓨팅 장치는 컬러 픽셀들과 위상 검출 픽셀들을 포함하는 이미징 장치와, 제1CPU를 포함하는 이미지 신호 프로세서, 및 제2CPU를 포함하는 애플리케이션 프로세서를 포함한다.
상기 제1CPU와 상기 제2CPU 중에서 어느 하나는 상기 위상 검출 픽셀들의 위치 정보와 이미지 데이터를 상기 이미징 장치로부터 수신하고, 상기 위상 검출 픽셀들의 상기 위치 정보를 이용하여 상기 이미지 데이터로부터 제1위상 검출 픽셀 데이터와 제2위상 검출 픽셀 데이터를 추출하고, 제1윈도우를 이동시켜가면서 상기 제1위상 검출 픽셀 데이터로부터 제1위상 그래프들을 계산하고, 제2윈도우를 이동시켜가면서 상기 제2위상 검출 픽셀 데이터로부터 제2위상 그래프들을 계산하고, 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 상기 위상 검출 픽셀들에 대한 디스패리티들을 계산하고, 상기 디스패리티들을 이용하여 깊이 맵을 생성한다.
상기 모바일 컴퓨팅 장치는 상기 위상 검출 픽셀들의 상기 위치 정보와 상기 이미지 데이터를 저장하는 메모리를 더 포함한다.
상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는 상기 디스패리티들을 그레이 레벨들로 변환하고, 상기 그레이 레벨들을 이용하여 상기 깊이 맵을 생성한다.
상기 애플리케이션 프로세서는 그래픽스 프로세싱 유닛을 더 포함하고, 상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는 상기 이미지 데이터에 포함된 컬러 데이터와 상기 깊이 맵을 이용하여 3차원 이미지 데이터를 생성하고, 상기 그래픽스 프로세싱 유닛은 상기 3차원 이미지 데이터를 렌더링한다.
상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는 상기 깊이 맵을 이용하여 상기 이미지 데이터에 해당하는 사용자의 제스처를 판단한다.
상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는 상기 깊이 맵을 이용하여 ROI(region of interest)에 대한 자동 초점을 위한 제어 신호를 생성하고 상기 제어 신호를 상기 이미징 장치로 전송한다.
상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는 서로 동일한 크기를 갖는 상기 제1윈도우와 상기 제2윈도우를 설정하고, 상기 제1윈도우와 상기 제2윈도우를 스캐닝 방향을 따라 동시에 이동시키면서 상기 제1위상 그래프들 각각과 상기 제2위상 그래프들 각각을 생성한다.
본 발명의 실시 예에 따른 이미지 신호 프로세서의 작동 방법은 위상 검출 픽셀들의 위치 정보를 이미징 장치로부터 수신하는 단계와, 이미지 데이터를 상기 이미징 장치로부터 수신하는 단계와, 상기 위상 검출 픽셀들의 위치 정보를 이용하여 상기 이미지 데이터로부터 제1위상 검출 픽셀 데이터와 제2위상 검출 픽셀 데이터를 추출하는 단계와, 제1윈도우를 이동시켜가면서 상기 제1위상 검출 픽셀 데이터로부터 제1위상 그래프들을 계산하고, 제2윈도우를 이동시켜가면서 상기 제2위상 검출 픽셀 데이터로부터 제2위상 그래프들을 계산하는 단계와, 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 상기 위상 검출 픽셀들에 대한 디스패리티들을 계산하는 단계와, 상기 디스패리티들을 이용하여 깊이 맵을 생성하는 단계를 포함한다.
본 발명의 실시 예에 따른 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서는 부가적인 장치들 없이 상기 깊이 맵을 생성할 수 있는 효과가 있다.
본 발명의 실시 예에 따른 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서는 저화질의 영상들을 이용하여 고화질의 영상을 만들 수 있는 효과가 있다.
본 발명의 실시 예에 따른 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서는 자동 초점을 정확하게 맞출 수 있는 효과가 있다. 즉, 종래의 자동 초점 카메라 시스템에서는 자동 초점을 위한 액추에이터의 움직임을 기다리는 시간이 필요했으나, 본 발명의 실시 예에 따른 이미지 신호 프로세서를 포함하는 자동 초점 카메라 시스템은 깊이 맵만을 이용하여 선택적으로 관심 있는 물체에 대한 초점을 자동으로 맞출 수 있는 효과가 있다.
본 발명의 실시 예에 따른 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서는 사용자의 제스처(gesture) 또는 포즈(pose)를 인식할 수 있는 이미지 처리 시스템에 사용될 수 있는 효과가 있다.
본 발명의 실시 예에 따른 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서는 3D 콘텐츠를 생성할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 픽셀 어레이에 포함된 컬러 픽셀들과 위상 검출 픽셀들의 배치를 개념적으로 나타낸다.
도 3은 도 2에 도시된 제1타입 위상 검출 픽셀과 제2타입 위상 검출 픽셀을 나타낸다.
도 4는 제1위치에 존재하는 제1윈도우를 포함하는 제1위상 검출 픽셀 데이터와 제1위치에 존재하는 제2윈도우를 포함하는 제2위상 검출 픽셀 데이터를 나타낸다.
도 5는 제1위치에 존재하는 제1윈도우와 제1위상 그래프, 및 제1위치에 존재하는 제2윈도우와 제2위상 그래프를 나타낸다.
도 6은 제1디스패리티와 위상 보상 후의 위상 그래프들을 나타낸다.
도 7은 제2위치에 존재하는 제1윈도우를 포함하는 제1위상 검출 픽셀 데이터와 제2위치에 존재하는 제2윈도우를 포함하는 제2위상 검출 픽셀 데이터를 나타낸다.
도 8은 제2위치에 존재하는 제1윈도우와 제3위상 그래프, 및 제2위치에 존재하는 제2윈도우와 제4위상 그래프를 나타낸다.
도 9는 제2디스패리티와 위상 보상 후의 위상 그래프들을 나타낸다.
도 10은 하나의 렌즈를 이용한 초점 원리를 나타낸다.
도 11은 위상 검출 픽셀들이 상하로 배치될 때의 위상 그래프들을 나타낸다.
도 12는 본 발명의 실시 예에 따라 깊이 맵을 생성하는 방법을 나타내는 플로우차트이다.
도 13은 본 발명의 실시 예에 따라 디스패리티를 계산하는 방법과 깊이 맵을 생성하는 방법을 구체적으로 나타내는 플로우차트이다.
도 14는 디스패리티들을 그레이 레벨들로 매핑하는 방법을 나타내는 개념도이다.
도 15는 본 발명의 다른 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다.
도 16은 장면과 상기 장면에 대한 본 발명의 실시 예에 따른 깊이 맵을 나타낸다.
도 17은 본 발명의 실시 예에 따른 깊이 맵을 이용하여 ROI(region of interest)에 대한 자동 초점을 설명하기 위한 개념도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 1을 참조하면, 데이터 처리 시스템(100)은 이미징 장치(200), 컨트롤러 (300), 메모리(400), 및 디스플레이(500)를 포함할 수 있다.
데이터 처리 시스템(100)은 2차원 이미지 데이터 또는 3차원 이미지 데이터를 생성할 수 있다. 또한, 데이터 처리 시스템(100)은 깊이 맵을 이용하여 사용자의 제스처 또는 포즈를 판단 또는 인식할 수 있다.
데이터 처리 시스템(100)은 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷 (internet of everything(IoE)) 장치, 제스처 인식 장치, 또는 드론(drone)으로 구현될 수 있다.
이미징 장치(200)는 컬러 이미지 데이터와 위상 검출 픽셀 데이터를 동시에 또는 병렬로 생성할 수 있다. 예컨대, 이미징 장치(200)는 스테레오스코픽 데이터 (stereoscopic data)를 생성할 수 있다.
이미징 장치(200)는 렌즈(205), 액추에이터(207), 픽셀 어레이(210), 및 데이터 처리 회로(220)를 포함할 수 있다. 렌즈(205)는 입사광을 픽셀 어레이(210)에 집광시키는 기능을 수행할 수 있다. 이미징 장치(200)는 렌즈(205)의 이동을 제어할 수 있는 액츄에이터(207)를 포함할 수 있다. 예컨대, 액츄에이터(207)는 자동 초점 모터를 의미할 수 있다. 제1CPU(315) 또는 제2CPU(320)는 액츄에이터(207)를 제어할 수 있는 제어 신호를 생성할 수 있다. 예컨대, 이미징 장치(200)는 광학 시스템과 기계적인 시스템을 포함하는 이미지 센서 모듈로 구현될 수 있다.
도 2를 참조하여 설명될 픽셀 어레이(210)는 컬러 픽셀들과 위상 검출 픽셀들을 포함할 수 있다. 예컨대, 컬러 픽셀들과 위상 검출 픽셀들은 CMOS 공정을 통해 형성될 수 있다. 컬러 픽셀들과 위상 검출 픽셀들은 입사광에 응답하여 픽셀 신호들을 생성할 수 있다. 데이터 처리 회로(220)는 아날로그 픽셀 신호들을 디지털 픽셀 신호들로 변환할 수 있다. 상기 디지털 픽셀 신호들은 이미지 데이터로 불릴 수 있다.
데이터 처리 회로(220)는 위상 검출 픽셀 데이터를 포함하는 이미지 데이터 (RDATA)를 인터페이스를 통해 컨트롤러(300)로 전송할 수 있다. 데이터 처리 회로 (220)는 위상 검출 픽셀들의 위치 정보(COOR)를 인터페이스를 통해 컨트롤러(300)로 전송할 수 있다. 상기 인터페이스는 MIPI® 카메라 시리얼 인터페이스(camera serial interface(CSI))로 구현될 수 있으나 상기 인터페이스가 이에 한정되는 것은 아니다. 픽셀 어레이(210)와 데이터 처리 회로(220)는 CMOS 이미지 센서 칩에 집적될 수 있다.
컨트롤러(300)는 메모리(400)와 디스플레이(500)를 제어할 수 있다. 컨트롤러(300)는 집적 회로(IC), 시스템 온 칩(system on chip(SoC)), 애플리케이션 프로세서(application processor(AP)), 또는 모바일 AP로 구현될 수 있다.
컨트롤러(300)는 이미지 신호 프로세서(image signal processor(ISP); 310), 제2CPU(320), 그래픽스 프로세싱 유닛(graphics processing unit(GPU); 325) 및 디스플레이 컨트롤러(330)를 포함할 수 있다.
ISP(310)는 위상 검출 픽셀들의 위치 정보(COOR)와 이미지 데이터(RDATA)를 이미징 장치(200)로부터 수신할 수 있다. 예컨대, 위상 검출 픽셀들의 위치들과 패턴이 미리 결정된 경우, 위치 정보(COOR)는 시작 위치와 패턴 정보를 포함할 수 있다.
예컨대, ISP(310)는 위상 검출 픽셀들의 위치 정보(COOR)를 부팅시에 이미징 장치(200)로부터 수신하고, 위상 검출 픽셀들의 위치 정보(COOR)를 메모리에 저장할 수 있다. 상기 메모리는 ISP(310)에 의해 액세스 가능한 메모리로서 ISP(310)의 내부 또는 외부에 구현될 수 있다. 예컨대, 상기 메모리는 메모리(400)를 의미할 수 있다.
메모리(400)는 휘발성 메모리 및/또는 불휘발성 메모리를 집합적으로 (collectively) 나타낼 수 있다. 휘발성 메모리는 RAM(random access memory), DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다. 불휘발성 메모리는 플래시 메모리-기반 메모리, EEPROM(Electrically Erasable Programmable Read-Only Memory), MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque MRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 또는 RRAM(resistive RAM(RRAM))로 구현될 수 있다. 예컨대, 플래시 메모리-기반 메모리는 멀티미디어 카드(multimedia card(MMC), 임베디드 MMC(embedded MMC(eMMC)), 또는 유니버설 플래시 스토리지(universal flash storage(UFS))로 구현될 수 있다.
실시 예에 따라, ISP(310), 예컨대, 제1CPU(315)는 이미지 데이터(RDATA)를 메모리(400)에 저장하고, 위상 검출 픽셀들의 위치 정보(COOR)를 이용하여 메모리 (400)에 저장된 이미지 데이터(RDATA)로부터 제1위상 검출 픽셀 데이터와 제2위상 검출 픽셀 데이터를 추출할 수 있다.
ISP(310), 예컨대 제1CPU(315)는 제1윈도우를 이동시켜가면서 상기 제1위상 검출 픽셀 데이터에 대한 제1위상 그래프들을 계산하고 제2윈도우를 이동시켜가면서 상기 제2위상 검출 픽셀 데이터에 대한 제2위상 그래프들을 계산하고, 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 위상 검출 픽셀마다 디스패리티(disparity)를 계산하고, 상기 위상 검출 픽셀마다 계산된 디스패리티를 이용하여 깊이 맵을 생성할 수 있다.
다른 실시 예에 따라, 제2CPU(320)는 이미 획득된 위상 검출 픽셀들의 위치 정보(COOR)를 이용하여 메모리(400)에 저장된 이미지 데이터(RDATA)로부터 제1위상 검출 픽셀 데이터와 제2위상 검출 픽셀 데이터를 추출할 수 있다.
제2CPU(320)는 제1윈도우를 이동시켜가면서 상기 제1위상 검출 픽셀 데이터에 대한 제1위상 그래프들을 계산하고 제2윈도우를 이동시켜가면서 상기 제2위상 검출 픽셀 데이터에 대한 제2위상 그래프들을 계산하고, 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 위상 검출 픽셀마다 디스패리티를 계산하고, 상기 위상 검출 픽셀마다 계산된 디스패리티를 이용하여 깊이 맵을 생성할 수 있다.
예컨대, 컨트롤러(200)가 AP로 구현될 때, 제1CPU(315)는 ISP(310)의 CPU를 의미할 수 있고, 제2CPU(320)는 AP의 CPU를 의미할 수 있다.
GPU(325)는 제1CPU(315) 또는 제2CPU(320)에 의해 생성된 3차원 콘텐츠 또는 3차원 이미지 데이터를 렌더링(rendering)할 수 있다. 예컨대, 제1CPU(315) 또는 제2CPU(320)는 이미지 데이터(RDATA)에 포함된 컬러 데이터와 계산된 깊이 맵(또는 깊이 데이터)을 이용하여 3차원 콘텐츠 또는 3차원 이미지 데이터를 생성할 수 있다.
제1CPU(315) 또는 제2CPU(320)는 깊이 맵을 이용하여 사용자의 제스처 또는 포즈를 판단하거나 인식할 수 있다. 예컨대, 제1CPU(315) 또는 제2CPU(320)는 판단된 사용자의 제스처(또는, 포즈)에 기초하여 이미징 장치(200), 컨트롤러(300), 메모리(400), 및/또는 디스플레이(500)를 제어할 수 있는 제어 신호를 생성할 수 있다.
디스플레이 컨트롤러(330)는, 제1CPU(315) 또는 제2CPU(320)의 제어에 따라, 이미지 데이터(RDATA)와 관련된 데이터, 깊이 맵 및/또는 3차원 콘텐츠를 디스플레이(500)로 전송할 수 있다. 디스플레이(500)는 이미지 데이터(RDATA)에 관련된 데이터, 깊이 맵 및/또는 3차원 콘텐츠를 디스플레이할 수 있다. 예컨대, 이미지 데이터(RDATA)와 관련된 데이터는 제1CPU(315) 또는 제2CPU(320)에 의해 처리된 2차원 이미지 데이터 또는 3차원 이미지 데이터(즉, 스테레오스코픽 데이터)일 수 있다.
도 2는 도 1에 도시된 픽셀 어레이에 포함된 컬러 픽셀들과 위상 검출 픽셀들의 배치를 개념적으로 나타낸다.
도 2를 참조하면, Gb는 그린 스펙트럼의 파장들에 응답하여 그린 픽셀 신호들을 생성할 수 있는 픽셀을 의미하고, B는 블루 스펙트럼의 파장들에 응답하여 블루 픽셀 신호들을 생성할 수 있는 픽셀들을 의미하고, R는 레드 스펙트럼의 파장들에 응답하여 레드 픽셀 신호들을 생성할 수 있는 픽셀들을 의미하고, Gr은 그린 스펙트럼의 파장들에 응답하여 그린 픽셀 신호들을 생성할 수 있는 픽셀을 의미한다.
각 컬러 픽셀(Gb, B, R, 및 Gr)은 광전하들을 생성하는 광전 변환 소자와, 상기 광전하들을 픽셀 신호로 변환하는 처리 회로를 포함할 수 있다. 상기 처리 회로는 4개의 트랜지스터들, 3개의 트랜지스터들, 또는 5개의 트랜지스터들을 포함할 수 있으나 이에 한정되는 것은 아니다. 상기 광전 변환 소자는 포토다이오드, 포토트랜지스터, 포토게이트 또는 핀드 포토다이오드로 구현될 수 있다.
각 컬러 픽셀(Gb, B, R, 및 Gr)이 예시적으로 도시되어 있으나, 픽셀 어레이 (210)는 옐로우(yellow) 픽셀, 마젠타(magenta) 픽셀, 및/또는 시안(cyan) 픽셀을 포함할 수 있다.
비록, 도 2에는 12개의 위상 검출 픽셀들(120A와 120B)이 예시적으로 도시되어 있으나, 픽셀 어레이(210)에 포함되는 위상 검출 픽셀들의 개수와 위치가 도 2에 도시된 실시 예에 한정되는 것은 아니다.
또한, 도 2에서는 자동 초점 위상 검출을 위한 한 쌍의 위상 검출 픽셀들 (120A와 120B)이 가로 방향으로 인접하게 배치되어 있으나, 자동 초점 위상 검출을 위한 한 쌍의 위상 검출 픽셀들은 세로 방향으로 인접하게 배치될 수 있다. 이때의 위상 그래프들은 도 11에 예시적으로 도시된 바와 같을 수 있다.
도 3은 도 2에 도시된 제1타입 위상 검출 픽셀과 제2타입 위상 검출 픽셀을 나타낸다. 도 2와 도 3을 참조하면, 제1타입 위상 검출 픽셀(210A)은 광전 변환 소자(223A)와 광전 변환 소자(223A)로 입사되는 빛의 일부를 차폐하기 위한 차폐 물질(shielding material; 212A)을 포함할 수 있다. 예컨대, 광전 변환 소자(223A)의 왼쪽 부분은 차폐 물질(212A)로 차폐될 수 있다. 예컨대, 차폐 물질(212A)은 금속일 수 있다.
제2타입 위상 검출 픽셀(210B)은 광전 변환 소자(223B)와 광전 변환 소자 (223B)로 입사되는 빛의 일부를 차폐하기 위한 차폐 물질(212B)을 포함할 수 있다. 예컨대, 광전 변환 소자(223B)의 오른쪽 부분은 차폐 물질(212B)로 차폐될 수 있다. 예컨대, 차폐 물질(212B)은 금속일 수 있다. 각 위상 검출 픽셀(210A와 210B)은 위상 검출 자동 초점(phase detection auto-focus)을 지원할 수 있는 픽셀을 의미할 수 있다.
도 4는 제1위치에 존재하는 제1윈도우를 포함하는 제1위상 검출 픽셀 데이터와 제1위치에 존재하는 제2윈도우를 포함하는 제2위상 검출 픽셀 데이터를 나타낸다.
도 1부터 도 4를 참조하면, 제1CPU(315) 또는 제2CPU(320)는, 위상 검출 픽셀들의 위치 정보(COOR)를 이용하여, 이미지 데이터(RDATA)로부터 위상 검출 픽셀 데이터(PDATA)를 추출할 수 있다. 예컨대, 이미지 데이터(RDATA)는 로우 베이어 (raw Bayer) 이미지 데이터를 의미할 수 있다.
제1CPU(315) 또는 제2CPU(320)는, 위상 검출 픽셀 데이터(PDATA)를 제1위상 검출 픽셀 데이터(PDATA1)와 제2위상 검출 픽셀 데이터(PDATA2)로 분류할 수 있다.
예컨대, 제1위상 검출 픽셀 데이터(PDATA1)는 픽셀 어레이(210)에 포함된 모든 제1타입 위상 검출 픽셀들(210A)로부터 출력된 픽셀 신호들에 상응하는 위상 검출 픽셀 데이터를 의미할 수 있고, 제2위상 검출 픽셀 데이터(PDATA2)는 픽셀 어레이(210)에 포함된 모든 제2타입 위상 검출 픽셀들(210B)로부터 출력된 픽셀 신호들에 상응하는 위상 검출 픽셀 데이터를 의미할 수 있다.
도 4의 (a)와 (b)를 참조하면, 제1CPU(315) 또는 제2CPU(320)는, 제1위상 검출 픽셀 데이터(PDATA1)를 스캐닝(scanning)하기 위해 제1윈도우(WINDOW1)의 크기를 설정할 수 있고, 제2위상 검출 픽셀 데이터(PDATA1)를 스캐닝하기 제2윈도우 (WINDOW2)의 크기를 설정할 수 있다. 제1윈도우(WINDOW1)의 크기와 제2윈도우 (WINDOW2)의 크기는 서로 동일하게 설정될 수 있고 동시에 스캐닝 방향을 따라 이동할 수 있다.
비록, 도 4의 (a)와 (b)에서는 제1윈도우(WINDOW1)의 크기가 6*6 픽셀들로 설정되고, 제2윈도우(WINDOW2)의 크기가 6*6 픽셀들로 설정되어 있으나 이는 예시적인 것에 불과하다. 여기서 픽셀(pixel)은 물리적인 픽셀을 의미할 수 있고, 상기 물리적인 픽셀로부터 출력된 픽셀 신호에 해당하는 픽셀 데이터를 의미할 수 있다.
제1CPU(315) 또는 제2CPU(320)는, 제1윈도우(WINDOW1)를 스캐닝 방향을 따라 이동시켜가면서 제1위상 검출 픽셀 데이터(PDATA1)에 대한 위상 그래프들 각각을 계산하고 제2윈도우(WINDOW2)를 스캐닝 방향을 따라 이동시켜가면서 제2위상 검출 픽셀 데이터(PDATA2)에 대한 위상 그래프들 각각을 계산할 수 있다. 예컨대, 스캐닝 방향은 지그재그일 수 있으나 이에 한정되는 것은 아니다.
예컨대, 하나의 시점 또는 하나의 스캐닝 포인트에서 제1위상 검출 픽셀 데이터(PDATA1)에 대한 하나의 위상 그래프와 제2위상 검출 픽셀 데이터(PDATA2)에 대한 하나의 위상 그래프가 도 5의 (a)와 (b) 또는 도 8의 (a)와 (b)에 도시된 바와 같이 생성될 수 있다.
도 5는 제1위치에 존재하는 제1윈도우와 제1위상 그래프, 및 제1위치에 존재하는 제2윈도우와 제2위상 그래프를 나타낸다.
도 4의 (a)와 도 5의 (a)를 참조하면, 제1CPU(315) 또는 제2CPU(320)는, 제1위치에 존재하는 제1윈도우(WINDOW1)를 이용하여 제1윈도우(WINDOW1)에 대한 제1위상 그래프(PG1)의 각 z값을 제1윈도우(WINDOW1)의 각 컬럼의 값들의 합으로서 계산할 수 있다.
또한, 도 4의 (b)와 도 5의 (b)를 참조하면, 제1CPU(315) 또는 제2CPU(320)는, 제1위치에 존재하는 제2윈도우(WINDOW2)를 이용하여 제2윈도우(WINDOW2)에 대한 제2위상 그래프(PG2)의 각 z값을 제2윈도우(WINDOW2)의 각 컬럼의 값들의 합으로서 계산할 수 있다. 예컨대, 제1위상 그래프(PG1)는 위상 검출 픽셀(PDL1)을 대표할 수 있고, 제2위상 그래프(PG2)는 위상 검출 픽셀(PDR1)을 대표할 수 있다.
예컨대, 각 컬럼에 대한 z값은 가우시안 가중 평균(Gaussian weighted average) 또는 중간값 필터링(median filtering)과 같은 다양한 방법으로 계산될 수 있으나 이에 한정되는 것은 아니다. 여기서, z값은 깊이 데이터를 의미할 수 있다.
도 6은 제1디스패리티와 위상 보상 후의 위상 그래프들을 나타낸다.
제1CPU(315) 또는 제2CPU(320)는, 제1위상 그래프(PG1)와 제2위상 그래프 (PG2)를 이용하여 제1디스패리티(d1)를 계산할 수 있다.
도 6의 (a)와 (b)를 참조하면, 제1CPU(315) 또는 제2CPU(320)는, 제1위상 그래프(PG1)와 제2위상 그래프(PG2)의 차이를 최소화하기 위해, 제1위상 그래프(PG1)와 제2위상 그래프(PG2) 중에서 어느 하나를 기준으로 제1위상 그래프(PG1)와 제2위상 그래프(PG2) 중에서 다른 하나를 이동시킨다.
예컨대, 제1위상 그래프(PG1)가 왼쪽으로 "d1"만큼 이동될 때, 제1위상 그래프(PG1)와 제2위상 그래프(PG2)의 차이가 최소화된다면, "d1"는 제1디스패리티로 정의될 수 있다. 예컨대, 어떤 위상 그래프(PG1 또는 PG2)가 어떤 방향(예컨대, 왼쪽 방향 또는 오른쪽 방향)으로 이동되는지에 따라 디스패리티의 부호(sign)가 결정될 수 있다. 예컨대, 제1위상 그래프(PG1)가 왼쪽으로 이동될 때를 양(positive)의 디스패리티로 정의한다면, 제1위상 그래프(PG1)가 오른쪽으로 이동될 때를 음 (negative)의 디스패리티로 정의할 수 있다.
따라서, 제1CPU(315) 또는 제2CPU(320)는 "d1"를 위상 검출 픽셀들(PDL1과 PDR1) 사이의 제1디스패리티로 계산할 수 있다. 여기서, 위상 검출 픽셀(PDL1)은 제1타입 위상 검출 픽셀을 의미하고 위상 검출 픽셀(PDR1)은 제2타입 위상 검출 픽셀을 의미한다고 가정한다.
도 7은 제2위치에 존재하는 제1윈도우를 포함하는 제1위상 검출 픽셀 데이터와 제2위치에 존재하는 제2윈도우를 포함하는 제2위상 검출 픽셀 데이터를 나타내고, 도 8은 제2위치에 존재하는 제1윈도우와 제3위상 그래프, 및 제2위치에 존재하는 제2윈도우와 제4위상 그래프를 나타내고, 도 9는 제2디스패리티와 위상 보상 후의 위상 그래프들을 나타낸다.
도 7의 (a)와 도 8의 (a)를 참조하면, 제1CPU(315) 또는 제2CPU(320)는, 제2위치에 존재하는 제1윈도우(WINDOW1)를 이용하여 제1윈도우(WINDOW1)에 대한 제3위상 그래프(PG3)의 각 z값을 제1윈도우(WINDOW1)의 각 컬럼의 값들의 합으로서 계산할 수 있다. 또한, 도 7의 (b)와 도 8의 (b)를 참조하면, 제1CPU(315) 또는 제2CPU (320)는, 제2위치에 존재하는 제2윈도우(WINDOW2)를 이용하여 제2윈도우(WINDOW2)에 대한 제4위상 그래프(PG4)의 각 z값을 제2윈도우(WINDOW2)의 각 컬럼의 값들의 합으로서 계산할 수 있다. 제3위상 그래프(PG3)는 위상 검출 픽셀(PDL2)을 대표할 수 있고, 제4위상 그래프(PG4)는 위상 검출 픽셀(PDR2)을 대표할 수 있다.
제1CPU(315) 또는 제2CPU(320)는, 제3위상 그래프(PG3)와 제4위상 그래프 (PG4)를 이용하여 제2디스패리티(d2)를 계산할 수 있다.
도 9의 (a)와 (b)를 참조하면, 제1CPU(315) 또는 제2CPU(320)는, 제3위상 그래프(PG3)와 제4위상 그래프(PG4)의 차이를 최소화하기 위해, 제3위상 그래프(PG3)와 제4위상 그래프(PG4) 중에서 어느 하나를 기준으로 제3위상 그래프(PG3)와 제4위상 그래프(PG4) 중에서 다른 하나를 이동시킨다. 예컨대, 제3위상 그래프(PG3)가 왼쪽으로 "d2"만큼 이동될 때, 제3위상 그래프(PG3)와 제4위상 그래프(PG4)의 차이가 최소화된다면, "d2"는 제2디스패리티로 정의될 수 있다.
앞에서 설명한 바와 같이, 어떤 위상 그래프(PG3 또는 PG4)가 어떤 방향(예컨대, 왼쪽 방향 또는 오른쪽 방향)으로 이동되는지에 따라 디스패리티의 부호가 결정될 수 있다. 예컨대, 제3위상 그래프(PG3)가 왼쪽으로 이동될 때를 양의 디스패리티로 정의한다면, 제3위상 그래프(PG3)가 오른쪽으로 이동될 때를 음 의 디스패리티로 정의할 수 있다.
따라서, 제1CPU(315) 또는 제2CPU(320)는 "d2"를 위상 검출 픽셀들(PDL2과 PDR2) 사이의 제2디스패리티로 계산할 수 있다. 여기서, 위상 검출 픽셀(PDL2)은 제1타입 위상 검출 픽셀을 의미하고 위상 검출 픽셀(PDR2)은 제2타입 위상 검출 픽셀을 의미한다고 가정한다.
도 4의 (a)부터 도 9를 참조하여 설명한 바와 같이, 제1CPU(315) 또는 제2CPU(320)는, 제1위상 검출 데이터(PDATA1)에 대한 제1윈도우(WINDOW1)를 스캐닝 방향을 따라 이동시켜가면서 마지막 위상 검출 픽셀(PDLE)에 대한 위상 그래프를 계산할 수 있다. 또한, 제1CPU(315) 또는 제2CPU(320)는, 제2위상 검출 데이터 (PDATA2)에 대한 제2윈도우(WINDOW2)를 스캐닝 방향을 따라 이동시켜가면서 마지막 위상 검출 픽셀(PDRE)에 대한 위상 그래프를 계산할 수 있다.
제1CPU(315) 또는 제2CPU(320)는, 마지막 위상 검출 픽셀(PDLE)에 대한 위상 그래프와 마지막 위상 검출 픽셀(PDRE)에 대한 위상 그래프를 이용하여, 마지막 디스패리티를 계산할 수 있다. 즉, 제1CPU(315) 또는 제2CPU(320)는 위상 검출 픽셀들(PDLE과 PDRE) 사이의 디스패리티를 계산할 수 있다.
도 10은 하나의 렌즈를 이용한 초점 원리를 나타낸다.
도 10을 참조하면, 제2물체(OBJECT2)에 대한 광선들(rays)은 픽셀 어레이 (210), 또는 이미지 면(image plane)에서 교차하므로 제2물체(OBJECT2)에 대한 초점은 맞는다. 그러나, 제1물체(OBJECT1) 또는 제3물체(OBJECT3)에 대한 초점은 맞지 않는다. 위상 검출 자동 초점의 관점에서, 제3물체(OBJECT3)에 대해 초점을 맞추기 위해, 렌즈(205)는 픽셀 어레이(210), 또는 이미지 면으로부터 멀어져야 한다. 또한, 위상 검출 자동 초점의 관점에서, 제1물체(OBJECT1)에 대해 초점을 맞추기 위해, 렌즈(205)는 픽셀 어레이(210), 또는 이미지 면 쪽으로 이동해야 한다. 이때, 제1물체(OBJECT1)의 디스패리티의 부호와 제3물체(OBJECT3)의 디스패리티의 부호는 서로 다르다.
예컨대, 양의 디스패리티는 물체가 이미징 장치(200)에 상대적으로 가까이 있음을 의미할 수 있고, 음의 디스패리티는 물체가 이미징 장치(200)로부터 상대적으로 멀리 있음을 의미할 수 있다. 제3물체(OBJECT3)에 대해 디스패리티는 제1물체 (OBJECT1)에 대한 디스패리티보다 클 수 있다. 즉, 디스패리티는 물체(또는 사용자 또는 피사체)와 이미징 장치(200) 사이의 거리에 대응될 수 있다. 예컨대, 제1CPU (315) 또는 제2CPU(320)는 디스패리티를 깊이 값으로 변환할 수 있다.
도 11은 위상 검출 픽셀들이 상하로 배치될 때의 위상 그래프들을 나타낸다. 제1위상 검출 픽셀(PDL1)과 제2위상 검출 픽셀(PDR1)이 컬럼 방향, 예컨대 y-축 방향을 따라 서로 인접하게 배치될 때, 도 11의 (a)에 도시된 바와 같이 제1CPU(315) 또는 제2CPU(320)는, 제1위치에 존재하는 제1윈도우(WINDOW1)를 이용하여 제1윈도우(WINDOW1)에 대한 제5위상 그래프(PG5)의 각 z값을 제1윈도우(WINDOW1)의 각 로우(row)의 값들의 합으로서 계산할 수 있다.
또한, 도 11의 (b)에 도시된 바와 같이, 제1CPU(315) 또는 제2CPU(320)는, 제1위치에 존재하는 제2윈도우(WINDOW2)를 이용하여 제2윈도우(WINDOW2)에 대한 제6위상 그래프(PG6)의 각 z값을 제2윈도우(WINDOW2)의 각 로우의 값들의 합으로서 계산할 수 있다. 예컨대, 제5위상 그래프(PG5)는 위상 검출 픽셀(PDL1)을 대표할 수 있고, 제6위상 그래프(PG6)는 위상 검출 픽셀(PDR1)을 대표할 수 있다.
도 12는 본 발명의 실시 예에 따라 깊이 맵을 생성하는 방법을 나타내는 플로우차트이다. 도 1부터 도 12를 참조하면, 컨트롤러(300)는 이미징 장치(200)로부터 위상 검출 픽셀들의 위치 정보(COOR)를 수신할 수 있다(S110).
컨트롤러(300)는 이미징 장치(200)로부터 위상 검출 픽셀 데이터를 포함하는 이미지 데이터(RDATA)를 수신할 수 있다(S120). 컨트롤러(300)는, 위상 검출 픽셀들의 위치 정보(COOR)를 이용하여, 이미지 데이터(RDATA)로부터 위상 검출 픽셀 데이터(PDATA)를 추출할 수 있다(S130).
컨트롤러(300)는 추출된 위상 검출 픽셀 데이터(PDATA)로부터 깊이 맵을 생성하는 과정을 수행할 수 있다(S160), 예컨대, 컨트롤러(300)는 추출된 위상 검출 픽셀 데이터(PDATA)를 이용하여 위상 검출 픽셀마다 디스패리티를 계산할 수 있다 (S170). 컨트롤러(300)는 위상 검출 픽셀마다 계산된 디스패리티를 이용하여 깊이 맵(또는 깊이 데이터)을 생성할 수 있다(S180).
컨트롤러(300)는 추출된 위상 검출 픽셀 데이터(PDATA)로부터 깊이 맵을 생성하는 과정(S160)과 동시에 또는 병렬적으로 이미지 데이터(RDATA)에 포함된 컬러 데이터를 처리하고(S140), 처리의 결과에 따라 YUV 포맷을 갖는 이미지 데이터를 생성할 수 있다(S150).
도 13은 본 발명의 실시 예에 따라 디스패리티를 계산하는 방법과 깊이 맵을 생성하는 방법을 구체적으로 나타내는 플로우차트이다. 도 12와 도 13을 참조하면, 컨트롤러(300)는, 위상 검출 픽셀들의 위치 정보(COOR)를 이용하여, 이미지 데이터 (RDATA)로부터 위상 검출 픽셀 데이터(PDATA)를 추출할 수 있다(S130).
즉, 컨트롤러(300)는, 위상 검출 픽셀들의 위치 정보(COOR)를 이용하여, 이미지 데이터(RDATA)로부터 제1타입 픽셀들에 대한 제1위상 검출 데이터(PDATA1)를 추출할 수 있고(S132), 이미지 데이터(RDATA)로부터 제2타입 픽셀들에 대한 제2위상 검출 데이터(PDATA2)를 추출할 수 있다(S134). S132와 S134는 동시에, 병렬적으로, 또는 오버랩으로 수행될 수 있다.
컨트롤러(300)는 제1윈도우(WINDOW1)를 이용하여 제1위상 검출 픽셀 데이터 (PDATA1)를 스캐닝 방향을 따라 스캐닝할 수 있고, 제2윈도우(WINDOW2)를 이용하여 제2위상 검출 픽셀 데이터(PDATA2)를 상기 스캐닝 방향을 따라 스캐닝할 수 있다 (S162),
즉, 컨트롤러(300)는 제1윈도우(WINDOW1)를 이동시켜가면서 제1위상 검출 픽셀 데이터(PDATA1)에 대한 제1위상 그래프들을 계산할 수 있고, 제2윈도우 (WINDOW2)를 이동시켜가면서 제2위상 검출 픽셀 데이터(PDATA2)에 대한 제2위상 그래프들을 계산할 수 있다(S164).
컨트롤러(300)는 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 위상 검출 픽셀마다 디스패리티를 계산할 수 있다(S170). S162부터 S170은 스캐닝이 종료될까지 수행될 수 있다(S172). 제1위상 검출 픽셀 데이터(PDATA1)에 대한 스캐닝과 제2위상 검출 픽셀 데이터(PDATA2)에 대한 스캐닝이 종료하면(S172), 컨트롤러(300)는 위상 검출 픽셀마다 계산된 디스패리티를 정규화할 수 있다(S174). 예컨대, 컨트롤러(300)는 깊이를 시각화하기 위해 디스패리티들을 그레이 레벨들로 매핑할 수 있다.
도 14는 디스패리티들을 그레이 레벨들로 매핑하는 방법을 나타내는 개념도이다. 예컨대, 제1위상 그래프들과 제2위상 그래프들을 이용하여 위상 검출 픽셀마다 계산된 디스패리티가 제1값(예컨대, -10부터)부터 제2값(예컨대, +10)까지의 범위에 존재할 때, 컨트롤러(300)는 위상 검출 픽셀마다 계산된 디스패리티를 그레이 레벨로 매핑할 수 있다. 예컨대, 그레이 레벨이 8비트로 표현될 때, 위상 검출 픽셀마다 계산된 디스패리티는 그레이 레벨 "0"부터 그레이 레벨 "255" 중에서 어느 하나로 매핑될 수 있다. 예컨대, 디스패리티는 물리적인 픽셀의 크기로 표현될 수 있으나 이에 한정되는 것은 아니다. 또한, 디스패리티의 제1값과 디스패리티의 제2값은 설명을 위해 예시된 것에 불과하다.
컨트롤러(300)는 위상 검출 픽셀마다 계산된 디스패리티를 이용하여 깊이 맵을 생성할 수 있다(S180). 예컨대, 컨트롤러(300)는 각 윈도우(WINDOW1과 WINDOW2)를 이용하여 위상 그래프들을 생성하므로, 깊이 맵의 크기는 제1위상 검출 픽셀 데이터(PDATA1)의 크기보다 작을 수 있고 깊이 맵의 크기는 제2위상 검출 픽셀 데이터(PDATA2)의 크기보다 작을 수 있다.
도 1부터 도 14를 참조하여 설명한 바와 같이, S130부터 S180은 ISP(310)의 CPU(315) 또는 AP(300)의 CPU(320)에 의해 실행될 수 있다. 즉, ISP(310)의 CPU (315) 또는 AP(300)의 CPU(320)는 본 발명의 실시 예에 따른 깊이 맵을 생성할 수 있는 컴퓨터 프로그램을 실행할 수 있다.
도 15는 본 발명의 다른 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 15를 참조하면, 데이터 처리 시스템(100A)은 이미징 장치(200), ISP (310), AP(300A), 메모리(400), 및 디스플레이(500)를 포함할 수 있다.
도 1과 도 15를 참조하면, ISP(310)는 AP(300A)의 외부에 구현될 수 있다.
ISP(310)의 CPU(315)는 이미징 장치(200)로부터 출력된 위상 검출 픽셀들 (210A와 210B)의 위치 정보(COOR)를 수신할 수 있다. ISP(310)의 CPU(315)는 이미징 장치(200)로부터 출력된 이미지 데이터(RDATA)를 메모리(400)에 저장하고, 위상 검출 픽셀들의 위치 정보(COOR)를 이용하여 메모리(400)에 저장된 이미지 데이터 (RDATA)로부터 위상 검출 픽셀 데이터(PDATA), 예컨대, 제1위상 검출 픽셀 데이터 (PDATA1)와 제2위상 검출 픽셀 데이터(PDATA2)를 추출할 수 있다.
ISP(310)의 CPU(315)는 제1윈도우(WINDOW1)를 이동시켜가면서 제1위상 검출 픽셀 데이터(PDATA1)에 대한 제1위상 그래프들을 계산하고 제2윈도우(WINDOW2)를 이동시켜가면서 제2위상 검출 픽셀 데이터(PDATA2)에 대한 제2위상 그래프들을 계산할 수 있다.
ISP(310)의 CPU(315)는 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 위상 검출 픽셀마다 디스패리티를 계산하고, 상기 위상 검출 픽셀마다 계산된 디스패리티를 이용하여 깊이 맵(MAP)을 생성할 수 있다. ISP(310)의 CPU(315)에 의해 계산된 깊이 맵(MAP)은 AP(300A)로 전송될 수 있다. AP(320)의 CPU(320)는 이미지 데이터(RDATA)에 포함된 컬러 데이터와 깊이 맵(MAP)을 이용하여 3차원 콘텐츠 또는 3차원 이미지 데이터를 생성할 수 있다.
도 16은 장면과 상기 장면에 대한 본 발명의 실시 예에 따른 깊이 맵을 나타낸다. 도 16의 왼쪽 그림은 이미징 장치(200)에 의해 캡처될 장면을 나타내고, 도 16의 오른쪽 그림은 제1CPU(315) 또는 제2CPU(320)에 의해 생성된 깊이 맵을 나타낸다. 예컨대, 장면이 이미징 장치(200)와 상대적으로 가까울 때 그레이 레벨은 높게(예컨대, 밝고) 표현되고, 상기 장면이 이미징 장치(200)와 상대적으로 멀 때 그레이 레벨은 낮게(예컨대, 어둡게) 표현될 수 있다. 즉, 장면과 이미징 장치(200) 사이의 거리에 따라 깊이 맵의 그레이 레벨은 서로 다르게 표현될 수 있다.
도 17은 본 발명의 실시 예에 따른 깊이 맵을 이용하여 ROI(region of interest)에 대한 자동 초점을 설명하기 위한 개념도이다.
도 16과 도 17을 참조하면, 깊이 맵은 3개의 ROI들(IM1, IM2, 및 IM3)을 포함한다고 가정한다. ROI(IM1)가 가장 가까이에 있고 ROI(IM1)이 가장 멀리에 있다고 가정한다.
사용자가 ROI들(IM1, IM2, 및 IM3) 중에서 어느 하나의 ROI를 선택하면, 제1CPU(315) 또는 제2CPU(320)는 상기 사용자에 의해 선택된 ROI에 대한 자동 초점을 위한 제어 신호를 생성하고, 상기 제어 신호를 이미징 장치(200)의 액추에이터 (207)로 전송할 수 있다. 액추에이터(207)는, 상기 제어 신호에 응답하여, 자동 초점을 위해 렌즈(205)의 이동을 제어할 수 있다. 예컨대, 액추에이터(207)는 선택된 ROI에 대한 자동 초점을 정확하게 맞추기 위해 렌즈(205)의 이동을 제어할 수 있다. 따라서, 제1CPU(315) 또는 제2CPU(320)는 선택된 ROI에 포함된 사용자의 제스처 또는 포즈를 인식할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100, 100A: 데이터 처리 시스템
200: 이미징 장치
205: 렌즈
210: 픽셀 어레이
220: 데이터 처리 회로
300: 컨트롤러 또는 애플리케이션 프로세서
310: 이미지 신호 프로세서
315: 제1CPU 또는 이미지 신호 프로세서의 CPU
320: 제2CPU 또는 애플리케이션 프로세서의 CPU
400: 메모리

Claims (10)

  1. CPU를 포함하는 이미지 신호 프로세서에 있어서,
    상기 CPU는,
    위상 검출 픽셀들의 위치 정보와 이미지 데이터를 이미징 장치로부터 수신하고, 상기 위상 검출 픽셀들의 위치 정보를 이용하여 상기 이미지 데이터로부터 제1위상 검출 픽셀 데이터와 제2위상 검출 픽셀 데이터를 추출하고, 제1윈도우를 이동시켜가면서 상기 제1위상 검출 픽셀 데이터로부터 제1위상 그래프들을 계산하고, 제2윈도우를 이동시켜가면서 상기 제2위상 검출 픽셀 데이터로부터 제2위상 그래프들을 계산하고, 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 상기 위상 검출 픽셀들에 대한 디스패리티들을 계산하고, 상기 디스패리티들을 이용하여 깊이 맵을 생성하고,
    상기 제1윈도우의 크기는 n x m 픽셀이고(상기 n, m은 2보다 큰 자연수),
    제1시점에 제1위치에 존재하는 상기 제1윈도우를 이용하여, 상기 제1윈도우의 상기 제1위상 그래프의 제1축 값을 상기 제1윈도우의 각 컬럼의 값들의 합 또는 상기 제1윈도우의 각 로우의 값들의 합으로서 계산하고,
    상기 제2윈도우의 크기는 n x m 픽셀이고(상기 n, m은 2보다 큰 자연수),
    상기 제1시점에 상기 제1위치에 존재하는 상기 제2윈도우를 이용하여, 상기 제2윈도우의 상기 제2위상 그래프의 제1축 값을 상기 제2윈도우의 각 컬럼의 값들의 합 또는 상기 제2윈도우의 각 로우의 값들의 합으로서 계산하는 이미지 신호 프로세서.
  2. 제1항에 있어서, 상기 CPU는,
    상기 디스패리티들을 그레이 레벨들로 변환하고,
    상기 그레이 레벨들을 이용하여 상기 깊이 맵을 생성하는 이미지 신호 프로세서.
  3. 컬러 픽셀들과 위상 검출 픽셀들을 포함하는 이미징 장치; 및
    제1CPU를 포함하는 이미지 신호 프로세서, 및 제2CPU를 포함하는 애플리케이션 프로세서를 포함하고,
    상기 제1CPU와 상기 제2CPU 중에서 어느 하나는,
    상기 위상 검출 픽셀들의 위치 정보와 이미지 데이터를 상기 이미징 장치로부터 수신하고, 상기 위상 검출 픽셀들의 상기 위치 정보를 이용하여 상기 이미지 데이터로부터 제1위상 검출 픽셀 데이터와 제2위상 검출 픽셀 데이터를 추출하고, 제1윈도우를 이동시켜가면서 상기 제1위상 검출 픽셀 데이터로부터 제1위상 그래프들을 계산하고, 제2윈도우를 이동시켜가면서 상기 제2위상 검출 픽셀 데이터로부터 제2위상 그래프들을 계산하고, 상기 제1위상 그래프들과 상기 제2위상 그래프들을 이용하여 상기 위상 검출 픽셀들에 대한 디스패리티들을 계산하고, 상기 디스패리티들을 이용하여 깊이 맵을 생성하며,
    상기 제1윈도우의 크기는 n x m 픽셀이고(상기 n, m은 2보다 큰 자연수),
    제1시점에 제1위치에 존재하는 상기 제1윈도우를 이용하여, 상기 제1윈도우의 상기 제1위상 그래프의 제1축 값을 상기 제1윈도우의 각 컬럼의 값들의 합 또는 상기 제1윈도우의 각 로우의 값들의 합으로서 계산하고,
    상기 제2윈도우의 크기는 n x m 픽셀이고(상기 n, m은 2보다 큰 자연수),
    상기 제1시점에 상기 제1위치에 존재하는 상기 제2윈도우를 이용하여, 상기 제2윈도우의 상기 제2위상 그래프의 제1축 값을 상기 제2윈도우의 각 컬럼의 값들의 합 또는 상기 제2윈도우의 각 로우의 값들의 합으로서 계산하는 모바일 컴퓨팅 장치.
  4. 제3항에 있어서,
    상기 위상 검출 픽셀들의 상기 위치 정보와 상기 이미지 데이터를 저장하는 메모리를 더 포함하는 모바일 컴퓨팅 장치.
  5. 제3항에 있어서, 상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는,
    상기 디스패리티들을 그레이 레벨들로 변환하고, 상기 그레이 레벨들을 이용하여 상기 깊이 맵을 생성하는 모바일 컴퓨팅 장치.
  6. 제3항에 있어서, 상기 애플리케이션 프로세서는 그래픽스 프로세싱 유닛을 더 포함하고,
    상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는 상기 이미지 데이터에 포함된 컬러 데이터와 상기 깊이 맵을 이용하여 3차원 이미지 데이터를 생성하고,
    상기 그래픽스 프로세싱 유닛은 상기 3차원 이미지 데이터를 렌더링하는 모바일 컴퓨팅 장치.
  7. 제3항에 있어서, 상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는,
    상기 깊이 맵을 이용하여 상기 이미지 데이터에 해당하는 사용자의 제스처를 판단하는 모바일 컴퓨팅 장치.
  8. 제3항에 있어서, 상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는,
    상기 깊이 맵을 이용하여 ROI(region of interest)에 대한 자동 초점을 위한 제어 신호를 생성하고 상기 제어 신호를 상기 이미징 장치로 전송하는 모바일 컴퓨팅 장치.
  9. 제3항에 있어서, 상기 제1CPU와 상기 제2CPU 중에서 상기 어느 하나는,
    서로 동일한 크기를 갖는 상기 제1윈도우와 상기 제2윈도우를 설정하고, 상기 제1윈도우와 상기 제2윈도우를 스캐닝 방향을 따라 동시에 이동시키면서 상기 제1위상 그래프들 각각과 상기 제2위상 그래프들 각각을 생성하는 모바일 컴퓨팅 장치.
  10. 제3항에 있어서,
    상기 제1위상 검출 픽셀 데이터와 상기 제2위상 검출 픽셀 데이터 각각의 크기는 상기 깊이 맵의 크기보다 큰 모바일 컴퓨팅 장치.
KR1020150032452A 2015-03-09 2015-03-09 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치 KR102299575B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150032452A KR102299575B1 (ko) 2015-03-09 2015-03-09 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
US15/063,109 US9824417B2 (en) 2015-03-09 2016-03-07 Image signal processor for generating depth map from phase detection pixels and device having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150032452A KR102299575B1 (ko) 2015-03-09 2015-03-09 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치

Publications (2)

Publication Number Publication Date
KR20160108955A KR20160108955A (ko) 2016-09-21
KR102299575B1 true KR102299575B1 (ko) 2021-09-07

Family

ID=56887796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150032452A KR102299575B1 (ko) 2015-03-09 2015-03-09 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치

Country Status (2)

Country Link
US (1) US9824417B2 (ko)
KR (1) KR102299575B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI604221B (zh) * 2016-05-27 2017-11-01 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
US10074183B1 (en) * 2016-06-03 2018-09-11 Amazon Technologies, Inc. Image alignment correction for imaging processing during operation of an unmanned aerial vehicle
US10803546B2 (en) * 2017-11-03 2020-10-13 Baidu Usa Llc Systems and methods for unsupervised learning of geometry from images using depth-normal consistency
KR20210065939A (ko) 2018-09-28 2021-06-04 소니 세미컨덕터 솔루션즈 가부시키가이샤 합초도 검출 장치, 심도 맵 생성 장치, 및, 전자 기기
US11238604B1 (en) * 2019-03-05 2022-02-01 Apple Inc. Densifying sparse depth maps
JP7427370B2 (ja) * 2019-05-17 2024-02-05 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
CN110619629B (zh) * 2019-09-10 2022-11-25 苏州浪潮智能科技有限公司 一种cpu插座检测方法和设备
CN110475071B (zh) * 2019-09-19 2021-06-04 厦门美图之家科技有限公司 相位对焦方法、装置、电子设备和机器可读存储介质
CN112866543B (zh) * 2019-11-12 2022-06-14 Oppo广东移动通信有限公司 对焦控制方法和装置、电子设备、计算机可读存储介质
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
EP4164221A1 (en) * 2021-10-07 2023-04-12 iSize Limited Processing image data
CN114557012A (zh) * 2022-01-11 2022-05-27 北京小米移动软件有限公司 信息上报、信息接收方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012150289A (ja) * 2011-01-19 2012-08-09 Olympus Corp 画像処理装置、撮像装置、および画像処理方法
US20130033575A1 (en) * 2011-08-04 2013-02-07 Sony Corporation Image processing apparatus, image processing method, and program
KR101373132B1 (ko) 2013-09-03 2014-03-14 (주)실리콘화일 마이크로 렌즈를 이용한 위상차 검출 픽셀

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7333652B2 (en) * 2004-08-03 2008-02-19 Sony Corporation System and method for efficiently performing a depth map recovery procedure
US7711201B2 (en) * 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
JP5197083B2 (ja) 2008-03-21 2013-05-15 キヤノン株式会社 撮像装置及びその制御方法
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
KR20100072772A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
KR101020999B1 (ko) * 2009-01-05 2011-03-09 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
JP5214811B2 (ja) * 2009-11-13 2013-06-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
EP2579568B1 (en) 2010-05-28 2018-11-28 Sony Corporation Imaging device and imaging method
JP5641200B2 (ja) * 2010-05-28 2014-12-17 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
US9053562B1 (en) * 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP5764884B2 (ja) 2010-08-16 2015-08-19 ソニー株式会社 撮像素子および撮像装置
JP5825817B2 (ja) 2011-04-01 2015-12-02 キヤノン株式会社 固体撮像素子及び撮像装置
JP5814692B2 (ja) * 2011-08-15 2015-11-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム
WO2013038598A1 (ja) 2011-09-14 2013-03-21 株式会社ニコン 撮像素子、撮像装置および画像処理装置
KR20130038035A (ko) 2011-10-07 2013-04-17 삼성전자주식회사 촬상소자
US9411042B2 (en) * 2012-05-09 2016-08-09 Duke University Multi-sensor compressive imaging
JP2013258675A (ja) 2012-05-16 2013-12-26 Canon Inc 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
KR101985674B1 (ko) * 2012-09-18 2019-06-04 삼성전자 주식회사 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
US8913037B1 (en) * 2012-10-09 2014-12-16 Rawles Llc Gesture recognition from depth and distortion analysis
JP2016510473A (ja) * 2013-02-12 2016-04-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ デプスマップのコンテンツを強化するための方法およびデバイス
KR102028124B1 (ko) 2013-05-24 2019-10-02 삼성전자주식회사 위상차 초점검출 가능한 촬상소자
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
JP2015033103A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
KR102283423B1 (ko) * 2014-12-18 2021-07-30 엘지이노텍 주식회사 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012150289A (ja) * 2011-01-19 2012-08-09 Olympus Corp 画像処理装置、撮像装置、および画像処理方法
US20130033575A1 (en) * 2011-08-04 2013-02-07 Sony Corporation Image processing apparatus, image processing method, and program
KR101373132B1 (ko) 2013-09-03 2014-03-14 (주)실리콘화일 마이크로 렌즈를 이용한 위상차 검출 픽셀

Also Published As

Publication number Publication date
KR20160108955A (ko) 2016-09-21
US20160267666A1 (en) 2016-09-15
US9824417B2 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
KR102299575B1 (ko) 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
US10621729B2 (en) Adaptive focus sweep techniques for foreground/background separation
US9712755B2 (en) Information processing method, apparatus, and program for correcting light field data
WO2019105262A1 (zh) 背景虚化处理方法、装置及设备
CN105659580B (zh) 一种自动对焦方法、装置及电子设备
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
US20160269620A1 (en) Phase detection autofocus using subaperture images
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
KR102360424B1 (ko) 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템
WO2021093635A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2020067748A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2018129692A1 (en) Image refocusing
US8929685B2 (en) Device having image reconstructing function, method, and recording medium
TW202143112A (zh) 運用相位偵測自動對焦（ｐｄａｆ）光學系統的方法和裝置
US20220366588A1 (en) Electronic device for generating depth information of region of interest and operation method thereof
US8542312B2 (en) Device having image reconstructing function, method, and storage medium
JP2016208075A (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
US20220279127A1 (en) Image signal processor for performing auto zoom and auto focus, image processing method thereof, and image processing system including the image signal processor
CN106101542B (zh) 一种图像处理方法及终端
TW202009790A (zh) 手勢識別方法、手勢識別模組及手勢識別系統
JP6579764B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9769358B2 (en) Information processing apparatus, information processing method, and storage medium
CN112866554B (zh) 对焦方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant