KR20130127867A - 스테레오 비전 장치와 이의 제어 방법 - Google Patents

스테레오 비전 장치와 이의 제어 방법 Download PDF

Info

Publication number
KR20130127867A
KR20130127867A KR1020120051696A KR20120051696A KR20130127867A KR 20130127867 A KR20130127867 A KR 20130127867A KR 1020120051696 A KR1020120051696 A KR 1020120051696A KR 20120051696 A KR20120051696 A KR 20120051696A KR 20130127867 A KR20130127867 A KR 20130127867A
Authority
KR
South Korea
Prior art keywords
stereo images
stereo
regions
auto
depth information
Prior art date
Application number
KR1020120051696A
Other languages
English (en)
Inventor
김동훈
김동우
윤기현
정준우
최종성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120051696A priority Critical patent/KR20130127867A/ko
Priority to US13/830,929 priority patent/US20130307938A1/en
Publication of KR20130127867A publication Critical patent/KR20130127867A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

스테레오 비전 장치의 제어 방법은 스테레오 이미지들을 분석하여 깊이 정보를 계산하는 단계와, 상기 깊이 정보를 이용하여 상기 스테레오 이미지들 각각에 관심 영역들 각각을 설정하는 단계와, 상기 관심 영역들 각각에 대해 오토 포커스 동작을 수행하는 단계를 포함한다.

Description

스테레오 비전 장치와 이의 제어 방법{Stereo vision apparatus and control method thereof}
본 발명은 3D 디스플레이 기술에 관한 것으로, 특히 3A(Auto Focus, Auto Exposure, 및 Auto White Balance)를 제어할 수 있는 스테레오 비전 장치 및 이의 제어 방법에 관한 것이다.
3D 디스플레이 기술은 3D 디스플레이 장치를 이용하여 3D 이미지를 보는 사람(viewer)에게 제공하는 기술이다.
상기 3D 디스플레이 장치는 스테레오 비전 장치일 수 있다. 상기 스테레오 비전 장치는 2개의 오프셋 이미지들(two offset images)을 보는 사람(viewer)의 왼쪽 눈과 오른쪽 눈에 떨어져서 나타냄으로써 이미지에서 영상의 깊이(illusion of depth)를 생성하거나 향상시키기 위한 장치이다.
상기 보는 사람이 피로나 불편을 느끼지 않게 하기 위해 2개의 오프셋 이미지들 또는 스테레오 이미지들은 동일한 퀄리티(identical quality)를 가져야 한다.
그러나, 스테레오 이미지들 각각을 생성하는 이미지 센서들 각각의 앞에 위치한 렌즈들 각각이 서로 객체에 대해 포커싱(focusing)할 때, 상기 스테레오 이미지들은 서로 다른 퀄리티를 가질 수 있다. 이는 오토 포커스(auto focus)에 관련된다.
이미지 센서들 각각이 서로 다른 노출 시간을 가질 때, 스테레오 이미지들은 서로 다른 퀄리티를 가질 수 있다. 이는 오토 익스포져(auto exposure)에 관련된다.
또한, 이미지 센서들 각각이 서로 다른 오토 화이트 밸런스 파라미터(auto white balance parameter)를 가질 때, 스테레오 이미지들은 서로 다른 퀄리티를 가질 수 있다. 이는 오토 화이트 밸런스(auto white balance)에 관련된다.
따라서, 스테레오 이미지들이 동일한 퀄리티를 가지기 위해 3A(auto focus, auto exposure, 및 auto white balance)를 제어하기 위한 방법이 필요하다.
본 발명이 이루고자 하는 기술적인 과제는 3A(auto focus, auto exposure, 및 auto white balance)를 제어할 수 있는 스테레오 비전 장치 및 이의 제어 방법을 제공하는 것이다.
본 발명의 실시 예에 따른 스테레오 비전 장치의 제어 방법은 스테레오 이미지들을 분석하여 깊이 정보를 계산하는 단계와, 상기 깊이 정보를 이용하여 상기 스테레오 이미지들 각각에 관심 영역들 각각을 설정하는 단계와, 상기 관심 영역들 각각에 대해 오토 포커스 동작을 수행하는 단계를 포함한다.
실시 예에 따라, 상기 방법은 상기 관심 영역들 각각에 대해 오토 익스포져 동작을 수행하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 방법은 상기 깊이 정보에 따라 상기 스테레오 이미지들 각각을 서브 영역들로 분할하는 단계와, 상기 분할된 스테레오 이미지들 각각에 대해 오토 화이트 밸런스 동작을 수행하는 단계를 더 포함할 수 있다.
상기 서브 영역들 각각은 각각의 서로 다른 서브 파라미터를 포함한다. 상기 서브 파라미터들의 합은 오토 화이트 밸런스 파라미터와 같을 수 있다.
실시 예에 따라, 상기 방법은 상기 오토 포커싱된 스테레오 이미지들 각각에 대해 컬러 보상 동작을 수행하는 단계를 더 포함할 수 있다.
상기 컬러 보상 동작을 수행하는 단계는 상기 깊이 정보에 따라 상기 오토 포커싱된 스테레오 이미지들 각각에서 로컬 영역들 각각을 선택하는 단계와, 상기 선택된 로컬 영역들 각각에 대해 상기 컬러 보상 동작을 수행하는 단계를 포함한다.
본 발명의 실시 예에 따른 스테레오 비전 장치는 스테레오 이미지들을 출력하는 이미지 센서들과, 각각이 상기 이미지 센서들 각각 앞에 위치하는 렌즈들, 상기 스테레오 이미지들을 분석하여 깊이 정보를 계산하고, 상기 깊이 정보를 이용하여 상기 스테레오 이미지들 각각에 관심 영역들 각각을 설정하는 이미지 신호 프로세서, 및 상기 관심 영역들 각각을 포커싱하기 위해 상기 렌즈들 각각의 위치를 조절하는 오토 포커스 컨트롤러를 포함한다.
실시 예에 따라, 상기 스테레오 비전 장치는 상기 관심 영역들 각각에 대해 상기 이미지 센서들 각각의 노출 시간을 조절하는 오토 익스포져 컨트롤러를 더 포함할 수 있다.
상기 이미지 신호 프로세서는 상기 깊이 정보에 따라 상기 스테레오 이미지들 각각을 서브 영역들로 분할한다.
상기 서브 영역들 각각은 서로 다른 서브 파라미터를 포함한다.
실시 예에 따라, 상기 스테레오 비전 장치는 상기 분할된 스테레오 이미지들 각각에 대해 오토 화이트 밸런스 동작을 수행하기 위해 상기 이미지 센서들 각각을 제어하는 이미지 오토 화이트 밸런스 컨트롤러를 더 포함할 수 있다.
상기 이미지 신호 프로세서는 상기 오토 포커스된 스테레오 이미지들 각각에 대해 컬러 보상 동작을 수행할 수 있다.
상기 이미지 신호 프로세서는 상기 깊이 정보에 따라 상기 오토 포커스된 스테레오 이미지들 각각에서 로컬 영역들 각각을 선택하고, 상기 선택된 로컬 영역들 각각에 대해 상기 컬러 보상 동작을 수행할 수 있다.
상기 스테레오 비전 장치는 3D 디스플레이 장치이다.
본 발명의 실시 예에 따른 스테레오 비전 장치 및 이의 제어 방법은 깊이 정보를 이용하여 3A(auto focus, auto exposure, 및 auto white balance)를 제어함으로써 스테레오 이미지들의 동일한 퀄리티를 보장할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 스테레오 비전 장치의 블록도를 나타낸다.
도 2는 도 1에 도시된 이미지 센서들에 의해 생성되는 스테레오 이미지들을 나타낸다.
도 3은 도 1에 도시된 이미지 신호 프로세서에 의해 설정되는 관심 영역들 각각을 포함하는 이미지들 각각을 나타낸다.
도 4는 도 1에 도시된 오토 포커스 컨트롤러의 동작을 설명하기 위한 다이어그램을 나타낸다.
도 5는 도 1에 도시된 오토 포커스 컨트롤러의 동작을 설명하기 위한 그래프를 나타낸다.
도 6은 도 1에 도시된 오토 화이트 밸런스 컨트롤러의 동작을 설명하기 위한 이미지들을 나타낸다.
도 7은 도 1에 도시된 이미지 신호 프로세서에 의해 수행되는 컬러 보상 동작의 일 실시 예를 설명하기 위한 이미지들을 나타낸다.
도 8은 도 1에 도시된 이미지 신호 프로세서에 의해 수행되는 컬러 보상 동작의 일 실시 예를 설명하기 위한 히스토그램들을 나타낸다.
도 9는 도 1에 도시된 이미지 신호 프로세서에 의해 수행되는 컬러 보상 동작의 다른 실시 예를 설명하기 위한 이미지들을 나타낸다.
도 10은 도 1에 도시된 스테레오 비전 장치의 동작을 설명하기 위한 흐름도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 스테레오 비전 장치의 블록도를 나타내며, 도 2는 도 1에 도시된 이미지 센서들에 의해 생성되는 스테레오 이미지들을 나타낸다.
도 1과 도 2를 참조하면, 스테레오 비전 장치(stereo vision device; 100)는 스테레오 이미지들을 3D 디스플레이(60)에 디스플레이함으로써 보는 사람에게 3D 이미지들을 제공하는 장치이다.
예컨대, 스테레오 비전 장치(100)는 이동 전화기, 태블릿 PC(tablet persinal computer), 또는 랩탑(laptop) 컴퓨터와 같은 3D 디스플레이 장치일 수 있다.
스테레오 비전 장치(100)는 렌즈 모듈들(11과 21), 이미지 센서들(13과 23), 오토 포커스 컨트롤러들(auto focus controllers; 15과 25), 오토 익스포져 컨트롤러들(auto exposure controllers; 17과 27), 오토 화이트 밸런스 컨트롤러들(auto white balance controllers; 19과 29), 이미지 신호 프로세서(image signal processor(ISP); 40), 메모리(50), 및 3D 디스플레이(60)를 포함한다.
메모리(50)는 ISP(40)에 의해 처리된 스테레오 이미지들 (LI와 RI)을 저장할 수 있다.
메모리(50)는 ROM(read only memory), PROM(programmable read only memory), EPROM(erasable programmable read only memory), EEPROM (electrically erasable programmable read only memory), 플래시 메모리(flash memory), FRAM (ferroelectrics random access memory), MRAM(magnetic random access memory), PRAM(phase change random access memory), NRAM(nano random access memory), SONOS(silicon-oxide-nitride-oxide-silicon), 저항 메모리 (resistive memory) 또는 레이스트랙 메모리(racetrack memory)로 구현될 수 있다.
3D 디스플레이(60)는 ISP(40)에 의해 처리된 스테레오 이미지들(LI와 RI)을 디스플레이할 수 있다.
각 요소(element; 40, 50, 및 60)는 버스(41)를 통해 서로 통신할 수 있다.
이미지 센서들(13과 23) 각각은 렌즈 모듈들(11과 21) 각각을 통해 스테레오 이미지들(LI과 RI) 각각을 생성한다.
제1이미지 센서(13)는 레프트 이미지들(LIi, i는 1부터 n, 집합적으로 "LI"라 한다)을 생성한다. 레프트 이미지들(LI)은 복수의 레프트 이미지들(LI1~LIn; n은 자연수)을 포함한다.
제2이미지 센서(23)는 라이트 이미지들(RIi, i는 1부터 n, 집합적으로 "RI"라 한다)을 생성할 수 있다. 라이트 이미지들(RI)은 복수의 라이트 이미지들 (RI1~RIn; n은 자연수)을 포함한다.
도 1에서는 설명의 편의를 위해, 2개의 이미지 센서들(13과 23)과 2개의 렌즈 모듈들(11과 21)을 도시하였으나, 실시 예에 따라 이미지 센서들의 수와 렌즈 모듈들의 수는 다양하게 할 수 있다.
예컨대, 이미지 센서들과 렌즈 모듈들 각각이 4개일 때, 상기 이미지 센서들 중에서 2개의 이미지 센서들로부터 생성되는 이미지들은 레프트 이미지들(LI)을 형성하기 위해 사용될 수 있고, 나머지 2개의 이미지 센서들로부터 생성되는 이미지들은 라이트 이미지들(RI)을 형성하기 위해 사용될 수 있다.
ISP(40)는 스테레오 비전 장치(100)의 각 요소(13, 15, 17, 19, 23, 25, 27, 및 29)를 제어하기 위해 이용된다.
ISP(40)는 이미지 센서들(13과 23)로부터 출력되는 스테레오 이미지들(LI과 RI)을 분석하고 분석의 결과에 따라 깊이 정보(depth information)를 계산할 수 있다.
예컨대, ISP(40)는 윈도우 매칭 방법(window matching method) 또는 점 대응 분석(point correspondence analysis)을 이용하여 깊이 정보를 계산할 수 있다.
즉, ISP(40)는 스테레오 이미지들(LI과 RI) 각각에 적어도 하나의 윈도우를 설정하거나 스테레오 이미지들(LI과 RI) 각각으로부터 특징 점들(feature points)을 검출할 수 있다. 윈도우들이 설정되며, 상기 윈도우들의 크기, 위치, 또는 개수는 실시 예에 따라 달라질 수 있다.
상기 특징 점들은 이미지 처리를 위해 스테레오 이미지들(LI과 RI)에서 흥미로운 부분(interesting part)을 의미한다. 예컨대, 특징 점들은 SIFT(scale invariant feature transform) 또는 SURF(speeded up robust feature)와 같은 알고리즘에 의해 검출될 수 있다.
ISP(40)는 스테레오 이미지들(LI와 RI) 각각의 윈도우들을 서로 비교하거나 또는 스테레오 이미지들(LI와 RI) 각각의 특징 점들을 서로 비교하고, 비교의 결과에 따라 깊이 정보를 계산할 수 있다.
상기 깊이 정보는 스테레오 이미지들(LI과 RI)의 차이들(disparities)을 이용하여 계산된다. 상기 깊이 정보는 그레이 스케일(gray scale)로 표현될 수 있다.
각 객체가 이미지 센서들(13과 23) 각각에 가까울수록 그레이 스케일은 흰색으로 표현되고, 각 객체가 이미지 센서들(13과 23) 각각으로부터 멀어질수록 그레이 스케일은 검은색으로 표현된다.
도 3은 도 1에 도시된 이미지 신호 프로세서에 의해 설정되는 관심 영역들 각각을 포함하는 이미지들 각각을 나타낸다.
도 1부터 도 3을 참조하면, ISP(40)는 깊이 정보를 이용하여 스테레오 이미지들(LI과 RI) 각각에서 관심 영역들(region of interest; 예컨대, ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각을 설정할 수 있다.
예컨대, ISP(40)는 계산된 깊이 정보를 이용하여 임의로 이미지 센서들(13과 23) 각각과 객체(예컨대, 집) 사이의 거리를 결정하고, 결정된 거리에 따라 스테레오 이미지들(LI과 RI) 각각에 상기 객체(예컨대, 집)를 포함하는 관심 영역들( ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각을 설정할 수 있다.
관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각의 크기 및/또는 모양은 실시 예에 따라 달라질 수 있다.
그러나, 제1관심 영역들(ROI1-1~ROI1-n) 각각과 제2관심 영역들(ROI2-1~ROI2-n) 각각은 서로 같은 크기 및/또는 모양을 갖는다.
제1관심 영역들(ROI1-1~ROI1-n) 각각의 위치와 제2관심 영역들(ROI2-1~ROI2-n) 각각의 위치는 서로 같다. 또한, 실시 예에 따라, 스테레오 이미지들(LI과 RI) 각각에 하나 이상의 관심 영역이 포함될 수 있다. 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각은 오토 포커스 동작 및/또는 오토 익스포져 동작을 수행하는데 이용될 수 있다.
ISP(40)는, 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각에 대해 오토 포커스 동작을 수행하기 위해, 오토 포커스 컨트롤러들(15과 25)을 제어한다.
실시 예에 따라, 렌즈 모듈들(11과 21) 각각을 제어하기 위해 스테레오 비전 장치(100)는 2개의 오토 포커스 컨트롤러들(15과 25) 대신에 하나의 오토 포커스 컨트롤러를 포함할 수 있다.
도 4는 도 1에 도시된 오토 포커스 컨트롤러의 동작을 설명하기 위한 다이어그램을 나타낸다.
도 1부터 도 4를 참조하면, 제1렌즈 모듈(11)은 배렐(barrel; 9)과 렌즈(12)를 포함한다. 렌즈(12)는 배렐(9) 내에서 이동될 수 있다.
제1오토 포커스 컨트롤러(15)는, ISP(40)의 제어 하에, 렌즈(12)의 움직임을 제어할 수 있다. 렌즈(12)는, 제1오토 포커스 컨트롤러(15)의 제어 하에, 탐색 영역(searching area(SA)) 내에서 움직일 수 있다. ISP(40)는 제1관심 영역들(ROI1-1~ROI1-n) 각각에서 렌즈(120)의 위치들(LP1~LP3) 각각에 따른 대조 값들(contrast values) 각각을 측정할 수 있다.
제2오토 포커스 컨트롤러(25)의 구조와 동작은 제1오토 포커스 컨트롤러(15)의 구조와 동작과 실질적으로 동일하므로, 제2오토 포커스 컨트롤러(25)의 구조와 동작에 대한 설명은 생략한다.
도 5는 도 1에 도시된 오토 포커스 컨트롤러의 동작을 설명하기 위한 그래프를 나타낸다.
도 5에서 x축은 도 4에 도시된 렌즈(12)와 제1이미지 센서(13) 사이의 거리를 나타내고, y축은 포커스 값(focus value)을 나타낸다.
도 1부터 도 5를 참조하면, 대조 값은 도 5에 도시된 포커스 값(FV)을 의미할 수 있다.
ISP(40)는 레프트 이미지들(LI)이 가장 높은 포커스 값(FVbst)을 갖도록 제1오토 포커스 컨트롤러(15)를 제어한다. 제1오토 포커스 컨트롤러(15)는 ISP(40)의 제어 하에 가장 높은 포커스 값(FVbst)에 대응되는 위치(LP1)에 렌즈(12)가 위치하도록 렌즈(12)의 위치를 조절한다.
스테레오 이미지들(LI와 RI) 각각이 자연 장면들(natural scenes)과 같이 복잡한 배경(complicated background)을 갖거나 또는 움직이는 객체를 갖더라도, 스테레오 비전 장치(100)는 깊이 정보에 따라 스테레오 이미지들(LI와 RI) 각각에 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각을 설정하고, 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각에 대해 오토 포커스 동작을 수행한다. 따라서, 스테레오 이미지들(LI과 RI)은 동일한 퀄리티를 가질 수 있다.
ISP(40)는, 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각에 대해 오토 익스포져 동작을 수행하기 위해, 오토 익스포져 컨트롤러들(17과 27)을 제어한다.
오토 익스포져 컨트롤러들(17과 27) 각각은 이미지 센서들(13과 23) 각각의 노출 시간(exposure time)을 제어한다. 여기서, 노출 시간은 각 이미지 센서(13 또는 23)에 포함된 포토다이오드(미도시)가 입사 광선에 얼마 동안 노출되었는가를 나타낸다.
스테레오 이미지들(LI와 RI) 각각의 배경이 햇빛(sunshine) 또는 하늘과 같이 큰 양의 광도(a huge amount of light intensity)를 감더라도, 스테레오 비전 장치(100)는 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각에 대해 오토 익스포져 동작을 수행한다. 따라서, 스테레오 이미지들(LI과 RI) 각각은 동일한 퀄리티를 가질 수 있다.
실시 예에 따라, 스테레오 비전 장치(100)는 2개의 오토 익스포져 컨트롤러들(17과 27) 대신에 하나의 오토 익스포져 컨트롤러를 포함할 수 있다.
도 6은 도 1에 도시된 오토 화이트 밸런스 컨트롤러의 동작을 설명하기 위한 이미지들을 나타낸다.
도 1부터 도 6을 참조하면, ISP(40)에 의해 계산된 깊이 정보에 따라 ISP (40)는 스테레오 이미지들(LI과 RI) 각각을 서브 영역들(S1~S6과 S1'~S6') 각각으로 분할할 수 있다.
예컨대, 제1서브 영역(S1)은 이미지 센서(13)와 객체 사이의 거리가 가까운 영역일 수 있고, 제2서브 영역(S6)은 이미지 센서(13)와 객체 사이의 거리가 먼 영역일 수 있다.
서브 파라미터들(α1~α6) 각각은 이미지(LI)에서 분할된 서브 영역들 (S1~S6) 각각에 대응된다. 또한, 서브 파라미터들(α1'~α6') 각각은 이미지(RI)에서 분할된 서브 영역들(S1'~S6') 각각에 대응된다.
서브 파라미터들(α1~α6) 각각와 서브 파라미터들(α1'~α6') 각각은 서로 같을 수 있다. 서브 파라미터들(α1~α6)의 합은 오토 화이트 밸런스 파라미터(αtotal)를 의미한다. 오토 화이트 밸런스 파라미터(αtotal)는 수학식 1과 같다.
[수학식 1]
Figure pat00001
여기서, 상기 i는 서브 파라미터의 순서를 나타내고, 상기 αi는 i번째 서브 파라미터를 나타내고, 상기 P는 자연수를 나타낸다.
오토 화이트 밸런스 파라미터(αtotal)는 레드 컴포넌트(red component), 그린 컴포넌트(green component), 또는 블루 컴포넌트(blue component)이다. 상기 레드 컴포넌트, 상기 그린 컴포넌트, 또는 상기 블루 컴포넌트에 의해 스테레오 이미지들(LI와 RI)에 포함된 픽셀들 각각의 컬러가 표현된다.
ISP(40)는, 오토 화이트 밸런스 동작을 수행하기 위해, 오토 화이트 밸런스 컨트롤러들(19과 29)을 제어한다.
상기 오토 화이트 밸런스 동작은 오토 화이트 밸런스 파라미터(αtotal)를 조절함으로써 수행된다. 조절된 오토 화이트 밸런스 파라미터(αadj)는 수학식 2과 같다.
[수학식 2]
Figure pat00002
여기서, 상기 αadj는 조절된 오토 화이트 밸런스 파라미터를 나타내고, 상기 αi는 i번째 서브 파라미터를 나타내고, 상기 wi는 조절된 i번째 오토 화이트 밸런스 파라미터(αadj)에 대응되는 이득(gain)을 나타낸다.
오토 화이트 밸런스 컨트롤러들(19과 29) 각각은, 이득들(wi) 각각을 조절하기 위해, ISP(40)의 제어 하에 이미지 센서들(13과 23) 각각을 제어한다.
스테레오 이미지들(LI와 RI) 각각이 혼합된 광원들(mixed light sources) 또는 큰 객체를 갖더라도, 스테레오 비전 장치(100)는 스테레오 이미지들(LI와 RI) 각각을 세분화하여 오토 화이트 밸런스 동작을 수행한다. 따라서, 스테레오 이미지들(LI과 RI) 각각은 동일한 퀄리티를 가질 수 있다.
실시 예에 따라, 스테레오 비전 장치(100)는 2개의 오토 화이트 밸런스 컨트롤러들(19과 29) 대신에 하나의 오토 화이트 밸런스 컨트롤러를 포함할 수 있다.
도 7은 도 1에 도시된 이미지 신호 프로세서에 의해 수행되는 컬러 보상 동작의 일 실시 예를 설명하기 위한 이미지들을 나타내며, 도 8은 도 1에 도시된 이미지 신호 프로세서에 의해 수행되는 컬러 보상 동작의 일 실시 예를 설명하기 위한 히스토그램들을 나타낸다.
도 1부터 도 8을 참조하면, 스테레오 이미지들(LI'와 RI') 각각이 동일한 퀄리티를 가지기 위해, 스테레오 비전 장치(10)가 3A(auto focus, auto exposure, 및 auto white balance)를 제어한다 하더라도, 스테레오 이미지들(LI'와 RI') 각각의 컬러 보상(color compensation)이 요구될 수 있다.
따라서 ISP(40)는 스테레오 이미지들(LI'와 RI') 각각에 대해 컬러 보상 동작을 수행할 수 있다. 스테레오 이미지들(LI'와 RI') 각각은 스테레오 이미지들(LI와 RI) 각각에 대해 오토 포커스 동작, 오토 익스포져 동작, 및/또는 오토 화이트 밸런스 동작이 수행된 후의 이미지들 각각을 의미한다.
ISP(40)는 스테레오 이미지들(LI'와 RI')을 서로 오버랩하여 오버랩되는 영역들(GR1과 GR2)을 계산한다.
ISP(40)는 오버랩되는 영역들(GR1과 GR2)에 대해 컬러 유사도(color similarity)를 계산한다.
예컨대, ISP(40)는 오버랩되는 영역들(GR1과 GR2) 각각에 대해 밝기의 분포를 나타내는 히스토그램들(H1과 H2) 각각을 생성할 수 있다.
제1히스토그램(H1)은 제1영역(GR1)에 대한 밝기 분포를 나타내고, 제2히스토그램(H2)은 제2영역(GR2)에 대한 밝기 분포를 나타낸다. 히스토그램들(H1과 H2) 각각에서 X-축은 밝기를 나타내고, Y-축은 컬러(예컨대, 레드(R), 그린(G), 또는 블루(B))별로 밝기 레벨에서의 픽셀 수를 나타낸다.
ISP(40)는 히스토그램들(H1과 H2) 각각을 서로 비교하고, 비교의 결과에 따라 차이(Δd)를 계산한다. ISP(40)는 차이(Δd)를 비교 계수로서 설정하고, 설정된 비교 계수를 이용하여 컬러 보상 동작을 수행할 수 있다.
도 9는 도 1에 도시된 이미지 신호 프로세서에 의해 수행되는 컬러 보상 동작의 다른 실시 예를 설명하기 위한 이미지들을 나타낸다.
도 1부터 도 9를 참조하면, ISP(40)는 깊이 정보에 따라 스테레오 이미지들 (LI''와 RI'') 각각에서 로컬 영역들(LR1과 RI1) 각각을 선택한다.
로컬 영역들(LR1-1과 LR2-1) 각각은 상기 깊이 정보에 따라 임의로 설정될 수 있다. 실시 예에 따라, 로컬 영역들(LR1-1과 LR2-1) 각각의 개수 또는 크기는 달라질 수 있다.
ISP(40)는 선택된 로컬 영역들(LR1-1과 LR2-1) 각각에 대해 컬러 보상 동작을 수행할 수 있다. 즉, ISP(40)는 로컬 영역들(LR1-1과 LR2-1)에 대해 컬러 유사도를 계산한다.
ISP(40)는 로컬 영역들(LR1-1과 LR2-1) 각각에 대한 밝기의 분포를 나타내는 히스토그램을 생성할 수 있다. ISP(40)는 히스토그램들 각각을 서로 비교하고, 비교의 결과에 따라 차이를 계산한다. ISP(40)는 상기 차이를 비교 계수로서 설정하고, 설정된 비교 계수를 이용하여 컬러 보상 동작을 수행할 수 있다.
도 10은 도 1에 도시된 스테레오 비전 장치의 동작을 설명하기 위한 흐름도를 나타낸다.
도 1부터 도 10을 참조하면, ISP(40)는 이미지 센서들(13과 23)에 의해 생성된 스테레오 이미지들(LI와 RI)을 분석하여 깊이 정보를 계산한다(S10).
ISP(40)는 상기 깊이 정보를 이용하여 스테레오 이미지들(LI과 RI) 각각에 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각을 설정할 수 있다(S20).
ISP(40)는 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각에 대해 오토 포커스 동작이 수행될 수 있도록 오토 포커스 컨트롤러들(15와 25) 각각을 제어한다(S30).
ISP(40)는 관심 영역들(ROI1-1~ROI1-n과 ROI2-1~ROI2-n) 각각에 대해 오토 익스포져 동작이 수행될 수 있도록 오토 익스포져 컨트롤러들(17과 27) 각각을 제어한다(S40).
ISP(40)는 상기 깊이 정보에 따라 스테레오 이미지들(LI과 RI) 각각을 서브 영역들(S1~S6과 S1'~S6')로 분할하고, 분할된 스테레오 이미지들 각각에 대해 오토 화이트 밸런스 동작이 수행되도록 오토 화이트 밸런스 컨트롤러들(19와 29) 각각을 제어한다(S50).
ISP(40)는 오토 포커스 동작, 오토 익스포져 동작, 및 오토 화이트 밸런스 동작이 수행된 스테레오 이미지들 각각에 대해 컬러 보상 동작을 수행한다(S60).
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100; 스테레오 비전 장치
11과 21; 렌즈 모듈들
13과 23; 이미지 센서들
15와 25; 오토 포커스 컨트롤러들
17과 27; 오토 익스포져 컨트롤러들
19과 29; 오토 화이트 밸런스 컨트롤러들
40; 이미지 신호 프로세서
50; 메모리(50)
60; 3D 디스플레이

Claims (10)

  1. 스테레오 이미지들을 분석하여 깊이 정보를 계산하는 단계;
    상기 깊이 정보를 이용하여, 상기 스테레오 이미지들 각각에 관심 영역들 각각을 설정하는 단계; 및
    상기 관심 영역들 각각에 대해 오토 포커스(auto focus) 동작을 수행하는 단계를 포함하는 스테레오 비전 장치의 제어 방법.
  2. 제1항에 있어서, 상기 스테레오 비전 장치의 제어 방법은,
    상기 관심 영역들 각각에 대해 오토 익스포져(auto exposure) 동작을 수행하는 단계를 더 포함하는 스테레오 비전 장치의 제어 방법.
  3. 제1항에 있어서, 상기 스테레오 비전 장치의 제어 방법은,
    상기 깊이 정보에 따라 상기 스테레오 이미지들 각각을 서브 영역들로 분할하는 단계; 및
    상기 분할된 스테레오 이미지들 각각에 대해 오토 화이트 밸런스(auto white balance) 동작을 수행하는 단계를 더 포함하는 스테레오 비전 장치의 제어 방법.
  4. 제3항에 있어서, 상기 서브 영역들 각각은
    서로 다른 서브 파라미터들 각각을 포함하며,
    상기 서브 파라미터들의 합은 오토 화이트 밸런스 파라미터와 같은 스테레오 비전 장치의 제어 방법.
  5. 제1항에 있어서, 상기 스테레오 비전 장치의 제어 방법은,
    상기 오토 포커스된 스테레오 이미지들 각각에 대해 컬러 보상 동작을 수행하는 단계를 더 포함하는 스테레오 비전 장치의 제어 방법.
  6. 제5항에 있어서, 상기 컬러 보상 동작을 수행하는 단계는,
    상기 깊이 정보에 따라 상기 오토 포커스된 스테레오 이미지들 각각에서 로컬 영역들 각각을 선택하는 단계; 및
    상기 선택된 로컬 영역들 각각에 대해 상기 컬러 보상 동작을 수행하는 단계를 포함하는 스테레오 비전 장치의 제어 방법.
  7. 스테레오 이미지들을 출력하는 이미지 센서들;
    각각이 상기 이미지 센서들 각각 앞에 위치하는 렌즈들;
    상기 스테레오 이미지들을 분석하여 깊이 정보를 계산하고, 상기 깊이 정보를 이용하여 상기 스테레오 이미지들 각각에 관심 영역들 각각을 설정하는 이미지 신호 프로세서; 및
    상기 관심 영역들 각각을 포커싱하기 위해 상기 렌즈들 각각의 위치를 조절하는 오토 포커스 컨트롤러를 포함하는 스테레오 비전 장치.
  8. 제7항에 있어서, 상기 스테레오 비전 장치는,
    상기 관심 영역들 각각에 대해 상기 이미지 센서들 각각의 노출 시간을 조절하는 오토 익스포져 컨트롤러를 더 포함하는 스테레오 비전 장치.
  9. 제7항에 있어서, 상기 이미지 신호 프로세서는,
    상기 깊이 정보에 따라 상기 스테레오 이미지들 각각을 서브 영역들로 분할하는 스테레오 비전 장치.
  10. 제9항에 있어서, 상기 서브 영역들 각각은
    서로 다른 서브 파라미터들 각각을 포함하는 스테레오 비전 장치.
KR1020120051696A 2012-05-15 2012-05-15 스테레오 비전 장치와 이의 제어 방법 KR20130127867A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120051696A KR20130127867A (ko) 2012-05-15 2012-05-15 스테레오 비전 장치와 이의 제어 방법
US13/830,929 US20130307938A1 (en) 2012-05-15 2013-03-14 Stereo vision apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120051696A KR20130127867A (ko) 2012-05-15 2012-05-15 스테레오 비전 장치와 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20130127867A true KR20130127867A (ko) 2013-11-25

Family

ID=49580991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120051696A KR20130127867A (ko) 2012-05-15 2012-05-15 스테레오 비전 장치와 이의 제어 방법

Country Status (2)

Country Link
US (1) US20130307938A1 (ko)
KR (1) KR20130127867A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101207343B1 (ko) * 2012-08-30 2012-12-04 재단법인대구경북과학기술원 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
US9918015B2 (en) * 2014-03-11 2018-03-13 Sony Corporation Exposure control using depth information
US10097747B2 (en) * 2015-10-21 2018-10-09 Qualcomm Incorporated Multiple camera autofocus synchronization
FR3050597B1 (fr) 2016-04-26 2019-03-29 Stereolabs Methode de reglage d'un appareil de prise de vue stereoscopique
US10122912B2 (en) 2017-04-10 2018-11-06 Sony Corporation Device and method for detecting regions in an image
US10325354B2 (en) 2017-04-28 2019-06-18 Qualcomm Incorporated Depth assisted auto white balance

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325220B2 (en) * 2005-12-02 2012-12-04 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input
TWI314832B (en) * 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
KR101342987B1 (ko) * 2006-11-21 2013-12-18 톰슨 라이센싱 3ｄ 이미지의 컬러 보정을 위한 방법 및 시스템
KR100942925B1 (ko) * 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
JP5204349B2 (ja) * 2010-08-31 2013-06-05 パナソニック株式会社 撮影装置、再生装置、および画像処理方法
US8908013B2 (en) * 2011-01-20 2014-12-09 Canon Kabushiki Kaisha Systems and methods for collaborative image capturing
US20120228482A1 (en) * 2011-03-09 2012-09-13 Canon Kabushiki Kaisha Systems and methods for sensing light
US20140071245A1 (en) * 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging
US9071737B2 (en) * 2013-02-22 2015-06-30 Broadcom Corporation Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic

Also Published As

Publication number Publication date
US20130307938A1 (en) 2013-11-21

Similar Documents

Publication Publication Date Title
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
CN108604373B (zh) 用于使用多个相机实施无缝缩放功能的系统和方法
US9639947B2 (en) Method and optical system for determining a depth map of an image
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
EP3198852B1 (en) Image processing apparatus and control method thereof
EP3542347B1 (en) Fast fourier color constancy
KR20130127867A (ko) 스테레오 비전 장치와 이의 제어 방법
US10015374B2 (en) Image capturing apparatus and photo composition method thereof
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108734676B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
EP3480784B1 (en) Image processing method, and device
KR20170019359A (ko) 국부적 적응형 히스토그램 등화
CN105578019A (zh) 一种可获得深度信息的影像提取系统与对焦方法
CN108810423B (zh) 一种基于图像亮度梯度的光照角度调节方法及系统
WO2019105254A1 (zh) 背景虚化处理方法、装置及设备
CN109242794B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
KR20140118031A (ko) 영상 처리 장치 및 방법
CN107077623A (zh) 图像质量补偿系统和方法
CN107547789B (zh) 影像获取装置及其摄影构图的方法
WO2015175907A1 (en) Three dimensional moving pictures with a single imager and microfluidic lens
WO2015136323A1 (en) Exposure control using depth information
US20190306405A1 (en) Systems and methods for autofocus and depth map generation
US20200090311A1 (en) Image processing apparatus and image processing method
US20190306404A1 (en) Systems and methods for autofocus and depth map generation

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid