KR101131998B1 - 3차원 이미지 센서 및 그를 구비하는 입체영상 카메라 - Google Patents

3차원 이미지 센서 및 그를 구비하는 입체영상 카메라 Download PDF

Info

Publication number
KR101131998B1
KR101131998B1 KR1020100002010A KR20100002010A KR101131998B1 KR 101131998 B1 KR101131998 B1 KR 101131998B1 KR 1020100002010 A KR1020100002010 A KR 1020100002010A KR 20100002010 A KR20100002010 A KR 20100002010A KR 101131998 B1 KR101131998 B1 KR 101131998B1
Authority
KR
South Korea
Prior art keywords
region
optical axis
image sensor
output signal
interest
Prior art date
Application number
KR1020100002010A
Other languages
English (en)
Other versions
KR20110081714A (ko
Inventor
유상근
Original Assignee
(주)한비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한비젼 filed Critical (주)한비젼
Priority to KR1020100002010A priority Critical patent/KR101131998B1/ko
Priority to US12/976,161 priority patent/US20110169918A1/en
Publication of KR20110081714A publication Critical patent/KR20110081714A/ko
Application granted granted Critical
Publication of KR101131998B1 publication Critical patent/KR101131998B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

다수의 화소(pixel element) 영역으로 구성된 영상획득영역과, 각각이 이 영상획득영역에 속하며 상호 이격된 2 개의 관심영역 (ROI : Region of Interest)에서 각각 센싱된 화소 신호들을 추출하여 두 눈에 대응하는 영상 신호들로 외부에 출력하는 출력신호 생성제어부를 포함하는 3차원 이미지 센서가 개시된다.
출력신호 생성제어부는 주시각 신호에 따라 관심영역 중 적어도 하나의 설정 위치를 미세하게 조정할 수 있다. 또 출력신호 생성제어부는 좌우 광학계 간의 간격 변화에 맞추어 관심 영역의 설정 위치를 좌우 광학계에 일치하도록 달리 설정할 수 있다. 나아가 손떨림 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 진동하여 설정함에 의해 손떨림을 보정하는 것이 가능하다. 카메라에 이 3차원 이미지 센서가 장착될 때 렌즈계의 광축 에러에 의한 영향을 보정하기 위해 각각의 관심영역을 좌우 혹은 상하로 이동 설정할 수 있다.

Description

3차원 이미지 센서 및 그를 구비하는 입체영상 카메라{3-dimensional image sensor and sterioscopic camera having the same sensor}
본 발명은 3차원 영상 기술에 관련되며 특히 3차원 이미지 센서 및 그를 구비하는 입체영상 카메라에 관련된다.
입체영상 카메라는 양안식과 단안식이 있으며, 양안식 카메라의 경우 주시각 제어방식 등에 따라 수평식, 폭주식 등이 있다. 수평식, 예를 들어 사이드바이사이드(side-by-side) 방식은 두 대의 카메라를 서로 평행하게 리그에 나란히 장착하고두 카메라의 간격을 조절하는 방식이다. 이 방식은 두 카메라 사이의 간격을 카메라의 크기보다 작게 조정할 수 없기 때문에 근접촬영시 양안 영상의 시차가 너무 크게 되어 시청자의 눈에 피로감을 준다. 또한 주시각에 따라 촬영 범위를 달리하는 것이 곤란하다. 폭주식의 경우 카메라의 간격은 고정하고 각각의 카메라를 회전시켜 주시각을 조절하는 방식이다. 이 경우 주시각에 따른 조절은 가능하지만, 역시 피사체와의 거리가 가까우면 주시각이 커지면서 영상의 기하학적 왜곡이 심해진다. 그외 수평축 이동방식의 경우 렌즈계에 대해 영상소자의 상대적인 위치를 조절하여 주시각을 조절한다. 이 방식의 경우 주시각의 조절이 용이한 반면 기구적인 구성이 복잡하여 제작 및 운용에 어려움이 있다.
단안식 카메라는 1개의 렌즈, 줌 렌즈 및 빔-스플리터(beam splitter)를 포함하는 구조로 광학계를 단순히 하는 장점이 있으나 빔-스플리터로 인해 화질저하, 색수차로 인한 화질 열화 등의 문제가 발생할 뿐 아니라 빔-스플리터의 규격이 고정적이므로 줌렌즈의 주밍 정보 및 포커싱 조절에 따라 주시각 조절이 제한된다.
광학계를 간단하게 하면서도 화질이 양호한 3차원 이미지 센서가 제공된다.
나아가 기구적으로 복잡한 구성을 회피하면서도 주시각의 조절이 용이한 입체영상 카메라 및 그를 위한 3차원 이미지 센서를 제공하고자 한다.
추가적으로 렌즈 간격에 따른 관심 영역의 설정이나 기구적인 광축 정렬 오차 보정 및 손떨림 보정을 전자적으로 간편하게 수행하는 것을 목적으로 한다.
일양상에 따른 3차원 이미지 센서는 다수의 화소(pixel element) 영역으로 구성된 영상획득영역과, 각각이 이 영상획득영역에 속하며 상호 이격된 2 개의 관심영역 (ROI : Region of Interest)에서 각각 센싱된 화소 신호들을 추출하여 두 눈에 대응하는 영상 신호들로 외부에 출력하는 출력신호 생성제어부를 포함한다.
관심영역들은 영상획득영역의 중심선을 기준으로 좌우 대칭으로 설정되는 것이 유효 화소 영역의 활용도 측면에서 바람직하다. 그러나 본 발명은 이에 한정되는 것은 아니다. 관심영역들 사이의 중심선 부근에 화소가 없는 격리 영역을 포함할 수 있다. 이 영역은 주시각을 설정함에 따라 유효 화소가 필요 없는 영역으로 된다. 3차원 이미지 센서는 단일의 웨이퍼에서 동일 공정을 거쳐 제조된 단일의 기판으로 구현될 수 있다.
일 양상에 따르면, 주시각 신호에 따라 관심영역 중 적어도 하나의 설정 위치를 미세하게 조정한다. 이에 의해 주시각 조절이 전자적으로 간편하게 수행된다.
또다른 양상에 따르면, 좌우 광학계의 간격에 따라 관심영역들간의 좌우 거리를 상이하게 설정할 수 있다. 나아가 손떨림 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 진동하여 설정함에 의해 손떨림을 보정하는 것이 가능하다. 카메라에 이 3차원 이미지 센서가 장착될 때 렌즈계의 광축 에러에 의한 영향을 보정하기 위해 각각의 관심영역을 좌우 혹은 상하로 이동 설정할 수 있다.
단일의 패키징으로 제공되는 하나의 이미지 센서를 사용하여 입체 카메라를 구성함에 따라 입체 카메라를 소형화하는 것이 가능하다. 특히 전용의 광학 모듈을 설계하여 더욱 소형의 입체 카메라를 구현하는 것이 가능하다. 소형임에도 불구하고 주시각의 조절이 전자적으로 간편하게 가능하다. 또 렌즈 광축에 의한 왜곡, 손떨림에 의한 영향 등 기구적, 광학적, 물리적인 에러들을 전자적으로 간단히 보정하는 것이 가능하다.
도 1은 일 실시예에 따른 3차원 이미지 센서의 개략적인 구조를 도시한다.
도 2는 광학 모듈들을 서로 대비시켜 도시한다.
도 3, 도 4는 일 실시예에 있어서 주시각에 따라 관심영역(ROI : Region of Interest)이 설정되는 원리를 설명하는 도면이다.
도 5는 일 실시예에 따른 입체영상 카메라의 개략적인 구조를 도시하는 정면도이다.
도 6은 또다른 일 실시예에 따른 입체영상 카메라의 개략적인 구조를 도시하는 정면도이다.
도 7은 동일한 실시예에서 기구파트의 개략적인 구조를 도시하는 평면도이다.
전술한, 그리고 추가적인 양상들은 후술하는 실시예들을 통해 더욱 명확해질 것이다. 이하에서는 본 발명의 이러한 양상들을 첨부된 도면을 참조하여 기술되는 실시예를 통해 당업자라면 용이하게 이해하고 재현할 수 있을 정도로 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 3차원 이미지 센서의 개략적인 구조를 도시한다. 도시된 실시예는 CMOS 이미지 센서 기술에 기초하고 있다. 일양상에 따른 3차원 이미지 센서는 다수의 화소(pixel element) 영역으로 구성된 영상획득영역(150,250)과, 각각이 이 영상획득영역에 속하며 상호 이격된 2 개의 관심영역 (ROI : Region of Interest)(151,251)에서 각각 센싱된 화소 신호들을 추출하여 두 눈에 대응하는 영상 신호들로 외부에 출력하는 출력신호 생성제어부(300)를 포함한다.
관심영역들은 영상획득영역의 중심선(도 1에서 일점쇄선으로 도시)을 기준으로 좌우 대칭으로 설정되는 것이 유효 화소 영역의 활용도 측면에서 바람직하다. 그러나 본 발명은 이에 한정되는 것은 아니다. 관심영역들 사이의 중심선 부근에 화소가 없는 격리 영역(400)을 포함할 수 있다. 이 영역은 주시각을 설정함에 따라 유효 화소가 필요 없는 영역으로 된다.
도시된 실시예에 있어서, 3차원 이미지 센서는 단일의 웨이퍼에서 동일 공정을 거쳐 제조된 단일의 기판으로 구현된다. 일 실시예에서 제 1 영상획득영역(150)은 CMOS 픽셀 회로들이 행렬 형태로 배열된 유효화소영역이다. 유효화소영역의 크기가 공정상의 칩 싸이즈 이내로 구현될 경우 하나의 칩으로 구현될 수 있다. 렌즈 사이의 간격이 커서 그렇지 않을 경우 동일한 웨이퍼에서 제조되는 복수의 칩들을 단일 패키지로 구성하여 하나의 디바이스로 구현할 수 있다.
출력신호 생성제어부(300)는 제 1 로우 디코더(130) 및 제 1 칼럼 디코더(110)를 제어하여 관심영역을 설정한다. 제 1 로우 디코더(130) 및 제 1 칼럼 디코더(110)에 의해 선택된 제 1 관심 영역(151) 내의 픽셀들에 검출된 광전자들은 제 1 영상신호 출력부(170)를 통해 출력된다.
일 실시예에서 제 2 영상획득영역(250)은 CMOS 픽셀 회로들이 행렬 형태로 배열된다. 출력신호 생성제어부(300)는 제 2 로우 디코더(230) 및 제 2 칼럼 디코더(210)를 제어하여 관심영역을 설정한다. 제 2 로우 디코더(230) 및 제 2 칼럼 디코더(210)에 의해 선택된 제 2 관심 영역(251) 내의 픽셀들에 검출된 광전자들은 제 2 영상신호 출력부(270)를 통해 출력된다.
CMOS 이미지 센서에서 칼럼 디코더 및 로우 디코더는 유효 화소 영역 내의 픽셀들에 저장된 신호를 마치 메모리를 액세스하듯 읽어올 수 있다. 이 영상 신호들은 영상신호 출력부를 통해 직렬로 출력된다.
일 양상에 따르면, 출력신호 생성제어부(300)는 주시각 신호에 따라 관심영역 중 적어도 하나의 설정 위치를 미세하게 조정하는 주시각 영역 설정부(310)를 포함한다. 주시각 신호는 3차원 이미지 센서 외부의 제어부에서 제공될 수 있다. 좌우 광학계가 비교적 넓은 초점 영역을 가지도록 설계하면, 관심영역의 범위를 변화시킴으로써 광학계의 기구적인 움직임이 없이도 이미지 센서와 광학계 간의 수평 거리를 이동시키는 것과 동일한 효과를 내는 것이 가능하다. 따라서 주시각 설정이 전자적으로 간편하게 수행된다.
나아가 출력신호 생성제어부(300)는 좌우 광학계 간의 간격 변화에 맞추어 관심 영역의 설정 위치를 좌우 광학계에 일치하도록 달리 설정하는 좌우간격 설정부(340)를 더 포함할 수 있다. 입체 영상 촬영에 있어서, 렌즈간의 간격은 피사체와의 거리에 따라 또는 촬영 목적에 따라 달라질 수 있다. 통상 기구적으로 두 카메라의 간격을 조절하는 메카니즘을 두거나 또는 광학계를 교체하여 간격을 조절한다. 도 2는 렌즈 간격별 광학 모듈들을 서로 대비시켜 도시한다. 렌즈간격은 양 눈의 간격에 해당한다. 광학 모듈들의 경우 양 센서부의 거리를 동적으로 가변시킬 수 없었기 때문에 도시된 바와 같이 25mm, 35mm, 45mm, 65mm, 85mm 의 규격화된 간격으로 맞추어져 있다. 각 광학모듈을 대비하여 관찰하면 렌즈 간격이 큰 경우 센싱 영역의 크기도 커짐을 알 수 있다.
도 3, 도 4는 일 실시예에 있어서 렌즈간격에 따라 관심영역(ROI : Region of Interest)이 설정되는 원리를 설명하는 도면이다. 렌즈간격이 25mm 인 경우 제 1 관심영역(151)은 제 1 영상획득영역(150)의 최우측에, 제 2 관심영역(251)은 제 2 영상획득영역(250)의 최좌측에 설정되어 두 관심영역의 간격은 최소로 된다. 이때 각 관심영역의 면적 역시 최소이다. 이와 달리 주시각이 85mm 인 경우 제 1 관심영역(151)은 제 1 영상획득영역(150)의 최좌측에, 제 2 관심영역(251)은 제 2 영상획득영역(250)의 최우측에 설정되어 두 관심영역의 간격은 최대로 된다. 마찬가지로 이 경우 각 관심영역의 면적은 최대로 된다.
실제 렌즈간격은 현실적으로는 보통 사람의 눈의 간격인 65mm 이며, 카메라 촬영시 통상 25mm ~ 65mm 범위로 설정된다. 전체 영상획득영역의 크기는 주시각이 65mm 인 경우에 의해 결정된다. 이 범위의 주시각을 지원하기 위해 4520×2764의 해상도가 필요하며, 픽셀 싸이즈를 2.8μm로 할 경우 두 영상획득영역(150,250)을 합한 전체 칩 싸이즈는 12.66×7.74mm2이 된다. 단일 공정으로 가능한 칩싸이즈의 한계로 인해 웨이퍼 상에서 두 개의 칩 영역을 잡아서 공정을 진행해야 할 필요가 있을 수 있다. 본 명세서에서 영상획득영역들은 이와 같이 평면상으로 배치된 복수의 칩으로 된 단일 패키지 디바이스를 의미할 수 있다. 그러나 이 경우에도 동일 공정으로 동일한 웨이퍼에서 동일한 기판을 가진 디바이스가 제조되므로 각 화소의 감도의 균일성이 양호하게 유지된다.
또다른 양상에 따라, 출력신호 생성제어부(300)는 손떨림 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 진동하여 설정함에 의해 손떨림을 보정하는 손떨림 영역보정부(320)를 더 포함한다. 손떨림 신호는 3차원 이미지 센서 외부의 제어부에서 제공될 수 있다. 손떨림의 방향과 반대로 관심영역이 이동함으로써, 기구적으로 손떨림을 보정하는 것이 소프트웨어적인 제어에 의해 가능해진다.
또다른 양상에 따라 출력신호 생성제어부(300)는 광축보정 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 이동 설정함에 의해 렌즈 광축의 오차에 의한 에러를 보정하는 광축영역 보정부(330)를 더 포함한다. 광축 보정 신호는 좌우 광학계간의 거리 변화에 따라 달라진다. 이는 렌즈간격을 변경할 경우, 렌즈간격에 따라 광축 오차가 달라질 수 있기 때문이다. 카메라를 최초 셋업할 때 이러한 렌즈간격에 따른 광축 오차를 보상하도록 관심영역을 설정함에 의해 광학적인 결함이 보정된 향상된 이미지를 획득하는 것이 가능하다. 또다른 예로, 광축 보정 신호는 추가로 광학계의 주밍(zooming) 값에 따라 달라질 수 있다. 이는 광학적 깊이에 따라 광축 정렬이 오차를 가질 수 있기 때문이다.
도시된 실시예는 CMOS 이미지 센서를 기반으로 기술되었으나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어 CCD 이미지 센서의 경우 전체 영상획득영역의 축적전하들이 쉬프트레지스터를 통해 모두 순차적으로 출력되고 디지탈 데이터로 변환된 후 출력신호 생성제어부(300)에 의해 관심영역 부분만 추출되고 재구성될 수 있다. 이 경우 내부적인 동기 클럭과 외부로 출력되는 영상 데이터의 동기 클럭이 달라질 수 있다. 내부적인 동기 클럭은 훨씬 빠르며, 외부 동기 클럭의 간격을 여유를 두기 위해 내부에 관심영역의 크기에 상응하는 프레임 버퍼가 필요하다. 또다른 예로 CCD 이미지 센서에서 쉬프트레지스터를 관심영역에 대응하는 부분만 활성화시키는 것도 가능하다. 행방향의 쉬프트레지스터는 관심영역 부분만 활성화시키고 열방향 쉬프트레지스터는 관심영역 이하 부분만 활성화시킴으로써 클럭 스피드를 낮출 수 있다.
도 5는 일 실시예에 따른 입체영상 카메라의 개략적인 구조를 도시하는 정면도이다. 도시된 바와 같이 일 실시예에 따른 입체영상 카메라는 제 1 렌즈군(510)과 제 2 렌즈군(530)으로된 광학계(500)와, 3차원 이미지 센서(100)를 포함한다. 3차원 이미지 센서(100)는 도 1에 도시된 CMOS 이미지 센서 기반의 것을 사용한다. 3차원 이미지 센서(100)는 다수의 화소(pixel element) 영역으로 구성된 영상획득영역(150,250)과, 영상획득영역(150,250)의 일부에 설정되며 제 1 렌즈군(510)으로부터의 영상을 획득하는 제 1 관심영역(151)과, 제 1 관심영역(151)과 상호 이격되어 영상획득영역(250)상에 설정되고 제 2 렌즈군(530)으로부터의 영상을 획득하는 제 2 관심영역(251)에서 추출된 화소 신호들로부터 각각 두 눈에 대응하는 영상 신호들을 생성하여 외부로 출력하는 출력신호 생성제어부(300)를 포함한다.
제 1 렌즈군(510) 및 제 2 렌즈군(530)은 각각이 여러 매의 렌즈를 조합하여 포커싱을 제어하는 초소형 카메라 렌즈 모듈이다. 각 렌즈군의 내부에는 렌즈들간의 거리를 제어하여 초점을 제어하는 공지된 메카니즘을 포함할 수 있다. 3차원 이미지 센서에서 우측의 관심영역(151)은 제 1 렌즈군(510)에서 집광된 광을 수광하며, 좌측의 관심영역(251)은 제 2 렌즈군(530)에서 집광된 광을 수광한다.
일 양상에 따라, 입체영상 카메라는 사용자 조작에 응답하여 주시각 조작 신호를 출력하는 주시각 조절부(910)를 포함한다. 사용자 조작명령은 예를 들면 노브(knob) 혹은 슬라이딩 스위치에 의해 입력될 수 있다. 사용자 조작에 응답하여 주시각 조절부(910)는 주시각 조작 신호를 출력한다. 3차원 이미지 센서의 출력신호 생성제어부는 주시각 조작 신호에 따라 관심영역 중 적어도 하나의 설정 위치를 미세하게 조정하는 주시각 영역 설정부를 포함한다. 이에 따라 기구적으로 광학계를 움직이지 않고 미세한 주시각 조절이 전자적으로 달성된다.
좌우 렌즈간의 간격을 조절하기 위해 광학계(500)는 다양한 간격으로, 예를 들면 도 2에 도시된 바와 같은 복수의 세트로 제공된다. 특정한 간격에 해당하는 광학계로 교체 설치함으로써 원하는 간격으로 설정할 수 있다. 이때, 광학계(500)의 교체시에 교체된 광학계를 전기적으로 식별하는 렌즈간격 검출회로가 렌즈간격 조절부(940)에 구비될 수 있다. 예를 들어 렌즈간격 조절부(940)는 광학계(500)의 일단에 설치된 저항값을 제어부(900)의 회로가 읽어 광학계(500)의 종류를 식별할 수 있다. 이에 따라 출력신호 생성 제어부(300)는 검출된 렌즈간격값에 따라 제 1 관심영역 및 제 2 관심영역을 설정하여 화소 신호들을 추출하는 렌즈간격 조절부(310)를 포함한다.
또다른 양상에 따라, 입체영상 카메라는 손떨림을 검출하여 보정하는 손떨림보정부(920)를 더 포함한다. 손떨림 보정부(920)는 카메라의 떨림을 검출하고 그를 보정하는 신호를 출력하는 공지된 구성이다. 3차원 이미지 센서(100)의 출력신호 생성제어부(300)는 손떨림보정부(920)의 손떨림 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 진동하여 설정함에 의해 손떨림을 보정하는 손떨림 영역보정부(320)를 더 포함한다.
나아가, 입체영상 카메라는 제1 렌즈군(510) 및 제 2 렌즈군(530)의 광축 에러에 따른 영향을 보정하는 광축에러 보정부(930)를 더 포함한다. 최초 카메라 렌즈가 제작되고 3차원 이미지 센서와 조립된 상태에서, 주시각에 따라 두 렌즈군의 간격을 바꾸어가며 포커싱된 상태의 관심영역을 측정하여 그 데이터를 테이블로 정리한다. 이 테이블에 따라 광축에러 보정부는 설정된 주시각에 따라 각 렌즈군의 광학적 특성이 반영된 최적의 관심영역을 설정할 수 있다. 3차원 이미지 센서(100)의 출력신호 생성제어부(300)는 광축에러 보정부(930)의 광축보정 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 이동 설정함에 의해 렌즈 광축의 오차에 의한 에러를 보정하는 광축영역보정부(330)를 더 포함한다.
일 양상에 따르면, 광축 보정 신호는 좌우 광학계간의 거리 내지 간격 변화에 따라 달라진다. 추가적으로 광축 보정 신호는 광학계의 주밍(zooming) 값에 따라 달라질 수 있다.
도 6은 또다른 일 실시예에 따른 입체영상 카메라의 개략적인 구조를 도시하는 정면도이다. 도 7은 동일한 실시예에서 기구파트의 개략적인 구조를 도시하는 평면도이다. 도시된 바와 같이 일 실시예에 따른 입체영상 카메라는 제 1 렌즈군(510)과, 제 2 렌즈군(530)과, 제 1 렌즈군(510) 및 제 2 렌즈군(530)의 렌즈간격을 조절하는 주시각 조절부(910)와, 3차원 이미지 센서(100)를 포함한다. 3차원 이미지 센서(100)는 도 1에 도시된 CMOS 이미지 센서 기반의 것을 사용한다. 3차원 이미지 센서(100)는 다수의 화소(pixel element) 영역으로 구성된 영상획득영역(150,250)과, 영상획득영역(150,250)의 일부에 설정되며 제 1 렌즈군(510)으로부터의 영상을 획득하는 제 1 관심영역(151)과, 제 1 관심영역(151)과 상호 이격되어 영상획득영역(250)상에 설정되고 제 2 렌즈군(530)으로부터의 영상을 획득하는 제 2 관심영역(251)에서 추출된 화소 신호들로부터 각각 두 눈에 대응하는 영상 신호들을 생성하여 외부로 출력하는 출력신호 생성제어부(300)를 포함한다.
제 1 렌즈군(510) 및 제 2 렌즈군(530)은 각각이 여러 매의 렌즈를 조합하여 포커싱을 제어하는 초소형 카메라 렌즈 모듈이다. 각 렌즈군의 내부에는 렌즈들간의 거리를 제어하여 초점을 제어하는 공지된 메카니즘을 포함할 수 있다. 3차원 이미지 센서에서 우측의 관심영역(151)은 제 1 렌즈군(510)에서 집광된 광을 수광하며, 좌측의 관심영역(251)은 제 2 렌즈군(530)에서 집광된 광을 수광한다.
일 양상에 따라, 입체영상 카메라는 사용자 조작에 응답하여 주시각 조작 신호를 출력하는 주시각 조절부(910)를 포함한다. 사용자 조작명령은 예를 들면 노브(knob) 혹은 슬라이딩 스위치에 의해 입력될 수 있다. 사용자 조작에 응답하여 주시각 조절부(910)는 주시각 조작 신호를 출력한다. 3차원 이미지 센서의 출력신호 생성제어부는 주시각 조작 신호에 따라 관심영역 중 적어도 하나의 설정 위치를 미세하게 조정하는 주시각 영역 설정부를 포함한다. 이에 따라 기구적으로 광학계를 움직이지 않고 미세한 주시각 조절이 전자적으로 달성된다.
렌즈간격 조절부(940)는 제 1 렌즈군(510) 및 제 2 렌즈군(530) 사이의 간격을 기구적으로 조절한다. 제 1 렌즈군(510) 및 제 2 렌즈군(530)은 하우징(770) 내에서 상하로는 고정되고 좌우로는 렌즈군 측면에 난 슬라이딩 홈이 하우징(770) 내벽을 따라 슬라이딩 가능하게 체결되어 있다. 제 1 렌즈군(510) 및 제 2 렌즈군(530)은 탄성수단(750)에 의해 외력이 없는 상태에서 가장 이격된 상태, 즉 본 실시예에서는 주시각 85mm에 대응하는 상태로 이격되어 있다. 제 1 렌즈군(510)은 측면에 조절탭(511)을 갖고 있다. 제 2 렌즈군(530) 역시 측면에 조절탭(531)을 갖고 있다. 이 조절탭(511,531)들은 하우징(531) 측면에 형성된 장공을 따라 외부로 노출되어 있다.
두 조절탭(511,531)을 따라 형상기억합금으로 된 액츄에이터(770)가 관통하면서 조절탭(511,531)에 체결되어 있다. 형상기억합금으로 된 액츄에이터(770) 양단(710,730)으로 렌즈간격 조절부(940)로부터 구동신호가 공급된다. 전류가 공급되면 액츄에이터(770)는 가열되거나 냉각되고 이에 따라 그 길이가 가변된다. 조절탭(511,531)들은 액츄에이터(770)에 체결되어 있어 액츄에이터의 길이가 가변되면 움직이게 된다. 따라서 도통되는 전류를 제어하여 온도가 유지되는 동안 두 렌즈군(510,530) 간이 간격이 조절된 상태를 유지할 수 있다. 렌즈간격 조절부(940)는 또한 3차원 이미지 센서(100)에 렌즈간격 조절 신호를 공급한다.
일 양상에 따라 3차원 이미지 센서(100)의 출력신호 생성제어부(300)는 렌즈간격 조절부(940)에서 조절되는 렌즈간격에 따라 제 1 관심영역 및 제 2 관심영역을 설정하여 화소 신호들을 추출하는 좌우간격설정부(340)를 포함한다.
또다른 양상에 따라, 입체영상 카메라는 손떨림을 검출하여 보정하는 손떨림보정부(920)를 더 포함한다. 손떨림 보정부(920)는 카메라의 떨림을 검출하고 그를 보정하는 신호를 출력하는 공지된 구성이다. 3차원 이미지 센서(100)의 출력신호 생성제어부(300)는 손떨림보정부(920)의 손떨림 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 진동하여 설정함에 의해 손떨림을 보정하는 손떨림 영역보정부(320)를 더 포함한다.
나아가, 입체영상 카메라는 제1 렌즈군(510) 및 제 2 렌즈군(530)의 광축 에러에 따른 영향을 보정하는 광축에러 보정부(930)를 더 포함한다. 최초 카메라 렌즈가 제작되고 3차원 이미지 센서와 조립된 상태에서, 주시각에 따라 두 렌즈군의 간격을 바꾸어가며 포커싱된 상태의 관심영역을 측정하여 그 데이터를 테이블로 정리한다. 이 테이블에 따라 광축에러 보정부는 설정된 주시각에 따라 각 렌즈군의 광학적 특성이 반영된 최적의 관심영역을 설정할 수 있다. 3차원 이미지 센서(100)의 출력신호 생성제어부(300)는 광축에러 보정부(930)의 광축보정 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 이동 설정함에 의해 렌즈 광축의 오차에 의한 에러를 보정하는 광축영역보정부(330)를 더 포함한다.
이상에서 본 발명은 첨부된 도면을 참조하여 기술되는 실시예를 중심으로 설명되었지만 이에 한정되는 것은 아니며, 다양한 자명한 변형예들을 포괄하도록 의도된 청구범위에 의해 해석되어야 한다.

Claims (17)

  1. 다수의 화소(pixel element) 영역으로 구성된 영상획득영역과;
    각각이 상기 영상획득영역에 속하며 상호 이격된 2 개의 관심영역 (ROI : Region of Interest)에서 각각 센싱된 화소 신호들을 추출하여 두 눈에 대응하는 영상 신호들로 외부에 출력하는 출력신호 생성제어부;를 포함하고,
    상기 출력신호 생성제어부는 좌우 광학계 간의 간격 변화에 맞추어 관심 영역의 설정 위치를 좌우 광학계에 일치하도록 달리 설정하는 좌우간격 설정부;를 더 포함하는 3차원 이미지 센서.
  2. 제 1 항에 있어서, 상기 3차원 이미지 센서는 단일의 웨이퍼에서 동일 공정을 거쳐 제조된 단일의 기판으로 구현된 3차원 이미지 센서.
  3. 제 1 항에 있어서, 상기 출력신호 생성제어부는 주시각 신호에 따라 관심영역 중 적어도 하나의 설정 위치를 미세하게 조정하는 주시각 영역 설정부;를 포함하는 3차원 이미지 센서.
  4. 제 1 항에 있어서, 상기 출력신호 생성제어부는 손떨림 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 진동하여 설정함에 의해 손떨림을 보정하는 손떨림 영역보정부를 더 포함하는 3차원 이미지 센서.
  5. 삭제
  6. 제 1 항에 있어서, 상기 출력신호 생성제어부는 광축보정 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 이동 설정함에 의해 렌즈 광축의 오차에 의한 에러를 보정하는 광축 영역 보정부를 더 포함하는 3차원 이미지 센서.
  7. 제 6 항에 있어서, 상기 광축 보정 신호는 좌우 광학계간의 거리 변화에 따라 달라지는 3차원 이미지 센서.
  8. 제 7 항에 있어서, 상기 광축 보정 신호는 추가로 광학계의 주밍(zooming) 값에 따라 달라지는 3차원 이미지 센서.
  9. 제 2 항에 있어서, 상기 관심영역들은 영상획득영역의 중심선을 기준으로 좌우 대칭으로 설정되는 3차원 이미지 센서.
  10. 제 9 항에 있어서, 상기 관심영역들 사이에 중심선 부근에 화소가 없는 격리 영역을 포함하는 3차원 이미지 센서.
  11. 제 1 렌즈군과; 제 2 렌즈군과;
    다수의 화소(pixel element) 영역으로 구성된 영상획득영역과, 상기 영상획득영역의 일부에 설정되며 제 1 렌즈군으로부터의 영상을 획득하는 제 1 관심영역(ROI : Region of Interest)과, 상기 제 1 관심영역과 상호 이격되어 상기 영상획득영역상에 설정되고 제 2 렌즈군으로부터의 영상을 획득하는 제 2 관심영역에서 추출된 화소 신호들로부터 각각 두 눈에 대응하는 영상 신호들을 생성하여 외부로 출력하는 출력신호 생성제어부를 포함하는 3차원 이미지 센서; 및
    상기 제 1 렌즈군 및 제 2 렌즈군의 렌즈간격을 조절하는 렌즈 간격 조절부;를 포함하고,
    상기 출력신호 생성제어부는 좌우 광학계 간의 간격 변화에 맞추어 관심 영역의 설정 위치를 좌우 광학계에 일치하도록 달리 설정하는 좌우간격 설정부;를 더 포함하는 입체영상 카메라.를 포함하는 입체영상 카메라.
  12. 제 11 항에 있어서,
    상기 카메라는 사용자 조작에 응답하여 주시각 조작 신호를 출력하는 주시각 조절부;를 더 포함하고,
    상기 출력신호 생성제어부는 주시각 조작 신호에 따라 관심영역 중 적어도 하나의 설정 위치를 미세하게 조정하는 주시각 영역 설정부;를 포함하는 입체영상 카메라.
  13. 삭제
  14. 제 11 항에 있어서, 상기 입체영상 카메라는 손떨림을 검출하여 보정하는 손떨림보정부;를 더 포함하고,
    상기 출력신호 생성제어부는 상기 손떨림보정부의 손떨림 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 진동하여 설정함에 의해 손떨림을 보정하는 손떨림 영역보정부를 더 포함하는 입체영상 카메라.
  15. 제 11 항에 있어서, 상기 입체영상 카메라는 상기 제1 렌즈군 및 제 2 렌즈군의 광축 에러에 따른 영향을 보정하는 광축에러 보정부;를 더 포함하고,
    상기 출력신호 생성제어부는 상기 광축에러 보정부의 광축보정 신호에 따라 각각의 관심영역을 좌우 혹은 상하로 이동 설정함에 의해 렌즈 광축의 오차에 의한 에러를 보정하는 광축영역보정부를 더 포함하는 입체영상 카메라.
  16. 제 15 항에 있어서, 상기 광축 보정 신호는 좌우 광학계간의 거리 변화에 따라 달라지는 입체영상 카메라.
  17. 제 16 항에 있어서, 상기 광축 보정 신호는 추가로 광학계의 주밍(zooming) 값에 따라 달라지는 입체영상 카메라.
KR1020100002010A 2010-01-08 2010-01-08 3차원 이미지 센서 및 그를 구비하는 입체영상 카메라 KR101131998B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100002010A KR101131998B1 (ko) 2010-01-08 2010-01-08 3차원 이미지 센서 및 그를 구비하는 입체영상 카메라
US12/976,161 US20110169918A1 (en) 2010-01-08 2010-12-22 3d image sensor and stereoscopic camera having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100002010A KR101131998B1 (ko) 2010-01-08 2010-01-08 3차원 이미지 센서 및 그를 구비하는 입체영상 카메라

Publications (2)

Publication Number Publication Date
KR20110081714A KR20110081714A (ko) 2011-07-14
KR101131998B1 true KR101131998B1 (ko) 2012-03-30

Family

ID=44258241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100002010A KR101131998B1 (ko) 2010-01-08 2010-01-08 3차원 이미지 센서 및 그를 구비하는 입체영상 카메라

Country Status (2)

Country Link
US (1) US20110169918A1 (ko)
KR (1) KR101131998B1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630307B1 (ko) * 2010-05-12 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20120162412A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Image matting apparatus using multiple cameras and method of generating alpha maps
US9602801B2 (en) 2011-07-18 2017-03-21 Truality, Llc Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
DE102011109301B4 (de) * 2011-08-03 2013-05-08 3Ality Digital Systems, Llc Verfahren zum Korrigieren der Zoom-Einstellung und/oder des vertikalen Versatzes von Teilbildern eines Stereofilms sowie Steuerung oder Regelung eines Kamerarigs mit zwei Kameras
KR101864450B1 (ko) * 2011-10-31 2018-06-04 엘지이노텍 주식회사 카메라 모듈 및 그의 화상 보정 방법
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
GB2501516B (en) 2012-04-26 2017-11-29 Vision Rt Ltd 3D Camera system
KR101387692B1 (ko) * 2012-10-05 2014-04-22 한국전기연구원 스테레오 카메라의 광축 간격 조절 방법
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors
JP2014107669A (ja) * 2012-11-27 2014-06-09 Canon Inc 立体撮影レンズシステムおよびそれを有する撮影システム
KR102114346B1 (ko) 2013-08-30 2020-05-22 삼성전자주식회사 스테레오 컨버전스 제어 방법 및 이를 적용한 스테레오 이미지 프로세서
TWI509340B (zh) * 2013-10-07 2015-11-21 Tdk Taiwan Corp 雙鏡頭保持裝置
TWI577493B (zh) * 2014-12-26 2017-04-11 財團法人工業技術研究院 校正方法與應用此方法的自動化設備
US10097747B2 (en) * 2015-10-21 2018-10-09 Qualcomm Incorporated Multiple camera autofocus synchronization
KR102558471B1 (ko) * 2016-07-27 2023-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102113285B1 (ko) * 2018-08-01 2020-05-20 한국원자력연구원 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
US11409114B2 (en) 2020-03-02 2022-08-09 Samsung Electronics Co., Ltd. Image display device capable of multi-depth expression

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100910175B1 (ko) * 2009-04-06 2009-07-30 (주)에이직뱅크 입체영상 생성용 이미지센서

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5258799A (en) * 1991-03-12 1993-11-02 Minolta Camera Kabushiki Kaisha Auto focus camera with pseudo focal length mode
US5864360A (en) * 1993-08-26 1999-01-26 Canon Kabushiki Kaisha Multi-eye image pick-up apparatus with immediate image pick-up
JP4230731B2 (ja) * 2002-07-29 2009-02-25 株式会社東芝 ディジタル画像処理装置及びｘ線診断装置
US7930155B2 (en) * 2008-04-22 2011-04-19 Seiko Epson Corporation Mass conserving algorithm for solving a solute advection diffusion equation inside an evaporating droplet

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100910175B1 (ko) * 2009-04-06 2009-07-30 (주)에이직뱅크 입체영상 생성용 이미지센서

Also Published As

Publication number Publication date
US20110169918A1 (en) 2011-07-14
KR20110081714A (ko) 2011-07-14

Similar Documents

Publication Publication Date Title
KR101131998B1 (ko) 3차원 이미지 센서 및 그를 구비하는 입체영상 카메라
JP4720508B2 (ja) 撮像素子および撮像装置
CN102883093B (zh) 摄像装置以及摄像元件
JP4673202B2 (ja) 画像入力装置
JP5954964B2 (ja) 撮像装置およびその制御方法
JP4935544B2 (ja) 撮像装置
US20160044233A1 (en) Image capturing apparatus capable of storing focus detection data
CN103327223A (zh) 摄像装置
WO2011004686A1 (en) Focus detection apparatus
JP2008026802A (ja) 撮像装置
JP2013037296A (ja) 撮像装置及び撮像素子
US20120162499A1 (en) Focus detection device and image capturing apparatus provided with the same
US9800861B2 (en) Image capture apparatus and image signal processing apparatus
CN103782234B (zh) 立体图像捕捉设备和方法
JP2012133194A (ja) 撮像装置
JP2012008370A (ja) 撮像装置および交換レンズ
JP2004336239A (ja) 立体映像補正装置およびその方法
JP6271911B2 (ja) 撮像装置及びその制御方法、デフォーカス量算出方法
JP5918982B2 (ja) 撮像装置、再生装置、その制御方法、撮像システム、及びプログラム
TWI745805B (zh) 包含用以產生深度圖的多光圈成像裝置之裝置
JP5683135B2 (ja) 撮像装置及びその制御方法
JP2009162845A (ja) 撮像素子、焦点検出装置および撮像装置
KR100943949B1 (ko) 입체 카메라 시스템 및 이의 구동 방법
KR101839357B1 (ko) 촬상 장치 및 촬상 방법
JP2014239316A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160120

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee