KR20080106184A - 촬상 장치 - Google Patents

촬상 장치 Download PDF

Info

Publication number
KR20080106184A
KR20080106184A KR1020087020114A KR20087020114A KR20080106184A KR 20080106184 A KR20080106184 A KR 20080106184A KR 1020087020114 A KR1020087020114 A KR 1020087020114A KR 20087020114 A KR20087020114 A KR 20087020114A KR 20080106184 A KR20080106184 A KR 20080106184A
Authority
KR
South Korea
Prior art keywords
imaging
image
parallax
signal
area
Prior art date
Application number
KR1020087020114A
Other languages
English (en)
Inventor
가츠미 이마다
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20080106184A publication Critical patent/KR20080106184A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

색 정보마다 시차를 갖는 복안 광학계를 구비한 촬상 장치에 있어서, 주변부의 위색의 발생을 방지한다. 복수의 렌즈부와, 상기 각 렌즈부의 광축 방향에 대해 대략 수직인 수광면을 각각 구비하며, 촬상 신호를 출력하는 복수의 촬상 영역과, 상기 복수의 촬상 신호 중 어느 하나를 기준 촬상 신호(G0)로 하고, 기준 촬상 신호(G0)에 대한 다른 촬상 신호의 시차량을 연산하는 시차 연산부와, 기준 촬상 신호(G0) 이외의 촬상 신호에 있어서 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역(x방향에 있어서 dminx, y방향에 있어서 dminy)의 화소로부터 얻어지는 화소 신호를 삭제하여 얻어지는 유효 화소 신호와 상기 시차량에 의거해, 상기 복수의 촬상 신호를 보정하여 합성함으로써, 합성 화상을 생성하는 촬상 장치이다.

Description

촬상 장치{IMAGING DEVICE}
본 발명은, 복수의 촬상 광학계를 이용하여 얻어진 복수의 화상으로부터 시차(視差) 보정을 행함으로써 1개의 고정밀 화상을 합성하는 촬상 장치, 및 구한 시차량에 의거해 피사체까지의 거리를 산출하는 촬상 장치에 관한 것이다.
최근의 박형 디지털 카메라의 수요가 높아짐에 따라, 복수의 렌즈와 이미지 센서를 사용해 단일한 피사체를 촬영하여, 각각 얻어진 상을 합성해서 단일한 고화질의 2차원 화상을 얻는 것을 목적으로 한 촬상 장치가 제안되어 있다.
도 17을 참조하면서, 이러한 종래의 촬상 장치의 일례에 대해 설명한다. 도 17(a)에 나타낸 종래의 촬상 장치에서는, 101은 몰드 등으로 일체적으로 만들어진 촬상 렌즈이다. 촬상 렌즈(101)는, 후술하는 C-MOS 센서(103)의 3색의 화소마다 분할된 센서부(103a, 103b, 103c)에 피사체상을 결상시키기 위한 R파장용 렌즈(101a), G파장용 렌즈(101b), B파장용 렌즈(101c)를 갖고 있다.
102는, 각각의 렌즈(101a∼101c)의 조리개로서, 일체적으로 구성되어 있다. 조리개(102)에는, 또한 R파장 투과 필터(102a), G파장 투과 필터(102b), B파장 투과 필터(102c)가 일체적으로 구성되어 있다.
103은 도시 생략의 화상 처리 회로 등이 일체로 구성되어 있는 C-MOS 센서 로, 도 17(b)에 나타낸 바와 같이, 각각 R, G, B용의 센서(103a, 103b, 103c)가 평면적으로 독립하여 구성되어 있다. 이 때문에, 종래의 베이어 배열의 센서에 비해, 동일한 화소 사이즈와 화소수이면, 렌즈의 초점 거리가 (1/3)1/2이면 되어, 광축 방향의 두께를 얇게 구성할 수 있다(일본국 특허 제3397758호 공보 참조).
[발명이 해결하고자 하는 과제]
그러나, 이러한 종래의 박형화 촬상 장치에서는, 3개의 다른 센서부에 결상된 화상을 1개의 화상으로 합성할 필요가 있다. 통상, 도 17과 같이, 광축이 복수개 존재하는 광학계에 있어서는, 동일한 피사체를 촬영해도, 센서부(103a, 103b, 103c)에서는, 각각의 센서부의 광축 중심으로부터의 상대치가 어긋나 결상된다. 이 어긋남이 시차이다. 시차는, 피사체의 거리에 의존하고, 기준으로 하는 촬상 렌즈 및 센서부와 피사체의 위치 관계에 의해, 시차가 발생하는 방향도 정해진다.
여기에서, 도 18에, 센서부(103a, 103b, 103c)에 결상된 화상의 일례를 나타낸다. 촬상 렌즈(101b) 및 센서부(103b)를 기준으로 하면, 센서부(103a)에 결상되는 상(104a)은, 센서부(103b)에 결상되는 상(104b)을, 시차량분만큼 y방향으로 이동시킨 것이 된다. 또, 센서부(103c)에 결상되는 상(104c)은, 센서부(103b)의 상(104b)을, y의 음의 방향으로 시차량만큼 이동시킨 것이 된다.
센서부(103a, 103b, 103c)에 결상된 화상을 1개의 화상으로 합성할 때에는, 시차를 검출하고, 그 시차를 보정하여 화상을 조합할 필요가 있다. 그러나, 도 18에서 알 수 있는 바와 같이, G용의 센서부(103b)에 결상되는 상(104b)에 비하면, R용의 센서부(103a)에 결상되는 상(104a)은 y의 양의 방향의 화상이 결락된 것으로 되어 있다. 또, 한편, B용의 센서부(103c)에 결상되는 상(104c)은 y의 음의 방향의 화상이 결락되어 있다. 따라서, 상(104a, 104b, 104c)을 합성해도, 모든 색 정보를 갖는 영역의 화상(피사체의 일부)밖에 만들어 낼 수 없는 것을 알 수 있다. 바꿔 말하면, 화상의 주변부에 위색(僞色)(본래의 색과 다른 색으로 재현되는 개소)이 발생한다는 과제가 있다.
또, 시차를 이용하여 거리를 측정하는 기능을 부가하는 경우에 있어서도, 화상의 주변부에 위치하는 피사체에 대해서는 거리를 측정하는 것이 불가능해진다는 과제도 있다.
본 발명은 이러한 문제를 해결하기 위해 이루어진 것이고, 색 정보마다 시차를 갖는 복안 광학계에 있어서 종래 과제였던, 화상 주변부의 화상이 시차에 의해 결락되는 것에 따른 문제점이 해소된 촬상 장치를 제공하는 것을 목적으로 한다. 보다 구체적으로는, 시차를 고려하여 유효 화소 영역을 보정함으로써, 화상의 주변부에 위색을 갖지 않는 화상을 재현하는 것을 가능하게 하는 것, 및 화상의 주변부에 있어서도 거리 측정을 가능하게 하는 것을 실현하는 박형의 촬상 장치를 제공하는 것을 목적으로 한다.
[과제를 해결하기 위한 수단]
상기의 목적을 달성하기 위해, 본 발명에 관한 제1 촬상 장치는, 각각이 적어도 1장의 렌즈를 포함하는 복수의 렌즈부와, 상기 복수의 렌즈부에 일대일로 대응하고, 대응하는 상기 렌즈부의 광축 방향에 대해 대략 수직인 수광면을 각각 구비하며, 촬상 신호를 각각 출력하는 복수의 촬상 영역과, 상기 복수의 촬상 영역으로부터 각각 출력되는 촬상 신호 중 어느 하나를 기준 촬상 신호로 하여, 당해 기준 촬상 신호에 대한 다른 촬상 신호의 시차량을 연산하는 시차 연산부와, 상기 기준 촬상 신호 이외의 촬상 신호에 있어서 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역의 화소로부터 얻어지는 화소 신호를 상기 기준 촬상 신호로부터 삭제하여 얻어지는 유효 화소 신호를 출력하는 유효 화소 영역 보정부를 구비한 것을 특징으로 한다.
상기의 구성에 의하면, 유효 화소 영역 보정부가, 기준 촬상 신호 이외의 촬상 신호에 있어서 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역의 화소로부터 얻어지는 화소 신호를 상기 기준 촬상 신호로부터 삭제하여 얻어지는 유효 화소 신호를 출력한다. 이에 의해, 이 유효 화소 신호를 이용하면, 색 정보마다 시차를 갖는 복안 광학계에 있어서 종래 과제였던, 화상 주변부의 화상이 시차에 의해 결락됨에 따라 후단의 처리에서 발생하는 문제점이 해소된다.
후단의 처리로서는, 예를 들면, (1) 상기 유효 화소 영역 보정부로부터 출력된 유효 화소 신호와 상기 시차 연산부에서 연산된 시차량에 의거해, 상기 복수의 촬상 신호를 보정하여 합성함으로써 합성 화상을 생성하여 출력하는 화상 합성 처리나, (2) 상기 유효 화소 영역 보정부로부터 출력된 유효 화소 신호와 상기 시차 연산부에서 연산된 시차량에 의거해, 피사체까지의 거리를 산출하는 거리 산출 처리 등이 있다.
즉, 상기 (1)의 화상 합성 처리를 행하기 위한 화상 합성부를 더 구비한 구성에 의하면, 상기 유효 화소 영역 보정부로부터 출력된 유효 화소 신호와 상기 시차 연산부에서 연산된 시차량에 의거해, 상기 복수의 촬상 신호를 보정하여 합성하므로, 화상의 주변부에 위색을 갖지 않는 화상을 재현할 수 있다.
또, 상기 (2)의 거리 산출 처리를 행하기 위한 거리 산출부를 더 구비한 구성에 의하면, 유효 화소 영역 보정부로부터 출력된 유효 화소 신호와 상기 시차 연산부에서 연산된 시차량에 의거해, 피사체까지의 거리를 산출하므로, 화상의 주변부에 있어서도 거리 측정이 가능해진다.
상기의 제1 촬상 장치에 있어서, 상기 유효 화소 영역 보정부가, 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역의 범위를, 최단 피사체 거리에 있는 피사체에 대한 시차량으로부터 구하는 것이 바람직하다.
상기의 제1 촬상 장치에 있어서, 상기 복수의 촬상 영역이, 세로 2열, 가로 2행으로 설치된 제1∼제4 촬상 영역이고, 상기 시차 연산부는, 상기 제1 촬상 영역으로부터 출력되는 촬상 신호를 기준 촬상 신호로 하고, 상기 유효 화소 영역 보정부는, 상기 제1 촬상 영역에 가로방향에 있어서 인접하는 제2 촬상 영역으로부터 출력되는 제2 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차 방향의 정방향에 위치하는 변과, 상기 제1 촬상 영역에 세로방향에 있어서 인접하는 제3 촬상 영역으로부터 출력되는 제3 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차 방향의 정방향에 위치하는 변의 화소로부터 얻어지는 화소 신호를, 상기 기준 촬상 신호로부터 삭제하는 것이 바람직하다.
또한, 상기의 제1 촬상 장치는, 상기 제1∼제4 촬상 영역에 있어서 대각 방향으로 배치된 제1 촬상 영역과 제4 촬상 영역이 동일한 파장 영역에 감도를 갖고, 제2 촬상 영역 및 제3 촬상 영역은, 상기 제1 및 제4 촬상 영역과는 달리, 또한 서로 다른 파장 영역에 감도를 가지며, 상기 시차 연산부는, 상기 제1 촬상 영역으로부터 출력되는 촬상 신호를 기준 촬상 신호로 하여, 상기 제4 촬상 영역으로부터 출력되는 제4 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차량을 구하고, 당해 시차량을 벡터 분해함으로써, 상기 제2 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차량과, 상기 제3 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차량을 각각 구하는 것이 바람직하다.
상기의 제1 촬상 장치에 있어서, 또한, 상기 제1 및 제2 촬상 영역이 녹색의 파장 영역에 감도를 갖고, 상기 제2 및 제3 촬상 영역이 적색 및 청색의 파장 영역에 각각 감도를 갖는 것이 바람직하다.
또한, 상기의 제1 촬상 장치는, 상기 기준 촬상 신호에 있어서, 상기 기준 촬상 신호 이외의 촬상 신호에 있어서 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역을 블록으로 분할하고, 각 블록에 대해 시차량을 구하여, 구해진 시차량에 의거해, 당해 블록이 상기 기준 촬상 신호 이외의 촬상 신호에 있어서 실제로 결락되는지의 여부를 판정하는 결락 판정부를 더 구비하고, 상기 유효 화소 영역 보정부는, 상기 결락 판정부에 의해 결락되지 않는다고 판정된 블록의 화소를 상기 유효 화소 신호에 포함시키는 것이 바람직하다.
상기의 목적을 달성하기 위해, 본 발명에 관한 제2 촬상 장치는, 각각이 적어도 1장의 렌즈를 포함하는 복수의 렌즈부와, 상기 복수의 렌즈부에 일대일로 대응하고, 대응하는 상기 렌즈부의 광축 방향에 대해 대략 수직인 수광면을 각각 구비하며, 촬상 신호를 각각 출력하는 복수의 촬상 영역과, 상기 복수의 촬상 영역으로부터 각각 출력되는 촬상 신호 중 어느 하나를 기준 촬상 신호로 하여, 당해 기준 촬상 신호에 대한 다른 촬상 신호의 시차량을 연산하는 시차 연산부를 구비하고, 상기 복수의 촬상 영역 중, 상기 기준 촬상 신호를 출력하는 기준 촬상 영역 이외의 촬상 영역이, 기준 촬상 영역의 수광면보다 큰 수광면을 갖는 것을 특징으로 한다.
상기의 제2 촬상 장치는, 상기 시차량에 의거해 상기 복수의 촬상 신호를 보정하여 합성함으로써 합성 화상을 생성하여 출력하는 화상 합성부를 더 구비한 구성으로 하면, 화상의 주변부에 위색을 갖지 않는 화상을 재현할 수 있으므로, 바람직하다.
혹은, 상기의 제2 촬상 장치는, 상기 기준 촬상 신호와 상기 시차 연산부에서 연산된 시차량에 의거해, 피사체까지의 거리를 산출하는 거리 산출부를 더 구비한 구성으로 하면, 화상의 주변부에 있어서도 거리 측정이 가능해지므로, 바람직하다.
상기의 제2 촬상 장치에 있어서, 상기 기준 촬상 영역 이외의 촬상 영역 중, 상기 기준 촬상 영역에 인접하는 촬상 영역은, 상기 기준 촬상 영역과 비교하여, 상기 기준 촬상 영역에 인접하는 변에 대향하는 변측에 수광면이 확대되어 있고, 상기 기준 촬상 영역에 대각 배치된 촬상 영역은, 상기 기준 촬상 영역과 비교하여, 상기 기준 촬상 영역에서 먼 2변측에 수광면이 확대되어 있는 것이 바람직하다.
[발명의 효과]
이상과 같이 본 발명에서는, 종래로부터 과제로 되어 있었던 색 정보마다 시차를 갖는 복안 광학계에 있어서, 화상 주변부의 위색의 과제, 화상의 주변부에 있어서 거리 측정이 불가능해지는 과제를 개선한 촬상 장치를 제공할 수 있다.
도 1은, 본 발명의 제1 실시 형태에 관한 촬상 장치의 개략 구성을 도시한 블록도이다.
도 2는, 시차 발생예의 개략도이다.
도 3은, 색 정보의 결락을 발생시키지 않는 구성의 개략도이다.
도 4는, 시차 보정 알고리즘의 기본적인 흐름을 도시한 도면이다.
도 5는, 검출 블록을 도시한 도면이다.
도 6은, 시차량의 평가치와 제2 검출 블록의 시차량의 관계를 도시한 도면이다.
도 7은, 본 발명의 제1 실시 형태에 관한 촬상 장치의 변형예의 개략 구성을 도시한 블록도이다.
도 8은, 본 발명의 제2 실시 형태에 관한 촬상 장치의 개략 구성을 도시한 블록도이다.
도 9는, 제2 실시 형태에 관한 촬상 장치에 있어서, 어긋남 영역을 적당한 크기로 블록 분할한 상태를 도시한 도면이다.
도 10은, 색 정보 결락 판정 알고리즘의 흐름을 도시한 도면이다.
도 11은, 색 정보 결락 판정법을 설명한 도면이다.
도 12는, 제2 실시 형태에 관한 촬상 장치에 있어서의 출력 화소 영역의 확대 처리를 설명한 도면이다.
도 13은, 본 발명의 제3 실시 형태에 관한 촬상 장치에 있어서, 촬상 광학계측에서 본 각 이미지 센서의 크기를 도시한 평면도이다.
도 14는, 제3 실시 형태의 효과를 도시한 도면이다.
도 15는, 제1∼제3 실시 형태에 관한 촬상 장치의 변형예를 도시한 사시도이다.
도 16은, 제1∼제3 실시 형태에 관한 촬상 장치의 또 다른 변형예의 설명도이다.
도 17은, 종래의 촬상 장치의 구성을 도시한 도면이다.
도 18은, 종래의 촬상 장치에 있어서 발생하는 시차를 설명한 도면이다.
도 19는, 본 발명의 촬상 장치의 단면도이다.
도 20은, 본 발명의 촬상 장치의 실시예를 도시한 도면이다.
도 21은, 본 발명의 촬상 장치의 다른 실시예를 도시한 도면이다.
도 22는, 본 발명의 제3 실시 형태에 관한 촬상 장치 변형예의 개략 구성을 도시한 블록도이다.
도 23은, 본 발명의 제3 실시 형태에 관한 촬상 장치 변형예의 촬상 광학계 측에서 본 각 이미지 센서의 크기를 도시한 평면도이다.
도 24는, 본 발명의 제3 실시 형태에 관한 촬상 장치 변형예의 효과를 도시한 도면이다.
(제1 실시 형태)
이하, 본 발명의 제1 실시 형태에 대해, 도면을 참조하면서 설명한다.
도 1은, 본 발명의 실시 형태에 관한 촬상 장치의 개략 구성도이다. 도 1에 있어서, 1∼4는, 각각이 적어도 1개의 렌즈를 포함하는 촬영 광학계이다. 촬상 광학계(1∼4)의 각각에 대응하여, 이미지 센서(5∼8)가 설치되어 있다. 이미지 센서(5∼8)의 각각은, 촬상 광학계(1∼4)의 각각을 통해, 동일 피사체가 결상된다.
본 실시 형태에서는, 컬러 화상을 촬영하기 위해, 이미지 센서(5∼8) 중, 대각선 상에 배치된 이미지 센서(5, 7)는 녹색 파장 대역을 촬상하고, 이미지 센서(6)는 적색 파장 대역을 촬상하고, 이미지 센서(8)는 청색 파장 대역을 촬상한다. 이 파장 선택성은, 이미지 센서에 파장 의존성을 갖게 함으로써 실현해도 되고, 파장 선택성이 있는 필터(컬러 필터) 등을 삽입함으로써 실현해도 된다.
이미지 센서(5∼8)의 각각의 촬상 신호는, 각각, R신호 처리 회로(12), G신호 처리 회로(10, 11) 및 B신호 처리 회로(9)에 의해 화상 처리 된 후, 시차 연산 회로(14)로 보내진다. 시차 연산 회로(14)에서는, R신호 처리 회로(12), G신호 처리 회로(10, 11) 및 B신호 처리 회로(9)에서 수취한 신호 중 어느 하나를 기준 신호로 하여, 이 기준 신호에 대한 다른 신호의 시차량을 구한다. 시차 연산 회 로(14)에서 구해진 시차량은, R신호, G신호, B신호와 함께 화상 합성 회로(16)로 보내진다. 유효 화소 영역 보정 회로(13)는, 상기 기준 촬상 신호 이외의 촬상 신호에 있어서, 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역의 화소로부터 얻어지는 화소 신호를, 상기 기준 촬상 신호로부터 삭제하고, 그 결과로서 얻어지는 유효 화소 신호를 화상 합성 회로(16)로 출력한다. 화상 합성 회로(16)는, 상기 유효 화소 신호와 시차량에 의거해, R신호, G신호, 및 B신호를 보정하여 합성한다. 이에 의해, 컬러 화상이 출력된다. 또한, 도 1에서는, 주로 본 발명의 특징에 관한 구성 요소만을 도시하였지만, 본 발명의 촬상 장치를 실시하는 경우, 도 1에 나타낸 구성 요소 이외에, 각종의 보정 처리나 전처리 등, 임의의 화상 처리를 행하는 회로가 설치되어 있어도 된다.
여기에서, 우선 간단히 화상 합성의 흐름을 설명한다. 본 실시 형태의 촬상 장치에 있어서는, 도 1에 나타낸 바와 같이, 녹색 파장 대역의 촬상 광학계(1, 3) 및 이미지 센서(5, 7)는 대각 방향으로 배치되어 구성되어 있다. 본 실시 형태에서는, 시차 연산 회로(14)는, 녹색의 화상 신호를 출력하는 이미지 센서(5, 7) 중, 이미지 센서(5)로부터 출력된 화상을 기준 화상(G0이라고 표기한다)으로 하고, 이 기준 화상 G0과 이미지 센서(7)로부터 출력된 화상(G1이라고 표기한다)을 비교함으로써, 시차량을 계산하는 것으로 한다. 단, 복수의 촬상 광학계에 의해 결상되는 화상 중 어느 것을 기준 화상으로 할지는, 임의의 설계 사항이다.
화상에는 다양한 거리에 있는 피사체가 동시에 찍혀지기 때문에, 본 실시 형태의 촬상 장치의 시차 연산 회로(14)는, 비교 대상의 화상의 각각을 작은 블록으 로 분할하고, 각각의 블록 단위로 시차량을 계산함으로써, 화상 전체의 시차량을 파악한다. 즉, 시차 연산 회로(14)는, 이미지 센서(5)로부터 출력된 기준 화상 G0과 이미지 센서(7)로부터 출력된 화상 G1을 블록 단위로 비교함으로써, 기준 화상 G0과 화상 G1의 시차량을 구한다.
또한, 시차 연산 회로(14)는, 이미지 센서(6)로부터 출력된 화상(R)이 갖는 시차량과, 이미지 센서(8)로부터 출력된 화상(B)이 갖는 시차량을, 화상 G1의 시차량(기준 화상 G0으로부터의 시차량)을 벡터 분해함으로써 계산한다. 즉, 기준 화상 G0으로부터 화상 G1에 대한 시차량을, 기준 화상 G0으로부터 이미지 센서(6)의 화상 R로의 방향과, 기준 화상 G0으로부터 이미지 센서(8)의 화상 B로의 방향으로 벡터 분해함으로써, 기준 화상 G0에 대한, 화상 R의 시차량과 화상 B의 시차량이 각각 얻어진다.
이와 같이 구해진 시차량은, 기준 화상 G0, 화상 G1, 화상 R, 화상 B의 각각의 신호와 함께, 화상 합성 회로(13)로 보내진다. 화상 합성 회로(13)에서는, 화상 G1, 화상 R 및 화상 B의 시차량을 보정하여, 기준 화상 G0에 겹침으로써, 컬러의 화상을 재현한다.
도 2에, 이미지 센서(5)로부터 출력된 화상 G0과, 이미지 센서(7)로부터 출력된 화상 G1 사이의 시차 발생예를 개략적으로 나타낸다. 도 2에 있어서, G0c는 촬상 광학계(1)와 이미지 센서(5)로 결정되는 광축이 이미지 센서(5)와 교차하는 화상 상의 점, 즉 이미지 센서(5)의 화상 G0의 중심을 나타낸다. G1c도 동일하게, 촬상 광학계(3)와 이미지 센서(7)로 결정되는 광축이 이미지 센서(7)와 교차하는 화상 상의 점, 즉 이미지 센서(7)의 화상 G1의 중심을 나타낸다.
17a, 18a는, 이미지 센서(5)에 대해 각각이 다른 거리로 설치된 피사체를 촬영한 경우의 피사체 화상이다. 17a는 원거리 물체의 화상이고, 18a는 근거리 물체의 화상이다. 또, 17b, 18b는, 이미지 센서(7)로부터 출력된 피사체 화상이고, 17b는 원거리 물체의 화상, 18b는 근거리 물체의 화상이다. 또한, 17a, 17b는 동일한 물체의 화상이고, 18a, 18b도 동일한 물체의 화상이다.
도 2에서 알 수 있는 바와 같이, 원거리 물체 화상(17a)과 원거리 물체 화상(17b)은 시차가 거의 없고, 이미지 센서(5, 7)의 각각의 화상 G0, G1 중의 거의 동일한 위치에, 화상으로서 재현되고 있다. 한편, 근거리 물체 화상(18a)과 근거리 물체 화상(18b)은 큰 시차를 갖는다. 따라서, 근거리 물체 화상(18b)은, 도 2에 나타낸 바와 같이, 화상 정보의 일부가 결락된 화상으로서 재현될 가능성을 갖는다. 또한, 이미지 센서(5)의 기준 화상 G0 내의 근거리 물체 화상(18a)에 대한, 이미지 센서(7)의 화상 G1 내의 근거리 물체 화상(18b)의 시차 발생 방향은, 이미지 센서측에서 피사체 방향을 보고, 촬상 광학계(3)의 광축이 이미지 센서(7)와 교차하는 점에서부터, 촬상 광학계(1)의 광축이 이미지 센서(5)와 교차하는 점으로 향하는 벡터의 방향이다. 본 실시 형태의 촬상 장치에 있어서는, 시차를 갖는 이미지 센서(5∼8)의 각각에서 얻어지는 화상으로부터 추출한 색 정보를 이용해도, 이하에 설명하는 바와 같이, 위색이 없는 합성 화상이 얻어진다.
도 3을 참조하여, 본 실시 형태의 촬상 장치에 있어서, 색 정보의 결락을 발생시키지 않는 원리를 설명한다. 도 3은, 이미지 센서(5)로부터 출력된 피사체 화 상이다. 도 3에 있어서 사선을 그은 영역은, 이미지 센서(5)로부터 출력된 화상을 기준 화상으로 하는 경우에, 기준 화상 중의 이 사선의 영역 내에 최단 피사체 거리에 위치하는 물체가 찍히면, 시차에 의해 이미지 센서(7)에서는 당해 물체의 화상이 결락되어 버리는 영역(이하, 「어긋남 영역」이라고 칭한다)이다. 따라서, 도 3의 어긋남 영역에 최단 피사체 거리에 위치하는 물체가 찍히면, 이 어긋남 영역의 색 정보가 결락될 가능성이 있다. 또, 이미지 센서(6)로부터 출력된 화상 및 이미지 센서(8)로부터 출력된 화상의 각각에 있어서도, 동일하게, 이미지 센서(5)로부터 출력된 화상과의 시차에 의해, 어긋남 영역이 존재한다. 이 때문에, 본 실시 형태의 촬상 장치는, 유효 화소 영역 보정 회로(13)에 있어서 기준 화상으로부터 이 어긋남 영역의 화소 정보를 삭제하여 얻어진 유효 화소 영역만에 대해, 화상 합성 회로(16)가, 이미지 센서(5∼8)의 각각에서 얻어진 화상을 1개의 화상으로 합성한다.
화소 정보를 삭제해야 하는 어긋남 영역의 위치 및 범위는, 촬상 광학계(1∼4) 및 이미지 센서(5∼8)의 위치 관계에 의해 결정된다. 본 실시 형태에서는, 도 3에 나타낸 바와 같이, 기준 화상 G0의 2변의 화소를 L자형상으로 삭제한 다음 합성 화상을 작성한다. 또한, 도 3에 나타낸 V5-6은, 이미지 센서(5)로부터 출력된 기준 화상 G0에 대한, 이미지 센서(6)로부터 출력된 화상의 시차 방향이고, V5-8은, 이미지 센서(5)로부터 출력된 기준 화상 G0에 대한, 이미지 센서(8)로부터 출력된 화상의 시차 방향이다.
또, 본 실시 형태에서는, 유효 화소 영역 보정 회로(13)에 있어서 화소를 삭제하는 영역(어긋남 영역)의 크기는 최단 피사체 거리에 의해 결정된다. 최단 피사체 거리란, 촬상 장치가 설계상 대응 가능한, 가장 가까운 피사체까지의 거리를 나타낸다. 어긋남 영역의 크기는, 예를 들면, 이하와 같이 구할 수 있다. 최단 피사체 거리를 Amin, 촬상 광학계(1∼4)의 초점 거리를 f, 촬상 광학계(1)와 촬상 광학계(3)의 광축간 거리를 D, 이미지 센서(5∼8)의 화소 피치를 p로 하면, 최단 피사체 거리 Amin에 있는 피사체의 이미지 센서(5)로부터 출력되는 화상 G0과, 이미지 센서(7)로부터 출력되는 화상 G1의 시차량 dmin은, 하기의 (수식 2)에 의해 얻을 수 있다. 또한, (수식 2)는, (수식 1)의 조건을 만족할 때에 성립되는 근사식이지만, 통상, 최단 피사체 거리 Amin은 초점 거리 f의 10배 이상이므로, 근사식을 이용해도 전혀 문제는 없다.
(수식 1)
Amin>>f
(수식 2)
dmin≒D·f/(Amin·p)
여기에서, 시차량 dmin의 x방향 성분을 dminx, y방향 성분을 dminy로 하면, 이들은 하기의 (수식 3) 및 (수식 4)로 표기된다.
(수식 3)
dminx=dmin·cosθ
(수식 4)
dminy=dmin·sinθ
또, 본 발명의 실시 형태에 관한 촬상 장치의 사양은 이들의 구체적인 수치에 한정되지 않지만, 구체적인 수치로서 예를 들면,
D=5mm
f=4.5mm
Amin=10cm
p=3μm
cosθ=4/5
sinθ=3/5
일 때, 최단 피사체 거리에 있는 피사체를 촬영한 경우의 시차량 dmin, dminx, dminy는, 75화소, 60화소, 45화소가 된다(도 3 참조). 따라서, 이 경우는, 화상 합성 회로(13)는, 기준 화상 G0에 있어서, V5-6의 정방향측의 변을 따라 60화소, V5-8의 정방향측의 변을 따라 45화소를 L자형상으로 삭제함으로써, 수평 방향의 화소수가 (H-60)화소, 수직 방향의 화소수가 (V-45)화소인 직사각형의 합성 화상을 작성한다.
상기한 바와 같이, 본 실시 형태에 관한 촬상 장치에서는, 유효 화소 영역 보정 회로(13)에 있어서, 색 정보가 결락될 가능성이 있는 영역(어긋남 영역)의 화상 정보를 파기하고, 화상 합성 회로(16)가, 색 정보가 완전히 갖추어진 영역(도 3에 나타낸 영역 G0S)의 화상 정보만을 이용하여 컬러 화상을 합성한다. 이후, 이 영역 G0S를 출력 화소 영역이라고 칭한다.
다음에, 도 3 중의 출력 화소 영역 G0S의 시차량 추출에 대해, 도 4, 도 5를 이용하여 설명한다. 도 4는, 시차 보정 알고리즘의 기본적인 흐름을 도시한 도면이다. 도 5는, 이미지 센서(5, 7) 상의 검출 블록을 도시한 도면이다.
시차 보정 알고리즘의 단계 S101에 있어서, 블록 추출 처리를 행한다. 여기에서, 처음에, 이미지 센서(5)의 출력 화소 영역 G0S를 균등한 블록으로 분할한다. 그 중 하나의 블록(제1 검출 블록(204))에 대해 이하의 처리를 설명하지만, 동일한 처리를 분할한 모든 블록에 대해 실시한다. 제1 검출 블록(204)은, 8×8화소에서 64×64화소 정도의 사이즈가 적당하다. 또한, 촬상 광학계의 배율을 크게 한 경우에는, 검출 블록(204)의 화소 사이즈를 작게 하는 것이 바람직하다. 또한, 화상 G1에도, 제1 검출 블록(204)과 동일한 사이즈의 제2 검출 블록(205)을 설정한다.
다음에, 단계 S103에 있어서, 기준 화상 G0의 제1 검출 블록(204)과 동일한 화상 정보를 갖는 블록을 화상 G1로부터 탐색하기 위해, 시차량 평가치를 계산한다. 시차량 평가치 계산 처리의 한 구체예에 대해 이하에 설명한다. 도 5에 있어서, 단계 S101에서 화상 G1 상에 설정한 제2 검출 블록(205)을, x축 방향으로 k화소만큼 이동하고, y축 방향으로 j화소만큼 이동하면, 제2 검출 블록은 206의 위치로 이동한다. 그리고, 제1 검출 블록(204)과 이동 후의 제2 검출 블록(206)에 대해, 각 검출 블록 내에 있어서의 대응 화소의 출력치의 차를 계산하고, 그 차를, 검출 블록 내의 모든 화소에 대해 합계한 것을, 제2 검출 블록(206)의 위치에 있어 서의 시차량 평가치로 한다. 또한, 시차량 평가치의 산출 방법은, 이것에 한정되지 않는다.
제1 검출 블록(204) 내의 화소(a, b)에 있어서의 화소로부터의 출력치를 GG1(a, b)로 하고, 제2 검출 블록(206) 내의 화소(a, b)에 있어서의 화소로부터의 출력치를 GG2(a, b)로 하면, 시차량 평가치 R(k, j)은 하기의 (수식 5)에 의해 구해진다.
[수식 5]
Figure 112008058507074-PCT00001
이 시차량 평가치 R(k, j)은, 시차량(k, j)만큼 이동한 제2 검출 블록(206)이, 제1 검출 블록(204)과 얼마만큼 상관이 있는지를 나타내고, 값이 작을수록 2개의 검출 블록이 유사한 것을 나타내고 있다.
도 6에, 시차량의 평가치와 제2 검출 블록의 시차량의 관계를 나타낸다. 도 6은, 가로축에 x방향의 이동 화소수(k), 세로축에 시차량 평가치(R)를 플롯한 것이다. 시차량 평가치는 k의 값에 연동하여 변화하고, 유사도가 높아지면 값이 현저하게 작아진다. 도 6에서는 k=k1일 때에 최소치를 취하고 있다. 또한, 도 6에서는, j의 값을 j=j1로 고정하고, k의 값만을 변화시킨 경우에 대해 나타내었지만, 동일한 변화가, j의 값을 변화시킨 경우에 대해서도 발생한다. 따라서, 단계 S103의 시차량 평가치 계산 처리에서는, 소정 범위의 취할 수 있는 모든 k의 값 및 j의 값에 대해 반복 처리를 행한다. 통상, 시차가 발생하는 방향은, 이미지 센서(5∼8) 의 상호의 위치 관계에서 일의적으로 결정된다. 따라서, 시차량 평가치 계산 시의 제2 검출 블록의 추출도, 이 법칙에 따라 추출함으로써, 대폭으로 계산 효율을 향상할 수 있다.
다음에, 단계 S104에 있어서, 단계 S103에서 구한 각 시차량 평가치로부터 최소치를 추출한다. 여기에서는, 상기 알고리즘에서 얻어진 시차량의 평가치 계산의 결과를 비교하여, 그 최소치를 구한다. 그리고, 단계 S105에 있어서, 최소치가 얻어졌을 때의 시차량(k, j)의 추출을 행하여, 시차량을 결정한다. k=k1, j=j1일 때 최소치가 얻어졌다고 가정하면, 기준 화상 G0 상의 제1 검출 블록(204)의 화상 정보는, 화상 G1 상의, x방향으로 k1화소, y방향으로 j1화소 이동했을 때의 제2 검출 블록(206)의 화상 정보와 일치하고 있다고 판단하여, 시차량(k1, j1)을 추출하고, 이것을 제1 검출 블록(204)의 시차량으로 한다(dx=k1, dy=j1). 이 일련의 처리를, 이미지 센서(5)의 기준 화상 G0 내의 출력 화소 영역 G0S에 설정한 모든 검출 블록에 대해 행하여, 시차량을 결정한다. 이상의 처리를 시차 연산 회로(14)가 행함으로써, 기준 화상 G0에 대한 화상 G1의 시차량이 구해진다.
그리고, 이미지 센서(7)로부터 출력되는 화상 G1에 대해 얻어진 시차량을 기초로, 이미지 센서(6)로부터 출력되는 화상 R, 이미지 센서(8)로부터 출력되는 화상 B의 시차량을 계산하여, 화상 합성 회로(16)에 있어서, 각각의 화상을 보정하고, 기준 화상 G0 상에 겹침으로써, 컬러의 화상이 합성된다. 또한, 본 실시 형태 의 촬상 장치에 있어서는, 기준 화상 G0 상에 있어서 어긋남 영역에 상당하는 화소의 정보는, 합성 화상을 작성하기 전에, 유효 화소 영역 보정 회로(13)에 의해 모두 파기되어 있다.
본 실시 형태의 구성에 의해, 색 정보마다 시차를 갖는 복안 광학계에 있어서, 과제였던 주변부의 위색의 과제를 개선할 수 있다.
또한, 본 실시 형태에 있어서, 이미지 센서를 4개 사용한 구성을 설명해 왔지만, 본 발명은 그 구성뿐만 아니라, 1개의 이미지 센서를 4개의 촬상 영역으로 분할하여 사용하는 경우나, 2개의 이미지 센서를 각각 2개의 촬상 영역으로 분할하여 사용하는 경우에 대해서도 동일한 효과가 있는 것은 말할 필요도 없다.
또한, 복수 세트의 동일한 파장 대역의 화상으로부터 시차를 추출하고, 추출한 시차에 의거해 피사체까지의 거리를 계측하는 촬상 장치에 있어서도, 본 실시 형태와 같이 어긋남 영역에 상당하는 화소의 정보를 파기함으로써, 화상의 주변부에 거리 측정이 불가능한 부분이 발생한다는 종래의 과제를 해결할 수 있다. 본 실시 형태에 있어서 상기에서 설명한 바와 같은, 복수의 촬상 영역에서 얻어진 화상을 합성함으로써 컬러 화상을 만들어 내는 처리와, 복수의 촬상 영역에서 얻어진 화상을 이용하여 피사체까지의 거리를 계측하는 처리(거리 측정 처리)는, 화상으로부터 추출한 시차량에 의거해 처리를 행하는 점에 있어서 공통된다. 따라서, 거리 측정 처리에 대해서도 본 실시 형태를 적용함으로써, 화상의 주변부에 거리 측정이 불가능한 부분이 발생한다는 종래의 과제를 해결할 수 있다. 예를 들면, 도 1의 구성에 있어서의 화상 합성 회로(16) 대신에, 도 7에 나타낸 바와 같이, 이미지 센 서(5, 7)의 화상으로부터 추출한 시차에 의거해 피사체까지의 거리를 산출하는 거리 산출 회로(19)를 설치함으로써, 거리 측정 처리를 행하는 촬상 장치를 용이하게 구성할 수 있다. 또한, 화상 합성 회로(16)와 거리 산출 회로(19)의 양쪽을 구비함으로써, 컬러 화상 출력 처리와 거리 측정 처리의 양쪽이 가능한 촬상 장치도, 본 발명의 하나의 실시 형태이다.
또한, 본 실시 형태에 관한 촬상 장치를 거리 측정 장치로서 이용하는 경우, 시차 연산 회로(14)에 의해 2개의 광학계에 있어서의 시차량 d가 얻어지면, 거리 산출 회로(19)는, (수식 6)에 의해 피사체까지의 거리 z를 얻을 수 있다. 또한, 수식 6에 있어서, D는 2개의 광학계의 광축간 거리, f는 광학계의 초점 거리, d는 시차량, z는 피사체 거리이다.
(수식 6)
z≒D·f/d
또한, 거리를 계측하는 촬상 장치에 있어서는, 4개의 촬상 영역은 필요 없고, 적어도 2개의 촬상 영역이 있으면, 충분히 거리 계측이 가능한 것은 말할 필요도 없다.
(제2 실시 형태)
이하, 본 발명의 제2 실시 형태에 대해, 도면을 참조하면서 설명한다.
전술한 제1 실시 형태에서는, 최단 피사체 거리에 의거해, 화상의 색 정보가 결락될 가능성이 있는 영역(어긋남 영역)을 결정하고, 합성 화상을 생성할 때에 어긋남 영역의 화소 정보를 모두 파기하고 있다. 이에 대해, 이하에 설명하는 제2 실시 형태에서는, 어긋남 영역에 있어서, 화상을 합성할 때에 실제로 색 정보가 결락되는 부분과 결락되지 않는 부분을 판정하여, 색 정보가 결락되지 않는 부분의 화소는 화상으로서 출력한다. 즉, 제1 실시 형태에서는, 화상으로서 출력하는 화소수(출력 화소 영역의 화소수)가 적어지지만, 제2 실시 형태에서는, 화소수의 감소를 억제할 수 있다.
이 때문에, 도 8에 나타낸 바와 같이, 제2 실시 형태에 관한 촬상 장치는, 제1 실시 형태에서 설명한 구성 요소에 더하여, 색 정보 결락 판정 회로(15)를 구비하고 있다.
도 9는, 이미지 센서(5)로부터 출력된 기준 화상 G0에 있어서의 어긋남 영역을 적당한 크기로 블록 분할한 상태를 도시한 도면이다. 도 10은, 색 정보 결락 판정 알고리즘의 흐름을 도시한 도면이다.
도 10의 단계 S201에 있어서, 예를 들면 도 9에 나타낸 바와 같이, 어긋남 영역을 적당한 크기의 직사각형 블록 B(x, y)로 분할한다. 또한, (x, y)는 각 블록의 대표점(예를 들면 중심점) 좌표를 나타내는 것으로 한다. 블록 사이즈는, 일반적으로는, 8회소×8화소∼64화소×64화소 정도가 적당하다.
다음에, 단계 S202에서는, 도 4에 나타낸 시차 보정 알고리즘의 S103∼S105를 실행함으로써, 시차 추출을 행하여, 단계 S201에서 분할한 모든 블록 B의 시차량을 추출한다.
또한, 단계 S203에서는, 블록 B의 각각에 대해, 화상을 합성할 때에 실제로 색 정보가 결락되는지의 여부의 판정을 행한다. 여기에서, 이 판정의 구체예에 대 해 도 11을 이용하여 설명한다. 도 11에 있어서, 이미지 센서(5, 7)로부터 얻어지는 화상 G0, G1은, x방향으로 H화소, y방향으로 V화소의 크기를 갖는 것으로 한다. 화상 G0 상의 어긋남 영역에 있어서의 블록 B(x1, y1)는, 블록 사이즈는 a화소×b화소이고, 단계 S201에서 시차량을 추출한 결과, 화상 G1 상의 블록 B1에 상당하는 블록이라고 판정되며, 시차량은 (k, j)인 것으로 한다. 여기에서, 블록 B1이 화상 G1 내에 존재하는 조건을 만족하면, 블록 B는, 화상을 합성할 때에 실제로는 색 정보의 결락이 없다고 판정된다. 이상의 것을 수식으로 기술하면, 하기의 (수식 7), (수식 8)이 된다.
(수식 7)
x1+k-a/2≥0
(수식 8)
y1+j+b/2≤V
단계 S203에서는, 색 정보 결락 판정 회로(15)가, 이 조건의 만족, 불만족을, 각 블록에 대해 확인한다. 조건이 만족되어 있는 경우는(단계 S203의 결과가 Y), 블록 B를 출력 화소 영역 G0S에 추가함으로써, 유효 화소 영역 보정 회로(13)에서 얻어진 출력 화소 영역을 확대한다(단계 S204). 그리고, 조건 판정의 대상으로 하는 블록을 1개 시프트하여(단계 S205), 단계 S203으로 되돌아간다.
이와 같이, 단계 S203의 결과가 Y인 한, 단계 S204에서 출력 화소 영역이 1블록분 확대되고, 또한 단계 S205에 있어서, 예를 들면, 도 12에 있어서 1)∼6)의 기호를 붙인 화살표로 나타낸 바와 같이, 출력 화소 영역 G0S의 외주에 접하는 블록으로부터, 순차적으로 그 외측의 블록으로, 조건 판정의 대상으로 하는 블록을 시프트시켜, 단계 S203∼S205의 처리가 반복 계속된다. 요컨대, 도 12에 나타낸 블록 B(x1, y1)로부터 처리를 개시하여, 단계 S203의 결과가 Y인 동안, 1)의 화살표를 따라(즉 출력 화소 영역 G0S의 외주를 따라), y좌표가 증가하는 방향으로, 조건 판정의 대상으로 하는 블록을 순차적으로 시프트하여, 블록 B(x1, y2)에 도달하면, 다음에, 2)의 화살표를 따라, x좌표가 증가하는 방향으로, 조건 판정의 대상으로 하는 블록을 순차적으로 시프트한다. 그리고, 도 12에 나타낸 블록 B(x4, y2)에 도달하면, 조건 판정의 대상으로 하는 블록을 B(x2, y1)로 시프트한다. 이후, 동일하게, 3)의 화살표를 따라, 블록 B(x2, y1)로부터 블록 B(x2, y3)로 순차적으로 시프트하고, 또한 4)의 화살표를 따라, 블록 B(x2, y3)로부터 블록 B(x4, y3)로 순차적으로 시프트하며, 5)의 화살표를 따라, 블록 B(x3, y1)로부터 블록 B(x3, y4)로 순차적으로 시프트하고, 또한 6)의 화살표를 따라, 블록 B(x3, y4)로부터 블록 B(x4, y4)로 순차적으로 시프트한다.
단, 단계 S203의 결과가 N이 된 경우는, 단계 S207로 처리가 이행된다. 예를 들면, 도 12에 나타낸 3)의 화살표를 따른 블록의 처리 중에, 블록군(19a)은 상기의 조건을 만족하고 있었지만, 블록(19b)에서 조건이 불만족이 된 경우는, 단계 S203의 판정 결과가 N이 된다. 이 경우, 단계 S207에 있어서, 도 12에 나타낸 3)의 화살표의 선두 블록으로 되돌아가, 그 화살표 내의 블록군을 더욱 세세한 블록 으로 분할하여, 세분할 후의 블록에 의해, S202 및 S203를 재차 실행한다. 단계 S207에 있어서 블록 사이즈가 2×2화소 정도가 될 때까지 재차 세분할을 반복해도 단계 S203의 판정 결과가 N인 경우는, 출력 화소 영역 G0S의 그 이상의 확대는 불가능한 것으로 하여, 처리를 종료한다.
또한, 도 12에서는, 블록 B(x1, y1)로부터 처리를 개시하는 예를 나타내었지만, B(x4, y2)로부터 처리를 개시하여, 2)의 화살표에 역행하는 방향으로 블록의 시프트를 행해도 된다.
이상의 처리에 의해, 본 실시 형태의 촬상 장치에 의하면, 색 정보마다 시차를 갖는 복안 광학계에 있어서, 주변부의 위색의 과제를 개선하는 것에 더하여, 제1 실시 형태보다 출력 화소 영역을 크게 할 수 있다는 이점이 있다.
또한, 본 실시 형태에 있어서, 이미지 센서를 4개 사용한 구성을 설명해 왔지만, 본 발명은 그 구성뿐만 아니라, 1개의 이미지 센서를 4개의 촬상 영역으로 분할하여 사용하는 경우나, 2개의 이미지 센서를 각각 2개의 촬상 영역으로 분할하여 사용하는 경우에 대해서도 동일한 효과가 있는 것은 말할 필요도 없다.
또한, 복수 세트의 동일한 파장 대역의 화상으로부터 시차를 추출하고, 추출한 시차에 의거해 피사체까지의 거리를 계측하는 촬상 장치에 있어서도, 본 실시 형태와 같이 어긋남 영역에 상당하는 화소의 정보를 파기함으로써, 화상의 주변부에 거리 측정이 불가능한 부분이 발생한다는 종래의 과제를 해결할 수 있다. 본 실시 형태에 있어서 상기에서 설명한 바와 같은, 복수의 촬상 영역에서 얻어진 화 상을 합성함으로써 컬러 화상을 만들어 내는 처리와, 복수의 촬상 영역에서 얻어진 화상을 이용하여 피사체까지의 거리를 계측하는 처리(거리 측정 처리)는, 화상으로부터 추출한 시차량에 의거해 처리를 행하는 점에 있어서 공통된다. 따라서, 거리 측정 처리에 대해서도 본 실시 형태를 적용함으로써, 화상의 주변부에 거리 측정이 불가능한 부분이 발생한다는 종래의 과제를 해결할 수 있다. 예를 들면, 도 1의 구성에 있어서의 화상 합성 회로(16) 대신에, 도 7에 나타낸 바와 같이, 이미지 센서(5, 7)의 화상으로부터 추출한 시차에 의거해 피사체까지의 거리를 산출하는 거리 산출 회로(19)를 설치함으로써, 거리 측정 처리를 행하는 촬상 장치를 용이하게 구성할 수 있다. 또한, 화상 합성 회로(16)와 거리 산출 회로(19)의 양쪽을 구비함으로써, 컬러 화상 출력 처리와 거리 측정 처리의 양쪽이 가능한 촬상 장치도, 본 발명의 하나의 실시 형태이다.
또한, 2개의 광학계에 있어서의 시차량 d가 얻어지면, 상기의 (수식 6)으로 피사체까지의 거리 z를 얻을 수 있다. 또, 제1 실시 형태와 동일하게, 거리를 계측하는 촬상 장치에 있어서는, 4개의 촬상 영역은 필요 없고, 적어도 2개의 촬상 영역이 있으면, 충분히 거리 계측이 가능한 것은 말할 필요도 없다.
(제3 실시 형태)
이하, 본 발명의 제3 실시 형태에 대해, 도면을 참조하면서 설명한다.
본 실시 형태에 관한 촬상 장치에 있어서 제1 실시 형태와 다른 점은, 각각의 이미지 센서의 촬상 영역의 크기를 다르게 하여 설치함으로써, 제2 실시 형태와 같은 복잡한 화상 처리 없이, 출력 화소 영역의 화소수를 가능한 한 많게 하는 것 을 가능하게 하는 점이다.
도 13은, 촬상 광학계(1∼4)측에서 각 이미지 센서(5∼8)를 본 경우의, 각 이미지 센서의 촬상 영역의 크기를 도시한 평면도이다. 여기에서는, 제1 실시 형태나 제2 실시 형태와 동일한 기능을 갖는 부분에는 동일한 기호를 붙이는 것으로 하였다. 제1 실시 형태와 동일하게, 이미지 센서(5)는 기준 화상 G0을 출력하고, 이미지 센서(6)는 화상 R을 출력하며, 이미지 센서(7)는 화상 G1을 출력하고, 이미지 센서(8)는 화상 B를 출력하는 것으로 한다.
또, 도 13에 있어서, 5c는 촬상 광학계(1)와 이미지 센서(5)로 결정되는 광축이 이미지 센서(5)의 수광면과 교차하는 점, 6c는 촬상 광학계(2)와 이미지 센서(6)로 결정되는 광축이 이미지 센서(6)의 수광면과 교차하는 점, 7c는 촬상 광학계(3)와 이미지 센서(7)로 결정되는 광축이 이미지 센서(7)의 수광면과 교차하는 점, 8c는 촬상 광학계(4)와 이미지 센서(8)로 결정되는 광축이 이미지 센서(8)의 수광면과 교차하는 점을 각각 나타낸다. 또한, 이미지 센서(6, 7, 8) 내에 기재한 파선은, 이미지 센서(5)와 동일한 크기의 촬상 영역을 나타낸 것이다. 점 5c와 점 6c의 거리를 D1로 하고, 점 5c와 점 8c의 거리를 D2로 하였다.
본 실시 형태의 촬상 장치에서는, 도 13에서도 알 수 있는 바와 같이, 이미지 센서(5∼8)의 크기가 모두 다르다. 구체적으로는, 기준 화상 G0을 출력하는 이미지 센서(5)가 가장 작고, 이미지 센서(5)와 비교하여, 이미지 센서(6)는 x의 음의 방향으로 화소수를 d1만큼 확대한 크기로 되어 있다. 또, 이미지 센서(8)는, 이미지 센서(5)와 비교하여, y의 음의 방향으로 화소수를 d2만큼 확대한 크기로 되 어 있다. 또한, 이미지 센서(7)는, 이미지 센서(5)와 비교하여, x의 음의 방향으로 화소수를 d1, 또한 y의 음의 방향으로 화소수를 d2만큼 각각 확대한 크기로 되어 있다.
x방향의 화소 확대량 d1과 y방향의 화소 확대량 d2는, 최단 피사체 거리를 Amin, 촬상 광학계(1∼4)의 초점 거리를 f, 이미지 센서(5∼8)의 화소 피치를 p로 하면, 전술한 (수식 1)의 가정 하에서, (수식 9), (수식 10)으로 기술할 수 있다.
(수식 9)
d1≒D1·f/(Amin·p)
(수식 10)
d2≒D2·f/(Amin·p)
따라서, 이미지 센서(5)의 크기가, H화소×V화소인 것으로 하면, 이미지 센서(6)의 크기는 (H+d1)화소×V화소, 이미지 센서(7)는 (H+d1)화소×(V+d2)화소, 이미지 센서(8)는 H화소×(V+d2)화소가 된다.
본 구성에 의하면, 이미지 센서(5)에 비해, 이미지 센서(7)는 커지고 있으므로, 최단 피사체 거리에 있어서 발생하는 시차를 고려해도, 이미지 센서(5)의 화상 정보에 필적하는 모든 정보를 이미지 센서(7)로부터 추출하는 것이 가능해진다.
구체적으로는, 도 14에 나타낸 바와 같이, 이미지 센서(5)의 주변부에 결상된 근거리 물체(18a)는, 이미지 센서(7)의 촬상 영역이 충분히 크기 때문에, 정보의 결락 없이 이미지 센서(7) 내에 상을 맺을 수 있다. 이에 의해, 제2 실시 형태와 같이 복잡한 연산 처리 없이, 종래부터 과제로 되어 있었던 색 정보마다 시차를 갖는 복안 광학계에 있어서의 주변부의 위색의 과제를 개선하는 것에 더하여, 제1 실시 형태보다 출력 화소 영역을 크게 할 수 있다. 또한, 도 13은 촬상 광학계(1∼4)측에서 이미지 센서(5∼8)의 수광면을 본 도면이고, 도 14는 이미지 센서(5∼8)의 각각에서부터 출력되는 촬상 신호를 도시한 도면이므로, 도 13과 도 14에서는 상하, 좌우가 반대의 관계로 되어 있다. 또한, G1 내에 기재한 파선은, G0과 동일한 크기의 촬상 영역을 나타낸 것이다.
본 실시 형태에 있어서, 이미지 센서를 4개 사용한 구성을 설명해 왔지만, 본 발명은 그 구성뿐만 아니라, 1개의 이미지 센서를 4개의 촬상 영역으로 분할하여 사용하는 경우나, 2개의 이미지 센서를 각각 2개의 촬상 영역으로 분할하여 사용하는 경우에 대해서도 동일한 효과가 있는 것은 말할 필요도 없다.
여기에서 또한, 상술한 실시 형태를 실현하기 위한 보다 구체적인 구성예를 나타낸다. 상기에서 설명한 구성에 대해서는, 상기의 설명과 동일한 참조 부호를 부기한다.
도 19는, 본 발명의 한 구성예에 관한 촬상 장치(100)의 단면도이다. 도 19의 단면은, 촬상 광학계(1∼4)의 광축에 평행하다. 도 20은, 도 19에 나타낸 A-A 단면에 있어서의 촬상 장치(100)의 단면도이다. 도 19 및 도 20에 있어서, 101은 제1 경통, 102는 촬상 광학계(1∼4)를 유지하는 제2 경통이다. 제1 경통(101)은, 도 20에 나타낸 바와 같이, 서로 직교하는 내벽(101a, 101b)을 갖는다. 이 내벽(101a, 101b)이 1개의 이미지 센서를 4개의 촬상 영역으로 나눔으로써, 상술한 이미지 센서(5∼8)로서 기능하는 이미지 영역(5'∼8')이 실현된다(도 20 참조).
도 20에 나타낸 구성에서는, 제1 경통(101)의 내벽(101a, 101b)은, 서로 거의 중앙 위치에서 교차하고 있고, 경통 내벽을 거의 동일한 용적의 4개의 영역으로 분할한다. 요컨대, 제1 경통(101)은, 제2 경통(102)측의 4개의 개구부가, 거의 동일한 면적을 갖는다. 그리고, 1개의 이미지 센서가, 그 중앙 위치가, 내벽(101a, 101b)의 교차 위치(101c)로부터 어긋나도록 배치됨으로써, 촬상 영역의 크기가 서로 다른 이미지 영역(5'∼8')이 실현되고 있다. 이 이미지 영역(5'∼8')이, 상술한 이미지 센서(5∼8)로서 기능한다. 또한, 도 20의 예에서는, 제1 경통(101)은 사각기둥이지만, 경통의 형상은 사각기둥에 한정되지 않는다.
다른 구성예를 도 21에 나타낸다. 도 21에 있어서, 제1 경통(201)은, 서로 직교하는 내벽(201a, 201b)을 갖는다. 단, 도 21에 나타낸 제1 경통(201)은, 4개의 측벽 중, 인접하는 2개의 측벽(202d, 202e)보다, 다른 2개의 측벽(202f, 202g) 쪽이 두껍다. 즉, 도 21의 예에서는, 제1 경통(201)은, 제2 경통(102)측의 4개의 개구부가 서로 다른 면적을 갖는다. 그리고, 1개의 이미지 센서가, 그 중앙 위치가 내벽(201a, 201b)의 교차 위치(201c)에 일치하도록 배치됨으로써, 촬상 영역의 크기가 서로 다른 이미지 영역(5'∼8')이 실현되고 있다. 이 이미지 영역(5'∼8')이 상술한 이미지 센서(5∼8)로서 기능한다.
즉, 상기의 도 19 및 도 20에 나타낸 구성예와, 도 21에 나타낸 구성예의 어느 쪽에서나, 촬상 영역의 크기가 서로 다른 이미지 영역(5'∼8')이 실현되고 있고, 이 이미지 영역(5'∼8')을 구비한 촬상 장치는, 전술한 본 발명의 효과를 발휘한다.
또한, 복수 세트의 동일한 파장 대역의 화상으로부터 시차를 추출하고, 추출한 시차에 의거해 피사체까지의 거리를 계측하는 촬상 장치(예를 들면, 도 1의 구성에 있어서, 이미지 센서(5, 7)의 화상으로부터 시차를 추출하고, 추출한 시차에 의거해 피사체까지의 거리를 계측한다)에 있어서도, 본 실시 형태와 같이 이미지 센서의 수광면의 크기를 서로 다르게 함으로써, 화상의 주변부에 거리 측정이 불가능한 부분이 발생한다는 종래의 과제를 해결할 수 있다. 본 실시 형태에 있어서 상기에서 설명한 바와 같은, 복수의 촬상 영역에서 얻어진 화상을 합성함으로써 컬러 화상을 만들어 내는 처리와, 복수의 촬상 영역에서 얻어진 화상을 이용하여 피사체까지의 거리를 계측하는 처리(거리 측정 처리)는, 화상으로부터 추출한 시차량에 의거해 처리를 행하는 점에 있어서 공통된다. 따라서, 거리 측정 처리에 대해서도 본 실시 형태를 적용함으로써, 화상의 주변부에 거리 측정이 불가능한 부분이 발생한다는 종래의 과제를 해결할 수 있다. 예를 들면, 도 1의 구성에 있어서의 화상 합성 회로(16) 대신에, 도 7에 나타낸 바와 같이, 이미지 센서(5, 7)의 화상으로부터 추출한 시차에 의거해 피사체까지의 거리를 산출하는 거리 산출 회로(19)를 설치함으로써, 거리 측정 처리를 행하는 촬상 장치를 용이하게 구성할 수 있다. 또한, 화상 합성 회로(16)와 거리 산출 회로(19)의 양쪽을 구비함으로써, 컬러 화상 출력 처리와 거리 측정 처리의 양쪽이 가능한 촬상 장치도, 본 발명의 하나의 실시 형태이다.
또한, 2개의 광학계에 있어서의 시차량 d가 얻어지면, 상기의 (수식 6)으로 피사체까지의 거리 z를 얻을 수 있다.
또, 제1 실시 형태와 동일하게, 거리를 계측하는 촬상 장치에 있어서는, 4개의 촬상 영역은 필요 없고, 적어도 2개의 촬상 영역이 있으면, 충분히 거리 계측이 가능한 것은 말할 필요도 없다.
구체적으로는, 도 22에 나타낸 바와 같은 촬상 장치에서, 이미지 센서(5, 7)의 화상으로부터 추출한 시차에 의거해 피사체까지의 거리를 산출하는 거리 산출 회로(19)를 설치함으로써, 거리 측정 처리를 행하는 촬상 장치를 용이하게 구성할 수 있다. 또한, 본 실시 형태에 관한 촬상 장치를 거리 측정 장치로서 이용하는 경우, 시차 연산 회로(14)에 의해 2개의 촬상 광학계(1, 3)에 있어서의 시차량 d가 얻어지면, 거리 산출 회로(19)는, (수식 6)에 의해 피사체까지의 거리 z를 얻을 수 있다. 또한, 수식 6에 있어서, D는 2개의 촬상 광학계(1, 3)의 광축간 거리(도 23 중의 D1), f는 촬상 광학계(1, 3)의 초점 거리, d는 시차량, z는 피사체 거리이다.
도 23은, 촬상 광학계(1, 3)측에서 각 이미지 센서(5, 7)를 본 경우의, 각 이미지 센서의 촬상 영역의 크기를 도시한 평면도이다. 여기에서는, 제1 실시 형태나 제2 실시 형태와 동일한 기능을 갖는 부분에는 동일한 기호를 붙였다. 제1 실시 형태와 동일하게, 이미지 센서(5)는 기준 화상 G0을 출력하고, 이미지 센서(7)는 화상 G1을 출력하는 것으로 한다.
또, 도 23에 있어서, 5c는 촬상 광학계(1)와 이미지 센서(5)로 결정되는 광축이 이미지 센서(5)의 수광면과 교차하는 점, 7c는 촬상 광학계(3)와 이미지 센서(7)로 결정되는 광축이 이미지 센서(7)의 수광면과 교차하는 점을 각각 나타낸다. 또한, 이미지 센서(7) 내에 기재한 파선은, 이미지 센서(5)와 동일한 크기의 촬상 영역을 나타낸 것이다. 점 5c와 점 7c의 거리를 D1로 하였다.
본 실시 형태의 촬상 장치에서는, 도 23에서도 알 수 있는 바와 같이, 이미지 센서(5, 7)의 크기가 서로 다르다. 구체적으로는, 기준 화상 G0을 출력하는 이미지 센서(5) 쪽이 이미지 센서(7)보다 작다. 이미지 센서(5)와 비교하여, 이미지 센서(7)는, x의 음의 방향으로 화소수를 d1만큼 확대한 크기로 되어 있다.
x방향의 화소 확대량 d1이란, 최단 피사체 거리를 Amin, 촬상 광학계(1, 3)의 초점 거리를 f, 이미지 센서(5, 7)의 화소 피치를 p로 하면, 전술한 (수식 1)의 가정 하에서, (수식 9)로 기술할 수 있다. 따라서, 이미지 센서(5)의 크기가, H화소×V화소인 것으로 하면, 이미지 센서(7)의 크기는 (H+d1)화소×V화소가 된다.
본 구성에 의하면, 이미지 센서(5)에 비해, 이미지 센서(7)가 크기 때문에, 최단 피사체 거리에 있어서 발생하는 시차를 고려해도, 이미지 센서(5)의 화상 정보에 필적하는 모든 정보를 이미지 센서(7)로부터 추출하는 것이 가능해진다.
구체적으로는, 도 24에 나타낸 바와 같이, 이미지 센서(5)의 주변부에 결상된 근거리 물체(18a)는, 이미지 센서(7)의 촬상 영역이 충분히 크기 때문에, 정보의 결락 없이 이미지 센서(7) 내에 상을 맺을 수 있다. 이에 의해, 제2 실시 형태와 같이 복잡한 연산 처리 없이, 종래로부터 과제로 되어 있었던 색 정보마다 시차를 갖는 복안 광학계에 있어서의 주변부의 위색의 과제를 개선하는 것에 더하여, 제1 실시 형태보다 출력 화소 영역을 크게 할 수 있다. 또한, 도 23은 촬상 광학계(1, 3)측에서 이미지 센서(5, 7)의 수광면을 본 도면이고, 도 24는 이미지 센서(5, 7)의 각각으로부터 출력되는 촬상 신호를 도시한 도면이므로, 도 23과 도 24 에서는 상하, 좌우가 반대의 관계로 되어 있다. 또한, G1 내에 기재한 파선은, G0과 동일한 크기의 촬상 영역을 나타낸 것이다.
본 실시 형태에서는, 2개의 이미지 센서가 녹색 파장 대역을 촬상하는 구성에 대해 설명하였지만, 근적외 등의 서로 동일한 파장의 광선을 검출하는 구성에 의해서도 동일한 효과가 얻어진다. 또, 각각의 이미지 센서에 베이어 배열의 컬러 필터 등을 형성하여, 컬러 화상을 검출하는 것을 가능하게 해도, 동일한 효과를 얻을 수 있다. 또, 본 실시 형태에서는, 이미지 센서의 가로방향(도 22의 x방향)으로, 복수개의 촬상 광학계와 이미지 센서의 조합을 배치하였지만, 복수개의 광학계와 이미지 센서의 조합을 수직방향으로 배치해도, 동일한 효과를 얻는 것은 말할 필요도 없다.
또, 상술한 제1∼제3 촬상 장치의 각각에 있어서, 도 15에 나타낸 바와 같이, 촬상 광학계(1∼4)를 투과한 광선이, 각각에 대응하는 이미지 센서 이외의 이미지 센서로 입사하는 것을 방지하기 위해, 이미지 센서(5∼8)의 경계부에 차광벽(22)을 설치하는 것이 바람직하다. 또, 이 차광벽(22)은, 이미지 센서(5∼8)의 설치면으로부터 촬상 광학계(1∼4)의 설치면에 도달할 정도의 높이를 갖고 있는 것이 더욱 바람직하다.
또, 상기의 각 실시 형태에서는, 4개의 촬상 광학계와 4개의 이미지 센서를 구비한 촬상 장치를 예시하였기 때문에, 기준 화상의 2변을 따라 L자형상으로 화소를 삭제하는 예(예를 들면 도 3, 도 9 등)나, 도 13에 나타낸 바와 같이, 이미지 센서의 수광면의 크기를 2방향으로 확대하는 예를 나타내었다. 그러나, 예를 들 면, 5개의 촬상 광학계와 5개의 이미지 센서를 갖고, 1개의 이미지 센서의 4변에 인접하도록 4개의 이미지 센서가 배치된 구성도 가능하다. 이 구성의 경우는, 도 16에 나타낸 바와 같이, 중앙의 이미지 센서로부터 출력되는 화상 P0을 기준 화상으로 하여, 이 기준 화상 P0에 대한, 다른 이미지 센서로부터 출력되는 화상 P1∼P4의 시차를 각각 구하고, 기준 화상 P0에 화상 P1∼P4를 시차 보정하여 합성함으로써, 컬러 화상을 작성한다. 이 경우는, 도 16에 사선을 그어 나타낸 바와 같이, 기준 화상 P0의 4변을 따라 적절한 화소를 삭제하게 된다.
본 발명은, 박형이고 또한 화상 주변부의 위색 발생이나 화상의 주변부에서 거리 측정이 불가능한 것을 해결한 촬상 장치로서, 예를 들면, 모바일 기기나 차량 적재용 등의 다양한 용도의 촬상 장치로서 이용 가능하다.

Claims (12)

  1. 각각이 적어도 1장의 렌즈를 포함하는 복수의 렌즈부와,
    상기 복수의 렌즈부에 일대일로 대응하고, 대응하는 상기 렌즈부의 광축 방향에 대해 대략 수직인 수광면을 각각 구비하며, 촬상 신호를 각각 출력하는 복수의 촬상 영역과,
    상기 복수의 촬상 영역으로부터 각각 출력되는 촬상 신호 중 어느 하나를 기준 촬상 신호로 하여, 당해 기준 촬상 신호에 대한 다른 촬상 신호의 시차(視差)량을 연산하는 시차 연산부와,
    상기 기준 촬상 신호 이외의 촬상 신호에서 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역의 화소로부터 얻어지는 화소 신호를 상기 기준 촬상 신호로부터 삭제하여 얻어지는 유효 화소 신호를 출력하는 유효 화소 영역 보정부를 구비한 것을 특징으로 하는 촬상 장치.
  2. 청구항 1에 있어서,
    상기 유효 화소 영역 보정부로부터 출력된 유효 화소 신호와 상기 시차 연산부에서 연산된 시차량에 의거해, 상기 복수의 촬상 신호를 보정하여 합성함으로써 합성 화상을 생성하여 출력하는 화상 합성부를 더 구비한, 촬상 장치.
  3. 청구항 1에 있어서,
    상기 유효 화소 영역 보정부로부터 출력된 유효 화소 신호와 상기 시차 연산부에서 연산된 시차량에 의거해, 피사체까지의 거리를 산출하는 거리 산출부를 더 구비한, 촬상 장치.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서,
    상기 유효 화소 영역 보정부가, 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역의 범위를, 최단 피사체 거리에 있는 피사체에 대한 시차량으로부터 구하는, 촬상 장치.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 복수의 촬상 영역이, 세로 2열, 가로 2행으로 설치된 제1∼제4 촬상 영역이고,
    상기 시차 연산부는, 상기 제1 촬상 영역으로부터 출력되는 촬상 신호를 기준 촬상 신호로 하고,
    상기 유효 화소 영역 보정부는, 상기 제1 촬상 영역에 가로방향에서 인접하는 제2 촬상 영역으로부터 출력되는 제2 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차 방향의 정방향에 위치하는 변과, 상기 제1 촬상 영역에 세로방향에서 인접하는 제3 촬상 영역으로부터 출력되는 제3 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차 방향의 정방향에 위치하는 변의 화소로부터 얻어지는 화소 신호를, 상기 기준 촬상 신호로부터 삭제하는, 촬상 장치.
  6. 청구항 5에 있어서,
    상기 제1∼제4 촬상 영역에서 대각 방향으로 배치된 제1 촬상 영역과 제4 촬상 영역이 동일한 파장 영역에 감도를 갖고, 제2 촬상 영역 및 제3 촬상 영역은, 상기 제1 및 제4 촬상 영역과는 달리, 또한 서로 다른 파장 영역에 감도를 가지며,
    상기 시차 연산부는, 상기 제1 촬상 영역으로부터 출력되는 촬상 신호를 기준 촬상 신호로 하여, 상기 제4 촬상 영역으로부터 출력되는 제4 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차량을 구하고, 당해 시차량을 벡터 분해함으로써, 상기 제2 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차량과, 상기 제3 촬상 신호가 상기 기준 촬상 신호에 대해 갖는 시차량을 각각 구하는, 촬상 장치.
  7. 청구항 6에 있어서,
    상기 제1 및 제4 촬상 영역이 녹색의 파장 영역에 감도를 갖고, 상기 제2 및 제3 촬상 영역이 적색 및 청색의 파장 영역에 각각 감도를 갖는, 촬상 장치.
  8. 청구항 1 내지 7 중 어느 한 항에 있어서,
    상기 기준 촬상 신호에서, 상기 기준 촬상 신호 이외의 촬상 신호에서 시차에 의해 결락되는 상을 포함할 가능성이 있는 영역을 블록으로 분할하고, 각 블록에 대해 시차량을 구하여, 구해진 시차량에 의거해, 당해 블록이 상기 기준 촬상 신호 이외의 촬상 신호에서 실제로 결락되는지의 여부를 판정하는 결락 판정부를 더 구비하고,
    상기 유효 화소 영역 보정부는, 상기 결락 판정부에 의해 결락되지 않는다고 판정된 블록의 화소를 상기 유효 화소 신호에 포함시키는, 촬상 장치.
  9. 각각이 적어도 1장의 렌즈를 포함하는 복수의 렌즈부와,
    상기 복수의 렌즈부에 일대일로 대응하고, 대응하는 상기 렌즈부의 광축 방향에 대해 대략 수직인 수광면을 각각 구비하며, 촬상 신호를 각각 출력하는 복수의 촬상 영역과,
    상기 복수의 촬상 영역으로부터 각각 출력되는 촬상 신호 중 어느 하나를 기준 촬상 신호로 하여, 당해 기준 촬상 신호에 대한 다른 촬상 신호의 시차량을 연산하는 시차 연산부를 구비하고,
    상기 복수의 촬상 영역 중, 상기 기준 촬상 신호를 출력하는 기준 촬상 영역 이외의 촬상 영역이, 기준 촬상 영역의 수광면보다 큰 수광면을 갖는 것을 특징으로 하는 촬상 장치.
  10. 청구항 9에 있어서,
    상기 시차량에 의거해 상기 복수의 촬상 신호를 보정하여 합성함으로써 합성 화상을 생성하여 출력하는 화상 합성부를 더 구비한, 촬상 장치.
  11. 청구항 9에 있어서,
    상기 기준 촬상 신호와 상기 시차 연산부에서 연산된 시차량에 의거해, 피사체까지의 거리를 산출하는 거리 산출부를 더 구비한, 촬상 장치.
  12. 청구항 9 내지 11 중 어느 한 항에 있어서,
    상기 기준 촬상 영역 이외의 촬상 영역 중, 상기 기준 촬상 영역에 인접하는 촬상 영역은, 상기 기준 촬상 영역과 비교하여, 상기 기준 촬상 영역에 인접하는 변에 대향하는 변측에 수광면이 확대되어 있고, 상기 기준 촬상 영역에 대각 배치된 촬상 영역은, 상기 기준 촬상 영역과 비교하여, 상기 기준 촬상 영역에서 먼 2변측에 수광면이 확대되어 있는, 촬상 장치.
KR1020087020114A 2006-03-22 2007-03-22 촬상 장치 KR20080106184A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00079256 2006-03-22
JP2006079256 2006-03-22

Publications (1)

Publication Number Publication Date
KR20080106184A true KR20080106184A (ko) 2008-12-04

Family

ID=38609252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087020114A KR20080106184A (ko) 2006-03-22 2007-03-22 촬상 장치

Country Status (6)

Country Link
US (1) US8471918B2 (ko)
EP (1) EP2001222A4 (ko)
JP (1) JP4102854B2 (ko)
KR (1) KR20080106184A (ko)
CN (2) CN101385332B (ko)
WO (1) WO2007119468A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5028154B2 (ja) * 2007-06-20 2012-09-19 キヤノン株式会社 撮像装置及びその制御方法
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
JP4413261B2 (ja) 2008-01-10 2010-02-10 シャープ株式会社 撮像装置及び光軸制御方法
JP4422206B2 (ja) * 2008-02-18 2010-02-24 パナソニック株式会社 測距装置および測距方法
JP4529010B1 (ja) * 2009-03-30 2010-08-25 シャープ株式会社 撮像装置
JP5450200B2 (ja) * 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
EP2518995B1 (en) * 2009-12-24 2018-08-22 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
DE102010041937A1 (de) * 2010-10-04 2012-04-05 Robert Bosch Gmbh Optische Abschirm-Vorrichtung zum Trennen von optischen Pfaden
WO2012165281A1 (ja) * 2011-06-01 2012-12-06 コニカミノルタアドバンストレイヤー株式会社 複眼ユニット
US9036059B2 (en) 2011-11-01 2015-05-19 Sony Corporation Imaging apparatus for efficiently generating multiple forms of image data output by an imaging sensor
CN102780907A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种调节3d视频视差的方法
JP6039301B2 (ja) * 2012-08-09 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN105379245B (zh) * 2013-07-05 2018-08-07 柯尼卡美能达株式会社 复眼摄像装置
US9332235B2 (en) * 2013-12-10 2016-05-03 Visera Technologies Company Limited Imaging capture apparatus having plurality of image sensors generating respective image signals based on emitted light areas
US20150281601A1 (en) * 2014-03-25 2015-10-01 INVIS Technologies Corporation Modular Packaging and Optical System for Multi-Aperture and Multi-Spectral Camera Core
JP6154781B2 (ja) * 2014-05-22 2017-06-28 日本電信電話株式会社 画像処理方法及び画像処理システム
JP6408817B2 (ja) * 2014-07-22 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
CN107146797B (zh) 2017-04-28 2020-03-27 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4398017B2 (ja) * 1998-10-07 2010-01-13 オリンパス株式会社 測距装置
US6882368B1 (en) * 1999-06-30 2005-04-19 Canon Kabushiki Kaisha Image pickup apparatus
JP3397758B2 (ja) 1999-06-30 2003-04-21 キヤノン株式会社 撮像装置
US6952228B2 (en) * 2000-10-13 2005-10-04 Canon Kabushiki Kaisha Image pickup apparatus
JP2002158929A (ja) * 2000-11-16 2002-05-31 Canon Inc 固体撮像素子、固体撮像装置及び撮像システム
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2003283907A (ja) 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
JP2004228662A (ja) 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
FR2861207B1 (fr) * 2003-10-15 2006-02-17 St Microelectronics Sa Adaptateur d'images a traitement d'image par tuiles, et procede utilisant un tel adaptateur
WO2005041562A1 (ja) 2003-10-22 2005-05-06 Matsushita Electric Industrial Co., Ltd. 撮像装置とその製造方法、携帯機器、及び撮像素子とその製造方法
CN100515040C (zh) * 2003-10-22 2009-07-15 松下电器产业株式会社 成像装置
US7123298B2 (en) * 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
US7106526B2 (en) * 2004-04-21 2006-09-12 Matsushita Electric Industrial Co., Ltd. Thin imaging apparatus, a thin camera, and an imaging method

Also Published As

Publication number Publication date
JPWO2007119468A1 (ja) 2009-08-27
EP2001222A4 (en) 2013-03-06
JP4102854B2 (ja) 2008-06-18
US20090002505A1 (en) 2009-01-01
EP2001222A9 (en) 2009-03-25
CN101385332A (zh) 2009-03-11
CN101385332B (zh) 2010-09-01
CN101834988A (zh) 2010-09-15
US8471918B2 (en) 2013-06-25
EP2001222A2 (en) 2008-12-10
CN101834988B (zh) 2012-10-17
WO2007119468A1 (ja) 2007-10-25

Similar Documents

Publication Publication Date Title
KR20080106184A (ko) 촬상 장치
JP4790086B2 (ja) 多眼撮像装置および多眼撮像方法
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
US7999873B2 (en) Imaging device with plural lenses and imaging regions
CN104104849B (zh) 摄像设备及其控制方法
JP2003254748A (ja) ステレオ画像特性検査システム
US10410366B2 (en) Imaging system using structured light for depth recovery
JP5633181B2 (ja) デプスマップ出力装置
US20130188026A1 (en) Depth estimating image capture device and image sensor
JP2009159226A (ja) 撮像素子、焦点検出装置、焦点調節装置および撮像装置
CN103238098A (zh) 成像设备和对焦位置检测方法
JP6800650B2 (ja) 信頼度生成装置、信頼度生成方法、および撮像装置
JP2009284188A (ja) カラー撮像装置
JP2013190734A (ja) 焦点検出装置および撮像装置
WO2021054140A1 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
JP2012182731A (ja) 撮像装置
JP2014215506A (ja) 測距装置およびその制御方法
JP2015142364A (ja) 画像処理装置、撮像装置、及び画像処理方法
US9645290B2 (en) Color filter array and solid-state image sensor
JP5338112B2 (ja) 相関演算装置、焦点検出装置および撮像装置
KR102057160B1 (ko) 제어장치, 촬상장치, 및 제어방법
JP6648916B2 (ja) 撮像装置
US9386207B2 (en) Image-capturing apparatus
JP2011182325A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application