KR101458287B1 - 거리 측정용 카메라 장치 - Google Patents

거리 측정용 카메라 장치 Download PDF

Info

Publication number
KR101458287B1
KR101458287B1 KR1020127009694A KR20127009694A KR101458287B1 KR 101458287 B1 KR101458287 B1 KR 101458287B1 KR 1020127009694 A KR1020127009694 A KR 1020127009694A KR 20127009694 A KR20127009694 A KR 20127009694A KR 101458287 B1 KR101458287 B1 KR 101458287B1
Authority
KR
South Korea
Prior art keywords
image data
polarization
information
processing unit
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020127009694A
Other languages
English (en)
Other versions
KR20120066043A (ko
Inventor
소이치로 요코타
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20120066043A publication Critical patent/KR20120066043A/ko
Application granted granted Critical
Publication of KR101458287B1 publication Critical patent/KR101458287B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

거리 측정용 카메라 장치는, 피사체를 촬상하고 위상차를 갖는 편광 화상데이터를 출력하는 촬상 장치; 연산 처리 유닛; 메모리; 및 화상 처리 유닛을 포함한다. 연산 처리 유닛은 제1 편광비 정보 처리 유닛과 제2 편광비 정보 처리 유닛 및 시차 계산 유닛을 포함한다. 제1 편광비 정보 처리 유닛과 제2 편광비 정보 처리 유닛은 편광 화상데이터를 수신하고, 편광비 정보 화상데이터 및 휘도 정보 화상데이터를 계산한다. 시차 계산 유닛은 편광비 정보 화상데이터를 수신하여, 시차 정보 화상데이터를 생성한다. 편광비 정보 화상데이터, 휘도 정보 화상데이터 및 시차 정보 화상데이터는 메모리에 저장된다. 화상 처리 유닛은 메모리에 저장된 데이터에 기초하여 피사체를 인식하고, 시차 정보 화상데이터에 기초하여 피사체의 3차원 위치를 계산한다.

Description

거리 측정용 카메라 장치{RANGING CAMERA APPARATUS}
본 발명은 촬상 영역 내의 물체를 인식하기 위한 거리 측정용 카메라 장치에 관한 것이다.
도 1은 대상 피사체(subject of interest; SOI)의 3차원 위치를 측정하기 위한 거리 측정용 카메라 장치에 도입된 삼각 측량의 원리를 도시한다. 거리 측정용 카메라 장치는 다음 식에 따라서 SOI까지의 거리 Z를 측정한다.
Z=(B×f)/d (1)
여기서 B는 2개의 상이한 시점(view point)으로부터 SOI의 화상을 촬영하기 위한 2개의 카메라의 광축 중심(COA) 사이의 기선 거리이고, f는 카메라의 렌즈와 촬상 소자 사이의 초점 거리이며, d는 카메라에 의해 촬영된 2개의 화상의 대응점 사이의 거리(시차, parallax)이다.
이렇게 하여, SOI의 3차원 위치에 관한 정보가 용이하게 계산될 수 있다. 거리 측정용 카메라 장치는, 2개의 카메라에 의해 촬영된 화상 모두에 피사체가 존재하는 한에서만 피사체의 3차원 위치를 계산하는 것이 가능하다. 보다 구체적으로는, 거리 측정용 카메라 장치는 촬영된 화상의 휘도 정보를 이용하여 3차원 위치를 계산한다.
촬영된 화상로부터 시차를 계산할 때는, 상이한 시점으로부터 카메라에 의해 촬영된 화상이 블록으로 분할되고, 이 블록에 휘도에 관하여 매칭 처리가 수행된다. 이러한 블록 매칭 처리를 이용한 가장 단순하고 가장 빠른 방법 중의 하나는, 특허문헌 1에 논의된 바와 같이, SAD(sum of absolute difference) 방법에 의해 대응하는 화소의 절대값의 합으로부터 일치도가 계산되는 시티 블록 거리 계산에 기초한 방법이다.
탑재된 카메라를 이용하여 차량 앞의 물체를 촬영하는 것에 의한 전방 상황의 자동 인식에 대한 요구가 있다. 특허문헌 2는, 편광비 정보를 이용하여, 통상의 휘도 정보만으로는 인식하기 어려운 도로 상태나 도로 가장자리의 인식을 가능하게 하는 기술을 논의한다. 또한, 특허문헌 1에 따른 기술은 시차 정보를 이용하여 전방 상황의 3차원적 인식을 가능하게 한다. 따라서, 편광 정보 및 시차 정보 모두를 동시에 획득하는 것에 대한 요구가 있다.
탑재된 카메라에 의해 촬영된 화상에 기초하여 앞의 물체를 촬영함으로써 전방 상황의 자동 인식을 수행하고, 이 화상에 기초하여 차량을 제어하고자 하는 경우, 실시간 처리가 요구된다.
특허문헌 1 : 일본 특허공개 평5-265547호 공보 특허문헌 2 : 일본 특허공개 제2008-122217호 공보 특허문헌 3 : 일본 특허공개 평10-335758호 공보
특허문헌 1에서는, 휘도 정보(명암 정보)에 대하여 SAD 방법을 수행함으로써 시티 블록 거리로부터 시차가 계산되기 때문에, 휘도 화상을 획득하기 위한 카메라들이 동일한 감도를 갖지 않으면 미스매치(mismatch)가 야기된다. 미스매치가 있으면, 시차 계산에 영향을 주어, 거리 측정 오류가 발생하게 될 것이다. 이러한 오류를 방지하기 위해서, 다양한 매칭 알고리즘이 제안되어 왔다. 일부 알고리즘들은 매칭 전에 화상의 휘도 정보의 정규화 또는 부호화를 포함한다. 그러나, 이러한 알고리즘들은 복잡하고, 처리 속도가 감소될 수도 있다. 한편, 하드웨어 관점에서, 미리 정해진 감도를 갖는 촬상 소자만을 선별하거나, 캘리브레이션 공정을 통하여 촬상 소자의 감도를 전기적으로 제어할 방법이 도입될 수도 있다. 그러나, 이들 방법은, 카메라들의 균일한 감도를 유지하기 위한 선별 또는 조정 공정을 요구하므로, 거리 측정용 카메라 장치가 대량 생산되어야 하는 경우 비용이 증가한다.
상이한 시점으로부터 카메라에 의해 촬영된 휘도 화상을 블록으로 나누는 것에 의해 시차를 계산한 후, 블록에 매칭을 수행할 때, 시차 계산에 이용된 블록 내의 화상은 충분한 휘도차를 가질 필요가 있다. 예컨대, 화상이 너무 어두워 화상 내에 휘도차가 없으면, 모든 블록은 동일한 특성을 가지게 되어, 미스매치가 야기될 수 있다. 이러한 미스매치를 피하기 위하여, 촬상 소자가 어떠한 조건 하에서도 고감도로 촬상할 수 있도록, 촬상소자에 대해 노광 시간이 연장될 수도 있거나 게인 오프셋 처리가 수행될 수도 있다. 그러나, 이것은 비용 및 처리 시간의 증가를 초래한다.
특허문헌 2에서 논의된 바와 같이 편광비 정보만이 이용될 때는, 이용 가능한 전방 환경의 상세한 정보가 없어, 2차원 화상에서 중복이 생기는 물체를 분리하는 것이 어렵다.
일 태양에서, 종래 기술의 단점은, 피사체를 촬상하여 위상차를 갖는 편광 화상을 생성하도록 구성되는 촬상 장치; 및 위상차를 갖는 편광 화상의 편광 정보를 이용한 시차 계산을 수행하도록 구성되는 처리 유닛을 포함하는 거리 측정용 카메라 장치인 본 발명에 의해 극복될 수도 있다.
또 다른 태양에서, 본 발명은, 피사체를 촬상하여 한 위상을 갖는 제1 편광 화상데이터 및 또 다른 위상을 갖는 제2 편광 화상데이터를 출력하도록 구성되는 촬상 장치; 제1 편광 화상데이터 및 제2 편광 화상데이터가 공급되는 연산 처리 유닛; 연산 처리 유닛에 접속되는 메모리; 및 메모리에 접속되는 화상 처리 유닛을 포함하는 거리 측정용 카메라 장치를 제공한다. 연산 처리 유닛은 제1 편광비 정보 처리 유닛과 제2 편광비 정보 처리 유닛 및 시차 계산 유닛을 포함한다. 제1 편광비 정보 처리 유닛은, 촬상 장치로부터 제1 편광 화상데이터를 수신하도록 구성되고, 제1 편광비 정보 화상데이터 및 제1 휘도 정보 화상데이터를 계산하도록 구성된다. 제2 편광비 정보 처리 유닛은, 촬상 장치로부터 제2 편광 화상데이터를 수신하도록 구성되고, 제2 편광비 정보 화상데이터 및 제2 휘도 정보 화상데이터를 계산하도록 구성된다. 시차 계산 유닛은, 제1 편광비 정보 화상데이터 및 제2 편광비 정보 화상데이터를 수신하도록 구성되고, 시차 정보 화상데이터를 발생시키도록 구성된다. 메모리는, 제1 편광비 정보 처리 유닛과 제2 편광비 정보 처리 유닛으로부터의 제1 편광비 정보 화상데이터와 제2 편광비 정보 화상데이터 및 제1 휘도 정보 화상데이터와 제2 휘도 정보 화상데이터, 및 시차 계산 유닛으로부터의 시차 정보 화상데이터를 저장하도록 구성된다. 화상 처리 유닛은, 메모리에 저장된 제1 편광비 정보 화상데이터와 제2 편광비 정보 화상데이터, 제1 휘도 정보 화상데이터와 제2 휘도 정보 화상데이터, 및 시차 정보 화상데이터에 기초하여 피사체를 인식하도록 구성되고, 시차 정보 화상데이터에 기초하여 피사체의 3차원 위치를 계산하도록 구성된다.
본 발명은, 첨부된 도면을 참조하여 다음의 상세한 설명과 함께 고려될 때 완전히 이해될 것이다.
도 1은 피사체의 3차원 위치를 측정하는 원리를 도시한다.
도 2는 본 발명의 실시예에 따른 거리 측정용 카메라 장치를 도시한다.
도 3은 거리 측정용 카메라 장치를 갖춘 차량을 도시한다.
도 4는 본 발명의 실시예에 따른 촬상 소자에 관한 영역 분할 필터의 배치를 도시한다.
도 5는 영역 분할 필터의 편광자 영역의 구조의 사시도이다.
도 6a는 영역 분할 필터의 제1 편광자 영역의 홈의 방향을 도시하는 사시도이다.
도 6b는 영역 분할 필터의 제2 편광자 영역의 홈의 방향을 도시하는 사시도이다.
도 6c는 영역 분할 필터의 제1 편광자 영역 및 제2 편광자 영역의 상대 배치를 도시하는 사시도이다.
도 7은 휘도 정보, 편광비 정보 및 시차 정보의 3종 데이터를 동시에 출력하기 위해 실시간 처리를 실현하기 위한 구조의 블록도이다.
도 8은 3종 데이터를 동시에 출력하기 위한 실시간 처리의 흐름을 도시한다.
도 9a는 차량에 장착된 좌측 카메라에 의해 촬영된 휘도 정보 화상을 도시한다.
도 9b는 차량에 장착된 우측 카메라에 의해 촬영된 휘도 정보 화상을 도시한다.
도 9c는 휘도 정보 화상데이터에 시차 계산을 수행하여 얻어진 시차 화상을 도시한다.
도 9d는 편광비 정보 화상데이터에 시차 계산을 수행하여 얻어진 시차 화상을 도시한다.
도 10은 본 발명의 또 다른 실시예에 따른 거리 측정용 카메라 장치를 도시한다.
도 11은 도 10의 거리 측정용 카메라 장치의 영역 분할 필터의 구조의 사시도이다.
도 12는 본 발명의 또 다른 실시예에 따른 거리 측정용 카메라 장치를 도시한다.
도 13a는 본 발명의 실시예에 따른 제1 편광자 영역의 사시도이다.
도 13b는 본 발명의 실시예에 따른 제2 편광자 영역의 사시도이다.
도 2는 본 발명의 실시예에 따른 거리 측정용 카메라 장치(1)를 도시한다. 거리 측정용 카메라 장치(1)는 촬상 장치(2), 화상 프로세서(3) 및 화상 처리 컴퓨터(4)를 포함한다. 촬상 장치(2)는 제1 촬상 유닛(21a) 및 제1 촬상 유닛(21a)으로부터 미리 정해진 거리만큼 이격된 제2 촬상 유닛(21b)을 포함한다. 화상 프로세서(3)는 연산 처리 유닛(31) 및 메모리(32)를 포함한다. 화상 프로세서(3)는 제1 촬상 유닛(21a) 및 제2 촬상 유닛(21b)에 의해 촬영된 화상을 처리하는 것에 의해 다양한 화상데이터를 계산한다. 화상 처리 컴퓨터(4)는, 인식 처리, 편광비 정보 제어 처리 및 시차 계산 제어 처리를 위한 소프트웨어를 포함할 수도 있는 MPU(Micro Processing Unit)(41)를 포함한다. 화상 처리 컴퓨터(4)는, 예컨대, 화상 프로세서(3)에 의해 제공된 화상데이터에 기초한 도로 형태나 복수의 삼차원 물체의 삼차원 위치를 고속으로 결정하고, 전방 주행 차량이나 장애물을 확인하며, 충돌 경보 발행을 위한 결정 처리를 수행하도록 구성될 수도 있다.
도 3은 본 발명의 실시예에 따른 거리 측정용 카메라 장치(1)를 장착한 차량(5)을 도시한다. 본 실시예에 따라서, 촬상 장치(2)는 물체를 인식하고 감시하도록 차량(5) 외측의 미리 정해진 범위 이내의 물체의 화상을 촬영한다. 화상 처리 컴퓨터(4)는 차량(5)의 현재 상태를 감지하기 위한 속도 센서(6) 및 조향각 센서(7)로부터 신호를 공급 받는다. 화상 처리 컴퓨터(4)가 인식된 물체가 차량(5)에 장애물이 된다고 결정하면, 화상 처리 컴퓨터(4)는 운전자 전방의 디스플레이(8) 상에 경고가 표시되도록 할 수도 있다. 바람직하게는, 액추에이터 등(도시되지 않음)을 제어하도록 구성되는 외부 유닛(도시되지 않음)은, 차량(5)이 자동으로 제어되어 장애물과의 충돌을 방지할 수 있도록 화상 처리 컴퓨터(4)에 접속될 수도 있다. 바람직하게는, 촬상 장치(2)가 운전자의 시야를 가리지 않도록, 촬상 장치(2)는 백미러 뒤와 같은 차량(5)의 위치에 설치될 수도 있다. 도 3은 촬상 장치(2)가 별개로 배치되는 것으로 도시했지만, 화상 프로세서(3), 화상 처리 컴퓨터(4) 및 촬상 장치(2)가 일체 유닛을 구성할 수도 있다.
도 2로 되돌아가서, 제1 촬상 유닛(21a)은 제1 후드부(22a), 제1 렌즈부(23a), 제1 영역 분할 필터(24a) 및 프린트 회로 기판(26a) 상에 배치된 제1 촬상 소자(25a)를 포함한다. 제1 영역 분할 필터(24a)는, 이후 설명되는 바와 같이, S 편광 성분이나 P 편광 성분을 투과시키도록 구성되는 2개의 편광자 영역을 포함한다. 따라서, 제1 영역 분할 필터(24a)는, 제1 렌즈부(23a)를 통해 제1 영역 분할 필터(24a)에 입사된 광을 S 편광 성분 광 및 P 편광 성분 광으로 분리한다. 그 후에, S 편광 성분 광 및 P 편광 성분 광은 제1 촬상 소자(25a)에 입사된다. 이에 대응하여, 제1 촬상 소자(25a)는 제1 편광 미가공(raw) 화상데이터(27a)를 화상 프로세서(3)의 연산 처리 유닛(31)으로 출력한다.
유사하게, 제2 촬상 유닛(21b)은 제2 후드부(22b), 제2 렌즈부(23b), 제2 영역 분할 필터(24b), 및 프린트 회로 기판(26b) 상에 배치된 제2 촬상 소자(25b)를 포함한다. 제2 영역 분할 필터(24b)는, 제2 렌즈부(23b)를 통해 제2 영역 분할 필터(24b) 상으로 입사된 광의 S 편광 성분이나 P 편광 성분을 투과시키도록 구성되는 2개의 편광자 영역을 포함한다. 따라서, 제2 영역 분할 필터(24b)는 광을 S 편광 성분 광 및 P 편광 성분 광으로 분리한다. 그 후에, S 편광 성분 광 및 P 편광 성분 광은 제2 촬상 소자(25b) 상에 입사된다. 제2 촬상 소자(25b)는 제2 편광 미가공 화상데이터(27b)를 화상 프로세서(3)의 연산 처리 유닛(31)으로 출력한다.
연산 처리 유닛(31)은 제1 편광비 정보 처리 유닛(33a)과 제2 편광비 정보 처리 유닛(33b), 및 시차 계산 유닛(34)을 포함한다. 제1 편광비 정보 처리 유닛(33a)은, 다음의 식(2)에 따라서, 제1 편광 미가공 화상데이터(27a)에 기초한 P 편광 성분 및 S 편광 성분의 편광비 PR을 계산하여 제1 편광비(이하 "PR"이라고 부른다) 정보 화상데이터(35a)를 생성하여, 이 PR 정보 화상데이터(35a)를 시차 계산 유닛(34) 및 메모리(32)로 출력한다.
PR=P/S (2)
여기서 P는 P 편광 성분이고, S는 S 편광 성분이다.
PR은 획득된 상이한 위상차를 갖는 편광 성분들 사이의 특성차를 검출하기 위하여 계산된다. 따라서, 편광비 PR은 다음 식(3) 내지 식(5) 중 어느 것에 따라서 계산될 수도 있다.
PR=P-S (3)
PR=(P/S)/(P+S) (4)
PR=(P-S)/(P+S) (5)
식(3)은 차분을 계산하지만, 위상차를 갖는 편광 정보를 이용한 계산 결과를 총칭하여 편광비라고 칭한다.
식(4) 및 식(5)에서 분모는 정규화 부분이다. 대안적으로, 정규화는 P와 S 사이의 차분에 기초할 수도 있다. 본 실시예에서 P 편광 정보 및 S 편광 정보가 편광비 정보를 얻는 데에 이용되지만, 단지 위상차가 존재하면 되기 때문에, 원편광(circular polarization) 성분이 이용될 수도 있다.
제1 편광비 정보 처리 유닛(33a)은 다음의 식(6)에 따라서 P 편광 성분 및 S 편광 성분을 합하여 제1 휘도 정보 화상데이터(36a)를 생성하며, 이 제1 휘도 정보 화상데이터(36a)를 메모리(32)로 출력한다.
휘도 정보 화상데이터=P+S (6)
한편, 제2 편광비 정보 처리 유닛(33b)은 제2 편광 미가공 화상데이터(27b)에 기초한 편광비 PR을 계산하여 제2 편광비 정보 화상데이터(35b)를 생성하고, 이 제2 편광비 정보 화상데이터(35b)를 시차 계산 유닛(34) 및 메모리(32)로 출력한다. 제2 편광비 정보 처리 유닛(33b)은 또한 P 편광 성분 및 S 편광 성분을 합하여 제2 휘도 정보 화상데이터(36b)를 생성하고, 이 제2 휘도 정보 화상데이터(36b)를 메모리(32)로 출력한다.
시차 계산 유닛(34)은, 제1 편광비 정보 화상데이터(35a) 및 제2 편광비 정보 화상데이터(35b)를 이용하여, 다음의 식 (7)에 따라서 화상들의 화상 블록에서의 휘도차의 총합("RSAD")을 계산하여, 일치도 평가치를 얻는다. 일치도 평가치는, 일치도 평가치가 더 작을수록, 블록들 사이의 일치도가 더 높도록 평가된다. 이 평가는 메모리(32)로 출력되는 시차 정보 화상데이터(37)를 제공한다.
Figure 112012029832113-pct00001
여기서 i 및 j는 블록 내의 화소 위치를 나타내고, I 및 T는 좌우 화소의 휘도치를 나타낸다.
따라서, 시차 계산 유닛(34)은, 제1 편광비 정보 화상데이터(35a) 내에서 대상 화소를 중심으로 하는 블록을 결정하고, 제2 편광비 정보 화상데이터(35b) 내에서 동일한 크기의 블록을 결정한다. 그 후에, 시차 계산 유닛(34)은, 1개의 블록이 다른 블록으로부터 1화소만큼 시프트될 때마다 상관치를 계산한다. 시차 계산 유닛(34)은, 가장 큰 상관을 갖는 블록의 중심에 있는 화소까지의 거리를 시차로서 결정한다. 이 단계는 제1 편광비 정보 화상데이터(35a)의 모든 화소에 대해(또는 화소들의 일정 구간에서) 수행된다. 상관치의 계산을 위해, 다양한 알고리즘이 사용될 수도 있고, 위의 식(4)가 가장 일반적인 예일 수도 있다. 본 실시예에 따른 방법은 다른 많은 시차 계산 알고리즘들에 적용될 수도 있다.
MPU(41)는, 메모리(32)에 저장된 시차 정보 화상데이터(37), 제1 휘도 정보 화상데이터(36a)와 제2 휘도 정보 화상데이터(36b), 제1 편광비 정보 화상데이터(35a)와 제2 편광비 정보 화상데이터(35b)를 이용하여, 다양한 인식 처리를 수행하도록 구성될 수도 있다.
도 4는 제1(제2) 촬상 유닛(21a(21b))의 제1(제2) 영역 분할 필터(24a(24b))를 도시하며, 이 필터가 어떻게 두 부분 즉, S 편광 성분 광만을 투과시키는 제1 편광자 영역(241) 및 P 편광 성분 광만을 투과시키는 제2 편광자 영역(242)으로 분할되는지를 보여준다. 제1 및 제2 편광자 영역(241 및 242)은, 종횡으로 행렬 배열된 정사각형인 제1(제2) 촬상 소자(25a(25b))가 배열된 종방향 또는 횡방향 중 어느 하나에 대하여 각도를 가지고 경사진 선들에 의해 분할된다. 제1 및 제2 편광자 영역(241 및 242)은, 횡방향으로 제1(제2) 촬상 소자(25a(25b))의 1화소의 폭과 동일한 폭을 가질 수도 있다.
제1 편광자 영역(241)과 제2 편광자 영역(242)을 분할하는 선은, 횡방향으로의 제1(제2) 촬상 소자(25a(25b))의 1화소 변화가 종방향으로의 제1(제2) 촬상 소자(25a(25b))의 2화소 변화와 일치하는 각도로 경사질 수도 있다. 따라서, 편광비는, 제1(제2) 촬상 소자(25a(25b))와 제1(제2) 영역 분할 필터(24a(24b)) 사이의 위치 오류에 의해 쉽게 영향을 받지 않고 계산될 수 있다.
제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)의 제1 편광자 영역(241) 및 제2 편광자 영역(242)은 광 결정(photonic crystal)으로 제작된 편광자를 포함할 수도 있다. 제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)의 제1 편광자 영역(241)에서는 예를 들어, 도 5에 도시된 바와 같이, 고굴절률을 갖는 제1 투명 매질층(244) 및 저굴절률을 갖는 제2 투명 매질층(245)이 주기적인 홈을 갖는 투명 기판(243) 상에 교대로 적층되면서도 계면의 형상이 보존된다. 제1 매질층(244) 및 제2 매질층(245)은 투명 기판(243)의 홈에 대해 수직인 X 방향으로 주기성을 갖는다. 제1 매질층(244) 및 제2 매질층(245)은 홈에 대해 평행한 Y 방향으로 균일한 형상이나, X 방향으로 홈의 주기보다 더 큰 주기를 갖는 주기적인 구조나, 비주기적인 구조를 가질 수도 있다. 이러한 (광 결정의) 미세한 주기적 구조는 자기복제(self-cloning) 기술에 의해 고재현성 및 고균일성으로 제조될 수도 있다.
도 6a 및 도 6b에 도시된 바와 같이, 광 결정의 제1 편광자 영역(241) 및 제2 편광자 영역(242)은, Z축에 대해 수직인 X축 및 Y축을 갖는 직교 좌표계에서의 XY 평면에 대해 평행한 기판(243) 상에 Z축 방향으로 2종 이상의 투명 재료가 교대로 적층되는 다층 구조를 가질 수도 있다. 다층 구조는 Ta2O5 및 SiO2의 교호층(alternate layer)을 포함할 수도 있다. 제1 편광자 영역(241) 및 제2 편광자 영역(242) 내의 층은 XY 평면에서 한 방향으로 반복되는 요철 형상을 가질 수도 있다.
도 6a에 도시된 바와 같이, 제1 편광자 영역(241)에서는 홈의 방향이 Y축 방향에 대해 평행하다. 도 6b에 도시된 바와 같이, 제2 편광자 영역(242)에서는 홈의 방향이 X축 방향에 대해 평행하다. 따라서, 제1 편광자 영역(241)과 제2 편광자 영역(242)의 홈의 방향은 서로 수직이다. 따라서, 제1 편광자 영역(241) 및 제2 편광자 영역(242)은 XY 평면 상에 입사된 입력광의 수직 편광 방향을 갖는 편광 성분을 투과시킨다. 제1 편광자 영역(241) 및 제2 편광자 영역(242)은 동일한 양의 비편광 성분도 투과시킨다.
도시된 예에서는 제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)에 2종의 요철 형상 홈이 구비되지만, 이 요철 형상 홈은 3개 이상의 방향으로 지향될 수도 있다. 이와 같이 제1 편광자 영역(241) 및 제2 편광자 영역(242)을 광 결정으로 형성함으로써, 자외선에 의한 열화에 대해 우수한 저항력을 얻을 수 있어, 장치가 긴 시간 동안 안정적으로 사용될 수 있다.
제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)의 제1 편광자 영역(241) 및 제2 편광자 영역(242)의 개구 면적 및 투과축은 투명 기판(243) 상의 홈 패턴의 크기나 방향을 제어하는 것에 의해 자유롭게 설계될 수 있다. 홈 패턴은 전자빔 리소그래피, 포토리소그래피, 간섭 노광법 및 나노프린팅 등 다양한 방법에 의해 형성될 수도 있다. 어느 방법에서는 홈의 방향은 각 미소 영역에서 매우 정확하게 결정될 수 있다. 따라서, 상이한 투과축을 갖는 미소 편광자가 조합된 편광자 영역이 형성될 수도 있고, 복수의 이러한 미소 편광자의 배열을 포함하는 편광자가 형성될 수도 있다. 요철 패턴을 갖는 특정한 영역만이 편광자 동작을 수행하기 때문에, 주변 영역은 편광 의존성을 갖지 않도록 평탄하게 형성되거나 평면에 등방성인 요철 패턴을 구비할 수도 있다. 이 경우에, 주변 영역에 의해 광이 투과되어, 특정한 영역 내에만 편광자가 제조될 수 있다.
제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)는 제1 촬상 소자(25a) 및 제2 촬상 소자(25b)에 각각 인접하여 배치된다. 바람직하게는, 제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)는, 접착제 등을 이용하여, 필터들의 필터 구조면이 촬상 소자면측을 마주보게 하여, 다이 실장된 제1 촬상 소자(25a) 및 제2 촬상 소자(25b)에 각각 부착될 수도 있다. 일반적으로, 렌즈로부터의 광은 수렴되는 유한광으로서, 촬상 소자를 향하여 이동한다. 따라서, 제1 영역 분할 필터(24a)와 제2 영역 분할 필터(24b) 및 제1 촬상 소자(25a)와 제2 촬상 소자(25b)가 서로로부터 각각 이격된다면, 제1 영역 분할 필터(24a) 또는 제2 영역 분할 필터(24b) 경계 근방의 광은 각 영역에서 크로스토크 노이즈를 생성할 수도 있다. 제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)를 제1 촬상 소자(25a) 및 제2 촬상 소자(25b)와 인접하게 각각 배치시킴으로써, 이러한 크로스토크가 방지될 수 있고, 촬상 장치(2)가 안정적으로 수행할 수 있다.
제1 편광비 정보 처리 유닛(33a) 및 제2 편광비 정보 처리 유닛(33b)을 이용하여, 제1 편광 미가공 화상데이터(27a) 및 제2 편광 미가공 화상데이터(27b)로부터 S 편광 성분 및 P 편광 성분을 추출하고, 식(2) 및 식(3)에 따라서 제1 편광비 정보 화상데이터(35a) 및 제2 편광비 정보 화상데이터(35b)를 생성하고, 식(6)에 따라서 제1 휘도 정보 화상데이터(36a) 및 제2 휘도 정보 화상데이터(36b)를 발생시키는 처리에는 많은 시간이 요구된다. 시차 계산 유닛(34)을 이용하여 제1 편광비 정보 화상데이터(35a) 및 제2 편광비 정보 화상데이터(35b)에 시차 계산을 수행함으로써 시차 정보 화상데이터(37)를 생성시키는 데에도 많은 시간이 요구된다.
위에서 언급된 바와 같이, 편광비 정보 처리 유닛(33a 및 33b)과 시차 계산 유닛(34)을 이용하여 복잡한 계산을 수행함으로써, 제1 편광비 정보 화상데이터(35a)와 제2 편광비 정보 화상데이터(35b), 제1 휘도 정보 화상데이터(36a)와 제2 휘도 정보 화상데이터(36b), 및 시차 정보 화상데이터(37)를 포함하는 3종 정보를 동시에 출력하는 것은 매우 어렵다.
도 7은 3종 정보를 동시에 출력하는 것을 가능하게 하는 하드웨어 구조를 도시한다. 제1 촬상 유닛(21a) 및 제2 촬상 유닛(21b)으로부터 출력된 제1 편광 미가공 화상데이터(27a) 및 제2 편광 미가공 화상데이터(27b)는 제1 라인 버퍼(91a) 및 제2 라인 버퍼(91b)에 각각 1화소씩 저장된다. 제1 편광 미가공 화상데이터(27a) 및 제2 편광 미가공 화상데이터(27b)는 제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)에 의해 얻어진 상이한 편광 성분을 화소 단위로 포함하기 때문에, 편광비를 계산하기 위해 2개 이상의 화소가 요구된다. 따라서, 제1 라인 버퍼(91a) 및 제2 라인 버퍼(91b)에 각각 저장된 제1 편광 미가공 화상데이터(27a) 및 제2 편광 미가공 화상데이터(27b)의 세로 2화소 × 가로 2화소를 이용하여, 제1 편광비 정보 처리 유닛(33a) 및 제2 편광비 정보 처리 유닛(33b)에 의해 식(1) 및 식(2)에 따른 편광비 계산이 수행된다. 계산에 의해 얻어진 제1 편광비 정보 화상데이터(35a) 및 제2 편광비 정보 화상데이터(35b)는 제1 라인 버퍼(92a) 및 제2 라인 버퍼(92b)에 각각 저장된다. 제1 편광비 정보 처리 유닛(33a) 및 제2 편광비 정보 처리 유닛(33b)도 제1 휘도 정보 화상데이터(36a) 및 제2 휘도 정보 화상데이터(36b)를 계산하고, 이들을 메모리(32)에 저장한다.
시차 계산을 위한 데이터 블록이 제1 라인 버퍼(92a) 및 제2 라인 버퍼(92b)에 저장된 후에, 시차 계산 유닛(34)은, 예컨대 세로 4화소 × 가로 4화소인 데이터 블록을 판독하고, 식(7)에 따른 시차 계산을 수행하여, 시차 정보 화상데이터(37)를 생성한 후 메모리(32)에 저장된다. 따라서, 제1 라인 버퍼(91a, 92a) 및 제2 라인 버퍼(91b, 92b)를 이용하여 파이프라인 처리가 수행되어, 계산 결과가 수개 라인의 딜레이만으로 메모리(32)에 저장될 수 있다. 이상의 처리는 필드 프로그래머블 게이트 어레이(FPGA) 또는 주문형 반도체(ASIC)에 의해 수행될 수도 있다. 이러한 하드웨어 구조는 차량(5)에 장착된 거리 측정용 카메라 장치(1)가 실시간 방식으로 데이터를 처리하는 것을 가능하게 한다.
시차 계산이나 편광비 계산에 사용되는 화소 크기는 동적으로 결정될 수도 있다. 이 경우에, 제1 라인 버퍼(92a) 및 제2 라인 버퍼(92b)는 화상데이터를 동적으로 저장하도록 구성될 수도 있다. 촬상 소자가 CMOS 센서를 포함할 때는, 라인 단위 대신에 세로수 화소 × 가로수 화소가 버퍼에 동적으로 할당될 수도 있다. 이러한 구성은 촬상 조건에 의존하여 동적으로 변경될 수도 있다.
도 8은 시간축 T를 따라서 상기된 처리의 순서를 도시한다. 구체적으로, 제1 촬상 유닛(21a)과 제2 촬상 유닛(21b)에 의해 촬영된 미가공 화상(271), 제1 편광비 정보 처리 유닛(33a)과 제2 편광비 정보 처리 유닛(33b)에 의해 발생된 휘도 화상(361)과 편광비 화상(351), 및 시차 계산 유닛(34)에 의해 발생된 시차 화상(371)이 시간축 T를 따라서 개략적으로 도시된다. 또한, 휘도 화상(361), 편광비 화상(351) 및 시차 화상(371)이 저장되는 메모리(32)가 도시된다. 도시된 바와 같이, 메모리(32)는 휘도 화상(361), 편광비 화상(351) 및 시차 화상(371)이 파이프라인 방법에 의해 실시간 방식으로 저장되는 링 버퍼 구조를 가질 수도 있다. 실제 시차 계산은 왜곡 보정 처리를 요구할 수도 있다. 따라서, 적절한 보정 논리가 라인 버퍼를 사용하여 파이프라인 처리 중에 수행될 수도 있다.
도 9a 내지 도 9d는, 시차 계산 전후에, 차량(5)의 좌측과 우측에 각각 장착된 거리 측정용 카메라 장치(1)의 제1 촬상 유닛(21a) 및 제2 촬상 유닛(21b)에 의해 얻어진 화상을 도시한다. 도 9a는 제1 촬상 유닛(21a) 즉, 좌측 카메라에 의해 촬영된 제1 휘도 정보 화상(361a)을 도시한다. 도 9b는 제2 촬상 유닛(21b) 즉, 우측 카메라에 의해 촬영된 제2 휘도 정보 화상(361b)을 도시한다. 도 9a 및 도 9b의 화상은 제1 휘도 정보 화상데이터(36a) 및 제2 휘도 정보 화상데이터(36b)에 각각 기초한다. 이들 예에서는, 제1 촬상 유닛(21a) 및 제2 촬상 유닛(21b)은 상이한 감도를 가지기 때문에, 제2 촬상 유닛(21b)에 의해 촬영된 제2 휘도 정보 화상(361b)이 제1 촬상 유닛(21a)에 의해 촬영된 제1 휘도 정보 화상(361a)보다 더 밝다.
도 9c는 제1 휘도 정보 화상데이터(361a) 및 제2 휘도 정보 화상데이터(361b)에 기초하여 시차 계산 유닛(34)이 한 시차 계산에 의해 얻어진 시차 화상(371b)을 도시한다. 도 9d는 식(5)에 따라서 제1 편광비 정보 처리 유닛(33a) 및 제2 편광비 정보 처리 유닛(33b)에 의해 계산된 제1 편광비 정보 화상데이터(35a) 및 제2 편광비 정보 화상데이터(35b)에 기초하여 시차 계산 유닛(34)이 한 시차 계산에 의해 얻어진 시차 화상(371a)을 도시한다. 보다 구체적으로, 도 9c 및 도 9d의 제1 시차 화상(371b) 및 제2 시차 화상(371a)은 동시에 동일한 촬상 장치(2)에 의해 촬영된 동일한 화상에 기초하여 식(7)에 따른 시차 계산의 결과이다.
도 9c의 제2 시차 화상(371b)에서는, 도로 상의 좌측 백선 전부가 동일한 농도로 표현되어, 시차 계산 결과에 큰 오류가 나타나는 것을 볼 수 있다. 이 오류를 보정하기 위하여, 감도 조정 처리가 제1 촬상 유닛(21a) 및 제2 촬상 유닛(21b)에서 수행될 필요가 있다. 그러나, 동일한 상황 하에서 촬영된 화상이 사용될 때에도, 편광비를 사용하는 시차 계산 후에 얻어지는 도 9d의 제1 시차 화상(371a)에서는, 좌측 백선의 농도가 근거리로부터 원거리로 변화되어, 제1 촬상 유닛(21a) 및 제2 촬상 유닛(21b)을 위한 감도 조정 처리를 요구하지 않고 양호한 시차 화상이 얻어진다. 따라서, 거리 측정용 카메라 장치(1)의 비용이나 구조적인 복잡성을 증가시키지 않고 거리 측정용 카메라 장치(1)의 성능이 향상될 수 있다.
도 10은, 본 발명의 또 다른 실시예에 따른 거리 측정용 카메라 장치(1a)를 도시한다. 이 실시예에서, 촬상 유닛(21)은 마이크로 렌즈 어레이(231)가 사용된 렌즈부(23)를 포함한다. 이 실시예에 따라서, 상이한 시점으로부터의 화상이 단독 촬상 유닛(21)을 사용하는 단일 촬상 소자(25)에 결상될 수 있다. 따라서, 거리 측정용 카메라 장치(1a)는 크기 및 비용이 감소될 수 있다.
도 11은 거리 측정용 카메라 장치(1a)의 촬상 유닛(21)의 영역 분할 필터(24)를 도시한다. 마이크로 렌즈 어레이(231)가 배치된 방향에 대하여, S 편광 성분 광만을 투과시키는 제1 편광자 영역(241) 및 P 편광 성분 광만을 투과시키는 제2 편광자 영역(242)의 띠가 3 이상의 영역에서 평행하게 교대로 배열된다. 바람직하게는, 제1 편광자 영역(241) 및 제2 편광자 영역(242)은 화소 단위로 교대로 배열될 수도 있다. 이와 같이 제1 편광자 영역(241) 및 제2 편광자 영역(242)의 띠를 평행하게 교대로 배치함으로써, 수평 방향으로 보간 처리가 생략될 수 있어, 수평 방향으로의 해상도가 보장될 수 있다. 또한, 제1 편광자 영역(241) 및 제2 편광자 영역(242)의 띠가 마이크로 렌즈 어레이(231)가 배치된 방향과 평행하게 배열되기 때문에, 시차 검출을 위해 요구되는 수평 방향으로의 시차 화상을 정확하게 획득할 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 거리 측정용 카메라 장치(1b)를 도시한다. 이 실시예에서는, S 편광 성분 및 P 편광 성분의 화상이 전술한 실시예의 제1 영역 분할 필터(24a) 및 제2 영역 분할 필터(24b)를 사용하는 대신에 분리된 촬상 유닛에 의해 얻어진다. 구체적으로, 거리 측정용 카메라 장치(1b)는 좌측 촬상 유닛(210a) 및 우측 촬상 유닛(210b)을 포함한다. 좌측 촬상 유닛(210a)은 제1 좌측 촬상 유닛(21aa) 및 제2 좌측 촬상 유닛(21ab)을 포함한다. 제1 좌측 촬상 유닛(21aa)은, S 편광 성분 광만을 투과시키도록 구성되는 제1 편광자 영역(241)을 갖는 제1 좌측 편광 소자(24aa)를 포함한다. 제2 좌측 촬상 유닛(21ab)은, P 편광 성분 광만을 투과시키도록 구성되는 제2 편광자 영역(242)을 갖는 제2 좌측 편광 소자(24ab)를 포함한다. 우측 촬상 유닛(210b)은 제1 우측 촬상 유닛(21ba) 및 제2 우측 촬상 유닛(21bb)을 포함한다. 제1 우측 촬상 유닛(21ba)은, S 편광 성분 광만을 투과시키도록 구성되는 제1 편광자 영역(241)을 갖는 제1 우측 편광 소자(24ba)를 포함한다. 제2 우측 촬상 유닛(21bb)은, P 편광 성분 광만을 투과시키도록 구성되는 제2 편광자 영역(242)을 갖는 제2 우측 편광 소자(24bb)를 포함한다.
거리 측정용 카메라 장치(1b)는 거리 측정용 카메라 장치(1 또는 1a)보다 더 많은 비용이 들 수도 있지만, 편광 소자의 기하학적인 위치 결정 오류 등을 고려할 필요를 없애고, 개선된 화상의 해상도가 얻어질 수 있다.
바람직하게는, 거리 측정용 카메라 장치(1b)의 좌측 촬상 유닛(210a) 및 우측 촬상 유닛(210b)의 수는 보다 미세한 편광 성분을 획득하거나 스테레오(stereoscopic) 시차 계산을 수행하기 위하여 증가될 수도 있다.
도 13a 및 도 13b는 가는 금속선(244)의 단편들(pieces)을 주기적으로 배열함으로써 제1 편광자(241) 및 제2 편광자(242)가 형성되는 와이어 그리드형 편광자의 예를 도시한다. 이러한 편광자의 구조는 전자기파의 밀리미터 영역을 위해 종종 이용될 수도 있다. 도시된 와이어 그리드 편광자의 예에서는, 입력광의 파장보다 충분히 더 가는 금속선(244)의 단편들이 입력광의 파장보다 충분히 더 짧은 간격으로 배열된다. 광이 이러한 구조의 편광자에 입사될 때, 금속선(244)의 단편들이 배열된 방향에 평행한 편광은 반사되지만, 금속선(244)의 단편들이 배열된 방향에 수직인 편광은 투과된다는 것이 알려져 있다. 금속선(244)의 방향은 동일한 기판 상의 1개의 영역으로부터 다른 영역으로 독립적으로 변화될 수 있어, 와이어 그리드 편광자의 특성이 영역 단위로 변화될 수 있다. 이러한 특징의 이점을 이용하여, 투과축의 방향이 1개의 영역으로부터 다른 영역으로 변화될 수도 있다.
와이어 그리드를 준비하는 한 방법에서는, 금속막이 기판상에 형성될 수도 있고, 그 후에 가는 금속선을 남기기 위하여 리소그래피에 의해 금속막이 패터닝될 수도 있다. 또 다른 방법에서는, 리소그래피에 의해 홈이 기판에 형성될 수도 있고, 그 후에 홈의 방향에 수직이고 기판의 법선에 대해 경사진 방향으로부터(즉, 기판면에 대하여 경사진 방향으로부터) 진공 증착법을 수행함으로써 금속막이 형성될 수도 있다. 진공 증착법의 경우에, 증착원에 의해 사출된 입자는 다른 분자나 원자와 거의 충돌하지 않으면서 증착원으로부터 기판으로 직선을 따라서 진행한다. 따라서, 막은 홈의 볼록부 상에만 형성될 수 있고, 입자들이 볼록부에 의해 차단되기 때문에 홈의 바닥(오목)부 상에는 어떤 막도 거의 형성되지 않는다. 따라서, 막의 형성량을 제어함으로써, 금속막이 기판 상의 홈의 볼록부 상에만 형성될 수 있다.
바람직하게는, 와이어 그리드형 편광자의 금속선은 알루미늄이나 은을 포함할 수도 있다. 텅스텐과 같은 다른 금속들도 사용될 수도 있고, 동일한 현상이 실현될 수도 있다. 리소그래피는 광학 리소그래피, 전자빔 리소그래피 및 X-ray 리소그래피를 포함할 수도 있다. 바람직하게는, 가시광에서의 동작을 위한 100nm 정도의 세선 간격을 고려하면, 전자빔 리소그래피나 X-ray 리소그래피가 사용될 수도 있다. 바람직하게는 금속막을 형성하기 위해 진공 증착이 사용될 수도 있지만, 기판 상에 입사된 입자의 방향성의 상대적 중요성을 고려하면, 고진공도 분위기에서의 스퍼터링이나 콜리메이터를 이용한 콜리메이션 스퍼터링이 수행될 수도 있다. 와이어 그리드형 편광자는 광 결정을 이용한 편광자의 경우에서와 같이 반도체 처리에 의해 생산될 수 있기 때문에, 예컨대, 2개의 영역의 경계선이 정확하게 생성될 수 있다.
본 발명은 특정 실시예를 참조하여 상세하게 설명되었지만, 다음의 특허청구범위에서 설명되고 정의되는 바와 같은 본 발명의 범위 및 사상 내에 변화 및 수정이 존재한다.
본 출원은, 2009년 10월 19일에 출원된 일본 우선권 출원 제2009-239946호에 기초하고, 그 전체 내용은 참조로서 포함된다.

Claims (10)

  1. 피사체를 촬상하여 위상차를 갖는 편광 화상을 생성하도록 구성되는 복수의 촬상 장치들;
    상기 복수의 촬상 장치들 각각에 의해 생성되는 상기 편광 화상의 편광 미가공(raw) 화상데이터로부터, 상기 복수의 촬상 장치들 각각에 대응하는 편광비 정보 화상데이터를 생성하도록 구성되는 복수의 편광비 정보 처리 유닛들; 및
    상기 복수의 편광비 정보 처리 유닛들에 의해 생성되는 상기 편광비 정보 화상데이터를 이용하여 시차(parallax) 계산을 행하도록 구성되는 시차 계산 유닛
    을 포함하는 거리 측정용 카메라 장치.
  2. 피사체를 촬상하여 위상차를 갖는 제1 편광 화상데이터 및 위상차를 갖는 제2 편광 화상데이터를 출력하도록 구성되는 촬상 장치;
    상기 제1 편광 화상데이터 및 상기 제2 편광 화상데이터가 전달되는 연산 처리 유닛;
    상기 연산 처리 유닛에 접속되는 메모리; 및
    상기 메모리에 접속되는 화상 처리 유닛
    을 포함하고,
    상기 연산 처리 유닛은 제1 편광비 정보 처리 유닛과 제2 편광비 정보 처리 유닛 및 시차 계산 유닛을 포함하고,
    상기 제1 편광비 정보 처리 유닛은, 상기 촬상 장치로부터 상기 제1 편광 화상데이터를 수신하도록 구성되고, 제1 편광비 정보 화상데이터 및 제1 휘도 정보 화상데이터를 계산하도록 구성되며,
    상기 제2 편광비 정보 처리 유닛은, 상기 촬상 장치로부터 상기 제2 편광 화상데이터를 수신하도록 구성되고, 제2 편광비 정보 화상데이터 및 제2 휘도 정보 화상데이터를 계산하도록 구성되며,
    상기 시차 계산 유닛은, 상기 제1 편광비 정보 화상데이터 및 상기 제2 편광비 정보 화상데이터를 수신하도록 구성되고, 시차 정보 화상데이터를 발생시키도록 구성되며,
    상기 메모리는, 상기 제1 편광비 정보 처리 유닛 및 상기 제2 편광비 정보 처리 유닛으로부터의 상기 제1 편광비 정보 화상데이터 및 상기 제2 편광비 정보 화상데이터와 상기 제1 휘도 정보 화상데이터 및 상기 제2 휘도 정보 화상데이터, 및 상기 시차 계산 유닛으로부터의 상기 시차 정보 화상데이터를 저장하도록 구성되고,
    상기 화상 처리 유닛은, 상기 메모리에 저장된 상기 제1 편광비 정보 화상데이터 및 상기 제2 편광비 정보 화상데이터, 상기 제1 휘도 정보 화상데이터 및 상기 제2 휘도 정보 화상데이터, 및 상기 시차 정보 화상데이터에 기초하여 피사체를 인식하도록 구성되고, 상기 시차 정보 화상데이터에 기초하여 상기 피사체의 3차원 위치를 계산하도록 구성되는 것인 거리 측정용 카메라 장치.
  3. 제2항에 있어서, 상기 연산 처리 유닛은, 상기 제1 편광비 정보 화상데이터 및 상기 제2 편광비 정보 화상데이터, 상기 제1 휘도 정보 화상데이터 및 상기 제2 휘도 정보 화상데이터, 및 상기 시차 정보 화상데이터를 동시에 출력하도록 구성되는 것인 거리 측정용 카메라 장치.
  4. 제2항에 있어서, 상기 제1 편광비 정보 처리 유닛 및 상기 제2 편광비 정보 처리 유닛은, 상기 제1 편광 화상데이터 및 상기 제2 편광 화상데이터의 편광비를 각각 이용하여, 상기 제1 편광비 정보 화상데이터 및 상기 제2 편광비 정보 화상데이터를 계산하는 것인 거리 측정용 카메라 장치.
  5. 제2항에 있어서, 상기 제1 편광비 정보 처리 유닛 및 상기 제2 편광비 정보 처리 유닛은, 상기 제1 편광 화상데이터의 차분 및 상기 제2 편광 화상데이터의 차분을 각각 이용하여, 상기 제1 편광비 정보 화상데이터 및 상기 제2 편광비 정보 화상데이터를 계산하는 것인 거리 측정용 카메라 장치.
  6. 제2항에 있어서, 상기 제1 편광비 정보 처리 유닛 및 상기 제2 편광비 정보 처리 유닛은, 상기 제1 편광 화상데이터의 편광비 및 상기 제2 편광 화상데이터의 편광비를 각각 정규화하여 얻어진 정보를 이용하여, 상기 제1 편광비 정보 화상데이터 및 상기 제2 편광비 정보 화상데이터를 계산하는 것인 거리 측정용 카메라 장치.
  7. 제2항에 있어서, 상기 제1 편광비 정보 처리 유닛 및 상기 제2 편광비 정보 처리 유닛은, 상기 제1 편광 화상데이터의 차분 및 상기 제2 편광 화상데이터의 차분을 각각 정규화하여 얻어진 정보를 이용하여, 상기 제1 편광비 정보 화상데이터 및 상기 제2 편광비 정보 화상데이터를 계산하는 것인 거리 측정용 카메라 장치.
  8. 제2항에 있어서, 상기 촬상 장치는, 화소 단위로 상기 제1 편광 화상데이터 및 상기 제2 편광 화상데이터를 취득하는 것인 거리 측정용 카메라 장치.
  9. 제2항에 있어서, 상기 촬상 장치는, 화상 내의 복수의 영역 각각에서 상기 제1 편광 화상데이터 및 상기 제2 편광 화상데이터를 취득하는 것인 거리 측정용 카메라 장치.
  10. 제1항에 있어서, 상기 복수의 촬상 장치들은, 미리 정해진 기선 거리만큼 서로 이격된 것인 거리 측정용 카메라 장치.
KR1020127009694A 2009-10-19 2010-10-14 거리 측정용 카메라 장치 Expired - Fee Related KR101458287B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-239946 2009-10-19
JP2009239946A JP5440927B2 (ja) 2009-10-19 2009-10-19 測距カメラ装置
PCT/JP2010/068537 WO2011049149A1 (en) 2009-10-19 2010-10-14 Ranging camera apparatus

Publications (2)

Publication Number Publication Date
KR20120066043A KR20120066043A (ko) 2012-06-21
KR101458287B1 true KR101458287B1 (ko) 2014-11-04

Family

ID=43900372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127009694A Expired - Fee Related KR101458287B1 (ko) 2009-10-19 2010-10-14 거리 측정용 카메라 장치

Country Status (8)

Country Link
US (1) US20130010106A1 (ko)
EP (1) EP2491340B1 (ko)
JP (1) JP5440927B2 (ko)
KR (1) KR101458287B1 (ko)
CN (1) CN102575931B (ko)
BR (1) BR112012011571A2 (ko)
TW (1) TWI437211B (ko)
WO (1) WO2011049149A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012247356A (ja) 2011-05-30 2012-12-13 Canon Inc 撮像モジュール、撮像装置、画像処理装置及び画像処理方法。
JP5817331B2 (ja) * 2011-08-23 2015-11-18 株式会社リコー 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法
JP5901935B2 (ja) * 2011-10-24 2016-04-13 株式会社東芝 固体撮像装置及びカメラモジュール
JP5990953B2 (ja) * 2012-03-16 2016-09-14 株式会社リコー 撮像装置、物体検出装置、車両走行支援画像処理システム、及び車両
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
CN102721404A (zh) * 2012-06-07 2012-10-10 南京航空航天大学 使用数码摄像头的非接触式测距装置及测量方法
JP2014016981A (ja) 2012-06-15 2014-01-30 Ricoh Co Ltd 移動面認識装置、移動面認識方法及び移動面認識用プログラム
JP5820794B2 (ja) * 2012-10-05 2015-11-24 オリンパス株式会社 撮像装置
JP2015049200A (ja) * 2013-09-03 2015-03-16 株式会社東芝 計測装置、方法及びプログラム
JP2015114307A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2015144194A (ja) * 2014-01-31 2015-08-06 ソニー株式会社 固体撮像素子および電子機器
JP6481375B2 (ja) * 2014-02-27 2019-03-13 株式会社リコー 情報処理システム、情報処理方法、プログラム、および情報処理装置
US9307138B2 (en) * 2014-04-22 2016-04-05 Convexity Media, Inc. Focusing system for motion picture camera
WO2015198851A1 (ja) * 2014-06-23 2015-12-30 コニカミノルタ株式会社 測距装置及び測距方法
US9927510B2 (en) * 2014-08-06 2018-03-27 The Charles Stark Draper Laboratory, Inc. Star tracker
JP2016061622A (ja) * 2014-09-17 2016-04-25 株式会社リコー 情報処理システム、及び情報処理方法
TWI500904B (zh) * 2014-09-18 2015-09-21 Vivotek Inc 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法
CN104237873B (zh) * 2014-09-26 2017-06-06 西安电子科技大学 一种x射线圆偏振测距方法
EP3132599A1 (en) * 2014-09-30 2017-02-22 Huawei Technologies Co., Ltd. Optical system for capturing 3d images
EP3228977A4 (en) * 2014-12-01 2018-07-04 Sony Corporation Image-processing device and image-processing method
US11099008B2 (en) 2014-12-15 2021-08-24 Sony Corporation Capture device assembly, three-dimensional shape measurement device, and motion detection device
US9794543B2 (en) 2015-03-02 2017-10-17 Ricoh Company, Ltd. Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and storage medium of program of method
JP6516012B2 (ja) 2015-09-15 2019-05-22 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
EP3382639B1 (en) 2015-11-27 2024-02-21 Ricoh Company, Ltd. Image processing device, image pickup device, apparatus control system, distribution data generation method, and program
EP3385904A4 (en) 2015-11-30 2018-12-19 Ricoh Company, Ltd. Image processing device, object recognition device, device conrol system, image processing method, and program
US20170171456A1 (en) * 2015-12-10 2017-06-15 Google Inc. Stereo Autofocus
CN105530419B (zh) * 2016-02-05 2019-12-31 京东方科技集团股份有限公司 图像采集系统、图像采集处理系统和图像采集处理方法
JP6615723B2 (ja) * 2016-09-07 2019-12-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
EP3514759B1 (en) 2018-01-23 2024-11-06 Ricoh Company, Ltd. Image processing method and image processing apparatus
US11050944B2 (en) 2018-11-29 2021-06-29 Microsoft Technology Licensing, Llc Switched polarization imaging to detect display screen
US10924645B2 (en) 2018-11-29 2021-02-16 Microsoft Technology Licensing, Llc Polarization imaging to detect display screen
TWI681166B (zh) * 2018-12-05 2020-01-01 晶睿通訊股份有限公司 資訊量測方法及資訊量測系統
JP7062606B2 (ja) * 2019-03-08 2022-05-06 株式会社東芝 マルチビュー光学系、光学装置、撮像装置、及び、移動体
JP7255259B2 (ja) 2019-03-19 2023-04-11 株式会社リコー 検出装置、測距装置、時間測定方法、プログラム、移動体
JP7404201B2 (ja) * 2020-09-11 2023-12-25 株式会社東芝 画像処理装置及び画像処理方法
JP2024125077A (ja) * 2023-03-03 2024-09-13 キヤノン株式会社 測距装置、撮像装置、移動体、測距方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618262A (ja) * 1992-07-02 1994-01-25 Hamamatsu Photonics Kk 測距装置
JPH11175702A (ja) * 1997-12-15 1999-07-02 Toyota Motor Corp 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2848408B2 (ja) * 1989-09-29 1999-01-20 マツダ株式会社 移動車の環境認識装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US5428448A (en) * 1993-10-20 1995-06-27 Augen Wecken Plasticos S.R.L. De C.V. Method and apparatus for non-contact digitazation of frames and lenses
JP3358099B2 (ja) * 1994-03-25 2002-12-16 オムロン株式会社 光学式センサ装置
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6693666B1 (en) * 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
JP3325825B2 (ja) 1997-03-29 2002-09-17 彰二郎 川上 ３次元周期構造体及びその作製方法並びに膜の製造方法
CN101631247B (zh) 2002-04-18 2011-07-27 株式会社东芝 运动图像编码/解码方法和装置
KR100616556B1 (ko) * 2004-06-12 2006-08-28 김은수 무손실 편광형 입체 디스플레이방법 및 장치
US7411196B2 (en) * 2005-08-18 2008-08-12 Itt Manufacturing Enterprises, Inc. Multi-sensors and differential absorption LIDAR data fusion
WO2007029446A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
JP4848795B2 (ja) * 2006-02-27 2011-12-28 パナソニック株式会社 ステレオカメラ
JP5176289B2 (ja) * 2006-06-05 2013-04-03 三菱電機株式会社 赤外線目標選択装置
JP2008122217A (ja) 2006-11-13 2008-05-29 Denso It Laboratory Inc 路面状態検出装置
CN101652627A (zh) * 2007-01-14 2010-02-17 微软国际控股私有有限公司 一种用于成像的方法、设备和系统
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
JP4317583B2 (ja) * 2007-08-07 2009-08-19 パナソニック株式会社 法線情報生成装置および法線情報生成方法
WO2009019887A1 (ja) * 2007-08-07 2009-02-12 Panasonic Corporation 画像処理装置および画像処理方法
CN102047651B (zh) * 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
JP5610254B2 (ja) * 2008-06-18 2014-10-22 株式会社リコー 撮像装置及び路面状態判別方法
JP5152655B2 (ja) * 2008-06-18 2013-02-27 株式会社リコー 撮像装置
JP5429622B2 (ja) * 2009-02-16 2014-02-26 株式会社リコー 液滴認識装置と雨滴認識装置と自動ワイパー装置
JP5278814B2 (ja) * 2009-04-10 2013-09-04 株式会社リコー ステレオカメラ装置及び車外監視装置
JP5541653B2 (ja) * 2009-04-23 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法
JP5278819B2 (ja) * 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
JP5440907B2 (ja) * 2009-05-29 2014-03-12 株式会社リコー 画像認識装置及び車外監視装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618262A (ja) * 1992-07-02 1994-01-25 Hamamatsu Photonics Kk 測距装置
JPH11175702A (ja) * 1997-12-15 1999-07-02 Toyota Motor Corp 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体

Also Published As

Publication number Publication date
CN102575931A (zh) 2012-07-11
JP5440927B2 (ja) 2014-03-12
TWI437211B (zh) 2014-05-11
KR20120066043A (ko) 2012-06-21
TW201132937A (en) 2011-10-01
US20130010106A1 (en) 2013-01-10
EP2491340B1 (en) 2017-02-22
JP2011085539A (ja) 2011-04-28
EP2491340A4 (en) 2014-12-24
WO2011049149A1 (en) 2011-04-28
CN102575931B (zh) 2014-05-07
EP2491340A1 (en) 2012-08-29
BR112012011571A2 (pt) 2017-11-21

Similar Documents

Publication Publication Date Title
KR101458287B1 (ko) 거리 측정용 카메라 장치
JP5610254B2 (ja) 撮像装置及び路面状態判別方法
JP5278819B2 (ja) ステレオカメラ装置及びそれを用いた車外監視装置
JP5273356B2 (ja) 複眼画像入力装置及びそれを用いた距離測定装置
JP2022001882A (ja) 測距装置及び移動体
JP5637425B2 (ja) 液滴検出装置及び車載用監視装置
EP2779654A2 (en) Stereo camera
JP5278814B2 (ja) ステレオカメラ装置及び車外監視装置
JP2010004090A (ja) 撮像装置
JP6620869B2 (ja) 校正方法、校正装置、及びプログラム
JP7098790B2 (ja) 撮像制御装置及び移動体
JP5488958B2 (ja) フロントモニタカメラ装置及び車両左右両側確認装置
US20200213574A1 (en) Stereo Image Processing Device
US11422372B2 (en) Distance measurement device, head-mounted display device, mobile information terminal, image display device, surroundings monitoring system, and distance measurement method
JP6202364B2 (ja) ステレオカメラ及び移動体
JP2016127512A (ja) 撮像装置
JP6983740B2 (ja) ステレオカメラシステム、及び測距方法
JP5440907B2 (ja) 画像認識装置及び車外監視装置
JP6152646B2 (ja) 複眼カメラ装置、及びそれを備えた車両
WO2022080147A1 (ja) 車載カメラ装置
JP2009059260A (ja) 立体物識別装置および立体物識別方法
JP4734630B2 (ja) 透明板に映る２重像を用いた距離計測方法
JP2013044893A (ja) 複眼撮像装置及び距離画像取得装置
JP7207889B2 (ja) 測距装置および車載カメラシステム
JP7602051B2 (ja) 物体距離検出装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20120416

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140129

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140825

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20141029

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20141029

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171020

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20171020

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210809