KR20160103076A - 교정 방법 및 계측 용구 - Google Patents

교정 방법 및 계측 용구 Download PDF

Info

Publication number
KR20160103076A
KR20160103076A KR1020167020294A KR20167020294A KR20160103076A KR 20160103076 A KR20160103076 A KR 20160103076A KR 1020167020294 A KR1020167020294 A KR 1020167020294A KR 20167020294 A KR20167020294 A KR 20167020294A KR 20160103076 A KR20160103076 A KR 20160103076A
Authority
KR
South Korea
Prior art keywords
camera
stereo camera
measuring
distance
subject
Prior art date
Application number
KR1020167020294A
Other languages
English (en)
Other versions
KR101893180B1 (ko
Inventor
신 아오키
나오키 기쿠치
가게히로 나가오
준 기시와다
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20160103076A publication Critical patent/KR20160103076A/ko
Application granted granted Critical
Publication of KR101893180B1 publication Critical patent/KR101893180B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G06T7/002—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H04N13/0246—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 교정 방법은 스테레오 카메라를 교정한다. 교정 방법은 상기 스테레오 카메라의 촬영 범위에 들어가도록 배치된 피사체와 상기 스테레오 카메라 사이의 상대 위치를 계측하는 단계; 상기 스테레오 카메라에 의해 촬영된 상기 피사체를 포함하는 촬영 화상을 취득하는 단계; 상기 상대 위치와 상기 촬영 화상을 기초로 상기 스테레오 카메라를 교정하는 교정 파라미터를 결정하는 단계를 포함한다.

Description

교정 방법 및 계측 용구{CALIBRATION METHOD AND MEASURING TOOL}
본 발명은 교정 방법 및 계측 용구에 관한 것이다.
피사체까지의 거리를 계측할 수 있는 스테레오 카메라가 이용되고 있다. 예컨대, 자동차에 탑재된 스테레오 카메라(이하 "차량 탑재 스테레오 카메라"로 칭함)에 의해 차량 전방의 피사체까지의 거리를 계측하여 자동차를 제어하는 기술이 실용화되어 있다. 예컨대, 차량 탑재 스테레오 카메라가 계측한 거리는 자동차의 충돌 방지나 차간 거리의 제어 등의 목적으로 운전자에 대한 경고 제공, 브레이크 및 스티어링 등의 제어에 이용된다.
일반적으로, 차량 탑재 스테레오 카메라는 자동차의 전방 유리 내측에 설치하는 경우가 많다. 이것은 차량 탑재 스테레오 카메라를 차량 외부에 설치하면, 방수 및 방진 등의 측면에서 보다 높은 내구성이 필요하게 되기 때문이다. 차량 내부에 설치된 스테레오 카메라는 차량 외부의 풍경의 화상을 전방 유리를 통해 촬영한다. 일반적으로, 차량 전방 유리는 복잡한 곡면 형상을 지니고, 또한, 카메라 내의 렌즈 같은 광학 부품과 비교하여 왜곡된 형상을 갖는다. 따라서, 차량 전방 유리는 차량 전방 유리를 통해 촬영된 촬영 화상에 왜곡을 생기게 한다. 또한, 차량 내에 스테레오 카메라를 설치할 때의 설치 위치 및 방위에 따라서도 촬영 화상의 왜곡의 특성이 변화된다. 촬영 화상에 포함되는 이러한 왜곡을 교정하기 위해서는 스테레오 카메라를 차량의 소정의 위치에 설치한 후, 그 상태로 차량 전방 유리를 통해 촬영한 촬영 화상을 이용하여 촬영 화상의 왜곡을 교정(수정)하기 위한 교정 파라미터를 산출하는 것이 필요하다.
촬영 화상의 왜곡을 교정하기 위한 교정 파라미터를 산출하는 방법으로서 거리를 계측하기 위한 특정한 마크 등이 기록되어 있는 차트를 이용하는 방법이 일반적으로 알려져 있다. 이 방법으로서는 해당 마크 및 스테레오 카메라의 상대 위치로부터 이론적으로 산출되는 촬영 화상 내의 마크(피사체)의 위치와, 해당 마크를 실제로 스테레오 카메라로 촬영한 촬영 화상 내의 마크의 위치의 차이를 기초로 하여 촬영 화상의 왜곡을 교정하기 위한 교정 파라미터를 산출한다. 즉, 해당 차이를 해소하기 위한 변환을 결정하는 교정 파라미터를 산출한다.
특허문헌 1에는 스테레오 카메라를 구성하는 한 쌍의 카메라로부터 출력되는 한 쌍의 화상 데이터 세트 각각을 일측의 화상 데이터 세트와 다른 쪽의 화상 데이터 세트 사이의 좌표의 차이를 기초로 하는 교정 파라미터를 이용하여 변환함으로써 스테레오 카메라의 광학적인 왜곡 및 위치 편차를 화상 처리에 의해 조정하는 장치가 개시되어 있다.
그러나, 스테레오 카메라와 차트 간의 상대 위치에 오차가 있으면, 이론적으로 산출되는 촬영 화상 내의 피사체의 좌표에 오차가 생기기 때문에, 촬영 화상의 왜곡을 교정하기 위한 교정 파라미터에도 오차가 생긴다. 특히, 차량 등의 물체에 탑재된 스테레오 카메라와 차트 사이의 상대 위치는 오차가 생기기 쉽다고 하는 문제가 있다.
전술한 사항을 고려하여, 스테레오 카메라를 교정하는 고 정밀도의 교정 파라미터를 산출할 수 있는 교정 방법 및 계측 용구를 제공할 필요가 있다.
교정 방법은 스테레오 카메라를 교정한다. 교정 방법은 상기 스테레오 카메라의 촬영 범위에 들어가도록 배치된 피사체와 상기 스테레오 카메라 간의 상대 위치를 계측하는 단계와, 상기 스테레오 카메라에 의해 촬영된 상기 피사체를 포함하는 촬영 화상을 취득하는 단계와, 상기 상대 위치와 상기 촬영 화상을 기초로 상기 스테레오 카메라를 교정하는 교정 파라미터를 결정하는 단계를 포함한다.
교정 방법은 스테레오 카메라의 교정에 사용되는 차트를 포함하는 표면을 갖는 제1 부재와, 상기 표면상에 설치되고 상기 표면상의 위치에 무관하게 균일한 강도의 광을 방사하는 광원과, 상기 광원을 피복하고 복수의 구멍을 통해 상기 광을 방사하는 제2 부재를 포함하는 계측 용구를 사용하는 것에 의해 스테레오 카메라를 교정한다. 상기 교정 방법은: 상기 스테레오 카메라에 의해 촬영되고 상기 계측 용구를 피사체로서 포함하는 촬영 화상을 취득하는 단계; 상기 스테레오 카메라의 대향 위치로부터의 상기 계측 용구의 방향의 어긋남을 상기 촬영 화상 내의 최대 휘도의 위치를 기초로 계측하는 단계; 상기 계측 용구의 방향의 어긋남과 상기 촬영 화상을 기초로 상기 스테레오 카메라를 교정하는 교정 파라미터를 결정하는 단계를 포함한다.
계측 용구는: 스테레오 카메라의 교정에 사용되는 차트를 포함하는 표면을 갖는 제1 부재; 상기 표면 상에 설치되고 상기 표면 상의 위치에 무관하게 균일한 강도의 광을 방사하는 광원; 상기 광원을 피복하고 복수의 구멍을 통해 상기 광을 방사하는 제2 부재를 포함한다.
도 1은 제1 실시 형태에 따른 계측 용구, 스테레오 카메라 및 교정 장치의 예시적인 관계를 나타내는 도면이다.
도 2는 제1 실시 형태에 따른 스테레오 카메라의 예시적인 구성을 나타내는 도면이다.
도 3은 스테레오 카메라를 사용하는 거리 계측 원리를 나타내는 도면이다.
도 4는 제1 실시 형태에 따른 예시적인 계측 용구를 나타내는 도면이다.
도 5는 제1 실시 형태에 따른 거리 계측 장치의 예를 나타내는 도면이다.
도 6은 제1 실시 형태에 따른 교정 장치의 예시적인 구성을 나타내는 도면이다.
도 7은 제1 실시 형태에 따른 예시적인 피사체 좌표계를 나타내는 도면이다.
도 8은 제1 실시 형태에 따른 제1 카메라의 위치를 나타내는 3차원 좌표를 결정하는 예시적인 방법을 나타내는 도면이다.
도 9는 제1 실시 형태에 따른 제1 카메라의 카메라 좌표계의 예를 나타내는 도면이다.
도 10은 제1 실시 형태에 따른 교정 방법의 개략적 전체 흐름도이다.
도 11은 제1 실시 형태에 따른 교정 장치에 있어서의 예시적인 교정 방법을 나타내는 흐름도이다.
도 12는 제1 실시 형태에 따른 교정 방법의 예시적인 전체적 흐름을 나타내는 흐름도이다.
도 13은 제1 실시 형태의 변형례에 따른 거리 계측 장치가 중간 계측점을 사용하여 제1 카메라(제2 카메라)까지의 거리를 계측하는 경우의 예를 예시한 도면이다.
도 14는 제2 실시 형태에 따른 계측 용구, 스테레오 카메라 및 교정 장치의 예시적인 관계를 나타내는 도면이다.
도 15a는 제2 실시 형태에 따른 각도 계측판의 단면을 나타내는 단면도이다.
도 15b는 제2 실시 형태에 따른 각도 계측판의 정면을 나타내는 정면도이다.
도 16은 제2 실시 형태에 따른 제1 부재의 정면도이다.
도 17은 제1 카메라의 광학 중심의 위치로부터 제2 부재 상에 형성된 구멍(106), 구멍(107) 및 구멍(108)을 바라본 경우를 나타내는 도면이다.
도 18a는 제1 카메라의 광학 중심의 위치로부터 구멍(106)을 바라본 경우의 구멍(106)의 형태를 나타내는 도면이다.
도 18b는 제1 카메라의 광학 중심의 위치로부터 구멍(107)을 바라본 경우의 구멍(107)의 형태를 나타내는 도면이다.
도 18c는 제1 카메라의 광학 중심의 위치로부터 구멍(108)을 바라본 경우의 구멍(108)의 형태를 나타내는 도면이다.
도 19a는 광학적 불선명도(unsharpness)를 포함하지 않는 경우의 각도 계측판의 상을 나타내는 도면이다.
도 19b는 광학적 불선명도를 포함하는 경우의 각도 계측판의 상을 나타내는 도면이다.
도 20은 도 19b의 휘도의 분포 마운틴의 바닥부의 반경을 계측하는 것을 나타내는 도면이다.
도 21은 촬상면의 휘도 피크의 위치와 각도 계측판의 경사의 관계를 예시한 도면이다.
도 22는 계측 용구의 위치를 나타내는 평면의 방정식을 결정하는 방법을 예시한 도면이다.
도 23은 제2 실시 형태에 따른 교정 장치의 예시적인 구성을 나타내는 도면이다.
도 24는 제2 실시 형태에 따른 교정 방법의 개략적인 전체 흐름도이다.
도 25는 제2 실시 형태에 따른 교정 장치에서의 예시적인 교정 방법을 나타내는 흐름도이다.
도 26은 제3 실시 형태에 따른 각도 계측판의 단면을 나타내는 단면도이다.
도 27은 광의 굴절 각도를 예시한 도면이다.
도 28은 제3 실시 형태에 따른 각도 계측판을 통해 방사되는 광을 나타내는 도면이다.
도 29는 계측 용구의 경사와 휘도 피크의 위치의 어긋남 사이의 관계를 예시한 도면이다.
도 30은 무아레(moire) 주기와 휘도 피크의 이동 범위 사이의 관계를 예시한 도면이다.
도 31은 인접하는 구멍에 기인한 휘도 피크의 위치를 예시하는 도면이다.
도 32는 제1 내지 제3 실시 형태에 따른 스테레오 카메라 및 교정 장치의 예시적인 하드웨어 구성을 나타내는 도면이다.
이하에 첨부 도면을 참조하여 교정 방법 및 계측 용구의 실시 형태를 상세히 설명한다.
제1 실시 형태
도 1은 제1 실시 형태에 따른 계측 용구(20), 스테레오 카메라(10) 및 교정 장치(30) 사이의 예시적인 관계를 나타내는 도면이다. 도 1은 차량의 전방 유리의 내측에 부착된 스테레오 카메라(10)(차량 탑재 스테레오 카메라)에 의해 촬영된 촬영 화상을 교정하는 경우의 예를 나타내는다. 계측 용구(20)는 스테레오 카메라(10)의 촬영 범위에 들어가도록 설치된다. 예컨대, 계측 용구(20)는 스테레오 카메라(10)로부터 대략 2 m의 거리에 거의 서로 마주하도록 설치된다. 계측 용구(20)는 스테레오 카메라(10)를 교정하는 교정 파라미터를 결정하기 위한 계측 데이터를 취득하는 데 사용된다. 계측 데이터는 교정 장치(30)인 컴퓨터에 입력되어, 해당 컴퓨터에 의해 교정 파라미터가 결정된다. 먼저, 교정 대상인 스테레오 카메라(10)를 설명한다.
도 2는 제1 실시 형태에 따른 스테레오 카메라(10)의 예시적인 구성을 나타내는 도면이다. 본 실시 형태의 스테레오 카메라(10)는 제1 카메라(1), 제2 카메라(2), 저장부(3), 외부 I/F(4), 보정부(5) 및 산출부(6)를 포함한다. 제1 카메라(1)는 피사체를 촬영하여 제1 촬영 화상을 취득한다. 제2 카메라(2)는 피사체를 촬영하여 제2 촬영 화상을 취득한다. 제1 카메라(1) 및 제2 카메라(2)는 이들의 광축이 서로 평행하도록 병렬로 배치되어 있다. 제1 카메라(1) 및 제2 카메라(2)의 촬영 타이밍은 동기되어 있고, 이들은 동일한 피사체를 동시에 촬영한다.
저장부(3)는 제1 촬영 화상, 제2 촬영 화상 및 교정 파라미터를 저장한다. 교정 파라미터는 제1 촬영 화상 및 제2 촬영 화상의 왜곡을 보정할 때에 사용되는 파라미터이다. 교정 파라미터는 본 실시 형태의 교정 방법에 의해 결정된다. 외부 I/F(4)는 저장부(3)의 데이터를 입출력하기 위한 인터페이스이다. 스테레오 카메라(10)에 의해 이용되는 교정 파라미터는 본 실시 형태의 교정 방법을 이용함으로써 결정되고 외부 I/F(4)를 이용함으로써 저장부(3)에 저장된다.
보정부(5)는 저장부(3)로부터 제1 촬영 화상, 제2 촬영 화상 및 교정 파라미터를 독출한다. 보정부(5)는 교정 파라미터에 대응하는 화상 보정 방정식에 의해 제1 촬영 화상 및 제2 촬영 화상을 보정한다. 화상 보정 방정식은 제1 촬영 화상(제2 촬영 화상)의 좌표를 변환함으로써 제1 촬영 화상(제2 촬영 화상)을 보정하는 방정식이다. 예컨대, 제1 촬영 화상(제2 촬영 화상)의 좌표를 아핀(affine) 변환에 의해 보정하는 경우에는 해당 화상 보정 방정식은 행렬에 의해 표현할 수 있기 때문에, 교정 파라미터는 행렬의 성분이다. 또한, 제1 촬영 화상(제2 촬영 화상)의 좌표를 비선형 변환에 의해 보정하는 경우에는 교정 파라미터는 해당 변환을 나타내는 다항식 등의 계수이다. 또한, 보정부(5)는 제1 촬영 화상 및 제2 촬영 화상 중 어느 하나를 보정할 수 있다. 구체적으로, 화상 보정 방정식은 임의의 일측의 촬영 화상을 기준으로 이용함으로써 다른 일측의 촬영 화상을 보정하기 위한 화상 보정 방정식일 수 있다. 보정부(5)는 보정된 제1 촬영 화상 및 보정된 제2 촬영 화상을 산출부(6)에 입력한다.
산출부(6)는 보정된 제1 촬영 화상 및 보정된 제2 촬영 화상으로부터 피사체마다의 시차를 산출한다. 여기서, 시차와 해당 시차를 이용하는 거리 계측 원리를 설명한다.
도 3은 스테레오 카메라(10)를 사용하는 거리 계측 원리를 예시하는 도면이다. 도 3의 예에서, 제1 카메라(1)(촛점 거리(f), 광학 중심(O0), 촬상면(S0))는 Z축이 광축 방향으로 있도록 배치되어 있다. 또한, 제2 카메라(2)(촛점 거리(f), 광학 중심(O1), 촬상면(S1))는 Z축이 광축 방향으로 있도록 배치되어 있다. 제1 카메라(1) 및 제2 카메라(2)는 X축에 평행하게 서로 거리(B)(기선 길이)만큼 떨어진 위치에 배치된다. 이하, 도 3의 좌표계를 "카메라 좌표계"로 지칭한다. 또한, 제1 카메라(1)의 광학 중심을 기준으로 한 좌표계를 "제1 카메라 좌표계"로 지칭한다. 또한, 제2 카메라(2)의 광학 중심을 기준으로 한 좌표계를 "제2 카메라 좌표계"로 지칭한다.
제1 카메라(1)의 광학 중심(O0)으로부터 광축 방향으로 거리(d)만큼 떨어진 위치에 있는 피사체(A)의 상은 직선(A-O0)과 촬상면(S0)의 교점인 P0 상에 형성된다. 또한, 제2 카메라(2)에서는 동일한 피사체(A)의 상이 촬상면(S1) 상의 위치 P1에 형성된다.
여기서, 제2 카메라(2)의 광학 중심(O1)을 통과하고 직선(A-O0)과 평행한 직선과 촬상면(S1)의 교점을 P0'로 한다. 또한, P0'와 P1 사이의 거리를 D로 한다. 거리(D)는 동일한 피사체의 상을 2대의 카메라로 촬영한 화상에서의 위치의 편차량(시차)을 나타내는다. 삼각형(A-O0-O1)과 삼각형(O1-P0'-P1)은 유사하다. 따라서, 하기의 수학식 (1)이 성립한다.
Figure pct00001
(1)
구체적으로, 기선 길이(B), 촛점 거리(f) 및 시차(D)로부터 피사체(A)까지의 거리(d)를 구할 수 있다. 또한, 제1 카메라(1) 및 제2 카메라(2)가 정확히 배치되어 있는 경우, 제1 카메라 좌표계를 이용함으로써 산출된 거리(d)(제1 카메라(1)의 광학 중심(O0)과 피사체(A) 간의 광축 방향의 거리)는 제2 카메라 좌표계를 이용함으로써 산출된 거리(d)(제2 카메라(2)의 광학 중심(O1)과 피사체(A) 간의 광축 방향의 거리)와 동일하다.
이상은 스테레오 카메라(10)에 의한 거리 계측 원리이다. 피사체(A)까지의 거리(d)를 정확하게 구하기 위해서는 제1 카메라(1) 및 제2 카메라(2)가 정확히 배치되는 것이 필요하다. 그러나, 제1 카메라(1)(제2 카메라(2))는 X축, Y축 또는 Z축 주위로 회전하는 방향으로 변위될 가능성이 있다. 이는 제1 촬영 화상(제2 촬영 화상)의 좌표를 상하좌우 방향으로 실질적으로 변위되게 한다. 더욱이, 전방 유리를 통해 피사체를 촬영하는 차량 탑재 스테레오 카메라의 경우, 전방 유리의 영향에 의해 제1 촬영 화상(제2 촬영 화상)에 왜곡이 생긴다. 스테레오 카메라(10)는 2대의 카메라의 조립 공차에 기인한 제1 촬영 화상(제2 촬영 화상)의 어긋남 및 전방 유리에 기인한 제1 촬영 화상(제2 촬영 화상)의 왜곡에 의해 야기되는 시차의 오차를 교정하는 교정 파라미터를 이용하는 신호 처리에 의해 제1 촬영 화상(제2 촬영 화상)을 보정한다.
도 2로 돌아가면, 산출부(6)는 시차 산출시 기준으로 이용되는 촬영 화상(제1 촬영 화상 또는 제2 촬영 화상)의 화소의 농도치를 이용하는 것에 의해 화소마다의 시차를 나타내는 시차 화상을 생성한다. 또한, 산출부(6)는 시차 화상 및 수학식 (1)을 이용하여 피사체까지의 거리를 산출한다.
다음에, 계측 용구(20)를 설명한다. 도 4는 제1 실시 형태에 따른 계측 용구(20)의 예를 나타내는 도면이다. 본 실시 형태의 계측 용구(20)는 사각판형의 구조를 갖는다. 또한, 계측 용구(20)의 형상 및 재질은 선택적일 수 있다. 구체적으로, 계측 용구(20)는 교정에 이용되는 데이터를 취득하기 위한 영역을 갖는 임의의 부재일 수 있다. 계측 용구(20)의 표면은 5개의 마크(21)를 갖는다. 해당 마크(21)는 시차를 산출하기 위한 계측용의 차트로서 이용된다. 또한, 마크(21)의 형태, 개수 및 위치는 본 실시 형태에 따른 구성에 한정되지 않으며, 선택적일 수 있다. 또한, 계측 용구(20)의 표면은 제1 촬영 화상 내의 점에 대응하는 제2 촬영 화상 내의 대응점을 검출하는 것을 용이하게 하는 음영 패턴(shading pattern)을 갖는다. 또한, 사각판형의 계측 용구(20) 상의 4개 코너에 거리 계측 장치(22a), 거리 계측 장치(22b), 거리 계측 장치(22c) 및 거리 계측 장치(22d)가 구비된다. 이하, 거리 계측 장치(22a), 거리 계측 장치(22b), 거리 계측 장치(22c) 및 거리 계측 장치(22d)를 구별하지 않는 경우는 단순히 거리 계측 장치(22)라고 지칭한다.
도 5는 제1 실시 형태에 따른 거리 계측 장치(22)의 예를 나타내는 도면이다. 거리 계측 장치(22)는 미리 설정된 계측점(23)을 중심으로 상하좌우로 회전 가능한 2축 회전 유지 기구를 포함한다. 본 실시 형태의 거리 계측 장치(22)는 레이저 광(24)의 전파 시간(time of flight: TOF)을 이용하여 거리를 계측한다. 또한, 거리 계측 장치(22)의 거리 계측 방식은 선택적일 수 있다. 예컨대, 거리 계측 장치(22)는 초음파를 이용하여 거리를 계측할 수 있다.
거리 계측 장치(22)는 제1 카메라(1)의 광학 중심(O0)(도 3 참조)까지의 거리를 나타내는 거리 정보(이하 "제1 거리 정보"로 칭함)와 제2 카메라(2)의 광학 중심(O1)(도 3 참조)까지의 거리를 나타내는 거리 정보(이하 "제2 거리 정보"로 칭함)를 취득한다. 또한, 도 4에 있어서, 계측 용구(20) 상의 4개 코너에 거리 계측 장치(22)를 갖추는 이유는 도 5의 계측점(23)들이 가능한 한 서로 멀리 위치되기 때문이다. 이에 따라, 가능한 상이한 값을 갖는 복수의 제1 거리 정보(제2 거리 정보)를 취득할 수 있어서, 후술되는 교정 장치(30)가 제1 카메라(1)(제2 카메라(2))와 계측 용구(20) 사이의 거리(제1 카메라(1)의 광축 방향의 거리, 또는 제2 카메라(2)의 광축 방향의 거리)를 산출할 때의 정밀도를 향상시킬 수 있다. 또한, 거리 계측 장치(22)의 개수 및 위치는 본 실시 형태의 구성에 한정되지 않고 임의로 할 수 있다.
도 6은 제1 실시 형태에 따른 교정 장치(30)의 예시적인 구성을 나타내는 도면이다. 본 실시 형태의 교정 장치(30)는 접수부(31), 제1 카메라 위치 산출부(32), 제1 카메라 방위 산출부(33), 제2 카메라 위치 산출부(34), 제2 카메라 방위 산출부(35), 거리 산출부(36), 이상적-시차 산출부(37), 시차 산출부(38) 및 결정부(39)를 포함한다. 교정 장치(30)는 정보 처리 장치(컴퓨터)이다.
접수부(31)는 복수(본 실시 형태에서는 4개)의 제1 거리 정보와, 복수(본 실시 형태에서는 4개)의 제2 거리 정보와, 계측 용구(20)를 피사체로서 포함하는 제1 촬영 화상과, 계측 용구(20)를 피사체로서 포함하는 제2 촬영 화상과, 피사체 좌표계에서의 복수(본 실시 형태에서는 5개)의 마크(21)의 3차원 좌표 정보와, 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 접수한다. 접수부(31)는 예컨대, 교정 장치(30)에 대한 사용자의 조작에 따라 복수의 제1 거리 정보와, 제1 촬영 화상과, 제2 촬영 화상과, 마크(21)의 3차원 좌표 정보와, 거리 계측 장치(22)의 3차원 좌표 정보를 나타내는 입력을 접수한다. 여기서, 피사체 좌표계를 설명한다.
도 7은 제1 실시 형태의 피사체 좌표계의 예를 나타내는 도면이다. 도 7의 예는 계측 용구(20)의 좌측 하부의 말단에 3차원 좌표의 원점이 위치된 경우의 예이다. 피사체 좌표계에서 거리 계측 장치(22a)(계측점(23a)), 거리 계측 장치(22b)(계측점(23b)), 거리 계측 장치(22c)(계측점(23c)) 및 거리 계측 장치(22d)(계측점(23d))의 위치를 나타내는 4개의 3차원 좌표를 정확히 구할 수 있다. 즉, 피사체 좌표계에서의 해당 4개의 3차원 좌표는 이미 알고 있다. 또한, 마찬가지로, 피사체 좌표계에서의 복수(본 실시 형태에서는 5개)의 마크(21)의 3차원 좌표 정보도 이미 알고 있다.
도 6으로 돌아가면, 접수부(31)는 피사체 좌표계에서의 복수(본 실시 형태에서는 5개)의 마크(21)의 3차원 좌표 정보를 거리 산출부(36)에 입력한다. 접수부(31)는 제1 촬영 화상과 제2 촬영 화상을 시차 산출부(38)에 입력한다.
또한, 접수부(31)는 제1 거리 정보와, 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 제1 카메라 위치 산출부(32)에 입력한다. 또한, 접수부(31)는 제2 거리 정보와, 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 제2 카메라 위치 산출부(34)에 입력한다.
또한, 접수부(31)는 제1 촬영 화상과, 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 제1 카메라 방위 산출부(33)에 입력한다. 또한, 접수부(31)는 제2 촬영 화상과, 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 제2 카메라 방위 산출부(35)에 입력한다.
제1 카메라 위치 산출부(32)는 복수(본 실시 형태에서는 4개)의 제1 거리 정보와 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 기초로 제1 카메라(1)의 광학 중심(O0)의 위치를 나타내는 3차원 좌표(이하 "제1 카메라 좌표"로 칭함)를 피사체 좌표계를 이용하여 산출한다.
도 8은 제1 실시 형태에 따른 제1 카메라(1)의 위치를 나타내는 3차원 좌표를 결정하는 예시적인 방법을 나타내는 도면이다. d0는 거리 계측 장치(22a)가 취득한 제1 거리 정보를 나타내는다. 즉, 계측점(23a)으로부터 제1 카메라(1)까지의 거리를 나타내는다. d1는 거리 계측 장치(22b)가 취득한 제1 거리 정보를 나타내는다. 즉, 계측점(23b)으로부터 제1 카메라(1)까지의 거리를 나타내는다. d2는 거리 계측 장치(22c)가 취득한 제1 거리 정보를 나타내는다. 즉, 계측점(23c)으로부터 제1 카메라(1)까지의 거리를 나타내는다.
제1 카메라(1)의 위치를 나타내는 3차원 좌표는 피사체 좌표계를 사용하여 이론적으로는 다음과 같이 산출할 수 있다. 우선, 계측점(23a)을 중심으로 정하고, 반경(d0)의 구면을 나타내는 점 집합(25a)을 구한다. 다음에, 계측점(23b)을 중심으로 설정하고, 반경(d1)의 구면을 나타내는 점 집합(25b)을 구한다. 다음에, 계측점(23c)을 중심으로 설정하고, 반경(d2)의 구면을 나타내는 점 집합(25c)을 구한다. 다음에, 점 집합(25a)과 점 집합(25b) 모두에 포함되는 점 집합을 구한다. 이 점 집합은 도 8의 d0 & d1이다. d0 & d1은 반경 d0의 구면을 나타내는 점 집합과 반경 d1의 구면을 나타내는 점 집합 사이의 교점을 이용함으로써 나타내는 점 집합(원호)이다. 다음에, 점 집합(25b)과 점 집합(25c) 모두에 포함되는 점 집합을 구한다. 이 점 집합은 도 8의 d1 & d2이다. d1 & d2는 반경 d1의 구면을 나타내는 점 집합과 반경 d2의 구면을 나타내는 점 집합 사이의 교점을 이용함으로써 나타내는 점 집합(원호)이다. 마지막으로, 도 8의 d0 & d1에 의해 나타내는 원호와 d1 & d2에 의해 나타내는 원호의 교점(C)을 구하는 것에 의해, 제1 카메라 좌표를 산출할 수 있다. 즉, 이론적으로는 3개의 제1 거리 정보가 있으면 제1 카메라 좌표를 산출할 수 있다.
그러나, 거리 계측 장치(22)의 계측 오차를 고려하면, 보다 많은 계측점(23)(본 실시 형태에서는 4개)을 이용하여 제1 카메라 좌표를 산출하는 것이 바람직하다. 따라서, 제1 카메라 위치 산출부(32)는 예컨대, 다음의 수학식 (2)에 의한 최소 제곱 근사를 수행하여 교점(C)을 산출함으로써 제1 카메라 좌표를 산출한다.
Figure pct00002
(2)
여기서, n은 계측점(23)의 개수이다. pi는 i번째 계측점(23)의 3차원 좌표이다. di는 거리 계측 장치(22)에 의해 계측된 i번째 계측점(23)으로부터 제1 카메라(1)까지의 거리이다.
도 6으로 돌아가면, 제1 카메라 위치 산출부(32)는 피사체 좌표계를 사용하여 산출한 제1 카메라 좌표를 제1 카메라 방위 산출부(33)에 입력한다. 또한, 제1 카메라 위치 산출부(32)는 피사체 좌표계를 사용하여 산출한 제1 카메라 좌표를 거리 산출부(36)에 입력한다.
제1 카메라 방위 산출부(33)는 제1 촬영 화상과 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 접수부(31)로부터 접수한다. 또한, 제1 카메라 방위 산출부(33)는 피사체 좌표계를 사용하여 산출한 제1 카메라 좌표를 제1 카메라 위치 산출부(32)로부터 접수한다.
제1 카메라 방위 산출부(33)는 카메라 좌표계를 사용하여 계측점(23)(23a, 23b, 23c, 23d)의 3차원 좌표와 제1 촬영 화상 내의 계측점(23)(23a, 23b, 23c, 23d)의 화상의 2차원 좌표와 제1 카메라(1)의 촛점 거리를 기초로 제1 카메라(1)의 방향(광축 방향)을 산출한다. 구체적으로, 우선 제1 카메라 방위 산출부(33)는 피사체 좌표계를 사용하여 산출된 계측점(23)의 3차원 좌표를 제1 카메라(1)의 광학 중심(O0)을 원점으로 한 카메라 좌표계로 변환한다. 구체적으로, 이 카메라 좌표계는 핀홀 카메라 모델에 있어서 핀홀의 위치를 원점으로 한 좌표이다. 또한, 이때, 카메라 좌표계는 제1 카메라의 방향의 어긋남에 따라 야기되는 카메라 좌표계의 방향과 여전히 일치하는 것은 아니다. 다음에, 제1 카메라 방위 산출부(33)는 해당 카메라 좌표계를 제1 카메라의 방향의 어긋남에 따라 야기되는 카메라 좌표계의 방향에 맞추기 위해 3축 회전각[r=(α1, β1, γ1)]을 산출한다.
도 9는 제1 실시 형태에 따른 제1 카메라(1)의 카메라 좌표계의 예를 나타내는 도면이다. 계측점(23)(피사체)의 3차원 좌표는 (x, y, z)이고, 촬상면(40) 상의 2차원 좌표는 (u, v)이고, 제1 카메라(1)의 촛점 거리는 f이다. 이때, 계측점(23)의 촬상면(40) 상의 화상(41)의 위치는 다음의 수학식 (3)에 의해 나타낼 수 있다.
Figure pct00003
(3)
일반적으로, 카메라의 광학 중심의 위치, 해당 카메라의 촛점 거리(f), 계측점(23)의 3차원 좌표[p=(x, y, z)] 및 카메라 방향(3축 회전각 r=(α1, β1, γ1))을 기초로 수학식 (3)을 이용하여 촬상면(40) 상의 2차원 좌표(u, v)를 산출할 수 있다. 또한, α1는 X축에 대한 회전각, β1은 Y축에 대한 회전각, γ1은 Z축에 대한 회전각을 나타내는다.
반대로, 카메라의 광학 중심의 위치, 해당 카메라의 촛점 거리(f), 계측점(23)의 3차원 좌표[p=(x, y, z)] 및 촬상면(40) 상의 2차원 좌표(u, v)를 기초로 수학식 (3)을 이용하여 카메라 방향(3축 회전각 r=(α1, β1, γ1))을 특정할 수 있다.
수학식 (3)의 관계를 이용하여 3축 회전각[r=(α1, β1, γ1)] 및 계측점(23)의 3차원 좌표[p=(x, y, z)]를 기초로 촬상면(40) 상의 2차원 좌표(u, v)를 산출하는 함수(F)가 얻어진다[(u, v)= F(r, p)].
제1 카메라 방위 산출부(33)는 다음의 수학식 (4)에 의한 최소 제곱 근사를 수행하는 것을 통해 3축 회전각[r=(α1, β1, γ1)]을 산출한다.
Figure pct00004
(4)
여기서, n은 계측점(23)의 개수이다. pi는 i번째의 계측점(23)의 3차원 좌표이다. (ui, vi)는 i번째의 계측점(23)에 대응하는 촬상면(40) 상의 2차원 좌표이다.
카메라 방향[3축 회전각(r)]은 3개의 변수를 가지므로, 속박 조건으로서 촬상면(40) 상의 2점의 2차원 좌표가 있으면, 수학식 (3)을 이용하여 카메라 방향을 결정할 수 있다. 제1 카메라 방위 산출부(33)가 수학식 (4)를 이용하여 3축 회전각[r=(α1, β1, γ1)]을 산출하는 이유는 제1 촬영 화상이 전방 유리를 통해 촬영되기 때문이다. 구체적으로, 제1 촬영 화상은 전방 유리에 기인하여 야기되는 왜곡을 가지므로, 다수의 계측점(23)을 이용하여, 수학식 (4)를 이용하여 최소 제곱 근사를 수행하는 것을 통해 3축 회전각[r=(α1, β1, γ1)]을 산출하는 것이 바람직하다.
또한, (u, v)에 의해 왜곡이 다르고, 예컨대, 화면 중앙과 비교하여 화상 주변부의 왜곡이 큰 것이 예견되면, 그에 따라 계측점(23)이 제1 촬영 화상의 중앙부에 나타나도록 계측점의 위치를 정확하게 배치할 수 있다. 또한, 수학식 (4)에서, 계측점(23)에 따라 가중을 부여할 수 있다.
또한, 계측점(23)으로서 거리 계측 장치(22)의 계측점(23)을 이용했지만, 피사체 좌표계에서 좌표를 알고 있으면, 임의의 계측점(23)을 이용할 수 있다. 예컨대, 계측 용구(20) 상에 있으면서 계측에 알맞은 임의의 계측점(23)이나, 계측 용구(20) 상에 없으면서 계측에 알맞은 임의의 계측점(23)을 이용할 수 있다.
도 6으로 돌아가면, 제1 카메라 방위 산출부(33)는 전술한 수학식 (4)를 이용하여 산출된 제1 카메라(1)의 방향[3축 회전각 r=(α1, β1, γ1)]을 거리 산출부(36)에 입력한다.
제2 카메라 위치 산출부(34)는 복수(본 실시 형태에서는 4개)의 제2 거리 정보를 기초로 제2 카메라(2)의 광학 중심(O1)의 위치를 나타내는 3차원 좌표(이하 "제2 카메라 좌표"로 칭함)를 피사체 좌표계를 사용하여 산출한다. 제2 카메라 좌표의 산출 방법은 제1 카메라 좌표의 산출 방법과 동일하기 때문에 그 상세한 설명을 생략한다. 제2 카메라 위치 산출부(34)는 피사체 좌표계를 사용하여 산출한 제2 카메라 좌표를 제2 카메라 방위 산출부(35)에 입력한다. 또한, 제2 카메라 위치 산출부(34)는 피사체 좌표계를 사용하여 산출한 제2 카메라 좌표를 시차 산출부(38)에 입력한다.
제2 카메라 방위 산출부(35)는 제2 촬영 화상과 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 접수부(31)로부터 접수한다. 또한, 제2 카메라 방위 산출부(35)는 피사체 좌표계를 사용하여 산출한 제2 카메라 좌표를 제2 카메라 위치 산출부(34)로부터 접수한다.
제2 카메라 방위 산출부(35)는 카메라 좌표계를 사용하여 계측점(23)(23a, 23b, 23c, 23d)의 3차원 좌표와, 제2 촬영 화상 내의 계측점(23)(23a, 23b, 23c, 23d)의 화상의 2차원 좌표와, 제2 카메라(2)의 촛점 거리를 기초로 제2 카메라(2)의 방향(광축 방향)을 산출한다. 제2 카메라(2)의 방향의 산출 방법은 제1 카메라(1)의 방향의 산출 방법과 동일하기 때문에 그 상세한 설명을 생략한다. 제2 카메라 방위 산출부(35)는 제2 카메라(2)의 방향[3축 회전각 r=(α2, β2, γ2)]을 거리 산출부(36)에 입력한다.
거리 산출부(36)는 피사체 좌표계에서의 복수의 마크(21)의 3차원 좌표 정보를 접수부(31)로부터 접수한다. 또한, 거리 산출부(36)는 피사체 좌표계를 사용하여 산출한 제1 카메라 좌표를 제1 카메라 위치 산출부(32)로부터 접수한다. 또한, 거리 산출부(36)는 제1 카메라(1)의 방향[3축 회전각 r=(α1, β1, γ1)]을 제1 카메라 방위 산출부(33)로부터 접수한다. 또한, 거리 산출부(36)는 피사체 좌표계를 사용하여 산출한 제2 카메라 좌표를 제2 카메라 위치 산출부(34)로부터 접수한다. 또한, 거리 산출부(36)는 제2 카메라(2)의 방향[3축 회전각 r=(α2, β2, γ2)]을 제2 카메라 방위 산출부(35)로부터 접수한다.
거리 산출부(36)는 복수의 마크(21) 각각에 관하여, 제1 카메라 좌표와 제1 카메라(1)의 방향을 기초로 제1 카메라 좌표계를 사용하여 제1 카메라(1)의 광학 중심(O0)과 마크(21) 사이의 제1 카메라(1)의 광축 방향의 거리(d)를 산출한다.
구체적으로, 우선 거리 산출부(36)는 제1 카메라 좌표를 원점으로 하는 카메라 좌표계를 제1 카메라(1)의 방향[3축 회전각 r=(α1, β1, γ1)]을 기초로 회전시키는 것에 의해 제1 카메라 좌표계로 변환한다. 즉, 제1 카메라 좌표계는 제1 카메라 좌표를 원점으로 하고, 제1 카메라(1)의 광축 방향을 Z축으로 하고, 원점을 포함하는 Z축과 수직한 평면 상에서 수평 방향으로 원점을 통과하는 직선을 X축으로 하고, 원점을 포함하는 Z축과 수직한 평면 상에서 수직 방향으로 원점을 통과하는 직선을 Y축으로 한 좌표계이다. 다음에, 거리 산출부(36)는 제1 카메라 좌표계 및 수학식 (1)을 사용하여, 제1 카메라(1)의 광학 중심(O0)과 마크(21) 사이의 제1 카메라(1)의 광축 방향의 거리(d)를 산출한다(도 3참조). 따라서, 피사체(마크(21))와 스테레오 카메라(10)(제1 카메라(1)의 광학 중심(O0)) 간의 상대 위치가 명확하게 된다. 거리 산출부(36)는 각각의 마크(21)와 스테레오 카메라(10) 간의 거리(d)를 나타내는 거리 정보를 이상적-시차 산출부(37)에 입력한다.
또한, 거리 산출부(36)는 제2 카메라 좌표와 제2 카메라(2)의 방향을 기초로 제2 카메라 좌표계를 사용하여 제2 카메라(2)의 광학 중심(O1)과 마크(21) 사이의 제2 카메라(2)의 광축 방향의 거리(d)를 산출할 수 있다.
이상적-시차 산출부(37)는 전술한 거리 정보를 거리 산출부(36)로부터 접수한다. 이상적-시차 산출부(37)는 전술한 거리 정보를 기초로 제1 촬영 화상에 포함되는 마크(21)와 제2 촬영 화상에 포함되는 마크(21) 사이의 이상적인 시차를 나타내는 이상적 시차를 각각의 마크(21)에 대해 수학식 (1)을 사용하여 산출한다. 이상적-시차 산출부(37)는 이상적 시차를 결정부(39)에 입력한다.
시차 산출부(38)는 제1 촬영 화상과 제2 촬영 화상을 접수부(31)로부터 접수한다. 시차 산출부(38)는 제1 촬영 화상에 포함되는 마크(21)와 제2 촬영 화상에 포함되는 마크(21) 사이의 시차를 각각의 마크(21)에 대해 산출한다. 시차 산출부(38)는 시차를 결정부(39)에 입력한다.
결정부(39)는 이상적인 시차를 이상적-시차 산출부(37)로부터 접수하고 시차를 시차 산출부(38)로부터 접수한다. 또한, 결정부(39)는 제1 촬영 화상과 제2 촬영 화상을 접수부(31)로부터 접수한다. 결정부(39)는 제1 촬영 화상 및 제2 촬영 화상을 보정하는 교정 파라미터를 시차와 이상적 시차를 기초로 결정한다. 예컨대, 결정부(39)는 시차와 이상적 시차 사이의 차이가 0이 되도록 보정하기 위한 교정 파라미터를 결정한다.
또한, 결정부(39)는 수직 방향(Y축 방향)으로 시차가 생기고 있는 경우, 피사체(복수의 마크)까지의 거리에 무관하게 해당 수직 방향의 시차가 0이 되도록 보정을 하기 위한 교정 파라미터를 결정한다. 이는 시차의 경우 수평 방향(X축 방향)으로만 생기는 것을 전제로 하고 있기 때문이다.
도 10은 제1 실시 형태의 교정 방법의 개략적인 전체 흐름도이다. 스테레오 카메라(10)가 촬영 화상을 취득한다(S101 단계). 구체적으로, 제1 카메라(1)가 제1 촬영 화상을 취득하고, 제2 카메라(2)가 제2 촬영 화상을 취득한다.
다음에, 교정 장치(30)가 스테레오 카메라(10)와 피사체 간의 상대 위치를 계측한다(S102 단계). 구체적으로, 교정 장치(30)가 스테레오 카메라(10)의 제1 카메라(1)의 광학 중심(O0)과 계측 용구(20) 상의 마크(21) 간의 상대 위치를 후술하는 S6∼S10 단계의 수행을 통해 계측한다.
다음에, 교정 장치(30)가 상대 위치를 기초로 교정 파라미터를 결정한다(S103 단계). 구체적으로, 교정 장치(30)는 제1 촬영 화상에 포함되는 마크(21)와 제2 촬영 화상에 포함되는 마크(21) 간의 시차가 S102 단계에서 계측된 상대 위치를 기초로 이상적인 시차를 나타내는 이상적 시차와 일치하도록 제1 촬영 화상 및 제2 촬영 화상 중 적어도 한쪽을 보정하는 교정 파라미터를 결정한다.
다음에, 흐름도를 참조하여 본 실시 형태의 교정 장치(30)의 교정 방법을 상세하게 설명한다. 도 11은 제1 실시 형태의 교정 장치(30)의 교정 방법의 예를 나타내는 흐름도이다.
접수부(31)가 계측 용구(20) 상의 좌표 정보를 접수한다(S1 단계). 해당 좌표 정보는 피사체 좌표계에서의 복수(본 실시 형태에서는 5개)의 마크(21)의 3차원 좌표 정보와 피사체 좌표계에서의 복수(본 실시 형태에서는 4개)의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보이다. 또한, 접수부(31)는 복수(본 실시 형태에서는 4개)의 제1 거리 정보를 접수한다(S2 단계). 또한, 접수부(31)는 복수(본 실시 형태에서는 4개)의 제2 거리 정보를 접수한다(S3 단계). 또한, 접수부(31)는 계측 용구(20)를 피사체로서 포함하는 제1 촬영 화상을 접수한다(S4 단계). 또한, 접수부(31)는 계측 용구(20)를 피사체로서 포함하는 제2 촬영 화상을 접수한다(S5 단계).
다음에, 제1 카메라 위치 산출부(32)가 복수의 제1 거리 정보와 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 기초로 제1 카메라(1)의 광학 중심(O0)의 위치를 나타내는 제1 카메라 좌표를 피사체 좌표계를 사용하여 산출한다(S6 단계).
다음에, 제2 카메라 위치 산출부(34)가 복수의 제2 거리 정보와 피사체 좌표계에서의 거리 계측 장치(22)(계측점(23))의 3차원 좌표 정보를 기초로 제2 카메라(2)의 광학 중심(O1)의 위치를 나타내는 제2 카메라 좌표를 피사체 좌표계를 사용하여 산출한다(S7 단계).
다음에, 제1 카메라 방위 산출부(33)가 카메라 좌표계를 사용하여 계측점(23)(23a, 23b, 23c, 23d)의 3차원 좌표와, 제1 촬영 화상 내의 계측점(23)의 화상의 2차원 좌표와, 제1 카메라(1)의 촛점 거리를 기초로 제1 카메라(1)의 방향(광축 방향)을 산출한다(S8 단계).
다음에, 제2 카메라 방위 산출부(35)가 카메라 좌표계를 사용하여 계측점(23)(23a, 23b, 23c, 23d)의 3차원 좌표와, 제2 촬영 화상 내의 계측점(23)의 화상의 2차원 좌표와, 제2 카메라(2)의 촛점 거리를 기초로 제2 카메라(2)의 방향(광축 방향)을 산출한다(S9 단계).
다음에, 거리 산출부(36)가 각각의 마크(21)에 대해 제1 카메라 좌표와 제1 카메라(1)의 방향을 기초로 제1 카메라 좌표계를 사용하여 제1 카메라(1)의 광학 중심(O0)과 마크(21) 간의 제1 카메라(1)의 광축 방향의 거리(d)를 산출한다(S10 단계). S6∼S10 단계에서, 피사체(마크(21))와 스테레오 카메라(10)(제1 카메라(1)의 광학 중심(O0)) 간의 상대 위치가 명확하게 된다.
다음에, 이상적-시차 산출부(37)가, S10 단계에서 산출한 제1 카메라(1)의 광축 방향의 거리(d)를 기초로, 제1 촬영 화상에 포함되는 마크(21)와 제2 촬영 화상에 포함되는 마크(21) 간의 이상적인 시차를 나타내는 이상적 시차를 각각의 마크(21)에 대해 수학식 (1)을 사용하여 산출한다(S11 단계).
다음에, 시차 산출부(38)가 제1 촬영 화상에 포함되는 마크(21)와 제2 촬영 화상에 포함되는 마크(21) 간의 시차를 각각의 마크(21)에 대해 산출한다(S12 단계).
다음에, 결정부(39)가 제1 촬영 화상과 제2 촬영 화상을 시차와 이상적 시차 간의 차이가 0이 되도록 보정하기 위한 교정 파라미터를 결정한다(S13 단계).
또한, 전술한 S10 단계에서, 거리 산출부(36)가 제2 카메라 좌표와 제2 카메라(2)의 방향을 기초로 제2 카메라 좌표계를 사용하여 제2 카메라(2)의 광학 중심(O1)과 마크(21) 간의 제2 카메라(2)의 광축 방향의 거리(d)를 산출할 수 있다.
다음에, 전술한 계측 용구(20) 및 전술한 교정 장치(30)를 사용하는 본 실시 형태의 교정 방법의 전체 흐름을 설명한다. 도 12는 제1 실시 형태의 교정 방법의 예시적인 전체 흐름을 나타내는 흐름도이다.
우선, 계측 용구(20)를 스테레오 카메라(10)가 탑재된 차량의 전방에 양자가 거의 마주하도록 설치한다(S21 단계). 다음에, 계측 용구(20)가 스테레오 카메라(10)의 광학 중심(O0)과 계측 용구(20) 상의 계측점(23) 간의 거리를 계측한다(S22 단계). 구체적으로, 계측 용구(20)의 4개 코너의 거리 계측 장치(22)를 적절하게 회전하여 차량의 전방 유리를 통해 스테레오 카메라(10)의 광학 중심(O0)까지의 거리를 계측한다. 다음에, 스테레오 카메라(10)가 계측 용구(20)의 위치를 변경하지 않고 전방 유리를 통해 계측 용구(20)를 촬영한다(S23 단계).
다음에, S22 단계에서 계측된 계측 데이터를 교정 장치(30)에 입력한다(S24 단계). 이때, 계측 용구(20) 상의 마크(21)를 나타내는 피사체 좌표계의 좌표 및 계측 용구(20) 상의 계측점(23)을 나타내는 피사체 좌표계의 좌표를 동시에 입력한다. 다음에, S23 단계에서 촬영한 촬영 화상을 교정 장치(30)에 입력한다(S25 단계).
다음에, 교정 장치(30)가 계측 용구(20)와 스테레오 카메라(10)의 광학 중심(O0) 사이의 상대 위치를 산출한다(S26 단계). 구체적으로, 교정 장치(30)가 스테레오 카메라(10)의 위치 및 방향을 산출한다(도 11의 S6∼S9 단계). 이후, 교정 장치(30)가 계측 용구(20)(마크(21))와 스테레오 카메라(10)의 광학 중심(O0) 간의 제1 카메라(1)의 광축 방향의 거리(d)를 산출한다(도 11의 S10 단계).
다음에, 교정 장치(30)가 S26 단계에서 산출된 상대 위치를 기초로 이상적인 시차를 산출한다(S27 단계). 구체적으로, 교정 장치(30)는 도 11의 S11 단계의 방법을 이용하여 이상적인 시차를 산출한다. 다음에, 교정 장치(30)가 S25 단계에서 입력된 촬영 화상을 기초로 시차를 산출한다(S28 단계). 구체적으로, 교정 장치(30)는 도 11의 S12 단계의 방법을 이용하여 시차를 산출한다. 다음에, 교정 장치(30)가 상대 위치와 촬영 화상을 기초로 스테레오 카메라(10)를 교정하는 교정 파라미터를 결정한다(S29 단계). 구체적으로, 교정 장치(30)가 상대 위치로부터 산출된 이상적인 시차와 촬영 화상으로부터 산출된 시차를 기초로 스테레오 카메라(10)로 촬영된 촬영 화상을 교정하는 교정 파라미터를 결정한다(도 11의 S13 단계).
이상 설명한 바와 같이, 제1 실시 형태의 교정 방법에 따라, 스테레오 카메라(10)의 촬영 범위에 들어가도록 설치된 계측 용구(20)와 스테레오 카메라(10) 사이의 상대 위치를 계측하고 해당 상대 위치와 스테레오 카메라(10)에 의해 촬영된 계측 용구(20)를 피사체로서 포함하는 촬영 화상을 기초로 스테레오 카메라(10)를 교정하는 교정 파라미터를 결정한다. 이에 따라, 설치 위치 정밀도의 확보가 어려운 차량에 설치된 스테레오 카메라(10)에 대해 고 정밀도의 교정 파라미터를 산출할 수 있다.
또한, 제1 실시 형태에서는 차량에 탑재된 스테레오 카메라(10)에 대해 교정을 수행하는 경우를 설명했다. 그러나, 제1 실시 형태에 따른 교정 방법은 자동차와 같은 차량(이동체)에 설치되는 것으로 한정되지 않고 임의의 물체에 설치될 수 있는 스테레오 카메라(10)에 적용될 수 있다. 또한, 물체에 탑재되지 않은 경우에도 스테레오 카메라(10)에 대해 보다 높은 정밀도의 교정을 실시하고자 하는 경우 본 실시 형태의 방법을 적용할 수 있다.
제1 실시 형태의 변형례
다음에, 제1 실시 형태의 교정 방법의 변형례에 대해 설명한다. 제1 실시 형태의 변형례의 교정 방법에 따르면, 거리 계측 장치(22)는 제1 카메라(1)(제2 카메라(2))의 광학 중심까지의 거리를 계측하지 않고 제1 카메라(1)(제2 카메라(2))의 광학 중심에 대해 중간에 위치된 중간 계측점까지의 거리를 계측한다. 이것은 일반적으로 카메라의 광학 중심이 렌즈 내부에 위치하기 때문에 카메라의 광학 중심을 직접 계측하는 것이 곤란하기 때문이다.
도 13은 제1 실시 형태의 변형례의 거리 계측 장치(22)가 중간 계측점을 사용하여 제1 카메라(1)(제2 카메라(2))까지의 거리를 계측하는 경우의 예를 예시한 도면이다. 도 13의 예는 중간 계측점(61)을 계측 장치(20)와 수직한 방향으로 제1 카메라(1)(제2 카메라(2))의 위치(62) 근처에 잡는 경우의 예이다. 예컨대, 중간 계측점(61)은 차량 전방 유리 상에 위치된다.
거리 계측 장치(22)는 제1 카메라(1)의 광학 중심 근처에 설치된 중간 계측점과 계측 용구(20) 상의 계측점(23) 간의 거리를 나타내는 거리 정보(이하 "제1 중간 거리 정보"로 칭함)를 계측한다. 또한, 거리 계측 장치(22)는 제2 카메라(2)의 광학 중심 근처에 설치된 중간 계측점과 계측 용구(20) 상의 계측점(23) 간의 거리를 나타내는 거리 정보(이하 "제2 중간 거리 정보"로 칭함)를 계측한다.
접수부(31)는 제1 중간 거리 정보 및 제2 중간 거리 정보를 접수한다. 또한, 접수부(31)는 중간 계측점(61)으로부터 제1 카메라(1)(제2 카메라(2))의 광학 중심까지의 거리를, 계측한 값이나 설계치 등으로부터 별도로 취득된 거리 정보로서 접수한다.
제1 카메라 위치 산출부(32)(제2 카메라 위치 산출부(34))는 우선 수학식 (2)를 이용하여 중간 계측점(61)의 위치를 나타내는 좌표를 결정한다. 다음에, 제1 카메라 위치 산출부(32)(제2 카메라 위치 산출부(34))는 중간 계측점(61)의 위치를 나타내는 좌표와 중간 계측점(61)으로부터 제1 카메라(1)(제2 카메라(2))의 광학 중심까지의 거리를 나타내는 거리 정보를 이용하는 것에 의해 제1 카메라(1)(제2 카메라(2))의 광학 중심의 좌표를 산출한다.
또한, 중간 계측점(61)으로부터 제1 카메라(1)(제2 카메라(2))의 광학 중심까지의 거리는 계측 용구(20)의 피사체 좌표계를 사용하지 않고 카메라 좌표계를 이용하는 것에 의해 별도로 계측될 수 있다. 또한, 카메라 광축(63)의 방향과 계측 용구(20)와 수직한 직선의 방향 간의 차이가 작은 경우, 계측 용구(20)와 수직한 직선 상에 있는 위치(65)를 제1 카메라(1)(제2 카메라(2))의 광학 중심의 위치로서 간주할 수 있다. 이것은 실제의 제1 카메라(1)(제2 카메라(2))의 위치로부터의 오차(64)가 무시할 수 있는 정도로 작기 때문이다.
또한, 중간 계측점(61)과 계측 용구(20)의 계측점(23) 간의 거리는 거리 계측 장치(22)를 사용하지 않고 줄자 등을 사용함으로써 계측할 수 있다.
제2 실시 형태
다음에, 제2 실시 형태에 대해 설명한다. 제2 실시 형태에서는 스테레오 카메라(10)의 교정에 사용되는 계측 용구가 제1 실시 형태에서와 다르다. 제2 실시 형태의 스테레오 카메라(10)의 교정은 제1 카메라(1) 또는 제2 카메라(2) 중 어느 한쪽을 사용한다. 제2 실시 형태에서는 제1 카메라(1)를 사용하는 것으로 설명되지만, 제2 카메라(2)를 사용할 수도 있다.
도 14는 제2 실시 형태의 계측 용구(120), 스테레오 카메라(10) 및 교정 장치(30) 사이의 예시적인 관계를 나타내는 도면이다. 제2 실시 형태에서는 계측 용구(20) 대신에 계측 용구(120)가 사용된다. 스테레오 카메라(10) 및 교정 장치(30)의 설명은 도 1의 설명과 동일하므로 생략한다. 계측 용구(120)는 제1 실시 형태의 계측 용구(20)와 같이, 스테레오 카메라(10)와의 상대 위치를 계측하기 위해 사용되지만, 그 구성은 제1 실시 형태의 계측 용구(20)의 구성과 다르다. 제2 실시 형태의 계측 용구(120)는 각도 계측판(101) 및 제1 부재(102)를 포함한다. 각도 계측판(101)은 수평 방향으로 경사진 계측 용구(120)의 어긋남을 나타내는 각도 및 수직 방향으로 경사진 계측 용구(120)의 어긋남을 나타내는 각도의 계측에 사용된다. 제1 부재(102)는 스테레오 카메라(10)를 교정하기 위한 차트로서 사용된다.
도 15a 내지 도 16을 참조하여 계측 용구(120)의 구성에 대해 상세히 설명한다. 도 15a는 제2 실시 형태의 각도 계측판(101)의 단면을 나타내는 단면도이다. 도 15b는 제2 실시 형태의 각도 계측판(101)의 정면을 나타내는 정면도이다. 도 16은 제2 실시 형태의 제1 부재(102)의 정면도이다.
각도 계측판(101)은 광원(103) 및 제2 부재(104)를 포함한다. 광원(103)은 균일한 휘도 분포를 갖는 평면형의 확산 광원이다. 구체적으로, 광원(103)은 제1 부재(102)의 표면 상의 위치에 무관하게 균일한 강도의 광(표면상의 위치에 따른 광의 강도의 차가 소정의 범위 내에 있는 광)을 방사한다.
제2 부재(104)는 광원(103)을 피복하도록 설치되어 있고, 복수의 구멍(105)을 통해 광원(103)의 광을 방사한다. 각각의 구멍(105)은 제1 부재(102)의 표면에 수직한 방향으로 소정의 피치로 형성된다. 도 15b의 예에서는 직경 b의 원형의 구멍(105)이 a 피치로 수직 및 수평 방향으로 정렬되도록 형성된다. 또한, 구멍(105)의 수, 형태 및 배열 방법은 도 15b의 구성에 한정되지 않고 임의로 할 수 있다. 또한, 제2 부재(104)의 재질은 임의로 할 수 있다. 제2 부재(104)의 재질은 예컨대, 금속이다.
각도 계측판(101)(제2 부재(104))은 제1 부재(102)의 표면의 중앙에 배치되어 있다. 또한, 제1 부재(102)는 각도 계측판(101)(제2 부재(104))의 상부에 마크(111)를 포함한다. 마크(111)는 제1 부재(102)(계측 용구(120))와 교정 대상의 스테레오 카메라(10)(제1 카메라(1)) 사이의 거리를 산출하기 위한 기준점으로서 사용된다. 또한, 제1 부재(102)의 표면은 제1 실시 형태의 계측 용구(20)의 표면과 같이, 제1 촬영 화상 내의 점에 대응하는 제2 촬영 화상 내의 대응점을 검출하는 것을 용이하게 하는 음영 패턴을 가진다.
도 17은 제2 부재(104) 상에 형성된 구멍(106), 구멍(107) 및 구멍(108)을 제1 카메라(1)의 광학 중심(O0)의 위치로부터 바라본 경우를 나타내는 도면이다. 구멍(106)의 위치와 관련하여, 광학 중심(O0)의 위치로부터의 시선의 라인은 제2 부재(104)의 표면에 수직으로 이어지므로, 제2 부재(104)의 배후에 있는 광원(103)의 광은 도 18a의 형태와 같이 보인다. 구멍(107)의 위치에서는 광학 중심(O0)의 위치로부터의 시선의 라인이 제2 부재(104)의 구멍(107)에 비스듬히 진입하기 때문에 제2 부재(104)의 배후에 있는 광원(103)의 광은 도 18b의 형태와 같이 보인다. 구멍(108)의 위치에서는 광학 중심(O0)의 위치로부터의 시선의 라인이 제2 부재(104)의 구멍(108)으로 진입하지 않기 때문에 제2 부재(104)의 배후에 있는 광원(103)의 광은 보이지 않는다(도 18c).
구체적으로, 구멍의 피치(a)에 비해 충분히 높은 해상도의 제1 카메라(1)로 각도 계측판(101)(제2 부재(104))을 촬영하면, 촬영 화상에서 제1 카메라(1)의 광학 중심(O0)으로부터의 시선의 라인이 제2 부재(104)의 표면에 수직으로 이어지는 개소의 부근의 구멍은 화상이 크게 나타난다. 또한, 제1 카메라(1)의 광학 중심(O0)으로부터의 시선의 라인이 제2 부재(104)의 표면으로 수직으로 이어지는 개소로부터 멀리 떨어짐에 따라 구멍의 화상 면적은 감소되어 훨씬 더 떨어진 위치에서는 찍히지 않는다.
여기서, 제2 부재(104)의 구멍(105)의 피치(a)에 대해 설명한다. 도 15b의 구멍(105)의 피치(a)는 스테레오 카메라(10)(제1 카메라(1))의 해상 한계보다도 좁게 설정한다. 예컨대, (절반)시야각 20도, 촬영 거리(교정 거리) 2 m, 640×480 화소 센서라는 조건의 경우, 피치(a)가 대략 2 mm 이하이면, 피치는 다음의 수학식 (5)에 따른 화소 피치보다도 작아진다.
Figure pct00005
(5)
피치(a)가 화소 피치보다 작은 경우, 스테레오 카메라(10)(제1 카메라(1))에 의해 각도 계측판(101)(제2 부재(104))을 촬영하면, 촬영 화상은 도 19a와 같이 보인다. 그러나, 실제로는 화소 개구 특성, 결상 광학계의 불선명도, 컬러 카메라의 경우의 광학 저역 필터(LPF)의 광학적 불선명도 등의 영향에 의해, 피치(a)가 대략 2 mm 이하인 경우에도 해상 한계를 넘게 된다. 그러므로, 촬영 화상 상에서는 개개의 구멍을 구별하기가 곤란하고, 도 19a의 화상이 마치 흐려지는 것 같은 형태의 도 19b와 같은 하나의 큰 휘도의 분포 마운틴(휘도 분포)이 얻어진다. 도 19b의 휘도의 분포 마운틴의 정점은 예컨대, 도 17의 구멍(106) 부근에 대응한다. 또한, 도 19b의 휘도의 분포 마운틴의 바닥부 예컨대, 도 17의 구멍(108) 부근에 대응한다.
도 20은 도 19b의 휘도의 분포 마운틴의 바닥부의 반경(c)의 계측을 예시하는 도면이다. 제2 부재(104)의 두께가 40 mm이고 구멍(108)의 직경이 1 mm인 것으로 가정한다. 또한, 스테레오 카메라(10)(제1 카메라(1))의 (절반)시야각이 20도이고 화소 센서는 640×480 화소를 갖는 것으로 가정한다. 이때, 휘도의 분포 마운틴의 바닥부의 반경(c)은 하기의 수학식 (6)에 따라 약 22 화소가 된다.
Figure pct00006
(6)
전술한 바와 같이, 도 15b의 개개의 구멍(105)의 화상 대신에, 매끄럽게 조절된 연속적인 큰 휘도의 분포 마운틴을 고려함으로써, 스테레오 카메라(10)(제1 카메라(1))의 광학 중심(O0)이 구멍(105) 바로 위에 있지 않은 위치가 각도 계측판(101)의 표면과 수직한 방향으로 대응하는 경우에도, 휘도 피크의 위치가 각도 계측판(101)의 표면에 수직한 방향을 나타내는 것으로 판정할 수 있다. 따라서, 스테레오 카메라(10)(제1 카메라(1))의 광학 중심(O0)의 위치에 무관하게 각도 계측판(101)을 촬영한 촬영 화상의 휘도의 분포 마운틴(휘도 분포)의 휘도 피크의 위치가 각도 계측판(101)의 표면과 수직한 방향을 나타내는 것으로 파악할 수 있다.
또한, 휘도의 전체 분포 마운틴을 예컨대, 가우스 함수(exp(-r2))와 같은 함수로 근사화하여 다수의 화소치의 평균적인 분포를 추정함으로써 개개의 화소치에 포함되는 랜덤 노이즈의 영향을 감소시켜, 휘도 피크의 위치를 정확히 추정할 수 있다.
도 21은 촬상면(40)의 휘도 피크의 위치와 각도 계측판(101)의 경사 사이의 관계를 나타내는 도면이다. 촬상면(40)의 중앙을 원점으로 하여 화소 단위로 나타내는다. 이때, 촬상면(40)(촬영 화상) 상의 휘도 피크의 위치의 좌표(ip, jp)는 스테레오 카메라(10)(제1 카메라(1))의 광학 중심(O0)으로부터 각도 계측판(101)까지 내린 수선의 바닥의 위치를 나타내는다. 따라서, 각도 계측판(101)과 스테레오 카메라(10)(제1 카메라(1))가 대면하고 있으면, 즉, 계측 용구(120)의 표면에 대한 법선과 스테레오 카메라(10)(제1 카메라(1))의 광축이 평행하면, 휘도 피크의 위치는 촬영 화상의 중앙(원점)이 된다. 구체적으로, 휘도 피크의 위치(ip, jp)가 촬영 화상의 중앙(원점)으로부터 변위되면, 그 휘도 피크의 위치를 나타내는 촬영 화상(촬상면(40))의 좌표(ip, jp)로부터 대면 방향에 대해 경사진 계측 용구(120)의 수평 방향의 어긋남을 나타내는 각도 및 수직 방향의 어긋남을 나타내는 각도를 결정할 수 있다. 구체적으로, 스테레오 카메라(10)(제1 카메라(1))의 촛점 거리(화소 단위)를 f라고 하면, (ip, jp, f)를 이용하여 각도 계측판(101)의 법선의 방향을 결정할 수 있다. 다시 말해서, 대면 방향에 대해 경사지게 설치되어 있는 각도 계측판(101)과 마주하는 스테레오 카메라(10)(제1 카메라(1))의 방향을 결정할 수 있다.
다음에, 각도 계측판(101)(계측 용구(120))의 위치를 나타내는 평면의 방정식을 결정하는 방법을 구체적으로 설명한다. 도 22는 계측 용구(120)의 위치를 나타내는 평면의 방정식을 결정하는 방법을 나타내는 도면이다. 스테레오 카메라(10)(제1 카메라(1))의 광학 중심(O0)을 원점으로 한 좌표계에서 계측 용구(120)를 나타내는 평면의 방정식을 하기의 수학식 (7)로 나타내는다.
Figure pct00007
(7)
도 21에 나타내는 바와 같이, 각도 계측판(101)의 법선의 방향은 (ip, jp, f)로 나타낼 수 있다. 따라서, 이 평면의 법선 벡터는 (ip, jp, f)를 이용함으로써 결정될 수 있기 때문에, (a, b, c)=(ip, jp, f)이다. 다음에, 평면의 방정식의 변수(d)를 결정하기 위해, 계측 용구(120)(제1 부재(102))의 마크(111)를 레이저 거리계 등으로 계측하고, 이 거리를 dc로 정의한다. 또한, 촬영 화상 내의 마크(111)의 위치를 나타내는 좌표는 (ic, jc)이다. 스테레오 카메라(10)(제1 카메라(1))의 촛점 거리(화소 단위)를 f라고 하면, 벡터 (ic, jc, f)의 방향의 거리(dc)에 의한 점(xc, yc, zc)이 마크(111)의 위치를 나타내는 좌표가 된다. 구체적으로, 마크(111)의 위치를 나타내는 평면상의 좌표(xc, yc, zc)는 하기의 수학식 (8)을 이용함으로써 산출할 수 있다.
Figure pct00008
(8)
따라서, 하기의 수학식 (9)와 수학식 (10)을 이용함으로써 평면의 방정식의 변수(d)를 결정할 수 있다. 따라서, 계측 용구(120)를 나타내는 평면의 방정식 (a, b, c, d)를 결정할 수 있다.
Figure pct00009
(9)
Figure pct00010
(10)
각도 계측판(101)의 촬영 화상을 이용하는 것에 의해, 각도 계측판(101)의 수평 방향 경사에 따른 어긋남을 나타내는 각도 및 수직 방향 경사에 따른 어긋남을 나타내는 각도를 산출할 수 있지만, 각도 계측판(101)까지의 거리는 결정할 수 없다. 따라서, 전술한 설명에서는 마크(111)의 촬영 화상 내의 위치 및 마크(111)까지의 거리 정보(dc)를 이용하고 있다. 이외에, 도 22의 d1을 실측하는 방법을 이용할 수 있다. 또한, 스테레오 카메라(10)(제1 카메라(1))의 교정의 허용 정밀도에 비해 계측 용구(120)의 위치 정밀도가 높으면(또한, 각도 정밀도가 나쁘면), 마크(111)와 스테레오 카메라(10) 사이의 거리를 실제로 계측하지 않고 거리 정보로서 고정치를 사용할 수 있다.
다음에, 전술한 방법을 사용하여 스테레오 카메라(10)(제1 카메라(1))를 교정하는 제2 실시 형태의 교정 장치(30)의 구성을 설명한다. 도 23은 제2 실시 형태의 교정 장치의 구성의 예를 나타내는 도면이다. 제2 실시 형태의 교정 장치(30)는 접수부(131), 계측부(136), 이상적-시차 산출부(137), 시차 산출부(138) 및 결정부(139)를 포함한다.
접수부(131)는 스테레오 카메라(10)에 의해 촬영된 계측 용구(120)를 피사체로서 포함하는 촬영 화상(제1 카메라(1)에 의해 촬영된 제1 촬영 화상 및 제2 카메라(2)에 의해 촬영된 제2 촬영 화상)을 접수한다. 또한, 접수부(131)는 전술한 거리 정보(dc)(도 22 참조)를 접수한다. 접수부(131)는 제1 촬영 화상 및 거리 정보(dc)를 계측부(136)에 입력한다. 또한, 접수부(131)는 촬영 화상(제1 촬영 화상 및 제2 촬영 화상)을 시차 산출부(138)에 입력한다.
계측부(136)는 접수부(131)로부터 제1 촬영 화상 및 거리 정보(dc)를 접수한다. 계측부(136)는 계측 용구(120)(각도 계측판(101))의 표면과 수직한 방향(법선 벡터)을 제1 촬영 화상의 최대 휘도의 위치를 기초로 도 21에 예시된 방법을 이용함으로써 결정한다. 이에 따라, 계측부(136)는 스테레오 카메라(10)(제1 카메라(1))의 대면 위치에 대한 계측 용구(120)의 방향의 어긋남(수평 방향의 경사에 따른 어긋남을 나타내는 각도 및 수직 방향의 경사에 따른 어긋남을 나타내는 각도)을 계측한다. 또한, 제1 카메라 좌표계(제1 카메라(1)의 광학 중심(O0)을 원점으로 한 좌표계)에서 계측 용구(120)의 위치를 나타내는 평면의 방정식을 법선 벡터 및 거리 정보(dc)를 기초로 도 22에 예시된 방법을 이용함으로써 결정한다. 계측부(136)는 해당 평면의 방정식을 나타내는 정보를 이상적-시차 산출부(137)에 입력한다.
이상적-시차 산출부(137)는 계측부(136)로부터 계측 용구(120)의 위치를 나타내는 평면의 방정식을 접수한다. 이상적-시차 산출부(137)는 해당 방정식으로 나타내는 평면을 촬영한 경우의 시차를 나타내는 이상적인 시차를 도 3에 예시된 방법을 이용하여 산출한다. 이상적-시차 산출부(137)는 이상적 시차를 결정부(139)에 입력한다.
시차 산출부(138)는 접수부(131)로부터 촬영 화상(제1 촬영 화상 및 제2 촬영 화상)을 접수한다. 시차 산출부(138)는 계측 용구(120)(제1 부재(102))의 음영 패턴 등을 사용하여, 제1 촬영 화상의 점에 대응하는 제2 촬영 화상의 대응점을 검출함으로써 시차를 산출한다. 시차 산출부(138)는 시차를 결정부(139)에 입력한다.
결정부(139)는 이상적인 시차를 이상적-시차 산출부(137)로부터 접수하고 시차를 시차 산출부(138)로부터 접수한다. 또한, 결정부(139)는 제1 촬영 화상과 제2 촬영 화상을 접수부(131)로부터 접수한다. 결정부(139)는 제1 촬영 화상 및 제2 촬영 화상을 보정하는 교정 파라미터를 시차와 이상적인 시차를 기초로 결정한다. 결정부(139)는 예컨대, 시차와 이상적인 시차의 차이가 0이 되도록 제1 촬영 화상 및 제2 촬영 화상 중 적어도 한쪽을 보정하기 위한 교정 파라미터를 결정한다.
도 24는 제2 실시 형태의 교정 방법의 개략적인 전체 흐름도이다. 스테레오 카메라(10)가 촬영 화상을 취득한다(S201 단계). 구체적으로, 제1 카메라(1)가 제1 촬영 화상을 취득하고 제2 카메라(2)가 제2 촬영 화상을 취득한다.
다음에, 교정 장치(30)가 스테레오 카메라(10)와 피사체 사이의 상대 위치를 계측한다(S202 단계). 구체적으로, 교정 장치(30)가 스테레오 카메라(10)의 제1 카메라(1)의 광학 중심(O0)과 계측 용구(120) 사이의 상대 위치를 후술하는 S32∼S34 단계에서 계측한다.
다음에, 교정 장치(30)가 상대 위치를 기초로 교정 파라미터를 결정한다(S203 단계). 구체적으로, 교정 장치(30)가 계측 용구(120)(제1 부재(102))의 음영 패턴 등을 이용함으로써 제1 촬영 화상의 점에 대응하는 제2 촬영 화상의 대응점을 검출함으로써 산출되는 시차가 S202 단계에서 계측된 상대 위치를 기초로 이상적인 시차를 나타내는 이상적 시차와 일치하도록 제1 촬영 화상 및 제2 촬영 화상 중 적어도 한쪽을 보정하는 교정 파라미터를 결정한다.
다음에, 흐름도를 참조하여 제2 실시 형태의 교정 장치(30)에서의 교정 방법을 상세히 설명한다. 도 25는 제2 실시 형태의 교정 장치(30)에서의 교정 방법의 예를 나타내는 흐름도이다.
접수부(131)가 계측 용구(120)를 피사체로서 포함하는 촬영 화상(제1 촬영 화상 및 제2 촬영 화상)을 접수한다(S31 단계). 또한, 접수부(131)가 거리 정보(dc)를 접수한다(S32 단계).
다음에, 계측부(136)가 스테레오 카메라(10)의 대면 위치로부터의 계측 용구(120)의 방향의 어긋남을 계측한다(S33 단계). 구체적으로, 계측부(136)가 계측 용구(120)(각도 계측판(101))의 표면과 수직한 방향(법선 벡터)을 제1 촬영 화상의 최대 휘도의 위치를 기초로 도 21에 예시된 방법을 이용하여 결정함으로써 계측 용구(120)의 방향의 어긋남을 계측한다.
다음에, 계측부(136)가 제1 카메라 좌표계(제1 카메라(1)의 광학 중심(O0)을 원점으로 한 좌표계)에서 계측 용구(120)의 위치를 나타내는 평면의 방정식을 법선 벡터 및 거리 정보(dc)를 기초로 도 22에 예시된 방법을 이용함으로써 결정한다(S34 단계).
다음에, 이상적-시차 산출부(137)가 S34 단계에서 결정한 방정식으로 나타내는 평면을 촬영한 경우의 시차를 나타내는 이상적인 시차를 도 3에 예시된 방법을 이용하여 산출한다(S35 단계). 다음에, 시차 산출부(138)가 계측 용구(120)(제1 부재(102))의 음영 패턴 등을 이용하여 제1 촬영 화상의 점에 대응하는 제2 촬영 화상의 대응점을 검출함으로써 시차를 산출한다(S36 단계).
다음에, 결정부(139)가 제1 촬영 화상 및 제2 촬영 화상 중 적어도 한쪽을 시차와 이상적인 시차 사이의 차이가 0이 되도록 보정하기 위한 교정 파라미터를 결정한다(S37 단계).
전술한 계측 용구(120) 및 전술한 교정 장치(30)를 사용하는 제2 실시 형태의 교정 방법의 전체 흐름은 제1 실시 형태의 도 12의 설명과 동일하므로 그 설명을 생략한다.
이상 설명한 바와 같이, 제2 실시 형태의 교정 방법에서는 스테레오 카메라(10)의 대면 위치로부터의 계측 용구(120)의 방향의 어긋남을 제1 촬영 화상의 최대 휘도의 위치를 기초로 계측한다. 또한, 제1 촬영 화상 및 제2 촬영 화상으로부터 산출된 시차와 계측 용구(120)의 방향의 어긋남이 고려된 이상적인 시차를 기초로 스테레오 카메라(10)를 교정하는 교정 파라미터를 결정한다. 이에 따라, 설치 위치 정밀도의 확보가 어려운 차량에 설치된 스테레오 카메라(10)에 대해 높은 정밀도의 교정 파라미터를 용이하게 산출할 수 있다. 또한, 본 실시 형태에 따르면, 차량 등에 탑재되지 않은 스테레오 카메라(10)에 대해 보다 높은 정밀도의 교정을 간단한 방식으로 실현할 수 있다. 또한, 본 실시 형태에 있어서 각도 계측판의 구멍은 원형 구멍이라고 하고 있지만, 이것에 한정되지 않는다. 예컨대, 각형 구멍 등도 이용할 수 있다.
제3 실시 형태
다음에, 제3 실시 형태를 설명한다. 제3 실시 형태에서는 제2 실시 형태의 계측 용구(120)(각도 계측판(101))의 구성을 변경한 계측 용구(220)(각도 계측판(101))를 사용하는 경우를 설명한다. 제3 실시 형태의 설명에서는 제2 실시 형태와 다른 부분에 대해 설명한다.
도 26은 제3 실시 형태의 각도 계측판(201)의 단면을 나타내는 단면도이다. 각도 계측판(201)의 정면도는 도 15b와 동일하기 때문에 생략한다. 각도 계측판(201)은 광원(103), 차광판(202), 투명 유리(203) 및 차광판(204)을 포함한다. 광원(103)에 대해서는 제2 실시 형태와 동일하기 때문에 설명을 생략한다. 차광판(202), 투명 유리(203) 및 차광판(204)은 제2 실시 형태의 제2 부재(104)에 해당한다.
제3 실시 형태의 각도 계측판(201)은 양면에 불투명한 차광 영역(차광판(202) 및 차광판(204))을 배치한 투명한 유리판을 사용한다. 투명 유리(203)는 차광판(202) 및 차광판(204)의 위치를 고정하기 위해 배치되어 있다. 차광판(202)과 차광판(204) 사이의 갭을 유리로 충전함으로써 기계적인 어긋남에 저항할 수 있고, 온도, 시간에 따른 변형 등에 의해 야기되는 계측 오차를 감소시킬 수 있다. 투명 유리(203)는 임의의 투명 물체일 수 있다.
제3 실시 형태의 각도 계측판(201)은 표리 양면의 차광면의 구멍 때문에 각도 계측판(201)에 거의 직교하는 방향으로 입사하는 광이 마주보는 구멍(예컨대, 구멍(208) 및 구멍(209))을 통과하여 투과된다는 점에서는 제1 실시 형태의 각도 계측판(101)과 동일하다. 그러나, 광이 투명 유리(203)와 공기 사이의 경계면에서 굴절되기 때문에 촬영 화상의 휘도 분포가 제2 실시 형태와는 다르다.
도 27은 광의 굴절 각도를 예시하는 도면이다. 이미 알려진 바와 같이(스넬의 법칙), 유리-공기 경계면의 굴절에 의해 투과 광이 출사하는 방향이 변화된다. 비굴절율을 R이라고 하면, 도 27의 각도(θ1)와 각도(θ2) 사이의 관계는 하기의 수학식 (11)이 된다.
Figure pct00011
(11)
따라서, 차광판(202), 투명 유리(203) 및 차광판(204)의 전체 두께가 제2 실시 형태의 제2 부재(104)와 동일하여 구멍의 직경이 되면, 유리의 굴절에 의해서 보다 멀리 있는 구멍을 볼 수 있다(도 28 참조). 따라서, 촬영 화상의 휘도 분포의 마운틴의 바닥부의 크기는 제2 실시 형태에서보다 크다. 그러나, 휘도 피크의 위치가 스테레오 카메라(10)(제1 카메라(1))의 광학 중심(O0)의 위치에 무관하게 차광판(204)의 법선 방향에 대응한다고 하는 특성은 동일한다.
제1 실시 형태의 제2 부재(104)와 달리, 제3 실시 형태의 각도 계측판(201)은 정면 방향이 아닌 도 28의 점선으로 나타내는 방향으로 위치된 마주하지 않는 구멍을 통과하는 광의 투과를 허용한다. 예컨대, 구멍(207)에서는 구멍(208)과 마주하는 구멍(209)을 통한 광도 굴절의 영향으로 구멍(207)을 투과한다.
따라서, 제2 실시 형태의 경우와 달리, 각도 계측판(201)을 촬영한 화상에는 명암이 주기적으로 반복되는 무아레 패턴이 관찰된다. 따라서, 촬영 범위 내에 복수의 휘도 피크가 존재할 가능성이 있다. 그러나, 스테레오 카메라(10)(제1 카메라(1))와 계측 용구(220)의 설치 각도의 정밀도가 사전에 결정되면, 설치 어긋남의 범위에 따른 휘도 피크의 위치의 이동 범위에 대응하는 무아레의 주기를 고려하는 것에 의해 마주하는 구멍의 휘도 피크의 위치를 인접하는 구멍에 대응하는 휘도 피크로 오해하는 것을 피할 수 있다.
도 29는 계측 용구(220)의 경사와 휘도 피크의 위치의 어긋남 사이의 관계를 예시한 도면이다. 도 29에서와 같이, 계측 용구(220)의 설치 각도가 대면 방향으로부터 ±X 도 이하의 각도 어긋남을 갖는 경우, 휘도 피크의 위치는 대면 위치(화면 중앙)로부터 X 도 이하의 범위로 존재한다. 구체적으로, 도 30에서와 같이, 예측되는 휘도 피크의 위치 어긋남의 2배 이상 떨어진 위치에 인접하는 구멍의 휘도 피크가 자리하도록 구멍의 간격을 조정할 수 있다. 인접하는 구멍의 휘도 피크의 위치는 도 31의 각도(φ)를 이용함으로써 결정되고(정확하게는 ftan(φ)), 각도(φ)는 차광면의 구멍 피치(p), 유리판 두께(d) 및 유리 굴절율(n)을 포함하는 하기의 수학식 (12)의 관계를 갖는다.
Figure pct00012
(12)
수학식 (12)에 따르면, 하기의 수학식 (13)을 만족하도록 유리판 두께(d) 및 구멍 피치(p)를 결정할 수 있음이 이해된다.
Figure pct00013
(13)
전술한 설명에서는 설치 각도의 정밀도만을 고려하여 인접 휘도 피크의 위치를 예측했다. 그러나, 실제로는 계측 용구(220)의 설치 각도 이외에도 스테레오 카메라(10)의 설치 각도, 계측 용구(220)의 병진 변위 및 스테레오 카메라(10)의 병진 어긋남과 같은 상정할 수 있는 모든 설치 어긋남을 고려하여 대면 위치를 나타내는 휘도 피크의 존재 범위를 예측할 필요가 있다. 또한, 예측된 휘도 피크 위치의 범위 내에 인접 구멍의 휘도 피크가 속하지 않도록 유리판 두께(d) 및 구멍 피치(p)를 결정하면, 스테레오 카메라(10)와 마주하는 구멍에 대응하는 예측 범위 내의 휘도 피크의 위치를 특유의 방식으로 결정할 수 있다.
차광판(202)(204)을 구성할 때는 평판 상에 차광 영역을 형성하는 방법으로서 인쇄나 포토-에칭 등의 기술을 이용할 수 있다. 이들 기술로서는 일반적으로 드릴로 후판에 구멍을 형성하는 등의 방법을 이용하여 형성되는 제2 실시 형태의 제2 부재(104)에 비해 소직경의 구멍이나 협소한 피치를 실현하는 것이 용이하다. 휘도의 분포 마운틴의 크기는 판 두께에 대한 구멍 직경의 비율(및 굴절율)에 따라 결정된다. 예컨대, 판 두께(차광판(202), 투명 유리(203) 및 차광판(204)의 전체 두께)가 6 mm이고 구멍 반경이 0.05 mm이면, 제2 실시 형태의 경우와 거의 같은 휘도 분포를 얻을 수 있다.
이상 설명한 바와 같이, 제3 실시 형태의 계측 용구(220)에서는 각도 계측판(201)을 제2 실시 형태의 각도 계측판(101)보다 경량이면서 소형인 얇은 판으로 하여도 제2 실시 형태의 각도 계측판(101)과 동등한 교정 정밀도를 실현할 수 있다.
또한, 단순히 광을 차광할 뿐이면, 투명 유리(203)를 배치하지 않고 유리 양면의 차광 영역과 동일한 위치에 차광판(202) 및 차광판(204)을 배치할 수 있다.
마지막으로, 제1 내지 제3 실시 형태의 교정 장치(30)의 하드웨어 구성의 예에 대해 설명한다. 도 32는 제1 내지 제3 실시 형태의 스테레오 카메라(10) 및 교정 장치(30)의 하드웨어 구성의 예를 나타내는 도면이다.
제1 내지 제3 실시 형태의 교정 장치(30)는 제어 장치(51), 주요 저장 장치(52), 보조 저장 장치(53), 표시 장치(54), 입력 장치(55) 및 통신 장치(56)를 포함한다. 제어 장치(51), 주요 저장 장치(52), 보조 저장 장치(53), 표시 장치(54), 입력 장치(55) 및 통신 장치(56)는 버스(57)를 통해 상호 접속되어 있다.
제1 내지 제3 실시 형태의 스테레오 카메라(10)는 촬영 장치(151), 촬영 장치(152), 통신 장치(153), 제어 장치(154), 주요 저장 장치(155), 보조 저장 장치(156), 표시 장치(157) 및 입력 장치(158)를 포함한다. 촬영 장치(151), 촬영 장치(152), 통신 장치(153), 제어 장치(154), 주요 저장 장치(155), 보조 저장 장치(156), 표시 장치(157) 및 입력 장치(158)는 버스(159)를 통해 상호 접속되어 있다.
제어 장치(51)(제어 장치(154))는 CPU이다. 제어 장치(51)(제어 장치(154))는 보조 저장 장치(53)(보조 저장 장치(156))로부터 주요 저장 장치(52)(주요 저장 장치(155))로 판독된 프로그램을 실행한다. 주요 저장 장치(52)(주요 저장 장치(155))는 ROM이나 RAM 등의 메모리이다. 보조 저장 장치(53)(보조 저장 장치(156))는 HDD 또는 메모리 카드 등이다. 표시 장치(54)(표시 장치(157))는 교정 장치(30)(스테레오 카메라(10))의 상태 등을 표시한다. 입력 장치(55)(입력 장치(158))는 사용자로부터의 입력을 접수한다. 교정 장치(30)의 통신 장치(56)와 스테레오 카메라(10)의 통신 장치(153)는 유선 또는 무선의 네트워크를 통해 서로 통신한다.
촬영 장치(151)는 제1 카메라(1)(도 2 참조)에 대응한다. 촬영 장치(152)는 제2 카메라(2)(도 2 참조)에 대응한다.
제1 내지 제3 실시 형태의 스테레오 카메라(10) 및 교정 장치(30)에 의해 실행되는 프로그램은 설치 및 실행 가능한 파일의 형식으로 CD-ROM, 메모리 카드, CD-R, 또는 DVD 등의 컴퓨터로 판독 가능한 기록 매체에 저장되는 것으로써 컴퓨터 프로그램 제품으로서 제공된다.
또한, 제1 내지 제3 실시 형태의 스테레오 카메라(10) 및 교정 장치(30)에 의해 실행되는 프로그램을 인터넷 등의 네트워크에 접속된 컴퓨터에 저장하여 네트워크를 경유하여 다운로드함으로써 제공하도록 구성하여도 좋다. 또한, 제1 내지 제3 실시 형태의 스테레오 카메라(10) 및 교정 장치(30)에 의해 실행하는 프로그램을 다운로드하지 않고 인터넷 등의 네트워크를 경유하여 제공하도록 구성하여도 좋다.
제1 내지 제3 실시 형태의 스테레오 카메라(10) 및 교정 장치(30)에 의해 실행되는 프로그램을 ROM 등에 미리 내장하여 제공하도록 구성하여도 좋다.
제1 실시 형태의 교정 장치(30)에 의해 실행되는 프로그램은 상술한 기능 블록(접수부(31), 제1 카메라 위치 산출부(32), 제1 카메라 방위 산출부(33), 제2 카메라 위치 산출부(34), 제2 카메라 방위 산출부(35), 이상적-시차 산출부(37), 시차 산출부(38) 및 결정부(39))을 포함하는 모듈 구성으로 되어 있다. 또한, 제2 내지 제3 실시 형태의 교정 장치(30)에 의해 실행되는 프로그램은 상술한 기능 블록(접수부(131), 계측부(136), 이상적-시차 산출부(137), 시차 산출부(138) 및 결정부(139))을 포함하는 모듈 구성으로 되어 있다.
또한, 제1 내지 제3 실시 형태의 스테레오 카메라(10)에 의해 실행되는 프로그램은 상술한 기능 블록(보정부(5) 및 산출부(6))을 포함하는 모듈 구성으로 되어 있다.
전술한 기능 블록은 실제의 하드웨어에서는 제어 장치(51)(제어 장치(154))가 상기 기록 매체로부터 프로그램을 독출하여 실행함으로써 상기 기능 블록이 주요 저장 장치(52)(주요 저장 장치(155))에 로딩된다. 즉, 상기 기능 블록은 주요 저장 장치(52)(주요 저장 장치(155))에 생성된다.
또한, 상술한 기능 블록의 일부 또는 전부를 소프트웨어에 의해 실현하지 않고 IC 등의 하드웨어에 의해 실현할 수 있다.
실시 형태는 스테레오 카메라를 보정하기 위한 고 정밀도의 교정 파라미터를 산출할 수 있다는 장점을 제공한다.
본 발명은 완전하고 분명한 개시를 위해 특정 실시 형태에 대해 설명하였지만, 첨부된 청구범위는 그렇게 한정되지 않고 여기 언급한 기본적인 개시 내용 내에 당연히 속하면서 당업자가 안출할 수 있는 모든 변형 및 대안적 구성을 구현하는 것으로 해석되어야 한다.
1: 제1 카메라
2: 제2 카메라
3: 저장부
4: 외부 I/F
5: 보정부
6: 산출부
10: 스테레오 카메라
20: 계측 용구
21: 마크
22: 거리 계측 장치
23: 계측점
24: 레이저 광
30: 교정 장치
31: 접수부
32: 제1 카메라 위치 산출부
33: 제1 카메라 방위 산출부
34: 제2 카메라 위치 산출부
35: 제2 카메라 방위 산출부
36: 거리 산출부
37: 이상적-시차 산출부
38: 시차 산출부
39: 결정부
51: 제어 장치
52: 주요 저장 장치
53: 보조 저장 장치
54: 표시 장치
55: 입력 장치
56: 통신 장치
57: 버스
101: 각도 계측판
102: 제1 부재(차트)
103: 광원
104: 제2 부재(차광판)
120: 계측 용구
131: 접수부
136: 계측부
137: 이상적-시차 산출부
138: 시차 산출부
139: 결정부
201: 각도 계측판
202: 차광판
203: 투명 유리
204: 차광판
220: 계측 용구

Claims (14)

  1. 스테레오 카메라를 교정하는 교정 방법으로서:
    상기 스테레오 카메라의 촬영 범위에 들어가도록 배치된 피사체와 상기 스테레오 카메라 사이의 상대 위치를 계측하는 단계;
    상기 스테레오 카메라에 의해 촬영되고 상기 피사체를 포함하는 촬영 화상을 취득하는 단계;
    상기 상대 위치와 상기 촬영 화상을 기초로 상기 스테레오 카메라를 교정하는 교정 파라미터를 결정하는 단계
    를 포함하는 교정 방법.
  2. 제1항에 있어서, 상기 상대 위치를 계측하는 단계는,
    상기 피사체로부터 상기 스테레오 카메라까지의 거리를 계측하는 단계;
    상기 스테레오 카메라의 대면 위치로부터의 상기 피사체의 방향의 어긋남을 계측하는 단계
    를 포함하는 교정 방법.
  3. 제2항에 있어서, 상기 스테레오 카메라까지의 거리를 계측하는 단계는,
    상기 피사체 상의 점으로부터 상기 피사체와 상기 스테레오 카메라 사이에 있는 중간 계측점까지의 거리를 계측하는 단계;
    상기 중간 계측점으로부터 상기 스테레오 카메라까지의 거리를 계측하는 단계
    를 포함하는 교정 방법.
  4. 제2항에 있어서, 상기 방향의 어긋남을 계측하는 단계는,
    상기 피사체의 위치를 기준으로 하는 피사체 좌표계를 사용하여 상기 스테레오 카메라의 위치를 나타내는 좌표를 계측하는 단계;
    상기 피사체 좌표계를 사용한 상기 스테레오 카메라의 좌표와 상기 피사체 좌표계를 사용한 상기 피사체의 좌표를 상기 스테레오 카메라의 광학 중심의 위치를 기준으로 하는 카메라 좌표계를 사용한 좌표로 변환하는 단계;
    상기 카메라 좌표계를 사용하여 상기 스테레오 카메라의 위치를 나타내는 좌표와 상기 카메라 좌표계를 사용하여 상기 피사체의 위치를 나타내는 좌표와 상기 촬영 화상 내의 상기 피사체의 화상의 좌표를 기초로 하여 상기 스테레오 카메라의 방향을 계측하는 단계
    를 포함하는 교정 방법.
  5. 제4항에 있어서, 상기 피사체 좌표계를 사용하여 상기 스테레오 카메라의 위치를 나타내는 좌표를 계측하는 단계는,
    상기 피사체 상에 제공되는 복수의 계측점으로부터 상기 스테레오 카메라까지의 거리를 계측하는 단계;
    상기 계측된 복수의 거리를 기초로 상기 스테레오 카메라의 위치를 계측하는 단계
    를 포함하는 교정 방법.
  6. 제5항에 있어서, 상기 거리를 계측하는 단계는:
    상기 계측점과 상기 스테레오 카메라의 광학 중심 사이에 있는 중간 계측점까지의 거리인 제1 거리를 계측하는 단계;
    상기 중간 계측점으로부터 상기 스테레오 카메라의 광학 중심까지의 거리인 제2 거리를 계측하는 단계와,
    상기 제1 거리와 상기 제2 거리를 이용하여 상기 계측점으로부터 상기 스테레오 카메라까지의 거리를 계측하는 단계
    를 포함하는 교정 방법.
  7. 제6항에 있어서, 상기 스테레오 카메라는 차량의 전방 유리의 내측에 탑재되며, 상기 중간 계측점은 상기 차량의 전방 유리 상에 제공되는 것인 교정 방법.
  8. 스테레오 카메라의 교정에 사용되는 차트를 포함하는 표면을 갖는 제1 부재와, 상기 표면상에 설치되고 상기 표면상의 위치에 무관하게 균일한 강도의 광을 방사하는 광원과, 상기 광원을 피복하고 복수의 구멍을 통해 상기 광을 방사하는 제2 부재를 포함하는 계측 용구를 사용함으로써 스테레오 카메라를 교정하는 교정 방법으로서,
    상기 스테레오 카메라에 의해 촬영되고 상기 계측 용구를 피사체로서 포함하는 촬영 화상을 취득하는 단계;
    상기 촬영 화상 내의 최대 휘도의 위치를 기초로 상기 스테레오 카메라의 대면 위치로부터의 상기 계측 용구의 방향의 어긋남을 계측하는 단계;
    상기 계측 용구의 방향의 어긋남과 상기 촬영 화상을 기초로 상기 스테레오 카메라를 교정하는 교정 파라미터를 결정하는 단계
    를 포함하는 교정 방법.
  9. 제8항에 있어서, 상기 결정하는 단계는,
    상기 촬영 화상으로부터 상기 차트의 시차를 산출하는 단계;
    상기 계측 용구의 방향의 어긋남을 고려한 이상적인 시차를 산출하는 단계;
    상기 시차와 상기 이상적인 시차를 기초로 하여 상기 스테레오 카메라를 교정하는 교정 파라미터를 결정하는 단계
    를 포함하는 교정 방법.
  10. 스테레오 카메라를 교정하는 데 사용되는 차트를 포함하는 표면을 갖는 제1 부재;
    상기 표면상에 설치되고 상기 표면상의 위치에 무관하게 균일한 강도의 광을 방사하는 광원;
    상기 광원을 피복하고 복수의 구멍을 통해 상기 광을 방사하는 제2 부재
    를 포함하는 계측 용구.
  11. 제10항에 있어서, 상기 제2 부재는 상기 구멍이 상기 표면에 수직한 방향으로 미리 정해진 간격으로 형성된 1장의 평판인 것인 계측 용구.
  12. 제10항에 있어서,
    상기 제2 부재는 상기 구멍이 상기 표면에 수직한 방향으로 미리 정해진 간격으로 형성된 2장의 평판이며,
    상기 2장의 평판은 상기 표면의 대면 방향으로부터 상기 계측 용구를 촬영한 경우에 상기 구멍이 상기 표면상의 동일 위치에 위치하도록 상기 표면에 평행하게 배치되는 것인 계측 용구.
  13. 제12항에 있어서, 상기 2장의 평판은 이들 2장의 평판 사이에 위치되는 투명한 물체에 의해 고정되는 것인 계측 용구.
  14. 제10항에 있어서, 상기 구멍은 원형이며, 상기 구멍의 직경과 상기 구멍의 간격의 합은 상기 스테레오 카메라와 상기 계측 용구 사이의 교정 거리에 대한 상기 스테레오 카메라의 해상 한계 이하인 것인 계측 용구.
KR1020167020294A 2014-01-28 2015-01-28 교정 방법 및 계측 용구 KR101893180B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2014013520 2014-01-28
JPJP-P-2014-013520 2014-01-28
JP2014112737 2014-05-30
JPJP-P-2014-112737 2014-05-30
JP2014240206A JP6447055B2 (ja) 2014-01-28 2014-11-27 校正方法、校正装置、計測用具及びプログラム
JPJP-P-2014-240206 2014-11-27
PCT/JP2015/053024 WO2015115669A1 (en) 2014-01-28 2015-01-28 Calibration method and measurement tool

Publications (2)

Publication Number Publication Date
KR20160103076A true KR20160103076A (ko) 2016-08-31
KR101893180B1 KR101893180B1 (ko) 2018-08-29

Family

ID=53757234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167020294A KR101893180B1 (ko) 2014-01-28 2015-01-28 교정 방법 및 계측 용구

Country Status (6)

Country Link
US (2) US10277887B2 (ko)
EP (1) EP3100002B1 (ko)
JP (1) JP6447055B2 (ko)
KR (1) KR101893180B1 (ko)
CN (2) CN105934648B (ko)
WO (1) WO2015115669A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180103657A (ko) * 2017-03-10 2018-09-19 삼성전자주식회사 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016129355A1 (ja) 2015-02-13 2016-08-18 株式会社リコー 計測用具、校正方法、校正装置及びプログラム
US9716876B2 (en) * 2015-04-01 2017-07-25 Sony Corporation Power efficient multiple camera system
US9854155B1 (en) 2015-06-16 2017-12-26 Amazon Technologies, Inc. Determining camera auto-focus settings
US9826156B1 (en) * 2015-06-16 2017-11-21 Amazon Technologies, Inc. Determining camera auto-focus settings
KR101729165B1 (ko) 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
JP6272812B2 (ja) * 2015-10-27 2018-01-31 矢崎総業株式会社 照明制御装置
CN105627995B (zh) * 2016-03-31 2018-03-23 京东方科技集团股份有限公司 摄像装置、转动装置、测距装置、测距系统和测距方法
JP6668151B2 (ja) * 2016-04-12 2020-03-18 日立オートモティブシステムズ株式会社 車載光学装置および車載光学システム
US10706569B2 (en) * 2016-06-08 2020-07-07 Amazon Technologies, Inc. Selectively paired imaging elements for stereo images
WO2018014014A1 (en) * 2016-07-15 2018-01-18 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
JP6747176B2 (ja) 2016-08-25 2020-08-26 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
EP3505865B1 (en) 2016-08-29 2022-03-09 Hitachi Astemo, Ltd. On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system
JP6211157B1 (ja) * 2016-09-01 2017-10-11 三菱電機株式会社 キャリブレーション装置およびキャリブレーション方法
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
KR102540236B1 (ko) * 2016-12-05 2023-06-02 삼성전자주식회사 이미지 처리 장치 및 시스템
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
EP3364374A1 (en) * 2017-02-20 2018-08-22 My Virtual Reality Software AS Method for visualizing three-dimensional data
CN107133984A (zh) * 2017-03-24 2017-09-05 深圳奥比中光科技有限公司 深度相机与主体设备的标定方法与系统
JP6967715B2 (ja) * 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
JP2019029820A (ja) * 2017-07-31 2019-02-21 セイコーエプソン株式会社 カメラの校正方法および校正用具
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
JP6945415B2 (ja) * 2017-10-18 2021-10-06 株式会社ミツトヨ 画像測定装置の調整方法
WO2019087253A1 (ja) * 2017-10-30 2019-05-09 オリンパス株式会社 ステレオカメラのキャリブレーション方法
JP7076990B2 (ja) * 2017-11-29 2022-05-30 ダイハツ工業株式会社 自動車の校正システム
CN110044334B (zh) * 2018-01-16 2020-04-21 京东方科技集团股份有限公司 基于维诺图的室内空间定位
CN208298251U (zh) * 2018-04-17 2018-12-28 深圳市道通科技股份有限公司 车载摄像头的标定装置及系统
KR102173334B1 (ko) * 2018-11-28 2020-11-03 아진산업(주) 차량 다중 카메라 교정을 위한 교정판
TWI681166B (zh) * 2018-12-05 2020-01-01 晶睿通訊股份有限公司 資訊量測方法及資訊量測系統
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
JP7126963B2 (ja) * 2019-02-13 2022-08-29 株式会社Subaru ステレオカメラの調整システム
CN110017130A (zh) * 2019-04-19 2019-07-16 刘生平 一种水下钻孔灌注桩验孔器
CN114391096A (zh) * 2019-09-13 2022-04-22 中央硝子株式会社 用于提供运载工具窗玻璃的光学失真信息的方法和系统
TWI712310B (zh) * 2019-11-15 2020-12-01 大陸商南京深視光點科技有限公司 立體相機之校正品質的檢測方法及檢測系統
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
JP7321947B2 (ja) * 2020-01-20 2023-08-07 日立Astemo株式会社 画像補正装置及び画像補正方法
US11740078B2 (en) 2020-07-21 2023-08-29 Argo AI, LLC Enhanced sensor alignment
US11587260B2 (en) * 2020-10-05 2023-02-21 Zebra Technologies Corporation Method and apparatus for in-field stereo calibration
CN112529869B (zh) * 2020-12-11 2023-07-21 中国航空工业集团公司金城南京机电液压工程研究中心 一种阀套节流方孔检测方法
US11481926B2 (en) * 2021-03-08 2022-10-25 Gm Cruise Holdings Llc Vehicle analysis environment with displays for vehicle sensor calibration and/or event simulation
JP2023061621A (ja) * 2021-10-20 2023-05-02 日立Astemo株式会社 画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112401A (ja) * 2009-11-24 2011-06-09 Omron Corp ３次元計測のためのキャリブレーション方法および３次元視覚センサ
JP2012167944A (ja) * 2011-02-10 2012-09-06 Ricoh Co Ltd ステレオカメラ校正方法及び装置
JP2014006179A (ja) * 2012-06-26 2014-01-16 Ricoh Co Ltd ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
JP3415974B2 (ja) * 1995-10-16 2003-06-09 富士通株式会社 画像収集装置
US6498972B1 (en) * 2002-02-13 2002-12-24 Ford Global Technologies, Inc. Method for operating a pre-crash sensing system in a vehicle having a countermeasure system
JP4109077B2 (ja) 2002-10-11 2008-06-25 敬二 実吉 ステレオカメラの調整装置およびステレオカメラの調整方法
JP5469894B2 (ja) * 2008-07-05 2014-04-16 株式会社トプコン 測量装置及び自動追尾方法
EP2166510B1 (de) * 2008-09-18 2018-03-28 Delphi Technologies, Inc. Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
US9459515B2 (en) * 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
CN201322616Y (zh) 2008-12-26 2009-10-07 刘恩乐 一种测量仪
JP5278819B2 (ja) 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
JP5565222B2 (ja) * 2010-09-08 2014-08-06 株式会社明電舎 測定装置
JP5718068B2 (ja) 2011-01-17 2015-05-13 株式会社トプコン 傾斜検出器と傾斜検出装置
EP3416153A1 (en) * 2011-05-03 2018-12-19 iOnRoad Technologies Ltd. Parking space identifying method and system
CN202304820U (zh) 2011-10-15 2012-07-04 赵志强 浮筒式水平倾角测量装置
US9349195B2 (en) * 2012-03-19 2016-05-24 Google Inc. Apparatus and method for spatially referencing images
JP6167525B2 (ja) 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
JP6209833B2 (ja) 2013-03-12 2017-10-11 株式会社リコー 検査用具、検査方法、ステレオカメラの生産方法及びシステム
DE102013017500B3 (de) * 2013-10-17 2015-04-02 Faro Technologies, Inc. Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Szene

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112401A (ja) * 2009-11-24 2011-06-09 Omron Corp ３次元計測のためのキャリブレーション方法および３次元視覚センサ
JP2012167944A (ja) * 2011-02-10 2012-09-06 Ricoh Co Ltd ステレオカメラ校正方法及び装置
JP2014006179A (ja) * 2012-06-26 2014-01-16 Ricoh Co Ltd ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Time-of-Flight Cameras and Microsoft KinectTM *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180103657A (ko) * 2017-03-10 2018-09-19 삼성전자주식회사 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체

Also Published As

Publication number Publication date
US10277887B2 (en) 2019-04-30
US20160353083A1 (en) 2016-12-01
CN108921906B (zh) 2022-09-02
CN105934648B (zh) 2018-08-10
CN105934648A (zh) 2016-09-07
KR101893180B1 (ko) 2018-08-29
US10972716B2 (en) 2021-04-06
US20190208182A1 (en) 2019-07-04
JP6447055B2 (ja) 2019-01-09
EP3100002B1 (en) 2020-09-23
EP3100002A4 (en) 2017-05-03
JP2016006406A (ja) 2016-01-14
CN108921906A (zh) 2018-11-30
WO2015115669A1 (en) 2015-08-06
EP3100002A1 (en) 2016-12-07

Similar Documents

Publication Publication Date Title
KR101893180B1 (ko) 교정 방법 및 계측 용구
JP6791341B2 (ja) 校正方法、校正装置、及びプログラム
JP6327370B2 (ja) 計測用具、校正方法、校正装置及びプログラム
US8593536B2 (en) Image pickup apparatus with calibration function
JP2015169583A (ja) 校正方法、校正装置及びプログラム
EP2902967B1 (en) Stereo camera calibration method, disparity calculating device, and stereo camera
KR19980070247A (ko) 거리 측정 장치
JP2014174088A (ja) 検査用具、ステレオカメラ検査装置及び検査方法
CN110174059A (zh) 一种基于单目图像的受电弓导高及拉出值测量方法
JP2017032280A (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
JP3666348B2 (ja) 距離認識装置
JP2019132855A (ja) ステレオカメラ校正方法、視差算出装置及びステレオカメラ
US20120056999A1 (en) Image measuring device and image measuring method
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム
JP2012026816A (ja) 寸法測定方法および装置
JP2020165968A (ja) 校正方法、校正装置及びプログラム
JP3833042B2 (ja) 距離認識装置
KR20220035185A (ko) 화상처리장치, 화상처리방법, 프로그램 및 기억 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant