KR20160119444A - 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품 - Google Patents

교정 방법, 교정 장치 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR20160119444A
KR20160119444A KR1020167024651A KR20167024651A KR20160119444A KR 20160119444 A KR20160119444 A KR 20160119444A KR 1020167024651 A KR1020167024651 A KR 1020167024651A KR 20167024651 A KR20167024651 A KR 20167024651A KR 20160119444 A KR20160119444 A KR 20160119444A
Authority
KR
South Korea
Prior art keywords
image
subject
correction parameter
camera
coordinates
Prior art date
Application number
KR1020167024651A
Other languages
English (en)
Other versions
KR101787304B1 (ko
Inventor
준 기시와다
신 아오키
나오키 기구치
가게히로 나가오
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20160119444A publication Critical patent/KR20160119444A/ko
Application granted granted Critical
Publication of KR101787304B1 publication Critical patent/KR101787304B1/ko

Links

Images

Classifications

    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G06T7/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/2258—
    • H04N5/23296—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

교정 방법은 투명체를 통해 피사체를 촬영하는 촬영 장치를 위한 것이다. 교정 방법은: 상기 투명체를 통하지 않고 상기 피사체를 촬영하여 제1 촬영 화상을 취득하는 단계; 상기 투명체를 통해 상기 피사체를 촬영하여 제2 촬영 화상을 취득하는 단계; 상기 제1 촬영 화상 상의 상기 피사체의 화상의 좌표와 상기 제2 촬영 화상 상의 상기 피사체의 화상의 좌표를 기초로, 상기 투명체에 기인하는 상기 피사체의 화상의 좌표의 편차를 나타내는 절대 위치 편차를 산출하는 단계; 상기 절대 위치 편차를 교정하는 보정 파라미터를 산출하는 단계; 상기 보정 파라미터를 상기 촬영 장치에 기억하는 단계를 포함한다.

Description

교정 방법, 교정 장치 및 컴퓨터 프로그램 제품{CALIBRATION METHOD, CALIBRATION DEVICE, AND COMPUTER PROGRAM PRODUCT}
본 발명은 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품에 관한 것이다.
피사체까지의 거리를 계측할 수 있는 스테레오 카메라가 이용되고 있다. 예컨대, 자동차에 탑재된 스테레오 카메라(이하 "차량 탑재 스테레오 카메라"로 칭함)를 이용하여 차량 전방에 존재하는 피사체까지의 거리를 계측하여 자동차를 제어하는 기술이 실용화되어 있다. 차량 탑재 스테레오 카메라를 이용하여 계측한 거리는 자동차의 충돌을 방지하거나 차간 거리를 제어하는 등의 목적으로 운전자에 대한 경고와, 브레이크 및 스티어링 등의 제어에 이용된다.
일반적으로, 차량 탑재 스테레오 카메라는 자동차의 전방 유리(windshield) 내측에 설치되는데, 이것은 차량 외부에 설치된 차량 탑재 스테레오 카메라에는 특히 방수 및 방진에 보다 높은 내구성이 필요하기 때문이다. 차량 내부에 설치된 스테레오 카메라는 차량 외부의 풍경을 전방 유리를 통해 촬영한다. 그러나 일반적인 전방 유리는 복잡한 곡면 형상을 갖고, 또한, 카메라 내의 렌즈와 같은 광학 부품과 비교하여 비틀린 형상을 갖는다. 따라서, 차량 전방 유리는 차량 전방 유리를 통해 촬영된 촬영 화상에 왜곡을 생기게 한다.
스테레오 카메라에 의해 취득한 촬영 화상을 교정하는 기술은 종래부터 알려져 있다. 예컨대, 일본 특허 제4109077호는 스테레오 카메라를 구성하는 한 쌍의 카메라로부터 출력된 한 쌍의 화상 데이터 각각을, 한편의 화상 데이터와 다른 편의 화상 데이터 사이의 좌표 편차에 기초하는 교정 파라미터를 이용하여 변환함으로써 스테레오 카메라에 있어서의 광학적인 왜곡 및 위치 편차를 화상 처리에 의해 조정하는 장치가 개시되어 있다.
이러한 종래 기술은 한 쌍의 화상 데이터 상의 피사체 화상 간의 시차(상대 위치)의 편차(이하, "상대 위치 편차"로 지칭함)를 정확하게 교정할 수 있지만; 이러한 기술은 차량 전방 유리와 같은 투명체에 기인하여 화상 데이터 상의 피사체 화상의 좌표의 편차(이하, "절대 위치 편차"로 지칭함)를 정확히 교정할 수는 없다. 이러한 구성은 피사체 화상의 시차를 기초로 산출되는 피사체까지의 거리와 화상 데이터 상의 피사체 화상의 좌표로부터 3차원 좌표를 산출할 때에, 곤란하게도 피사체의 위치를 지시하는 3차원 좌표에 오차를 야기하게 된다.
이상으로부터, 투명체에 기인한 화상 데이터의 절대 위치 편차를 정확하게 교정할 수 있는 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품을 제공할 필요가 있다.
교정 방법은 투명체를 통해 피사체를 촬영하는 촬영 장치를 위한 것이다. 교정 방법은: 상기 투명체를 통하지 않고 상기 피사체를 촬영하여 제1 촬영 화상을 취득하는 단계; 상기 투명체를 통해 상기 피사체를 촬영하여 제2 촬영 화상을 취득하는 단계; 상기 제1 촬영 화상 상의 상기 피사체의 화상의 좌표와, 상기 제2 촬영 화상 상의 상기 피사체의 화상의 좌표를 기초로, 상기 투명체에 기인하는 상기 피사체의 화상의 좌표의 편차를 나타내는 절대 위치 편차를 산출하는 단계; 상기 절대 위치 편차를 교정하는 보정 파라미터를 산출하는 단계; 상기 보정 파라미터를 상기 촬영 장치에 기억하는 단계를 포함한다.
교정 장치는 투명체를 통해 피사체를 촬영하는 촬영 장치를 교정한다. 교정 장치는: 상기 투명체를 통하지 않고 상기 피사체를 촬영함으로써 취득한 제1 촬영 화상과 상기 투명체를 통해 상기 피사체를 촬영함으로써 취득한 제2 촬영 화상을 접수하는 접수부; 상기 제1 촬영 화상 상의 상기 피사체의 화상의 좌표와 상기 제2 촬영 화상 상의 상기 피사체의 화상의 좌표를 기초로, 상기 투명체에 기인하는 상기 피사체의 화상의 좌표의 편차를 나타내는 절대 위치 편차를 산출하는 절대 위치 편차 산출부; 상기 절대 위치 편차를 교정하는 보정 파라미터를 산출하는 보정 파라미터 산출부; 상기 보정 파라미터를 상기 촬영 장치에 기억하는 기억 제어부를 포함한다.
컴퓨터 프로그램 제품은 컴퓨터 판독 가능 프로그램 코드를 갖는 비일시적 컴퓨터 판독 가능 매체를 포함한다. 프로그램 코드는, 실행시, 투명체를 통해 피사체를 촬영하는 촬영 장치를 교정하는 컴퓨터가: 상기 투명체를 통하지 않고 상기 피사체를 촬영함으로써 취득한 제1 촬영 화상과 상기 투명체를 통해 상기 피사체를 촬영함으로써 취득한 제2 촬영 화상을 접수하는 동작; 상기 제1 촬영 화상 상의 상기 피사체의 화상의 좌표와 상기 제2 촬영 화상 상의 상기 피사체의 화상의 좌표를 기초로, 상기 투명체에 기인하는 상기 피사체의 화상의 좌표의 편차를 나타내는 절대 위치 편차를 산출하는 동작; 상기 절대 위치 편차를 교정하는 보정 파라미터를 산출하는 동작; 상기 보정 파라미터를 상기 촬영 장치에 기억하는 동작을 수행하도록 한다.
도 1은 스테레오 카메라를 사용한 거리 계측 원리를 예시하는 도면이다.
도 2a는 피사체 화상의 이상적인 검출 위치를 나타낸 도면이다.
도 2b는 피사체 화상의 검출 위치의 편차를 나타낸 도면이다.
도 3a는 피사체 화상 및 시차의 이상적인 상태를 나타낸 도면이다.
도 3b는 전방 유리에 의한 광 굴절에 기인한 피사체 화상의 절대 위치 편차를 나타낸 도면이다.
도 3c는 도 3b의 기준 화상 상의 화상의 위치를 기준으로 시차를 산출하는 경우를 나타낸 도면이다.
도 3d는 시차가 이상적인 시차(D)와 일치하도록 비교 화상을 교정하는 경우를 나타낸 도면이다.
도 3e는 피사체 화상의 절대 위치 편차가 교정되지 않은 상태를 나타낸 도면이다.
도 4는 제1 실시 형태의 교정 방법이 실시되는 환경(전방 유리가 없는 경우)의 예를 나타낸 도면이다.
도 5는 교정용 차트의 패턴의 예를 나타낸 도면이다.
도 6은 제1 실시 형태의 교정 방법이 실시되는 환경(전방 유리가 있는 경우)의 예를 나타낸 도면이다.
도 7은 제1 실시 형태의 정보 처리 장치의 구성의 예를 나타낸 도면이다.
도 8은 제1 실시 형태의 교정 방법의 예를 나타낸 흐름도이다.
도 9는 제2 실시 형태의 정보 처리 장치의 구성의 예를 나타낸 도면이다.
도 10은 제2 실시 형태의 교정 방법의 예를 나타낸 흐름도이다.
도 11은 제3 실시 형태의 시차 산출 장치의 구성의 예를 나타낸 도면이다.
도 12는 제3 실시 형태의 시차 산출 방법의 예를 나타낸 흐름도이다.
도 13은 제4 실시 형태의 스테레오 카메라의 구성의 예를 나타낸 도면이다.
도 14는 제4 실시 형태의 스테레오 카메라를 차량 탑재 스테레오 카메라로서 사용하는 예를 나타낸 도면이다.
도 15는 정보 처리 장치 및 시차 산출 장치의 하드웨어 구성의 예를 나타낸 도면이다.
이하, 첨부 도면을 참조로 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품의 실시 형태를 상세히 설명한다.
제1 실시 형태
제1 실시 형태는 교정 대상의 촬영 장치가 차량 탑재 스테레오 카메라인 경우를 예로 하여 설명한다. 차량 탑재 스테레오 카메라에 의해 촬영된 촬영 화상의 위치 편차는 절대 위치 편차 및 상대 위치 편차를 포함한다. 절대 위치 편차 및 상대 위치 편차의 설명을 위해, 시차와 해당 시차를 이용한 거리 계측 원리를 먼저 설명한다. 시차는 스테레오 카메라가 촬영한 화상을 사용하여 산출한다. 도 1은 스테레오 카메라를 사용한 거리 계측 원리를 나타내는 도면이다. 도 1의 예에서는 제1 카메라(1)(초점 거리 f, 광학 중심 O0, 촬상면 S0)가 Z축을 광축 방향으로 하여 배치되어 있고, 제2 카메라(2)(초점 거리 f, 광학 중심 O1, 촬상면 S1)가 Z축을 광축 방향으로 하여 배치되어 있다. 제1 카메라(1) 및 제2 카메라(2)는 X축에 평행하게 그리고 거리(B)(기선 길이)만큼 서로 떨어진 위치에 배치된다.
제1 카메라(1)의 광학 중심(O0)으로부터 광축 방향으로 거리 d만큼 떨어진 위치에 있는 피사체(A)의 상은 직선(A-O0)과 촬상면(S0)의 교점인 P0에 형성된다. 제2 카메라(2)에서는 동일한 피사체(A)의 상이 촬상면(S1) 상의 위치(P1)에 형성된다. 이하, 촬상면(S0)으로부터 취득된 촬영 화상을 "비교 화상"으로 칭하는 한편, 촬상면(S1)으로부터 취득된 촬영 화상을 "기준 화상"으로 칭한다.
제2 카메라(2)의 광학 중심(O1)을 통과하면서 직선(A-O0)에 평행한 직선이 촬상면(S1)과 교차하는 교점을 P0'로 정의한다. P0'와 P1 사이의 거리를 D로 정의한다. 거리(D)는 2대의 카메라로 촬영한 동일한 피사체의 화상 사이의 위치 편차량(시차)을 나타낸다. 삼각형(A-O0-O1)과 삼각형(O1-P0'-P1)은 서로 닮은 꼴이므로, d= B×f/D 공식이 만족된다. 즉, 기선 길이(B), 초점 거리(f) 및 시차(D)로부터 피사체(A)까지의 거리(d)를 구할 수 있다.
이상이 스테레오 카메라를 이용한 거리 계측 원리이다. 그러나, 투명체를 통해 피사체를 촬영하는 스테레오 카메라(예, 차량 전방 유리를 통해 피사체를 촬영하는 차량 탑재 스테레오 카메라)를 이용하는 경우, 투명체에 의해 촬영 화상 상의 피사체 화상의 위치 편차(전술한 절대 위치 편차)가 생긴다.
도 2a는 피사체 화상의 이상적인 검출 위치를 나타낸 도면이다. 도 2a에서는 렌즈(11)(광학계)를 편의상 핀홀 카메라로서 기술한다. 렌즈(11)의 광축 상에 피사체(13)가 존재하고 있으면, 광 빔은 광축(14)과 동일한 방향으로 직진하여 센서(12) 상의 위치에 도달한다. 따라서, 피사체(13)의 화상은 광축의 위치에 대응하는 위치에서 검출된다.
도 2b는 피사체 화상의 검출 위치의 편차를 나타낸 도면이다. 도 2b는 도 2a의 렌즈(11)의 전방에 전방 유리(15)가 설치되어 있는 경우의 예를 나타낸다. 피사체(13)로부터 출사된 광 빔은 전방 유리(15)의 전면 및 후면에서 굴절되어, 최종적으로 전방 유리가 없는 경우에 광 빔이 도달하는 위치(도 2a 참조)로부터 ΔFr의 편차를 갖는 위치에 도달한다. 즉, 피사체(13)의 화상은 광축의 위치에 대응하는 위치로부터 ΔFr 만큼 상이한 위치에서 검출된다.
편차(ΔFr)는 스테레오 카메라를 구성하는 2대의 카메라 각각에서 발생한다. 이하에서는, 이상적인 시차와 스테레오 카메라가 취득한 한 쌍의 화상 데이터로부터 얻어진 시차를 기초로 화상 데이터를 교정할 때, 피사체 화상의 시차의 편차(상대 위치 편차)는 정확한 시차로 교정할 수 있지만, 피사체 화상의 좌표의 편차(절대 위치 편차로서의 ΔFr)는 교정 가능하지 않은 이유를 설명한다.
도 3a-도 3e는 피사체 화상의 시차의 편차(전술한 상대 위치 편차)는 정확한 시차로 교정할 수 있지만, 피사체 화상의 위치 편차(전술한 절대 위치 편차)는 정확한 위치로 교정할 수 없는 교정의 원리를 설명하기 위한 도면이다. 도 3a-도 3e의 비교 화상은 제1 카메라(1)에 의해 촬영되며, 도 3a-도 3e의 기준 화상은 제2 카메라(2)에 의해 촬영된 것이다.
도 3a는 피사체 화상 및 시차의 이상적인 상태를 나타낸 도면이다. 피사체의 화상은 비교 화상 상의 (5, 7)에 위치된다. 다른 한편으로, 피사체의 화상은 기준 화상 상의 (5, 4)에 위치된다. 따라서, 이상적인 시차(D)는 3이다.
도 3b는 전방 유리에 의한 광 굴절의 영향에 따른 피사체 화상의 절대 위치 편차를 나타낸 도면이다. 피사체 화상은 비교 화상 상의 (7, 9)에 위치된다. 따라서, 이상적인 상태로부터의 편차의 크기는 수직 방향으로 2이고 수평 방향으로 2이다. 피사체 화상은 기준 화상 상의 (6, 3)에 위치된다. 따라서, 이상적인 상태로부터의 편차의 크기는 수직 방향으로 1이고 수평 방향으로 1이다.
도 3c는 도 3b의 기준 화상 상의 화상의 위치를 기준으로 하여 시차를 산출하는 경우를 나타낸 도면이다. 비교 화상에 있어서는 기준으로서의 화상은 (6, 3)에, 즉, 기준 화상 상의 화상의 위치와 동일한 위치에 위치된다. 도 3c에서 시차는 수직 방향으로 1이고 수평 방향으로 6인 데, 이는 피사체 화상의 절대 위치 편차의 영향에 의해 이상적인 시차로부터 수직 방향으로 1이고 수평 방향으로 3인 편차(상대 위치 편차)가 생김을 의미한다.
도 3d는 시차가 이상적인 시차(D)와 일치하도록 비교 화상을 교정하는 경우를 나타낸 도면이다. 스테레오 카메라에 의해 촬영되고 알려진 거리에 위치된 교정용 차트를 이용하는 것에 의해 이상적인 시차(D)가 산출된다. 종래의 스테레오 카메라 교정 방법에서는, 알려진 거리에 위치된 교정용 차트를 피사체로서 포함하는 기준 화상 상의 화상의 위치(6, 3)를 기준으로서 설정하고, 시차가 3(이상적인 시차(D))이 되도록 하는 방식으로, 알려진 거리에 위치된 교정용 차트를 피사체로서 포함하는 비교 화상 상의 화상의 위치를 교정한다. 즉, 종래의 스테레오 카메라 교정 방법은 비교 화상 상의 화상의 위치가 (7, 9)로부터 (6, 6)으로 이동되도록 비교 화상을 교정한다. 이 교정에 의해 비교 화상과 기준 화상을 기초로 이상적인 시차(D)가 산출된다.
도 3e는 피사체 화상의 절대 위치 편차가 교정되지 않은 상태를 나타낸 도면이다. 비교 화상 상의 화상의 위치(6, 6)는 이상적인 상태의 위치(5, 7)로부터 수직 방향으로 1만큼 수평 방향으로 1만큼 틀어진 상태이다. 기준 화상 상의 화상의 위치(6, 3)도 이상적인 상태의 위치(5, 4)로부터 수직 방향 1만큼 수평 방향으로 1만큼 틀어진 상태이다. 이 결과는 이상적인 시차(D)가 달성되도록 한 쌍의 화상 데이터를 사용하여 화상 데이터를 교정하는 경우에도, 피사체 화상의 위치를 정확한 위치로 교정할 수 없음을 나타낸다.
그러나, 제1 실시 형태의 다음의 교정 방법에 의하면, 피사체 화상의 위치가 거의 이상적인 상태의 위치로 교정된다.
제1 실시 형태의 교정 방법은 전방 유리(15)가 없는 상태로 교정용 차트를 촬영하여 취득한 촬영 화상(비교 화상 및 기준 화상)과 전방 유리(15)가 있는 상태로 교정용 차트를 촬영하여 취득한 촬영 화상(비교 화상 및 기준 화상)을 사용한다. 전방 유리가 없는 상태로 촬영된 비교 화상을 제1 비교 화상이라 칭하고, 전방 유리가 없는 상태로 촬영된 기준 화상을 제1 기준 화상이라 칭한다. 전방 유리가 있는 상태로 촬영된 비교 화상을 제2 비교 화상이라 칭하고, 전방 유리가 있는 상태로 촬영된 기준 화상을 제2 기준 화상이라 칭한다.
도 4는 제1 실시 형태의 교정 방법이 실시되는 환경(전방 유리(15)가 없는 상태)의 예를 나타낸 도면이다. 교정용 차트(60)(교정 용구)는 스테레오 카메라(30)의 촬영 범위 내에 설치된다. 교정용 차트(60)는 비교 화상 상의 점에 대응하는 기준 화상 상의 대응점을 검출하기 쉽게 하기 위한 패턴 등을 갖는다.
도 5는 교정용 차트(60)의 패턴의 예를 나타낸 도면이다. 도 5는 교정용 차트(60)의 패턴이 체크 패턴인 경우이다. 도 5에서, 체크 패턴 상의 체크 간의 피치는 작을수록 특징점(대응점)이 많아지므로, 이들 점은 후술하는 정보 처리 장치(50)가 전방 유리(15)에 기인하는 국소적인 절대 위치 편차를 정확히 검출할 수 있게 한다. 그러나, 이러한 작은 피치는 후술하는 대응점 검색 처리에서 대응점의 검출 오류를 야기할 가능성이 크므로, 격자점 사이의 피치를 작게 하는 경우는 불규칙한 미세 패턴을 이용할 수 있다. 그러나, 미세 패턴의 이용은 정보 처리 장치(50)에 의해 취급되는 정보량을 증가시켜 정보 처리 장치(50)에 의해 수행되는 처리에 대한 부담을 가중시킨다. 교정용 차트(60)는 촬영 화상 전체에 비치도록 충분히 큰 것이 바람직하다. 큰 크기의 교정용 차트(60)에 의해, 정보 처리 장치(50)는 촬영 화상 전체 영역에 존재하는 특징점(대응점)의 정보를 이용하여 전방 유리(15)로부터 기인하는 절대 위치 편차를 정확히 취득할 수 있게 된다. 교정용 차트(60)에는 체크 패턴이 아닌 임의의 형태의 패턴이 적용될 수 있다. 교정용 차트(60)의 패턴의 예는 원형 패턴을 포함할 수 있다.
도 4로 돌아가면, 스테레오 카메라(30)는 전방 유리가 없는 상태로 교정용 차트(60)를 촬영하여 제1 비교 화상 및 제1 기준 화상을 취득한다. 제1 비교 화상은 제1 카메라(1)(도 1 참조)에 의해 촬영되고, 제1 기준 화상은 제2 카메라(2)(도 1 참조)에 의해 촬영된 것이다. 제1 비교 화상 및 제1 기준 화상은 교정 장치로서의 정보 처리 장치(50)에 입력된다.
도 6은 제1 실시 형태의 교정 방법이 실시되는 환경(전방 유리(15)가 있는 상태)의 예를 나타낸 도면이다. 도 6의 실시 환경은 도 4의 실시 환경의 자동차에 전방 유리(15)를 부착한 경우이다. 도 4 및 도 6의 실시 환경은 오직 전방 유리(15)의 포함 여부에 있어서만 서로 상이하다. 스테레오 카메라(30)는 전방 유리(15)가 있는 상태로 교정용 차트(60)를 촬영하여 제2 비교 화상 및 제2 기준 화상을 취득한다. 제2 비교 화상 및 제2 기준 화상은 교정 장치로서의 정보 처리 장치(50)에 입력된다.
정보 처리 장치(50)는 제1 비교 화상 및 제2 비교 화상을 이용하여 스테레오 카메라(30)의 제1 카메라(1)의 절대 위치 편차를 교정하는 보정 파라미터를 결정하고, 제1 기준 화상 및 제2 기준 화상을 이용하여 스테레오 카메라(30)의 제2 카메라(2)의 절대 위치 편차를 교정하는 보정 파라미터를 결정한다.
도 7은 제1 실시 형태의 정보 처리 장치(50)의 구성의 예를 나타낸 도면이다. 제1 실시 형태의 정보 처리 장치(50)는 접수부(51), 판정부(52), 절대 위치 편차 산출부(53), 보정 파라미터 산출부(54) 및 기억 제어부(55)를 포함한다.
접수부(51)는 전방 유리(15)를 통하지 않고 교정용 차트(60)를 촬영함으로써 취득한 제1 촬영 화상(제1 비교 화상 및 제1 기준 화상)을 스테레오 카메라(30)로부터 접수한다. 접수부(51)는 제1 촬영 화상(제1 비교 화상 및 제1 기준 화상)을 판정부(52)에 입력한다. 또한, 접수부(51)는 전방 유리(15)를 통해 교정용 차트(60)를 촬영함으로써 취득한 제2 촬영 화상(제2 비교 화상 및 제2 기준 화상)을 스테레오 카메라(30)로부터 접수한다. 접수부(51)는 제2 촬영 화상(제2 비교 화상 및 제2 기준 화상)을 판정부(52)에 입력한다.
판정부(52)는 접수부(51)로부터 제1 촬영 화상(제1 비교 화상 및 제1 기준 화상)을 접수한다. 판정부(52)는 제1 촬영 화상이 신뢰성이 있는지 여부를 판정한다. 판정부(52)는 예컨대, 제1 촬영 화상에 포함되는 교정용 차트(60)의 패턴의 화상의 백휘도(white luminance)를 추출한다. 교정용 차트(60) 상의 패턴의 화상의 휘도가 불균일하면, 후술하는 대응점 검색 처리의 정밀도에 영향을 끼친다. 따라서, 판정부(52)는 휘도 불균일이 제1 촬영 화상 전역에서 현저히 발생하고 있는지 여부를 판정한다. 판정부(52)는 예컨대, 휘도 불균일이 제1 촬영 화상 전역에서 현저히 발생하지 않는 경우, 제1 촬영 화상이 신뢰성이 있다고 판정한다. 판정부(52)는, 제1 촬영 화상이 신뢰성이 있는 것으로 판정된 경우, 제1 촬영 화상을 절대 위치 편차 산출부(53)에 입력한다.
유사하게, 판정부(52)는 접수부(51)로부터 제2 촬영 화상(제2 비교 화상 및 제2 기준 화상)을 접수한다. 판정부(52)는 제2 촬영 화상이 신뢰성이 있는지 여부를 판정한다. 판정부(52)는 예컨대, 제2 촬영 화상 상의 휘도의 차이가 정상인지 여부를 판정하여, 전방 유리(15)에 먼지가 부착되어 있는 경우 등을 특정한다. 전방 유리(15)에 먼지 등이 부착되어 있으면, 후술하는 대응점 검색 처리의 정밀도에 영향을 끼친다. 예컨대, 제2 촬영 화상 상의 휘도의 차이가 정상인 경우, 제2 촬영 화상은 신뢰성이 있는 것으로 판정된다. 판정부(52)는, 제2 촬영 화상이 신뢰성이 있는 것으로 판정된 경우, 제2 촬영 화상을 절대 위치 편차 산출부(53)에 입력한다.
절대 위치 편차 산출부(53)는 판정부(52)로부터 제1 촬영 화상(제1 비교 화상 및 제1 기준 화상)과 제2 촬영 화상(제2 비교 화상 및 제2 기준 화상)을 접수한다. 절대 위치 편차 산출부(53)는 제1 카메라(1)의 절대 위치 편차 및 제2 카메라(2)의 절대 위치 편차를 산출한다. 제1 카메라(1) 및 제2 카메라(2)의 절대 위치 편차의 산출에 동일한 방법이 적용되므로, 이하에서는 제1 비교 화상 및 제2 비교 화상을 이용한 제1 카메라(1)의 절대 위치 편차의 산출 방법을 설명한다.
절대 위치 편차 산출부(53)는 제1 비교 화상의 교정용 차트(60)의 화상의 좌표와 제2 비교 화상의 교정용 차트(60)의 화상의 좌표를 기초로 하여 절대 위치 편차(전방 유리(15)에 기인하는 피사체 화상의 좌표의 편차)를 산출한다. 구체적으로, 절대 위치 편차 산출부(53)는 제1 비교 화상 상의 특징점에 대응하는 제2 비교 화상 상의 각 특징점(대응점)을 x 방향 및 y 방향의 2차원 방향으로 검색한다(대응점 검색 처리). 해당 특징점은 교정용 차트(60) 상의 패턴의 화상을 이용하여 절대 위치 편차 산출부(53)에 의해 결정된다. 절대 위치 편차 산출부(53)는 제1 비교 화상 상의 특징점의 좌표(x1, y1)와, 제1 비교 화상 상의 해당 특징점에 대응하는 제2 비교 화상 상의 특징점(대응점)의 좌표(x2, y2) 사이의 좌표 편차(Δx, Δy)를 제1 카메라(1)의 해당 특징점 근처의 절대 위치 편차로서 산출한다. 절대 위치 편차 산출부(53)는 제1 카메라(1)의 절대 위치 편차를 보정 파라미터 산출부(54)에 입력한다.
절대 위치 편차 산출부(53)는 제2 카메라(2)의 절대 위치 편차를 제1 카메라(1)의 절대 위치 편차의 산출과 유사한 방식으로 산출하여, 제2 카메라(2)의 절대 위치 편차를 보정 파라미터 산출부(54)에 입력한다.
보정 파라미터 산출부(54)는 절대 위치 편차 산출부(53)로부터 제1 카메라(1)의 절대 위치 편차 및 제2 카메라(2)의 절대 위치 편차를 접수한다. 보정 파라미터 산출부(54)는 제1 카메라(1)의 절대 위치 편차를 교정하는 제1 보정 파라미터, 및 제2 카메라(2)의 절대 위치 편차를 교정하는 제2 보정 파라미터를 산출한다. 제1 보정 파라미터 및 제2 보정 파라미터의 예는 절대 위치 편차가 상쇄되도록 좌표를 변환하는 보정식에 사용되는 계수를 포함한다. 해당 보정식은 예컨대, 절대 위치 편차를 (1, 2)로 나타낸 경우, x 방향으로 -1만큼 y 방향으로 -2만큼 좌표를 변환한다. 보정 파라미터 산출부(54)는 제1 보정 파라미터 및 제2 보정 파라미터를 기억 제어부(55)에 입력한다.
기억 제어부(55)는 보정 파라미터 산출부(54)로부터 제1 보정 파라미터 및 제2 보정 파라미터를 접수한다. 기억 제어부(55)는 제1 보정 파라미터 및 제2 보정 파라미터를 스테레오 카메라(30)에 기억한다. 기억 제어부(55)는 예컨대, 유선또는 무선 통신으로 스테레오 카메라(30)에 제1 보정 파라미터 및 제2 보정 파라미터를 송신함으로써 스테레오 카메라(30)에 제1 보정 파라미터 및 제2 보정 파라미터를 기억한다. 제1 보정 파라미터 및 제2 보정 파라미터는 탈부착 가능한 기억 매체 등에 일단 기억된 후 해당 기억 매체를 통해 스테레오 카메라(30)에 기억될 수 있다.
이제 제1 실시 형태의 교정 방법을 설명한다. 도 8은 제1 실시 형태의 교정 방법의 예를 나타낸 흐름도이다. 스테레오 카메라(30)는 전방 유리(15)가 없는 상태(도 4 참조)로 교정용 차트(60)를 촬영하여 제1 촬영 화상(제1 비교 화상 및 제1 기준 화상)을 취득한다(S1 단계). 정보 처리 장치(50)(판정부(52))는 S1 단계에서 취득된 제1 촬영 화상이 신뢰성이 있는지 여부를 판정한다(S2 단계). 정보 처리 장치(50)는 제1 촬영 화상의 신뢰성을 예컨대, 불균일한 휘도가 제1 촬영 화상 전역에서 현저히 발생하고 있는지 여부를 기초로 판정한다.
제1 촬영 화상이 신뢰성이 없는 것으로 판정된 경우(S2 단계에서 NO), 실시 환경이 조정되고(S3 단계), 처리가 S1 단계로 복귀된다. 실시 환경의 조정의 예는 교정용 차트(60)의 위치와 방향의 조정을 포함한다. 제1 촬영 화상이 신뢰성이 있는 것으로 판정된 경우(S2 단계에서 YES), 전방 유리(15)가 자동차에 설치된다(S4 단계). 즉, 제1 실시 형태의 교정 방법의 실시 환경을 도 6의 상태로 한다.
스테레오 카메라(30)는 전방 유리(15)가 있는 상태(도 6 참조)로 교정용 차트(60)를 촬영하여 제2 촬영 화상(제2 비교 화상 및 제2 기준 화상)을 취득한다(S5 단계). 정보 처리 장치(50)(판정부(52))는 S5 단계에서 취득된 제2 촬영 화상이 신뢰성이 있는지 여부를 판정한다(S6 단계). 정보 처리 장치(50)는 제2 촬영 화상의 신뢰성을 예컨대, 제2 촬영 화상 상의 휘도의 차이가 정상인지 여부를 기초로 판정한다.
제2 촬영 화상이 신뢰성이 없는 것으로 판정된 경우(S6 단계에서 NO), 실시 환경이 조정되고(S7 단계), 처리는 S1 단계로 되돌아간다. 실시 환경의 조정의 예는 전방 유리(15)의 재설치를 포함한다. 실시 환경의 조정(S7 단계)이 경미한 경우, 처리는 S1 단계로 복귀하는 대신에 S4 단계로부터 재시작할 수 있다.
제2 촬영 화상이 신뢰성이 있는 것으로 판정된 경우(S6 단계에서 YES), 정보 처리 장치(50)(절대 위치 편차 산출부(53))는 제1 비교 화상 및 제2 비교 화상을 참조하여 전술한 방법을 이용하여 제1 카메라(1)의 절대 위치 편차를 산출하고, 제1 기준 화상 및 제2 기준 화상을 참조하여 전술한 방법을 이용하여 제2 카메라(2)의 절대 위치 편차를 산출한다(S8 단계).
정보 처리 장치(50)(보정 파라미터 산출부(54))는 제1 카메라(1)의 절대 위치 편차를 교정하는 제1 보정 파라미터 및 제2 카메라(2)의 절대 위치 편차를 교정하는 제2 보정 파라미터를 산출한다(S9 단계). 제1 보정 파라미터 및 제2 보정 파라미터의 예는 절대 위치 편차가 상쇄되도록 좌표를 변환하는 보정식에 사용되는 계수를 포함한다.
정보 처리 장치(50)(기억 제어부(55))는 제1 보정 파라미터 및 제2 보정 파라미터를 스테레오 카메라(30)에 기억한다. 기억 제어부(55)는 예컨대, 유선 또는 무선 통신으로 스테레오 카메라(30)에 제1 보정 파라미터 및 제2 보정 파라미터를 송신함으로써 스테레오 카메라(30)에 제1 보정 파라미터 및 제2 보정 파라미터를 기억한다(S10 단계).
이상 설명한 바와 같이, 제1 실시 형태의 교정 방법은 전방 유리(15)가 없는 상태로 촬영한 제1 촬영 화상(제1 비교 화상 및 제1 기준 화상)과 전방 유리(15)가 있는 상태로 촬영한 제2 촬영 화상(제2 비교 화상 및 제2 기준 화상)을 취득한다. 이후, 제1 실시 형태의 교정 방법은 제1 비교 화상 상의 특징점과 해당 제1 비교 화상 상의 특징점에 대응하는 제2 비교 화상의 특징점(대응점) 사이의 차이를 제1 카메라(1)의 해당 특징점 근처의 절대 위치 편차로서 산출하고, 마찬가지로 제1 기준 화상 상의 특징점과 해당 제1 기준 화상 상의 특징점에 대응하는 제2 기준 화상 상의 특징점(대응점) 사이의 차이를 제2 카메라(2)의 해당 특징점 근처의 절대 위치 편차로서 산출한다. 제1 실시 형태의 교정 방법은 이와 같이 하여 산출된 제1 카메라(1)(제2 카메라(2))의 절대 위치 편차를 기초로 하여 제1 보정 파라미터(제2 보정 파라미터)를 산출한다. 따라서, 제1 보정 파라미터(제2 보정 파라미터)를 이용하는 것에 의해 전방 유리(15)에 기인하는 제1 카메라(1)(제2 카메라(2))의 절대 위치 편차를 정확하게 교정할 수 있다.
제1 실시 형태의 설명에서는 교정 대상의 촬영 장치의 예로서 자동차에 탑재되는 스테레오 카메라(30)를 사용하였지만, 제1 실시 형태의 교정 방법은 카메라마다 독립적으로 행할 수 있다. 따라서, 교정 대상의 촬영 장치로서 임의의 수의 카메라를 적용할 수 있다. 예컨대, 교정 대상의 촬영 장치의 예는 단안(monocular) 카메라를 포함할 수 있다.
제2 실시 형태
이제 제2 실시 형태를 설명한다. 교정 대상의 촬영 장치로서 스테레오 카메라(30)를 사용하는 경우, 물체에 탑재하는 스테레오 카메라(30)의 조립 공차의 영향에 기인하여 도 3a∼도 3e에 설명한 상대 위치 편차가 발생한다. 실시 형태의 교정 방법을 이용하여 산출한 제1 보정 파라미터(제2 보정 파라미터)에 의해 제2 비교 화상(제2 기준 화상)의 절대 위치 편차를 먼저 보정하고, 이후 도 3d에서 설명한 교정을 행하도록 스테레오 카메라(30)의 제1 보정 파라미터를 갱신하는 것에 의해, 조립 공차 등으로부터 야기되는 상대 위치 편차를 산출할 수 있다. 제2 실시 형태에서는 스테레오 카메라(30)의 절대 위치 편차 및 상대 위치 편차를 산출하는 경우를 설명한다.
도 9는 제2 실시 형태의 정보 처리 장치(50)의 구성의 예를 나타낸 도면이다. 제2 실시 형태의 정보 처리 장치(50)는 접수부(51), 판정부(52), 절대 위치 편차 산출부(53), 보정 파라미터 산출부(54), 기억 제어부(55) 및 상대 위치 편차 산출부(56)를 포함한다. 제2 실시 형태의 정보 처리 장치(50)는 제1 실시 형태의 정보 처리 장치(50)의 구성에 비해 상대 위치 편차 산출부(56)를 추가로 포함한다. 제2 실시 형태에 있어서는, 제1 실시 형태와 동일한 부분에 대한 설명을 생략하고, 물체에 탑재하는 스테레오 카메라(30)의 조립 공차 등의 영향에 기인한 상대 위치 편차를 교정하는 처리를 설명한다.
절대 위치 편차 산출부(53)를 사용하는 경우의 동작
전방 유리(15)로 인한 절대 위치 편차를 교정하기 위해, 제2 실시 형태의 정보 처리 장치(50)는 절대 위치 편차 산출부(53) 및 보정 파라미터 산출부(54)에 의해 제1 및 제2 보정 파라미터를 산출하고, 기억 제어부(55)에 의해 해당 파라미터들을 스테레오 카메라(30)에 기억한다(도 8 참조). 절대 위치 편차 산출부(53)를 사용하는 경우의 정보 처리 장치(50)의 동작은 제1 실시 형태에서와 동일하므로, 그 동작의 설명은 생략한다.
상대 위치 편차 산출부(56)를 사용하는 경우의 동작
제2 실시 형태의 정보 처리 장치(50)는 전방 유리(15)에 기인한 절대 위치 편차를 산출한 후의 촬영 화상을 스테레오 카메라(30)로부터 접수하고, 상대 위치 편차 산출부(56) 및 보정 파라미터 산출부(54)를 이용하는 것에 의해 스테레오 카메라(30)의 조립 공차 등의 영향에 의해 생기는 상대 위치 편차를 교정하는 파라미터(후술되는 제3 파라미터)를 산출한다. 다음은 상대 위치 편차 산출부(56)를 사용하는 경우의 정보 처리 장치(50)의 동작에 대한 설명이다.
접수부(51)는 제1 보정 파라미터에 의해 절대 위치 편차가 교정된 제2 비교 화상(제1 카메라(1)가 전방 유리(15)를 통해 교정용 차트(60)를 촬영한 비교 화상)과, 제2 보정 파라미터에 의해 절대 위치 편차가 교정된 제2 기준 화상(제2 카메라(2)가 전방 유리(15)를 통해 교정용 차트(60)를 촬영한 기준 화상)을 스테레오 카메라(30)로부터 접수한다.
판정부(52)는 제1 보정 파라미터(제2 보정 파라미터)에 의해 절대 위치 편차가 교정된 제2 비교 화상(제2 기준 화상)이 신뢰성이 있는지 여부를 판정한다. 신뢰성의 판정 방법은 제1 실시 형태와 동일하므로, 그 설명을 생략한다. 제2 비교 화상(제2 기준 화상)이 신뢰성이 있는 것으로 판정된 경우, 판정부(52)는 제2 비교 화상(제2 기준 화상)을 상대 위치 편차 산출부(56)에 입력한다.
상대 위치 편차 산출부(56)는 제2 비교 화상 상의 특징점에 대응하는 제2 기준 화상 상의 각 특징점(대응점)을 검색함으로써 시차(Dx, Dy)를 산출한다. 이후, 상대 위치 편차 산출부(56)는 해당 시차(Dx, Dy)와 이상적인 시차(D, 0) 사이의 차이를 상대 위치 편차로서 산출하고, 해당 상대 위치 편차를 보정 파라미터 산출부(54)에 입력한다.
보정 파라미터 산출부(54)는 제2 비교 화상 및 제2 기준 화상 사이의 상대 위치 편차를 교정하는 제3 보정 파라미터를 산출한다. 제3 보정 파라미터를 이용한 교정은 제2 비교 화상에 대하여 행해진다(도 3d 참조). 제3 보정 파라미터의 예는 상대 위치 편차를 상쇄하도록 제2 비교 화상의 좌표를 변환하는 보정식에 사용되는 계수를 포함한다. 보정 파라미터 산출부(54)는 절대 위치 편차를 교정하는 제1 보정 파라미터와 제3 보정 파라미터를 결합하는 것에 의해 제1 보정 파라미터를 수정하고, 수정된 제1 보정 파라미터를 산출한다. 보정 파라미터 산출부(54)는 수정된 제1 보정 파라미터를 기억 제어부(55)에 입력한다.
기억 제어부(55)는 수정된 제1 보정 파라미터를 스테레오 카메라(30)에 기억함으로써 스테레오 카메라(30)에 기억되어 있는 제1 보정 파라미터를 갱신한다.
이제 제2 실시 형태의 교정 방법을 설명한다. 도 10은 제2 실시 형태의 교정 방법의 예를 나타낸 흐름도이다. 정보 처리 장치(50)는 제1 실시 형태의 교정 방법(도 8의 S1∼S10 단계 참조)을 이용하여 산출한 제1 보정 파라미터 및 제2 보정 파라미터를 스테레오 카메라(30)에 기억한다(S11 단계).
스테레오 카메라(30)는 전방 유리(15)를 통해 피사체로서의 교정용 차트(60)를 촬영하여, 제2 비교 화상과 제2 기준 화상을 취득한다(S12 단계). 스테레오 카메라(30)는 제1 보정 파라미터를 이용하여 제2 비교 화상을 교정한다(S13 단계). 또한, 스테레오 카메라(30)는 제2 보정 파라미터를 이용하여 제2 기준 화상을 교정한다(S14 단계).
교정된 제2 비교 화상 상의 피사체 화상의 좌표와 교정된 제2 기준 화상 상의 피사체 화상의 좌표 사이의 차이와 이상적인 시차(D)를 기초로, 교정된 제2 비교 화상 상의 피사체 화상과 교정된 제2 기준 화상 상의 피사체 화상 사이의 시차의 편차를 나타내는 상대 위치 편차를 교정하는 제3 보정 파라미터를 산출한다(S15 단계). 정보 처리 장치(50)는 제3 보정 파라미터를 이용하여 제1 보정 파라미터를 수정하고, 수정된 제1 보정 파라미터를 산출한다(S16 단계). 스테레오 카메라(30)는 수정된 제1 보정 파라미터를 기억한다(S17 단계).
이상 설명한 바와 같이, 제2 실시 형태의 교정 방법은 스테레오 카메라(30)의 제1 보정 파라미터를 추가로 수정함으로써, 스테레오 카메라(30)에 의해 촬영된 촬영 화상에 포함되는 피사체 화상으로부터 보다 정확한 피사체의 위치를 나타내는 3차원 정보를 취득할 수 있다.
이상의 설명에서, 정보 처리 장치(50)는 제1 보정 파라미터를 제3 보정 파라미터를 이용하여 수정한다. 다른 경우, 정보 처리 장치(50)는 제3 보정 파라미터를 이용하여 제2 보정 파라미터를 수정할 수 있다.
제3 실시 형태
이제 제3 실시 형태를 설명한다. 제3 실시 형태는 제2 실시 형태의 교정 방법에 의해 산출된 보정 파라미터를 기억하는 시차 산출 장치에 관한 것이다. 가동 중의 시차 산출 장치가 보정 파라미터를 이용하는 경우는 "교정" 대신에 "보정"이란 단어를 사용한다. 도 11은 제3 실시 형태의 시차 산출 장치(20)의 구성의 예를 나타낸 도면이다. 제3 실시 형태의 시차 산출 장치(20)는 접수부(21), 제1 보정부(22), 제2 보정부(23), 기억부(24), 산출부(25) 및 복원부(26)를 포함한다.
접수부(21)는 제2 비교 화상(투명체를 통해 촬영된 비교 화상)의 입력을 접수하고, 해당 제2 비교 화상을 제1 보정부(22)로 출력한다. 접수부(21)는 제2 기준 화상(투명체를 통해 촬영된 기준 화상)의 입력을 접수하고, 해당 제2 기준 화상을 제2 보정부(23)로 출력한다.
제1 보정부(22)는 제2 비교 화상을 접수부(21)로부터 접수하여, 해당 제2 비교 화상을 전술한 수정된 제1 보정 파라미터를 사용하여 보정하고, 해당 보정된 제2 비교 화상을 산출부(25) 및 복원부(26)로 출력한다.
제2 보정부(23)는 제2 기준 화상을 접수부(21)로부터 접수하고, 제2 기준 화상을 전술한 제2 보정 파라미터를 사용하여 보정하고, 해당 보정된 제2 기준 화상을 산출부(25) 및 복원부(26)로 출력한다.
기억부(24)는 제1 보정부(22)가 사용하는 수정된 제1 보정 파라미터와 제2 보정부(23)가 사용하는 제2 보정 파라미터를 기억한다.
산출부(25)는 제1 보정부(22)로부터 보정된 제2 비교 화상을 접수하고 제2 보정부(23)로부터 보정된 제2 기준 화상을 접수한다. 산출부(25)는 보정된 제2 비교 화상에 포함되는 피사체 화상과 보정된 제2 기준 화상에 포함되는 피사체 화상을 기초로 시차를 산출한다. 산출부(25)는 화소마다 시차를 산출하여, 시차를 농도치로 나타낸 시차 화상을 생성한다.
복원부(26)는 제1 보정부(22)로부터 보정된 제2 비교 화상을 접수하고, 제2 보정부(23)로부터 보정된 제2 기준 화상을 접수한다. 복원부(26)는 보정에 의해 저하한 제2 비교 화상의 변조 전달 함수(Modulation Transfer Function: MTF) 특성을 복원한다. 복원부(26)는 제2 비교 화상의 MTF 특성을 복원함으로써, 해상도를 향상시킨 제1 카메라(1)의 휘도 화상을 생성한다. 유사하게, 복원부(26)는 보정에 의해 저하한 제2 기준 화상의 MTF 특성을 복원한다. 복원부(26)는 제2 기준 화상의 MTF 특성을 복원함으로써, 해상도를 향상시킨 제2 카메라(2)의 휘도 화상을 생성한다.
이제 흐름도를 참조로 제3 실시 형태의 시차 산출 방법을 설명한다. 도 12는 제3 실시 형태의 시차 산출 방법의 예를 나타낸 흐름도이다. 접수부(21)는 제2 비교 화상의 입력을 접수하고(S21 단계), 제2 기준 화상의 입력을 접수한다(S22 단계).
제1 보정부(22)는 제2 비교 화상을 수정된 제1 보정 파라미터를 이용하여 보정한다(S23 단계). 제2 보정부(23)는 제2 기준 화상을 제2 보정 파라미터를 이용하여 보정한다(S24 단계).
산출부(25)는 보정된 제2 비교 화상에 포함되는 피사체 화상과 보정된 제2 기준 화상에 포함되는 피사체 화상을 기초로 시차를 산출한다(S25 단계). 산출부(25)는 S25 단계에서 산출된 시차(화소마다 산출된 시차)를 이용함으로써 시차를 화소의 농도치로 나타낸 시차 화상을 생성한다(S26 단계).
이상 설명한 바와 같이, 제3 실시 형태의 시차 산출 장치(20)에서는 제1 보정부(22)가 제2 비교 화상을 수정된 제1 보정 파라미터를 이용하여 보정하고, 제2 보정부(23)가 제2 기준 화상을 제2 보정 파라미터를 이용하여 보정한다. 또한, 산출부(25)가 보정된 제2 비교 화상에 포함되는 피사체 화상과 보정된 제2 기준 화상에 포함되는 피사체 화상을 기초로 시차를 산출한다.
제3 실시 형태의 시차 산출 장치(20)는 투명체에 기인한 화상 데이터 상의 피사체 화상의 좌표의 편차(절대 위치 편차)뿐만 아니라, 조립 공차 등에 기인한 화상 데이터 상의 피사체 화상의 시차의 편차(상대 위치 편차)도 보정할 수 있다. 즉, 제3 실시 형태의 시차 산출 장치(20)는 피사체 화상의 시차로부터 산출된 피사체까지의 거리와 화상 데이터 상의 피사체 화상의 좌표를 기초로 피사체의 위치를 나타내는 3차원 좌표를 보다 정확히 산출할 수 있다.
제4 실시 형태
이제 제4 실시 형태를 설명한다. 도 13은 제4 실시 형태의 스테레오 카메라(30)의 구성의 예를 나타낸 도면이다. 제4 실시 형태의 스테레오 카메라(30)는 제1 카메라(1), 제2 카메라(2) 및 시차 산출 장치(20)를 포함한다. 시차 산출 장치(20)는 접수부(21), 제1 보정부(22), 제2 보정부(23), 기억부(24), 산출부(25) 및 복원부(26)를 포함한다.
제4 실시 형태의 스테레오 카메라(30)는 제3 실시 형태의 시차 산출 장치(20)를 포함한다. 제4 실시 형태의 스테레오 카메라(30)의 적용례는 차량 탑재 스테레오 카메라를 포함한다. 도 14는 제3 실시 형태의 스테레오 카메라(30)를 차량 탑재 스테레오 카메라로서 사용하는 예를 나타낸 도면이다. 스테레오 카메라(30)는 전방 유리(15)의 내측에 설치되어 있는 데, 이 구성은 자동차(차량)의 주행 중 및 정지 중에 화상 데이터 상의 피사체 화상의 시차의 편차(상대 위치 편차)뿐만 아니라, 화상 데이터 상의 피사체 화상의 좌표의 편차(절대 위치 편차)도 보정할 수 있게 한다.
제4 실시 형태의 스테레오 카메라(30)는 화상 데이터 상의 피사체 화상의 시차의 편차(상대 위치 편차)뿐만 아니라, 화상 데이터 상의 피사체 화상의 좌표의 편차(절대 위치 편차)도 실시간 기준으로 보정할 수 있다. 즉, 제4 실시 형태의 스테레오 카메라(30)는 실시간 기준으로 피사체 화상의 시차로부터 산출된 피사체까지의 거리와 화상 데이터 상의 피사체 화상의 좌표를 기초로 피사체의 위치를 나타낸 3차원 좌표를 정확히 산출할 수 있다.
다음은 정보 처리 장치(50) 및 시차 산출 장치(20)의 하드웨어 구성의 예에 대한 설명이다. 도 15는 정보 처리 장치(50) 및 시차 산출 장치(20)의 하드웨어 구성의 예를 나타낸 도면이다. 정보 처리 장치(50) 및 시차 산출 장치(20)는 제어 장치(41), 주기억 장치(42), 보조 기억 장치(43), 외부 인터페이스(44) 및 통신 장치(45)를 포함한다. 제어 장치(41), 주기억 장치(42), 보조 기억 장치(43), 외부 인터페이스(44) 및 통신 장치(45)는 버스(46)를 통해 상호 접속되어 있다.
제어 장치(41)는 보조 기억 장치(43)로부터 주기억 장치(42) 상에서 판독된 프로그램을 실행한다. 주기억 장치(42)의 예는 ROM과 RAM을 포함한다. 보조 기억 장치(43)의 예는 HDD와 메모리 카드를 포함한다. 외부 인터페이스(44)는 다른 장치와 데이터를 송수신하기 위한 인터페이스이다. 통신 장치(45)는 무선 통신 등에 의해 다른 장치와 통신하기 위한 인터페이스이다.
정보 처리 장치(50) 및 시차 산출 장치(20)에 의해 실행되는 컴퓨터 프로그램은 인스톨 가능한 형식 또는 실행 가능한 형식의 파일로 CD-ROM, 메모리 카드, CD-R, DVD 등의 컴퓨터 판독 가능한 기억 매체에 기억되어 컴퓨터 프로그램 제품으로서 제공된다.
정보 처리 장치(50) 및 시차 산출 장치(20)에 의해 실행되는 프로그램은 인터넷 등의 네트워크에 접속된 컴퓨터에 기억되어, 네트워크 경유로 다운로드되는 것으로 제공될 수 있다. 정보 처리 장치(50) 및 시차 산출 장치(20)에 의해 실행되는 프로그램은 다운로드하지 않고 인터넷 등의 네트워크 경유로 제공될 수 있다.
정보 처리 장치(50) 및 시차 산출 장치(20)에 의해 실행되는 프로그램은 ROM 등에 미리 내장하여 제공될 수 있다.
정보 처리 장치(50)에 의해 실행되는 프로그램은 상술한 각 기능 블록[접수부(51), 판정부(52), 절대 위치 편차 산출부(53), 보정 파라미터 산출부(54), 기억 제어부(55) 및 상대 위치 편차 산출부(56)]를 포함하는 모듈로 구성되어 있다. 실제의 하드웨어 구성으로서, 제어 장치(41)가 기억 매체로부터 프로그램을 독출하여 해당 프로그램을 실행함으로써, 상기 각 기능 블록이 주기억 장치(42) 상에 로드된다. 즉, 상기 각 기능 블록은 주기억 장치(42) 상에 생성된다.
시차 산출 장치(20)에 의해 실행되는 프로그램은 상술한 각 기능 블록[(접수부(21), 제1 보정부(22), 제2 보정부(23), 산출부(25) 및 복원부(26)]를 포함하는 모듈로 구성되어 있다. 실제의 하드웨어 구성으로서, 제어 장치(41)가 기억 매체로부터 프로그램을 독출하여 해당 프로그램을 실행함으로써, 상기 각 기능 블록이 주기억 장치(42) 상에 로드된다. 즉, 상기 각 기능 블록은 주기억 장치(42) 상에 생성된다.
정보 처리 장치(50) 내에 포함되는 상기 기능 블록[접수부(51), 판정부(52), 절대 위치 편차 산출부(53), 보정 파라미터 산출부(54), 기억 제어부(55) 및 상대 위치 편차 산출부(56)]과 시차 산출 장치(20) 내에 포함되는 상기 기능 블록[접수부(21), 제1 보정부(22), 제2 보정부(23), 산출부(25) 및 복원부(26)]의 일부 또는 전부는 소프트웨어로 실현하는 대신에 집적 회로(IC) 등의 하드웨어로 실현할 수 있다.
실시 형태는 투명체에 기인한 화상 데이터의 절대 위치 편차를 정확하게 교정할 수 있는 효과를 제공한다.
본 발명은 완전하고 분명한 개시를 위해 특정 실시 형태에 대해 설명하였지만, 첨부된 청구범위는 그와 같이 한정되지 않고 여기 언급한 기본적인 개시 내용 내에 당연히 속하면서 당업자가 안출할 수 있는 모든 변형 및 대안적 구성을 구현하는 것으로 해석되어야 한다.
1 제1 카메라
2 제2 카메라
11 렌즈(광학계)
12 센서
13 피사체
14 광축
15 전방 유리(windshield)
20 시차 산출 장치
21 접수부
22 제1 보정부
23 제2 보정부
24 기억부
25 산출부
26 복원부
30 스테레오 카메라
41 제어 장치
42 주기억 장치
43 보조 기억 장치
44 외부 인터페이스
45 통신 장치
46 버스
50 정보 처리 장치(교정 장치)
51 접수부
52 판정부
53 절대 위치 편차 산출부
54 보정 파라미터 산출부
55 기억 제어부
56 상대 위치 편차 산출부
60 교정용 차트(교정 용구)

Claims (7)

  1. 투명체를 통해 피사체를 촬영하는 촬영 장치의 교정 방법으로서:
    상기 투명체를 통하지 않고 상기 피사체를 촬영하여 제1 촬영 화상을 취득하는 단계;
    상기 투명체를 통해 상기 피사체를 촬영하여 제2 촬영 화상을 취득하는 단계;
    상기 제1 촬영 화상 상의 상기 피사체의 화상의 좌표와 상기 제2 촬영 화상 상의 상기 피사체의 화상의 좌표를 기초로, 상기 투명체에 기인하는 상기 피사체의 화상의 좌표의 편차를 나타내는 절대 위치 편차를 산출하는 단계;
    상기 절대 위치 편차를 교정하는 보정 파라미터를 산출하는 단계;
    상기 보정 파라미터를 상기 촬영 장치에 기억하는 단계
    를 포함하는 것을 특징으로 하는 교정 방법.
  2. 제1항에 있어서, 상기 촬영 장치는 제1 카메라와 제2 카메라를 포함하는 스테레오 카메라이며;
    상기 절대 위치 편차를 산출하는 단계는:
    상기 제1 카메라에 의해 촬영된 제1 촬영 화상 상의 피사체의 화상의 좌표와 상기 제1 카메라에 의해 촬영된 제2 촬영 화상 상의 피사체의 화상의 좌표를 기초로 상기 제1 카메라에서의 상기 절대 위치 편차를 산출하고;
    상기 제2 카메라에 의해 촬영된 제1 촬영 화상 상의 피사체의 화상의 좌표와 상기 제2 카메라에 의해 촬영된 제2 촬영 화상 상의 피사체의 화상의 좌표를 기초로 상기 제2 카메라에서의 상기 절대 위치 편차를 산출하는 것을 포함하고;
    상기 보정 파라미터를 산출하는 단계에서, 상기 제1 카메라에서의 상기 절대 위치 편차를 교정하는 제1 보정 파라미터 및 상기 제2 카메라에서의 상기 절대 위치 편차를 교정하는 제2 보정 파라미터가 산출되며;
    상기 기억 단계에서, 상기 제1 카메라 보정 파라미터와 상기 제2 카메라 보정 파라미터가 상기 스테레오 카메라에 기억되는 것을 특징으로 하는 교정 방법.
  3. 제2항에 있어서:
    상기 제1 카메라에 의해 촬영된 제2 촬영 화상의 피사체의 화상과 상기 제2 카메라에 의해 촬영된 제2 촬영 화상의 피사체의 화상 사이의 시차의 편차를 나타내는 상대 위치 편차를 교정하는 제3 보정 파라미터를 산출하는 단계;
    상기 제3 보정 파라미터를 기초로 상기 제1 보정 파라미터를 갱신하는 단계
    를 더 포함하는 것을 특징으로 하는 교정 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 투명체는 차량의 전방 유리(windshield)인 것을 특징으로 하는 교정 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 촬영 화상을 취득하는 단계에서 촬영된 피사체와 상기 제2 촬영 화상을 취득하는 단계에서 촬영된 피사체는 상기 제1 촬영 화상 상의 좌표에 대응하는 상기 제2 촬영 화상 상의 좌표의 검출을 용이하게 하는 패턴을 갖는 교정 용구인 것을 특징으로 하는 교정 방법.
  6. 투명체를 통해 피사체를 촬영하는 촬영 장치를 교정하는 교정 장치로서:
    상기 투명체를 통하지 않고 상기 피사체를 촬영함으로써 취득한 제1 촬영 화상과 상기 투명체를 통해 상기 피사체를 촬영함으로써 취득한 제2 촬영 화상을 접수하는 접수부;
    상기 제1 촬영 화상 상의 상기 피사체의 화상의 좌표와 상기 제2 촬영 화상 상의 상기 피사체의 화상의 좌표를 기초로, 상기 투명체에 기인하는 상기 피사체의 화상의 좌표의 편차를 나타내는 절대 위치 편차를 산출하는 절대 위치 편차 산출부;
    상기 절대 위치 편차를 교정하는 보정 파라미터를 산출하는 보정 파라미터 산출부;
    상기 보정 파라미터를 상기 촬영 장치에 기억하는 기억 제어부
    를 포함하는 것을 특징으로 하는 교정 장치.
  7. 컴퓨터 판독 가능 프로그램 코드를 갖는 비일시적 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 프로그램 코드는, 실행시,
    투명체를 통해 피사체를 촬영하는 촬영 장치를 교정하는 컴퓨터로 하여금:
    상기 투명체를 통하지 않고 상기 피사체를 촬영함으로써 취득한 제1 촬영 화상과 상기 투명체를 통해 상기 피사체를 촬영함으로써 취득한 제2 촬영 화상을 접수하는 동작;
    상기 제1 촬영 화상 상의 상기 피사체의 화상의 좌표와 상기 제2 촬영 화상 상의 상기 피사체의 화상의 좌표를 기초로, 상기 투명체에 기인하는 상기 피사체의 화상의 좌표의 편차를 나타내는 절대 위치 편차를 산출하는 동작;
    상기 절대 위치 편차를 교정하는 보정 파라미터를 산출하는 동작;
    상기 보정 파라미터를 상기 촬영 장치에 기억하는 동작
    을 수행하도록 하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
KR1020167024651A 2014-03-07 2015-02-24 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품 KR101787304B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-045730 2014-03-07
JP2014045730A JP6427900B2 (ja) 2014-03-07 2014-03-07 校正方法、校正システム、プログラム及び移動体
PCT/JP2015/056016 WO2015133414A1 (en) 2014-03-07 2015-02-24 Calibrarion method, calibration device, and computer program product

Publications (2)

Publication Number Publication Date
KR20160119444A true KR20160119444A (ko) 2016-10-13
KR101787304B1 KR101787304B1 (ko) 2017-10-18

Family

ID=54055220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167024651A KR101787304B1 (ko) 2014-03-07 2015-02-24 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품

Country Status (6)

Country Link
US (2) US10218961B2 (ko)
EP (1) EP3114430B1 (ko)
JP (1) JP6427900B2 (ko)
KR (1) KR101787304B1 (ko)
CN (2) CN106104196B (ko)
WO (1) WO2015133414A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3088175B1 (en) 2015-04-27 2023-08-23 Ricoh Company, Ltd. Method for manufacturing laminated glass and laminated glass
WO2017051557A1 (ja) * 2015-09-25 2017-03-30 オリンパス株式会社 画像較正用検具および内視鏡システム
JP6645140B2 (ja) * 2015-11-27 2020-02-12 株式会社明電舎 画像のキャリブレーション装置及びキャリブレーション方法
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173975A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
JP6747176B2 (ja) 2016-08-25 2020-08-26 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
EP3505865B1 (en) * 2016-08-29 2022-03-09 Hitachi Astemo, Ltd. On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system
EP3293701B1 (en) * 2016-09-07 2019-11-06 Conti Temic microelectronic GmbH Method and apparatus for the compensation of static image distortions introduced by a windshield onto an adas camera
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
CN106559619B (zh) * 2016-11-29 2019-07-05 北京奇虎科技有限公司 3d摄像机定标方法、装置及3d摄像机
JP6793244B2 (ja) * 2017-03-10 2020-12-02 ヤマハ発動機株式会社 撮像システム
DE102017220282A1 (de) * 2017-11-14 2019-05-16 Robert Bosch Gmbh Testverfahren für ein Kamerasystem, ein Steuergerät des Kamerasystems, das Kamerasystem und ein Fahrzeug mit diesem Kamerasystem
WO2019127408A1 (zh) * 2017-12-29 2019-07-04 深圳市锐明技术股份有限公司 一种adas摄像头的标定方法、装置、存储介质及终端设备
CN108364313B (zh) * 2018-01-16 2021-08-27 深圳市科视创科技有限公司 一种自动对位的方法、系统及终端设备
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
EP3534333A1 (en) 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
WO2019171984A1 (ja) 2018-03-08 2019-09-12 ソニー株式会社 信号処理装置、信号処理方法、及び、プログラム
JP6947112B2 (ja) * 2018-04-20 2021-10-13 トヨタ自動車株式会社 キャリブレーション方法
JP7427614B2 (ja) * 2018-06-29 2024-02-05 ズークス インコーポレイテッド センサ較正
JP2020034344A (ja) * 2018-08-28 2020-03-05 株式会社Ｓｃｒｅｅｎホールディングス 可動部位置検出方法、基板処理方法、基板処理装置および基板処理システム
CN109068121B (zh) * 2018-09-04 2019-07-23 珠海康弘医疗科技有限公司 三维成像系统、三维成像系统校准方法及装置
ES2842999T3 (es) 2018-09-28 2021-07-15 Nexion Spa Sistema para calibrar una cámara de vehículo
CN109981982B (zh) * 2019-03-25 2021-02-19 联想(北京)有限公司 控制方法、装置以及系统
JP7136737B2 (ja) * 2019-04-10 2022-09-13 株式会社神戸製鋼所 三次元位置計測装置、三次元位置計測方法及びプログラム
WO2021004642A1 (en) * 2019-07-11 2021-01-14 Toyota Motor Europe A camera calibration method, a computer program, a computer-readable recording medium and a camera calibration system
JP7251425B2 (ja) * 2019-09-20 2023-04-04 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7151675B2 (ja) * 2019-09-20 2022-10-12 株式会社デンソーテン 付着物検出装置および付着物検出方法
DE102020100278A1 (de) * 2020-01-09 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Testverfahren und Testsystem für eine optische Sensoreinheit eines Systems zum automatisierten Fahren
JP7417859B2 (ja) 2020-03-19 2024-01-19 株式会社リコー 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置
JP7405710B2 (ja) 2020-07-16 2023-12-26 日立Astemo株式会社 処理装置及び車載カメラ装置
DE102020211154A1 (de) 2020-09-04 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren einer in einem Fahrzeug montierten Kamera
CN112529790B (zh) * 2020-11-13 2023-06-27 清华大学 用于光谱恢复的图像光强校正方法及装置
JP2022140135A (ja) * 2021-03-12 2022-09-26 株式会社リコー レンズユニット、ステレオカメラおよび移動体
JP2023055094A (ja) * 2021-10-05 2023-04-17 日立Astemo株式会社 撮像装置及び視差ずれ補正方法
US11812128B2 (en) * 2022-01-21 2023-11-07 Motional Ad Llc Methods and systems for determination of boresight error in an optical system
JP2024011739A (ja) * 2022-07-15 2024-01-25 キヤノン株式会社 距離計測装置の校正方法、距離計測装置及びコンピュータプログラム
JP2024014231A (ja) * 2022-07-22 2024-02-01 日立Astemo株式会社 ステレオカメラ装置及びキャリブレーション方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446536A (en) * 1992-05-06 1995-08-29 Nippon Sheet Glass Co., Ltd. System of detecting optical distortion of a light-transmitting plate-like member
JPH06144006A (ja) * 1992-11-06 1994-05-24 Nippon Sheet Glass Co Ltd 板状体の透視歪検出方法
JP3599255B2 (ja) * 1995-12-04 2004-12-08 本田技研工業株式会社 車両用環境認識装置
US6067147A (en) * 1997-01-09 2000-05-23 Fuji Electric Co., Ltd. Distance-measuring apparatus
JP2000322565A (ja) * 1999-03-10 2000-11-24 Calsonic Kansei Corp 画像データ補正回路
JP3261115B2 (ja) * 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置
JP4109077B2 (ja) * 2002-10-11 2008-06-25 敬二 実吉 ステレオカメラの調整装置およびステレオカメラの調整方法
IL167193A (en) * 2004-03-18 2009-11-18 Elbit Systems Ltd Method and system for determining optical distortion in a transparent medium
US7365838B2 (en) * 2004-04-02 2008-04-29 Lockheed Martin Corporation System and method for the measurement of optical distortions
DE102004048400A1 (de) * 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren für die Erfassung einer optischen Struktur
DE102004056669A1 (de) * 2004-10-13 2006-04-20 Robert Bosch Gmbh Einrichtung für die Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
DE102007040232B4 (de) * 2007-08-25 2015-12-31 Adc Automotive Distance Control Systems Gmbh Verfahren zur Feststellung von Mängeln in einer Windschutzscheibe
DE102009007840A1 (de) * 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren zur Kalibrierung eines kamerabasierten Systems
JP5278819B2 (ja) 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
DE102009027520A1 (de) * 2009-07-08 2011-01-20 Robert Bosch Gmbh Verzeichnungskorrektur von Videosystemen
US9699438B2 (en) * 2010-07-02 2017-07-04 Disney Enterprises, Inc. 3D graphic insertion for live action stereoscopic video
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
JP6520080B2 (ja) 2014-01-31 2019-05-29 株式会社リコー ステレオカメラ校正方法、視差算出装置、ステレオカメラ及び車両

Also Published As

Publication number Publication date
JP6427900B2 (ja) 2018-11-28
CN106104196A (zh) 2016-11-09
WO2015133414A1 (en) 2015-09-11
CN106104196B (zh) 2019-10-29
US20170070725A1 (en) 2017-03-09
US10218961B2 (en) 2019-02-26
EP3114430A1 (en) 2017-01-11
EP3114430A4 (en) 2017-04-26
EP3114430B1 (en) 2020-05-06
US10701341B2 (en) 2020-06-30
CN110490944A (zh) 2019-11-22
JP2015169583A (ja) 2015-09-28
US20190141313A1 (en) 2019-05-09
KR101787304B1 (ko) 2017-10-18

Similar Documents

Publication Publication Date Title
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
WO2018196391A1 (zh) 一种车载摄像机的外部参数标定方法及装置
JP6520080B2 (ja) ステレオカメラ校正方法、視差算出装置、ステレオカメラ及び車両
CN108111828B (zh) 投影设备校正方法、装置及投影设备
WO2015198930A1 (ja) 測距装置および補正パラメータを用いた測距補正装置
JP6602982B2 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
JP6791341B2 (ja) 校正方法、校正装置、及びプログラム
TW201443827A (zh) 鏡頭影像校正系統及鏡頭影像校正方法
KR102268094B1 (ko) 동적 입체 캘리브레이션을 위한 시스템 및 방법
JP2019132855A (ja) ステレオカメラ校正方法、視差算出装置及びステレオカメラ
JP3666348B2 (ja) 距離認識装置
JP2014174067A (ja) 車載カメラのキャリブレーション装置
JP2017032280A (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
KR20170066749A (ko) 헤드업 디스플레이의 영상 왜곡 보정 장치 및 방법
JP6996582B2 (ja) 校正方法、校正装置及びプログラム
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム
KR20100081881A (ko) 데이터 매칭 장치, 데이터 매칭 방법, 및 이를 이용한 이동로봇
JP6747176B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP2020047059A (ja) 車両の走行環境検出装置及び走行制御システム
JP6571571B2 (ja) 撮像装置、車載カメラおよび画像処理方法
JP3833042B2 (ja) 距離認識装置
JP2016176919A (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
KR20190090567A (ko) 특징 기하 기반의 멀티센서 데이터 처리 장치 및 방법
JP2013229692A (ja) 車載カメラ取付角検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant