KR20120079144A - 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 - Google Patents

교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20120079144A
KR20120079144A KR1020127012327A KR20127012327A KR20120079144A KR 20120079144 A KR20120079144 A KR 20120079144A KR 1020127012327 A KR1020127012327 A KR 1020127012327A KR 20127012327 A KR20127012327 A KR 20127012327A KR 20120079144 A KR20120079144 A KR 20120079144A
Authority
KR
South Korea
Prior art keywords
parallax
parallaxes
correction value
data
calculated
Prior art date
Application number
KR1020127012327A
Other languages
English (en)
Other versions
KR101411668B1 (ko
Inventor
신 아오키
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20120079144A publication Critical patent/KR20120079144A/ko
Application granted granted Critical
Publication of KR101411668B1 publication Critical patent/KR101411668B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

개시된 교정 장치는, 2개의 장소에서 촬상 장치 중 하나에 의해 촬상되는 2개의 기준 화상과, 2개의 기준 화상과 2개의 장소에서 촬상 장치 중 다른 하나에 의해 촬상되는 2개의 대응 화상을 이용하여, 장소를 기준으로 기준 화상과 대응 화상의 각 쌍에 대하여, 기준 화상과 대응 화상에 공통되는 복수의 특징점들의 위치에 기초하여 계산되는 시차 데이터의 복수 항목의 입력을 수신하고, 2개의 기준 화상에 공통되는 복수의 특징점을 탐색하여, 탐색된 특징점 각각에 대하여, 2개의 기준 화상에서의 각 특징점에 관한 시차 데이터에 기초하여, 시차들과 시차 변화량들을 계산하고, 계산된 시차들과 시차 변화량들에 기초하여, 파라미터의 보정치를 계산하도록 구성된다.

Description

교정 장치, 거리 측정 시스템, 교정 방법 및 교정 프로그램{A CALIBRATION APPARATUS, A DISTANCE MEASUREMENT SYSTEM, A CALIBRATION METHOD AND A CALIBRATION PROGRAM}
본 발명은, 자동차 등과 같은 이동체에 설치되는 스테레오 카메라형 거리 측정 시스템에서 설정되는, 촬상 장치의 위치와 관련된 파라미터를 교정하기 위한 교정 장치, 그 교정 장치를 포함하는 거리 측정 시스템, 교정 방법 및 그 방법을 실행하기 위한 교정 프로그램에 관한 것이다.
최근, 자동차의 안전성에 대한 의식 증가와 컴퓨터 성능의 향상 때문에 충돌 방지 장치, 차간 거리(following distance) 제어 장치 등이 자동차에 설치된다. 이 장치들은, 차간 거리가 일정 범위 내에 들어오면 운전자에게 경고를 출력하고, 브레이크 장치, 조향 장치 등의 제어를 수행하여, 차간 거리가 더 짧아지면 자동적으로 충돌을 방지하도록 동작한다.
이러한 제어를 수행하기 위하여, 차간 거리를 측정할 필요가 있으며, 거리 측정 시스템으로서 스테레오 카메라가 실용화되고 있다. 이 스테레오 카메라는, 차량 전방의 거리 화상을 생성하여, 그 거리 화상으로부터 장애물을 인식한 후, 그 장애물까지의 거리를 측정할 수 있다.
스테레오 카메라를 사용하는 거리 측정에 관해서 이하 상세히 설명한다. 도 1은, 2개의 카메라가 평행하게 배치된 스테레오 카메라에 의한 거리 측정의 원리를 설명하기 위한 도면이다. 초점 거리 f, 광학 중심 O0 및 촬상면 s0를 갖는 카메라 C0는, 광축 방향이 도 1에서 상측 방향으로 연장되도록 배치되고, 동일한 초점 거리 f를 갖는 카메라 C1는, 카메라 C0에 대하여 우측에 거리 B만큼 이격되고 평행하게 배치된다.
카메라 C0의 광학 중심 00로부터 광축 방향으로 거리 d에 위치한 피사체 A의 화상은, 직선 AO0와 촬상면 s0의 교점인 P0에서 결상된다. 카메라 C1에 대하여, 피사체 A는 촬상면 s1 상의 점 P1에서 결상된다. 여기서, 카메라 C1의 광학 중심 O1을 지나고 직선 AO0와 평행한 직선과, 촬상면 s1의 교점을 P'0로 나타내고, 점 P'0와 점 P1사이의 거리를 p로 나타낸다. 점 P'0는 카메라 CO 상의 점 PO와 동일하다. 거리 p는, 상기 2개의 카메라에 의해 촬상된 화상 상의 점의 편차량을 나타내고, 시차(parallax)라고 칭한다. 그리고, 삼각형 AO0O1과 삼각형 O1P'0P1은 합동이고, 따라서 다음의 식 1이 주어진다.
Figure pct00001
(식 1)
여기서 B는 삼각형의 한 변의 기선 길이를 나타낸다. 이 기선 길이와 초점 거리 f를 알면, 시차 p에 기초하여 거리 d가 결정될 수 있다.
이것이 2개의 카메라가 평행하게 배치된 스테레오 카메라에 의한 거리 측정의 원리이지만, 이것이 성립하기 위해서는, 도 1에 도시된 바와 같이 2개의 카메라 C0 및 C1이 정확하게 배치되어야 한다. 특히, 도 1에 도시된 Y축 주위의 카메라의 회전이나, 광학 중심에 대하여 횡방향으로 촬상 센서의 위치 어긋남(misregistration)이 있으면, 도 1에서 Y축에 수직하는 횡방향인 X축 방향으로 화상 위치가 변한다. 이 경우에, 이 위치 어긋남이 직접 시차에 가산되어, 측정된 거리의 정밀도를 감소시킨다.
측정된 거리의 필요한 정밀도를 유지하기 위하여, 제조시에 정확한 조정이 필요한 것은 물론이지만, 장시간 사용하면 온도 변화, 진동 등에 의해 배치가 약간 변할 수 있기 때문에, 교정을 수행할 필요가 있다. 그러나, 구입 후에 이미 알고 있는 거리에 배치된 테스트 차트 등을 사용하는 교정을 수행할 필요가 있으면, 이용자의 편리성이 크게 감소한다. 이와 관련하여, 주위의 자연스러운 풍경을 촬상함으로써 얻어진 화상을 이용하여, 테스트 차트 등을 사용할 필요 없이 교정을 수행하는 몇 가지 방법이 제안된다(일본 특허 제3436074호 공보, 일본 특허 공개 제2001-169310호 공보 및 일본 특허 공개 제2009-182879호 공보 참조).
일본 특허 제3436074호 공보는, 도로와 같은 임의의 장소에서 카메라 촬상 방향의 어긋남을 검출하고, 검출 결과에 기초하여 교정을 수행하는 기술을 개시한다. 구체적으로, 주행 도로 상의 몇 군데의 교정용 장소에서 촬상된 화상으로부터 동일한 정지 특징물을 인식하고, 상기 몇 군데의 교정용 장소에서 촬상된 화상에서의 정지 특징물의 장소들과, 상기 몇 군데의 교정용 장소들 사이의 거리에 기초하여, 복수의 촬상 수단들 간의 카메라 촬상 방향의 어긋남을 구하고, 구한 카메라 촬상 방향의 어긋남에 기초하여 보정으로써 교정이 수행된다.
일본 특허 공개 제2001-169310호 공보에 따르면, 정지 물체의 시차의 검출이 2차례 수행되고, 이 2차례 사이에서의 차량 주행 거리가 계산되고, 2개의 카메라 사이의 광축간 평행도의 어긋남에 기인하는 오차를 시차 오프셋량으로서 구한 후, 이 시차 오프셋량에 의해 검출된 시차가 보정된다.
일본 특허 공개 제2009-182879호 공보에 따르면, 물체 인식 처리를 수행하지 않고 카메라 파라미터의 교정치를 계산할 수 있도록, 미리 정해진 프레임 레이트로 촬상 수단에 의해 촬상된 입력 화상에 복수의 주목점이 설정되고; 각 주목점의 시차와 2차원의 광 플로우가 계산되며; 시차와 주목점의 수직성분에 기초하여, 입력 화상에 포함된 노면과 촬상 수단 사이의 관계를 나타내는 노면 파라미터가 계산된 후; 광 플로우, 시차 및 노면 파라미터에 기초하여 카메라 파라미터의 교정치가 계산된다.
일본 특허 제3436074호 공보에 개시된 방법에 따르면, 정지 피사체의 형상을 기억할 필요가 있다. 따라서, 기억된 정지 피사체가 없으면, 교정을 수행할 수 없다. 정지 피사체로서 녹색 교통 신호나 교통 표지가 사용되지만, 교통 신호나 교통 표지의 형상이나 크기는 지방이나 나라마다 상이하고, 장래에 변경될 수도 있다. 따라서, 등록된 형상으로 정지 피사체를 식별하는 이러한 방식에 따르면, 교정이 성공적으로 수행될 수 없을 가능성이 있다.
또한, 마찬가지로, 일본 특허 공개 제2001-169310호 공보에 개시된 방법에 따르면, 정지 피사체의 형상이 등록되고, 이 등록된 형상에 기초하여 정지 피사체를 식별함으로써 교정이 수행된다. 따라서, 장래의 변경이나, 지방이나 나라에서의 차이에 따른 상이한 형상을 갖는 정지 피사체에 대하여, 등록된 정지 피사체와는 상이한 것으로 판정될 수도 있어, 교정이 수행될 수 없다.
또한, 일본 특허 공개 제2009-182879호 공보에 개시된 방법에 따르면, 노면 상의 명암 패턴으로부터 특징점이 추출되고; 이 특징점을 이용하여 거리 측정이 수행되며; 노면의 위치 및 방향을 나타내는 도로 파라미터가 계산되고; 이 도로 파라미터에서의 변화에 기초하여 시차 오프셋이 계산된다. 따라서, 자동차가 주행하는 동안은, 자동차의 바로 전방에 평탄한 노면이 존재할 가능성이 높아서, 피사체가 발견될 수 없다는 문제가 발생할 가능성이 적다. 또한, 특정 형상으로 피사체를 인식할 필요가 없기 때문에, 교정이 수행될 수 없다는 문제는 발생하지 않는다.
그러나, 시차 오프셋을 계산하기 위한 정보원이 노면에 한정되기 때문에, 벽, 건물, 전주와 같은 평면 피사체 이외의 정지 피사체를 유효하게 사용할 수 없다. 따라서, 특히 실내 적용과 같은 차량 상의 적용 이외의 적용에는 사용될 수 없다.
또한, 노면 상의 명암은 미세하고, 원거리에서 특징점의 개수는 감소하기 때문에, 근거리에서만 거리 측정될 수 있고, 교정을 위해 이용될 수는 없다. 차간 거리 자동 조정 등과 같은 목적에 따라서는, 더 원거리에서의 선행 차량이 측정되기를 원하는 경우가 있을 수도 있다. 따라서, 이것이 교정의 정밀도에 영향을 미칠 수도 있다.
이러한 이유로, 스테레오 카메라의 시간 경과에 따른 어긋남(위치 어긋남)을 보정할 수 있는 교정 장치 및 방법이 요구된다. 특히, 차량 속도 센서 등과 같은, 자신의 위치 정보를 측정하기 위한 카메라 이외의 센서에 의존하지 않고, 교통 신호나 평평한 노면과 같은 특정한 형상으로 피사체의 존재에 의존하지 않고, 안정적으로 시차 오프셋을 검출하기 위해 주행 중에 촬상된 다양한 화상을 이용함으로써, 교정을 수행할 수 있는 이러한 교정 장치 및 방법이 요구된다.
전술한 목적을 달성하기 위하여, 이동체에 설치되고, 2개의 촬상 장치로 거리 측정을 수행하는 거리 측정 시스템에서 설정되는, 상기 촬상 장치의 위치에 관한 파라미터를 교정하기 위해 교정 장치가 제공되고, 이 교정 장치는,
2개의 장소에서 촬상 장치 중 하나에 의해 촬상되는 2개의 기준 화상과, 2개의 기준 화상과 상기 2개의 장소에서 촬상 장치 중 다른 하나에 의해 촬상되는 2개의 대응 화상을 이용하여, 장소를 기준으로 기준 화상과 대응 화상의 각 쌍에 대하여, 기준 화상과 대응 화상에 공통되는 복수의 특징점들의 위치에 기초하여 계산되는 시차 데이터의 복수 항목의 입력을 수신하는 화상 취득부;
2개의 기준 화상에 공통되는 복수의 특징점을 탐색하는 특징점 탐색부;
탐색된 특징점 각각에 대하여, 2개의 기준 화상에서의 각 특징점에 관한 시차 데이터에 기초하여, 시차들과 시차들의 시차 변화량들을 계산하는 시차 계산부; 및
계산된 시차들과 계산된 시차들의 시차 변화량들에 기초하여, 촬상 장치의 위치에 관한 파라미터의 보정치를 계산하는 보정치 계산부를 포함한다.
이러한 방식으로, 시차들 및 시차 변화량들이 계산되고, 촬상 시점에 장소들 사이의 거리로부터 독립적으로 보정치가 계산될 수 있기 때문에, 차량 속도 센서 등과 같은 자신의 위치를 측정하기 위한 센서는 불필요하고, 특정한 형상을 갖는 피사체가 존재하지 않더라도, 안정적으로 보정치를 계산할 수 있다. 따라서, 정기적으로 반복 수행될 수 있고, 필요에 따라 보정을 수행함으로써 거리 측정의 정밀도가 일정하게 유지될 수 있다.
보정치 계산부는, 계산된 시차들과 계산된 시차들의 시차 변화량들을 이용하여 모델 곡선을 작성하고, 이 모델 곡선에 기초하여 보정치를 계산하도록 구성된다. 모델 곡선은, 2차 곡선일 수 있고, 시차 방향으로의 변위가 보정치로서 계산되는 2차 함수로 표현될 수 있다. 이것은, 이 변위가 촬상 장치의 변위의 양을 나타내기 때문이다.
또한, 교정 장치는, 시차들의 분포 및 모델 곡선에 대한 시차 변화량들의 분산에 기초하여, 보정치의 신뢰성 유무를 평가하는 신뢰성 평가부를 더 포함한다. 이러한 방식으로 신뢰성을 평가함으로써, 촬상 장치 이외의 외부 센서 등에 의존하지 않고, 화상 자신으로부터 보정치를 계산하는 것에 악영향을 주는 조건을 검출할 수 있다. 따라서, 적용 가능성이 높고, 정밀도가 높은 교정이 수행될 수 있다.
신뢰성 평가부는, 모델 곡선 상의 시차 변화량들로부터 미리 정해진 범위 내에 있는 시차 변화량들의 데이터만을 추출하고, 추출된 데이터의 시차 변화량들과 모델 곡선 상의 대응 시차들에 대한 시차 변화량들 사이의 차분의 평균 RMS(average root-mean-square)를 계산하며, 계산된 평균 RMS가 임계치 이하인지 여부를 판정한다. 임계치 이하이면, 신뢰성이 있다고 판정된다.
또한, 신뢰성 평가부는, 규정된(specified) 시차 범위에 포함되는 시차들의 비율을 계산하고, 계산된 비율이 미리 정해진 비율 이상인지 여부를 판정한다. 미리 정해진 비율 이상이면, 신뢰성이 있다고 판정된다. 이들 2개의 평가 기준이 적용될 수도 있고, 이들 2개의 평가 기준이 만족되면 신뢰성이 있다고 판정할 수 있다. 이들 2개의 평가 기준으로 판정을 수행함으로써, 보다 높은 정밀도로 교정을 수행할 수 있다.
교정 장치는, 시차 변화량들을 정규화하는 정규화 처리부; 및 정규화된 시차 변화량들이 대응 시차들과 관련되도록, 정규화된 시차 변화량들을 기억하는 데이터 기억부를 포함할 수도 있다. 보정치 계산부는, 기억된 시차들 및 정규화된 시차 변화량들에 기초하여 촬상 장치의 위치에 관한 파라미터에 대한 보정치를 계산할 수도 있다.
정규화 처리부는, 모델 곡선을 나타내는 2차 함수의 비례 상수로 시차 변화량을 나눔으로써, 정규화된 시차 변화량을 계산한다. 이러한 정규화로, 계산을 단순화하고, 다수의 기억된 데이터의 항목이 이용될 수 있기 때문에, 정밀도가 보다 높은 교정을 수행할 수 있다.
신뢰성 평가부는, 데이터 기억부에 기억된 데이터 항목의 개수에 기초하여 보정치의 신뢰성 유무를 평가할 수 있다. 이것은 데이터 항목의 개수가 많아질수록, 신뢰성이 더 높아지기 때문이다.
본 발명에 따르면, 교정 장치 외에, 이 교정 장치를 포함하는 거리 측정 장치가 제공될 수 있다. 거리 측정 시스템은, 동일한 초점 거리를 갖는 2개의 촬상 장치로서, 이 촬상 장치는 서로 이격되고, 각각의 촬상면이 동일 직선 상에 있도록 배치되는 것인 2개의 촬상 장치; 2개의 기준 화상과 2개의 장소에서의 촬상 장치 중 다른 하나에 의해 촬상되는 2개의 대응 화상을 이용하여, 장소를 기준으로 기준 화상과 대응 화상의 각 쌍에 대하여, 기준 화상과 대응 화상에 공통되는 복수의 특징점들의 위치에 기초하여 계산되는 시차 데이터의 복수의 항목을 계산하고 출력하는 시차 데이터 생성 장치; 및 교정 장치를 포함한다.
시차 데이터 생성 장치는, 교정 장치로부터 보정치를 취득하고, 보정치를 이용하여 시차 데이터의 복수의 항목에 대해 보정을 수행하며, 교정 장치로 보정된 시차 데이터를 출력한다. 이들 처리를 반복함으로써, 항상 교정을 수행할 수 있고, 항상 높은 정밀도로 거리 측정이 수행될 수 있다.
본 발명에 따르면, 교정 장치의 대응부와, 거리 측정 시스템에 포함된 교정 장치의 대응부 및 장치에 의해 실행되는 처리 단계를 포함하는 교정 방법이 제공될 수 있다. 또한, 이 처리 단계를 컴퓨터에 수행시키는 프로그램을 실행하는 것도 가능하다. 이 프로그램은, 컴퓨터 판독 가능한 기록 매체에 기억됨으로써 제공될 수 있다. 따라서, 본 발명에 따르면, 이 프로그램이 기록된 기록 매체를 제공하는 것도 가능하다.
도 1은 거리 측정 시스템과 피사체 사이의 관계를 도시하는 도면이다.
도 2는 거리 측정 시스템의 하드웨어 구성의 예를 도시하는 도면이다.
도 3은 본 발명에 따른 교정 장치를 포함하는 거리 측정 시스템의 기능 블록도이다.
도 4는 거리 측정 시스템에 의해 촬상된 화상의 예를 도시한 도면이다.
도 5는 피사체까지의 거리와 시차 사이의 관계를 도시하는 도면이다.
도 6은 시차와 시차 변화량 사이의 관계를 도시하는 도면이다.
도 7은 교정 장치로서의 시차 오프셋 검출 처리부의 기능 블록도이다.
도 8은 보정치의 신뢰성을 평가하기 위한 시차의 분포를 도시하는 도면이다.
도 9는 보정치의 신뢰성을 평가하기 위한 시차 변화량의 변동을 도시하는 도면이다.
도 10은 시차 데이터 생성 처리의 흐름을 도시하는 순서도이다.
도 11은 보정치 계산 처리의 흐름을 도시하는 순서도이다.
이하, 본 발명을 실시하기 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명할 것이다.
도 2는, 본 발명에 따른 거리 측정 시스템의 하드웨어 구성을 도시하는 도면이다. 이 거리 측정 시스템(10)은 예컨대, 스테레오 카메라이고, 피사체를 촬상하기 위한 2개의 촬상 장치(20, 21); 및 촬상 장치(20, 21)에 의해 촬상된 화상의 화상 데이터의 입력을 수신하고, 화상에 기초하여 시스템으로부터 피사체까지의 거리를 계산하는 거리 계산 장치(30)를 포함한다.
촬상 장치(20, 21)는 동일한 초점 거리를 갖는 카메라이다. 촬상 장치(20, 21)는 일정 거리로 이격되고, 동일 직선 상에 각각의 촬상면이 위치되도록 배치된다. 따라서, 동일한 초점 거리를 갖는 촬상면에 수직인 광축은 서로 평행하다. 촬상 장치(20, 21)로서 사용될 수 있는 카메라는, 본체; 광을 모으기 위한 렌즈; 광량을 조절하기 위한 조리개; 피사체를 발견하기 위한 파인더; 수광된 광을 전기 신호로 변환하기 위한 화상 센서(광학 센서); 및 화상 처리 회로를 포함한다.
화상 센서로부터 출력된 전기 신호는, A/D 컨버터에 의해 디지털 데이터로 변환된 후 화상 처리 회로에 입력되는 아날로그 데이터이다. 화상 엔진이라고도 칭하는 화상 처리 회로는, 거리 계산 장치(30)로 출력하기 위해, 보간 연산, 색 공간 변환, 감마 보정, 수차 보정, 노이즈 감소, 화상 압축 등과 같은 화상 처리를 수행한다.
거리 계산 장치(30)는 촬상 장치(20, 21)를 제어한다. 거리 계산 장치(30)는, 촬상 장치(20, 21)로부터 출력된 처리된 화상 데이터를 수신하고, 이들 2개의 화상 데이터의 항목에 기초하여 피사체까지의 거리를 계산하며, 그 결과를 표시 장치 등에 표시한다. 거리 계산 장치(30)는, 이들 처리를 수행하기 위해 소프트웨어 자원을 포함한다. 거리 계산 장치(30)는, 이들 2개의 화상 데이터의 항목에 기초하여 거리를 계산하기 위해 이 소프트웨어를 실행한다. 이 목적을 위해, 거리 계산 장치(30)는, 소프트웨어를 저장하기 위한 비휘발성 플래시 메모리(31); 소프트웨어를 실행하기 위해 DRAM 메모리(32)를 통해 플래시 메모리(31)로부터 소프트웨어를 판독하기 위한 CPU(33); 및 USB, IEEE1394 등과 같은 접속 인터페이스(34)를 포함한다. 플래시 메모리(31), DRAM 메모리(32), CPU(33) 및 접속 인터페이스(34)는 버스(35)를 통해 접속된다. 소프트웨어가 버스(35)를 통해 판독되고, 제어 신호가 촬상 장치(20, 21)로 전송된다. 화상 데이터는, 접속 인터페이스(34) 및 버스(35)를 통해 촬상 장치(20, 21)로부터 수신될 수 있다.
CPU(33)가 소프트웨어를 실행할 때, 도 3에 도시된 바와 같이, 거리 계산 장치(30)는, 촬상 장치(20, 21)를 제어하기 위한 촬상 제어부(100); 촬상 제어부(100)로부터 입력된 화상 데이터의 화상으로부터 시차 데이터를 생성하기 위한 시차 데이터 생성부(110); 및 촬상 제어부(100)로부터 입력된 기준 화상과, 시차 데이터 생성부(110)로부터 입력된 시차 데이터를 사용하여 보정치로서 시차 오프셋을 계산하기 위한 시차 오프셋 검출부(120)로서 기능한다.
촬상 제어부(100)는, 촬상 장치(20, 21)의 동기, 초기화, 노광 제어 등을 수행하고, 촬상 장치(20, 21)에 의해 촬상된 화상 데이터를 시차 데이터 생성부(110)와 시차 오프셋 검출부(120)에 입력한다. 광학 시스템에 의한 왜곡, 화상의 회전 등과 같이 일반적으로 스테레오 거리 측정에 유효할 수도 있는 시차 오프셋 이외의 화상 보정 처리가 필요에 따라 수행될 수도 있는 것이 알려져 있다. 따라서, 촬상 장치(20, 21)의 화상 엔진이 수행하는 처리가 촬상 제어부(100)에서 수행될 수 있다. 이 경우에, 촬상 장치(20, 21)는 화상 엔진을 포함하지 않을 수도 있다.
시차 데이터 생성부(110)는, 일반적인 스테레오 카메라에 의한 거리 측정 처리와 유사한 처리를 수행한다. 그러나, 시차 오프셋 검출부(120)에 의해 생성된 시차 오프셋을 이용함으로써, 촬상 장치(20, 21)의 위치에 관한 파라미터를 교정하기 위한 보정치로서, 하드웨어의 노화에 의한 측정 정밀도 열화를 감소시킬 수 있다. 이 처리에 관하여는 후술한다.
시차 오프셋 검출부(120)는, 기준 화상과 시차 데이터를 이용하여 보정치로서의 시차 오프셋을 계산하는 교정 장치로서 기능하고, 계산된 시차 오프셋을 시차 데이터 생성 장치로서 기능하는 시차 데이터 생성부(110)로 보내, 계산된 시차 오프셋은 이후의 시차 데이터 생성 처리를 받는다.
여기서, 시차 오프셋은, 스테레오 기선 방향으로 전체로서의 촬상 장치(20)의 촬상된 화상의 평행 이동을 나타내는 오차이다. 시차 오프셋은, 광학 중심에 대한 화상 센서의 이동으로부터 기인한다. 또한, 스테레오 기선 방향에 수직인 광축 주위의 전체로서의 촬상 장치(20)의 회전에 의한 화상 변형, 엄밀하게는 투시 변환에 의한 사다리꼴 왜곡은, 매우 작은 회전 각도의 경우에는 근사적으로 평행 이동으로 간주될 수 있어, 이것은 시차 오프셋으로서 취급될 수 있다. 시차 오프셋이 스테레오 카메라의 시차에 직접 가산되어, 특히 원거리에서의 거리 측정 정밀도에 중대한 영향을 가지기 때문에, 시차 오프셋의 보정이 중요하다는 것은 알려져 있다.
본 발명에서는, 상하 방향으로의 변위, 면내 회전 등과 같은 다른 위치 어긋남은 없는 것으로 가정한다. 실제로는, 이러한 다른 위치 어긋남은 다른 교정 기술을 이용함으로써 보정되는 것이 바람직하다. 이하, 시차 오프셋 검출 처리에 관하여 상세히 설명한다.
상술된 바와 같이, 기선 길이가 B, 초점 거리가 f, 거리가 d, 시차가 p라고 가정하면, 식 1이 주어진다. 이 식 1의 미분에 의해, 거리 d, 기선 길이 B, 초점 거리 f, 시차 p를 이용하여 다음의 식 2가 주어질 수 있다.
Figure pct00002
(식 2)
식 2에서, p'은 시차 p의 거리 d에 대한 미분이어서, 거리가 일정량, 예컨대 1m 변화한 경우의 시차 변화량을 나타낸다. 거리에서의 변화에 대한 변화량은 거리에 따라서 변하지만, 식 2는, 시차 변화량이 항상 시차의 제곱에 비례하는 것을 나타낸다.
자동차가 직진하는 경우에 자동차에 설치된 촬상 장치(20, 21)가 화상을 촬상하면, 시야 내의 모든 정지 물체는 일정한 속도로 촬상 장치(20, 21)에 접근한다. 예컨대, 도 4에 도시된 풍경을 촬상하는 경우를 생각해보자. 시야 내에서 촬상된 선행차(200)와 대향차(210)는 정지 지면(220)에 대하여 이동하여, 이것들은 이동체이다. 그 밖에 지면의 명암 패턴(230), 도로 주변 건물(240), 교통 표지(250) 및 산(260)과 같은 배경 풍경 등 시야 내의 많은 물체가 정지하고 있다. 정지 물체는 일정한 속도로 자동차에 접근하는 것으로 보일 수 있다. 따라서, 정지 물체의 위치에 관계없이, 식 2가 유효할 것이다. 따라서, 도로 주변 건물(240)의 특징점과 같은 촬상된 화상에서의 각 특징점에 대하여 시차와 시차 변화량이 결정되고, 도시되면, 이것들이 식 2를 나타내는 곡선 상에 있을 것이 예측된다. 반대로, 선행차(200) 등과 같은 이동체에 관한 시차 변화량은, 동일한 시차(거리)에 존재하는 정지 물체의 시차 변화량보다 더 크거나 더 작아서, 곡선으로부터 떨어져 도시된다. 따라서, 시차 변화량이 곡선 상에 있는지 여부에 기초하여 물체가 이동체인지 정지 물체인지 결정할 수 있다.
이하, 시차 및 시차 변화량을 계산하는 방법에 관해서 설명한다. 도 5는, 광학 중심으로부터 피사체까지의 거리 d와 시차 p 사이의 관계를 도시하는 도면이다. 설명을 간단히 하기 위해서, 비례 상수는 1이라고 가정한다. 도 5에 도시된 바와 같이, p0, p1이, 거리 d0, d1의 이들 2개의 지점에서 각각 측정된 시차를 나타낼 때, 관계 pi=1/di를 이용하여, 시차들 사이의 차와 거리들 사이의 차의 비는 다음 식 3에 의해 주어질 수 있다.
Figure pct00003
(식 3)
식 3에 따르면, 곡선 p=1/d 상에서 이 기울기를 갖는 점은, 관계
Figure pct00004
을 이용하여, 식 4에 의해 주어진 거리 및 식 5에 의해 주어진 시차 p를 갖는다.
Figure pct00005
(식 4)
Figure pct00006
(식 5)
따라서, 2개의 지점에서 측정된 시차가 각각 p0, p1이면, 점들 사이의 대표적인 시차는 식 5에 의해 주어지고, 시차 변화량은 식 6에 의해 계산될 수 있다.
Figure pct00007
(식 6)
식 3과 대조적으로, 이 식 6은, 거리 변화 (d1-d0)에 의해 나누어지지 않는다. 이것은 자차의 이동거리가 화상만으로부터는 알려지지 않기 때문이다. 따라서, 이 p'은, 이들 2개의 지점 사이의 거리에 따라서 상수배의 불확정 요소를 포함한다. 그러나, 동일한 이동 거리에서의 한 쌍의 대응 화상에 대하여 식 2가 유효하기 때문에 이 식이 성립할 수 있고, 2개의 다른 점에서 측정 데이터와의 비교는, 후술된 2차 곡선의 추출 후에 높이를 정규화함으로써 수행될 수 있다. 또한, 시차 오프셋이 포함되지 않으면, 식 5가 유효하지만, 실제로 측정된 시차 p0, p1은 시차 오프셋을 포함하기 때문에, 엄밀하게는 식 5가 성립하지 않는다. 따라서, 계산을 단순화하기 위하여, 식 5는 다음 식 7로 대체될 수 있다.
Figure pct00008
(식 7)
이하, 시차 오프셋을 계산하는 방법에 관해서 설명한다. 실제로 측정된 시차는 시차 오프셋을 포함하기 때문에, 시차 p는 poff만큼 참의 시차 pt로부터 어긋난다.
Figure pct00009
(식 8)
한편, 시차 변화량 p'은, 식 6에 도시된 바와 같이, 뺄셈에서 소거된 시차 오프셋을 포함하는 시차들 간의 차이고, 따라서 시차 변화량 p'은 참의 시차 변화량과 동일한 것으로 생각될 수 있다. 따라서, 시차 오프셋을 포함하는 시차와 시차 변화량 사이의 관계는, 식 2의 이상적인 관계에 대하여 poff만큼 p축 방향으로의 오프셋인 곡선 상에 있다. 이 곡선의 식은 다음과 같이 주어질 수 있다.
Figure pct00010
(식 9)
식 9의 곡선은, 허프(Hough) 변환 등과 같은 방정식에 의해 검출된 선을 표현함으로써 측정된 시차와 시차 변화량 사이의 관계로부터 추출된다. 그 후에, 시차 오프셋이 p축 방향으로의 변위, 즉 곡선의 x절편으로서 계산될 수 있다. 대안적으로, 식 9의 양측의 제곱근을 취하고, 시차 p와 p' 사이의 관계를 나타내기 위해 허프 변환에 의해 직선을 추출하는 것도 가능하다.
다음에, 정규화와 축적에 관해서 설명한다. 계수 a는, 식 2의 BF 및 2개의 촬상 지점 사이의 거리, 즉 식 6으로부터 얻어진 거리 p'에 따른 비례 상수이다. 2개의 지점 사이의 거리가 증감할 때 시차 변화량 p'은 상수배가 된다. 따라서, p'값의 정규화, 즉 p'을 a로 나눈 양이 기억되고, 축적된다. 이 양 p'nor은 다음과 같이 주어질 수 있다.
Figure pct00011
(식 10)
이와 같이 정규화된 시차 변화량 p'nor은 2개의 지점 사이의 거리에 의존하지 않는다. 따라서, 다수의 정규화된 시차 변화량이 시차와 관련되는 데이터로서 기억되면, 이 기억된 데이터에 기초하여 시차 오프셋을 정확하게 계산할 수 있다.
상술된 바와 같이, 본 발명에 따른 교정 장치로서 이용될 수 있는 시차 오프셋 검출부(120)는 다음 각부를 포함할 수 있다. 도 7은 시차 오프셋 검출부(120)의 구성을 도시하는 도이다. 시차 오프셋 검출부(120)는, 촬상 제어부(100)로부터 기본 화상 및 시차 데이터 생성부(110)로부터 시차를 각각 취득하는 화상 취득부(300); 특징점 탐색부(310); 시차 계산부(320); 보정치 계산부(330)를 포함한다.
화상 취득부(300)는, 임의의 2개의 지점에서 촬상 장치들(20, 21) 중 하나의 촬상 장치(20)에 의해 촬상되는 기준 화상으로서의 2개의 화상을 취득한다. 또한, 화상 취득부(300)는 시차 데이터의 복수의 항목을 취득한다. 시차 데이터 생성부(110)는, 동일한 2개의 지점에서 촬상 장치들(20, 21) 중 나머지 다른 하나의 촬상 장치(21)에 의해 촬상되는 대응 화상으로서의 2개의 화상을 취득한다. 시차 데이터는, 이들 2개의 대응 화상과 촬상 제어부(100)로부터 취득된 이들 2개의 기준 화상을 이용하여, 각 지점에 대해 기준 화상과 대응 화상에 공통되는 복수의 특징점으로부터 시차 데이터 생성부(110)에 의해 계산된다.
특징점 탐색부(310)는, 화상 취득부(300)에 의해 취득된 이들 2개의 기준 화상에 공통되는 복수의 특징점을 탐색한다. 특징점은, 건물, 도로 교통 표지, 산 등의 풍경, 노면 상의 명암 패턴, 선행차, 대향차 등이다. 시차 계산부(320)는, 탐색된 각 특징점에 대해 이들 2개의 기준 화상에서의 각 특징점에 관한 시차 데이터에 기초하여, 시차와 그 시차에 관련된 시차 변화량을 각각 계산한다. 구체적으로, 시차 계산부(320)는, 식 5를 이용하여 각 지점에서의 시차들로부터 대표적인 시차와, 식 6 또는 7을 이용하여 대표적인 시차에 관련된 시차 변화량을 계산한다. 보정치 계산부(330)는, 시차들에 기초하여 촬상 장치들(20, 21)의 위치에 관한 파라미터에 대한 보정치와, 시차 계산부(320)에 의해 계산된 시차 변화량들을 계산한다.
이러한 방식으로, 시차들 및 시차 변화량들이 계산되고, 촬상 시점에 지점들 사이의 거리로부터 보정치가 독립적으로 계산될 수 있기 때문에, 차량 속도 센서 등과 같은 자신의 위치를 측정하는 센서는 불필요하고, 특정한 형상을 갖는 피사체가 존재하지 않더라도 안정적으로 보정치를 계산할 수 있다. 따라서, 정기적으로 반복 수행될 수 있고, 필요에 따라 보정을 수행함으로써, 거리 측정의 정밀도가 일정하게 유지될 수 있다.
구체적으로, 보정치 계산부(330)는, 계산된 시차들 및 시차 변화량들을 이용하여 모델 곡선을 생성하고, 모델 곡선으로부터 보정치, 즉 시차 오프셋을 계산한다. 이 모델 곡선은 2차 곡선일 수 있고, 2차 함수로서 표현될 수 있다. 따라서, 시차 방향으로의 변위를 보정치로서 계산할 수 있다.
시차 오프셋 검출의 원리 및 이 원리를 이용하는 교정 장치의 구성이 상술되었지만, 이 원리를 이용하여 계산된 보정치의 신뢰성을 평가하는 것이 바람직하다. 구체적으로, 도 4에 도시된 바와 같이, 촬상된 화상은 근거리로부터 원거리까지 분포된 정지 피사체를 포함한다. 이동 피사체의 면적이 비교적 작으면, 시차들과 시차 변화량들 사이의 관계는 도 6에 도시된 바와 같이 분포되고, 식 9에 의해 표현된 모델 곡선이 추출될 수 있다.
예컨대, 촬상 장치들(20, 21)의 전방 근거리에 선행차(200)가 존재하고, 시야의 대부분을 차지하는 경우에, 특정한 시차 주변의 데이터만이 측정되면, 도 6의 곡선 상부나 하부에 도시된 바와 같이, 추출된 곡선은 큰 오차를 포함할 가능성이 있다. 이러한 악조건을 검출하고, 그것을 배제하는 것이 바람직하다.
따라서, 분산을 평가하여 추출된 모델 근방의 데이터는, 시차 p가 넓게 분포되는지 여부가 확인된다. 예컨대, 도 8에 도시된 바와 같이, 시차의 범위가 정해지고, 0과 1로 표시된 이들 2개의 시차 영역에 전 측정 데이터 중 20%보다 많은 데이터점이 존재하면, 신뢰성 있다고 판정된다. 도 8에 도시된 예에서는, 1로 표시된 시차 영역에서만 데이터가 존재하기 때문에, 신뢰성이 없다고 판정된다.
직진하는 차량에 설치된 거리 측정 시스템으로 정지 물체가 촬상되는 경우에 관해서 고려했다. 그러나, 직진하는 차량의 경우에도, 상하 방향이나 좌우 방향으로 미세하게 회전할 수 있어, 모든 정지 물체에 대한 시차 변화량이 일정하지 않다. 또한, 저속도로 이동하는 사람에 관해 측정된 특징점은 이상적인 모델 곡선 근방에 있을 수도 있어, 근사에 악영향을 준다. 이러한 이유로, 실용적인 교정 처리를 실현하기 위하여, 직진하는 정지 물체 이외의 피사체에 의한 악영향을 줄일 필요가 있다.
따라서, 추출된 모델 곡선 근방의 시차 변화량의 분포가 조사된다. 측정된 시차들의 변화는, 광학 센서의 노이즈 특성과 광학 시스템의 결상 특성에 의존하고, 측정될 수 있다. 따라서, 모델 곡선에 대한 시차 변화량 데이터의 분산이 미리 예상된 변동보다 충분히 더 크면, 이 데이터는 본래 곡선 상에 있지 않고 이 데이터는 시차 오프셋을 계산할 때 제거된다고 가정한다.
변동을 갖는 신뢰성 평가의 개념이 도 9에 도시된다. 분명하게 정지하지 않은 특징점을 제거하기 위하여, p-p' 공간에 도시된 특징점 중, 추출된 모델 곡선 근방의 데이터만이 추출된다. 도 9에 도시된 바와 같이, 모델 곡선에 대하여 상하 범위 p'tol(즉, 파선들 사이의 범위) 내의 데이터점만이 추출되고, 백색 원으로 표시된 다른 데이터는 제거된다.
추출된 특징 데이터에 대해, 측정과 근사 모델 사이의 차분의 평균 RMS가 계산되고, 평균 RMS가 미리 정해진 임계치 이하이면, 신뢰성 있다고 판정된다. 이것은 다음의 식 11로 표현될 수 있다.
Figure pct00012
(식 11)
임계치는 검출된 시차들의 변동에 따라서 미리 설정될 수도 있다. 임계치는 거리나 휘도에 따라서 변화될 수도 있다.
상술된 바와 같이, 2개의 파라미터, 즉 시차와 시차 변화량에 의해 정의된 공간에 착안된다. 이 파라미터 공간을 이용함으로써, 다음 이점이 얻어질 수 있다.
(1) 시차 변화량은 시차 오프셋으로부터 독립적이다.
시차 변화량은, 식 6에 의해 표현된 바와 같은 측정된 시차들 사이의 차분이며, 따라서 시차 오프셋의 영향이 배제될 수 있다.
(2) 직접 시차 오프셋을 표현할 수 있다.
식 6에 의해 표현된 바와 같이, 모델 곡선의 x절편으로서의 시차 오프셋을 계산할 수 있다.
(3) 정규화를 수행할 수 있다.
시차 변화량은, 자차의 이동 거리와 피사체까지의 거리로 변화할 수도 있지만, p2에 대한 p'의 비례 관계는 변하지 않는다. 따라서, 이동거리가 알려지지 않아도, 비례 상수를 정규화함으로써 기록이 가능해진다.
본 발명에 따르면, 이러한 성질을 이용하기 위하여, 다수의 측정 지점 및 특징점 데이터를 활용함으로써, 시차 오프셋을 정확히 추정할 수 있다.
따라서, 시차 오프셋 검출부(120)는, 도 7에 도시된 각부 외에, 시차들의 분포와 모델 곡선에 대한 시차 변화량들의 분산에 기초하여, 보정치의 신뢰성 유무를 평가하는 신뢰성 평가부를 포함할 수 있다. 이 신뢰성 평가부는 상술된 바와 같이 신뢰성을 평가한다. 신뢰성 평가부가 신뢰성을 평가하기 때문에, 촬상 장치들(20, 21) 이외의 외부 센서 등에 의존하지 않고 화상 자체로부터 보정치를 계산하는 데에 악영향을 미치는 조건을 검출할 수 있다. 따라서, 적용 가능성이 높고, 높은 정밀도로 교정이 실행될 수 있다.
구체적으로, 신뢰성 평가부는, 계산된 시차 변화량이 모델 곡선 상의 시차 변화량에 대하여 미리 정해진 범위 내에 있는 데이터만을 추출하고; 그 이외의 데이터를 배제하며; 미리 정해진 범위 내의 데이터의 시차 변화량과 모델 곡선 상의 시차에 대해 대응하는 시차 변화량 사이의 차분의 평균 RMS를 계산하고; 이 계산된 평균 RMS가 임계치 이하인지 여부를 판정한다. 이것이 임계치 이하이면, 신뢰성 있다고 판정된다. 미리 정해진 범위는 축적된 데이터나 실제적인 경험에 기초하여 결정될 수 있고, 도 9의 경우에 상하 범위 p'tol에 대응한다.
또한, 신뢰성 평가부는, 미리 규정된 시차 범위에 포함된 시차들의 비율을 계산하고, 이 계산된 비율이 미리 정해진 비율 이상인지 여부를 판정한다. 이 시차 범위는, 도 8의 경우에 0 및 1로 표현되는 시차 범위에 대응한다. 계산된 비율이 미리 정해진 비율 이상이면, 신뢰성 있다고 판정된다. 이것은, 데이터가 더 넓은 시차 범위 위에 분포되면, 따라서 신뢰성이 더 높아지기 때문이다. 이들 2개의 평가 기준이 적용될 수도 있고, 이들 2개의 평가 기준이 만족되면 신뢰성이 있다고 판정하는 것이 가능하고, 바람직하다. 이들 2개의 평가 기준으로 판정을 수행함으로써, 보다 높은 정밀도로 교정을 실행할 수 있다.
또한, 시차 오프셋 검출부(120)는, 시차 변화량을 정규화하는 정규화 처리부; 및 정규화된 시차 변화량을 시차와 관련되도록 기억하는 데이터 기억부를 포함할 수 있다. 이 경우에, 보정치 계산부(330)는, 시차들 및 데이터 기억부에 기억된 정규화된 시차 변화량에 기초하여 촬상 장치들(20, 21)의 위치에 관한 파라미터를 위한 보정치를 계산할 수 있다.
정규화 처리부는, 모델 곡선을 나타내는 2차 함수의 비례 상수로 시차 변화량을 나눔으로써 정규화된 시차 변화량을 계산하기 위해 식 10을 이용한다. 이러한 정규화로, 계산을 단순화하고, 다수의 기억된 데이터의 항목이 이용될 수 있기 때문에, 보다 높은 정밀도로 교정을 수행할 수 있다.
신뢰성 평가부는, 데이터 기억부에 기억된 데이터의 항목의 개수에 기초하여, 보정치의 신뢰성 유무를 평가할 수 있다. 이것은, 데이터의 항목의 개수가 증가하면, 모델 곡선을 추출할 때 도시된 점의 개수가 증가하고, 모델 곡선의 정밀도가 증가하며, 모델 곡선으로부터 허프 변환에 의해 얻어진 시차 오프셋의 정밀도가 증가하고, 따라서 보정치의 신뢰성이 증가하기 때문이다.
이하, 거리 계산 장치(30)에서 수행된 처리에 관해서 상세히 설명한다. 도 10은, 시차 데이터 생성부(110)에 의해 실행된 시차 데이터 생성 처리의 흐름을 도시하는 순서도이다. 처리 과정은 단계 1000에서 시작한다. 단계 1000에서, 평행 배치된 이들 2개의 촬상 장치(20, 21)에 의해 동시에 촬상된 화상이 수신된다. 다음에, 특징점이 화상 내에서 탐색된다. 우선, 단계 1020에서, 휘도에서의 변화가 큰 특징점이 화상들 중 하나(즉, 기준 화상)로부터 추출된다. 다음에, 단계 1030에서, 이 기준 화상에서 대응하는 특징점 근방의 영역(블록)으로서 동일한 피사체의 특징점의 위치가 나머지 다른 하나의 화상(즉, 대응 화상)에서 탐색된다. 이 대응하는 특징점의 탐색은, SAD(Sum of Absolute Difference), P0C(Phase-Only Correlation)등과 같은 주지 기술을 이용함으로써 수행될 수 있다.
SAD에 따르면, 화상들 사이의 유사성을 평가하기 위하여, 비교될 화상으로부터 영역이 추출되고; 추출된 영역에 대한 휘도차의 합이 결정되며; 최소치를 부여하는 추출된 영역이 탐색되고, 이것은 화소 단위로 화상들 사이의 변화를 결정할 수 있게 한다. POC에 따르면, 기준으로서의 화상과 비교될 화상 사이의 상관(즉, 유사성)을 결정하기 위하여, 디지털화된 화상이, 진폭 정보(농담 데이터) 및 위상 정보(화상의 윤곽 데이터)로 분해되기 위해 푸리에 변환에 의해 수학적으로 처리되고; 이 위상 정보만을 사용하여 상관이 순간적으로 화상 처리된다.
특징점이 탐색된 후, 단계 1040에서, 시차가 계산된다. 시차는, 특징점 탐색에 의해 얻어진 이들 2개의 화상에서의 대응하는 특징점의 위치들 사이의 차분을 취함으로써 얻어진 거리로서 계산될 수 있다. 또한, 시차 오프셋 검출부(120)로부터 입력된 시차 오프셋을 감산함으로써 시차 오프셋 보정이 수행된다. 이것은, 이전의 계산에서 계산된 시차 오프셋에 의해 변위를 보정한다. 시차 오프셋 검출 처리의 결과가 출력될 때까지는, 보정치를 위해 이용 가능한 시차 오프셋이 없기 때문에, 초기값으로서 0이 이용된다는 것이 주목된다.
시차가 계산될 때, 단계 1050에서, 시차 데이터가 출력된다. 즉, 보정된 시차량의 화소치를 갖는 시차 화상이 시차 데이터로서 출력될 수 있다. 출력 후, 단계 1060에서, 이 처리 과정이 종료한다. 이 처리 과정을 정기적으로 반복 실행함으로써 항상 촬상 장치들(20, 21)의 전방 풍경에 관한 시차 데이터의 출력을 계속할 수 있다.
시차 오프셋 검출부(120)는, 촬상 장치들(20, 21)의 위치에 관한 파라미터를 보정하기 위한 보정치로서의 시차 오프셋을 계산하기 위해 시차 데이터 생성부(110)로부터 입력된 시차 데이터를 이용한다. 시차 오프셋 검출 처리는 온도 변화 등에 의존하기 때문에, 거리 측정 시스템의 동작 중에 정기적으로 이것이 반복 수행된다. 도 11은, 시차 오프셋 검출부(120)에 의해 실행된 시차 오프셋 검출 처리의 흐름을 도시하는 순서도이다.
이 처리 과정은 화상이 수신되는 단계 1100에서 시작한다. 수신된 화상은, 촬상 제어부(100)로부터의 2개의 기준 화상 및 시차 데이터 생성부(110)로부터의 시차 데이터, 즉 기준 화상에 대응하는 2개의 시차 화상을 포함한다.
다음에, 단계 1120에서, 2개의 기준 화상 사이에서 서로 대응하는 특징점이 탐색된다. 시차 데이터 생성부(110)에 의해 탐색하는 특징점의 경우에서와 같이, 최소치를 부여하는 위치를 탐색하기 위해 블록마다 SAD가 계산된다. 그러나, 도 10에서의 화상의 특징점 탐색과는 대조적으로, 방사상의 탐색 범위가 설정된다. 이러한 탐색 범위를 설정함으로써, 특징점의 탐색 처리를 위한 연산량을 줄이고, 횡방향으로 이동하는 물체나 자차의 회전을 어느 정도 배제할 수 있다.
단계 1130에서, 각 특징점에 대해, 식 5를 이용하여 대응하는 2개의 시차에 기초하여 대표적인 시차가 계산되고, 식 6을 이용하여 시차 변화량이 계산된다. 이후에, 단계 1140에서, 계산된 시차 및 시차 변화량에 적용된 허프 변환에 의해 식 9에 의해 표현된 것과 같은 2차 곡선이 추출된다. 구체적으로, 파라미터 a 및 poff(이하, b로 대체)에 의해 정의된 2차원 평면이, 미리 정해진 범위 내에서 미리 정해진 간격으로 다수의 영역으로 분할되고, 각 영역에 대응하는 2차원 배열이 메모리 내에 준비된다.
방정식 p'=a(p-b)2은 a-b 공간 내의 곡선으로서 간주된다. 측정된 각 p 및 p'은 a-b 공간을 나타내는 2차원 배열에서의 곡선
Figure pct00013
상에 도시된다. 모든 측정된 p 및 p'이 도시될 때, 도시된 p 및 p'의 개수가 최대인 영역에 대응하는 a 및 b의 쌍이 다수의 측정치 p 및 p'을 지나는 곡선을 나타내는 것으로 생각될 수 있다. 따라서, a 및 b의 쌍이 모델 곡선으로서 선택될 수 있다. 여기서 얻어진 파라미터 b는 시차 보정 처리에 이용될 수 있는 시차 오프셋이다.
이후에, 단계 1150에서, 얻어진 파라미터의 신뢰성이 평가된다. 예컨대, 다음의 2개의 평가 기준이 이용될 수 있다. 하나는 시차 차분의 분산이다. p-p' 공간 내에 도시된 특징점 데이터 중, 모델 곡선에 대하여 상하 방향으로 정의된 미리 정해진 범위 내의 데이터점만이 추출된다. 이후에 추출된 데이터에 대해, 측정과 근사된 모델 사이의 차분의 평균 RMS E가 계산되고, E가 미리 정해진 임계치 내인지, 즉 도 9의 경우에서의 p'tol이, 예컨대 0.3 화소 이하인지 여부가 판정된다. p'tol이 0.3 화소 이하이면, 신뢰성이 있다고 판정된다.
또 다른 기준은 거리 범위의 분포와 관련된다. 도 8에 도시된 바와 같이, 시차의 범위가 정의되고, 전체 측정 데이터의 20%보다 더 많은 데이터점이, 0으로 표시된 시차 영역(예컨대, 5 화소 이하)과, 1로 표시된 시차 영역(예컨대, 10 화소 이상)에 각각 존재하면, 신뢰성이 있다고 판정된다.
이 방식으로, 추출된 모델 파라미터의 신뢰성이 2개의 관점으로부터 판정된다. 이들 2개의 관점 모두에 의해 신뢰성이 있다고 판정된 경우만, 처리 과정이 단계 1160으로 진행한다. 한편, 신뢰성이 없다고 판정되면, 측정 데이터가 폐기되고, 다음 화상의 입력을 수신하기 위해 처리 과정이 단계 1110으로 되돌아간다.
단계 1160에서는, 정밀도를 향상시키기 위하여 다수의 측정 데이터의 항목이 축적된다. 구체적으로, 신뢰성 평가의 단계 1150에서의 모델 곡선 근방의 데이터로서 추출된 측정 데이터의 항목 p'은, 얻어진 모델 파라미터 a로 식 1O을 이용하여 나누어지고, 결과로서의 p'nor이 원래의 p와 함께 쌍으로서 기억된다.
단계 1170에서는, 단순히, 축적된 데이터의 항목의 개수가 일정 임계치를 초과하면, 신뢰성이 높다고 판정되고, 처리 과정이 다음 단계 1180으로 진행한다. 한편, 이 개수가 임계치를 초과하지 않으면, 데이터를 기억한 채로 화상의 입력을 수신하기 위해 처리 과정이 단계 1110으로 되돌아간다. 이 예에서는 단지 축적된 데이터 항목의 개수가 판정되지만, 단계 1150의 경우에서와 같이, 2개의 평가 기준을 적용함으로써 판정하는 것도 가능하다.
단계 1180에서는, 모델 피팅이 최소 제곱 근사를 이용하여 수행될 수 있다. 이것은, 이동체에 관한 특징점이 이미 제거되었기 때문에 허프 변환과 같은 이상치(outliers)의 제거를 위한 기능이 불필요하기 때문이고, 허프 변환이 이용되면, 불연속적인 파라미터를 얻을 수 없다.
식 9를 이용하여 축적된 데이터에 대해 최소 제곱 근사가 수행된다. 그러나, 데이터가 이미 정규화되었기 때문에, 파라미터 a가 1로 고정된다. 따라서, 파라미터 poff에 대해서만 최적화가 수행된다. 이것의 결과로서, 촬상된 화상의 개수에 기초하여 시차 오프셋이 추정된다. 그 다음에, 이후의 처리를 위해, 이 단계의 마지막으로, p 및 p'의 쌍의 축적된 데이터 항목이 삭제된다.
단계 1190에서는, 이와 같이 얻어진 시차 오프셋 poff가 시차 데이터 생성부(110)로 출력되고, 단계 1200에서 처리 과정이 종료한다. 출력된 시차 오프셋은, 시차 데이터 생성부(110)에서 시차 데이터를 생성할 때 수행된 시차 오프셋 보정을 위해 이용된다.
이 방식으로, 시차 오프셋이, 시차 데이터 생성부(110)로 계속적으로 출력되기 위해 계산되기 때문에, 카메라 파라미터가 계속적으로 교정될 수 있어, 거리 측정의 고정밀도가 유지될 수 있다.
상술된 바와 같이, 시차들 및 시차 변화량들이 계산되고, 촬상 시점에서 지점들 사이의 거리로부터 독립적으로 이들 데이터의 항목에 기초하여 시차 오프셋이 계산될 수 있기 때문에, 카메라 이외의 차량 속도 센서 등과 같은 자신의 위치를 측정하는 센서에 의존하지 않고, 특정한 형상을 갖는 피사체의 존재를 가정하지 않고, 동작 중에 촬상된 다양한 화상을 이용하여 안정적으로 시차 오프셋을 검출할 수 있다.
또한, 촬상 장치들(20, 21) 이외의 외부 센서에 의존하지 않고 화상 자체로부터 계산에 악영향을 미치는 조건이 검출된다. 따라서, 적용 가능성이 높고, 고정밀도로 교정이 실행될 수 있다.
또한, 다수의 프레임이 이용되기 때문에, 보다 높은 정밀도를 갖는 교정 장치가 실현될 수 있다. 또한, 카메라 화상 자체로부터 보정치가 계산되기 때문에, 적용 가능성이 높고, 고정밀도를 갖는 교정 시스템이 실현될 수 있다.
본 발명은 바람직한 실시예를 참조하여 개시된다. 그러나 본 발명은 상술된 실시예에 한정되지 않는 것으로 이해되어야 하고, 다른 실시예, 다른 실시예의 변경, 추가, 삭제가 당업자에 의해 고려되는 범위 내에서 이루어질 수도 있다. 따라서, 본 발명은, 상술된 교정 장치 및 교정 방법 외에, 이 방법을 실행하기 위한 컴퓨터 판독 가능한 프로그램 및 이 프로그램이 기록된 기록 매체를 제공할 수 있다.
본 출원은, 2010년 9월 13일에 출원된 일본 우선권 출원 제2010-204328호에 기초하고, 이것의 전체 내용은 참조로서 포함된다.
10 거리 측정 시스템 20, 21 촬상 장치
30 거리 계산 장치 31 플래시 메모리
32 DRAM 메모리 33 CPU
34 접속 인터페이스 35 버스
100 촬상 제어부 110 시차 데이터 생성부
120 시차 오프셋 검출부 200 선행차
210 대향차 220 지면
230 명암 패턴 240 건물
250 교통 표지 260 산
300 화상 취득부 310 특징점 탐색부
320 시차 계산부 330 보정치 계산부

Claims (22)

  1. 이동체에 설치되고, 2개의 촬상 장치를 이용하여 거리 측정을 행하는 거리 측정 시스템에서 설정되는 상기 촬상 장치의 위치에 관한 파라미터를 교정하기 위한 교정 장치에 있어서,
    2개의 장소에서 상기 촬상 장치 중 하나에 의해 촬상되는 2개의 기준 화상과, 상기 2개의 기준 화상과 상기 2개의 장소에서 상기 촬상 장치 중 다른 하나에 의해 촬상되는 2개의 대응 화상을 이용하여, 장소를 기준으로 상기 기준 화상과 상기 대응 화상의 각 쌍에 대하여, 상기 기준 화상과 상기 대응 화상에 공통되는 복수의 특징점들의 위치에 기초하여 계산되는 시차 데이터의 복수 항목의 입력을 수신하는 화상 취득부;
    상기 2개의 기준 화상에 공통되는 상기 복수의 특징점을 탐색하는 특징점 탐색부;
    상기 탐색된 특징점 각각에 대하여, 상기 2개의 기준 화상에서의 각 특징점에 관한 상기 시차 데이터에 기초하여, 시차들과 상기 시차들의 시차 변화량들을 계산하는 시차 계산부; 및
    상기 계산된 시차들과 상기 계산된 시차들의 시차 변화량들에 기초하여, 상기 촬상 장치의 위치에 관한 상기 파라미터의 보정치를 계산하는 보정치 계산부
    를 포함하는 교정 장치.
  2. 제1항에 있어서, 상기 보정치 계산부는, 상기 계산된 시차들과 상기 계산된 시차들의 시차 변화량들을 이용하여 모델 곡선을 작성하고, 상기 모델 곡선에 기초하여 상기 보정치를 계산하는 것인 교정 장치.
  3. 제2항에 있어서, 상기 모델 곡선은 2차 곡선이고, 상기 모델 곡선으로 시차 방향에서의 변위가 보정치로서 계산되는 것인 교정 장치.
  4. 제2항에 있어서, 상기 시차들의 분포 및 상기 모델 곡선에 대한 상기 시차 변화량들의 분산에 기초하여, 상기 보정치의 신뢰성 유무를 평가하는 신뢰성 평가부를 더 포함하는 교정 장치.
  5. 제4항에 있어서, 상기 신뢰성 평가부는, 상기 모델 곡선 상의 상기 시차 변화량들로부터 미리 정해진 범위 내에 있는 상기 시차 변화량들의 데이터만을 추출하고,
    상기 추출된 데이터의 시차 변화량들과 상기 모델 곡선 상의 대응 시차들에 대한 시차 변화량들 사이의 차분의 평균 RMS(average root-mean-square)를 계산하고,
    상기 계산된 평균 RMS가 임계치 이하인지 여부를 판정하는 것인 교정 장치.
  6. 제4항에 있어서, 상기 신뢰성 평가부는, 규정된(specified) 시차 범위에 포함되는 상기 시차들의 개수의 비율을 계산하고, 상기 계산된 비율이 미리 정해진 비율 이상인지 여부를 판정하는 것인 교정 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 시차 변화량들을 정규화하는 정규화 처리부; 및
    상기 정규화된 시차 변화량들이 상기 대응 시차들과 관련되도록, 상기 정규화된 시차 변화량들을 기억하는 데이터 기억부를 더 포함하고,
    상기 보정치 계산부는, 상기 기억된 시차들 및 상기 정규화된 시차 변화량들에 기초하여 상기 촬상 장치의 위치에 관한 상기 파라미터에 대한 보정치를 계산하는 것인 교정 장치.
  8. 제7항에 있어서, 상기 정규화 처리부는, 상기 모델 곡선을 나타내는 2차 함수의 비례 상수로 상기 시차 변화량을 나눔으로써, 상기 정규화된 시차 변화량을 계산하는 것인 교정 장치.
  9. 제4항에 있어서, 상기 신뢰성 평가부는, 상기 시차 변화량들이 상기 대응 시차들과 관련되도록 상기 시차 변화량들을 기억하는 상기 데이터 기억부에 기억된 데이터 항목의 개수에 기초하여 상기 보정치의 신뢰성을 평가하는 것인 교정 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 기재된 교정 장치;
    동일한 초점 거리를 갖는 2개의 촬상 장치로서, 상기 촬상 장치는 서로 이격되고, 각각의 촬상면이 동일 직선 상에 있도록 배치되는 것인 2개의 촬상 장치;
    상기 2개의 기준 화상과 상기 2개의 장소에서 상기 촬상 장치 중 다른 하나에 의해 촬상되는 2개의 대응 화상을 이용하여, 장소를 기준으로 상기 기준 화상과 상기 대응 화상의 각 쌍에 대하여, 상기 기준 화상과 상기 대응 화상에 공통되는 복수의 특징점들의 위치에 기초하여 계산되는 시차 데이터의 복수의 항목을 계산하고 출력하는 시차 데이터 생성 장치
    를 포함하는 거리 측정 시스템.
  11. 제10항에 있어서, 상기 시차 데이터 생성 장치는, 상기 교정 장치로부터 상기 보정치를 취득하고, 상기 보정치를 이용하여 상기 시차 데이터의 복수의 항목에 대해 보정을 수행하며, 상기 교정 장치로 보정된 상기 시차 데이터를 출력하는 것인 거리 측정 시스템.
  12. 이동체에 설치되고, 2개의 촬상 장치를 이용하여 거리 측정을 행하는 거리 측정 시스템에서 설정되는 상기 촬상 장치의 위치에 관한 파라미터를 교정하기 위한 교정 방법에 있어서,
    2개의 장소에서 상기 촬상 장치 중 하나에 의해 촬상되는 2개의 기준 화상과, 상기 2개의 기준 화상과 상기 2개의 장소에서 상기 촬상 장치 중 다른 하나에 의해 촬상되는 2개의 대응 화상을 이용하여, 장소를 기준으로 상기 기준 화상과 상기 대응 화상의 각 쌍에 대하여, 상기 기준 화상과 상기 대응 화상에 공통되는 복수의 특징점들의 위치에 기초하여 계산되는 시차 데이터의 복수 항목의 입력을 수신하는 단계;
    상기 2개의 기준 화상에 공통되는 상기 복수의 특징점을 탐색하는 단계;
    상기 탐색된 특징점 각각에 대하여, 상기 2개의 기준 화상에서의 각 특징점에 관한 상기 시차 데이터에 기초하여, 시차들과 상기 시차들의 시차 변화량들을 계산하는 단계; 및
    상기 계산된 시차들과 상기 계산된 시차들의 시차 변화량들에 기초하여, 상기 촬상 장치의 위치에 관한 상기 파라미터의 보정치를 계산하는 단계
    를 포함하는 교정 방법.
  13. 제12항에 있어서, 상기 보정치를 계산하는 단계는, 상기 계산된 시차들과 상기 계산된 시차들의 시차 변화량들을 이용하여 모델 곡선을 작성하는 단계; 및
    상기 모델 곡선에 기초하여 상기 보정치를 계산하는 단계를 포함하는 것인 보정 방법.
  14. 제13항에 있어서, 상기 모델 곡선은 2차 곡선이고, 상기 모델 곡선으로 시차 방향에서의 변위가 보정치로서 계산되는 것인 교정 방법.
  15. 제13항에 있어서, 상기 시차들의 분포 및 상기 모델 곡선에 대한 상기 시차 변화량들의 분산에 기초하여, 상기 보정치의 신뢰성 유무를 평가하는 단계를 더 포함하는 교정 방법.
  16. 제15항에 있어서, 상기 평가하는 단계는, 상기 모델 곡선 상의 시차 변화량들로부터 미리 정해진 범위 내에 있는 상기 시차 변화량들의 데이터만을 추출하는 단계;
    상기 추출된 데이터의 시차 변화량들과 상기 모델 곡선 상의 대응 시차들에 대한 시차 변화량들 사이의 차분의 평균 RMS를 계산하는 단계; 및
    상기 계산된 평균 RMS가 임계치 이하인지 여부를 판정하는 단계를 포함하는 것인 교정 방법.
  17. 제15항에 있어서, 상기 신뢰성을 평가하는 단계는, 규정된 시차 범위에 포함되는 상기 시차들의 개수의 비율을 계산하는 단계; 및
    상기 계산된 비율이 미리 정해진 비율 이상인지 여부를 판정하는 단계를 포함하는 것인 교정 방법.
  18. 제12항 내지 제17항 중 어느 한 항에 있어서, 상기 시차 변화량들을 정규화하는 단계; 및
    상기 정규화된 시차 변화량들이 상기 대응 시차들과 관련되도록, 상기 정규화된 시차 변화량들을 기억하는 단계를 더 포함하고,
    상기 보정치를 계산하는 단계는, 상기 기억된 시차들 및 상기 정규화된 시차 변화량들에 기초하여 상기 촬상 장치의 위치에 관한 상기 파라미터에 대한 보정치를 계산하는 단계를 포함하는 것인 교정 방법.
  19. 제18항에 있어서, 상기 정규화하는 단계는, 상기 모델 곡선을 나타내는 2차 함수의 비례 상수로 상기 시차 변화량을 나눔으로써, 상기 정규화된 시차 변화량을 계산하는 단계를 포함하는 것인 교정 방법.
  20. 제15항에 있어서, 상기 평가하는 단계는, 상기 시차 변화량들이 상기 대응 시차들과 관련되도록 상기 시차 변화량을 기억하는 상기 데이터 기억부에 기억된 데이터 항목의 개수에 기초하여 상기 보정치의 신뢰성을 평가하는 단계를 포함하는 것인 교정 방법.
  21. 제12항 내지 제20항 중 어느 한 항에 있어서, 상기 보정치를 취득하고, 상기 취득한 보정치를 이용하여 상기 시차 데이터의 항목을 보정하는 단계를 더 포함하는 교정 방법.
  22. 제12항 내지 제21항 중 어느 한 항에 기재된 교정 방법을 실행하기 위한 컴퓨터 판독 가능한 교정 프로그램.
KR1020127012327A 2010-09-13 2011-08-25 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 KR101411668B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2010-204328 2010-09-13
JP2010204328A JP5440461B2 (ja) 2010-09-13 2010-09-13 校正装置、距離計測システム、校正方法および校正プログラム
PCT/JP2011/069854 WO2012035983A1 (en) 2010-09-13 2011-08-25 A calibration apparatus, a distance measurement system, a calibration method and a calibration program

Publications (2)

Publication Number Publication Date
KR20120079144A true KR20120079144A (ko) 2012-07-11
KR101411668B1 KR101411668B1 (ko) 2014-06-25

Family

ID=45831452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127012327A KR101411668B1 (ko) 2010-09-13 2011-08-25 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Country Status (8)

Country Link
US (1) US9299153B2 (ko)
EP (1) EP2616768B1 (ko)
JP (1) JP5440461B2 (ko)
KR (1) KR101411668B1 (ko)
CN (1) CN102612634B (ko)
BR (1) BR112012026769B1 (ko)
RU (1) RU2529594C1 (ko)
WO (1) WO2012035983A1 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
US8831849B2 (en) 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
JP5840022B2 (ja) * 2012-02-17 2016-01-06 キヤノン株式会社 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JP6167525B2 (ja) 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
JP6182866B2 (ja) 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP6113416B2 (ja) * 2012-04-04 2017-04-12 シャープ株式会社 画像撮像装置、画像処理方法、プログラム
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP2014092461A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
WO2014076769A1 (ja) * 2012-11-13 2014-05-22 株式会社東芝 検出装置、方法及びプログラム
JP6136248B2 (ja) * 2012-12-25 2017-05-31 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
JP6040782B2 (ja) * 2013-01-17 2016-12-07 株式会社リコー 画像処理装置及びプログラム
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
CN103399652B (zh) * 2013-07-19 2017-02-22 哈尔滨工程大学 一种基于OpenCV摄像头标定的3D输入方法
JP6141734B2 (ja) * 2013-09-26 2017-06-07 株式会社Ｓｕｂａｒｕ ステレオ画像処理装置
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
CN103697914B (zh) * 2013-12-20 2016-08-17 河北汉光重工有限责任公司 双目被动测距中ccd相机实验标定方法
CN104766292B (zh) * 2014-01-02 2017-10-20 株式会社理光 多台立体相机标定方法和系统
CN104869384B (zh) * 2014-02-25 2017-04-12 华晶科技股份有限公司 电子装置及其校正方法
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
WO2016027524A1 (ja) * 2014-08-19 2016-02-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び電子光学機器
JP6594129B2 (ja) * 2014-11-28 2019-10-23 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6459521B2 (ja) * 2015-01-07 2019-01-30 株式会社リコー 撮像光学系、カメラ装置及びステレオカメラ装置
WO2016113429A2 (en) * 2015-01-16 2016-07-21 Imra Europe S.A.S. Self-rectification of stereo camera
US10186034B2 (en) 2015-01-20 2019-01-22 Ricoh Company, Ltd. Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
RU2595620C1 (ru) * 2015-01-29 2016-08-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" Способ автокалибровки стереокамер, используемых в целях автоматического распознавания лица человека
JP6511283B2 (ja) * 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
US10504265B2 (en) 2015-03-17 2019-12-10 Blue Sky Studios, Inc. Methods, systems and tools for 3D animation
US10007998B2 (en) 2015-03-20 2018-06-26 Ricoh Company, Ltd. Image processor, apparatus, and control system for correction of stereo images
JP6674127B2 (ja) * 2015-03-20 2020-04-01 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
CN104729406B (zh) * 2015-03-23 2017-06-13 上海瑞伯德智能系统股份有限公司 一种表面贴装元件的机器视觉定位方法
JP6233345B2 (ja) * 2015-04-17 2017-11-22 トヨタ自動車株式会社 路面勾配検出装置
JP6345627B2 (ja) * 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US10066982B2 (en) * 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
JP6619589B2 (ja) * 2015-09-02 2019-12-11 株式会社Ｓｕｂａｒｕ 画像処理装置
EP3369040A1 (en) * 2015-10-30 2018-09-05 Unilever Plc. Hair curl measurement
BR112018007491A2 (pt) * 2015-10-30 2018-10-23 Unilever Nv ?método de medição de indicações de tipo de cabelo, sistema para medir o tipo de cabelo e programa de computador para medir as indicações do tipo de cabelo?
CN105628079B (zh) * 2015-12-30 2021-07-30 上海闻泰电子科技有限公司 距离感应器动态校准方法
WO2017121926A1 (en) * 2016-01-15 2017-07-20 Nokia Technologies Oy Method and apparatus for calibration of a multi-camera system
JP6666037B2 (ja) * 2016-02-26 2020-03-13 キヤノン株式会社 校正方法、プログラム、計測装置、および物品の製造方法
JP6725652B2 (ja) * 2016-05-16 2020-07-22 株式会社日立製作所 診断システム及び電子制御装置
EP3252712B1 (en) * 2016-06-01 2019-08-21 Veoneer Sweden AB Vision system and method for a motor vehicle
CN106123863B (zh) * 2016-06-12 2021-06-18 首都师范大学 一种基于双全景的摄影测量方法
JP6747176B2 (ja) * 2016-08-25 2020-08-26 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
US10909708B2 (en) * 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN107462160B (zh) * 2017-06-15 2023-11-17 交通运输部公路科学研究所 一种用于校准图像法位移测量仪器的方法及装置
JP2019028311A (ja) * 2017-07-31 2019-02-21 キヤノン株式会社 視差情報生成装置および視差情報生成方法、撮像装置、移動装置、プログラム
JP6886079B2 (ja) * 2017-09-26 2021-06-16 日立Astemo株式会社 交通標識認識を用いたカメラキャリブレーションシステム、方法、および、コンピュータ可読媒体
JP7250454B2 (ja) * 2017-09-29 2023-04-03 キヤノン株式会社 撮像装置、撮像システム、移動体
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
EP3462731B1 (en) 2017-09-29 2021-11-10 Canon Kabushiki Kaisha Imaging device, imaging system, and moving body
JP7018285B2 (ja) 2017-09-29 2022-02-10 株式会社デンソー 車両の周辺監視装置および周辺監視方法
CN108171682B (zh) * 2017-12-04 2022-04-19 北京中科慧眼科技有限公司 基于远景的双目同步曝光率检测方法、系统及存储介质
JP7149707B2 (ja) * 2018-01-15 2022-10-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム
CN110689581B (zh) * 2018-07-06 2022-05-13 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
JP2020190438A (ja) * 2019-05-20 2020-11-26 株式会社リコー 計測装置および計測システム
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
JP7386098B2 (ja) * 2020-02-27 2023-11-24 株式会社日立製作所 測距センサの校正システム、及び測距センサの校正方法
JP7457574B2 (ja) * 2020-05-21 2024-03-28 株式会社Subaru 画像処理装置
CN114323061A (zh) * 2020-09-30 2022-04-12 北京振兴计量测试研究所 一种星光模拟器几何参数现场校准装置及系统
TWI768630B (zh) * 2020-12-29 2022-06-21 財團法人工業技術研究院 可移動攝影系統和攝影構圖控制方法
CN118056226A (zh) * 2021-08-06 2024-05-17 埃沃卡尔戈有限责任公司 校准外部摄像机参数的方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143209B2 (ja) 1992-05-25 2001-03-07 株式会社リコー 画像変倍装置
JPH0875454A (ja) * 1994-09-01 1996-03-22 Nissan Motor Co Ltd 測距装置
US5655540A (en) * 1995-04-06 1997-08-12 Seegobin; Ronald D. Noninvasive method for identifying coronary artery disease utilizing electrocardiography derived data
JP3617709B2 (ja) * 1995-11-10 2005-02-09 株式会社日本自動車部品総合研究所 距離計測装置
US5819256A (en) * 1996-11-20 1998-10-06 Oracle Corporation Method and apparatus for processing count statements in a database system
JPH10232111A (ja) * 1997-02-19 1998-09-02 Matsushita Electric Ind Co Ltd 距離測定装置
JP3436074B2 (ja) 1997-06-10 2003-08-11 トヨタ自動車株式会社 車載ステレオカメラ
JP2002519896A (ja) * 1998-06-23 2002-07-02 トムソン ライセンシング ソシエテ アノニム 滑らかなコンバーゼンス補正のための補間方法
JP3771054B2 (ja) 1998-07-01 2006-04-26 株式会社リコー 画像処理装置及び画像処理方法
JP3798150B2 (ja) 1998-07-07 2006-07-19 株式会社リコー 画像処理方法及び画像処理装置
US6278460B1 (en) * 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
JP3803950B2 (ja) 1999-03-04 2006-08-02 株式会社リコー 画像合成処理方法、画像合成処理装置及び記録媒体
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
JP4573977B2 (ja) 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP2001128051A (ja) 1999-10-27 2001-05-11 Ricoh Co Ltd 撮像装置
JP2001169310A (ja) 1999-12-06 2001-06-22 Honda Motor Co Ltd 距離検出装置
JP3817119B2 (ja) 2000-06-30 2006-08-30 株式会社リコー 画像入力装置
US6732085B1 (en) * 2001-05-31 2004-05-04 Oracle International Corporation Method and system for sample size determination for database optimizers
DE10215673A1 (de) 2002-04-10 2003-10-30 Bosch Gmbh Robert Verfahren zur Detektion von systematischen Fehlern bei parallaktischen Entfernungsmeßsystemen in Kraftfahrzeugen
JP2003329439A (ja) * 2002-05-15 2003-11-19 Honda Motor Co Ltd 距離検出装置
EP1637836A1 (en) * 2003-05-29 2006-03-22 Olympus Corporation Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
US7463755B2 (en) * 2004-10-10 2008-12-09 Qisda Corporation Method for correcting motion vector errors caused by camera panning
JP2006174309A (ja) 2004-12-17 2006-06-29 Ricoh Co Ltd 動画再生装置、プログラム、及び記録媒体
DE102004062275A1 (de) * 2004-12-23 2006-07-13 Aglaia Gmbh Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera
JP4577126B2 (ja) * 2005-07-08 2010-11-10 オムロン株式会社 ステレオ対応づけのための投光パターンの生成装置及び生成方法
JP4617239B2 (ja) * 2005-10-27 2011-01-19 Ｏｋｉセミコンダクタ株式会社 画像変換回路
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP2009014445A (ja) * 2007-07-03 2009-01-22 Konica Minolta Holdings Inc 測距装置
JP4894771B2 (ja) * 2008-01-31 2012-03-14 コニカミノルタホールディングス株式会社 校正装置及び校正方法
JP5280768B2 (ja) * 2008-08-18 2013-09-04 本田技研工業株式会社 車両周辺監視装置
JP5293131B2 (ja) 2008-12-09 2013-09-18 株式会社リコー 車両用複眼距離測定装置及び複眼距離測定方法
JP5278819B2 (ja) 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
US8420271B2 (en) * 2009-07-14 2013-04-16 GM Global Technology Operations LLC Method to improve reliability of a fuel cell system using low performance cell detection at low power operation
JP5310483B2 (ja) 2009-10-28 2013-10-09 株式会社リコー 撮像装置
JP5446797B2 (ja) 2009-12-04 2014-03-19 株式会社リコー 撮像装置
JP2011209269A (ja) 2010-03-08 2011-10-20 Ricoh Co Ltd 撮像装置及び距離取得システム
JP5186715B2 (ja) * 2010-06-14 2013-04-24 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム

Also Published As

Publication number Publication date
BR112012026769B1 (pt) 2020-11-03
JP5440461B2 (ja) 2014-03-12
US9299153B2 (en) 2016-03-29
EP2616768A4 (en) 2017-04-19
EP2616768A1 (en) 2013-07-24
JP2012058188A (ja) 2012-03-22
EP2616768B1 (en) 2020-03-25
BR112012026769A8 (pt) 2020-06-23
KR101411668B1 (ko) 2014-06-25
RU2529594C1 (ru) 2014-09-27
CN102612634A (zh) 2012-07-25
CN102612634B (zh) 2014-07-23
BR112012026769A2 (pt) 2016-07-12
US20120224069A1 (en) 2012-09-06
WO2012035983A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP6182866B2 (ja) 校正装置、距離計測装置及び車両
US10909395B2 (en) Object detection apparatus
US8401715B2 (en) Vehicle periphery monitoring device
US20080181591A1 (en) Camera posture estimation device, vehicle, and camera posture estimation method
JP6138861B2 (ja) 距離算出装置
WO2013132951A1 (ja) 距離算出装置及び距離算出方法
KR101898051B1 (ko) 다차선 차량 속도 측정 시스템
US20150248594A1 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
US20180144204A1 (en) Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
US20200051282A1 (en) Object detection device and vehicle
KR102268094B1 (ko) 동적 입체 캘리브레이션을 위한 시스템 및 방법
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备
KR100751096B1 (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법
JP6365744B2 (ja) プログラム、記録媒体、及び校正方法
JP7269130B2 (ja) 画像処理装置
KR101266623B1 (ko) 차량간 거리 추정방법 및 그 장치
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
CN117470138A (zh) 车辆前方路面不平整处测量方法及装置
JP5962331B2 (ja) 速度推定装置及び速度推定方法
KR20230094853A (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
KR20120026200A (ko) 차량용 거리측정 장치 및 거리측정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170608

Year of fee payment: 4