WO2020152995A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020152995A1
WO2020152995A1 PCT/JP2019/047112 JP2019047112W WO2020152995A1 WO 2020152995 A1 WO2020152995 A1 WO 2020152995A1 JP 2019047112 W JP2019047112 W JP 2019047112W WO 2020152995 A1 WO2020152995 A1 WO 2020152995A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coefficient
temperature
processing
affine
Prior art date
Application number
PCT/JP2019/047112
Other languages
English (en)
French (fr)
Inventor
和良 山崎
別井 圭一
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP19912033.8A priority Critical patent/EP3916349A4/en
Publication of WO2020152995A1 publication Critical patent/WO2020152995A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0011Arrangements for eliminating or compensation of measuring errors due to temperature or weight
    • G01B5/0014Arrangements for eliminating or compensation of measuring errors due to temperature or weight due to temperature

Definitions

  • JP, 2008-241491 A JP, 2012-147281, A JP, 2017-62173, A Japanese Unexamined Patent Publication No. 2009-117976 Japanese Patent Laid-Open No. 2007-81806
  • FIG. 1 is a block diagram showing an example of a configuration including an image processing device 10 according to the first embodiment of the present invention.
  • the image processing apparatus 10 is configured to be able to input a plurality of images.
  • images are respectively input from a camera 50 (first camera) and a camera 60 (second camera) that form a stereo camera. Connected to receive.
  • FIG. 2 is a block diagram showing an example of the configuration of the image processing device 10.
  • the image processing apparatus 10 includes each unit shown in FIG.
  • the calculation means 11 can realize the function of each means
  • the storage means 12 can store the information related to the processing of each means.
  • the luminance information generating means 23a (first luminance information generating means) generates the luminance information of the image P3. For example, information representing a color image is converted into luminance information for generating a parallax image.
  • the brightness information generating means 23b (second brightness information generating means) generates the brightness information of the image P4.
  • FIG. 3 is a diagram for explaining the effect of the coefficient change of the first embodiment.
  • FIG. 3A shows a change in state when a temperature difference occurs between the camera 50 and the camera 60
  • FIG. 3B shows a coefficient by the coefficient changing means 31 according to the change in FIG. The state after the change processing of is shown.
  • the distance to the object 100 is detected based on the images acquired by the image sensor 52 and the image sensor 62 via the lens 51 and the lens 61.
  • the light ray L1 from the object 100 incident on the lens 51 and the lens 61 when measured in a state where there is no temperature difference for example, the camera 50 and the camera 60 are at a predetermined reference temperature.
  • the light ray L2 from the object 100 that is incident on is shown by the alternate long and short dash line.
  • the distance D0 to the object 100 is detected based on the difference (parallax) between the incident position of the light ray L1 detected by the image sensor 52 and the incident position of the light ray L2 detected by the image sensor 62. In this case, no distance measurement error occurs, and the distance D0 accurately represents the distance to the object 100.
  • the left and right detection positions of the object 100 are displaced (arrow A2), but it is possible to suppress the change in the angle of view to be small.
  • the change in the angle of view can be set to 0.1 deg or less, which is not a problem for applications such as in-vehicle use and robot use.
  • Those skilled in the art can appropriately design specific functions and parameters for changing such coefficients.
  • the error amount with respect to the actual distance is defined as the distance measurement error.
  • the first distance measurement was performed without correction, that is, the distance was measured without changing the affine coefficient.
  • the image from the camera 50 is captured at 40° C., and the conversion is performed using the affine processing coefficient corresponding to the reference temperature of 30° C.
  • the image from the camera 60 is captured at 70° C., and the conversion is performed using the affine processing coefficient corresponding to the reference temperature of 30° C.
  • the results are shown in FIG. 4 using the symbol “ ⁇ ”. Since the temperature difference between the camera 50 and the camera 60 is large, the distance measurement error increases as the angle of view increases.
  • the specific processing for changing the coefficient by the coefficient changing means 31 can be designed arbitrarily.
  • the state of image change with respect to temperature change may be measured in advance for the cameras 50 and 60, and the change amount of each coefficient may be determined based on the difference between the changes obtained from the results.
  • the difference between the changes of the cameras 50 and 60 may be calculated using a predetermined function to determine the change amount of each coefficient.
  • the amount of volatile memory can be reduced.
  • the time for preparing the conversion table can be lengthened.
  • the coefficient may be changed based on the design value related to temperature or the measurement value of another lens and the sensitivity information obtained from them.
  • the coefficient changing unit 31 changes the affine processing coefficient for the affine processing unit 20a (that is, for the image P1 from the camera 50). That is, the coefficient of the affine processing may be changed (for the image P2 from the camera 60). In that case, the coefficient of the affine processing for the image P1 is not changed.
  • the temperature difference acquisition unit 30 or the coefficient changing unit 31 calculates a difference (first difference) between the temperature of the camera 50 and a predetermined reference temperature, and the temperature of the camera 60 and the reference temperature. And the difference (the second difference) with (step S2).
  • This reference temperature is, for example, a reference temperature on the specifications of the lens, and is set in advance and stored in the storage unit 12.
  • the difference is represented, for example, as an absolute value of the difference.
  • the coefficient changing means 31 compares the difference concerning the camera 50 with the difference concerning the camera 60 (step S3).
  • the coefficient changing unit 31 switches the affine processing unit 20a to change the coefficient of the affine processing (step S4).
  • the coefficient changing unit 31 causes the coefficient of the affine processing for the image P1 from the camera 50. Switch to change.
  • the coefficient changing unit 31 switches the affine processing unit 20b to change the coefficient of the affine processing (step S5).
  • the coefficient changing unit 31 causes the coefficient of the affine processing for the image P2 from the camera 60. Switch to change.
  • the lens having a temperature close to the lens reference temperature is used as a reference, and the coefficient for the lens having a temperature far from the lens reference temperature is used as the reference.
  • the windshield When using the image processing device 10 for vehicle installation, the windshield may not be used in the inspection at the time of shipment. In such a case, when mounted on the vehicle, the curvature of the windshield affects the image, and the image may be distorted and a distance measurement error corresponding to the angle of view may occur. Even with respect to such an influence, the distance measurement error can be reduced by changing the coefficient of only one camera image.
  • FIG. 7 is a block diagram showing an example of the configuration of the image processing apparatus 110 according to the second embodiment of the present invention.
  • the coefficient changing unit 31 explicitly changes the affine coefficient for the affine processing unit 20a.
  • the parallax image generating unit 24 performs the offset process, thereby performing a process equivalent to indirectly changing the affine coefficient.
  • the parallax image generating means 24 generates a parallax image based on the image P3, the image P4, and the offset table generated by the offset coefficient generating means 32.
  • the offset amount ( ⁇ X, ⁇ Y) generated by the offset coefficient generating means 32 is added to the position (X1, Y1) of the block b1 of the image P3. It can be said that the coefficient of the affine processing is substantially changed only for the image P3 by performing the addition of the offset amount only for the image P3.
  • the position (X1+ ⁇ X, Y1+ ⁇ Y) is called an offset position.
  • the image distortion may be measured under a plurality of temperature conditions, but even if such an actual measurement is not performed, a design value related to temperature or a measurement value of another lens and The content of the table may be determined based on the sensitivity information obtained from the table.
  • the offset coefficient generating means 32 operates based on the temperature difference between the cameras, but the operation reference is not limited to the temperature difference.
  • the operation may be performed based on the relative positional relationship between the cameras.
  • the image displacement amount in the measurement data is not 0 at the image center (the position where the angle of view is 0), but the conversion is 0 at the image center. Therefore, it can be seen that the relative positional deviation is not corrected, and the error (solid line) remains at all angles of view.
  • the image displacement amount in the measurement data is corrected so that the value at the image center becomes 0 (note that the solid line representing the error in FIG. 11B substantially coincides with the coordinate axis). Therefore it does not appear clearly). It can be seen that when the relative positional deviation is corrected in this way, no error remains at any angle of view.
  • the correction of the measured value as shown in FIG. 11B can be executed based on the conversion reference table output by the conversion center shift unit 33.
  • the center position of lens distortion (corresponding to the value recorded in the conversion reference table) can be measured in advance on a manufacturing line for a plurality of temperatures.
  • This manufacturing line may be a manufacturing line different from the assembly process of the image processing apparatus.
  • the center position (for example, the position where the displacement amount is the smallest before and after the transformation) may be corrected to be the center.
  • the center of the distortion of the lens due to the temperature may deviate from the projection position, but since it does not largely deviate, at least a correction effect can be obtained.
  • FIG. 12 is a block diagram showing an example of the configuration of an image processing device 210X according to such a modification.
  • the conversion center shift means 33 changes the position of the distortion center with respect to both the affine processing means 20a and the affine processing means 20b.
  • the image processing device has a change over time, which may cause a ranging error, and it may be a problem to eliminate the ranging error.
  • the change over time has an effect such as a change in the surface distance of the lens, and the amount of displacement of the lens with respect to the temperature changes. Therefore, in this embodiment, a process of substantially correcting the conversion reference table is performed on the basis of the measurement (on the road or vehicle inspection) after manufacturing the image processing apparatus.
  • FIG. 3 is a comparative example in which the left and right lenses have the same temperature sensitivity and a temperature difference occurs. However, even if the left and right lenses have a constant temperature and the temperature sensitivity changes, the principle of distance measurement error is Is the same.
  • the image processing apparatus 310 corrects the coefficient change amount by the coefficient changing unit 31 by feeding back the distance measurement error to the coefficient changing unit 31.
  • the error signal generation means 34 detects the distance measurement error (distance detection error) of the distance calculation means 25, generates an error signal representing this distance measurement error, and transmits it to the coefficient error correction means 35.
  • the error signal may represent an error of other contents.
  • the size for example, the height from the road surface
  • the difference between the sizes may be used as the error signal.
  • the affine processing means 20a and the affine processing means 20b are used in the fourth embodiment, these are not limited to the affine processing means, and any conversion processing means can be used. That is, the image processing device 310 performs the first conversion process on the image P1 to obtain the image P3, the first conversion processing unit, and the second conversion process on the image P2 to obtain the image P4, It suffices to include a second conversion processing unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

処理に必要なメモリ量および演算量を低減することができる画像処理装置を提供する。画像処理装置10において、記憶手段12が画像を記憶する。アフィン処理手段20aは、画像P1に第1のアフィン処理を行って画像P3を取得する。アフィン処理手段20bは、画像P2に第2のアフィン処理を行って画像P4を取得する。係数変更手段31は、アフィン処理手段20aおよびアフィン処理手段20bのうち一方のみに対し、アフィン処理の係数を変更する。距離算出手段25は、画像P3および画像P4に基づき、画像内の物体までの距離を検出する。

Description

画像処理装置
 この発明は、画像処理装置に関する。
 3次元物体認識技術としてステレオカメラ技術がある。この技術は、異なる位置に配置した2台のカメラの画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。この技術を用いることにより、観察対象の位置を正確に検出することができる。車載用やロボット用などにおいて、3次元の物体を検出および認識するためにステレオカメラ技術が適用されている。ステレオカメラの2つのカメラの画像は所定の射影で変換(例えば、中心射影方式)され、画像の差分を検出することで距離を測定する。
 例えば経時変化や温度変化などの要因でカメラ検出画像が変化すると、それに伴い測距誤差が発生する。例えば、低コスト化や非球面化に対して利点のある、プラスチックレンズでは、温度に対して像高が変化する。これに伴い距離誤差が発生する。
 温度変化による測距誤差発生の課題に対し、下記特許文献1では、「ズーム及びフォーカス機能を有するステレオカメラを用いた3次元計測装置において、ズーム及びフォーカスが変化した場合でも精度のよい3次元計測を行うこと」を課題として、「ズーム及びフォーカスが可変な撮像手段を1つ以上含む複数の撮像手段と、ズーミング及びフォーカシングの制御手段と、複数の撮像手段が出力した撮像画像をステレオ画像処理し3次元情報を計測するステレオ画像処理手段と、ステレオ画像処理を行うために必要なカメラ情報を格納するカメラ情報格納手段と、を有する3次元計測装置によって構成される。カメラ情報格納手段は各撮像手段のズームの状態及びフォーカスの状態に依存して変化するカメラ情報については、その状態に応じた複数のカメラ情報を持ち、ステレオ画像処理手段が各撮像手段のズームの状態及びフォーカスの状態を取得して、カメラ情報格納部から対応するカメラ情報を取得し、ステレオ画像処理に用いる。」という技術を記載している。
 また、特許文献2は、「LUTを用いて画像の歪みを補正する従来の方法よりも必要な記憶容量を少なく抑えつつ、温度変化に対応した歪み補正処理を行うこと」を課題として、「係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、互いに異なる複数の特定温度ごとに、補正係数として補正係数記憶部に格納しておく。歪み補正処理部は、温度センサにより検知した温度に基づいて、その検知温度で撮像画像の歪み度合いを示す指標値(ずれ量)が最も小さくなる補正係数を補正係数記憶部から読み出し、読み出した補正係数を用いて上記歪み補正式により歪み補正処理を行う。」という技術を記載している。
 また、特許文献3~5にも、温度に応じてステレオ画像処理の内容を変更する技術が記載されている。
特開2008-241491号公報 特開2012-147281号公報 特開2017-62173号公報 特開2009-117976号公報 特開2007-81806号公報
 従来の技術では、ステレオ画像処理における画像変換について、演算量および必要メモリ量が大きいという課題があった。
 たとえば、特許文献1に記載の3次元計測装置では、温度による像ずれに対し、2つのカメラの温度に応じた2つの画像処理を行うので、演算量が増加する。また、温度に応じた歪補正情報を両方のカメラについて不揮発性メモリに記録する必要があり、必要メモリ量が大きくなる。
 また、特許文献2の3次元計測装置では、不揮発性メモリ量の増大に対し、多項式を用いることでデータ量を低減しようとしているが、この技術でも両方のカメラについて演算が必要となり、演算量および必要メモリ量が増大する。
 さらに、特許文献3~5の技術でも、2つのカメラについて画像処理を行うので、演算量および必要メモリ量が増大する。
 本発明は、上記のような課題に鑑みてなされたものであり、処理に必要なメモリ量および演算量を低減することができる画像処理装置を提供することを目的とする。
 この発明に係る画像処理装置は、
 画像を記憶する画像記憶手段と、
 第1の画像に第1のアフィン処理を行って第3の画像を取得する、第1のアフィン処理手段と、
 第2の画像に第2のアフィン処理を行って第4の画像を取得する、第2のアフィン処理手段と、
 前記第1のアフィン処理手段および前記第2のアフィン処理手段のうち一方のみに対し、アフィン処理の係数を変更する、係数変更手段と、
 前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
を備える。
 特定の態様によれば、
 前記画像処理装置は、前記第1の画像を撮影する第1のカメラに係る第1の温度と、前記第2の画像を撮影する第2のカメラに係る第2の温度との温度差を取得する、温度差取得手段を備え、
 前記係数変更手段は、前記温度差に基づいてアフィン処理の係数を変更する。
 特定の態様によれば、
 前記温度差取得手段は、前記第1の温度を取得する第1の温度取得手段と、前記第2の温度を取得する第2の温度取得手段とを備え、
 前記第1の温度と所定の基準温度との第1の差分が、前記第2の温度と前記基準温度との第2の差分より大きい場合には、前記係数変更手段は前記第1のアフィン処理手段に対してアフィン処理の係数を変更し、
 前記第1の差分が、前記第2の差分より小さい場合には、前記係数変更手段は前記第2のアフィン処理手段に対してアフィン処理の係数を変更する。
 また、この発明に係る画像処理装置は、
 画像を記憶する画像記憶手段と、
 第1の画像に第1の変換処理を行って第3の画像を取得する、第1の変換処理手段と、
 第2の画像に第2の変換処理を行って第4の画像を取得する、第2の変換処理手段と、
 前記第1の変換処理手段および前記第2の変換処理手段のうち少なくとも一方に対し、変換処理前後で画像内の変位量が最も小さい位置を中心に変換処理の係数の位置を変更する、位置変更手段と、
 前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
を備える。
 また、この発明に係る画像処理装置は、
 画像を記憶する画像記憶手段と、
 第1の画像に第1の変換処理を行って第3の画像を取得する、第1の変換処理手段と、
 第2の画像に第2の変換処理を行って第4の画像を取得する、第2の変換処理手段と、
 前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
 前記距離の検出誤差を検出する、誤差検出手段と、
 前記距離の前記検出誤差に基づき、前記第1の変換処理手段および前記第2の変換処理手段のうち少なくとも一方に対し、変換処理の係数を変更する、係数フィードバック手段と、
を備える。
 本明細書は本願の優先権の基礎となる日本国特許出願番号2019-008531号の開示内容を包含する。
 本発明に係る画像処理装置によれば、処理に必要なメモリ量および演算量を低減することができる。
本発明の実施例1に係る画像処理装置を含む構成の例を示すブロック図である。 図1の画像処理装置の構成の例を示すブロック図である。 実施例1の係数変更の効果を説明する図である。 カメラ間の温度差が変化した場合の測距誤差の例を示すグラフである。 実施例1の変形例における処理の例を説明するフローチャートである。 実施例1の別の変形例における構成の例を示すブロック図である。 本発明の実施例2に係る画像処理装置の構成の例を示すブロック図である。 実施例2に係る視差画像生成処理の概要を説明する模式図である。 実施例2の変形例における構成の例を示すブロック図である。 本発明の実施例3に係る画像処理装置の構成の例を示すブロック図である。 光学系における相対位置ずれの補正について示す図である。 実施例3の変形例における構成の例を示すブロック図である。 実施例3の別の変形例における構成の例を示すブロック図である。 本発明の実施例4に係る画像処理装置の構成の例を示すブロック図である。 図14の誤差信号生成手段による測距誤差の検出方法の一例を示す図である。 実施例1と実施例2を組合せた構成の例を示すブロック図である。
 以下、この発明の実施例を添付図面に基づいて説明する。
[実施例1]
 図1は、本発明の実施例1に係る画像処理装置10を含む構成の例を示すブロック図である。画像処理装置10は複数の画像を入力できるように構成されており、図1の例では、ステレオカメラを構成するカメラ50(第1のカメラ)およびカメラ60(第2のカメラ)からそれぞれ画像を受信できるように接続されている。
 カメラ50は、レンズ51(第1のレンズ)と、画像センサ52(第1の画像センサ)とを備えている。また、カメラ60は、レンズ61(第2のレンズ)と、画像センサ62(第2の画像センサ)とを備えている。カメラ50は、対象物等の像をレンズ51を介して画像センサ52で検出する。カメラ60は、対象物等の像をレンズ61を介して画像センサ62で検出する。
 カメラ50は、温度センサ53(第1の温度センサ)を備える。温度センサ53は、カメラ50に係る温度(第1の温度)を検出する。同様に、カメラ60は、温度センサ63(第2の温度センサ)を備える。温度センサ63は、カメラ60に係る温度(第2の温度)を検出する。ここで、「カメラに係る温度」の意味は当業者が適宜定義可能であるが、たとえばレンズの温度であってもよく、レンズ付近の温度であってもよく、画像センサの温度(とくにCMOS素子の温度)であってもよく、カメラのその他の構成要素の温度であってもよく、カメラ内の空間の温度であってもよい。
 画像処理装置10は公知のコンピュータとしての構成を有し、演算手段11および記憶手段12を備える。演算手段11はたとえばマイクロプロセッサ等を備え、記憶手段12はたとえば揮発性メモリおよび不揮発性メモリの少なくとも一方を備える。記憶手段12は、画像その他の情報を記憶することができ、たとえば画像記憶手段として機能する。
 図2は、画像処理装置10の構成の例を示すブロック図である。画像処理装置10は、図2に示す各手段を備える。とくに、演算手段11は各手段の機能を実現することができ、記憶手段12は各手段の処理に関連する情報を記憶することができる。
 画像処理装置10は、カメラ50から画像P1(第1の画像)を取得するとともに、カメラ60から画像P2(第2の画像)を取得する。アフィン処理手段20a(第1のアフィン処理手段)は、画像P1にアフィン処理(第1のアフィン処理)を行う。アフィン処理はたとえば線形の座標変換処理であるが、非線形の演算を含むものであってもよい。このアフィン処理を行った結果として、アフィン処理手段20aは画像P3(第3の画像)を取得する。
 同様に、アフィン処理手段20b(第2のアフィン処理手段)は、画像P2にアフィン処理(第2のアフィン処理)を行って画像P4(第4の画像)を取得する。なお、アフィン処理手段20aおよびアフィン処理手段20bは、アフィン処理以外の歪変換処理を併せて実行するものであってもよい。例えば、レンズの射影方式がfsinθである場合には、ftanθへの射影変換を行ってもよい。ただし、射影変換後の画像の形式はftanθ以外であってもよい。
 温度差取得手段30は、温度取得手段30a(第1の温度取得手段)および温度取得手段30b(第2の温度取得手段)を含む。温度取得手段30aは、カメラ50に係る温度を温度センサ53から取得し、温度取得手段30bは、カメラ60に係る温度を温度センサ63から取得する。温度差取得手段30は、カメラ50に係る温度と、カメラ60に係る温度との温度差(カメラ間の温度差)を取得して出力する。
 係数変更手段31は、アフィン処理手段20aおよびアフィン処理手段20bのうち一方のみに対し、アフィン処理の係数を変更する。図2の例では、アフィン処理手段20aの係数を変更するが、アフィン処理手段20bについては係数を変更しない。本実施例では、係数変更手段31は、温度差取得手段30からカメラ間の温度差を取得し、この温度差に基づいてアフィン処理の係数を変更する。この変更の具体的内容については、図3等を参照して後述する。
 たとえば、係数変更手段31は、カメラ間の温度差と、所定の変換基準テーブルとに基づいて、画像P1に対する変換を表す変換テーブルを生成する。変換基準テーブルは、たとえば記憶手段12に予め記憶されていてもよく、その場合には記憶手段12は変換基準係数記憶手段として機能するということができる。この変換テーブルは、たとえば画像歪を補正するための変換に対応するものであり、具体的な形式としては、温度差を入力とし、像高の比率を出力とする関数を表すテーブルとして構成することができる。この場合には、温度差に応じて像高の比率が変更されることにより、実質的にアフィン処理の係数が変更されるということができる。
 なお、本実施例では、係数変更手段31が温度差に基づいて変換テーブルを随時生成するが、変形例として、各温度差に対応する変換テーブルを記憶手段12等に予め保持しておき、温度差に基づいて係数変更手段31が特定の変換テーブルを選択するように構成してもよい。
 輝度補正手段21a(第1の輝度補正手段)は、画像P3の各画素の輝度を補正する。たとえば、カメラ50のゲイン、画像P3内の各画素のゲインの違い、等に基づいて補正が行われる。同様に、輝度補正手段21b(第2の輝度補正手段)は、画像P4の各画素の輝度を補正する。
 画素補間手段22a(第1の画素補間手段)は、画像P3に対してデモザイキング処理を行う。たとえば、RAW画像からカラー画像への変換が行われる。同様に、画素補間手段22b(第2の画素補間手段)は、画像P4に対してデモザイキング処理を行う。
 輝度情報生成手段23a(第1の輝度情報生成手段)は、画像P3の輝度情報を生成する。たとえば、カラー画像を表す情報を、視差画像を生成するための輝度情報に変換する。同様に、輝度情報生成手段23b(第2の輝度情報生成手段)は、画像P4の輝度情報を生成する。
 視差画像生成手段24は、画像P3および画像P4(またはこれらに基づいて生成された情報)に基づいて、2つの画像情報の視差を算出する。
 距離算出手段25は、視差に基づき、画像に映っている対象物までの距離を算出する。ここで、上述の輝度補正手段21aおよび輝度補正手段21b、画素補間手段22aおよび画素補間手段22b、輝度情報生成手段23aおよび輝度情報生成手段23b、視差画像生成手段24、等の処理を考慮すると、距離算出手段25は、画像P3および画像P4に基づき、画像内の物体までの距離を検出するということができる。なお、距離の測定基準は当業者が任意に設計可能であるが、たとえばカメラ50とカメラ60との位置関係に応じて定義される所定の距離基準点から、当該物体までの距離とすることができる。
 ここで、従来技術と、本発明の実施例1との動作原理の違いを説明する。従来技術(たとえば特許文献1~5に記載されるもの)では、温度変化に対して、2つのカメラから出力された2つの画像それぞれに対して、アフィン処理の係数が変更される(なお、アフィン処理の係数を明示的に変更するものに限らず、アフィン処理の他に追加の変換を施すことにより、実質的にアフィン処理の係数が変更されたものと同等の結果を得る場合を含む)。このため、従来技術では、両方のカメラについてアフィン処理の係数の変更が必要となる。
 これに対し、本発明の実施例1では、2つのカメラの温度差によって発生した画像間の差分だけを補正するような画像変換を行う。たとえば、実施例1では画像P1に対するアフィン処理の係数のみが変更される。これにより、アフィン処理の係数を変更するために必要なメモリ量(揮発性メモリ量または不揮発性メモリ量)および演算量を低減することができる。特に高画素のカメラを用いたときには、メモリの低減量、演算量は大きくなるため、その効果が高くなる。
 次に、実施例1に係る係数変更手段31によるアフィン処理の係数の変更について、より具体的に説明する。
 図3は、実施例1の係数変更の効果を説明する図である。図3(A)は、カメラ50とカメラ60との温度差が発生した場合の状態の変化を示し、図3(B)は、図3(A)の変化に応じて係数変更手段31による係数の変更処理を行った後の状態を示す。ここでは、レンズ51およびレンズ61を介し、画像センサ52および画像センサ62によって取得される画像に基づき、対象物100までの距離が検出される。
 図3(A)において、温度差がない状態(たとえばカメラ50およびカメラ60が所定の基準温度にある状態)で測定したときの、レンズ51に入射する対象物100からの光線L1と、レンズ61に入射する対象物100からの光線L2とを一点鎖線で示している。画像センサ52において検出される光線L1の入射位置と、画像センサ62において検出される光線L2の入射位置との差(視差)に基づいて、対象物100までの距離D0が検出される。この場合には測距誤差は発生せず、距離D0は対象物100までの距離を正確に表す。
 図3(A)において、カメラ間に温度差が発生し、たとえばレンズ61の温度が上昇したとする。これによって、レンズ61の光学特性(屈折率やレンズ面間隔等など)が変化し、レンズ51の光学特性とは異なる状態となる。この結果、光線L2のレンズ61における屈折角やレンズの面間隔が変化し、光線L3として画像センサ62に入射するようになったとする。この場合には画像センサ62における像高が変化し、画像センサ62上で対象物100の像の位置がずれて検出される(矢印A1)。測距の処理が同じままの場合、対象物100からの光線は二点鎖線で示す仮想光線L4の画角に存在していると誤検出される。このため、光線L1と仮想光線L4との交点が対象物100の位置として誤検出され、対象物100までの距離は距離D1として検出される。図3からもわかるように、距離D0と距離D1は一致せず、測距誤差が発生する。これがレンズの温度変化に伴う測距誤差発生のメカニズムである。
 次に、実施例1の係数変更方法について、図3(B)を用いて説明する。カメラ間で温度差が発生し、たとえばレンズ61の温度が上昇した場合、係数変更手段31によって変換テーブルが生成され、アフィン処理手段20aで、画像P1に対してのみその変換テーブルに基づいて画像変換が行われる。この画像変換は、実際にはレンズ51の物理的特性を変更するものではないが、等価的に、レンズ51の画角および像高の変換条件を変更するものと解釈することができる。以下では、レンズ51の画角および像高の変換条件が変化したとして説明する。
 レンズ51の画角および像高の変換により、画像センサ52で検出される光線は、光線L1から二点鎖線で示す仮想光線L5に変化する。仮想光線L5と仮想光線L4の交点が対象物100の位置として検出され、距離D2が検出される。ここで、距離D2と距離D2との差は、距離D1と距離D0との差よりも小さく、測距誤差が改善される。とくに、距離D0と距離D2をほとんど同じ距離とするような係数の変更が可能であり、実用上の測距では残存誤差は問題とならない。また、この係数の変更により、対象物100の左右の検出位置がずれる(矢印A2)が、画角の変化としては小さく抑えることが可能である。たとえば、画角の変化は0.1deg以下とすることができ、車載用やロボット用などの用途については問題とならない。このような係数の変更を行うための具体的な関数およびパラメータ等は、当業者が適宜設計可能である。
 以上説明するように、実施例1に係る画像処理装置によれば、測距誤差を従来と同程度か、または実用上問題とならない程度に抑制できる一方で、アフィン処理の係数の変更処理を片方のカメラの画像のみに限定することができるので、必要なメモリ量および演算量を低減することができる。
 次に、実施例1の効果について定量的に説明する。
 図4は、カメラ間の温度差が変化した場合の測距誤差の例を示すグラフである。計算には以下の条件例を用いた。
 対象物までの距離:50m
 基線長(カメラ50とカメラ60との間の距離):0.3m
 レンズ射影方式:正射影(fsinθ)
 レンズ焦点距離:6mm
 レンズ基準温度:30℃
 カメラ50の温度(第1の温度):40℃
 カメラ60の温度(第2の温度):70℃
 最大画角(カメラ50およびカメラ60双方によって撮影可能な対象物の角度):-30deg~+30deg
 レンズ51およびレンズ61の温度感度:0.0048μm/℃/deg(線形変化)
 なお、この温度感度は、画角30deg、温度変化70℃で像の位置が10μmだけ変位することに相当する。
 ここで、レンズ温度感度は、画角および温度に対して線形に変化すると仮定している。レンズの製造ばらつき等を考慮すると、実際には温度感度はレンズによって異なるが、温度感度が異なっていたとしても同様の効果が得られる(なお、この条件例では、レンズ51およびレンズ61の温度感度は同じであると仮定した)。また、レンズ温度感度は線形である必要はなく、非線形であっても同様の効果が得られる。
 この条件例において、3通りの距離測定を行い、測距誤差を算出した。なお、ここでは実際の距離に対する誤差量を測距誤差と定義した。第1の距離測定は、補正なしで行われ、すなわちアフィン処理の係数を変更しない状態で距離を測定した。この場合には、カメラ50からの画像は40℃で撮影され、基準温度30℃に対応するアフィン処理の係数を用いて変換が行われる。また、カメラ60からの画像は70℃で撮影され、基準温度30℃に対応するアフィン処理の係数を用いて変換が行われる。結果は図4に「▲」記号を用いて示す。カメラ50とカメラ60との温度差が大きいため、画角が大きくなるにつれ測距誤差が増大している。
 第2の距離測定は、従来技術に対応するものである。第2の距離測定では、両側の画像についてアフィン処理の係数を変更した。この場合には、カメラ50からの画像は40℃で撮影され、その温度40℃に対応するアフィン処理の係数を用いて変換が行われる。また、カメラ60からの画像は70℃で撮影され、その温度70℃に対応するアフィン処理の係数を用いて変換が行われる。結果は図4に「◇」記号を用いて示す(グラフ上では後述の「+」記号と重複する)。両側のカメラについてそれぞれ適切な変換が行われるので、画角に関わらず測距誤差はほぼ0%に抑制される。
 第3の距離測定は、本発明の実施例1に対応するものである。第3の距離測定では、カメラ50からの画像についてのみアフィン処理の係数を変更した。この場合には、カメラ50からの画像は40℃で撮影され、特定のアフィン処理が行われるが、このアフィン処理の係数は、基準温度30℃に対応する係数が、カメラ間の温度差30℃に対応する量だけ変更されたものである。また、カメラ60からの画像は70℃で撮影され、基準温度30℃に対応するアフィン処理の係数を用いて変換が行われる。結果は図4に「+」記号を用いて示す。なお、図4ではこの測定結果の測距誤差はほぼ0%であるため、グラフ上では第2の距離測定の結果(「◇」記号)と重複している。係数変更の演算量および必要メモリ量が低減されているが、画角に関わらず測距誤差はほぼ0に抑制される。なお、原理的には、第2の距離測定(両側のカメラについてアフィン処理の係数を変更するもの)に比べて測距誤差が大きくなる場合があるが、その差はわずかであり、実用上はその差は問題とならない。
 以上のように、実施例1に係る画像処理装置10によれば、片側のカメラの画像に対してのみアフィン処理の係数を変更することにより、従来の課題である必要メモリ量(揮発性メモリ量または不揮発性メモリ量)および演算量の低減を達成した。
 特に、3次元計測装置には高分解能や広視野が要求されるため、カメラの高画素化が進んでおり、その低減効果は今後さらに大きくなると考えられる。
 また、温度変化の小さい材質(ガラス等)を用いてレンズを作製するのは高価であるが、実施例1に係る画像処理装置10によれば、比較的安価なプラスチックレンズ等でも誤差を低減できるので、コストを削減することができる。
 実施例1において、係数変更手段31による係数の変更の具体的処理は任意に設計可能である。たとえば、温度変化に対する画像の変化の状況を、予めカメラ50およびカメラ60について測定しておき、その結果から得られる変化の差分に基づき、各係数の変更量を決定してもよい。また、特許文献2のように所定の関数を用いてカメラ50およびカメラ60の変化の差分を算出し、各係数の変更量を決定してもよい。この場合においても、揮発性メモリ量の低減を図れる。例えば温度変化のように時定数の大きい変化の場合には、変換テーブルを準備するための時間を長くできる。このため、係数変更手段31では、変換テーブルを1つの画像分だけ確保し、記憶手段12等からカメラ50およびカメラ60の変換基準テーブルの情報を数画素のブロック単位で読み出し、レンズの温度情報を考慮して、基準テーブルを記憶手段12の揮発性メモリに格納すればよい。
 従来技術(たとえば特許文献1および特許文献2に記載される技術)の場合には、画像変換するために所定温度条件で画像の歪を複数回測定する必要があるが、本発明の実施例1の場合には、温度に関する設計値もしくは別のレンズの測定値と、これらから得られた感度情報とに基づき、係数の変更を行ってもよい。
 実施例1では、係数変更手段31はアフィン処理手段20aに対して(すなわちカメラ50からの画像P1に対して)アフィン処理の係数を変更するが、変形例として、アフィン処理手段20bに対して(すなわちカメラ60からの画像P2に対して)アフィン処理の係数を変更してもよい。その場合には、画像P1に対するアフィン処理の係数は変更されない。
 別の変形例として、係数変更手段31は、アフィン処理手段20aおよびアフィン処理手段20bのいずれに対して係数を変更するかを切替可能であってもよい。
 図5は、このような変形例における温度差取得手段30および係数変更手段31の処理の例を説明するフローチャートである。図5の処理において、まず温度差取得手段30は、カメラ50に係る温度およびカメラ60に係る温度を取得する(ステップS1)。
 次に、温度差取得手段30または係数変更手段31は、カメラ50に係る温度と、所定の基準温度との差分(第1の差分)を算出するとともに、カメラ60に係る温度と、当該基準温度との差分(第2の差分)を算出する(ステップS2)。この基準温度はたとえばレンズの仕様上の基準温度であり、予め設定され記憶手段12に記憶されているものとする。差分は、たとえば差の絶対値として表される。
 次に、係数変更手段31は、カメラ50に係る差分とカメラ60に係る差分とを比較する(ステップS3)。カメラ50に係る差分のほうが大きい場合には、係数変更手段31は、アフィン処理手段20aに対してアフィン処理の係数を変更するよう切り替える(ステップS4)。言い換えると、カメラ50に係る温度と基準温度との差分が、カメラ60に係る温度と基準温度との差分より大きい場合には、係数変更手段31は、カメラ50からの画像P1に対するアフィン処理の係数を変更するよう切り替える。
 一方、カメラ60に係る差分のほうが大きい場合には、係数変更手段31は、アフィン処理手段20bに対してアフィン処理の係数を変更するよう切り替える(ステップS5)。言い換えると、カメラ60に係る温度と基準温度との差分が、カメラ50に係る温度と基準温度との差分より大きい場合には、係数変更手段31は、カメラ60からの画像P2に対するアフィン処理の係数を変更するよう切り替える。
 なお、カメラ50に係る差分とカメラ60に係る差分とが等しい場合の分岐先または処理は、当業者が適宜設計可能である。
 ここで、一般的に、2つのレンズの温度が異なる場合には、レンズの温度が基準温度に近い方のレンズによる画像のほうが誤差が小さい。このため、本発明のように片側のカメラの画像に対してのみアフィン処理の係数を変更する場合には、レンズ基準温度に近い温度のレンズを基準とし、レンズ基準温度から遠い温度のレンズについて係数を変更して近い温度のレンズに合わせることによって、より高精度な測距が実現できる。
 実施例1では、係数変更手段31はカメラ間の温度差に基づいて動作するが、動作の基準は温度差に限らない。たとえば、変形例として、カメラ間の相対的位置関係に基づいて動作してもよい。このような変形のより具体的な例として、車載用の画像処理装置において、フロントガラスによる画像への影響を軽減するよう構成することができる。
 画像処理装置10を車載用に用いる場合に、出荷時の検査ではフロントガラスを使わない場合がある。そのような場合には、車両に取り付けた状態ではフロントガラスの曲率の影響を受け、その像が歪み、画角に応じた測距誤差が発生するおそれがある。このような影響に対しても、片側のカメラ画像のみの係数の変更で測距誤差を低減することができる。
 図6は、このような変形例に係る画像処理装置10Xの構成の例を示すブロック図である。この場合には、温度差取得手段30、温度センサ53および温度センサ63は不要であり、係数変更手段31は、カメラ50に係る位置と、カメラ60に係る位置との位置関係に基づいて、アフィン処理手段20aまたはアフィン処理手段20bのアフィン処理の係数を変更するよう動作する。なお、カメラ間の位置関係が固定されている場合には、その位置関係に係る情報を予め記憶手段12に記憶しておいてもよい。また、カメラ間の位置関係が変化し得る場合には、カメラ間の位置関係を取得するための手段を設けてもよい。
 車載用の場合には、解析等の目的から出荷時の歪み情報は保持しておくことが望ましく、両側のカメラ画像を画像変換する分、不揮発性メモリが必要となる。これに対し、本変形例のような片側のカメラ画像のみの係数変更では、不揮発性メモリ量を半減できる。この場合、係数変更手段31は、記憶手段12から直接的に、アフィン処理手段20aまたはアフィン処理手段20bに変換テーブルを転送してもよい。この場合の変換テーブルは、チャート等の結果をもとに作成することができる。
[実施例2]
 図7は、本発明の実施例2に係る画像処理装置110の構成の例を示すブロック図である。実施例1では、係数変更手段31がアフィン処理手段20aに対して明示的にアフィン係数の変更を行った。実施例2は、視差画像生成手段24がオフセット処理を行うことにより、間接的にアフィン係数が変更されるのと同等の処理を行う。
 実施例1の係数変更手段31に代えて、実施例2ではオフセット係数生成手段32が設けられる。オフセット係数生成手段32は、温度差取得手段30からカメラ間の温度差を取得し、この温度差に基づいてオフセット情報を生成する。
 たとえば、オフセット係数生成手段32は、カメラ間の温度差と、所定のオフセット基準係数とに基づいて、画像P3および画像P4から視差画像を生成するためのオフセットテーブルを生成する。オフセット基準係数は、たとえば記憶手段12に予め記憶されていてもよく、その場合には、記憶手段12はオフセット基準係数記憶手段として機能するということができる。このオフセットテーブルは、たとえば視差を補正するための変換に対応するものであり、具体的な形式としては、温度差および画素の座標を入力とし、画素の座標のオフセット値を出力とする関数を表すテーブルとして表すことができる。
 この場合には、温度差に応じて視差が変更されることにより、実質的に、片側の画像のみに対してアフィン処理の係数が変更されるということができる。このため、オフセット係数生成手段32は、実施例1における係数変更手段31と実質的に同等の機能を有するものであり、係数変更手段の一形態であるということができる。
 視差画像生成手段24は、画像P3と、画像P4と、オフセット係数生成手段32が生成したオフセットテーブルとに基づき、視差画像を生成する。
 図8は、実施例2における視差画像生成処理の概要を説明する模式図である。図8(A)は従来技術による視差画像生成処理を示し、図8(B)は本実施例による視差画像生成処理を示す。
 図8(A)の従来の視差画像生成処理において、視差画像生成手段24は、画像P3中の複数画素から構成されるブロックb1を抽出し、画像P4の中でこれと一致するブロックを検索する。このとき、画像P3中のブロックb1の位置(X1,Y1)と、画像P4中の最もよく一致したブロックb2の位置(X2,Y2)との差分(変位量)(X2-X1,Y2-Y1)が視差として検出される。なお画像中のブロックの位置は、たとえばそのブロックの中心にある画素の位置によって表すことができる。このような処理を画像P3中の全ての画素に対して行うことにより、視差画像が生成される。
 次に、本発明の実施例2に係る図8(B)の視差画像生成処理について、具体例を説明する。図8(B)では、まず、画像P3のブロックb1の位置(X1,Y1)に対し、オフセット係数生成手段32で生成されたオフセット量(ΔX,ΔY)を加える。このオフセット量の加算を画像P3に対してのみ行うことにより、実質的に、画像P3のみに対してアフィン処理の係数が変更されるということができる。ここでは位置(X1+ΔX,Y1+ΔY)をオフセット位置と呼ぶ。
 そして、図8(A)の場合と同様に、画像P3中の複数画素から構成されるブロックb1を抽出し、画像P4の中でこれと一致するブロックを探索する。そして、画像P3中のブロックb1のオフセット位置(X1+ΔX,Y1+ΔY)と、画像P4中の最もよく一致したブロックb2の位置(X2,Y2)との差分(変位量)(X2-X1-ΔX,Y2-Y1-ΔY)が視差として検出される。
 このような処理により、実施例1と同じ効果を得ることができる。本実施例の場合、実施例1のように画像サイズに対応した揮発性メモリを確保しておく必要はなく、必要メモリ量がさらに低減可能である。例えば、画像P3中の各ブロックについて一致先ブロックの探索をするときには、画像P3の各ブロックについて基準位置(たとえば中心画素)のオフセット量のみを保持しておけばよいため、実施例1のような画像サイズのオフセットテーブルを用意する必要はない。このため、本実施例に係る画像処理装置110を用いることで、大幅なメモリ量の削減が図れる。さらに、変位量(ΔX,ΔY)を線形もしくは非線形の関数から算出するよう構成することにより、処理に必要な不揮発性メモリ量も低減することができる。
 実施例2において、オフセット係数生成手段32によるオフセットテーブル生成の具体的処理は任意に設計可能である。たとえば、温度変化に対する画像の変化の状況を、予めカメラ50およびカメラ60について測定しておき、その結果から得られる変化の差分に基づき、各温度についてテーブルの内容を決定してもよい。また、特許文献2のように所定の関数を用いてカメラ50およびカメラ60の変化の差分を算出し、テーブルの内容を決定してもよい。たとえば、カメラ50およびカメラ60について、温度に対する画像の変化の差分を関数で表し、この関数の値を画像P3の各画素における変位量とすればよい。このような関数を決定するためには、たとえば複数の温度条件で画像の歪を実測すればよいが、そのような実測を行わずとも、温度に関する設計値もしくは別のレンズの測定値と、これらから得られた感度情報とに基づき、テーブルの内容を決定してもよい。
 実施例2では、オフセット係数生成手段32はカメラ間の温度差に基づいて動作するが、動作の基準は温度差に限らない。たとえば、変形例として、カメラ間の相対的位置関係に基づいて動作してもよい。
 図9は、このような変形例に係る画像処理装置110Xの構成の例を示すブロック図である。この場合には、温度差取得手段30、温度センサ53および温度センサ63は不要であり、オフセット係数生成手段32は記憶手段12に記憶されたオフセット情報(たとえばオフセット係数)を読み出して用いることができる。このような変形のより具体的な例として、車載用の画像処理装置において、フロントガラスによる画像への影響を軽減するよう構成することができる。
[実施例3]
 図10は、本発明の実施例3に係る画像処理装置210の構成の例を示すブロック図である。従来技術(たとえば特許文献1および特許文献2に開示される技術)の場合、画像変換するために所定温度条件で画像の歪を複数測定する必要がある。しかしながら、温度に対する画像変化を測定するには、長い測定時間が必要となり、実用的な考え方ではない。そこで、本実施例に係る画像処理装置210では、設計値もしくは別レンズの測定値と、これから得られる予め決定可能な感度情報とに基づき、画像の変換を行う。
 以下、実施例1との相違を説明する。画像処理装置210は変換中心シフト手段33(位置変更手段)を備える。変換中心シフト手段33は、カメラ間の温度差に応じたレンズ51の歪中心位置を与える関数を表す変換基準テーブルを、係数変更手段31に出力する。この変換基準テーブルは、たとえば記憶手段12に予め記憶される。
 係数変更手段31は、カメラ間の温度差と、この変換基準テーブルから取得される歪中心位置とに基づき、画像P1の歪中心の位置を変更する。ここで「歪中心」とは、変換処理による位置の変位量が最も小さくなる位置のことであり、たとえば変換前の画像内における位置で表される。すなわち、係数変更手段31および変換中心シフト手段33は、変換処理前後で画像内の変位量が最も小さい位置を中心に変換処理の係数の位置を変更する。そして、変更された歪中心の位置に基づき、射影変換等の変換処理を行う。この変換処理はたとえばアフィン処理を含む。このようにして、光軸に対して垂直な方向における、レンズ51と画像センサ52との相対的な位置ずれ(以降、単に「相対位置ずれ」と呼ぶ場合がある)を補正することができる。
 一般的に、レンズと画像センサとの関係は、レンズ前方の無限遠を結像したときに画像センサの中心となるよう調整されるのが一般的であり、ある程度の範囲で調整されているが、量産の工程等でばらつきが発生する可能性がある。これが相対位置ずれの原因の一例である。
 図11は、片側の光学系(たとえばレンズ51および画像センサ52)における、相対位置ずれの補正(すなわち歪中心の位置の変更)について示している。なお、レンズ温度感度は、画角および温度に対して線形に変化すると仮定している。図11(A)は測定データに含まれる相対位置ずれを補正しない場合を示し、図11(B)は相対位置ずれを補正した場合を示している。
 いずれの場合でも、実際の測定(破線)では、像変位量は画角とともに線形に増大する。すなわち、画角が0に近い領域では0に近く、周辺部で絶対値が大きくなる。一方で、これに対する変換(一点鎖線。たとえばアフィン処理)は、これと逆の特性(たとえば傾きが正負逆転した線形関数)をもって実施され、像変位量の変化を打ち消すように設計される。
 図11(A)の例では、測定データにおける像変位量は、画像中心(画角が0となる位置)における値が0ではないが、変換は画像中心で0である。このため相対位置ずれが補正されず、全画角で誤差(実線)が残留していることがわかる。それに対し、図11(B)の例では、測定データにおける像変位量について、画像中心における値が0となるよう補正されている(なお図11(B)では誤差を表す実線は座標軸とほぼ一致するため明確には表れない)。このように相対位置ずれを補正した場合には、いずれの画角でも誤差は残留しないことがわかる。図11(B)のような測定値の補正は、変換中心シフト手段33が出力する変換基準テーブルに基づいて実行することができる。
 レンズの歪の中心位置(変換基準テーブルに記録される値に対応する)は、製造ラインにおいて、予め複数の温度について測定することができる。この製造ラインは、画像処理装置の組立工程とは異なる製造ラインであってもよい。また、射影変換を行う場合には、その中心位置(たとえば変換前後で変位量が最小となる位置)が中心となるよう補正してもよい。この場合、厳密に考えると、温度によるレンズの歪の中心は射影位置とはずれる可能性があるが、大きくずれることはないため、補正の効果は少なくともある程度得ることができる。
 このような補正処理を行うことで、時間のかかる温度をパラメータとした測定を省略することができ、製造時間の短縮が図れる。なお、補正量(歪中心の位置の変化量)は、製造時に決定し、記憶手段12に格納しておいてもよい。また、補正量は温度差のみに依存する値である必要はなく、経時変化等に応じて変化してもよい。
 上述の実施例3では、変換中心シフト手段33は、アフィン処理手段20aのみに対して(係数変更手段31を介して)歪中心の位置を変更した。変形例として、変換中心シフト手段33はアフィン処理手段20bのみに対して歪中心の位置を変更してもよく、アフィン処理手段20aおよびアフィン処理手段20bの双方に対して歪中心の位置を変更してもよい。すなわち、アフィン処理手段20aおよびアフィン処理手段20bのうち少なくとも一方に対して歪中心の位置を変更するものであればよい。
 図12は、このような変形例に係る画像処理装置210Xの構成の例を示すブロック図である。この変形例では、変換中心シフト手段33は、アフィン処理手段20aおよびアフィン処理手段20bの双方に対して歪中心の位置を変更する。
 また、実施例3では、変換中心シフト手段33が係数変更手段31およびアフィン処理手段20aに対して明示的にアフィン係数の変更を行った。変形例として、実施例2のように、変換中心シフト手段33が係数変更手段31および視差画像生成手段24を介して視差に関するオフセット処理を行うことにより、間接的にアフィン係数が変更されるのと同等の処理を行ってもよい。図13は、このような変形例に係る画像処理装置210Yの構成の例を示すブロック図である。
 また、実施例3ではアフィン処理手段20aおよびアフィン処理手段20bを用いたが、これらは、歪中心を定義して変換を行うものであれば、アフィン処理手段に限らず、任意の変換処理手段を用いることができる。すなわち、画像処理装置210は、画像P1に第1の変換処理を行って画像P3を取得する、第1の変換処理手段と、画像P2に第2の変換処理を行って画像P4を取得する、第2の変換処理手段とを備えていればよい。
[実施例4]
 図14は、本発明の実施例4に係る画像処理装置310の構成の例を示すブロック図である。実施例1の構成に加え、誤差信号生成手段34(誤差検出手段)および係数誤差補正手段35(係数フィードバック手段)が設けられている。以下、実施例1との相違を説明する。
 一般に、画像処理装置には経時的な変化があり、それによって測距誤差が発生する場合があり、この測距誤差の解消が課題となる場合がある。例えば、経時変化ではレンズの面間隔が変わるなどの影響があり、レンズの温度に対する変位量が変化することが想定される。そこで、本実施例では、画像処理装置の製造後の測定(路上もしくは車両検査など)に基づいて変換基準テーブルを実質的に補正する処理を行う。
 レンズの温度感度が変わった場合、図3に示すものと同様の測距誤差が発生する。なお、図3は左右のレンズについて温度感度が同じで温度差が発生した場合の比較例であるが、左右のレンズについて温度が一定で温度感度が変わった場合でも、測距誤差の発生原理は同じである。
 本発明の実施例4に係る画像処理装置310は、測距誤差を係数変更手段31にフィードバックすることにより、係数変更手段31による係数の変更量を補正する。とくに、誤差信号生成手段34は、距離算出手段25の測距誤差(距離の検出誤差)を検出し、この測距誤差を表す誤差信号を生成して係数誤差補正手段35に送信する。
 係数誤差補正手段35は、距離の検出誤差を表すこの誤差信号に基づいて、係数変更手段31における係数の誤差を補正する。すなわち、アフィン処理手段20aに対して変換処理の係数を変更する。
 図15に、誤差信号生成手段34による測距誤差の検出方法の一例を示す(なお測距誤差の検出方法はこれに限らず任意に設計可能である)。この例では、画像中の水平な直線において、距離基準点から等距離にある2点の位置情報を利用する。
 図15の画像には、路上に2本の白線R1,R2が現れている。白線R1,R2は、距離基準点から等距離(たとえば車両に対して左右対称)にあるものとする。誤差信号生成手段34は、白線R1,R2の双方と交差する水平直線H1を生成する。次に、誤差信号生成手段34は、水平直線H1と、白線R1,R2との交点C1,C2を求める。次に、誤差信号生成手段34は、交点C1,C2までの距離を取得し、これらの距離の差を算出する。ここで、測距誤差がない場合には、交点C1までの距離と、交点C2までの距離とは互いに等しい(差が0となる)はずである。この考え方に基づき、これらの距離が等しくない場合には、係数誤差補正手段35は、距離の差に応じて係数変更手段31における係数の変更量を補正する。たとえば、係数変更手段31が用いる変換基準テーブルを書き換える。より具体的には、たとえば変換基準テーブルにおける全ての値を等倍する(すなわち画像を拡大または縮小する)ことにより、係数の変更量が補正され、画像の距離誤差が補正される。このようにしてフィードバック処理が行われる。
 この例では水平な直線の例として水平直線H1を用いたが、このような直線は画像中に現れる直線を用いてもよく、たとえば横断歩道R3が検出可能な場合には、横断歩道R3の端線H2を水平な直線として利用してもよい。
 ここで、実施例4によれば、画像P3および画像P4のどちらがより正しいか(どちらの誤差がより小さいか)を決定する必要がないため、比較的簡素な構成でフィードバック処理を実現することができる。たとえば、従来技術(たとえば特許文献1および特許文献2に開示される技術)では、2つのレンズのうち、どちらのレンズの温度感度が変わったのかを決定する必要があるが、本発明の実施例4ではそのような処理は不要である。
 上述の実施例4では2点までの距離差を用いたが、これに代えて統計的な処理を用いてもよい。たとえば、水平直線H1上の点を3点以上定義し、各点までの距離の統計的情報(平均値、中央値、分散、標準偏差等)に基づいて係数の変更量を補正してもよい。
 また、誤差信号は他の内容の誤差を表すものであってもよい。たとえば、同一の構造物の寸法(たとえば路面からの高さ)を画像P3および画像P4それぞれについて測定し、その寸法の差を誤差信号として用いてもよい。
 さらに、実施例4では係数変更手段31はカメラ間の温度差に依存して動作するが、温度差に依存しないものであってもよい。例えば、出荷時に係数変更手段31の変換基準テーブルを所定の初期設計値に設定しておき、その後路上での誤差信号の結果をもとに変換基準テーブルを書き換えてもよい。
 また、実施例4では、係数誤差補正手段35が係数変更手段31およびアフィン処理手段20aに対して明示的にアフィン係数の変更を行った。変形例として、実施例2のように、係数誤差補正手段35が視差画像生成手段24を介して視差に関するオフセット処理を行うことにより、間接的にアフィン係数が変更されるのと同等の処理を行ってもよい。
 また、実施例4では、係数誤差補正手段35は、アフィン処理手段20aのみに対して(係数変更手段31を介して)変換処理の係数を変更したが、変換処理の係数の変更は、アフィン処理手段20aおよびアフィン処理手段20bのうち少なくとも一方に対して行われればよい。
 また、実施例4ではアフィン処理手段20aおよびアフィン処理手段20bを用いたが、これらはアフィン処理手段に限らず、任意の変換処理手段を用いることができる。すなわち、画像処理装置310は、画像P1に第1の変換処理を行って画像P3を取得する、第1の変換処理手段と、画像P2に第2の変換処理を行って画像P4を取得する、第2の変換処理手段とを備えていればよい。
 上述の実施例1~4のいずれにおいても、カメラ50およびカメラ60の相対的位置関係は当業者が適宜設計可能である。たとえば、カメラ50およびカメラ60を、互いの光軸が平行となる向きに、カメラ50とカメラ60とを結ぶ直線が光軸と直交するように、配置することができる。この際、カメラ50およびカメラ60は、水平方向に並べることができる(すなわち1つの水平面内に配置してもよい)が、垂直方向に並べてもよい(すなわち1つの鉛直平面内に配置してもよい)。また、カメラ50とカメラ60とを合理化する等により、1つのセンサとして視差を検出する場合でも、視差を検出するための2つの画像のうち、片側の画像についてアフィン処理の係数を変更したり、歪中心の位置を変更したり、測距誤差をフィードバックしたりすることにより、実施例1~4と同様の効果が得られる。
 なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成の一部を加えることも可能である。また、各実施例の構成の一部について、他の構成の一部を追加・削除・置換することが可能である。例えば、図16の画像処理装置410のように実施例1と実施例2を組合せた構成とすることもできる。さらに例えば、各実施例の画像処理装置に新たなカメラを組み合わせたり、それ以外の画像処理装置と併用したりする場合に、1つのカメラの画像を基準として他のカメラの画像の歪みを補正する処理をしてもよい。このようにすることで、複数画像を比較または合成する場合に、処理結果を一致させることができ、処理負荷を低減できる。
 10,10X,110,110X,210,210X,210Y,310,410 画像処理装置、100 対象物、20a アフィン処理手段(第1のアフィン処理手段、第1の変換処理手段)、20b アフィン処理手段(第2のアフィン処理手段、第2の変換処理手段)、25 距離算出手段、30 温度差取得手段、31 係数変更手段、32 オフセット係数生成手段(係数変更手段)、53 温度センサ(第1の温度センサ)、63 温度センサ(第2の温度センサ)、33 変換中心シフト手段(位置変更手段)、35 係数誤差補正手段(係数フィードバック手段)、P1 画像(第1の画像)、P2 画像(第2の画像)、P3 画像(第3の画像)、P4 画像(第4の画像)。
 本明細書で引用した全ての刊行物、特許及び特許出願はそのまま引用により本明細書に組み入れられるものとする。
 

Claims (5)

  1.  画像処理装置であって、
     画像を記憶する画像記憶手段と、
     第1の画像に第1のアフィン処理を行って第3の画像を取得する、第1のアフィン処理手段と、
     第2の画像に第2のアフィン処理を行って第4の画像を取得する、第2のアフィン処理手段と、
     前記第1のアフィン処理手段および前記第2のアフィン処理手段のうち一方のみに対し、アフィン処理の係数を変更する、係数変更手段と、
     前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
    を備える、画像処理装置。
  2.  請求項1に記載の画像処理装置において、
     前記画像処理装置は、前記第1の画像を撮影する第1のカメラに係る第1の温度と、前記第2の画像を撮影する第2のカメラに係る第2の温度との温度差を取得する、温度差取得手段を備え、
     前記係数変更手段は、前記温度差に基づいてアフィン処理の係数を変更する、
    画像処理装置。
  3.  請求項2に記載の画像処理装置において、
     前記温度差取得手段は、前記第1の温度を取得する第1の温度取得手段と、前記第2の温度を取得する第2の温度取得手段とを備え、
     前記第1の温度と所定の基準温度との第1の差分が、前記第2の温度と前記基準温度との第2の差分より大きい場合には、前記係数変更手段は前記第1のアフィン処理手段に対してアフィン処理の係数を変更し、
     前記第1の差分が、前記第2の差分より小さい場合には、前記係数変更手段は前記第2のアフィン処理手段に対してアフィン処理の係数を変更する、
    画像処理装置。
  4.  画像処理装置であって、
     画像を記憶する画像記憶手段と、
     第1の画像に第1の変換処理を行って第3の画像を取得する、第1の変換処理手段と、 第2の画像に第2の変換処理を行って第4の画像を取得する、第2の変換処理手段と、 前記第1の変換処理手段および前記第2の変換処理手段のうち少なくとも一方に対し、変換処理前後で画像内の変位量が最も小さい位置を中心に変換処理の係数の位置を変更する、位置変更手段と、
     前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
    を備える、画像処理装置。
  5.  画像処理装置であって、
     画像を記憶する画像記憶手段と、
     第1の画像に第1の変換処理を行って第3の画像を取得する、第1の変換処理手段と、 第2の画像に第2の変換処理を行って第4の画像を取得する、第2の変換処理手段と、 前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
     前記距離の検出誤差を検出する、誤差検出手段と、
     前記距離の前記検出誤差に基づき、前記第1の変換処理手段および前記第2の変換処理手段のうち少なくとも一方に対し、変換処理の係数を変更する、係数フィードバック手段と、
    を備える、画像処理装置。
PCT/JP2019/047112 2019-01-22 2019-12-03 画像処理装置 WO2020152995A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19912033.8A EP3916349A4 (en) 2019-01-22 2019-12-03 IMAGE PROCESSING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-008531 2019-01-22
JP2019008531A JP7109386B2 (ja) 2019-01-22 2019-01-22 画像処理装置

Publications (1)

Publication Number Publication Date
WO2020152995A1 true WO2020152995A1 (ja) 2020-07-30

Family

ID=71736131

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047112 WO2020152995A1 (ja) 2019-01-22 2019-12-03 画像処理装置

Country Status (3)

Country Link
EP (1) EP3916349A4 (ja)
JP (1) JP7109386B2 (ja)
WO (1) WO2020152995A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259632A (ja) * 1998-03-12 1999-09-24 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2001082955A (ja) * 1999-09-16 2001-03-30 Fuji Heavy Ind Ltd ステレオ画像の位置ずれ調整装置
JP2007081806A (ja) * 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP2011253376A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20150022669A1 (en) * 2013-07-17 2015-01-22 Microsoft Corporation Real-time registration of a stereo depth camera array
WO2018123642A1 (ja) * 2016-12-26 2018-07-05 日立オートモティブシステムズ株式会社 ステレオカメラ
JP2019008531A (ja) 2017-06-23 2019-01-17 株式会社豊田自動織機 移動車両

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6789888B2 (ja) * 2017-06-15 2020-11-25 日立オートモティブシステムズ株式会社 ステレオカメラ装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259632A (ja) * 1998-03-12 1999-09-24 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2001082955A (ja) * 1999-09-16 2001-03-30 Fuji Heavy Ind Ltd ステレオ画像の位置ずれ調整装置
JP2007081806A (ja) * 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP2011253376A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20150022669A1 (en) * 2013-07-17 2015-01-22 Microsoft Corporation Real-time registration of a stereo depth camera array
WO2018123642A1 (ja) * 2016-12-26 2018-07-05 日立オートモティブシステムズ株式会社 ステレオカメラ
JP2019008531A (ja) 2017-06-23 2019-01-17 株式会社豊田自動織機 移動車両

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3916349A4

Also Published As

Publication number Publication date
JP2020118509A (ja) 2020-08-06
JP7109386B2 (ja) 2022-07-29
EP3916349A1 (en) 2021-12-01
EP3916349A4 (en) 2023-02-22

Similar Documents

Publication Publication Date Title
US11985293B2 (en) System and methods for calibration of an array camera
JP6427900B2 (ja) 校正方法、校正システム、プログラム及び移動体
EP3220099B1 (en) Calibration device, calibration method, optical device, imaging device, projection device, measurement system, and measurement method
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
US9348111B2 (en) Automatic detection of lens deviations
JPWO2018029950A1 (ja) 較正装置、較正方法、光学装置、撮影装置、および投影装置
US20090128686A1 (en) Imaging apparatus
JP5365387B2 (ja) 位置検出装置
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
KR100481399B1 (ko) 촬상 시스템, 상기 시스템에서 화상 데이터를 제어하도록사용되는 프로그램, 상기 시스템에서 촬상 화상의 왜곡을보정하기 위한 방법 및 상기 방법의 순서를 기억시키는기록 매체
JP2015163866A (ja) ステレオカメラ校正方法、視差算出装置及びステレオカメラ
US11595631B2 (en) Imaging device, image capturing optical system, and movable apparatus
JP2012198031A (ja) 画像補正方法及び画像補正装置
JPH11325890A (ja) ステレオカメラの画像補正装置
JP2019132855A (ja) ステレオカメラ校正方法、視差算出装置及びステレオカメラ
JP2008298589A (ja) 位置検出装置及び位置検出方法
JP2002262156A (ja) カメラ装置、カメラシステムおよび画像処理方法
WO2020152995A1 (ja) 画像処理装置
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
CN111179180A (zh) 影像的修正方法及其装置
WO2021044746A1 (ja) 画像処理装置
JP6996582B2 (ja) 校正方法、校正装置及びプログラム
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム
CN108513058B (zh) 可补偿图像变化的图像装置
WO2020016994A1 (ja) 画像歪み検査装置、画像歪み検査方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912033

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019912033

Country of ref document: EP

Effective date: 20210823