WO2023074452A1 - カメラ装置、および、カメラ装置の制御方法 - Google Patents

カメラ装置、および、カメラ装置の制御方法 Download PDF

Info

Publication number
WO2023074452A1
WO2023074452A1 PCT/JP2022/038654 JP2022038654W WO2023074452A1 WO 2023074452 A1 WO2023074452 A1 WO 2023074452A1 JP 2022038654 W JP2022038654 W JP 2022038654W WO 2023074452 A1 WO2023074452 A1 WO 2023074452A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
exposure time
camera modules
image
camera device
Prior art date
Application number
PCT/JP2022/038654
Other languages
English (en)
French (fr)
Inventor
賢二 山本
一雄 松浦
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to JP2023556335A priority Critical patent/JPWO2023074452A1/ja
Publication of WO2023074452A1 publication Critical patent/WO2023074452A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the present invention relates to a camera device that calculates parallax from a plurality of images captured at the same time by a plurality of camera modules, and a control method for the camera device.
  • the left camera 110 and the right camera 111 can capture images with different exposure times.
  • a bright image 200 (first image) and a dark image 210 (second image darker than the first image) can be captured by the left camera 110 and the right camera 111.
  • the left and right cameras may capture images with different exposure times, or in some cases, the left and right cameras may capture images with the same exposure time. It is assumed that the right camera 111 is set to a short exposure time (second exposure time shorter than the first exposure time) to obtain a dark image, and an image is captured. .”
  • Template matching is one of the methods for obtaining parallax.
  • Template matching is a method of dividing one image into small areas, detecting the corresponding position of each area on the other image, and obtaining the shift in the position of the area as a parallax. Therefore, the higher the signal-to-noise ratio (hereinafter referred to as “S/N”) of each image, the higher the similarity of each image and the higher the accuracy of parallax detection. Particularly in a scene with little texture such as a road surface, it is necessary to perform matching with a small amount of features, and a high S/N is required.
  • S/N signal-to-noise ratio
  • Patent Document 1 the abstract of the same document states "an image acquisition unit that acquires a first image and a second image whose exposure time is different from that of the first image", and paragraph 0017 states "a left camera 110 and The right camera 111 captures an image with a different exposure time.” After capturing a bright image and a dark image simultaneously with the left and right cameras with different exposure times, the brightness of the dark image is amplified by adjusting the gain. , the brightness of the left and right images are matched, but these processes amplify the signal and noise in the dark image by the same factor. It also does not improve the accuracy of parallax detection by use.
  • the stereo imaging device of the present invention provides a plurality of camera modules with different exposure times so that the exposure time ratio of each of the plurality of camera modules is constant. and a stereo processing unit that obtains a parallax image based on each image acquired with the exposure time set for each camera module.
  • the camera device and the control method of the camera device of the present invention when there are individual differences among the plurality of camera modules, the brightness of each image input from the plurality of camera modules is adjusted, and at the same time, the brightness of each image is adjusted.
  • the accuracy of parallax detection can be enhanced.
  • FIG. 1 is a top view of a vehicle with three camera modules installed;
  • FIG. 3 is a functional block diagram of the camera device of Example 1.
  • FIG. 4A and 4B are diagrams showing signal characteristics of the camera module according to the first embodiment;
  • FIG. The figure which shows the relationship of a signal and noise when the gain of K times is multiplied.
  • the figure which shows the relationship of a signal and noise when exposure time is K times.
  • FIG. 10 is a functional block diagram of a camera device of Example 2;
  • FIG. 1 a camera device 100 according to Example 1 of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 A camera device 100 according to Example 1 of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 a camera device 100 according to Example 1 of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 A camera device 100 according to Example 1 of the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 is a top view of a vehicle V equipped with a camera device 100 of this embodiment, and three camera modules C1, C2, and C3 are attached as follows. That is, the camera module C1 is installed so as to capture an image of a range of an angle of view A1 in front of the vehicle, and the camera module C2 is installed so as to capture an image of a range of an angle of view A2 in front of the vehicle. C3 is installed so as to capture an image of a range of angle of view A3 on the right front of the vehicle.
  • the imaging directions of the camera modules C1 and C2 partially overlap, and the imaging directions of the camera modules C1 and C3 also partially overlap. Therefore, the camera device 100 can detect a pedestrian, a vehicle, etc. from the parallax calculated in the overlapping imaging range of the camera modules C1 and C2 and the overlapping imaging range of the camera modules C1 and C3. Note that the installation number and installation position of the camera modules C are not limited to the example shown in FIG.
  • FIG. 2 is a functional block diagram of the camera device 100 of this embodiment.
  • the camera device 100 of this embodiment has three camera modules C (C1, C2, C3), an arithmetic device 1, and a memory 2, and a pair of camera modules simultaneously Parallax can be calculated based on the pair of captured images.
  • Each of the camera module C, the arithmetic unit 1, and the memory 2 will be described in detail below.
  • the camera modules C1, C2, and C3 are devices for capturing images, and are mainly composed of image sensors and lenses.
  • the specifications of the image sensor and lens that constitute each camera module can be determined arbitrarily.
  • the specifications of the image sensor and lens of both camera modules may be the same.
  • the characteristics of each camera module are different due to differences in design specifications or individual differences in the imaging device and lens.
  • the camera modules C1, C2, and C3 capture the images P1, P2, and P3 with exposure times individually set by the exposure time setting unit 11 . Images P1, P2, and P3 captured by camera modules C1, C2, and C3 are output to exposure time setting section 11 and stereo processing section 12, respectively.
  • the memory 2 stores correction coefficients that are ratios of exposure times in the camera modules C1, C2, and C3.
  • This correction coefficient is represented by S1/S2 which is the ratio of the signals S1 and S2 of the camera modules C1 and C2, or S1/S3 which is the ratio of the signals S1 and S3 of the camera modules C1 and C3.
  • S1/S2 which is the ratio of the signals S1 and S2 of the camera modules C1 and C2
  • S1/S3 which is the ratio of the signals S1 and S3 of the camera modules C1 and C3.
  • These correction coefficients may be obtained before shipment from the factory, or may be determined from the specification values of the image pickup device and lens, taking into account variations in the characteristics of the image pickup device and lens.
  • the correction coefficients stored in the memory 2 are output to the actual exposure time setting section 11b. Details of the signals S1, S2, and S3 will be described later with reference to FIG.
  • the computing device 1 is an FPGA (Field Programmable Gate Array) or the like programmed to execute a predetermined function, and has an exposure time setting section 11 and a stereo processing section 12 .
  • FPGA Field Programmable Gate Array
  • the exposure time setting unit 11 has a standard exposure time determination unit 11a and an actual exposure time setting unit 11b.
  • the exposure times of the camera modules C1, C2, and C3 are set from the correction coefficients obtained.
  • one exposure time setting unit 11 sets the exposure times of a plurality of camera modules, but the exposure time setting unit 11 may be provided for each camera module.
  • the standard exposure time determination unit 11a sets one of the images P1, P2, and P3 captured by the camera modules C1, C2, and C3, which has the highest signal value, as the reference image. Then, with respect to the camera module C that captures the reference image, an appropriate exposure time for securing the amount of light required for parallax calculation is calculated and output to the actual exposure time setting section 11b.
  • the image P of which camera module C is used as the reference image will be described with reference to FIG.
  • FIG. 3 is a diagram showing signal characteristics of camera modules C1, C2, and C3.
  • the vertical axis indicates the signal value output from the image sensor, and the horizontal axis indicates the exposure time.
  • L1 indicates the signal characteristics of the camera module C1
  • L2 indicates the signal characteristics of the camera module C2
  • L3 indicates the signal characteristics of the camera module C3.
  • the signal value of the camera module C1 is S1 on the signal characteristic L1.
  • the signal value of the camera module C2 becomes S2 on the signal characteristic L2
  • the signal value of the camera module C3 becomes S3 on the signal characteristic L3.
  • the standard exposure time is determined based on the captured image of the camera module C with the higher signal value. For example, as shown in FIG. 3, if S1>S2 and S1>S3, the image P1 of the camera module C1 is used as a reference. From now on, it is assumed that the standard exposure time is determined based on the image P1 of the camera module C1.
  • the actual exposure time setting unit 11b sets the exposure time setting value ⁇ 1 (standard exposure time) of the camera module C1 output from the standard exposure time determination unit 11a and the correction coefficients S1/S2 and S1/S3 output from the memory 2. Based on this, the exposure time setting value ⁇ 2 of the camera module C2 and the exposure time setting value ⁇ 3 of the camera module C3 are set.
  • the exposure time set values ⁇ 2 and T3 are expressed by the following formulas 1 and 2.
  • ⁇ 2 ⁇ 1 ⁇ S1/S2 (Formula 1)
  • ⁇ 3 ⁇ 1 ⁇ S1/S3 (formula 2)
  • the camera module C1 , C2 and C3 the brightness of the images P1, P2 and P3 can be matched.
  • the images P2 and P3 having the same brightness as the image P1 of the camera module C1 having superior characteristics can be captured without degrading the S/N. can. The details of the action of the processing here will be described later.
  • Patent Document 1 is a method of correcting the brightness of a pair of images captured by a pair of cameras with different exposure times using a gain. (the signal value of the camera module C1 having superior characteristics), the signal value S2 of the camera module C2 is multiplied by a K-fold gain as shown in Equation (3).
  • the S/N when the brightness of the image is adjusted using this embodiment will be described.
  • the magnitude of the signal value of the module C2 is adjusted to the appropriate exposure amount (magnitude of the signal value of the camera module C1 having superior characteristics).
  • FIG. 5 shows the relationship between the signal and noise when the exposure time setting value T2 is K times the exposure time setting value T1.
  • Noise is represented by ⁇ s because shot noise is dominant.
  • the exposure time is multiplied by K
  • the signal becomes K times and the noise becomes ⁇ K times
  • the S/N of the image P2 of the camera module C2 is improved by ⁇ K times.
  • it is possible to match the brightness of the images of the camera modules C1 and C2 and also improve the detection accuracy of the parallax.
  • the camera device 100 of the present embodiment when there are individual differences among a plurality of camera modules, the brightness of each image input from a plurality of camera modules is adjusted and at the same time each image is The accuracy of parallax detection can be improved by improving the S/N ratio of .
  • the signal comparison unit 13 calculates the current signal ratio S1'/S2' of the camera modules C1 and C2 and the ratio of the camera modules C1 and C3.
  • the signal ratio S1'/S3' is calculated and compared with the correction coefficients S1/S2 and S1/S3 input from the memory 2.
  • FIG. When the difference exceeds a preset threshold value, the correction coefficients S1/S2 and S1/S3 stored in the memory 2 are rewritten to S1'/S2' and S1'/S3', respectively.
  • a correction factor can be used to set the exposure time for each camera module.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

複数のカメラモジュールから入力された各画像の明るさを合わせると同時に視差の検出精度をあげることがカメラ装置を提供することを目的とする。複数のカメラモジュールと、前記複数のカメラモジュールの各々の露光時間の比率が一定になるように、当該カメラモジュールの各々の露光時間が異なるように設定する露光時間設定部と、前記カメラモジュールごとに設定された露光時間で取得された各画像に基づいて視差画像を求めるステレオ処理部と、を備える。

Description

カメラ装置、および、カメラ装置の制御方法
　本発明は、複数のカメラモジュールで同時刻に撮像した複数の画像から視差を算出するカメラ装置、および、そのカメラ装置の制御方法に関する。
　近年、複数のカメラを用いて歩行者や車両などを検出する車載カメラ装置が実用化されている。車載カメラ装置の一種であるステレオカメラは、左右のカメラモジュールで同時刻に撮像された一対の画像上における同一対象物の位置ずれ（視差）を、テンプレートマッチングなどの手法により算出し、その視差に基づいて対象物の実空間上での位置を、周知の変換式により算出する装置である。
　ステレオカメラの基本性能である測距精度を高めるために、それぞれの画像に対して撮像素子やレンズに起因するデバイス固有の偏差や収差を補正する処理が必要となる。中でも、それぞれの画像の明るさを合わせる方法に関して、例えば、特許文献１にはゲインによる補正方法が記載されている。
　この特許文献１の要約書では、課題として「輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供することである。」と記載されており、解決手段として「第１の画像と第１の画像と露光時間が異なる第２の画像を取得する画像取得部と、取得した第１の画像及び第２の画像の一方の画像に輝度補正を行うゲイン・オフセット補正部１０２と、輝度補正部で補正された一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部１０３と、取得した第１の画像及び第２の画像を合成して合成画像を生成し、出力する合成画像生成部１０５と、を備える。」と記載されている。
　また、特許文献１の段落００１７には「左カメラ１１０と右カメラ１１１は、それぞれで異なる露光時間で撮像することができる。よって、同時に撮像したときに得られる画像（同一フレーム画像と呼ぶ）として、左カメラ１１０と右カメラ１１１とで、明るい画像２００（第１の画像）と暗い画像２１０（第１の画像より暗い第２の画像）を撮像できる。撮像状況や撮像対象によっては、常時、左右カメラにおいて異なる露光時間で撮像してもよいし、場合によっては、左右カメラにおいて同一の露光時間で撮像してもよい。本発明を説明する上で、以降、左カメラ１１０は明るい画像を得られる長い露光時間（第１の露光時間）で、右カメラ１１１は暗い画像を得られる短い露光時間（第１の露光時間より短い第２の露光時間）で設定されて、撮像されるものとする。」と記載されている。
特開２０１３－８８５８７号公報
　視差を求める手法の一つにテンプレートマッチングがある。テンプレートマッチングはは、一方の画像を小面積の領域に分割し、各領域について他方の画像上で対応する位置を検出し、その領域の位置のずれを視差として求める手法である。そのため、それぞれの画像の信号とノイズの比（以降、「Ｓ／Ｎ」と称する。）が高いほど、それぞれの画像の類似度が高くなり、視差の検出精度が高くなる。特に路面のようなテクスチャが少ないシーンでは、僅かな特徴量でマッチングする必要があり、高いＳ／Ｎが求められる。
　一方、撮像素子やレンズには個体差があるため、それぞれの画像のＳ／Ｎは一致せず、Ｓ／Ｎが低い方の画像に律速されて視差の検出精度は低下する特性がある。
　特許文献１では、同文献の要約書に「第１の画像と第１の画像と露光時間が異なる第２の画像を取得する画像取得部」とあり、また、段落００１７に「左カメラ１１０と右カメラ１１１は、それぞれで異なる露光時間で撮像する」とあるように、露光時間の異なる左右カメラで明るい画像と暗い画像を同時に撮像した後、暗い画像の明るさをゲイン調整することで増幅し、左右画像の輝度を合わせているが、これらの処理により、暗い画像中の信号もノイズも同じ倍率で増幅されるため、輝度補正しても画像のＳ／Ｎは改善されず、テンプレートマッチングの利用による視差の検出精度も改善しない。
　この問題を踏まえ、本発明は、複数のカメラモジュールに個体差がある場合に、複数のカメラモジュールから入力された各画像の明るさを合わせると同時に、各画像のＳ／Ｎを改善することで視差の検出精度を高めることができる、カメラ装置、および、カメラ装置の制御方法を提供することを目的とする。
　上記課題を解決するために本発明のステレオ撮像装置は、複数のカメラモジュールと、前記複数のカメラモジュールの各々の露光時間の比率が一定になるように、当該カメラモジュールの各々の露光時間が異なるように設定する露光時間設定部と、前記カメラモジュールごとに設定された露光時間で取得された各画像に基づいて視差画像を求めるステレオ処理部と、を有する構成とする。
　本発明のカメラ装置、および、カメラ装置の制御方法によれば、複数のカメラモジュールに個体差がある場合に、複数のカメラモジュールから入力された各画像の明るさを合わせると同時に、各画像のＳ／Ｎを改善することで視差の検出精度を高めることができる。
３つのカメラモジュールを取り付けた車両の上面図。 実施例１のカメラ装置の機能ブロック図。 実施例１のカメラモジュールの信号特性を示す図。 Ｋ倍のゲインを掛けた時の信号とノイズの関係を示す図。 露光時間をＫ倍した時の信号とノイズの関係を示す図。 実施例２のカメラ装置の機能ブロック図。
　以下、図面を用いて、本発明のカメラ装置１００の実施例を説明する。
　まず、図１から図５を用いて、本発明の実施例１に係るカメラ装置１００を説明する。
　図１は、本実施例のカメラ装置１００を搭載した車両Ｖの上面図であり、３つのカメラモジュールＣ１、Ｃ２、Ｃ３を次のように取り付けている。すなわち、カメラモジュールＣ１は、車両前方の画角Ａ１の範囲を撮像するように設置されており、カメラモジュールＣ２は、車両左前の画角Ａ２の範囲を撮像するように設置されており、カメラモジュールＣ３は、車両右前の画角Ａ３の範囲を撮像するように設置されている。なお、図から明らかなように、カメラモジュールＣ１、Ｃ２の撮像方向は一部重複しており、カメラモジュールＣ１、Ｃ３の撮像方向も一部重複している。従って、カメラ装置１００は、カメラモジュールＣ１、Ｃ２の重複撮像範囲、および、カメラモジュールＣ１、Ｃ３の重複撮像範囲において算出した視差から、歩行者や車両などを検出することができる。なお、カメラモジュールＣの設置数、設置位置は図１の例に制限されず、少なくとも一対のカメラモジュールＣの撮像方向の一部が重複している設置条件であれば良い。
　図２は、本実施例のカメラ装置１００の機能ブロック図である。ここに示すように、本実施例のカメラ装置１００は、３つのカメラモジュールＣ（Ｃ１、Ｃ２、Ｃ３）、演算装置１、および、メモリ２を有しており、一対のカメラモジュールで同時刻に撮像した一対の画像に基づいて、視差を算出することができる。以下、カメラモジュールＣ、演算装置１、メモリ２の夫々について、順次詳細に説明する。
　［カメラモジュールＣ］
　カメラモジュールＣ１、Ｃ２、Ｃ３は、画像を撮像するための装置であり、主に撮像素子とレンズで構成される。なお、各カメラモジュールを構成する撮像素子とレンズの仕様は任意に決めることができ、例えば、両カメラモジュールの撮像素子とレンズの仕様を同等にしても良いし、各カメラモジュールの設置位置等に応じて異ならせても良いが、何れの場合も、撮像素子やレンズの設計上の仕様差または個体差によって、各カメラモジュールの特性が相違する。また、カメラモジュールＣ１、Ｃ２、Ｃ３は、露光時間設定部１１により個別に設定された露光時間で画像Ｐ１、Ｐ２、Ｐ３を撮像する。そして、カメラモジュールＣ１、Ｃ２、Ｃ３で撮像した画像Ｐ１、Ｐ２、Ｐ３は、露光時間設定部１１とステレオ処理部１２に出力される。
　［メモリ２］
　メモリ２には、カメラモジュールＣ１、Ｃ２、Ｃ３における露光時間の比率である補正係数が記憶されている。この補正係数は、カメラモジュールＣ１、Ｃ２の信号Ｓ１、Ｓ２の比であるＳ１／Ｓ２、または、カメラモジュールＣ１、Ｃ３の信号Ｓ１、Ｓ３の比であるＳ１／Ｓ３で表される。これらの補正係数は、撮像素子とレンズの特性のばらつきを考慮し、工場出荷前にデータ取得してもよいし、撮像素子とレンズの仕様値から決めてもよい。メモリ２に格納された補正係数を実露光時間設定部１１ｂに出力する。なお、信号Ｓ１、Ｓ２、Ｓ３の詳細は、図３を用いて後述する。
　［演算装置１］
　演算装置１は、所定の機能を実行するようにプログラムされたＦＰＧＡ（Field Programmable Gate Array）等であり、露光時間設定部１１と、ステレオ処理部１２を有する。
　露光時間設定部１１は、標準露光時間決定部１１ａと、実露光時間設定部１１ｂを有しており、カメラモジュールＣ１、Ｃ２、Ｃ３から入力した画像Ｐ１、Ｐ２、Ｐ３と、メモリ２に格納された補正係数から、カメラモジュールＣ１、Ｃ２、Ｃ３の露光時間を設定する。なお、図２では、一つの露光時間設定部１１で複数のカメラモジュールの露光時間を設定しているが、カメラモジュール毎に露光時間設定部１１を設けても良い。
　標準露光時間決定部１１ａは、カメラモジュールＣ１、Ｃ２、Ｃ３が撮像した画像Ｐ１、Ｐ２、Ｐ３のうち、信号値の最も高い何れか１つの画像Ｐを基準画像に設定する。そして、その基準画像を撮像するカメラモジュールＣに関して、視差算出時に必要とされる光量を確保するための適正な露光時間を計算し、実露光時間設定部１１ｂに出力する。何れのカメラモジュールＣの画像Ｐを基準画像とするかは図３を用いて説明する。
　図３は、カメラモジュールＣ１、Ｃ２、Ｃ３の信号特性を示す図である。縦軸は撮像素子から出力される信号値を示しており、横軸は露光時間を示す。また、Ｌ１はカメラモジュールＣ１の信号特性を示し、Ｌ２はカメラモジュールＣ２の信号特性を示し、Ｌ３はカメラモジュールＣ３の信号特性を示す。同じ明るさの一様な光源に対して、同じ露光時間ｔで画像を撮像した時、カメラモジュールＣ１の信号値は信号特性Ｌ１上のＳ１となる。同様に、カメラモジュールＣ２の信号値は信号特性Ｌ２上のＳ２となり、カメラモジュールＣ３の信号値は信号特性Ｌ３上のＳ３となる。
　この場合、信号値が高い方のカメラモジュールＣの撮像画像を元に標準露光時間を決定する。例えば、図３のように、Ｓ１＞Ｓ２、かつ、Ｓ１＞Ｓ３であれば、カメラモジュールＣ１の画像Ｐ１を基準として使用する。以降、カメラモジュールＣ１の画像Ｐ１を基準に標準露光時間が決定されるものとする。
　実露光時間設定部１１ｂは、標準露光時間決定部１１ａから出力されたカメラモジュールＣ１の露光時間設定値Т１（標準露光時間）と、メモリ２から出力された補正係数Ｓ１／Ｓ２、Ｓ１／Ｓ３に基づいて、カメラモジュールＣ２の露光時間設定値Т２、および、カメラモジュールＣ３の露光時間設定値Т３を設定する。露光時間設定値Т２、Ｔ３は以下の式１、式２で表される。
　Т２＝Т１×Ｓ１／Ｓ２　…（式１）
　Т３＝Т１×Ｓ１／Ｓ３　…（式２）
　このように、補正係数（Ｓ１／Ｓ２、Ｓ１／Ｓ３）で決まる露光時間の比率に従って、異なる露光時間でカメラモジュールＣ１、Ｃ２、Ｃ３の画像Ｐ１、Ｐ２、Ｐ３を撮像することで、カメラモジュールＣ１、Ｃ２、Ｃ３の画像Ｐ１、Ｐ２、Ｐ３の明るさを合わせることができる。この処理により、特性の劣るカメラモジュールＣ２、Ｃ３であっても、Ｓ／Ｎを劣化させることなく、特性の勝るカメラモジュールＣ１の画像Ｐ１と同等の明るさの画像Ｐ２、Ｐ３を撮像することができる。ここでの処理の作用の詳細は後述する。
　ステレオ処理部１２は、上記の露光時間設定値を用いてカメラモジュールＣ１、Ｃ２、Ｃ３が撮像した画像Ｐ１、Ｐ２、Ｐ３を用いて、カメラモジュールＣ１、Ｃ２の重複撮像範囲、および、カメラモジュールＣ１、Ｃ３の重複撮像範囲における、ステレオ視差画像および視差情報を算出する。上記したように、本実施例では、Ｓ／Ｎを劣化させる処理を施すことなく、画像Ｐ１、Ｐ２、Ｐ３の明るさを同等にしているため、ステレオ処理部１２では、視差の検出精度を上げることができ、特に路面のようなテクスチャが少ないシーンであっても、凹凸を正確に認識することができる。
　［本実施例の効果］
　以上のように構成した本実施例の効果を、カメラモジュールＣ１、Ｃ２の組み合わせに関して、Ｓ１＞Ｓ２、かつ、Ｓ１／Ｓ２＝Ｋ（Ｋ＞１）の条件時を例に具体的に説明する。なお、説明を省略するが、カメラモジュールＣ１、Ｃ３の組み合わせに関しても、同様の効果を得ることができる。
　まず、図４を用い、従来技術を利用して画像の輝度を調整した場合のＳ／Ｎを、比較対象として説明する。特許文献１の従来技術は、露光時間の異なる一対のカメラで撮像した一対の画像の輝度をゲインで補正する手法であり、特性の劣るカメラモジュールＣ２の信号値の大きさを、適正露光量（特性の勝るカメラモジュールＣ１の信号値の大きさ）に合わせる場合は、式３のようにカメラモジュールＣ２の信号値Ｓ２にＫ倍のゲインを掛けていた。
　Ｓ１＝Ｓ２×Ｋ　…（式３）
　ここで、図４にＫ倍のゲインを掛けた時の信号（signal）とノイズ（noise）の関係を示す。ここに示す通り、従来技術によっては、信号もノイズもＫ倍で増幅されるため、カメラモジュールＣ２の画像Ｐ２のＳ／Ｎが改善しないことが分かる。
　次に、図５を用い、本実施例を利用して画像の輝度を調整した場合のＳ／Ｎを説明する。本実施例では、メモリ２から取得した補正係数（カメラモジュールＣ１、Ｃ２の信号比Ｓ１／Ｓ２＝Ｋ）に応じて、カメラモジュールＣ２の露光時間設定値Ｔ２を長くすることで、特性の劣るカメラモジュールＣ２の信号値の大きさを、適正露光量（特性の勝るカメラモジュールＣ１の信号値の大きさ）に合わせている。
　図５に、露光時間設定値Ｔ２を露光時間設定値Ｔ１のＫ倍にした時の信号とノイズの関係を示す。ノイズはショットノイズが支配的なため√ｓで表される。結果、露光時間をＫ倍すると信号はＫ倍、ノイズは√Ｋ倍となり、カメラモジュールＣ２の画像Ｐ２のＳ／Ｎは√Ｋ倍に改善する。このように、本実施例によれば、カメラモジュールＣ１、Ｃ２の画像の明るさを合わせた上で、視差の検出精度も向上させることができる。
　以上で説明したように、本実施例のカメラ装置１００によれば、複数のカメラモジュールに個体差がある場合に、複数のカメラモジュールから入力された各画像の明るさを合わせると同時に、各画像のＳ／Ｎを改善することで視差の検出精度を高めることができる。
　また、本実施例のカメラ装置１００によれば、車両Ｖの周囲の明るさが急変した状況下（例えば、晴天時にトンネルに進入した状況下、あるいは、晴天時にトンネルから進出した状況下）、複数のカメラモジュールの露光時間設定値を個々に変更しなければならない場合であっても、各カメラモジュールの露光時間設定値を一度に決定できるため、露光時間設定値の収束時間のバラツキをなくすことができる。
　次に、図６を用いて、本発明の実施例２に係るカメラ装置１００を説明する。なお、実施例１との共通点は重複説明を省略する。
　本実施例では、カメラモジュールの経年劣化に応じて補正係数を更新する自動調整機能を有するカメラ装置１００の例を説明する。
　図６は、実施例２におけるカメラ装置１００を示す構成図の例である。本実施例のカメラ装置１００は、実施例１のカメラ装置１００に信号比較部１３を追加したものである。
　この信号比較部１３は、カメラモジュールＣ１、Ｃ２、Ｃ３の画像Ｐ１、Ｐ２、Ｐ３を元に、現時点の、カメラモジュールＣ１とＣ２の信号比Ｓ１’／Ｓ２’、および、カメラモジュールＣ１とＣ３の信号比Ｓ１’／Ｓ３’をそれぞれ計算し、メモリ２から入力された補正係数Ｓ１／Ｓ２、Ｓ１／Ｓ３と比較する。そして、差分があらかじめ設定した閾値を超えた場合、メモリ２に記憶されている補正係数Ｓ１／Ｓ２、Ｓ１／Ｓ３を、それぞれ、Ｓ１’／Ｓ２’、Ｓ１’／Ｓ３’に書き換える。
　本実施例のカメラ装置１００によれば、各カメラモジュールの経年劣化により、メモリ２に当初記録した補正係数が適切でなくなった場合であっても、補正係数が適時更新されるため、常に適切な補正係数を用いて、各カメラモジュールの露光時間を設定することができる。
１００…カメラ装置、１…演算装置、１１…露光時間設定部、１１ａ…標準露光時間決定部、１１ｂ…実露光時間設定部、１２…ステレオ処理部、１３…信号比較部、２…メモリ、Ｃ…カメラモジュール、Ｌ…信号特性、Ｓ…信号値、Ｔ…露光時間設定値、Ｖ…車両

Claims (5)

  1. 　複数のカメラモジュールと、
    　前記複数のカメラモジュールの各々の露光時間の比率が一定になるように、当該カメラモジュールの各々の露光時間が異なるように設定する露光時間設定部と、
    　前記カメラモジュールごとに設定された露光時間で取得された各画像に基づいて視差画像を求めるステレオ処理部と、
    　を有することを特徴とするカメラ装置。
  2. 　請求項１に記載のカメラ装置において、
    　前記複数のカメラモジュールにおける露光時間の比率である補正係数が記憶されえたメモリ、を有し
    　前記露光時間設定部は、適正露光量に応じて標準露光時間を決定する標準露光時間決定部と、
    　前記標準露光時間および前記補正係数から、前記複数のカメラモジュールのうち少なくとも一つのカメラモジュールの実際の露光時間を決定する実露光時間設定部と、
    　を有することを特徴とするカメラ装置。
  3. 　請求項２に記載のカメラ装置において、
    　前記複数のカメラモジュールごとに取得された各画像に基づいて計算した信号値と、前記メモリから入力された補正係数と、の差分を計算してあらかじめ設定した閾値を超えた場合、前記メモリに記憶されている補正係数を書き換える信号比較部を有することを特徴とするカメラ装置。
  4. 　請求項１に記載のカメラ装置において、
    　前記カメラモジュールごとに露光時間設定部が設けられることを特徴とするカメラ装置。
  5. 　複数のカメラモジュールの各々の露光時間の比率が一定になるように、当該カメラモジュールの各々の露光時間が異なるように設定する露光時間設定ステップと、
    　前記カメラモジュールごとに設定された露光時間で取得された各画像に基づいて視差画像を求めるステレオ処理ステップと、
    　を有することを特徴とするカメラ装置の制御方法。
PCT/JP2022/038654 2021-10-29 2022-10-18 カメラ装置、および、カメラ装置の制御方法 WO2023074452A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023556335A JPWO2023074452A1 (ja) 2021-10-29 2022-10-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-177413 2021-10-29
JP2021177413 2021-10-29

Publications (1)

Publication Number Publication Date
WO2023074452A1 true WO2023074452A1 (ja) 2023-05-04

Family

ID=86157679

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038654 WO2023074452A1 (ja) 2021-10-29 2022-10-18 カメラ装置、および、カメラ装置の制御方法

Country Status (2)

Country Link
JP (1) JPWO2023074452A1 (ja)
WO (1) WO2023074452A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117412032A (zh) * 2023-12-13 2024-01-16 山东艾琳智能科技有限公司 一种基于大数据的智能图像采集系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100842A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 撮像装置、運転者監視装置、顔部測距方法およびプログラム
JP2013088587A (ja) * 2011-10-18 2013-05-13 Hitachi Automotive Systems Ltd ステレオ撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100842A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 撮像装置、運転者監視装置、顔部測距方法およびプログラム
JP2013088587A (ja) * 2011-10-18 2013-05-13 Hitachi Automotive Systems Ltd ステレオ撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117412032A (zh) * 2023-12-13 2024-01-16 山东艾琳智能科技有限公司 一种基于大数据的智能图像采集系统
CN117412032B (zh) * 2023-12-13 2024-03-26 山东科技职业学院 一种基于大数据的智能图像采集系统

Also Published As

Publication number Publication date
JPWO2023074452A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
US9124811B2 (en) Apparatus and method for processing image by wide dynamic range process
KR100942925B1 (ko) 스테레오 비전 시스템 및 그 제어방법
JP5367640B2 (ja) 撮像装置および撮像方法
US20160105656A1 (en) White balance method in multi-exposure imaging system
JP2011512112A (ja) デジタルカメラデバイスのホワイトバランス較正
JP5860663B2 (ja) ステレオ撮像装置
CN109660736B (zh) 平场校正方法及装置、图像验证方法及装置
US9444979B2 (en) Imaging device and image processing method
KR101639664B1 (ko) 촬상장치 및 촬상방법
WO2023074452A1 (ja) カメラ装置、および、カメラ装置の制御方法
US9307168B2 (en) Image capture apparatus and method for controlling image capture apparatus in which defective pixels are indicated
JP2016018012A5 (ja)
US11418719B2 (en) Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
WO2022018900A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2013187782A (ja) 車載カメラ装置
JP4668863B2 (ja) 撮像装置
JP6453193B2 (ja) ステレオカメラ装置
JP2021097347A (ja) 撮像装置およびその制御方法、プログラム
WO2012043063A1 (ja) 画像処理装置
TWI764484B (zh) 雙感測器攝像系統及其校準方法
JPH0984056A (ja) 画像処理方法およびその装置
JP6995510B2 (ja) 撮像装置
JPH11201740A (ja) 画像処理方法およびその装置
JP2012085093A (ja) 撮像装置および取得方法
KR20110047540A (ko) 디지털 카메라 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023556335

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE