WO2023074067A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2023074067A1
WO2023074067A1 PCT/JP2022/028601 JP2022028601W WO2023074067A1 WO 2023074067 A1 WO2023074067 A1 WO 2023074067A1 JP 2022028601 W JP2022028601 W JP 2022028601W WO 2023074067 A1 WO2023074067 A1 WO 2023074067A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
cameras
exposure
imaging device
imaging
Prior art date
Application number
PCT/JP2022/028601
Other languages
English (en)
French (fr)
Inventor
貴清 安川
勇二 唯野
子涵 于
耕太 入江
寛知 齋
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2023074067A1 publication Critical patent/WO2023074067A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor

Definitions

  • the present invention relates to an imaging device mounted on a vehicle, for example, and more particularly to an imaging device that measures the distance to an object using multiple cameras.
  • the distance to the object is measured from the image information acquired by the camera.
  • stereo recognition processing is performed in addition to monocular recognition (target object recognition) by a monocular camera mounted on a vehicle, so that distance measurement accuracy can be improved and target object recognition can be performed.
  • the vehicle has an all-around camera configuration with a plurality of cameras.
  • a plurality of monocular cameras with different optical axis directions can be used for stereoscopic recognition processing.
  • stereo recognition processing using such an omnidirectional camera there may be a difference in brightness between a plurality of images obtained by a plurality of monocular cameras.
  • Japanese Patent Laid-Open No. 2002-200000 discloses an imaging device system capable of reducing the deviation in luminance of images captured by a plurality of cameras in overlapping areas. a plurality of cameras that capture images; an image synthesizing unit that synthesizes a plurality of captured images captured by the plurality of cameras; and a second brightness control section for controlling brightness of an image captured by at least one second camera other than the first camera among the plurality of cameras, wherein the second The brightness control unit controls the control information of the first brightness control unit and a first overlapping captured image of the overlap region of the first camera and the second camera in the captured image of the first camera and, in the image captured by the second camera, the brightness of the image captured by the second camera is controlled based on a second overlapping captured image in the overlap region of the first camera and the second camera. and an imaging device system.” is proposed.
  • a omnidirectional camera-type imaging device that senses the entire surroundings of a vehicle requires appropriate exposure conditions for cameras facing each direction. Also, in order to achieve accurate stereo processing, input images with the same luminance (exposure conditions) are required in overlapping processing regions. Furthermore, in the stereo recognition processing of the front camera and the side camera of the vehicle, there is a problem that the brightness difference increases under the same exposure conditions in a backlight environment, etc., and the recognition accuracy decreases.
  • Patent Document 1 can reduce the deviation in the brightness of the captured image in the overlapping area of the multiple cameras, but does not mention exposure control when there are multiple overlapping areas of the multiple cameras around the entire periphery.
  • the exposure conditions of the rear camera may differ between the clockwise and counterclockwise directions, and convergence is assumed not to occur.
  • an object of the present invention to provide an imaging apparatus suitable for exposure control when there are multiple overlapping areas of multiple cameras over the entire periphery.
  • an image pickup device mounted on a vehicle and provided with a plurality of cameras having different optical axes, an input unit for inputting images picked up by the plurality of cameras, and a storage unit for storing the inputted images.
  • a monocular recognition processing unit that performs object recognition processing using the image of one camera; and a camera selection unit that selects a combination of two cameras having overlapping imaging regions from among the plurality of cameras.
  • a stereo recognition processing unit that retrieves the combined images of the two cameras from the image storage unit and obtains the distance to the object using the overlapping portions of the images of the two cameras; and the exposure correction unit corrects luminance according to the ratio of the exposure conditions of the combined two cameras.
  • FIG. 2 is a diagram showing an example of a vehicle-mounted omnidirectional camera system with optical axes and viewing angles, which are assumed in the embodiments of the present invention
  • FIG. 2 is a diagram showing a plurality of image examples of the vehicle-mounted omnidirectional camera system of FIG. 1
  • 1 is a diagram showing a configuration example of an imaging apparatus according to Embodiment 1 of the present invention
  • FIG. 4 is a flowchart showing processing of an exposure correction unit 15 in the recognition processing device 10
  • FIG. 10 is a diagram showing the relationship of correction in processing steps S14 to S16
  • FIG. 2 is a diagram showing a configuration example of an imaging apparatus according to Embodiment 2 of the present invention
  • 7 is a flowchart showing processing of an exposure correction unit 151 in FIG. 6
  • 4 is a timing chart for variably adjusting the exposure time of the camera C
  • FIG. 4 is a diagram showing an example of a luminance value correction (appropriate exposure time) table;
  • the vehicle-mounted omnidirectional camera system having the optical axis and viewing angle as shown in FIG. .
  • a vehicle 10 is equipped with a plurality of cameras C.
  • f is the front of the vehicle
  • r is the rear of the vehicle
  • s is the side of the vehicle
  • 1 and 2 are the left and right, indicating that the optical axis of the camera is in the direction determined by these.
  • n means a camera with a narrow viewing angle
  • w means a camera with a wide viewing angle.
  • the vehicle 10 is equipped with an omnidirectional camera system consisting of a total of 7 cameras C classified by these symbols. Also, the viewing angle of each camera is as shown in the drawing, and according to this, the imaging regions overlap between camera images of a plurality of adjacent viewing angles. For example, the viewing angle of the front wide-angle camera Cfw and the viewing angle of the front-side left camera Csf1 partially overlap, so that an overlapping area occurs between the acquired images.
  • FIG. 2 shows an example of the image V at this time, and the symbols attached to the symbol V are given according to the above convention.
  • an image V (Vfw, Vsf1, Vsf2: excluding wide-angle Vfn) of three front cameras (Cfw, Csf1, Csf2: excluding wide-angle Cfn) is taken on the upper side.
  • the images V (Vrw, Vsr1, Vsr2) of the three rear-facing cameras Crw, Csrl, Csr2).
  • the two left and right areas surrounded by dotted lines indicate the overlapping area between the images taken by the front and rear cameras on the sides, and the two upper central areas surrounded by dotted lines are the light beams forward and left.
  • the area of overlap between the images from the on-axis camera is shown, and the two lower center areas enclosed by the dotted lines show the overlap area between the images from the cameras with the optical axis on the rear left and right.
  • a plurality of exposure conditions are selectively set for overlapping stereo recognition processing such as the front and the front and sides.
  • monocular recognition processing which is mainly used for target recognition
  • stereo recognition processing which enables high-precision distance measurement using parallax information
  • Conditions are selected and set, and exposure conditions applied to monocular recognition processing are set to be the same exposure conditions as at least one stereo recognition processing.
  • the luminance difference between both images in these overlapping areas is reduced.
  • FIG. 3 shows a configuration example of an imaging device according to Example 1 of the present invention.
  • the imaging device may be configured by the recognition processing device 10 configured using a computer, or may be configured to further include the omnidirectional camera system C as the imaging device.
  • a total of seven cameras C are a front narrow-angle camera Cfn, a front wide-angle camera Cfw, a front-side left camera Csf1, a front-side right camera Csf2, and a rear-side left camera.
  • the frame rate of the input image is in a multiple relationship, and that the images are captured at synchronous timing. Therefore, the frame rate of the images of all the cameras C is unified, for example, at 60 fps and synchronously acquired.
  • the front and rear cameras are required to be faster and more reliable than the side cameras, so the frame rate of the former is 60 fps and the frame rate of the latter is 30 fps, but the synchronous relationship is maintained. good too.
  • image information for a total of seven cameras C is held for a certain period of time together with information on acquisition time.
  • the image storage unit DB also contains information such as exposure time T as the optimum exposure conditions for each camera.
  • each camera variably adjusts the exposure time of the camera C using the luminance value of the road surface in front thereof as an index value.
  • the camera selection unit 13 in the recognition processing device 10 selects all combinations of two sets of cameras in which overlapping imaging areas exist, and outputs them to the exposure correction unit 15, which will be described later.
  • the combination of these two sets of cameras is the combination of the front wide-angle camera Cfw and the front left camera Csf1, the combination of the front left camera Csf1 and the rear left camera Csr1, the combination of the rear left camera Csr1 and the rear camera Cr, They are a combination of the rear camera Cr and the rear right camera Csr2, a combination of the rear right camera Csr2 and the front right camera Csf2, and a combination of the front right camera Csf2 and the front wide-angle camera Cfw.
  • the exposure correction unit 15, which will be described later compares the images of such camera combinations, but this is for evaluating the brightness of the image overlap region surrounded by the dotted line in FIG.
  • the processing of the exposure correction unit 15 in the recognition processing device 10 is illustrated in FIG. In the first embodiment, a method of performing software processing will be described.
  • a combination of cameras determined by the camera selection unit 13 is input, and in processing step S12, two sets of images acquired at the same time among the camera images of the combination are extracted from the image storage unit DB.
  • the processing of the exposure correction unit 15 described below addresses the following issues. For example, in an environment where there is a difference in sunlight in the front and back directions, such as in the setting sun, the appropriate exposure conditions differ depending on the direction of the camera. Therefore, under the optimal exposure conditions for each camera, there is a difference in brightness between the two camera images to be stereo-processed. As a result, the accuracy of stereo processing for detecting and determining luminance differences is greatly reduced. For these reasons, the processing of the exposure correction unit 15 prevents a decrease in accuracy in the stereo processing in the stereo recognition processing unit 14 in the subsequent stage.
  • processing step S13 the camera combination, and thus the image combination, is determined, if this is a front and anterior-lateral combination, processing step S16; if it is a rear and back-lateral combination, processing step S14; If it is a combination of the rear side and the rear side, the processing of step S15 is performed.
  • the brightness value of the front side camera is multiplied by k1 to correct the brightness difference with the front camera. If the exposure gain is different, it is corrected by multiplying the reciprocal of the gain ratio.
  • the correction coefficient k2 Tr/Tsr is obtained when the exposure times of the rear camera and the rear side camera are Tr and Tsr in processing step S14.
  • the brightness value of the rear side camera is multiplied by k2 to correct the brightness difference with the rear camera.
  • the correction coefficient k3 Tsf/Tsr is obtained when the exposure times of the front side camera and the rear side camera are Tsf and Tsr in processing step S15.
  • the brightness value of the rear side camera is multiplied by k3 to correct the brightness difference with the rear side camera.
  • processing step S16 the corrected image is output.
  • FIG. 5 is a diagram showing the relationship of correction in processing steps S14-S16, exemplifying two sets of images having a relationship of K1, K2, and K3 times.
  • the exposure conditions are set such that k3.noteq.k1 and k3.noteq.k2.
  • the stereo recognition processing unit 14 in the recognition processing device 10 executes stereo processing using two sets of cameras having overlapping imaging areas.
  • Information such as the direction, position, and size of an object of interest in the image is calculated by performing stereo processing on the brightness-corrected images obtained from the two sets of cameras.
  • Obtaining information on the direction and position means obtaining the distance to the object.
  • the overlapping area in FIG. 2 is subjected to luminance correction and then stereo processing, thereby making it possible to accurately measure the distance.
  • the monocular recognition processing unit 12 in the recognition processing device 10 performs monocular processing of each camera to calculate information such as the direction, position, size, etc. of the focused object in the image.
  • the brightness value is not multiplied by a coefficient, and the image of the proper exposure time (luminance value) of the camera is processed.
  • the stereo recognition processing unit 14 and the monocular recognition processing unit 12 many techniques are already known for identifying an object from image information and obtaining information on the distance from the vehicle position to the object. , the detailed description is omitted here.
  • the monocular recognition processing unit 12 outputs either the distance to the object obtained by the stereo recognition processing unit 14 or the distance to the object obtained by the monocular recognition processing unit 12.
  • the distance to the object obtained by the stereo recognition processing unit 14 is used, and in the non-overlapping area not surrounded by the dotted line in FIG. 2, the distance to the object obtained by the monocular recognition processing unit 12 is used. should be used as the output.
  • Example 1 each camera is set to the optimum exposure condition, and then brightness correction is performed on the two sets of images in the stereo recognition processing unit 14 according to the exposure time, and the distance is calculated by stereo processing.
  • This approach is a soft-processing solution.
  • FIG. 6 is a diagram showing a configuration example of an imaging device according to Embodiment 2 of the present invention. The difference from the configuration of the first embodiment shown in FIG. 3 is that an exposure correction section 151 is employed instead of the exposure correction section 15, and the exposure conditions on the camera side are corrected based on the output thereof.
  • FIG. 7 shows a flow showing the processing in the exposure correction unit 151 of FIG. 6.
  • FIG. 7 basically the same determination and processing as in FIG. 4 are executed.
  • the processing up to obtaining the coefficients K1, K2, and K3 for correcting the brightness of the overlapping region is the same as in FIG.
  • the application location in the second embodiment is the exposure conditions on the camera side, and in processing steps 14, S15, and S16 of FIG. 7, the exposure time is corrected according to the coefficients K1, K2, and K3.
  • the coefficients K1, K2, and K3 determined by the exposure correction unit 151 adjust the exposure time of the camera C variably.
  • FIG. 8 shows a timing chart when adjusting the exposure time of camera C variably.
  • the frame rate of each camera is set to the same period or a double period, and the low-priority camera captures images under two conditions: the optimum exposure condition for that camera and the same exposure condition as the high-priority camera.
  • the recognition result is output in half the period.
  • pattern 1 of the timing chart in FIG. 8 shows a case where, for example, all cameras (monocular cameras) included in the omnidirectional camera system have the same frame rate.
  • the frame rates of the front camera, side camera, and rear camera are all 60 fps.
  • the time axis of the horizontal axis in FIG. 8 indicates the imaging timing at a constant cycle T60 (1/60 second), and all the cameras perform imaging in synchronization with this timing.
  • the exposure is changed according to the coefficient at time t1, which is the next imaging opportunity, for the side camera, which does not require as high accuracy as the front camera or the rear camera. Imaging is performed again under the conditions (exposure time).
  • exposure time exposure time
  • even timing at time t is used as a monocular processing frame
  • odd timing at time t is used as a stereo processing frame.
  • the front camera and rear camera which require high accuracy, can acquire and process images at 60 fps as initially expected.
  • the side camera which does not require high accuracy, results in 30 fps, which is half of 60 fps, but this itself does not pose a problem in terms of accuracy.
  • Stereo processing is 30 fps.
  • pattern 2 of the timing chart in FIG. 8 shows a case where, for example, the cameras (monocular cameras) included in the omnidirectional camera system have different frame rates.
  • the frame rate of the front camera and rear camera is 60 fps
  • the side camera is 30 fps.
  • the imaging timing of the front camera and the rear camera are synchronized with the imaging timing of .
  • the exposure conditions (exposure time) of the front camera and the rear camera are adjusted when there is a luminance difference. According to the above timing relationship, all the cameras capture images at even-numbered timings at time t, and the front and rear cameras that require high accuracy capture images at odd-numbered timings at time t.
  • the luminance difference is measured for the overlapping area between the two images at even-numbered timings when all cameras capture images. For example, assuming that a luminance difference occurs in the measurement at time t0, the correction of the exposure condition (exposure time) of the camera according to the coefficient K at this time is performed, for example, at time t2, which is the next even-numbered timing, for example, the front camera (or rear camera). Similarly, the brightness difference in the overlap region between the two images measured at time t2 is performed at time t4, which is the next even-numbered timing, and this is repeated thereafter. Note that, at odd-numbered timings, distance measurement processing is performed for the front camera and the rear camera as a monocular camera, and processing for overlapping areas is not performed.
  • the exposure conditions in the camera input unit 11 are generally set based on the brightness value of the road ahead or the vehicle ahead, and at night, depending on the illumination state of the headlights of the own vehicle or surrounding vehicles, each camera further A complex combination of proper exposure conditions is selected. As a result, the accuracy of stereo processing for detecting and determining luminance differences is greatly reduced.
  • exposure conditions are tabulated, stored in memory, and updated as appropriate.
  • a correction coefficient is applied to cameras with low priority (low load, low pixel count).
  • FIG. 9 is a diagram showing an example of a luminance value correction (appropriate exposure time) table. This table is held, for example, in the image storage unit DB, and used in the processing of the exposure correction unit 151 as appropriate. Although FIG. 9 shows the exposure time adjustment of the second embodiment as an example, the same adjustment may be applied to the luminance correction of the first embodiment.
  • the table preferably includes information on camera type D11, optimum exposure time D12 for monocular processing in individual cameras, exposure time calculation formula D13 for stereo processing, and camera priority D14. Note that this table assumes that pattern 1 in FIG. 8 is performed. Therefore, in the case of pattern 2 or in the case of embodiment 1, another calculation formula should be prepared as appropriate.
  • an imaging apparatus suitable for exposure control when there are multiple overlapping areas of multiple cameras over the entire periphery.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

全周囲にわたる複数カメラの重複領域が複数存在する場合の露光制御に好適な撮像装置を提供することを目的としている。車両に搭載され、光軸が相違する複数のカメラを備える撮像装置であって、複数のカメラで撮像した画像を入力する入力部と、入力した画像を記憶する画像格納部と、１つのカメラの画像を用いて対象物の認識処理を行う単眼認識処理部と、複数のカメラの内、重複撮像領域を有する２つのカメラの組み合わせを選択するカメラ選択部と、組合せされた２つのカメラの画像を画像格納部から取り出し、２つのカメラの画像の重複部分を用いて対象物までの距離を求めるステレオ認識処理部と、２つのカメラの画像の重複部分における輝度を補正する露光補正部を備え、露光補正部は、組合せされた２つのカメラの露光条件の比に応じて輝度を補正することを特徴とする撮像装置。

Description

撮像装置
　本発明は、例えば車両に搭載される撮像装置に係り、特に複数カメラにより対象物までの距離を測定する撮像装置に関する。
　車両の自動運転では、カメラにより取得した画像情報から対象物までの距離を測定している。この処理では、車両に搭載された単眼カメラによる単眼認識（物標認識）に加え、ステレオ認識処理を行うことにより、測距精度を向上して物標認識することができる。また車両は複数カメラを搭載した全周囲カメラ構成としており、たとえば光軸方向が相違する複数の単眼カメラによりステレオ視による認識処理が可能である。係る全周囲カメラによるステレオ認識処理では、複数の単眼カメラによる複数画像間における輝度に相違を生じることがある。
　この点に関して特許文献１では、複数のカメラの重複領域の撮像画像の輝度のずれを低減できる撮像装置システムを提供することを目的として、「少なくとも１つのカメラの撮像領域と重複領域を持つように撮像する複数のカメラと、前記複数のカメラにより撮像された複数の撮像画像を合成する画像合成部と、前記複数のカメラのうち第１のカメラの撮像画像の輝度を制御する第１の輝度制御部と、前記複数のカメラのうち第１のカメラ以外の少なくとも１つの第２のカメラの撮像画像の輝度を制御する第２の輝度制御部と、を備える撮像装置システムであって、前記第２の輝度制御部は、前記第１の輝度制御部の制御情報と、前記第１のカメラの撮像画像において、前記第１のカメラと前記第２のカメラの前記重複領域の第１の重複撮像画像と、前記第２のカメラの撮像画像において、前記第１のカメラと前記第２のカメラの前記重複領域における第２の重複撮像画像と、に基づき前記第２のカメラの撮像画像の輝度を制御する、撮像装置システム。」とすることが提案されている。
特開２０１７－１７５４８０号公報
　車両の全周囲をセンシングする全周囲カメラ方式の撮像装置では、各方向を向いたカメラで適切な露光条件が要求される。また精度良くステレオ処理を実現するためには、重複する処理領域において同じ輝度（露光条件）の入力画像が要求される。さらに、車両の前方カメラと側方カメラ等のステレオ認識処理では、逆光環境などにおいて同一の露光条件では輝度差が大きくなり、認識精度が低下するという課題がある。
　これらの課題に対して特許文献１では、複数のカメラの重複領域の撮像画像の輝度のずれを低減できるが、全周囲にわたる複数カメラの重複領域が複数存在する場合の露光制御に関する言及がない。この結果、全周囲カメラでは、前方カメラを基準に露光調整を行う場合、右回り、左回りでリアカメラの露光条件が異なる可能性があり、収束しないことが想定される。また、逆光、夜間の照明状態など状況によって基準となるカメラにその他のカメラの露光条件を補正制御することが適切ではない場合がある。
　以上のことから本発明においては、全周囲にわたる複数カメラの重複領域が複数存在する場合の露光制御に好適な撮像装置を提供することを目的としている。
　以上のことから本発明においては、「車両に搭載され、光軸が相違する複数のカメラを備える撮像装置であって、複数のカメラで撮像した画像を入力する入力部と、入力した画像を記憶する画像格納部と、１つのカメラの画像を用いて対象物の認識処理を行う単眼認識処理部と、複数のカメラの内、重複撮像領域を有する２つのカメラの組み合わせを選択するカメラ選択部と、組合せされた２つのカメラの画像を画像格納部から取り出し、２つのカメラの画像の重複部分を用いて対象物までの距離を求めるステレオ認識処理部と、２つのカメラの画像の重複部分における輝度を補正する露光補正部を備え、露光補正部は、組合せされた２つのカメラの露光条件の比に応じて輝度を補正することを特徴とする撮像装置」としたものである。
　全周囲にわたる複数カメラの重複領域が複数存在する場合の露光制御に好適な撮像装置を提供することができる。
本発明の実施例で前提とする、光軸、及び視野角の車両搭載全周囲カメラシステムの例を示す図。 図１の車両搭載全周囲カメラシステムの複数画像例を示す図。 本発明の実施例１に係る撮像装置の構成例を示す図。 認識処理装置１０内の露光補正部１５の処理を示すフローチャート。 処理ステップＳ１４－Ｓ１６の補正の関係を示す図。 本発明の実施例２に係る撮像装置の構成例を示す図。 図６の露光補正部１５１の処理を示すフローチャート。 カメラＣの露光時間を可変に調整するときのタイミングチャート。 輝度値補正（適正露光時間）テーブルの一例を示す図。
　以下、本発明の実施例について、図面を用いて説明する。
　なお本発明の実施例では、図１に示すような光軸、及び視野角の車両搭載全周囲カメラシステムを例示し、その時の複数画像が図２のようなものであることを前提として説明する。
　図１において、車両１０には、複数のカメラＣが搭載されている。これら複数のカメラＣに付した記号について、ｆは車両前方、ｒは車両後方、ｓは車両側方、１と２は左右であり、これらで定まる方向にカメラの光軸があることを示しており、かつｎは視野角が狭いカメラ、ｗは視野角が広いカメラであることを意味している。
　車両１０には、これらの記号により区分された合計７台のカメラＣによる全周囲カメラシステムが搭載されている。また各カメラの視野角は図示のとおりであり、これによれば、複数の隣接する視野角のカメラ画像の間で、撮像領域の重複を生じている。例えば、前方広角カメラＣｆｗの視野角と前側方左側カメラＣｓｆ１の視野角は一部重複しており、従って、取得される画像の間では重複領域を生じることになる。
　図２は、この時の画像Ｖの例を示したものであり、記号Ｖに付した記号は、前述の約束に従い付与されている。この図２では、上側に前方向の３つのカメラ（Ｃｆｗ、Ｃｓｆ１、Ｃｓｆ２：ただし広角のＣｆｎを除いている）の画像Ｖ（Ｖｆｗ、Ｖｓｆ１、Ｖｓｆ２：ただし広角のＶｆｎを除いている）を取り、下側に後方向の３つのカメラ（Ｃｒｗ、Ｃｓｒｌ、Ｃｓｒ２）の画像Ｖ（Ｖｒｗ、Ｖｓｒ１、Ｖｓｒ２）を取り上げている。
　また、この画像Ｖにおいて、点線で囲んだ２つの左右の領域は、側方の前後カメラによる画像の間での重複領域を示し、点線で囲んだ２つの中央上の領域は、前方左右に光軸を有するカメラによる画像の間での重複領域を示し、点線で囲んだ２つの中央下の領域は、後方左右に光軸を有するカメラによる画像の間での重複領域を示している。
　ここで本発明における基本的な考え方を明確にしておくと、まず重複する前方及び前側方等のステレオ認識処理に当たり、複数の露光条件を選択的に設定することである。次に、主に物標認識に用いる単眼認識処理と、視差情報による高精度測距が実現可能なステレオ認識処理をそれぞれ実施し、ステレオ認識処理ではひとつのカメラ画像において、少なくとも２つ以上の露光条件を選択、設定し、単眼認識処理に適用する露光条件は少なくともひとつのステレオ認識処理と同じ露光条件であることとしたものである。
　本発明では、これら重複領域における両画像の輝度差を低減している。
　図３は、本発明の実施例１に係る撮像装置の構成例を示している。なお、撮像装置は計算機を用いて構成される認識処理装置１０で構成しても、またさらに全周囲カメラシステムＣを含む構成を撮像装置としてもよい。
　図１、図２の全周囲カメラシステムの場合、合計７台のカメラＣは、それぞれ前方挟角カメラＣｆｎ、前方広角カメラＣｆｗ、前側方左側カメラＣｓｆ１、前側方右側カメラＣｓｆ２、後側方左側カメラＣｓｒ１、後側方右側カメラＣｓｒ２、後方カメラＣｒである。
　図３の認識処理装置１０は、カメラ入力部１１、画像格納部ＤＢ、露光調整部１６、カメラ選択部１３、露光補正部１５、単眼認識処理部１２、ステレオ認識処理部１４を含んで構成されている。
　認識処理装置１０内のカメラ入力部１１では、合計７台のカメラＣで撮像した画像を入力する。なお入力される画像のフレームレートは倍数の関係にあり、同期するタイミングで撮像されているものとする。従って、例えばすべてのカメラＣの画像のフレームレートが例えば６０ｆｐｓで統一されて同期取得されている。あるいは例えば前後カメラは、側方カメラに比較して、高速、高信頼性が要求されることから前者のフレームレートを６０ｆｐｓ、後者のフレームレートを３０ｆｐｓとするが、同期関係は維持されたものとしてもよい。
　認識処理装置１０内の画像格納部ＤＢには合計７台のカメラＣについて、それぞれ取得時刻の情報とともに画像情報が一定期間保持されている。また画像格納部ＤＢには、各カメラについて、カメラごとの最適露光条件として、例えば露光時間Ｔなどの情報を含んでいる。なお露光調整部１６において、各カメラはそれぞれ前方路面の輝度値などを指標値としてカメラＣの露光時間を可変に調整する。
　認識処理装置１０内のカメラ選択部１３では、重複撮像領域が存在する２組のカメラの組み合わせをすべて選択して後述する露光補正部１５に出力する。この２組のカメラの組み合わせは、前方広角カメラＣｆｗと前側方左側カメラＣｓｆ１の組み合わせ、前側方左側カメラＣｓｆ１と後側方左側カメラＣｓｒ１の組み合わせ、後側方左側カメラＣｓｒ１と後方カメラＣｒの組み合わせ、後方カメラＣｒと後側方右側カメラＣｓｒ２の組み合わせ、後側方右側カメラＣｓｒ２と前側方右側カメラＣｓｆ２の組み合わせ、前側方右側カメラＣｓｆ２と前方広角カメラＣｆｗの組み合わせである。なお、後述する露光補正部１５では、係るカメラ組合せの画像を比較するが、これは図２の点線で囲まれた画像重複領域の輝度を評価しているものである。
　認識処理装置１０内の露光補正部１５の処理を図４に例示している。実施例１では、ソフト処理を行う方式について説明する。最初の処理ステップＳ１１では、カメラ選択部１３で定めたカメラの組み合わせを入力し、処理ステップＳ１２では当該組合せのカメラ画像のうち同時刻に取得された２組の画像を画像格納部ＤＢから取り出す。
　以下に示す露光補正部１５の処理では、以下の課題に対処する。例えば夕日のような前後方向の日差しの差異がある環境においては、カメラの向きにより適切な露光条件が異なる。そのため、各カメラ最適露光条件では、ステレオ処理する２つのカメラ映像に輝度差が生じる。その結果、輝度差分を検出、判定するステレオ処理において、精度が大きく低下する。これらのことから露光補正部１５の処理では、後段のステレオ認識処理部１４でのステレオ処理における精度低下を阻止している。
　具体的には、処理ステップＳ１３では、カメラ組合せ、従って画像組合せを判定し、これが前方と前側方の組み合わせであれば処理ステップＳ１６、後方と後側方の組み合わせであれば処理ステップＳ１４、前側方と後側方の組み合わせであれば処理ステップＳ１５の処理を行う。
　具体的には、前方カメラと前側方カメラの重複領域でステレオ処理を行う場合、処理ステップＳ１６において前方カメラと前側方カメラの露光時間をＴｆ、Ｔｓｆとするとき、補正係数ｋ１＝Ｔｆ／Ｔｓｆを求める。これにより、前側方カメラの輝度値をｋ１倍し、前方カメラとの輝度差を補正する。露光ゲインが異なる場合は、ゲインの比率の逆数を乗算して補正する。
　後方カメラと後側方カメラの重複領域でステレオ処理を行う場合、処理ステップＳ１４において後方カメラと後側方の露光時間をＴｒ、Ｔｓｒとするとき、補正係数ｋ２＝Ｔｒ／Ｔｓｒを求める。これにより、後側方カメラの輝度値をｋ２倍し、リアカメラとの輝度差を補正する。
　前側方カメラと後側方カメラの重複領域でステレオ処理を行う場合、処理ステップＳ１５において前側方カメラと後側方カメラの露光時間Ｔｓｆ、Ｔｓｒとするとき、補正係数ｋ３＝Ｔｓｆ／Ｔｓｒを求める。これにより、後側方カメラの輝度値をｋ３倍し、後側方カメラとの輝度差を補正する。処理ステップＳ１６では、補正した画像を出力する。
　図５は、処理ステップＳ１４－Ｓ１６の補正の関係を示した図であり、Ｋ１、Ｋ２、Ｋ３倍の関係にある２組の画像を例示している。なお例えば、後方からの逆光の場合、ｋ１≒ｋ２≒１となり得るが、ｋ３はｋ１、ｋ２と異なる。斜め方向の逆光の場合、ｋ３≠ｋ１、ｋ３≠ｋ２となる露光条件が設定される。
　認識処理装置１０内のステレオ認識処理部１４では、重複撮像領域が存在する２組のカメラによるステレオ処理を実行する。２組のカメラから得られた、輝度補正された画像についてのステレオ処理により、画像内の着目した対象物に対する、方向、位置、大きさ等の情報を算出する。なお、方向および位置の情報が得られたということは、対象物までの距離を求めたことを意味している。このようにして、図２の重複領域に対しては輝度補正のうえで、ステレオ処理を行うことで、正確に距離測定することが可能である。
　また認識処理装置１０内の単眼認識処理部１２では、各カメラの単眼処理を行って画像内の着目した対象物に対する、方向、位置、大きさ等の情報を算出する。ただし、ここでは輝度値の係数掛けをせず、当該カメラの適正露光時間（輝度値）の映像で処理している。なお、ステレオ認識処理部１４および単眼認識処理部１２において、画像情報から対象物を特定し、自車位置から対象物までの距離に関する情報を求める技術はすでに多くの手法のものが知られており、ここでの詳細説明を省略する。
　最終的に、単眼認識処理部１２では、ステレオ認識処理部１４で求めた対象物までの距離と、単眼認識処理部１２で求めた対象物までの距離のいずれかを出力するが、図２の点線で囲んだ重複領域ではステレオ認識処理部１４で求めた対象物までの距離を採用し、図２の点線で囲まれていない非重複領域では単眼認識処理部１２で求めた対象物までの距離を採用して、出力とするのがよい。
　実施例１では、各カメラは最適露光条件にしたうえで、ステレオ認識処理部１４における２組の画像について露光時間による輝度補正を行ってステレオ処理による距離算出としたものである。この手法は、ソフト処理による解決策である。
　これに対し実施例２では、同様の輝度補正をカメラ側で備える露光調整機能を活用し、ハード的に実行（再撮像）するものである。図６は、本発明の実施例２に係る撮像装置の構成例を示す図である。実施例１の図３の構成と相違する点は、露光補正部１５に代えて露光補正部１５１を採用しており、その出力によりカメラ側の露光条件を補正する。
　図６の露光補正部１５１での処理を示すフローを図７に示しているが、図７は、基本的に図４と同じ判断、処理を実行する。つまり、重複領域の輝度補正を行うための係数Ｋ１、Ｋ２、Ｋ３を求めるまでの処理は、図４と同じであり、係数Ｋ１、Ｋ２、Ｋ３の適用個所が図４とは相違している。
　実施例２での適用個所はカメラ側の露光条件であり、図７の処理ステップ１４、Ｓ１５、Ｓ１６では、係数Ｋ１、Ｋ２、Ｋ３に応じた露光時間の修正を行う。露光補正部１５１で定めた係数Ｋ１、Ｋ２、Ｋ３は、カメラＣの露光時間を可変に調整する。
　図８は、カメラＣの露光時間を可変に調整するときのタイミングチャートを示している。なおここで、カメラＣの露光時間を可変に調整するときには、以下の事項を考慮する必要がある。これらの事項は、カメラ入力部１１における映像取得のタイミングがずれると、画像中の位置ずれにより適切な視差画像の生成ができないこと、またその一方で、各方位のシステム要件から必ずしも全周囲カメラ全てが同一フレームレートとならない可能性があることである。このため、各カメラのフレームレートは同一周期、もしくは倍周期とし、優先度の低いカメラは当該カメラの最適露光条件と、優先度の高いカメラと同じ露光条件の２条件で撮像し、ステレオ処理の認識結果は半分の周期で出力することになる。
　これらのことから図８のタイミングチャートのパターン１では、例えば全周囲カメラシステムに含まれるすべてのカメラ（単眼カメラ）が同一フレームレートである場合を示している。ここでは、前方カメラ、側方カメラ、後方カメラのフレームレートが全て６０ｆｐｓである。図８の横軸の時間軸には、一定周期Ｔ６０（１／６０秒）での撮像タイミングを示しており、全てのカメラはこのタイミングで同期して撮影を行っている。
　パターン１の時間関係の撮像処理において、例えば時刻ｔ０での撮像結果、単眼カメラである前方カメラと単眼カメラである側方カメラの２つの画像の間の重複領域に輝度の差が生じていたものとする。
　実施例２のハード的に対応する方式では、前方カメラや後方カメラほどの高精度が求められない側方カメラに対して、次回の撮像機会である時刻ｔ１に、係数に応じて可変とした露光条件（露光時間）での再度の撮像を行うものである。つまり、時刻ｔにおける偶数タイミングを単眼処理用フレーム、時刻ｔにおける奇数タイミングをステレオ処理用フレームとして、交互に実行したものである。
　なお実施例２のタイミングによれば、高精度が求められる前方カメラや後方カメラは、当初期待通りの６０ｆｐｓでの画像取得、処理が可能である。これに対し、高精度が求められない側方カメラは、結果的には６０ｆｐｓの半分の３０ｆｐｓとなるが、このこと自体は精度上の問題とはならない。なおステレオ処理は３０ｆｐｓである。
　次に図８のタイミングチャートのパターン２では、例えば全周囲カメラシステムに含まれるカメラ（単眼カメラ）は、異なるフレームレートである場合を示している。ここでは、前方カメラ、後方カメラのフレームレートが６０ｆｐｓであり、側方カメラは３０ｆｐｓである。なお図８の横軸の時間軸には、一定周期として前方カメラ、後方カメラについてＴ６０＝１／６０秒、側方カメラについてＴ３０＝１／３０秒での撮像タイミングを示しており、側方カメラの撮像タイミングに前方カメラ、後方カメラの撮像タイミングが同期している。
　パターン２では、輝度差が生じたときに、前方カメラおよび後方カメラ側の露光条件（露光時間）を調整する方式である。上記のタイミング関係によれば、時刻ｔにおける偶数タイミングにおいてすべてのカメラが撮像を行い、時刻ｔにおける奇数タイミングにおいて高精度が求められる前方カメラと後方カメラが撮像を行う。
　この場合には、すべてのカメラが撮像を行う偶数タイミングで、２つの画像間の重複領域について輝度差が測定される。例えば時刻ｔ０の測定で輝度差が生じたものとすると、この時の係数Ｋに応じたカメラの露光条件（露光時間）の修正は、次の偶数タイミングである時刻ｔ２において、例えば前方カメラ（あるいは後方カメラ）に対して行われる。同様に時刻ｔ２において測定した２つの画像間の重複領域についての輝度差は次の偶数タイミングである時刻ｔ４において実行され、以降これが繰り返し実行されていく。なお、奇数タイミングでは前方カメラおよび後方カメラについての単眼カメラとしての測距処理が実行され、重複領域についての処理は行われない。
　実施例３では、実施例１、実施例２における輝度補正をテーブル方式で実行することについて説明する。
　カメラ入力部１１における露光条件は一般的に、前方路面、もしくは前方車両の輝度値に基づいて設定されること、並びに夜間は自車両、もしくは周辺車両のヘッドライトの照射状態により、各カメラにおいて更に複雑な組み合わせの適正露光条件が選択される。その結果、輝度差分を検出、判定するステレオ処理において、精度が大きく低下する。
　このことの対応として、実施例３では、露光条件（輝度値）をテーブル化し、メモリに保持し、適宜更新する。各カメラの優先度を基に、優先度の低いカメラ（低負荷、低画素数）に補正係数を適用する。
　図９は、輝度値補正（適正露光時間）テーブルの一例を示す図である。このテーブルは、例えば画像格納部ＤＢに保持され、適宜露光補正部１５１の処理で利用される。なお図９は、実施例２の露光時間調整を例に示しているが、同様のものを実施例１の輝度補正に適用して備えるものであってもよい。
　テーブルには、カメラ種別Ｄ１１と、個別カメラにおける単眼処理とするときの最適露光時間Ｄ１２、ステレオ処理とするときの露光時間の計算式Ｄ１３、カメラ優先度Ｄ１４の情報を備えるのがよい。なお、この表は、図８のパターン１を行うことを前提としている。従って、パターン２であるとき、あるいは実施例１であるときには、適宜別の計算式を準備することにはなる。
　本発明によれば、全周囲にわたる複数カメラの重複領域が複数存在する場合の露光制御に好適な撮像装置を提供することができる。
１０：認識処理装置、１１：カメラ入力部、１２：単眼認識処理部、１３：カメラ選択部、１４：ステレオ認識処理部、１５：露光補正部、１６：露光調整部、ＤＢ：画像格納部

Claims (11)

  1. 　車両に搭載され、光軸が相違する複数のカメラを備える撮像装置であって、
    　前記複数のカメラで撮像した画像を入力する入力部と、入力した画像を記憶する画像格納部と、１つのカメラの画像を用いて対象物の認識処理を行う単眼認識処理部と、複数のカメラの内、重複撮像領域を有する２つのカメラの組み合わせを選択するカメラ選択部と、組合せされた前記２つのカメラの画像を前記画像格納部から取り出し、前記２つのカメラの画像の重複部分を用いて対象物までの距離を求めるステレオ認識処理部と、前記２つのカメラの画像の重複部分における輝度を補正する露光補正部を備え、
    　前記露光補正部は、組合せされた前記２つのカメラの露光条件の比に応じて輝度を補正することを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記露光補正部は、組合せされた前記２つのカメラの露光条件の比に応じて輝度補正した画像を前記ステレオ認識処理部に与えることを特徴とする撮像装置。
  3. 　請求項１に記載の撮像装置であって、
    　前記露光補正部は、組合せされた前記２つのカメラの露光条件の比に応じて前記２つのカメラの一方の露光条件を変更し、ステレオ認識処理部は変更後の画像を用いて対象物までの距離を求めることを特徴とする撮像装置。
  4. 　請求項１に記載の撮像装置であって、
    　前記露光条件は、カメラにおける露光時間であることを特徴とする撮像装置。
  5. 　請求項１に記載の撮像装置であって、
    　前方カメラと前側方カメラの重複領域でステレオ視を行う場合、前方カメラに対する前側方カメラの露光条件の比により、前側方カメラの輝度値を補正することを特徴とする撮像装置。
  6. 　請求項１に記載の撮像装置であって、
    　後方カメラと後側方カメラの重複領域でステレオ視を行う場合、後方カメラに対する後側方の露光条件の比により、後側方カメラの輝度値を補正することを特徴とする撮像装置。
  7. 　請求項１に記載の撮像装置であって、
    　前側方カメラと後側方カメラの重複領域でステレオ視を行う場合、前側方カメラに対する後側方カメラの露光条件の比により、後側方カメラの輝度値を補正することを特徴とする撮像装置。
  8. 　請求項３に記載の撮像装置であって、
    　前記複数のカメラは、同一または整数倍の関係にある一定周期で撮像を行うとともに、起点となる周期での撮像の時の組合せされた前記２つのカメラの露光条件の比に応じた第２の撮像を、起点となる周期の次の周期で行い、前記ステレオ認識処理部でおこなう処理は前記次の周期の時に前記複数のカメラから得られた画像を用いて行うことを特徴とする撮像装置。
  9. 　請求項３または請求項８に記載の撮像装置であって、
    　前記複数のカメラは、前方カメラと後方カメラと側方カメラであり、これらのカメラのフレームレートは同一とされ、かつ露光条件を変更する前記２つのカメラの一方は、前記側方カメラであることを特徴とする撮像装置。
  10. 　請求項３または請求項８に記載の撮像装置であって、
    　前記複数のカメラは、前方カメラと後方カメラと側方カメラであり、これらのカメラのフレームレートは前方カメラと後方カメラに対して側方カメラは半分とされ、かつ露光条件を変更する前記２つのカメラの一方は、前記前方カメラと後方カメラであることを特徴とする撮像装置。
  11. 　請求項１に記載の撮像装置であって、
    　前記複数のカメラの夫々について、単眼処理するときの露光条件と、ステレオ処理するときの露光条件とがメモリに保持され、適宜修正されて前記露光条件の変更に供されることを特徴とする撮像装置。
PCT/JP2022/028601 2021-10-29 2022-07-25 撮像装置 WO2023074067A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-177417 2021-10-29
JP2021177417 2021-10-29

Publications (1)

Publication Number Publication Date
WO2023074067A1 true WO2023074067A1 (ja) 2023-05-04

Family

ID=86159348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028601 WO2023074067A1 (ja) 2021-10-29 2022-07-25 撮像装置

Country Status (1)

Country Link
WO (1) WO2023074067A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010173366A (ja) * 2009-01-27 2010-08-12 Mitsubishi Electric Corp 車載ネットワーク装置
US20190289282A1 (en) * 2018-03-13 2019-09-19 Lyft, Inc. Exposure coordination for multiple cameras
JP2020003934A (ja) * 2018-06-26 2020-01-09 株式会社デンソー 車両用通信装置、車両用通信方法、及び制御プログラム
WO2020039837A1 (ja) * 2018-08-22 2020-02-27 日立オートモティブシステムズ株式会社 画像処理装置
JP2021016103A (ja) * 2019-07-12 2021-02-12 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010173366A (ja) * 2009-01-27 2010-08-12 Mitsubishi Electric Corp 車載ネットワーク装置
US20190289282A1 (en) * 2018-03-13 2019-09-19 Lyft, Inc. Exposure coordination for multiple cameras
JP2020003934A (ja) * 2018-06-26 2020-01-09 株式会社デンソー 車両用通信装置、車両用通信方法、及び制御プログラム
WO2020039837A1 (ja) * 2018-08-22 2020-02-27 日立オートモティブシステムズ株式会社 画像処理装置
JP2021016103A (ja) * 2019-07-12 2021-02-12 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム

Similar Documents

Publication Publication Date Title
US7139412B2 (en) Image synthesis display method and apparatus for vehicle camera
US20090009604A1 (en) Image processing system and method
US8189949B2 (en) Image processing apparatus and image processing method
EP1137293A2 (en) Stereoscopic image projection device
US7852381B2 (en) Image signal processor with white balance calculation based upon selected prediction area
EP3065390B1 (en) Image correction parameter output device, camera system, and correction parameter output method
US9083879B2 (en) Focus detection apparatus, control method thereof, and image pickup apparatus
JP2013179564A (ja) 画像処理方法、画像処理装置および撮像装置
WO2013058085A1 (ja) ステレオ撮像装置
US9936146B2 (en) Imaging system which corrects white balance of images
US11082631B2 (en) Image processing device
US9667853B2 (en) Image-capturing apparatus
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
WO2012137696A1 (ja) 車両用画像処理装置
US20130155198A1 (en) Stereoscopic imaging apparatus
JP2012156672A (ja) 車両周辺監視装置
US7821532B2 (en) Image generating apparatus for vehicles and method of the same
US20120113222A1 (en) Video signal processing apparatus, video signal processing method, and computer program
US7262805B2 (en) Focus detecting system
WO2023074067A1 (ja) 撮像装置
JP3571828B2 (ja) 車両用環境認識装置
JP6504086B2 (ja) 車両
WO2023074452A1 (ja) カメラ装置、および、カメラ装置の制御方法
US20110292182A1 (en) Camera module and image recording method
JP6611559B2 (ja) 撮像装置、その制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023556130

Country of ref document: JP

Kind code of ref document: A