WO2020039837A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020039837A1
WO2020039837A1 PCT/JP2019/029150 JP2019029150W WO2020039837A1 WO 2020039837 A1 WO2020039837 A1 WO 2020039837A1 JP 2019029150 W JP2019029150 W JP 2019029150W WO 2020039837 A1 WO2020039837 A1 WO 2020039837A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
processing
imaging unit
image processing
Prior art date
Application number
PCT/JP2019/029150
Other languages
English (en)
French (fr)
Inventor
善之 武藤
春樹 的野
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN201980052664.3A priority Critical patent/CN112544066A/zh
Priority to JP2020538247A priority patent/JP7427594B2/ja
Publication of WO2020039837A1 publication Critical patent/WO2020039837A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image processing device.
  • an image processing apparatus that is mounted on a vehicle and displays an infrared image on a display unit of a scene in a low-illuminance environment where illumination does not reach, to assist a driver in driving.
  • Patent Document 1 discloses a technique of performing image processing on acquired infrared image data and visible image data only in a control target area determined based on vehicle speed information and the like.
  • An image processing apparatus using a stereo camera using two cameras as an imaging unit is known.
  • a stereo camera there are a plurality of imaging units, and different image calculation regions are set for each imaging unit, and different image calculation regions are set.
  • Patent Document 1 When the technology described in Patent Document 1 is applied to an image processing apparatus using a stereo camera, it is necessary to perform image processing of only a control target region on each of different image calculation regions.
  • An image processing apparatus mounted on a vehicle requires high-speed image processing, and sometimes uses an obtained image also for operation control of the vehicle, so that the calculation processing load of the entire vehicle control system is reduced. It is necessary.
  • Patent Literature 1 does not assume a configuration in which a different image calculation area is set for each imaging unit in an image processing apparatus having a plurality of imagings, such as a stereo camera, so that the entire vehicle control system is It is difficult to suppress the processing load and increase the speed of image processing.
  • An object of the present invention is to set a suitable image calculation area for each of a plurality of imaging units while performing a parallax image calculation process for calculating based on difference information of images obtained from a plurality of imaging units, and It is an object of the present invention to realize an image processing apparatus capable of suppressing the processing load of the image processing and speeding up the image processing.
  • the present invention is configured as follows.
  • the image processing apparatus In the image processing apparatus, a first image captured by the first imaging unit, an image acquisition unit configured to obtain a second image captured by the second imaging unit, and a second calculation area configured to obtain a first calculation region from the first image.
  • the image processing apparatus includes: a calculation region acquisition unit; and a second calculation region acquisition unit that obtains, from the second image, a second calculation region different from the first calculation region.
  • a first imaging section a second imaging section, a first calculation area acquisition section that obtains a first calculation area from an image obtained by the first imaging section, A second operation area obtaining unit that obtains a second operation area different from the first operation area from an image obtained by the imaging unit.
  • an image calculation region suitable for each of the plurality of imaging units is set, and the entire image control system is set. It is possible to realize an image processing device (stereo camera device) capable of suppressing the calculation processing load of (1) and speeding up image processing.
  • FIG. 2 is a block diagram of a stereo camera device according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a synchronization signal corresponding to each image acquisition timing in a first imaging unit and a second imaging unit.
  • 9 is a flowchart illustrating switching of setting processing for first and second imaging units according to a frame. It is explanatory drawing about execution of the three-dimensional object recognition process using a stereo image.
  • FIG. 9 is an explanatory diagram of execution of a monocular recognition process using a monocular image. It is explanatory drawing of an example which put together stereo processing and monocular processing.
  • FIG. 4 is a diagram illustrating an example of an image calculation area in a single-eye recognition process of a first imaging unit and a second imaging unit.
  • FIG. 9 is a diagram illustrating an example of a flow until a recognition process is performed when an image calculation area specialized for a recognition target is set.
  • Safe driving assistance systems for vehicles include the following distance warning system, adaptive cruise control system, and pre-crash brake system.
  • sensing technology that accurately recognizes the environment ahead of the vehicle, such as the preceding vehicle, the driving lane, and obstacles around the vehicle, is essential.
  • an environment recognition sensor in front of a vehicle there is an in-vehicle camera device mounted on a vehicle.
  • the stereo camera device is capable of recognizing a three-dimensional object from the parallax information of the left and right cameras, and is therefore excellent in detecting a three-dimensional object of any shape such as a pedestrian or a curb.
  • a stereoscopic object can be recognized with high accuracy by calculating parallax from differences in luminance information of images acquired at the same timing by image pickup device units of cameras attached to the left and right in the vehicle traveling direction.
  • An image processing apparatus includes a control unit that switches at appropriate timing between stereo image processing for performing parallax calculation and monocular recognition processing for not performing parallax calculation.
  • the exposure control and the image calculation area are controlled independently for each imaging unit mounted on the vehicle-mounted camera device.
  • a typical one of the image processing apparatuses according to the embodiment of the present invention is a stereo camera apparatus having two image sensors.
  • FIG. 1 is a block diagram of a stereo camera device 101 according to an embodiment of the present invention.
  • a stereo camera device 101 includes a first imaging unit 102 that captures a first image attached to the left and right with respect to a traveling direction of a vehicle and a second imaging unit 103 that captures a second image, A first calculation area acquisition unit 104 that sets an image calculation area of a first image captured by the first imaging unit 102, and a second calculation that sets an image calculation area of a second image captured by the second imaging unit 103
  • a second shutter control unit (second exposure control unit) 107 for setting a control value.
  • the stereo camera device 101 includes a first image acquisition control unit 108 for calculating an image calculation area and an exposure control value set for the first imaging unit 102, and a setting for the second imaging unit 103.
  • a second image acquisition control unit 109 for calculating an image calculation area and an exposure control value to be performed, and a first monocular image processing unit 110 for performing monocular image processing using an image acquired by the first imaging unit 102.
  • a second monocular image processing unit 111 that performs monocular image processing using an image acquired by the second imaging unit 103, and an image of both the first imaging unit 102 and the second imaging unit 103.
  • the image processing apparatus includes a stereo image processing unit 112 that performs stereo image processing, and a recognition processing frame switching unit 113 that performs switching control of recognition processing performed in units of frames.
  • the recognition processing frame switching unit 113 determines whether to operate the stereo image processing unit 112, the first monocular image processing unit 110, or the second monocular image processing unit 111, and determines the recognition processing frame (image frame ) Is executed.
  • FIG. 2 is a diagram illustrating an example of a synchronization signal corresponding to the image acquisition timing of each of the first imaging unit 102 and the second imaging unit 103.
  • FIG. 2 shows an example in which an image for stereo processing and an image for monocular processing are alternately acquired.
  • Stereo image processing is performed on a synchronization signal (synchronization signal of the first imaging unit) 201 in the first imaging unit 102 and a synchronization signal (synchronization signal of the second imaging unit) 202 in the second imaging unit 103.
  • a timing t 0 to t 1 (imaging timing for stereo processing)
  • a stereo image 2000a in which parallax is calculated based on the images of both the first imaging unit 102 and the second imaging unit 103 is generated.
  • the image acquired by the first imaging unit 102 is used as the first monocular processing image 1001
  • the second The image acquired by the imaging unit 103 is used as a second monocular processing image 1002.
  • the stereo image calculated by the parallax based on the images of both the first imaging unit 102 and the second imaging unit 103 is used.
  • An image 2000b is generated.
  • a stereo image, a first monocular image, and a second monocular image are sequentially generated in the same manner.
  • the recognition processing frame switching unit 113 executes the three-dimensional object recognition processing by the stereo image processing unit 112 according to the image frame, or executes the monocular image processing by the first monocular image processing unit 110 and the second monocular image processing unit 111. An instruction is given to the first image acquisition control unit 108 and the second image acquisition control unit 109 to execute, and the recognition processing frame (the image frame for performing the recognition processing) is switched.
  • the control unit 109 includes a request value (image calculation area and exposure control value) of the stereo image processing unit 112 and a request value (image calculation area and exposure control value) of the first monocular image processing unit 110 and the second monocular image processing unit 111. (Control value) is used to determine which one to select.
  • the first image acquisition control unit 108 and the second image acquisition control unit 109 are based on a request value of the stereo image processing unit 112 and a request value of the first monocular image processing unit 110 or the second monocular image processing unit 111. It controls the first calculation area obtaining unit 104, the second calculation obtaining unit 105, the first shutter control unit 106, or the second shutter control unit 107.
  • the first image acquisition control unit 108 transmits the image acquired by the first calculation area acquisition unit 104 to the first monocular image processing unit 110 or the stereo image processing unit 112.
  • the second image acquisition control unit 109 transmits the image acquired by the second calculation region acquisition unit 105 to the second monocular image processing unit 111 or the stereo image processing unit 112.
  • FIG. 3 is a flowchart illustrating switching of the setting process for the first and second imaging units 102 and 103 according to the frame based on the above contents.
  • step S301 the image processing to be executed is confirmed in the image frame specified by the recognition processing frame switching unit 113 (step S301).
  • the image frame is a timing for performing the stereo image processing 112 (YES in step S302)
  • the setting is performed for both the first imaging unit 102 and the second imaging unit 103 in performing the stereo image processing.
  • a control value to be obtained is obtained (step S303).
  • step S304 the control value to be set in the first imaging unit 102 in performing the first monocular image processing 110 is acquired (step S304). Then, the control value to be set in the second imaging unit 103 in performing the second monocular image processing 111 is acquired (step S305).
  • step S306 After acquiring the control values to be set for each of the imaging units (the first imaging unit 102 and the second imaging unit 103), setting of the shutter control value for the first imaging unit 102 (step S306) and the image calculation area Is set (step S307). Also, the shutter control value is set for the second imaging unit 103 (step S308) and the image calculation area is set (step S309).
  • FIG. 4 is an explanatory diagram of execution of a three-dimensional object recognition process using a stereo image.
  • an image output from an imaging element such as a CMOS image sensor is used in an image frame 402 of an image acquisition timing for stereo processing.
  • the image correction processing 404 such as shading correction and gamma correction is appropriately performed in accordance with the obtained image area while performing the image acquisition processing 403.
  • the parallax calculation processing 405 is performed based on the difference information between the two images, and the parallax calculation processing 405 is performed on the necessary area.
  • a three-dimensional object recognition process 406 is executed.
  • stereo image processing (synonymous with stereo processing) is executed in the same manner.
  • FIG. 5 is an explanatory diagram of execution of the monocular recognition processing using the monocular image.
  • the image frame 502 of the first monocular processing image acquisition timing by the image acquisition synchronization signal 501 in the first imaging unit 102 receives a signal from the image sensor in the same manner as the stereo processing image acquisition timing of FIG. 4. While performing the output image acquisition processing 503, the image correction processing 504 is appropriately executed according to the acquired image area.
  • the first monocular image processing 505 is executed when the image correction processing 504 is appropriately completed.
  • the image frame 507 at the second monocular processing image acquisition timing is also output from the imaging element in the same manner as in the first imaging unit 102.
  • the image correction processing 509 is appropriately executed according to the acquired image area.
  • the second monocular image processing 510 is executed when the image correction processing 509 is properly completed.
  • FIG. 6 is an explanatory diagram of an example in which the stereo processing and the monocular processing are combined.
  • the image synchronization signal 601 in the first imaging unit 102 and the second In the case where image processing is performed at a timing like the image synchronization signal 602 in the imaging unit 103, when the image frames 603 and 604 are at the stereo processing image acquisition timing, stereo image processing (stereoscopic object recognition) in the previous stereo processing image frame is performed. There is a part where the timing of the processing) and the timing of executing the first monocular image processing and the second monocular image processing based on the image acquired in the previous monocular processing image frame overlap.
  • the first imaging unit 102 and the second imaging unit 103 independently control the image calculation areas.
  • FIG. 7 is a diagram illustrating an example of an image calculation area in the monocular recognition processing of the first imaging unit 102 and the second imaging unit 103.
  • the left camera image 701 obtained by the imaging unit (the first imaging unit 102 or the second imaging unit 103) attached to the left side with respect to the traveling direction of the vehicle, and the left camera image 701 attached to the right side.
  • the right camera image 702 acquired by the imaging unit (the second imaging unit 103 or the first imaging unit 102) is shown.
  • the left and right cameras perform the sign recognition processing.
  • the signboard sign on the roadside is used as the first specific recognition target.
  • an electronic bulletin board 704 above the road is assumed as the second specific recognition target.
  • An image calculation area specialized for a specific recognition target may be set and parallax calculation may be performed.
  • FIG. 8 is a diagram showing an example of a flow until a recognition process is executed when an image calculation area specialized for a recognition target is set.
  • a stereo camera device image processing device
  • two imaging units first imaging unit 102
  • the three-dimensional object processing is executed based on the image information from the second imaging unit 103), and different image regions (specific images) from the two imaging units are obtained at a single-eye processing imaging timing different from the stereo processing imaging timing. It is configured to execute a monocular recognition process for acquiring two different pieces of specific information based on the image information of the (region).
  • a stereo camera device which is an image processing device capable of speeding up image processing, can be realized.
  • first monocular processing image acquisition timing frame 502, the second monocular processing image acquisition timing, and the second monocular processing image acquisition timing frame 507 may have the same timing or may be different from each other. It may be timing.
  • the above-described example is an example in which the present invention is applied to an image processing device for a vehicle, but is not limited to an image processing device for a vehicle, and a monitoring device that processes images from other moving objects and a plurality of imaging units. Etc. can be applied.
  • the present invention can be realized if the present invention includes at least two image capturing units, and the two image capturing units are configured so that the image calculation areas are different from each other. That is, the image acquisition unit (including the shutter control units 106 and 107) that obtains the first image captured by the first imaging unit 102 and the second image captured by the second imaging unit 103 includes: A first operation area obtaining unit 104 that obtains a first operation area from the obtained first image, and a second operation area that is different from the first operation area from a second image obtained by the image obtaining unit.
  • the present invention is applicable to any image processing apparatus including the two operation area acquisition unit 105.
  • the image processing device is applicable to a stereo camera device, and is of course applicable to an image processing device having a plurality of imaging units other than the stereo camera device.
  • the present invention is not limited to the contents of the above-described embodiments, and other modes that can be considered within the scope of the technical idea of the present invention are also included in the scope of the present invention.
  • 101 stereo camera device (image processing device), # 102: first imaging unit, # 103: second imaging unit, # 104: first calculation area acquisition unit, # 105: second Calculation region acquisition unit, # 106: first shutter control unit, # 107: second shutter control unit, # 108: first image acquisition control unit, # 109: second image acquisition control unit, # 110 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、複数の撮像部から得られる画像の差分情報を元に算出する視差画像演算処理を実行しつつ、複数の撮像部ごとに適した画像演算領域を設定し、画像制御システム全体の演算処理負荷を抑制し、画像処理の高速化が可能な画像処理装置を実現する。本発明は、画像処理装置において、第一の撮像部が撮像した第一画像と、第二の撮像部が撮像した第二画像とを得る画像取得部と、第一画像から、第一の演算領域を得る第一演算領域取得部と、第二画像から、第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部とを備える。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　例えば、車両に搭載され、照明の届かないような低照度環境の風景について赤外線画像を表示部に表示し、ドライバーの運転支援を行う画像処理装置が知られている。
　上記のような画像処理装置は、赤外線画像の全画像が表示されるため、注意する必要の無い建物等が表示され、検出したい対象物の発見が遅延する可能性があった。
　特許文献１には、取得した赤外線画像データと可視画像データに対して、車両の速度情報等を元に決定した制御対象領域のみに画像処理を実施する技術が開示されている。
特開２０１３－０４２４０４号公報
　２つのカメラを使用するステレオカメラを撮像部として用いる画像処理装置が知られている。
　ステレオカメラにおいては、複数の撮像部が存在し、撮像部ごとに異なる画像演算領域が設定され、異なる画像演算領域が設定される。
　特許文献１に記載の技術を、ステレオカメラを用いた画像処理装置に適用すると、異なる画像演算領域のそれぞれに、制御対象領域のみの画像処理を実施する必要がある。車両に搭載される画像処理装置は、画像処理の高速化が要求されるとともに、得られた画像を車両の動作制御にも使用することがあるため、車両制御システム全体の演算処理負荷を抑制することが必要となる。
　特許文献１に記載の技術は、ステレオカメラのように複数の撮像を有する画像処理装置において、撮像部ごとに異なる画像演算領域を設定するような構成を想定していないため、車両制御システム全体の演算処理負荷の抑制及び画像処理の高速化が困難である。
　本発明の目的は、複数の撮像部から得られる画像の差分情報を元に算出する視差画像演算処理を実行しつつ、複数の撮像部ごとに適した画像演算領域を設定し、画像制御システム全体の演算処理負荷を抑制し、画像処理の高速化が可能な画像処理装置を実現することである。
　上記目的を達成するため、本発明は次のように構成される。
　画像処理装置において、第一の撮像部が撮像した第一画像と、第二の撮像部が撮像した第二画像とを得る画像取得部と、第一画像から、第一の演算領域を得る第一演算領域取得部と、第二画像から、第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部とを備える。
　また、ステレオカメラ装置において、第一の撮像部と、第二の撮像部と、第一の撮像部で得られる画像から、第一の演算領域を得る第一演算領域取得部と、第二の撮像部で得られる画像から、第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部とを備える。
　本発明によれば、複数の撮像部から得られる画像の差分情報を元に算出する視差画像演算処理を実行しつつ、複数の撮像部ごとに適した画像演算領域を設定し、画像制御システム全体の演算処理負荷を抑制し、画像処理の高速化が可能な画像処理装置（ステレオカメラ装置）を実現することができる。
本発明の一実施例に関するステレオカメラ装置のブロック構成図である。 第一の撮像部および第二の撮像部におけるそれぞれの画像取得タイミングに相当する同期信号の一例を示す図である。 フレームに応じて第一および第二の撮像部に対する設定処理の切替を説明するフローチャートである。 ステレオ画像を用いた立体物認識処理の実行についての説明図である。 単眼画像を用いた単眼認識処理の実行についての説明図である。 ステレオ処理及び単眼処理を纏めた一例の説明図である。 第一の撮像部および第二の撮像部の単眼認識処理における画像演算領域の一例を示す図である。 認識対象物に特化した画像演算領域を設定した場合における、認識処理を実行するまでの流れの一例を示した図である。
　以下、本発明に関する実施例を、添付図面を参照しながら詳細に説明する。なお、以下の説明では、画像処理装置である車載用ステレオカメラ装置に本発明を適用した場合の例について説明する。
　自動車の安全運転支援システムとして、車間距離警報システム、アダプティブクルーズコントロールシステム、プリクラッシュブレーキシステム等が挙げられる。
　上記システムを構築する際に、先行車両、走行車線、自車周辺の障害物など、車両前方の環境を的確に認識するセンシング技術が必須となる。車両前方の環境認識センサとして、車両に搭載される車載用カメラ装置がある。
　車載用カメラ装置の中でも、ステレオカメラ装置は左右のカメラの視差情報から立体物認識が可能となるため、歩行者や縁石など任意形状の立体物を検出する上で優れている。ステレオカメラ装置では、車両進行方向に対して左右に取り付けられたカメラの撮像素子部で同タイミングに取得した画像の輝度情報の差異より、視差を算出することで立体物を精度良く認識出来る。
　ここで、左右カメラのフレームレートを可変制御することで、視差算出のための画像以外に、別途、単眼画像を用いた単眼認識処理向けの画像を撮像することが可能となり、それによって視差情報を用いた立体物認識処理を含めた複数の画像認識処理を同一プラットフォーム上で実行出来るようになる。
　しかし、上記構成例の場合、同一タイミングで複数の画像認識処理を実施することになるため、演算処理負荷が大きくなる。
　そのため、各認識処理の画像演算領域を最適化することによって、車載用カメラ装置のシステム全体に対する演算処理負荷を低減させることが重要となる。
　本発明の一実施例における画像処理装置は、視差算出を実施するステレオ画像処理と、視差算出を実施しない単眼認識処理を適切なタイミングで切り替える制御部を有し、画像処理タイミングに応じて、適切な露光制御と画像演算領域を車載用カメラ装置に搭載されている撮像部ごとに独立して制御する。
　本発明の一実施例による画像処理装置のうち代表的な一つは、二つの撮像素子を有したステレオカメラ装置である。
　図１は、本発明の一実施例に関するステレオカメラ装置１０１のブロック構成図である。
　図１において、ステレオカメラ装置１０１は、車両進行方向に対して左右に取り付けられた第一の画像を撮像する第一の撮像部１０２および第二の画像を撮像する第二の撮像部１０３と、第一の撮像部１０２が撮像した第一画像の画像演算領域を設定する第一演算領域取得部１０４と、第二の撮像部１０３が撮像した第二画像の画像演算領域を設定する第二演算領域取得部１０５と、第一の撮像部１０２に対するシャッタ等の露光制御値を設定する第一シャッタ制御部（第一露光制御部）１０６と、第二の撮像部１０３に対してシャッタ等の露光制御値を設定する第二シャッタ制御部（第二露光制御部）１０７とを備える。
　さらに、ステレオカメラ装置１０１は、第一の撮像部１０２に対して設定する画像演算領域および露光制御値を算出するための第一画像取得制御部１０８と、第二の撮像部１０３に対して設定する画像演算領域および露光制御値を算出するための第二画像取得制御部１０９と、第一の撮像部１０２で取得した画像を使用して単眼画像処理を行う第一の単眼画像処理部１１０と、第二の撮像部１０３で取得した画像を使用して単眼画像処理を行う第二の単眼画像処理部１１１と、第一の撮像部１０２および第二の撮像部１０３双方の画像を使用してステレオ画像処理を行うステレオ画像処理部１１２と、フレーム単位で実施する認識処理の切替制御を行うための認識処理フレーム切替部１１３とを備えている。
　認識処理フレーム切替部１１３では、ステレオ画像処理部１１２と、第一の単眼画像処理部１１０および第二の単眼画像処理部１１１のいずれを動作させるか、フレームタイミングに応じて認識処理フレーム（画像フレーム）の切替処理を実行する。
　図２は、第一の撮像部１０２および第二の撮像部１０３それぞれの画像取得タイミングに相当する同期信号の一例を示す図である。
　図２では、ステレオ処理用画像と単眼処理用画像を交互に取得する例を示している。
　第一の撮像部１０２における同期信号（第一の撮像部の同期信号）２０１と、第二の撮像部１０３における同期信号（第二の撮像部の同期信号）２０２において、ステレオ画像処理を実施するタイミング（ｔ０～ｔ１（ステレオ処理用撮像タイミング））では第一の撮像部１０２および第二の撮像部１０３の双方の画像をもとに視差演算されたステレオ画像２０００ａを生成する。
　また、単眼画像処理を実施するタイミング（ｔ２～ｔ３（単眼処理用撮像タイミング））では第一の撮像部１０２で取得した画像は第一の単眼処理用画像１００１として使用され、第二の撮像部１０３で取得した画像は第二の単眼処理用画像１００２として使用される。
　そして、ステレオ画像処理を実施するタイミング（ｔ４～ｔ５（ステレオ処理用撮像タイミング））では第一の撮像部１０２および第二の撮像部１０３の双方の画像をもとに視差演算されたステレオ画像２０００ｂを生成する。
　以降、同様にして、ステレオ画像、第一の単眼画像、第二の単眼画像が順次生成される。
　認識処理フレーム切替部１１３は、画像フレームに応じてステレオ画像処理部１１２による立体物認識処理を実行するか、第一の単眼画像処理部１１０および第二の単眼画像処理部１１１による単眼画像処理を実行するかを、第一画像取得制御部１０８及び第二画像取得制御部１０９に指令し、認識処理フレーム（認識処理を行う画像フレーム）を切替える。
　ステレオ画像処理と単眼画像処理では、各々の認識対象物に応じて撮像部（１０２、１０３）へ要求する画像演算領域と露光制御値が異なるため、第一画像取得制御部１０８および第二画像取得制御部１０９は、ステレオ画像処理部１１２の要求値（画像演算領域及び露光制御値）と、第一の単眼画像処理部１１０及び第二の単眼画像処理部１１１の要求値（画像演算領域及び露光制御値）とのいずれを選択すべきか判断するために、認識処理フレーム切替部１１３からの情報を用いる。
　第一画像取得制御部１０８および第二画像取得制御部１０９は、ステレオ画像処理部１１２の要求値、第一の単眼画像処理部１１０又は第二の単眼画像処理部１１１の要求値に基づいて、第一演算領域取得部１０４、第二演算取得部１０５、第一シャッタ制御部１０６又は第二シャッタ制御部１０７を制御する。
　そして、第一画像取得制御部１０８は、第一演算領域取得部１０４が取得した画像を第一の単眼画像処理部１１０又はステレオ画像処理部１１２に伝送する。
　また、第二画像取得制御部１０９は、第二演算領域取得部１０５が取得した画像を第二の単眼画像処理部１１１又はステレオ画像処理部１１２に伝送する。
　図３は、上記内容を踏まえた上で、フレームに応じて第一および第二の撮像部１０２、１０３に対する設定処理の切替を説明するフローチャートである。
　図３において、初めに、認識処理フレーム切替部１１３が指示する画像フレームで実施対象とすべき画像処理の確認を実行する（ステップＳ３０１）。当該画像フレームがステレオ画像処理１１２を実施するタイミングの場合（ステップＳ３０２でＹＥＳ）、ステレオ画像処理を実施する上で第一の撮像部１０２および第二の撮像部１０３の両撮像部に対して設定すべき制御値を取得する（ステップＳ３０３）。
　当該画像フレームが単眼画像処理を実施するタイミングの場合（ステップＳ３０２でＮＯ）、第一の単眼画像処理１１０を実施する上で第一の撮像部１０２に設定すべき制御値の取得（ステップＳ３０４）と、第二の単眼画像処理１１１を実施する上で第二の撮像部１０３に設定すべき制御値の取得（ステップＳ３０５）を実施する。
　各撮像部（第一の撮像部１０２、第二の撮像部１０３）に設定すべき制御値を取得したら、第一の撮像部１０２に対してシャッタ制御値の設定（ステップＳ３０６）と画像演算領域の設定（ステップＳ３０７）を行う。また、第二の撮像部１０３に対してもシャッタ制御値の設定（ステップＳ３０８）と画像演算領域の設定（ステップＳ３０９）を行う。
　ここで、ステレオ画像を用いた立体物認識処理を実行するまでの流れの一例について、図２で示された同期信号に照らし合わせて説明する。
　図４はステレオ画像を用いた立体物認識処理の実行についての説明図である。
　図４において、第一の撮像部１０２および第二の撮像部１０３における画像取得同期信号４０１において、ステレオ処理用の画像取得タイミングの画像フレーム４０２では、ＣＭＯＳイメージセンサ等の撮像素子から出力された画像の画像取得処理４０３に行いながら、シェーディング補正やガンマ補正等の画像補正処理４０４を取得画像領域に応じて適切に実施する。
　第一の撮像部１０２及び第二の撮像部１０３のそれぞれで画像補正処理４０４が完了した領域から、両画像の差分情報より視差演算処理４０５を実施し、視差演算処理４０５が必要領域に対して完了した時点で立体物認識処理４０６を実行する。
　以降、同様にしてステレオ画像処理（ステレオ処理と同義）が実行される。
　図４に対し、単眼画像を用いた単眼認識処理を実行するまでの流れの一例について説明する。図５は単眼画像を用いた単眼認識処理の実行についての説明図である。
　図５において、第一の撮像部１０２における画像取得同期信号５０１にて、第一の単眼処理用画像取得タイミングの画像フレーム５０２では、図４のステレオ処理用画像取得タイミングと同様に、撮像素子から出力された画像取得処理５０３を行いながら、画像補正処理５０４を取得画像領域に応じて適切に実行する。
　単眼認識処理では、第二の撮像部１０３で取得した画像との視差演算処理は不要のため、適切に画像補正処理５０４が完了した段階で第一の単眼画像処理５０５を実行する。
　第二の撮像部１０３における画像取得同期信号５０６にて、第二の単眼処理用画像取得タイミングの画像フレーム５０７に対しても第一の撮像部１０２の場合と同様に、撮像素子から出力された画像取得処理５０８を行いながら、画像補正処理５０９を取得画像領域に応じて適切に実行する。
　適切に画像補正処理５０９が完了した段階で第二の単眼画像処理５１０を実行する。
　ここで、認識処理実行までの流れの一例として示した図４および図５に示したステレオ処理及び単眼処理を纏める。図６は、ステレオ処理及び単眼処理を纏めた一例の説明図である。
　ステレオ画像処理と第一の単眼画像処理および第二の単眼画像処理を同一プラットフォームで実行する場合、図６に示した一例では、第一の撮像部１０２での画像同期信号６０１と、第二の撮像部１０３での画像同期信号６０２のようなタイミングで画像処理を行う場合において、ステレオ処理用画像取得タイミングの画像フレーム６０３、６０４の時、前ステレオ処理用画像フレームにおけるステレオ画像処理（立体物認識処理）のタイミングと、前単眼処理用画像フレームで取得した画像を元に第一の単眼画像処理および第二の単眼画像処理を実行するタイミングが重複する部分が存在する。
　この場合、例えば、全処理を同一のＲＡＭで実行させると、ＣＰＵとＲＡＭ間のバストラフィックが増加し、システム全体の演算処理時間に対して遅延等の影響が発生する。
　上記問題を解消するため、第一の撮像部１０２と第二の撮像部１０３で、それぞれ画像演算領域を独立制御させるようにする。
　図７は、第一の撮像部１０２および第二の撮像部１０３の単眼認識処理における画像演算領域の一例を示す図である。
　図７に示した例では、車両進行方向に対して左側に取り付けられた撮像部（第一の撮像部１０２又は第二の撮像部１０３）で取得した左カメラ画像７０１と、右側に取り付けられた撮像部（第二の撮像部１０３又は第一の撮像部１０２）で取得した右カメラ画像７０２を示している。
　本実施例では、左右カメラ（第一の撮像部１０２及び第二の撮像部１０３）で標識認識処理を実行し、例えば左カメラ画像７０１では、第一の特定の認識対象物として路肩の看板標識７０３を想定し、右カメラ画像７０２では第二の特定認識対象物として道路上方の電光掲示板７０４を想定している。
　ここで、左カメラの認識対象物である路肩の看板標識７０３の認識処理を実行するに当たって、左カメラの全撮像領域７０１の全てに対して画像演算処理を実行する必要は無く、認識対象物７０３を含んだ一定領域（第一の特定領域）７０５に絞って実行すれば良い。
　右カメラの認識対象物である道路上方の電光掲示板７０４に対しても同様に、右カメラの全撮像領域７０２の全てに対して画像演算処理を実施する必要は無く、認識対象物７０４を含んだ一定領域（第二の特定領域）７０６に絞って実行すれば良い。
　上記はステレオ画像処理についても同様で、特定の認識対象物に特化した画像演算領域を設定し、視差演算を実行すれば良い。
　図８は、認識対象物に特化した画像演算領域を設定した場合における、認識処理を実行するまでの流れの一例を示した図である。
　撮像部（第一の撮像部１０２、第二の撮像部１０３）ごとに画像演算領域を絞り込むため、画像補正、視差演算、認識処理（立体物認識処理、第一の単眼画像処理、第二の単眼画像処理）等の演算時間が短縮され、本実施例におけるステレオカメラ装置のシステム全体に対する処理負荷の軽減が見込まれ、同一プラットフォーム上において、複数の認識アプリケーションの並列実行に関する拡張性を広げることが可能となる。
　以上のように、本発明の一実施例によれば、ステレオカメラを用いたステレオカメラ装置（画像処理装置）において、ステレオ処理用撮像タイミングにて、２つの撮像部（第一の撮像部１０２、第二の撮像部１０３）からの画像情報に基づいて、立体物処理を実行し、ステレオ処理用撮像タイミングとは異なる単眼処理用撮像タイミングにて、２つの撮像部からの別画像領域（特定画像領域）の画像情報に基づいて、２つの別箇の特定の情報を取得する単眼認識処理を実行するように構成される。
　したがって、複数の撮像部から得られる画像の差分情報を元に算出する視差画像演算処理を実行しつつ、複数の撮像部ごとに適した画像演算領域を設定し、画像制御システム全体の演算処理負荷を抑制し、画像処理の高速化が可能な画像処理装置であるステレオカメラ装置を実現することができる。
　なお、第一の単眼処理用画像取得タイミングのフレーム５０２と第二の単眼処理用のフレームと第二の単眼処理用画像取得タイミングのフレーム５０７とは、同一のタイミングとしてもよいし、互に異なるタイミングとしてもよい。
　また、上述した例は、本発明を車両用の画像処理装置に適用した場合の例であるが、車両用に限らず、その他の移動体や、複数の撮像部からの画像を処理する監視装置等に適用することができる。
　また、本発明は、少なくとも２つの画像撮像部を有し、これら２つの画像撮像部の画像演算領域が互いに異なるように構成すれば本発明は成立する。つまり、第一の撮像部１０２が撮像した第一画像と、第二の撮像部１０３が撮像した第二画像とを得る画像取得部（シャッタ制御部１０６及び１０７を含む）と、画像取得部が取得した第一画像から、第一の演算領域を得る第一演算領域取得部１０４と、画像取得部が取得した第二画像から、第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部１０５とを備える画像処理装置であれば本発明は成立する。
　また、画像処理装置はステレオカメラ装置に適用可能であることは、もちろんのこと、ステレオカメラ装置以外の複数の撮像部を有する画像処理装置にも適用可能である。
　また、本発明は、上述した実施例の内容に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　１０１・・・ステレオカメラ装置（画像処理装置）、　　１０２・・・第一の撮像部、　　１０３・・・第二の撮像部、　　１０４・・・第一演算領域取得部、　　１０５・・・第二演算領域取得部、　　１０６・・・第一シャッタ制御部、　　１０７・・・第二シャッタ制御部、　　１０８・・・第一画像取得制御部、　　１０９・・・第二画像取得制御部、　　１１０・・・第一の単眼画像処理部、　　１１１・・・第二の単眼画像処理部、　　１１２・・・ステレオ画像処理部、　　１１３・・・認識処理フレーム切替部、　　２０１・・・第一の撮像部の同期信号、　　２０２・・・第二の撮像部の同期信号、　　４０１・・・画像取得同期信号、　　４０２・・・ステレオ画像取得タイミングのフレーム、　　４０３・・・画像取得処理、　　４０４・・・画像補正処理、　　４０５・・・視差演算処理、　　４０６・・・立体物認識処理、　　５０１・・・画像取得同期信号、　　５０２・・・第一の単眼処理用画像取得タイミングのフレーム、　　５０３・・・画像取得処理、　　５０４・・・画像補正処理、　　５０５・・・第一の単眼画像処理、　　５０６・・・画像取得同期信号、　　５０７・・・第二の単眼処理用画像取得タイミングのフレーム、　　５０８・・・画像取得処理、　　５０９・・・画像補正処理、　　５１０・・・第二の単眼画像処理、　　６０１・・・画像同期信号、　　６０２・・・画像同期信号、　　６０３・・・ステレオ処理用画像取得タイミングのフレーム、　　６０４・・・ステレオ処理用画像取得タイミングのフレーム、　　７０１・・・左カメラ画像、　　７０２・・・右カメラ画像、　　７０３・・・路肩の看板標識、　　７０４・・・道路上方の電光掲示板、　　７０５、７０６・・・一定領域

Claims (7)

  1. 　第一の撮像部が撮像した第一画像と、第二の撮像部が撮像した第二画像とを得る画像取得部と、
    　前記第一画像から、第一の演算領域を得る第一演算領域取得部と、
    　前記第二画像から、前記第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部と、
    　を備えることを特徴とする画像処理装置。
  2. 　第一の撮像部と、
    　第二の撮像部と、
    　前記第一の撮像部で得られる画像から、第一の演算領域を得る第一演算領域取得部と、
    　前記第二の撮像部で得られる画像から、第一の演算領域とは異なる第二の演算領域を得る第二演算領域取得部と、
    　を備えることを特徴とするステレオカメラ装置。
  3. 　請求項２に記載のステレオカメラ装置において、
    　前記第一の撮像部及び前記第二の撮像部の両方の画像を用いて立体物認識処理を行うステレオ画像処理部と、
    　前記第一の撮像部の画像を用いて単眼画像処理を行う第一の単眼画像処理部と、
    　前記第二の撮像部の画像を用いて単眼画像処理を行う第二の単眼画像処理部と、
    　を備えることを特徴とするステレオカメラ装置。
  4. 　請求項３に記載のステレオカメラ装置において、
    　前記立体物認識処理を行うか、前記単眼画像処理を行うかを指令し、前記立体物認識処理を行う認識処理フレームと前記単眼画像処理を行う認識処理フレームとを切り替える認識処理フレーム切替部と、
    　前記認識処理フレーム切替部からの指令により、前記第一の単眼画像処理部又は前記ステレオ画像処理部からの要求値に従って、前記第一演算領域取得部が前記第一の撮像部から取得した画像を取得する第一画像取得制御部と、
    　前記認識処理フレーム切替部からの指令により、前記第二の単眼画像処理部又は前記ステレオ画像処理部からの要求値に従って、前記第二演算領域取得部が前記第二の撮像部から取得した画像を取得する第二画像取得制御部と、
    　を備えることを特徴とするステレオカメラ装置。
  5. 　請求項４に記載のステレオカメラ装置において、
    　前記第一画像取得制御部は露光制御値を算出し、算出した前記露光制御値に従って前記第一の撮像部の露光制御値を設定する第一露光制御部と、
    　前記第二画像取得制御部は露光制御値を算出し、算出した前記露光制御値に従って前記第二の撮像部の露光制御値を設定する第二露光制御部と、
    　を備えることを特徴とするステレオカメラ装置。
  6. 　請求項５に記載のステレオカメラ装置において、
    　前記第一の演算領域は、第一の特定認識対象物を含む第一の特定領域であり、前記第二の演算領域は、第二の特定認識対象物を含む第二の特定領域であることを特徴とするステレオカメラ装置。
  7. 　請求項２、３、４、５、６のうちのいずれか一項に記載のステレオカメラ装置において、
    　前記ステレオカメラ装置は、車両に搭載される車載用カメラ装置であることを特徴とするステレオカメラ装置。
PCT/JP2019/029150 2018-08-22 2019-07-25 画像処理装置 WO2020039837A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980052664.3A CN112544066A (zh) 2018-08-22 2019-07-25 图像处理装置
JP2020538247A JP7427594B2 (ja) 2018-08-22 2019-07-25 画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-155301 2018-08-22
JP2018155301 2018-08-22

Publications (1)

Publication Number Publication Date
WO2020039837A1 true WO2020039837A1 (ja) 2020-02-27

Family

ID=69592964

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029150 WO2020039837A1 (ja) 2018-08-22 2019-07-25 画像処理装置

Country Status (3)

Country Link
JP (1) JP7427594B2 (ja)
CN (1) CN112544066A (ja)
WO (1) WO2020039837A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074067A1 (ja) * 2021-10-29 2023-05-04 日立Astemo株式会社 撮像装置
WO2024150480A1 (ja) * 2023-01-10 2024-07-18 日立Astemo株式会社 画像処理装置及び画像処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210592A (ja) * 2014-04-24 2015-11-24 日立オートモティブシステムズ株式会社 外界認識装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3797949B2 (ja) 2002-03-28 2006-07-19 株式会社東芝 画像処理装置及びその方法
JP5172314B2 (ja) 2007-12-14 2013-03-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP5414714B2 (ja) * 2011-03-04 2014-02-12 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
JP2012221103A (ja) 2011-04-06 2012-11-12 Denso Corp 車両用画像処理装置
JP6085522B2 (ja) * 2013-05-29 2017-02-22 富士重工業株式会社 画像処理装置
JP6762090B2 (ja) * 2015-11-11 2020-09-30 日立オートモティブシステムズ株式会社 物体検出装置
JP6699179B2 (ja) * 2016-01-06 2020-05-27 サクサ株式会社 画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210592A (ja) * 2014-04-24 2015-11-24 日立オートモティブシステムズ株式会社 外界認識装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074067A1 (ja) * 2021-10-29 2023-05-04 日立Astemo株式会社 撮像装置
WO2024150480A1 (ja) * 2023-01-10 2024-07-18 日立Astemo株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JPWO2020039837A1 (ja) 2021-08-10
CN112544066A (zh) 2021-03-23
JP7427594B2 (ja) 2024-02-05

Similar Documents

Publication Publication Date Title
CN107615749B (zh) 信号处理装置和成像装置
JP6660751B2 (ja) 撮像装置
JP6723079B2 (ja) 物体距離検出装置
US10848660B2 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
US11470263B2 (en) Imaging apparatus and flicker correction method
WO2016051981A1 (ja) 車載画像認識装置
US20140055572A1 (en) Image processing apparatus for a vehicle
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP2012073927A (ja) 運転支援装置
WO2020039837A1 (ja) 画像処理装置
US9967438B2 (en) Image processing apparatus
JP6899673B2 (ja) 物体距離検出装置
JP6891082B2 (ja) 物体距離検出装置
JP2013250694A (ja) 画像処理装置
CN114008698A (zh) 外部环境识别装置
JP6253175B2 (ja) 車両の外部環境認識装置
JP4797441B2 (ja) 車両用画像処理装置
CN113661700B (zh) 成像装置与成像方法
JP2013161187A (ja) 物体認識装置
JP5759709B2 (ja) 画像認識装置
JP5017921B2 (ja) 車両用画像処理装置
WO2021029167A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
WO2018073243A1 (en) Vision system and method for a motor vehicle
JP2019021195A (ja) 運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19851328

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020538247

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19851328

Country of ref document: EP

Kind code of ref document: A1