WO2013140873A1 - 車載用画像処理装置及び方法 - Google Patents

車載用画像処理装置及び方法 Download PDF

Info

Publication number
WO2013140873A1
WO2013140873A1 PCT/JP2013/052651 JP2013052651W WO2013140873A1 WO 2013140873 A1 WO2013140873 A1 WO 2013140873A1 JP 2013052651 W JP2013052651 W JP 2013052651W WO 2013140873 A1 WO2013140873 A1 WO 2013140873A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image processing
image
vehicle image
imaging
Prior art date
Application number
PCT/JP2013/052651
Other languages
English (en)
French (fr)
Inventor
裕史 大塚
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US14/379,660 priority Critical patent/US20150035984A1/en
Priority to DE112013001647.8T priority patent/DE112013001647T8/de
Publication of WO2013140873A1 publication Critical patent/WO2013140873A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to an in-vehicle image processing apparatus and method for detecting an obstacle or the like by acquiring an image around a vehicle.
  • CMOS sensors Since stereo cameras use two cameras, the selection of the image sensor is important when considering commercialization.
  • CMOS sensors have the advantages of fewer components and less power consumption than CCDs, and have become popular in recent years, and many are low-cost.
  • CCD and CMOS sensors generally differ greatly in exposure method.
  • CCD is a global shutter all-pixel simultaneous exposure batch readout method called global shutter
  • CMOS sensors generally use a line exposure sequential readout method called rolling shutter, and the entire screen is read once. Cannot be exposed. Normally, exposure is performed sequentially line by line from the top of the screen. Therefore, in the rolling shutter, when the positional relationship between the camera and the subject changes, that is, when the camera or the subject is moving, shape distortion occurs due to a shift in imaging time.
  • this shape distortion is inevitable because the basic operation is in the state where the vehicle is moving or the preceding vehicle that is the subject is also moving.
  • This shape distortion also leads to a shift in parallax in a stereo camera, leading to a decrease in detection performance and a distance measurement performance. Therefore, it is desirable to use a global shutter CCD or a global shutter type special CMOS sensor in order to obtain sufficient performance with a stereo camera.
  • the purpose of the present invention is to improve the detection performance of a preceding vehicle that may collide using a rolling shutter type CMOS sensor that has the advantages of low cost and low power consumption, and realizes cheaper and more stable detection. It is to be.
  • the in-vehicle image processing apparatus of the present invention detects other vehicles using a plurality of imaging units that image the front of the vehicle and parallax information of the plurality of images obtained by the imaging unit.
  • An image processing unit, and the imaging unit includes an imaging device that has different exposure timing for each line on the imaging surface and sequentially exposes from the lower end to the upper end direction of the other vehicle.
  • CMOS complementary metal-oxide-semiconductor
  • the detection performance of a preceding vehicle that may collide is improved, and more inexpensive and stable detection is achieved. it can.
  • FIG. 1 is a block diagram illustrating an in-vehicle control device for realizing FCW (forward collision warning) and / or ACC (vehicle distance control system) according to an embodiment of the present invention.
  • the block diagram of the camera and image analysis unit concerning a present Example is shown.
  • regeneration system of a color element is shown.
  • the figure explaining ranging with a stereo camera is shown.
  • the image which imaged the preceding vehicle ahead of vehicles is shown.
  • the image figure of how it is reflected by a rolling shutter system when a preceding vehicle approaches in a conventional example is shown.
  • the image figure of how it is reflected by a rolling shutter system when a preceding vehicle approaches in a present Example is shown.
  • the figure of the normal shape of a preceding vehicle is shown.
  • FIG. 1 shows an outline of an entire configuration for realizing FCW (forward collision warning) and / or ACC (vehicle distance control system), which is an embodiment related to the present invention.
  • a camera 101 that is an imaging unit is installed in the host vehicle 107 so that the field of view in front of the vehicle can be captured.
  • the vehicle front image captured by the camera 101 is input to the image analysis unit 102 which is an image processing unit, and the image analysis unit 102 calculates the distance and relative speed to the preceding vehicle from the input vehicle front image.
  • the calculated information is sent to the control unit 103.
  • the control unit 103 determines the risk of collision from the distance to the preceding vehicle and the relative speed, and issues a command such as issuing a warning sound from the speaker 104 and decelerating with the brake 106.
  • the accelerator 105 is controlled to follow the preceding vehicle while maintaining a certain inter-vehicle distance, and when there is no preceding vehicle, control is performed such as accelerating to the set vehicle speed. Further, when the distance from the preceding vehicle becomes short, control such as loosening the accelerator 105 and decelerating by the brake 106 is also performed.
  • FIG. 2 shows the internal configuration of the camera 101 (a pair of left and right cameras 101a, b) and the image analysis unit 102 of FIG.
  • a CMOS (Complementary Metal Oxide Semiconductor) 201 that is an image sensor of the left and right cameras 101a, 101b is an image sensor in which photodiodes that convert light into electric charges are arranged in a grid pattern.
  • the CMOS 201 is a color element
  • the RAW image is transferred to the DSP 202 and converted into a grayscale image using a conversion formula described later.
  • the CMOS 201 is a monochrome element
  • the grayscale image is directly input to the image input unit I of the image analysis unit 102. Send to / F 205.
  • the image signal is transmitted continuously, but the head of the image signal includes a synchronization signal, and only the image at the required timing can be captured by the image input I / F 205.
  • the image captured by the image input I / F 205 is written into the memory 206 and subjected to parallax calculation processing and analysis by the image processing unit 204. Details of this processing will be described later.
  • a series of processing is performed according to the program 207 written in the Flash ROM.
  • the CPU 203 captures an image in the image input I / F 205 and performs control and necessary calculations for performing image processing in the image processing unit 204.
  • the CMOS® 201 has a built-in exposure control unit for performing exposure control and a register for setting the exposure time, and takes an image with the exposure time set in the register.
  • the register can be rewritten from the CPU 203, and the rewritten exposure time is reflected at the time of imaging in the next frame or the next field.
  • the exposure time is electronically controllable and limits the amount of light that strikes the CMOS 201.
  • the exposure time control is realized by the electronic shutter method as described above, but can also be realized by using a method of opening and closing the mechanical shutter. Further, the exposure amount may be changed by adjusting the aperture. Further, when the operation is performed every other line as in the case of interlace, the exposure amount may be changed between the odd-numbered line and the even-numbered line.
  • each pixel can only measure the intensity (density) of one of red (R), green (G), and blue (B), so refer to the surrounding colors for colors other than the measured color And estimate.
  • R red
  • G green
  • B blue
  • the center of the RGB pixels of G 22 in FIG. 3 (a) is respectively determined by the following equation (1).
  • RGB of the pixel at R 22 at the center of FIG. 3B is obtained by the following equation (2).
  • the distance Z is It can be obtained by equation (4). As shown in FIG. 4, the distance Z is exactly the distance from the principal point of the lens 401.
  • FIG. 5 is an image showing the preceding vehicle 501. In this state, consider a case where the vehicle 107 approaches the preceding vehicle 501 and is about to collide.
  • the exposure is sequentially performed from the line on the screen, and the lower part of the screen is exposed at the end. Therefore, a shift in the exposure time occurs, but at this time, the preceding vehicle 501 is gradually approaching, so the vehicle Images are taken in a state where the lower part of the vehicle is closer than the upper part. That is, as shown in FIG. 6, the preceding vehicle 501 is distance-measured as if the previous deformation has occurred.
  • the parallax on the back of the vehicle is uniform and does not vary, which leads to stabilization of detection, but in the state shown in FIG. 6, the parallax is different between the upper end of the vehicle and the lower end of the vehicle. Since the calculated distance is different, the stability of detection is lowered.
  • the upper and lower sides of the CMOS 201 serving as the image sensor are physically reversed and attached.
  • the vertically inverted video is reversed by the image processing unit 204 and corrected.
  • the upper end of the vehicle since the upper end of the vehicle is imaged later in time than the lower end of the vehicle, the upper end of the vehicle approaches the host vehicle, and the deformation is reversed as shown in FIG.
  • the rear surface of the vehicle In most vehicles, as shown in FIG. 8, the rear surface of the vehicle has a bumper protruding from the lower end of the vehicle rather than the upper end of the vehicle, and falls slightly forward rather than vertically. Therefore, when the deformation is performed as shown in FIG. 7, the rear surface of the vehicle is closer to the vertical than when the deformation is performed as shown in FIG.
  • the upper and lower sides of the CMOS 201 are physically inverted. However, since the exposure order may be reversed up and down, the exposure of the CMOS 201 is not reversed physically. You may make it use the element set so that order might be reversed electronically up and down.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

　ローリングシャッタのCMOSセンサを用いたステレオカメラを用いて、衝突する可能性のある先行車の検知性能を向上させることを目的とする。本発明は、車両前方を撮像する複数の撮像部と、その撮像部で得られた複数の画像の視差情報を用いて他車両を検出する画像解析部と、を有する車載画像処理カメラであって、その撮像部は、撮像面のライン毎に露光タイミングが異なり他車両の下端から上端方向に順次露光する撮像素子を備えることを特徴とする。

Description

車載用画像処理装置及び方法
　本発明は、車両周囲の映像を取得して障害物等を検出する車載用画像処理装置及び方法に関する。
　自動車の予防安全技術として、車載カメラによって車両前方の障害物を検出する車載画像処理の研究開発が行われている。特に、特許文献１に示されているようなカメラを二つ用いるステレオカメラは、障害物までの距離を検出できるので、一般的な単眼カメラに比べて高性能なシステムを構築できるので、さまざまなアプリケーションを実現できる。
　ステレオカメラは、カメラを二つ用いるため、製品化を考慮すると撮像素子の選定が重要となる。CMOSセンサは、CCDと比べて部品点数が少なく、消費電力が少ないというメリットがあるため、近年普及してきており、低コストなものが多い。ところが、CCDとCMOSセンサは一般に露光方式が大きく異なる。
　CCDはグローバルシャッタと呼ばれる全画素同時露光一括読み出し方式なので、全画面同時露光が可能であるのに対し、CMOSセンサは一般にローリングシャッタと呼ばれるライン露光順次読み出し方式をとっており、全画面分を一度に露光できない。通常、画面の上からラインごとに順次露光される。そのため、ローリングシャッタでは、カメラと被写体の位置関係が変わる状態、つまりカメラか被写体かのどちらかでも動いていると撮像時間のずれによって形状歪が生じる。
　車載用途では、自車が動いていたり、被写体となる先行車等も動いていたり、と動いている状態での動作が基本となるため、この形状歪の問題は避けて通れない。この形状歪はステレオカメラでは視差のずれにもつながり、検知性能の低下や測距性能の低下を招く。そのため、ステレオカメラで十分な性能を出すためにはグローバルシャッタのCCDやグローバルシャッタタイプの特殊なCMOSセンサを用いることが望ましい。
　しかしながら、前述した低コスト化や低消費電力化のメリットを考えると、ローリングシャッタのCMOSセンサで性能を出すことが求められている。
特開平１－２６９１３号公報
　本発明の目的は、低コスト化や低消費電力化のメリットがあるローリングシャッタ方式のCMOSセンサを用いて、衝突する可能性のある先行車の検知性能を向上し、より廉価で安定した検知をすることである。
　上記の課題を解決するため、本発明の車載用画像処理装置は、車両前方を撮像する複数の撮像部と、前記撮像部で得られた複数の画像の視差情報を用いて他車両を検出する画像処理部と、を備えて、前記撮像部は、撮像面のライン毎に露光タイミングが異なり前記他車両の下端から上端方向に順次露光する撮像素子を備えた構成とする。
　本発明によれば、低コスト化や低消費電力化のメリットがあるローリングシャッタ方式のCMOSセンサを用いて、衝突する可能性のある先行車の検知性能を向上し、より廉価で安定した検知ができる。
本発明に係る実施例である、FCW（前方衝突警告）及び／又はACC（車間距離制御システム）を実現するための車載用制御装置を構成するブロックを示す。 本実施例に係わるカメラおよび画像解析ユニットの構成図を示す。 カラー素子の色再生方式を説明する図を示す。 ステレオカメラによる測距を説明する図を示す。 車両前方の先行車を撮像した画像を示す。 従来例で先行車が接近してきたときにローリングシャッタ方式でどう写るかのイメージ図を示す。 本実施例で先行車が接近してきたときにローリングシャッタ方式でどう写るかのイメージ図を示す。 先行車の通常の形状の図を示す。
　図１は、本発明に関わる実施例である、FCW（前方衝突警告）及び／又はACC（車間距離制御システム）を実現するための全体の構成の概略を示す。撮像部であるカメラ101は、車両の前方の視界を捕らえることができるように、自車107に設置される。カメラ101で撮像された車両前方画像は、画像処理部である画像解析ユニット102に入力され、入力された車両前方画像から、画像解析ユニット102は、先行車までの距離や相対速度を計算する。計算された情報は、制御ユニット103に送られる。
　制御ユニット103は、先行車までの距離や相対速度から衝突の危険度を判定し、スピーカ104から警告音を出すこと、ブレーキ106で減速すること等の指令を出す。また、ドライバーがACC機能を有効にしている場合、アクセル105を制御して先行車に一定の車間距離を保ちながら追従し、先行車がいない場合には設定車速まで加速する等の制御を行う。さらに、先行車との距離が近くなった場合には、アクセル105を緩め、ブレーキ106で減速する等の制御も行う。
　次に、カメラで先行車を検出する方法について説明する。図２は、図１のカメラ101（一対の左右カメラ101a,b）と画像解析ユニット102の内部構成を示す。左右カメラ101a,bの撮像素子であるCMOS（Complementary Metal Oxide Semiconductor）201は、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子である。ここで、CMOS201がカラー素子の場合、RAW画像をDSP 202に転送して、後述する変換式で濃淡画像に変換し、モノクロ素子の場合には、そのまま濃淡画像を画像解析ユニット102の画像入力I/F 205に送信する。
　画像信号は連続的に送信されるが、その先頭には同期信号が含まれており、画像入力I/F 205で必要なタイミングの画像のみを取り込むことができる。画像入力I/F 205で取り込まれた画像は、メモリ206に書き込まれ、画像処理ユニット204によって視差計算処理や解析が行われる。この処理の詳細は後述する。一連の処理はFlash ROMに書き込まれたプログラム 207に従って行われる。CPU 203は、画像入力I/F 205において画像を取り込み、画像処理ユニット204において画像処理を行うための制御および必要な計算を行う。
　CMOS 201は、露光制御を行うための露光制御ユニットおよび露光時間を設定するレジスタを内蔵し、レジスタに設定された露光時間で撮像する。レジスタは、CPU 203から書き換え可能であり、書き換えられた露光時間は、次フレームまたは次フィールド以降の撮像時に反映される。露光時間は、電子制御可能であり、CMOS 201に当たる光の量を制限する。露光時間制御は、前記のような電子シャッター方式によって実現されるが、メカニカルシャッターを開閉させる方式を用いても同様に実現可能である。また、絞りを調整することにより、露光量を変化させてもよい。また、インターレースのように１ラインおきに操作する場合には、奇数ラインと偶数ラインで露光量を変化させてもよい。
　ここで、DSP 202で行う濃淡画像変換の仕組みを説明する。カラー素子の場合、各画素は赤(R)、緑(G)、青(B)のいずれか1色の強度（濃度）しか測定できないため、測定した色以外の色は、周囲の色を参照して推定する。例えば、図３（a）の中央のG22の画素のRGBは、それぞれ次式(1)により求められる。
Figure JPOXMLDOC01-appb-I000001
　同様に、図３（b）の中央のR22の画素のRGBは、それぞれ次式(2)により求められる。
Figure JPOXMLDOC01-appb-I000002
　その他の画素も同様にして求められる。このように求めていくと、すべての画素でRGBの3原色を計算することができ、カラー画像を得ることができる。そこから、全画素での明度Y を、次式(3) により求めてY画像を作成し、それを濃淡画像とする。
Figure JPOXMLDOC01-appb-I000003
　次に視差計算について、図４を用いて説明する。カメラから先行車402までの距離をZ、左右の光軸間の距離である基線長をB、焦点距離をf、CMOS上の視差をdとすると、距離Zは、三角形の相似比から、次式(4) によりで求めることができる。
Figure JPOXMLDOC01-appb-I000004
　図４のように、距離Zは、正確にはレンズ401の主点からの距離となる。
　次に、図５、図６を参照して、FCWやACCを実現する際に、ステレオカメラの撮像素子がローリングシャッタである場合に起こる問題点を説明する。図５は、先行車501が写っている映像である。この状態で、自車107が先行車501に近づいて衝突しそうになった場合について考える。
　ローリングシャッタの場合、画面上のラインから順次露光して行き、最後に画面下が露光されるので、露光時間のずれが発生するが、このとき先行車501が徐々に近づいてきているため、車両上部に比べて車両下部の方がより近づいた状態で撮像される。すなわち、図６に示すように先行車501は、前のめりになった変形が起こったように測距されてしまう。ステレオカメラで車両検知を行う場合、車両背面の視差が一様でばらついていないことが検知の安定化につながるが、図６に示すような状態であると、車両上端と車両下端で視差が異なり、計算される距離も異なってくるため、検知の安定性が低下する。
　そこで、本発明では、撮像素子となるCMOS 201の上下を物理的に反転させて取り付ける。上下反転した映像は、画像処理ユニット204で反転させて直す。このようにすると、車両下端よりも車両上端のほうが時間的に後に撮像されるため、車両上端の方が自車に近づいて、図７のように変形の仕方が逆になる。殆どの車両は、その背面が図８に示すように車両上端よりも車両下端の方がバンパーの分出っ張っていて、垂直よりもやや前方向に倒れている。そのため、図７に示すように変形をさせたほうが、図６に示すように変形させた場合よりも、車両背面は垂直に近づくので、検知が安定する。
　一方、先行車が離間していく場合、図６に示すような変形となるために、検知が安定しにくくなる。しかし、FCWおよびACCのいずれの場合でも、接近時に危険がより大きくなるので、接近時の検知を安定させることが重要である。そのため、通常通り取り付けるよりも、上下反転させて取り付けた時のメリットの方が大きいといえる。
　以上の実施例では、CMOS 201の上下を物理的に反転させた例を示したが、露光の順序を上下逆転させればよいので、CMOS 201の上下を物理的に反転させることなく、露光の順序を電子的に上下逆転させるように設定した素子を用いるようにしてもよい。
101・・・カメラ、102・・・画像解析ユニット、103・・・制御ユニット、104・・・スピーカ、105・・・アクセル、106・・・ブレーキ、107・・・自車、201a,ｂ・・・CMOS、202a,b・・・DSP、203・・・CPU、204・・・画像処理ユニット、205・・・画像入力I/F、206・・・メモリ、207・・・（Flash ROM上の）プログラム、208・・・CAN I/F、401・・・レンズ、402・・・測距対象（先行車）、501・・・先行車

Claims (5)

  1. 　車両前方を撮像する複数の撮像部と、
    　前記撮像部で得られた複数の画像の視差情報を用いて他車両を検出する画像処理部と、
    を有し、
    　前記撮像部は、撮像面のライン毎に露光タイミングが異なり前記他車両の下端から上端
    方向に順次露光する撮像素子を備えたことを特徴とする車載用画像処理装置。
  2. 　請求項１に記載された車載用画像処理装置であって、
    　前記撮像素子は、CMOSセンサである車載用画像処理装置。
  3. 　請求項２に記載された車載用画像処理装置であって、
    　前記CMOSセンサは、上下を反転させて設置されたものである車載用画像処理装置。
  4. 　請求項２に記載された車載用画像処理装置であって、
    　前記CMOSセンサは、上下を合わせて設置され、露光の順序を電子的に上下逆転させたも
    のである車載用画像処理装置。
  5. 　車両前方の複数の撮像を取得する第一のステップと、
    　前記第一のステップで取得された複数の画像の視差情報を用いて他車両を検出する画像
    処理をする第二のステップと、を有し、
    　前記第一のステップは、撮像面のライン毎に異なる露光タイミングで前記他車両の下端
    から上端方向に順次露光することを特徴とする車載用画像処理方法。
PCT/JP2013/052651 2012-03-23 2013-02-06 車載用画像処理装置及び方法 WO2013140873A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/379,660 US20150035984A1 (en) 2012-03-23 2013-02-06 In-Vehicle Image Processing Device and Method
DE112013001647.8T DE112013001647T8 (de) 2012-03-23 2013-02-06 Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren im Fahrzeug

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-067158 2012-03-23
JP2012067158A JP2013200603A (ja) 2012-03-23 2012-03-23 車載用画像処理装置及び方法

Publications (1)

Publication Number Publication Date
WO2013140873A1 true WO2013140873A1 (ja) 2013-09-26

Family

ID=49222338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/052651 WO2013140873A1 (ja) 2012-03-23 2013-02-06 車載用画像処理装置及び方法

Country Status (4)

Country Link
US (1) US20150035984A1 (ja)
JP (1) JP2013200603A (ja)
DE (1) DE112013001647T8 (ja)
WO (1) WO2013140873A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018011040A (ja) * 2016-07-01 2018-01-18 キヤノン株式会社 撮像装置
WO2018203507A1 (ja) * 2017-05-02 2018-11-08 キヤノン株式会社 信号処理装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP6447289B2 (ja) * 2015-03-20 2019-01-09 株式会社リコー 撮像装置、撮像方法、プログラム、車両制御システム、および車両
DE102017210408A1 (de) 2017-06-21 2018-12-27 Conti Temic Microelectronic Gmbh Kamerasystem mit unterschiedlichen Shuttermodi
KR102385365B1 (ko) * 2017-07-21 2022-04-12 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 데이터를 압축하는 방법
DE102018221995A1 (de) * 2018-12-18 2020-06-18 Conti Temic Microelectronic Gmbh Synchronisiertes Kamerasystem mit zwei unterschiedlichen Kameras
KR102687670B1 (ko) * 2019-01-18 2024-07-24 삼성전자주식회사 영상 촬영 장치 및 그의 동작 방법
US11172219B2 (en) 2019-12-30 2021-11-09 Texas Instruments Incorporated Alternating frame processing operation with predicted frame comparisons for high safety level use

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283792A (ja) * 2002-03-22 2003-10-03 Ricoh Co Ltd 撮像機器及び画像データの変換方法
JP2007311904A (ja) * 2006-05-16 2007-11-29 Victor Co Of Japan Ltd ドライブレコーダの映像修正方法、ドライブレコーダ及び、ドライブレコーダシステム
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7887089B2 (en) * 1992-05-05 2011-02-15 Automotive Technologies International, Inc. Vehicular occupant protection system control arrangement and method using multiple sensor systems
DE10064184C1 (de) * 2000-12-22 2002-04-04 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Bilderzeugung unter Verwendung mehrerer Belichtungszeiten
US7499081B2 (en) * 2003-04-30 2009-03-03 Hewlett-Packard Development Company, L.P. Digital video imaging devices and methods of processing image data of different moments in time
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
CN101156434B (zh) * 2004-05-01 2010-06-02 雅各布·伊莱泽 具有非均匀图像分辨率的数码相机
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
CN101292513B (zh) * 2005-10-21 2012-04-11 诺基亚公司 用于在数字成像中降低运动失真的方法和设备
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
US7345414B1 (en) * 2006-10-04 2008-03-18 General Electric Company Lamp for night vision system
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
JP4914233B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置
TWI327536B (en) * 2007-05-16 2010-07-21 Univ Nat Defense Device and method for detecting obstacle by stereo computer vision
DE102008004632A1 (de) * 2008-01-16 2009-07-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur Vermessung einer Parklücke
JP5109691B2 (ja) * 2008-01-31 2012-12-26 コニカミノルタホールディングス株式会社 解析装置
US8593507B2 (en) * 2008-08-03 2013-11-26 Microsoft International Holdings B.V. Rolling camera system
JP2010068241A (ja) * 2008-09-10 2010-03-25 Olympus Imaging Corp 撮像素子、撮像装置
JP2010258700A (ja) * 2009-04-23 2010-11-11 Olympus Corp 撮像装置
JP2011094184A (ja) * 2009-10-29 2011-05-12 Jfe Steel Corp 高耐食性塗装鋼材
DE102009055269B4 (de) * 2009-12-23 2012-12-06 Robert Bosch Gmbh Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
EP2448251B1 (en) * 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US8738226B2 (en) * 2011-07-18 2014-05-27 The Boeing Company Holonomic motion vehicle for travel on non-level surfaces

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283792A (ja) * 2002-03-22 2003-10-03 Ricoh Co Ltd 撮像機器及び画像データの変換方法
JP2007311904A (ja) * 2006-05-16 2007-11-29 Victor Co Of Japan Ltd ドライブレコーダの映像修正方法、ドライブレコーダ及び、ドライブレコーダシステム
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018011040A (ja) * 2016-07-01 2018-01-18 キヤノン株式会社 撮像装置
WO2018203507A1 (ja) * 2017-05-02 2018-11-08 キヤノン株式会社 信号処理装置
JP2018189489A (ja) * 2017-05-02 2018-11-29 キヤノン株式会社 信号処理装置
JP6995494B2 (ja) 2017-05-02 2022-01-14 キヤノン株式会社 信号処理装置

Also Published As

Publication number Publication date
DE112013001647T5 (de) 2014-12-18
DE112013001647T8 (de) 2015-02-26
JP2013200603A (ja) 2013-10-03
US20150035984A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
WO2013140873A1 (ja) 車載用画像処理装置及び方法
CN109691079B (zh) 成像装置和电子设备
US6977674B2 (en) Stereo-image capturing device
US20080291311A1 (en) Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
JP2008060873A (ja) 複数画角カメラ
US20130077825A1 (en) Image processing apparatus
JP2009089158A (ja) 撮像装置
US11353775B2 (en) Image sensor and image-capturing device that selects pixel signal for focal position
JP2019102888A (ja) カメラモジュール
TWI775808B (zh) 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法
US20240214698A1 (en) Electronic device and method for controlling same
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JP2014026396A (ja) 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
JP2012227773A (ja) 画像認識装置
JP2010231192A (ja) ステレオ撮像装置
WO2018062559A1 (ja) 撮像素子、焦点検出装置、及び、電子カメラ
JP2016032255A (ja) 画像処理装置
JP2005229317A (ja) 画像表示システム及び撮像装置
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器
CN103503447A (zh) 拍摄装置及拍摄装置的控制程序
US20190228534A1 (en) Image pickup device, image pickup system, and moving apparatus
CN105282412A (zh) 具多个摄影模式的摄像装置
JP6439412B2 (ja) 画像処理装置および画像処理方法
JP5017921B2 (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13763997

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14379660

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120130016478

Country of ref document: DE

Ref document number: 112013001647

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13763997

Country of ref document: EP

Kind code of ref document: A1