WO2015104915A1 - 車載カメラ画像処理装置 - Google Patents

車載カメラ画像処理装置 Download PDF

Info

Publication number
WO2015104915A1
WO2015104915A1 PCT/JP2014/081492 JP2014081492W WO2015104915A1 WO 2015104915 A1 WO2015104915 A1 WO 2015104915A1 JP 2014081492 W JP2014081492 W JP 2014081492W WO 2015104915 A1 WO2015104915 A1 WO 2015104915A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
unit
image processing
failure diagnosis
Prior art date
Application number
PCT/JP2014/081492
Other languages
English (en)
French (fr)
Inventor
敦 市毛
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US15/100,649 priority Critical patent/US10154255B2/en
Priority to JP2015556728A priority patent/JP6060282B2/ja
Priority to EP14878010.9A priority patent/EP3094075B1/en
Publication of WO2015104915A1 publication Critical patent/WO2015104915A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Definitions

  • the present invention relates to an in-vehicle camera image processing apparatus.
  • Patent Document 1 discloses a self-diagnosis unit that relatively compares frame images at the same time of video signals obtained by a plurality of imaging units and self-diagnose the soundness of the plurality of imaging units according to the comparison result.
  • the technology of an image processing system comprising:
  • Japanese Patent Application Laid-Open No. 2004-228561 adjusts the exposure amount adjusting means when in a predetermined operation state to change the exposure amount of the imaging means in the increasing or decreasing direction, and the screen of the imaging means according to the increase or decrease of the exposure amount.
  • a technique of failure determination means for determining a failure based on whether or not the brightness has increased or decreased is shown.
  • failure diagnosis can be performed only when the vehicle is stopped or traveling at a low speed. For example, when driving on an expressway, the failure cannot be detected even if the failure occurs for a long period of time except during a traffic jam.
  • image processing is always necessary even when traveling in the city, such as pre-crash brakes, especially when the most important image sensor part failure occurs in an in-vehicle camera image processing device, as soon as possible. It is necessary to detect faults in the system.
  • the present invention has been made in view of the above points, and the object of the present invention is to perform failure diagnosis in real time at low cost and without interfering with the original image processing function even while traveling. It is to provide a possible in-vehicle camera image processing apparatus.
  • the present invention includes a plurality of means for solving the above-described problems.
  • the present invention is an in-vehicle camera image processing apparatus that performs image processing on a captured image captured from the outside of a vehicle, the captured image and the test Based on at least one camera unit capable of selectively switching between images and outputting, an image processing unit for performing image processing on the captured image output from the camera unit, and the test image output from the camera unit
  • a failure diagnosis unit that performs a failure diagnosis of the camera unit, and the image processing unit determines whether or not the failure diagnosis is possible based on the result of the image processing.
  • the diagnosis instruction information is output to the failure diagnosis unit, and the failure diagnosis unit receives an image output from the camera unit from the captured image when receiving the diagnosis instruction information from the image processing unit.
  • An image selection instruction signal to switch to strike the image is characterized by outputting to the camera unit.
  • FIG. 1 is a diagram illustrating a configuration of an in-vehicle camera image processing device according to Embodiment 1.
  • FIG. 6 is a diagram illustrating a configuration of an in-vehicle camera image processing device according to a second embodiment.
  • surface which shows the propriety of implementation of the failure diagnosis corresponding to the detection result of each driving control application, and a priority.
  • Example 1 In the present embodiment, an example of an in-vehicle camera image processing apparatus that performs failure diagnosis based on information on a travel control application executed by the image processing unit will be described.
  • FIG. 1 is a diagram illustrating the configuration of the in-vehicle camera image processing apparatus according to the present embodiment.
  • the in-vehicle camera image processing apparatus performs image processing on a captured image obtained by imaging the outside from a vehicle, and includes a camera unit 101 that is attached to the vehicle and images the outside such as the front of the vehicle.
  • the camera unit 101 includes an image sensor such as a CCD image sensor or a CMOS image sensor, and outputs a test image output unit 102 that outputs a preset test image and a captured image that is a main function of the image sensor. And a captured image output unit 103.
  • the test image output unit 102 can output a test image having a fixed pattern such as a uniform luminance image, a stripe image, or a color chart.
  • the captured image output unit 103 includes, for example, an AD conversion unit necessary for a CCD image sensor. Also, it has functions such as CDS (correlated double sampling), gain control, exposure control, etc. that a general image sensor has, and outputs digital image data.
  • CDS correlated double sampling
  • gain control gain control
  • exposure control exposure control
  • the camera unit 101 includes an image selector unit 104 that selects and outputs either a test image that is image data from the test image output unit 102 or a captured image that is image data from the captured image output unit 103. ing.
  • the image selector unit 104 selectively switches between a captured image and a test image and outputs it as camera image data 110.
  • the camera image data 110 output from the camera unit 101 is input to the image processing unit 105 and the failure diagnosis unit 106.
  • the image processing unit 105 performs image processing on the captured image output as the camera image data 110 from the camera unit 101.
  • the travel control application functions as an in-vehicle camera image processing device by performing image processing for vehicle travel control using the captured image.
  • the failure diagnosis unit 106 performs a failure diagnosis of the camera unit 101 based on the diagnosis instruction information 111 from the travel control application in the image processing unit 105.
  • the failure diagnosis of the camera unit 101 is performed based on a test image output as camera image data 110 from the camera unit 101.
  • the test image output unit 102 is selected by the image selector unit 104 of the camera unit 101 by the camera image selection instruction signal 113 in order to execute the failure diagnosis.
  • the frame in which the test image output unit 102 is selected and the test image is output is subjected to failure diagnosis as a test image frame period.
  • the stripe image is input to the failure diagnosis unit 106 as the camera image data 110 during the test image frame period.
  • the failure diagnosis unit 106 has information about the stripe image in advance and compares it with the stripe image input as the camera image data 110.
  • a stripe image having a correct value may be held by having a memory, or a stripe image having a correct value may be obtained from the outside such as the image processing unit 105.
  • the failure diagnosis unit 106 determines that a failure has occurred in the image data line if there is a difference as a result of comparison between the stripe image that is the correct value and the stripe image input as the camera image data 110.
  • the diagnostic result information 112 is returned to the image processing unit 105.
  • the image processing unit 105 determines that the image processing result is likely to be abnormal based on the diagnosis result information 112, and stops using the image processing result for travel control. Alternatively, the fact that the image processing result is abnormal is added and passed to the subsequent control.
  • the case of the stripe image as the test image has been described as an example. However, as long as the comparison is possible, an image with a fixed luminance may be used, and the image pattern is not particular.
  • FIG. 2 shows an example of the internal configuration of the image processing unit.
  • the image processing unit 105 performs image processing on the captured image captured by the camera unit 101 to perform various detection processes, and the travel control application information 412 that is a detection process result of the travel control application 400.
  • a diagnosis enable / disable determining unit 411 that determines whether or not failure diagnosis is possible;
  • the travel control application 400 includes, for example, a preceding vehicle detection processing unit 401 that detects a preceding vehicle, a pedestrian detection processing unit 402 that detects a pedestrian, and an oncoming vehicle as an object detection processing unit that performs detection processing of various objects.
  • An oncoming vehicle detection processing unit 403 for detecting a lane detection processing unit 404 for detecting a lane such as a white line, a road edge detection processing unit 405 for detecting a road edge represented by a guardrail or a side wall, a traffic signal detection processing unit for detecting a traffic light 406, a sign detection processing unit 407 for detecting a sign such as a speed sign.
  • the travel control application 400 can also include an application related to travel control not listed here. Further, an external signal 410 such as vehicle speed information is input from the outside of the image processing unit 105 to the diagnosis availability determination unit 411, and can be used for failure diagnosis determination.
  • an external signal 410 such as vehicle speed information is input from the outside of the image processing unit 105 to the diagnosis availability determination unit 411, and can be used for failure diagnosis determination.
  • the diagnostic instruction information 111 is output from the image processing unit 105 to the failure diagnosis unit 106.
  • the failure diagnosis unit 106 outputs a camera image selection instruction signal 113 (see FIG. 1) for selecting a test image to the camera unit 101.
  • the camera unit 101 outputs a preset test image, and the failure diagnosis unit 106 performs failure diagnosis using the test image.
  • the preceding vehicle detection processing unit 401 functions in the travel control application 400.
  • the preceding vehicle detection process if it is determined that no preceding vehicle is detected in front of the host vehicle and there is no preceding vehicle, there is no problem even if the image from the camera unit 101 is switched from the captured image to the test image.
  • the test image is temporarily selected for failure diagnosis and the failure diagnosis is performed.
  • the traffic light detection processing unit 406 functions and, as a result of the traffic light detection, it is switched to a red signal during driving with a green signal and the vehicle is determined to stop with a red signal, the camera unit 101 similarly There is no problem even if the image is switched from the captured image to the test image, and the failure diagnosis is performed by temporarily selecting the test image for failure diagnosis.
  • the sign detection processing unit 407 functions and detects a stop sign as a result of the sign detection, for example, when it is determined that the host vehicle is stopped in combination with an external signal 410 such as vehicle speed information. In this case, there is no problem even if the image from the camera unit 101 is switched from the captured image to the test image, and the failure diagnosis is performed by temporarily selecting a test image for failure diagnosis.
  • a failure diagnosis can be performed based on a result of one detection processing unit in the traveling control application 400 or a combination of results of a plurality of detection processing units.
  • a fixed image such as the above-described stripe image may be output once, so that only one frame needs to be switched to the test image.
  • failure diagnosis can be performed during traveling (real time).
  • the present invention can be implemented without interfering with the original image processing function as the in-vehicle camera image processing apparatus.
  • the in-vehicle camera image processing apparatus of the present embodiment it is possible to reduce the cost without adding hardware for failure diagnosis and without hindering the original image processing function necessary for the image processing CPU for travel control.
  • failure diagnosis can be performed in real time even while traveling.
  • FIG. 3 is a diagram illustrating the configuration of the in-vehicle camera image processing apparatus.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the in-vehicle camera image processing apparatus includes two camera units 201 and 202 like a stereo camera.
  • the left camera unit 201 and the right camera unit 202 include a test image output unit 102, a captured image output unit 103, and an image selector unit 104, respectively.
  • a captured image of the left camera image data 210 output from the left camera unit 201 and a captured image of the right camera image data 211 output from the right camera unit 202 are input to the image processing unit 105.
  • a parallax image is calculated from the left and right camera image data 210 and 211, and the distance to the obstacle such as the host vehicle and the vehicle ahead is calculated.
  • the failure diagnosis unit 106 sends a left camera image selection instruction signal 212 to the left camera unit 201 and a right camera image selection instruction to the right camera unit 202.
  • the signal 213 is output, and the image selector unit 104 can be controlled on each of the left and right sides.
  • the failure diagnosis unit 106 outputs a camera image selection instruction signal to one of the left and right camera units 201 and 202 (a part of the camera units), and only an image output from the one camera unit. May be switched from the captured image to the test image to perform failure diagnosis.
  • the image selection instruction signal may be output in order to the two camera units. For example, first, the camera image selection instruction signal is output to one camera unit and is output from one camera unit. Switch only the image from the captured image to the test image, perform fault diagnosis of one camera unit, and then return the image output from one camera unit to the captured image from the test image and output from the other camera unit It is also possible to perform a fault diagnosis of the other camera unit by switching only the image to be captured from the captured image to the test image.
  • the left camera unit 201 may be switched to the test image
  • only the right camera unit 202 may be switched to the test image
  • both the left and right may be switched to the test image.
  • the switching is transmitted to the failure diagnosis unit 106 by the diagnosis instruction information 111 of the image processing unit 105, and the failure diagnosis is performed.
  • a so-called monocular camera is assumed.
  • a stereo camera will be described as an example with reference to FIG.
  • the preceding vehicle detection processing unit 401 functions in the travel control application 400.
  • the failure diagnosis is performed by temporarily selecting a test image for failure diagnosis. .
  • only one camera part may be diagnosed, both camera parts may be diagnosed alternately one by one, or both camera parts may be diagnosed simultaneously.
  • the in-vehicle camera image processing apparatus of 30 fps can be implemented in 33.3 ms.
  • both camera units are used for fault diagnosis because there is a preceding vehicle even if it is far enough that the pre-crash brake is not activated. We want to avoid switching 201 and 202 to the test image at the same time.
  • one side of the camera unit keeps track of the far preceding vehicle so as not to lose sight of the preceding vehicle, and a failure diagnosis of the other camera unit (the other camera unit) is performed.
  • the tracking function is switched to the side of the camera unit (the other camera unit) where the failure diagnosis was performed earlier, and the failure diagnosis of the other camera unit (one camera unit) is performed To do.
  • the left and right cameras may be fault diagnosed alternately as long as the algorithm does not pose a problem even if the left and right cameras are alternately fault diagnosed.
  • the failure diagnosis is ⁇ because of the image recognition algorithm.
  • the preceding vehicle detection processing unit 401 if a preceding vehicle is detected at a short distance, it may be possible to perform emergency traveling control such as pre-crash braking, so failure diagnosis is not performed. it can.
  • failure diagnosis is possible when there is no detected object.
  • detecting objects such as lanes and roadsides
  • Fault diagnosis can be performed in real time.
  • the fault diagnosis can be performed for each one of the detection results as described above, but the fault diagnosis may be performed in combination with the external signal 410, for example.
  • the case where the vehicle speed information is used as the external signal 410 is shown as an example, but map information such as navigation may be combined with the sign detection result or the signal detection result.
  • an in-vehicle camera image processing apparatus represented by, for example, a stereo camera having a plurality of camera units uses a detection processing function that is possible even with a so-called monocular camera in one camera unit, so that it can be realized in real time during traveling. Fault diagnosis is possible.
  • Example 3 In the present embodiment, an example of an in-vehicle camera image processing device that performs failure diagnosis based on a predetermined priority of a travel control application when a plurality of travel control apps are simultaneously executed by the image processing unit will be described.
  • FIG. 4 is a table showing whether or not the failure diagnosis corresponding to the detection result of each traveling control application can be performed and the priority.
  • priorities are set in advance for the seven travel control applications.
  • the priority the smaller the number, the higher the priority. For example, let us consider a case in which a priority 1 leading vehicle detection application and a priority 3 lane detection application are executed simultaneously. At a certain time, a preceding vehicle is detected in the distance as the detection result of the preceding vehicle detection application (detection result: the preceding vehicle is far away), and no lane is detected (detection result: no lane detection) as the result of the lane detection application.
  • both (left and right) camera units may be diagnosed at the same time.
  • detection of the preceding vehicle with higher priority is also executed at the same time, and the detection result is far from the preceding vehicle, so only one side camera part or both (left and right) camera parts are diagnosed alternately depending on the condition. Is allowed. Therefore, both (left and right) camera units are not diagnosed at the same time. Other combinations can be considered similarly.
  • the above is an example in which the priorities of a plurality of driving control apps are determined in advance. However, even when the priorities of a plurality of driving control apps are dynamically changed during driving, the priorities at that time It is also possible to diagnose a failure based on the above. According to the present invention, failure diagnosis is possible based on the travel control application.
  • the present invention is not limited to the above-described embodiments, and various designs can be made without departing from the spirit of the present invention described in the claims. It can be changed.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

　安価に、かつ、走行中も本来の画像処理機能を妨げることなく、リアルタイムに故障診断を実施するために、車載カメラ画像処理装置は、撮像画像とテスト画像とを選択的に切り換えて出力可能な少なくとも一つのカメラ部１０１と、カメラ部１０１から出力された撮像画像の画像処理を行う画像処理部１０５と、カメラ部１０１から出力されたテスト画像に基づいてカメラ部１０１の故障診断を行う故障診断部１０６とを有する。そして、画像処理部１０５は、画像処理の結果に基づいて故障診断可能か否かを判断し、故障診断可能と判断した場合に、故障診断部に診断指示情報を出力する。故障診断部１０６は、画像処理部１０５から診断指示情報の入力を受けた場合に、カメラ部１０１から出力される画像を撮像画像からテスト画像に切り替えさせる画像選択指示信号をカメラ部１０１に出力することを特徴とする。

Description

車載カメラ画像処理装置
　本発明は、車載カメラ画像処理装置に関する。
　特許文献１には、複数の撮像手段により得られた各映像信号の同時刻のフレーム画像を相対的に比較し、その比較結果に応じて複数の撮像手段の健全性を自己診断する自己診断手段を備えた画像処理システムの技術が示されている。
　そして、特許文献２には、所定の運転状態であるとき露光量調節手段を調節して撮像手段の露光量を増量あるいは減量方向に変化させ、露光量の増量あるいは減量に応じて撮像手段の画面の輝度が増加あるいは減少したか否かにより故障を判定する故障判定手段の技術が示されている。
特開２００１－２１１４６６号公報 特開２００５－０７３２９６号公報
　特許文献１のシステムの場合、システム自身の目の不具合を認識するために、本来の画像処理機能には不要な回路を設ける必要があり、コストがかかってしまい、安価には実現できない。たとえば、安価にするために、新たな回路を設けることなく、画像処理システムが具備する画像処理CPUのハードウェア回路、あるいは、ソフトウェアにより自己診断機能を実現することは、本来の画像処理に必要なリソースを削ることになり、本来の画像処理機能の実現に必要なアプリケーションのパフォーマンスを低下させてしまう。
　また、特許文献２の自己診断機能の場合、車両が停止中または低速走行時にしか、故障診断を実施することができない。たとえば、高速道路走行時において、渋滞時を除いては長期間で故障が発生した場合でも故障を検出できない。また、最近では、プリクラッシュブレーキのように、街中の走行時でも常に画像処理が必要であり、とくに車載カメラ画像処理装置においてもっとも肝心な撮像素子部分の故障が発生したときに、なるべく早く、タイムリーに故障検出することが必要である。
　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、安価に、かつ、走行中も本来の画像処理機能を妨げることなく、リアルタイムに故障診断を実施することが可能な車載カメラ画像処理装置を提供することである。
　上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
　本発明は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両から外部を撮像した撮像画像を画像処理する車載カメラ画像処理装置であって、前記撮像画像とテスト画像とを選択的に切り換えて出力可能な少なくとも一つのカメラ部と、該カメラ部から出力された前記撮像画像の画像処理を行う画像処理部と、前記カメラ部から出力された前記テスト画像に基づいて前記カメラ部の故障診断を行う故障診断部と、を有し、前記画像処理部は、画像処理の結果に基づいて故障診断可能か否かを判断し、故障診断可能と判断した場合に、前記故障診断部に診断指示情報を出力し、前記故障診断部は、前記画像処理部から前記診断指示情報の入力を受けた場合に、前記カメラ部から出力される画像を前記撮像画像から前記テスト画像に切り替えさせる画像選択指示信号を前記カメラ部に出力することを特徴としている。
　本発明によれば、故障診断用のハードウェアを追加することなく、また、画像処理CPUが走行制御のために必要な本来の画像処理機能を妨げることなく、安価に、かつ、走行中もリアルタイムに故障診断を実施することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例１における車載カメラ画像処理装置の構成を説明する図。 画像処理部の構成を説明する図。 実施例２における車載カメラ画像処理装置の構成を説明する図。 各走行制御アプリの検知結果に対応する故障診断の実施の可否と優先度を示す表。
　以下、本発明の実施例について図面を用いて説明する。
［実施例１］
　本実施例では、画像処理部で実行される走行制御アプリの情報に基づいて、故障診断を行う車載カメラ画像処理装置の例を説明する。
　図１は、本実施例の車載カメラ画像処理装置の構成を説明する図である。
　車載カメラ画像処理装置は、車両から外部を撮像した撮像画像を画像処理するものであり、車両に取り付けられて車両前方などの外部を撮像するカメラ部１０１を有している。カメラ部１０１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子によって構成されており、予め設定されたテスト画像を出力するテスト画像出力部１０２と、撮像素子の主たる機能である撮像した画像を出力する撮像画像出力部１０３とを有している。テスト画像出力部１０２は、均一輝度画像、ストライプ画像、カラーチャートなどの固定パターンを有するテスト画像を出力することができる。
　撮像画像出力部１０３には、たとえばＣＣＤイメージセンサに必要なＡＤ変換部などが含まれる。また、一般的な撮像素子が持つＣＤＳ（相関２重サンプリング）やゲイン制御、露光制御などの機能も有しており、デジタル信号化された画像データが出力される。
　カメラ部１０１は、テスト画像出力部１０２からの画像データであるテスト画像と、撮像画像出力部１０３からの画像データである撮像画像のどちらか一方を選択して出力する画像セレクタ部１０４を有している。画像セレクタ部１０４は、撮像画像とテスト画像とを選択的に切り換えてカメラ画像データ１１０として出力する。カメラ部１０１から出力されたカメラ画像データ１１０は、画像処理部１０５と故障診断部１０６に入力される。
　画像処理部１０５は、カメラ部１０１からカメラ画像データ１１０として出力された撮像画像を画像処理する。画像処理部１０５では、撮像画像を用いて、走行制御アプリが、車両走行制御の画像処理を実施することで、車載カメラ画像処理装置として機能する。
　故障診断部１０６は、画像処理部１０５における走行制御アプリからの診断指示情報１１１により、カメラ部１０１の故障診断を実行する。カメラ部１０１の故障診断は、カメラ部１０１からカメラ画像データ１１０として出力されたテスト画像に基づいて行われる。
　たとえば、診断指示情報１１１が故障診断可能という情報だった場合は、故障診断を実行するためにカメラ画像選択指示信号１１３によりカメラ部１０１の画像セレクタ部１０４でテスト画像出力部１０２が選択される。テスト画像出力部１０２が選択されて、テスト画像が出力されたフレームは、テスト画像フレーム期間として、故障診断が実施される。
　たとえば、テスト画像出力部１０２からストライプ画像が出力されるとすると、テスト画像フレーム期間は、カメラ画像データ１１０としてストライプ画像が故障診断部１０６に入力される。故障診断部１０６では、あらかじめストライプ画像の情報を持っておき、カメラ画像データ１１０として入力されたストライプ画像との比較を行う。このとき、たとえば、メモリを持っていて正解値となるストライプ画像を保持していてもよいし、画像処理部１０５などの外部から正解値となるストライプ画像を入手してもよい。
　故障診断部１０６では、正解値となるストライプ画像と、カメラ画像データ１１０として入力されたストライプ画像との比較を行った結果、差異があれば、画像データ線に故障が発生していると判断して、画像処理部１０５に診断結果情報１１２を返す。画像処理部１０５では、その診断結果情報１１２により、画像処理結果が異常である可能性が高いと判断し、画像処理結果を走行制御に用いることを止める。あるいは、画像処理結果が異常であることを付加して、後段の制御に渡す。なお、ここでは、テスト画像としてストライプ画像の場合を例に説明したが、比較ができるのであれば、固定輝度の画像でもよく、画像の模様にはこだわらない。
　図２に、画像処理部の内部構成の一例を示す。
　画像処理部１０５は、カメラ部１０１で撮像した撮像画像を画像処理することにより種々の検知処理を行う走行制御アプリ４００と、走行制御アプリ４００の検知処理結果である走行制御アプリ情報４１２に基づいて故障診断可能か否かを判断する診断可否判断部４１１とを有する。
　走行制御アプリ４００は、種々の対象物の検知処理を行う対象物検知処理部として、例えば先行車を検知する先行車検知処理部４０１、歩行者を検知する歩行者検知処理部４０２、対向車を検知する対向車検知処理部４０３、白線などのレーンを検知するレーン検知処理部４０４、ガードレールや側壁などに代表される道路端を検知する路端検知処理部４０５、信号機を検知する信号機検知処理部４０６、速度標識などの標識を検知する標識検知処理部４０７を有している。
　走行制御アプリ４００は、ここにあげていない走行制御に関するアプリも含むことができる。また、診断可否判断部４１１には、画像処理部１０５の外部から、車速情報などの外部信号４１０が入力され、故障診断判断に使用することも可能である。
　診断可否判断部４１１により故障診断が可能と判断されると、画像処理部１０５から故障診断部１０６に診断指示情報１１１が出力される。故障診断部１０６は、カメラ部１０１に対してテスト画像を選択するカメラ画像選択指示信号１１３（図１を参照）を出力する。カメラ部１０１は、予め設定されたテスト画像を出力し、故障診断部１０６は、テスト画像を用いて故障診断を実施する。
　たとえば、車載カメラ画像処理装置において、先行車認識を行う場合、走行制御アプリ４００において、先行車検知処理部４０１が機能する。そして、先行車検知処理の結果、自車の前方に先行車が検知されずに先行車がいないと判断された場合、カメラ部１０１からの画像を撮像画像からテスト画像に切り換えても支障はなく、一時的に故障診断のためにテスト画像を選択して故障診断を行う。
　あるいは、信号機検知処理部４０６が機能し、信号機検知の結果、青信号で走行中に赤信号に切り替わり、赤信号で自車が停止していると判断された場合も同様に、カメラ部１０１からの画像を撮像画像からテスト画像に切り換えても支障はなく、一時的に故障診断のためにテスト画像を選択して故障診断を行う。
　あるいは、標識検知処理部４０７が機能し、標識検知の結果、止まれの標識を検知して、たとえば、車速情報などの外部信号４１０との組み合わせで、自車が停止していると判断した場合には、カメラ部１０１からの画像を撮像画像からテスト画像に切り換えても支障はなく、一時的に故障診断のためのテスト画像を選択して故障診断を行う。
　このように、走行制御アプリ４００におけるひとつの検知処理部の結果、または、複数の検知処理部の結果の組み合わせによって、故障診断をすることができる。
　故障診断の時間については、たとえば、上述のストライプ画像のような固定画像を１度出力すればよいので、１フレームだけテスト画像に切り替えればよい。３０ｆｐｓのカメラ部をもつ車載カメラ画像処理装置の場合、わずか３３．３ｍｓの期間で済むため、走行中(リアルタイム)に故障診断をすることができる。さらには、車載カメラ画像処理装置としての本来の画像処理機能を邪魔することなく、実施できる。
　本実施例の車載カメラ画像処理装置によれば、故障診断用のハードウェアを追加することなく、また、画像処理CPUが走行制御のために必要な本来の画像処理機能を妨げることなく、安価に、かつ、走行中もリアルタイムに故障診断を実施することができる。
［実施例２］
　本実施例では、複数のカメラ部をもつ車載カメラ画像処理装置の例を説明する。
　図３は、車載カメラ画像処理装置の構成を説明する図である。なお、実施例１と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
　本実施例の車載カメラ画像処理装置は、ステレオカメラのように２つのカメラ部２０１、２０２を有する。左カメラ部２０１と右カメラ部２０２は、テスト画像出力部１０２と、撮像画像出力部１０３と、画像セレクタ部１０４をそれぞれ備えている。左カメラ部２０１から出力される左カメラ画像データ２１０の撮像画像と、右カメラ部２０２から出力される右カメラ画像データ２１１の撮像画像とが、画像処理部１０５に入力される。たとえば、ステレオカメラの場合には、この左右のカメラ画像データ２１０、２１１により視差画像を算出して、自車と前方車両などの障害物までの距離を算出している。
　実施例１で説明したように、故障診断可能なときは、故障診断部１０６により、左カメラ部２０１には、左カメラ画像選択指示信号２１２が、右カメラ部２０２には、右カメラ画像選択指示信号２１３が出力され、左右それぞれで、画像セレクタ部１０４を制御することができる。
　例えば、故障診断部１０６は、左右のカメラ部２０１、２０２のうち、一方のカメラ部（一部のカメラ部）にカメラ画像選択指示信号を出力して、一方のカメラ部から出力される画像のみを撮像画像からテスト画像に切り替えさせて、故障診断を行ってもよい。また、２台のカメラ部に対して順番に画像選択指示信号を出力してもよく、例えば最初に、一方のカメラ部にカメラ画像選択指示信号を出力して、一方のカメラ部から出力される画像のみを撮像画像からテスト画像に切り替えさせて、一方のカメラ部の故障診断を行い、その後、一方のカメラ部から出力される画像をテスト画像から撮像画像に戻し、他方のカメラ部から出力される画像のみを撮像画像からテスト画像に切り替えさせて、他方のカメラ部の故障診断を行ってもよい。
　ここでは、左カメラ部２０１だけテスト画像に切り替えてもいいし、右カメラ部２０２だけテスト画像に切り替えてもいいし、左右両方ともテスト画像に切り替えてもいい。これら切り替えは、画像処理部１０５の診断指示情報１１１で、故障診断部１０６に伝達されて、故障診断が実施される。
　実施例１では、いわゆる単眼カメラが想定されるが、ここではステレオカメラを例に、図３を用いて説明する。
　たとえば、先行車認識を行う場合、走行制御アプリ４００において、先行車検知処理部４０１が機能する。この先行車検知処理部４０１の結果、先行車が検知されずに自車の前方に先行車がいないと判断された場合、一時的に故障診断のためにテスト画像を選択して故障診断を行う。かかる場合には、片側のカメラ部のみを診断してもよいし、両方のカメラ部を交互に片方ずつ診断してもよいし、両方のカメラ部を同時に診断してもよい。実施例１で説明したとおり、３０ｆｐｓの車載カメラ画像処理装置であれば、３３．３ｍｓで実施可能である。
　一方、先行車検知処理部４０１の結果、遠方に先行車を検知した場合、ここではプリクラッシュブレーキが発動されない程度の遠方だとしても、先行車がいるため、故障診断のために両方のカメラ部２０１、２０２を同時にテスト画像に切り替えることは避けたい。
　この場合は、先行車を見失うことのないように片側のカメラ部（一方のカメラ部）で遠方の先行車をトラッキングし続けて、もう片方のカメラ部（他方のカメラ部）の故障診断を行う。次に、一旦、左右のカメラで撮像し、さきほど故障診断を実施したカメラ部（他方のカメラ部）側にトラッキング機能を切り替えて、もう片方のカメラ部（一方のカメラ部）の故障診断を実施する。
　これにより、車載カメラ画像処理装置として一度も先行車を見失うことなく、走行中にリアルタイムに故障診断が実施できる。なお、トラッキングを一例として説明したが、左右カメラを交互に故障診断しても問題ないアルゴリズムであれば、左右カメラを交互に故障診断してもよい。なお、後述する図４では、画像認識アルゴリズムによるために、故障診断を△とした。
　そして、先行車検知処理部４０１の結果、近距離に先行車を検知した場合は、これはプリクラッシュブレーキなど緊急を要する走行制御を行う場合が考えられるため、故障診断は行わないとすることができる。
　歩行者検知処理や対向車検知処理の場合も同様に、遠方に歩行者や対向車が検知されたときは、片方のカメラ部でトラッキングをしながら、もう片方のカメラ部を故障診断することが可能であり、走行中にリアルタイムに故障診断が実施できる。
　また、レーン検知処理や路端検知処理では、検知物が無い場合に故障診断が可能である。レーンや路端等の検知物を検知している場合には、前記のように、片方のカメラ部で検知しながら、もう片方のカメラ部の故障診断をすることが可能であり、走行中にリアルタイムに故障診断が実施できる。
　また、信号機検知処理や標識検知処理では、それだけの検知結果でも、前記のように片方ずつの故障診断が可能であるが、たとえば、外部信号４１０との組み合わせで故障診断を実施してもよい。実施例１では、外部信号４１０として車速情報の場合を例に示したが、ナビゲーションなどの地図情報と、標識検知結果あるいは信号検知結果とを組み合わせてもよい。
　以上のように、複数のカメラ部を持つ、たとえばステレオカメラに代表される車載カメラ画像処理装置では、片方のカメラ部においていわゆる単眼カメラでも可能な検知処理機能を用いることで、走行中にリアルタイムに故障診断が可能である。
［実施例３］
　本実施例では、画像処理部で複数の走行制御アプリを同時に実行する場合に、あらかじめ定めた走行制御アプリの優先度に基づいて、故障診断を行う車載カメラ画像処理装置の例を説明する。
　図４は、各走行制御アプリの検知結果に対応する故障診断の実施の可否と優先度を示す表である。
　本実施例では、７つの走行制御アプリに対して予め優先度が設定されている。優先度は、数字が小さい方が優先度が高くなっている。たとえば、優先度１の先行車検知アプリと、優先度３のレーン検知アプリを同時に実行する場合を考える。あるとき、先行車検知アプリの検知結果として遠方に先行車を検知し（検知結果：先行車遠方）、レーン検知アプリの結果としてレーンなし（検知結果：レーン検知なし）の状態とする。
　この場合、レーン検知処理ではレーン検知なしなので、レーン検知処理だけを考えた場合には、両方(左右)のカメラ部を同時に故障診断実施してもよいことになる。しかし、より優先度が高い先行車検知も同時に実行されており、検知結果は先行車遠方なので、片側のカメラ部のみ、あるいは、条件により両方(左右)のカメラ部を交互に故障診断することのみが許可される。したがって、両方(左右)のカメラ部を同時に故障診断はしない。その他の組み合わせでも同様に考えることができる。
　以上は、複数の走行制御アプリの優先度があらかじめ定められている場合を例にして説明したが、複数の走行制御アプリの優先度が走行中にダイナミックに変更されても、そのときの優先度に基づいて、故障診断することでも可能である。本発明によれば、走行制御アプリに基づいて故障診断が可能である。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１０１　カメラ部
１０２　テスト画像出力部
１０３　撮像画像出力部
１０４　画像セレクタ部
１０５　画像処理部
１０６　故障診断部
１１０　カメラ画像データ
１１１　診断指示情報
１１２　診断結果情報
１１３　カメラ画像選択指示信号
２０１　左カメラ部
２０２　右カメラ部
２１０　左カメラ画像データ
２１１　右カメラ画像データ
２１２　左カメラ画像選択指示信号
２１３　右カメラ画像選択指示信号
４００　走行制御アプリ
４０１　先行車検知処理部（対象物検知処理部）
４０２　歩行者検知処理部（対象物検知処理部）
４０３　対向車検知処理部（対象物検知処理部）
４０４　レーン検知処理部（対象物検知処理部）
４０５　路端検知処理部（対象物検知処理部）
４０６　信号機検知処理部（対象物検知処理部）
４０７　標識検知処理部（対象物検知処理部）
４１０　外部信号
４１１　診断可否判断部
４１２　走行制御アプリ情報

Claims (5)

  1. 　車両から外部を撮像した撮像画像を画像処理する車載カメラ画像処理装置であって、
    　前記撮像画像とテスト画像とを選択的に切り換えて出力可能な少なくとも一つのカメラ部と、
    　該カメラ部から出力された前記撮像画像の画像処理を行う画像処理部と、
    　前記カメラ部から出力された前記テスト画像に基づいて前記カメラ部の故障診断を行う故障診断部と、を有し、
    　前記画像処理部は、画像処理の結果に基づいて故障診断可能か否かを判断し、故障診断可能と判断した場合に、前記故障診断部に診断指示情報を出力し、
    　前記故障診断部は、前記画像処理部から前記診断指示情報の入力を受けた場合に、前記カメラ部から出力される画像を前記撮像画像から前記テスト画像に切り替えさせる画像選択指示信号を前記カメラ部に出力することを特徴とする車載カメラ画像処理装置。
  2. 　前記カメラ部を複数有し、
    　前記故障診断部は、一部のカメラ部に前記画像選択指示信号を出力することを特徴とする請求項１に記載の車載カメラ画像処理装置。
  3. 　前記故障診断部は、前記複数のカメラ部に対して順番に前記画像選択指示信号を出力することを特徴とする請求項２に記載の車載カメラ画像処理装置。
  4. 　前記画像処理部は、
    　前記画像処理により外部情報を検知する複数の検知処理部と、
    　該複数の検知処理部の検知処理結果と前記複数の検知処理部に予め設定されている優先度とに基づいて故障診断可能か否かを判断する診断可否判断部と、
    　を有することを特徴とする請求項１に記載の車載カメラ画像処理装置。
  5. 　前記画像処理部は、前記画像処理により対象部の有無を検知する対象物検知処理部を有し、
    　前記故障診断部は、前記対象物検知処理部により前記対象物がいないと判断された場合に前記カメラ部に対して前記画像選択指示信号を出力することを特徴とする請求項１に記載の車載カメラ画像処理装置。
PCT/JP2014/081492 2014-01-10 2014-11-28 車載カメラ画像処理装置 WO2015104915A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/100,649 US10154255B2 (en) 2014-01-10 2014-11-28 In-vehicle-camera image processing device
JP2015556728A JP6060282B2 (ja) 2014-01-10 2014-11-28 車載カメラ画像処理装置
EP14878010.9A EP3094075B1 (en) 2014-01-10 2014-11-28 In-vehicle-camera image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014003599 2014-01-10
JP2014-003599 2014-01-10

Publications (1)

Publication Number Publication Date
WO2015104915A1 true WO2015104915A1 (ja) 2015-07-16

Family

ID=53523755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/081492 WO2015104915A1 (ja) 2014-01-10 2014-11-28 車載カメラ画像処理装置

Country Status (4)

Country Link
US (1) US10154255B2 (ja)
EP (1) EP3094075B1 (ja)
JP (1) JP6060282B2 (ja)
WO (1) WO2015104915A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130858A (ja) * 2016-01-22 2017-07-27 三菱電機株式会社 撮像装置及び故障検出方法、並びにプログラム及び記録媒体
WO2018055914A1 (ja) 2016-09-23 2018-03-29 日立オートモティブシステムズ株式会社 画像処理装置
WO2019176194A1 (ja) * 2018-03-13 2019-09-19 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、及び信号処理システム
WO2020122057A1 (ja) * 2018-12-10 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理システム
KR20200113153A (ko) * 2019-03-15 2020-10-06 엘지전자 주식회사 차량 제어 장치
US12125167B2 (en) 2018-12-10 2024-10-22 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing system

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015220884B4 (de) * 2014-10-27 2022-03-31 Denso Corporation Bildverarbeitungsvorrichtung
US10275669B2 (en) * 2015-09-09 2019-04-30 Lightmetrics Technologies Pvt. Ltd. System and method for detecting objects in an automotive environment
US10203408B2 (en) * 2016-07-29 2019-02-12 Faraday & Future Inc. Method and apparatus for detection and ranging fault detection and recovery
DE102016221441A1 (de) * 2016-11-02 2018-05-03 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines Bildsensors
EP4007268B1 (en) * 2017-02-16 2024-10-09 Sony Semiconductor Solutions Corporation Imaging system and imaging device
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US11435733B2 (en) * 2017-11-08 2022-09-06 Cartasense Ltd. Method and system to assure monitoring system validity
DE102017220282A1 (de) * 2017-11-14 2019-05-16 Robert Bosch Gmbh Testverfahren für ein Kamerasystem, ein Steuergerät des Kamerasystems, das Kamerasystem und ein Fahrzeug mit diesem Kamerasystem
JP2019145571A (ja) * 2018-02-16 2019-08-29 株式会社東芝 半導体装置
JP7187564B2 (ja) * 2018-08-21 2022-12-12 日立Astemo株式会社 画像処理装置
US11117591B2 (en) * 2019-05-08 2021-09-14 Pony Ai Inc. System and method for recalibration of an uncalibrated sensor
CN112995656B (zh) * 2021-03-04 2024-05-17 黑芝麻智能科技(上海)有限公司 用于图像处理电路的异常检测方法及系统
CN113682323A (zh) * 2021-09-14 2021-11-23 东风悦享科技有限公司 一种基于双目视觉的低速无人驾驶车辆安全冗余架构与方法
CN114584708A (zh) * 2022-03-03 2022-06-03 杭州图谱光电科技有限公司 一种基于单片fpga的多功能工业相机系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113221A (ja) * 1995-10-17 1997-05-02 Mitsubishi Electric Corp 車載用画像処理装置及びその画像処理方法
JPH09319873A (ja) * 1996-05-28 1997-12-12 Mitsubishi Electric Corp 車載用画像処理装置
JP2001211466A (ja) 2000-01-27 2001-08-03 Toshiba Corp 自己診断機能を有する画像処理システム
JP2003319120A (ja) * 2002-04-25 2003-11-07 Fujitsu Ten Ltd 画像認識システムにおける異常の診断装置
JP2005073296A (ja) 2004-10-27 2005-03-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2008123498A (ja) * 2006-10-15 2008-05-29 Fujitsu Ten Ltd 車両用情報記録装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115489A (en) * 1997-09-02 2000-09-05 General Electric Company System and method for performing image-based diagnosis
US6501849B1 (en) * 1997-09-02 2002-12-31 General Electric Company System and method for performing image-based diagnosis over a network
US6661456B1 (en) * 1999-04-30 2003-12-09 General Electric Company Imaging of pixel defects in digital detectors
US6681344B1 (en) * 2000-09-14 2004-01-20 Microsoft Corporation System and method for automatically diagnosing a computer problem
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
DE10313002B4 (de) * 2003-03-24 2006-03-23 Daimlerchrysler Ag Fahrzeugumgebungserfassungseinheit
EP1646240B1 (en) * 2003-07-11 2009-09-16 Hitachi, Ltd. Image processing camera system and image processing camera control method
JP4196124B2 (ja) * 2003-08-29 2008-12-17 株式会社ニコン 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置
JP4738778B2 (ja) * 2003-10-15 2011-08-03 富士通テン株式会社 画像処理装置、運転支援装置および運転支援システム
US7189000B2 (en) * 2003-12-22 2007-03-13 Kabushiki Kaisha Toshiba Image-quality control system
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP5124147B2 (ja) * 2007-02-01 2013-01-23 三洋電機株式会社 カメラ校正装置及び方法並びに車両
TWM326196U (en) * 2007-07-25 2008-01-21 Supa Technology Co Ltd Navigation device capable of providing car reversal image
JP2009060404A (ja) * 2007-08-31 2009-03-19 Denso Corp 映像処理装置
US8694195B2 (en) * 2007-12-04 2014-04-08 Volkswagen Ag Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system
US8692873B2 (en) * 2009-01-15 2014-04-08 Alverix, Inc. Video-frame data receiver with low frame capture rate
WO2014007175A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車載環境認識装置
CN103780870B (zh) * 2012-10-17 2017-11-21 杭州海康威视数字技术股份有限公司 视频图像质量诊断系统及其方法
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
DE102015220884B4 (de) * 2014-10-27 2022-03-31 Denso Corporation Bildverarbeitungsvorrichtung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113221A (ja) * 1995-10-17 1997-05-02 Mitsubishi Electric Corp 車載用画像処理装置及びその画像処理方法
JPH09319873A (ja) * 1996-05-28 1997-12-12 Mitsubishi Electric Corp 車載用画像処理装置
JP2001211466A (ja) 2000-01-27 2001-08-03 Toshiba Corp 自己診断機能を有する画像処理システム
JP2003319120A (ja) * 2002-04-25 2003-11-07 Fujitsu Ten Ltd 画像認識システムにおける異常の診断装置
JP2005073296A (ja) 2004-10-27 2005-03-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2008123498A (ja) * 2006-10-15 2008-05-29 Fujitsu Ten Ltd 車両用情報記録装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3094075A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130858A (ja) * 2016-01-22 2017-07-27 三菱電機株式会社 撮像装置及び故障検出方法、並びにプログラム及び記録媒体
WO2018055914A1 (ja) 2016-09-23 2018-03-29 日立オートモティブシステムズ株式会社 画像処理装置
WO2019176194A1 (ja) * 2018-03-13 2019-09-19 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、及び信号処理システム
US11356656B2 (en) 2018-03-13 2022-06-07 Sony Semiconductor Solutions Corporation Signal processing device, signal processing method, and signal processing system
WO2020122057A1 (ja) * 2018-12-10 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理システム
JPWO2020122057A1 (ja) * 2018-12-10 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理システム
JP7451423B2 (ja) 2018-12-10 2024-03-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理システム
US12125167B2 (en) 2018-12-10 2024-10-22 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing system
KR20200113153A (ko) * 2019-03-15 2020-10-06 엘지전자 주식회사 차량 제어 장치
KR102183130B1 (ko) 2019-03-15 2020-11-25 엘지전자 주식회사 차량 제어 장치

Also Published As

Publication number Publication date
EP3094075B1 (en) 2022-05-11
JP6060282B2 (ja) 2017-01-11
EP3094075A1 (en) 2016-11-16
EP3094075A4 (en) 2017-09-27
US10154255B2 (en) 2018-12-11
JPWO2015104915A1 (ja) 2017-03-23
US20160301923A1 (en) 2016-10-13

Similar Documents

Publication Publication Date Title
JP6060282B2 (ja) 車載カメラ画像処理装置
US9592764B2 (en) Redundant object detection for driver assistance systems
US7171027B2 (en) Vehicular image processing apparatus and related method
JP4738778B2 (ja) 画像処理装置、運転支援装置および運転支援システム
JP6137081B2 (ja) 車載機器
JP6407626B2 (ja) 物体認識装置及び車両制御システム
JP6660751B2 (ja) 撮像装置
US10810877B2 (en) Vehicle control device
JP6259132B2 (ja) 車載用カメラ装置
JP2008060873A (ja) 複数画角カメラ
WO2018061739A1 (ja) 画像生成装置、画像生成方法、プログラムおよび記録媒体
JP2015103894A (ja) 車載用画像処理装置及び半導体装置
JP2017219427A (ja) 物体距離検出装置
WO2014148175A1 (ja) 画像処理装置
US20220024452A1 (en) Image processing apparatus, imaging apparatus, moveable body, and image processing method
JP7427594B2 (ja) 画像処理装置
JP2018151999A (ja) 物体距離検出装置
JP6161582B2 (ja) 画像処理装置
JP6891082B2 (ja) 物体距離検出装置
JP2015014916A (ja) 車両監視システムおよび中央装置
JP2013250694A (ja) 画像処理装置
WO2020021949A1 (ja) 鉄道車両用撮像システム
JP2018180585A (ja) 車両用システム
JPWO2020075476A1 (ja) 車載システム
JP2013206356A (ja) 画像処理装置及び画像処理カメラ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878010

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015556728

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15100649

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014878010

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014878010

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE