JP6642280B2 - 画像表示システム - Google Patents

画像表示システム Download PDF

Info

Publication number
JP6642280B2
JP6642280B2 JP2016107652A JP2016107652A JP6642280B2 JP 6642280 B2 JP6642280 B2 JP 6642280B2 JP 2016107652 A JP2016107652 A JP 2016107652A JP 2016107652 A JP2016107652 A JP 2016107652A JP 6642280 B2 JP6642280 B2 JP 6642280B2
Authority
JP
Japan
Prior art keywords
unit
imaging
vehicle
image
imaging range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016107652A
Other languages
English (en)
Other versions
JP2017216518A (ja
Inventor
憲親 山下
憲親 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2016107652A priority Critical patent/JP6642280B2/ja
Priority to PCT/JP2017/011924 priority patent/WO2017208586A1/ja
Priority to US16/302,849 priority patent/US10576823B2/en
Publication of JP2017216518A publication Critical patent/JP2017216518A/ja
Application granted granted Critical
Publication of JP6642280B2 publication Critical patent/JP6642280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、車両に搭載される撮像部によって撮像される撮像画像を表示部に表示する画像表示システムに関する。
自動車等の車両の運転を支援する装置として、車載された撮像部と、撮像部で撮像された画像が表示される表示部とを備える画像表示システムが用いられている。撮像部に不具合が生じて、表示部に表示される撮像画像が変化せずに固定した状態（以下、フリーズと呼ぶ）になる場合がある。
撮像画像にフリーズが発生したことを検出するために、車両が移動したときに取得される撮像部からの撮像画像の変化を監視する画像表示システムが存在する。例えば、特許文献１に記載の画像表示システムでは、撮像部から連続して出力される画像フレームの差異を検出する差異検出手段を備え、車両が走行中に連続する画像フレームに差異が検出されないときに表示画像がフリーズ状態であるとの判定を行う。
車両が走行中であると表示画像のフリーズ判定を行うために用いられる撮像画像のデータ量が増加する。フリーズ判定のためのデータ量を少なくするために、特許文献２に記載の画像表示システムでは、撮像画像の特定領域にフレーム毎に反転する白色または黒色の検出用画像を付加し、連続する撮像画像において特定領域に含まれる検出用画像として白色画像と黒色画像とが繰り返し含まれている場合に、撮像画像にフリーズが発生していないと判定する。
特開２００４−６４４４０号公報 特開２００８−２５２３０７号公報
特許文献１の技術では、車両走行中に撮像部から出力されて連続する画像フレームに対して差異を検出するため、車載カメラによって撮像された画像データを一時記憶するために必要なバッファは大きくなり、回路コストが増大する。また、車両走行中でも、車両の周辺環境の変化が乏しく連続する撮像画像がほとんど変化しない場合には、撮像画像がフリーズ状態であると誤って判定されることがある。
一方、特許文献２の技術では、撮像画像がフリーズ状態であるか否かを判定するのに用いるデータ量は少ないが、カメラの撮像画像にフリーズ判定用の画像信号を付加する機能が別途必要となる。また、撮像画像自体に問題がない場合であっても、撮像画像に付加される信号が適正に表示されない場合等には撮像画像がフリーズであると誤って判断されることがある。
そこで、簡素な構成によって撮像画像の異常を確実に検出することができる画像表示システムが望まれている。
本発明に係る画像表示システムの特徴構成は、車両に搭載され、当該車両の周辺を撮像する撮像部と、前記撮像部によって撮像された撮像画像を表示する表示部と、前記車両の停止時に前記撮像部の撮像範囲を変更する撮像範囲変更部と、前記撮像範囲変更部によって前記撮像範囲が変更される前の撮像画像と前記撮像範囲が変更された後の撮像画像とを比較して両者の差分値を算出する比較部と、
前記差分値に基づいて前記撮像部の異常の有無を判定する判定部と、を備える点にある。
本構成によれば、撮像範囲変更部を備え、車両停止中に撮像範囲が変更される前の撮像画像と前記撮像範囲が変更された後の撮像画像とを比較して撮像画像がフリーズであるか否かを判断する。つまり、車両停止中に意図的に撮像部の撮像範囲を変更し、撮像画像を確実に変化させた状態で撮像画像がフリーズであるか否かを判断する。これにより、画像表示システムにおいて、撮像画像がフリーズであるか否かの判断の精度が向上する。
また、車両が停止状態のときに撮像画像がフリーズであるか否かの判断が可能となるので、従来のように車両走行中に取得される大量の画像データを記憶する必要がない。
さらに、撮像範囲が変更される前後での撮像画像を比較する構成であるので、撮像画像には信号を付加する必要もなく、撮像画像自体の問題を検出することが可能となる。
したがって、簡素な構成によって撮像画像に発生したフリーズを確実に検出することができ、撮像部の異常の有無を適正に判定することができる。
本発明に係る画像表示システムの他の特徴構成は、前記判定部は、前記差分値が所定のしきい値よりも小さいときに前記撮像部が異常であると判定する点にある。
比較部によって算出される差分値が所定のしきい値よりも小さい場合には、異なる撮像画像において撮像対象の位置変化がほとんど発生しておらず、撮像画像にフリーズに発生している可能性が高い。そこで、本構成では、判定部は、差分値が所定のしきい値よりも小さいときに撮像部が異常であると判定する。これにより、撮像画像にフリーズが発生し撮像部に異常があることを確実に検知することができる。
本発明に係る画像表示システムの他の特徴構成は、前記撮像範囲変更部は、前記車両の車高を変えることで前記撮像範囲を変更する点にある。
本構成によれば、撮像範囲変更部は、車両の車高を変えることで撮像範囲を変更するので、車両のエンジン起動時等において、確実に撮像範囲を変更することができる。
本発明に係る画像表示システムの他の特徴構成は、前記撮像範囲変更部は、撮像対象に対する前記撮像部の仰角を変えることで前記撮像範囲を変更する点にある。
本構成によれば、撮像範囲変更部は、撮像対象に対する撮像装置の仰角を変えることで撮像範囲を変更するので、車両の位置を変化させる機構等を設けることなく、撮像範囲を
変更することができる。
本発明に係る画像表示システムの他の特徴構成は、前記撮像画像に含まれる静止物及び当該静止物の前記撮像画像における位置を検出する静止物検出部をさらに備え、
前記比較部は、前記静止物の位置に基づいて前記差分値を算出する点にある。
本構成によれば、撮像画像に含まれる静止物を検出する静止物検出部を備え、比較部が当該静止物の位置に基づいて差分値を算出するので、少ないデータ量に基づいて撮像部の異常の有無を判定することができる。
本発明に係る画像表示システムの他の特徴構成は、前記撮像範囲を照射する車両照明部をさらに備え、前記撮像範囲変更部によって前記撮像範囲が変更される前後は、前記車両照明部の輝度が変更される点にある。
夜間等において車両周辺が暗い場合には、撮像範囲が変更される前後に撮像画像の変化が検出できないことがある。そこで、本構成では、撮像範囲を照射する車両照明部をさらに備え、撮像範囲変更部によって撮像範囲が変更される前後は、前記車両照明部の輝度が変更される。車両周辺が暗く撮像画像が認識し難い場合には、車両照明部の輝度を上げる。反対に、車両照明部の輝度が高く撮像画像が認識し難い場合には、車両照明部の輝度を下げる。これにより、撮像画像が適正に認識されて、撮像画像がフリーズしているか否かの判定を適正に行うことができる。その結果、撮像部の異常を確実に検出することができる。
画像表示システムのブロック図である。 判定手順を示すフローチャートである。 撮像画像範囲の変更に伴い変化する撮像画像を示す図である。
以下、本発明の一つの実施形態を図面に基づいて具体的に説明する。
図１に示す画像表示システム１００は、車両に搭載された撮像部１０によって撮像された車両周辺の撮像画像を表示するものである。
図１に示すように、画像表示システム１００は、撮像部１０と、画像制御部２０と、表示部３０と、を備える。撮像部１０は、例えばＣＣＤ等が用いられたカメラを備え、車両に搭載されて車両の周辺を撮像する。撮像部１０から入力された撮像画像は、画像制御部２０によって画像処理等が行われた後に表示部３０に出力される。表示部３０は、車両の内部空間等に設けられ、撮像部１０によって撮像された撮像画像を表示する。撮像部１０、画像制御部２０、及び表示部３０は、有線接続又は無線接続されている。
画像制御部２０は、画像処理部２１、静止物検出部２２、車高制御部２３（撮像範囲変更部の一例）、比較部２６、判定部２７、及び、表示処理部２８を備える。これら各機能部は各種処理を実行するＣＰＵやメモリを中核としたソフトウェア、又はハードウェアとソフトウェアとの協働により構成されている。画像処理部２１は、撮像部１０から取得された撮像画像を表示部３０に表示するための画像処理を行う。画像処理部２１によって画像処理された撮像画像は、表示部３０に出力されて表示されるとともに、静止物検出部２２にも出力される。静止物検出部２２は、画像処理部２１から入力された撮像画像に含まれる静止物及び当該静止物の撮像画像における位置を検出する。
ここで、静止物とは、車両の周辺に存在し自身の位置が変化しない物体のことであり、例えば図３に示される表示画像に含まれる路面に付された区画線（白線）Ｌや、標識、ポール等、地面上に存在し静止している物全般（地物）を意味する。撮像画像に含まれる静止物は、形状や輝度情報等に基づいて検出される。例えば、路面の付された区画Ｌについては、公知の自動認識技術を用いて検出することができる。静止物検出部２２は、一例として、撮像画像からエッジ抽出を行うことで静止物（例えば区画線Ｌ）を検出する。詳細には、静止物検出部２２は、規定の閾値以上の輝度変化点（特徴点）を抽出して静止物を検出する。静止物検出部２２は、これら静止物の１つまたは２つ以上を組み合わせて検出してもよい。
車高制御部２３は、撮像範囲変更部として設けられており、車両の停止時に撮像部１０の撮像範囲を変更する。車高制御部２３は、車両に備えられた車高センサ５０の検出値に基づいて車高を制御している。車高制御部２３によって車両の車高が変更され、例えば車高が変更前よりも一定寸法高くなると、図３に示すように、撮像部１０の撮像範囲が変更される（図３参照）。車高制御部２３は、車両の車高が変更前よりも低くなるように制御してもよい。車両の車高は、例えば車両のエアサスペンションの伸縮や、電磁サスペンション等を用いて上下に変更される。
比較部２６は、判定部２７に接続されており、車高制御部２３によって撮像範囲が変更される前の撮像画像に含まれる静止物と撮像範囲が変更された後の撮像画像の前記静止物とを比較して両者の差分値を算出する。具体的には、静止物検出部２２から出力される撮像画像における静止物の位置に係る画像データが第１画像バッファ２４及び第２画像バッファ２５に一時的に記憶され、比較部２６によって２つの画像データの差分値が算出される。画像データの差分値は、撮影画像における静止物（例えば、輪郭部分等）の位置変化量等に基づいて算出される。
判定部２７は、比較部２６によって演算された差分値に基づいて撮像部１０の異常の有無を判定する。本実施形態では、判定部２７は、差分値が所定のしきい値よりも小さいときに撮像部１０が異常であると判定する。これは、差分値が所定のしきい値よりも小さい場合には、撮像範囲が変更される前後の撮像画像に含まれる静止物の位置変化がほとんど発生しておらず、撮像画像にフリーズに発生している可能性が高いことに基づく。
車両には、移動速度を検出する車速センサ４０が設けられている。車速センサ４０は画像制御部２０に接続され、車両の速度データが車速センサ４０から画像制御部２０に入力される。画像制御部２０は、車速センサ４０から得た速度データを基に車両が移動状態であると判断した場合には撮像画像に対する判定処理を実行しない。反対に、車両が停止状態であると判断した場合には、撮像画像における静止物の位置検出及び判定を実行する。
表示処理部２８は、判定部２７において差分値が所定のしきい値よりも小さいときに撮像部１０が異常であると判定された場合に表示部３０に注意メッセージを送信して報知する。表示処理部２８は、判定部２７から異常判定の信号を受取ると、表示部３０に注意メッセージ（報知メッセージ）及び注意メッセージの表示指示を出力する。注意メッセージは、表示処理部２８の図示しないＲＯＭに記憶されている。表示処理部２８は、撮像画像がフリーズして撮像部１０に異常があることを報知する報知部として動作する。
表示部３０は、例えば、表示画像に文字（注意メッセージ）を重ねて表示する合成表示（スーパーインポーズ表示）が可能であり、表示処理部２８は、注意メッセージ及びスーパーインポーズ表示の指示を表示部３０に送り、注意メッセージをスーパーインポーズ表示させる。
図２のフローチャートに基づき、画像表示システム１００における撮影画像のフリーズ検出及び注意表示の手順を説明する。
まず、車速センサ４０からの速度データに基づき車両が停止しているか否かが確認される（ステップ＃１０）。車速センサ４０による速度データに基づき、車速が所定速度を越えて車両が走行中であると判断される場合（ステップ＃１０，Ｎｏ）には、以下の処理が実行されない。
車速がゼロまたは所定速度以下であり車両が停止していると判断されると（ステップ＃１０，Ｙｅｓ）、車高制御部２３によって撮像範囲の変更制御が行われ（ステップ＃１１）、撮像画像が静止物検出部２２に入力される（ステップ＃１２）。所定の枚数（複数であるＮ枚）の撮像画像が取り込まれるまで撮像範囲の変更制御が継続されて撮像範囲が変更される（ステップ＃１１〜１３）。ステップ＃１３による撮像画像の取り込みは、所定枚数に代えて所定時間であってもよい。
静止物検出部２２に取り込まれたＮ枚の撮像画像データのうち、例えば第１画像バッファ２４に先頭の画像データが記憶され、第２画像バッファ２５に最後の画像データが記憶される（図３参照）。その後、比較部２６において第１画像及び第２画像の比較が行われる（ステップ＃１４）。具体的には、比較部２６において第１画像及び第２画像の差分値を算出する。なお、静止物検出部２２に取り込まれたＮ枚の撮像画像データを第１画像バッファ２４及び第２画像バッファ２５に交互に記憶させ、比較部２６が第１画像及び第２画像を比較する構成でもよい。この場合、判定部２７は、全ての差分値の平均や合計等と所定のしきい値とを比較してもよい。
次に、比較部２６によって算出された差分値に基づいて判定部２７が撮像画像のフリーズを検出する（ステップ＃１５）。具体的には、判定部２７によって差分値が所定のしきい値以下であるか否かが判断される。判定部２７において差分値がしきい値以下と判定されると（ステップ＃１５，ｙｅｓ）フリーズが検出されることとなり、判定部２７から表示処理部２８に注意メッセージ等の警告文の表示を指示する信号が送信され、表示部３０に警告文が表示される（ステップ＃１６）。
本実施形態では、静止物検出部２２においては、撮像画像に含まれる静止物及び当該静止物の位置が検出され、第１画像バッファ２４及び第２画像バッファ２５には、静止物の撮像画像における位置データのみが一時記憶される。静止物とは、例えば図３の表示画像に示される路面上の区画線Ｌである。
静止物検出部２２は、撮像画像に含まれる静止物の全体を検出してもよいし、静止物の一部を検出するものでもよい。具体的には、静止物検出部２２は、静止物の縁部及び当該縁部の撮像画像における位置を検出するものでもよい。その場合には、判定部２７は、静止物の縁部の位置に基づく判定を行うことになる。静止物の縁部とは、例えば図３の表示画像に示される路面上の区画線Ｌの端部等である。なお、静止物の縁部の位置に基づく判定は、静止物の縁部の１つによって行っても良いし、複数の縁部どうしを結んだ線分によって行ってもよい。
このように、静止物の一部である縁部等の位置に基づいて判定部２７による判定を行うことで、連続する撮像画像の異常を検出するために用いられるデータ量をより小さくすることができる。
撮像画像に含まれる静止物のうち車両の前後方向においては、撮像画像が正常に表示される場合であっても連続する撮像画像においては位置変化が殆ど生じない。このため、連続する撮像画像が正常に表示されていても、判定部２７において静止物の撮像画像における位置が変化していないと判定されることが起こり得る。
そのため、静止物検出部２２は、撮像画像に含まれる静止物のうち車両の前後方向と非平行な部分の位置を検出する方が好ましい。静止物のうち車両の前後方向と非平行な部分とは、例えば図３に示される路面上の区画線Ｌ等が相当する。静止物のうち車両の前後方向と非平行な部分は、車高が上下して撮像範囲が変更される際に撮像画像における位置が必ず変化する部分である。このため、判定部２７によって撮像部１０の異常を確実に検出することができる。
夜間等において車両周辺が暗い場合には、撮像範囲を変更しても撮像画像の変化が検出されないことがある。図１に示すように、車両には撮像範囲を照射する車両照明部６０を備えられている。そこで、車高制御部２３によって撮像範囲が変更される前後は、車両照明部６０の輝度が変更されるよう構成してもよい。例えば、撮像部１０が車両の後部に設けられて車両後方を撮像するものである場合には、車両照明部６０としてのブレーキランプ等の輝度が変更される（車両周辺が暗い場合にブレーキランプ等の輝度を大きくする）。これにより、夜間等においても比較部２６による差分値の算出が確実なものとなり、判定部２７が撮像部１０の状態を適正に判定することができる。その結果、撮像部１０の異常をより確実に検出することができる。なお、車両照明部６０は、ブレーキランプに限定されず、ヘッドランプ等の他の照明部であってもよい。
〔別実施形態〕
（１）上記の実施形態においては、撮像範囲変更部として車高制御部２３を設けて車両の車高を変えることで撮像部１０の撮像範囲を変更する例を示したが、撮像範囲変更部は、撮像対象に対する撮像部１０の仰角を変えることで撮像部１０の撮像範囲を変更するものであってもよい。撮像範囲変更部は、車高制御部２３に代えて撮像部１０の仰角を変えて撮像範囲を変更する機構を備えて構成してもよいし、車高制御部２３と、撮像部１０の仰角を変える機構とが併設されていてもよい。
撮像範囲変更部として両者が併設される場合には、例えば、最初に、車高制御部２３によって撮像部１０の撮像範囲を変更して判定部２７による判定を行う。ここで、判定部２７によって撮像画像がフリーズと判断された場合には、続けて撮像部１０の仰角を変える判定部２７による判定を行い、いずれにおいても判定部２７によって撮像画像がフリーズとされた場合に撮像部１０が異常であると判定する。このように、撮像範囲を変更する手段を変えて判定部２７による判定を夫々行うことで、撮像部１０の異常をより適正に検出することができる。上記の順序を逆にして、最初に、撮像部１０の仰角を変えることで撮像部１０の撮像範囲を変更し、その後に車高制御部２３による撮像部１０の撮像範囲の変更を行ってもよい。
（２）上記の実施形態においては、撮像範囲が変更される前後の撮像画像における静止物の位置を比較部２６が比較して差分値を算出する例を示したが、比較部２６は撮像範囲が変更される前後の撮像画像どうし（撮像画像全体）を比較して差分値を算出するものでもよい。
（３）上記の実施形態においては、画像制御部２０に撮像部１０及び表示部３０を接続する例を示したが、画像制御部２０を表示部３０の内部に設け、撮像部１０を表示部３０に接続する構成であってもよい。
（４）上記の実施形態においては、撮像部１０が１つのカメラを備えて構成する例を示したが、撮像部１０は複数のカメラを備えて構成されていてもよい。
（５）上記の実施形態においては、報知部として表示処理部２８を設けて表示部３０に警告文を表示する例を示したが、報知部は、表示処理部２８に限定されず、車両内に設けられるスピーカや警告灯等から発せられる音声や光を用いて警告するものでもよい。
（６）上記の実施形態では、撮像範囲が変更される前後は、車両照明部６０の輝度を変える例を示した。これに代えて、画像表示システム１００は、撮像範囲を変更せずに、車両照明部６０の輝度を変更し、車両照明部６０の輝度が変更される前の撮像画像と車両照明部６０の輝度が変更された後の撮像画像とを比較部２６によって比較して差分値（輝度差）を算出し、差分値に基づき判定部２７が撮像部１０の異常の有無を判定するものでもよい。
本発明は、車両を含む移動体に搭載される画像表示システムに広く用いることができる。
１０ ：カメラ（撮像部）
２０ ：画像制御部
２１ ：画像処理部
２２ ：静止物検出部
２３ ：車高制御部（撮像範囲変更部）
２６ ：比較部
２７ ：判定部
２８ ：表示処理部
３０ ：表示部
４０ ：車速センサ
５０ ：車高センサ
６０ ：車両照明部
１００ ：画像表示システム
Ｌ ：区画線（静止物）

Claims (6)

  1. 車両に搭載され、当該車両の周辺を撮像する撮像部と、
    前記撮像部によって撮像された撮像画像を表示する表示部と、
    前記車両の停止時に前記撮像部の撮像範囲を変更する撮像範囲変更部と、
    前記撮像範囲変更部によって前記撮像範囲が変更される前の撮像画像と前記撮像範囲が変更された後の撮像画像とを比較して両者の差分値を算出する比較部と、
    前記差分値に基づいて前記撮像部の異常の有無を判定する判定部と、を備える画像表示システム。
  2. 前記判定部は、前記差分値が所定のしきい値よりも小さいときに前記撮像部が異常であると判定する請求項１に記載の画像表示システム。
  3. 前記撮像範囲変更部は、前記車両の車高を変えることで前記撮像範囲を変更する請求項１又は２に記載の画像表示システム。
  4. 前記撮像範囲変更部は、撮像対象に対する前記撮像部の仰角を変えることで前記撮像範囲を変更する請求項１〜３のいずれか一項に記載の画像表示システム。
  5. 前記撮像画像に含まれる静止物及び当該静止物の前記撮像画像における位置を検出する静止物検出部をさらに備え、
    前記比較部は、前記静止物の位置に基づいて前記差分値を算出する請求項１〜４のいずれか一項に記載の画像表示システム。
  6. 前記撮像範囲を照射する車両照明部をさらに備え、
    前記撮像範囲変更部によって前記撮像範囲が変更される前後は、前記車両照明部の輝度が変更される請求項１〜５のいずれか一項に記載の画像表示システム。
JP2016107652A 2016-05-30 2016-05-30 画像表示システム Active JP6642280B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016107652A JP6642280B2 (ja) 2016-05-30 2016-05-30 画像表示システム
PCT/JP2017/011924 WO2017208586A1 (ja) 2016-05-30 2017-03-24 画像表示システム
US16/302,849 US10576823B2 (en) 2016-05-30 2017-03-24 Image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016107652A JP6642280B2 (ja) 2016-05-30 2016-05-30 画像表示システム

Publications (2)

Publication Number Publication Date
JP2017216518A JP2017216518A (ja) 2017-12-07
JP6642280B2 true JP6642280B2 (ja) 2020-02-05

Family

ID=60478242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016107652A Active JP6642280B2 (ja) 2016-05-30 2016-05-30 画像表示システム

Country Status (3)

Country Link
US (1) US10576823B2 (ja)
JP (1) JP6642280B2 (ja)
WO (1) WO2017208586A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017207792A1 (de) * 2017-05-09 2018-11-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera
JP7203205B2 (ja) * 2019-04-18 2023-01-12 三菱電機株式会社 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
CN118202644A (zh) * 2021-10-19 2024-06-14 三菱电机楼宇解决方案株式会社 图像分析系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6681195B1 (en) * 2000-03-22 2004-01-20 Laser Technology, Inc. Compact speed measurement system with onsite digital image capture, processing, and portable display
JP3945333B2 (ja) * 2002-07-29 2007-07-18 住友電気工業株式会社 撮像表示システム
JP2004214970A (ja) 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd 画像表示システム、画像表示方法及び画像処理装置
US7787013B2 (en) * 2004-02-03 2010-08-31 Panasonic Corporation Monitor system and camera
JP4613724B2 (ja) * 2005-07-15 2011-01-19 ソニー株式会社 撮像装置および撮像方法
JP2008252307A (ja) * 2007-03-29 2008-10-16 Denso Corp 画像表示システム
JP4626632B2 (ja) * 2007-06-25 2011-02-09 株式会社日立製作所 映像監視システム
US8035503B2 (en) * 2008-12-09 2011-10-11 Delphi Technologies, Inc. Vehicle location reminder system and method
US8994819B2 (en) * 2011-02-04 2015-03-31 Raytheon Company Integrated optical detection system
EP2754125B1 (en) * 2011-10-14 2017-01-18 Omron Corporation A method and apparatus for projective volume monitoring
JP2013151191A (ja) * 2012-01-24 2013-08-08 Toyota Motor Corp 車両周辺表示装置
EP2779151B1 (en) * 2013-03-11 2018-05-16 Renesas Electronics Europe Limited Video output checker
KR102128756B1 (ko) * 2014-02-17 2020-07-01 엘지이노텍 주식회사 자동차의 트렁크 개방 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
JP6580872B2 (ja) * 2015-06-05 2019-09-25 株式会社デンソーテン 運転支援装置および運転支援方法
CA2992045C (en) * 2015-09-15 2022-10-25 Martin Kirsch Apparatus and method for reliably determining the position of an object
US10057545B2 (en) * 2016-05-19 2018-08-21 GM Global Technology Operations LLC Redundant video path for vehicle rear view camera system

Also Published As

Publication number Publication date
US10576823B2 (en) 2020-03-03
US20190299782A1 (en) 2019-10-03
JP2017216518A (ja) 2017-12-07
WO2017208586A1 (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
US9704404B2 (en) Lane detection apparatus and operating method for the same
JP5626147B2 (ja) 車両接近物検知装置
JP6364797B2 (ja) 画像解析装置、および画像解析方法
JP2007172035A (ja) 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
WO2007111220A1 (ja) 道路区画線検出装置
US20130088598A1 (en) Obstacle detection system and method, and obstacle detection apparatus
JP6081034B2 (ja) 車載カメラ制御装置
WO2017134982A1 (ja) 撮像装置
JP6642280B2 (ja) 画像表示システム
US10853692B2 (en) Vicinity supervising device and method for supervising vicinity of vehicle
JP6723079B2 (ja) 物体距離検出装置
JP4798576B2 (ja) 付着物検出装置
JP6424449B2 (ja) 後方状況表示装置、後方状況表示方法
JP6899673B2 (ja) 物体距離検出装置
US20200331388A1 (en) Image display system
JP6313999B2 (ja) 物体検出装置、及び、物体検出システム
JP6644509B2 (ja) 車両検知警報装置および車両検知警報方法
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法
JP2012118929A (ja) 外部環境判定装置及び外部環境判定プログラム
JP6891082B2 (ja) 物体距離検出装置
WO2019013253A1 (ja) 検出装置
JP4995555B2 (ja) 画像処理装置
JP2007253781A (ja) 車載表示システム
JP6206334B2 (ja) 検出装置
JP2008244906A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R151 Written notification of patent or utility model registration

Ref document number: 6642280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151