WO2017208585A1 - 画像表示システム - Google Patents

画像表示システム Download PDF

Info

Publication number
WO2017208585A1
WO2017208585A1 PCT/JP2017/011923 JP2017011923W WO2017208585A1 WO 2017208585 A1 WO2017208585 A1 WO 2017208585A1 JP 2017011923 W JP2017011923 W JP 2017011923W WO 2017208585 A1 WO2017208585 A1 WO 2017208585A1
Authority
WO
WIPO (PCT)
Prior art keywords
stationary object
unit
image
vehicle
captured image
Prior art date
Application number
PCT/JP2017/011923
Other languages
English (en)
French (fr)
Inventor
平野公典
山下憲親
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/305,574 priority Critical patent/US20200331388A1/en
Publication of WO2017208585A1 publication Critical patent/WO2017208585A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to an image display system that displays a captured image captured by an imaging unit mounted on a vehicle on a display unit.
  • an image display system including an on-vehicle imaging unit and a display unit on which an image captured by the imaging unit is displayed is used.
  • a problem occurs in the imaging unit, and the captured image displayed on the display unit is fixed without change (hereinafter referred to as freeze).
  • freeze the captured image displayed on the display unit is fixed without change
  • the image pickup display system described in Patent Document 1 has a difference detection unit that detects a difference between image frames continuously output from the image pickup unit, and a case in which no difference is detected between successive image frames by the difference detection unit.
  • An informing means for informing the effect In this imaging display system, when the captured image is frozen, a difference is not detected in successive image frames, and the user is notified that the captured image is in a frozen state.
  • the difference detection unit detects a difference with respect to continuous image frames output from the imaging unit. For this reason, a buffer for temporarily storing image data is required in each in-vehicle camera, and differences are detected in the entire image data. Therefore, the buffer capacity and the amount of calculation increase, and there is room for improvement.
  • the characteristic configuration of the image display system according to the present invention is included in the captured image that is mounted on a vehicle and that captures an image of the periphery of the vehicle, a display unit that displays a captured image captured by the imaging unit, and the captured image.
  • a stationary object and a stationary object detection unit for detecting a position of the stationary object in the captured image, and the captured image of the stationary object in the captured image based on a plurality of the captured images continuously captured while the vehicle is running. It is in the point provided with the determination part which determines whether the position is changing, and the alerting
  • the stationary object detection unit detects a stationary object included in the captured image, and the determination unit determines that the position of the stationary object in the continuous captured image has not changed. Inform by the notifying unit. That is, since the determination unit determines based on a stationary object that is a part of the captured image, the calculation speed for determination is faster than in the case of determining based on the difference between the entire captured images as in the past. Therefore, it is possible to promptly notify the driver of the abnormality of the imaging unit.
  • the data amount of the stationary object in the captured image is considerably smaller than the data amount of the entire captured image, the capacity of the image buffer for determining whether there is an abnormality in the captured image can be configured.
  • Another feature of the image display system according to the present invention is that the determination unit performs the determination based on the position of the edge of the stationary object.
  • the determination unit determines whether the position of the stationary object in the captured image has changed based on the position of the edge of the stationary object. As described above, by using the position information of the edge of the stationary object, the amount of data used for the determination in the captured image can be further reduced.
  • the determination unit is configured to determine the determination based on a position of a portion that is non-parallel to the traveling direction of the vehicle in the stationary object detected by the stationary object detection unit. The point is to do.
  • the determination unit performs the determination based on the position of a portion that is not parallel to the traveling direction of the vehicle among the stationary objects detected by the stationary object detection unit.
  • a portion that is not parallel to the traveling direction of the vehicle is a portion whose position changes reliably in the captured image when the vehicle travels. For this reason, it is possible to accurately detect an abnormality such as when a freeze occurs in the captured image.
  • An image display system 100 shown in FIG. 1 displays a captured image around a vehicle imaged by an imaging unit 10 mounted on the vehicle.
  • the image display system 100 includes an imaging unit 10, an image control unit 20, and a display unit 30.
  • the imaging unit 10 includes a camera using a CCD or the like, for example, and is mounted on the vehicle to image the periphery of the vehicle.
  • the captured image input from the imaging unit 10 is output to the display unit 30 after image processing or the like is performed by the image control unit 20.
  • the display unit 30 is provided in an internal space of the vehicle or the like, and displays a captured image captured by the imaging unit 10.
  • the imaging unit 10, the image control unit 20, and the display unit 30 are wired or wirelessly connected.
  • the image control unit 20 includes an image processing unit 21, a stationary object detection unit 22, a determination unit 23, and a display processing unit 24.
  • Each of these functional units is configured by a CPU that executes various processes, software having a memory as a core, or cooperation of hardware and software.
  • the image processing unit 21 performs image processing for displaying the captured image acquired from the imaging unit 10 on the display unit 30.
  • the captured image subjected to the image processing by the image processing unit 21 is output and displayed on the display unit 30 and also output to the stationary object detection unit 22.
  • the stationary object detection unit 22 detects the stationary object included in the captured image input from the image processing unit 21 and the position of the stationary object in the captured image.
  • the stationary object is an object that exists in the vicinity of the vehicle and does not change its own position.
  • the stationary object for example, a white line or a frame line attached to the road surface included in the display image of FIG.
  • the lane markings L, signs, poles P, and other general objects existing on the ground (features) are applicable.
  • a stationary object included in the captured image is detected based on shape, luminance information, and the like.
  • the lane marking L attached to the road surface can be detected using a known automatic recognition technique.
  • the stationary object detection unit 22 detects a stationary object (for example, a lane marking L) by performing edge extraction from the captured image.
  • the stationary object detection unit 22 detects a stationary object by extracting luminance change points (feature points) that are equal to or greater than a specified threshold.
  • the stationary object detection unit 22 may detect one or more of these stationary objects in combination.
  • the determination unit 23 determines whether or not the position in the captured image of the stationary object detected by the stationary object detection unit 22 has changed based on the plurality of captured images continuously captured while the vehicle is traveling.
  • the vehicle is provided with a vehicle speed sensor 40 that detects a moving speed.
  • the vehicle speed sensor 40 is connected to the image control unit 20, and vehicle speed data is input from the vehicle speed sensor 40 to the image control unit 20.
  • the image control unit 20 determines that the vehicle is in a stopped state based on the speed data obtained from the vehicle speed sensor 40, the image control unit 20 does not detect and determine the position of the stationary object in the captured image.
  • the position detection and determination of the stationary object in the captured image is executed.
  • the display processing unit 24 transmits a caution message to the display unit 30 for notification.
  • the stationary object detection unit 22 transmits the position data in the captured image of the detected stationary object to the determination unit 23. Then, the determination unit 23 determines whether there is a change in the position of the stationary object in the captured image based on the position data.
  • the determination unit 23 determines that there is no change in the position of the stationary object included in the continuous captured images, the determination unit 23 transmits an instruction signal based on the determination to the display processing unit 24.
  • the display processing unit 24 Upon receiving the instruction signal from the determination unit 23, the display processing unit 24 outputs a caution message (notification message) and a caution message display instruction to the display unit 30.
  • the caution message is stored in a ROM (not shown) of the display processing unit 24.
  • the display processing unit 24 operates as a notification unit that notifies that the captured image is frozen when there is no change in the position of the stationary object in the consecutive captured images.
  • the display unit 30 can perform a composite display (superimpose display) in which characters (caution messages) are displayed on the display image, and the display processing unit 24 displays instructions for the warning message and the superimpose display. To display a caution message in superimpose.
  • step # 10 it is confirmed whether or not the vehicle is stopped based on the speed data from the vehicle speed sensor 40 (step # 10). If the vehicle speed is zero or less than a predetermined speed based on the speed data from the vehicle speed sensor 40, it is determined that the vehicle is stopped (step # 10, Yes), and the following processing is not executed.
  • a captured image is input from the image processing unit 21 to the stationary object detection unit 22 (Step # 11).
  • the stationary object detection unit 22 detects the stationary object included in the captured image and the position of the stationary object (step # 12).
  • the position data of the stationary object is input from the stationary object detection unit 22 to the determination unit 23, and the determination unit 23 determines whether the position of the stationary object in the captured image has changed (step # 13).
  • the determination unit 23 displays a warning message such as a caution message on the display processing unit 24. Is transmitted, and a warning text is displayed on the display unit 30 (step # 14).
  • the stationary object detection unit 22 may detect the entire stationary object included in the captured image, or may detect a part of the stationary object. Specifically, the stationary object detection unit 22 may detect the edge of the stationary object and the position of the edge in the captured image. In that case, the determination unit 23 performs the determination based on the position of the edge of the stationary object.
  • the edge of the stationary object is, for example, the end S of the lane marking L on the road surface shown in FIG.
  • the determination based on the position of the edge of the stationary object may be performed by one of the edges of the stationary object, or may be performed by a line segment connecting a plurality of edges.
  • the amount of data used to detect abnormalities in consecutive captured images can be further reduced. it can.
  • the portion of the stationary object included in the captured image along the traveling direction of the vehicle hardly changes its position in the continuous captured image even when the captured image is normally displayed. For this reason, even if continuous captured images are normally displayed, it may occur that the determination unit 23 determines that the position of the stationary object in the captured image has not changed.
  • the stationary object detection unit 22 detects the position of a portion that is not parallel to the traveling direction of the vehicle among the stationary objects included in the captured image.
  • the portion of the stationary object that is not parallel to the traveling direction of the vehicle corresponds to, for example, a pole P standing on the road surface shown in FIG. 3 or a lane marking L that is inclined with respect to the traveling direction of the vehicle.
  • a portion of the stationary object that is not parallel to the traveling direction of the vehicle is a portion in which the position in the captured image always changes when the vehicle travels. For this reason, the determination part 23 can detect the abnormality of a continuous captured image reliably.
  • the imaging unit 10 is configured by one camera.
  • the imaging unit 10 may be configured by including a plurality of cameras.
  • the display processing unit 24 is provided as a notification unit and a warning text is displayed on the display unit 30 .
  • the notification unit is not limited to the display processing unit 24 and A warning may be made using sound or light emitted from a speaker, a warning light, or the like provided in the device.
  • the present invention can be widely used in an image display system mounted on a moving body including a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

画像表示システムは、車両に搭載され、当該車両の周辺を撮像する撮像部と、撮像部によって撮像された撮像画像を表示する表示部と、撮像画像に含まれる静止物及び当該静止物の撮像画像における位置を検出する静止物検出部と、車両の走行中に連続して撮像された複数の撮像画像に基づいて静止物の撮像画像における位置が変化しているか否かを判定する判定部と、判定部において静止物の位置が変化していないと判定された場合に報知する報知部と、を備える。

Description

画像表示システム
　本発明は、車両に搭載される撮像部によって撮像される撮像画像を表示部に表示する画像表示システムに関する。
　自動車等の車両の運転を支援する装置として、車載された撮像部と、撮像部で撮像された画像が表示される表示部とを備える画像表示システムが用いられている。撮像部に不具合が生じて、表示部に表示される撮像画像が変化せずに固定した状態（以下、フリーズと呼ぶ）になる場合がある。撮像画像がフリーズした場合、車両が移動していても表示される画像は変化しないため、運転を支援することができない。
　そこで、特許文献１に記載の撮像表示システムは、撮像部から連続して出力される画像フレームの差異を検出する差異検出手段と、差異検出手段によって連続する画像フレームに差異が検出されない場合にその旨を報知する報知手段とを備える。この撮像表示システムでは、撮像画像がフリーズしていると連続する画像フレームに差異が検出されないことを用いて、ユーザに撮像画像がフリーズ状態であることを報知する。
特開２００４－６４４４０号公報
　特許文献１に記載の技術では、差異検出手段が、撮像部から出力されて連続する画像フレームに対して差異を検出する。このため、各車載カメラにおいて画像データを一時記憶するためのバッファが必要になり、画像データ全体で差異を検出しているため、バッファ容量や演算量が増大し、改善の余地があった。
　そこで、簡素な構成によって撮像部の異常を検出することができる画像表示システムが望まれている。
　本発明に係る画像表示システムの特徴構成は、車両に搭載され、当該車両の周辺を撮像する撮像部と、前記撮像部によって撮像された撮像画像を表示する表示部と、前記撮像画像に含まれる静止物及び当該静止物の前記撮像画像における位置を検出する静止物検出部と、前記車両の走行中に連続して撮像された複数の前記撮像画像に基づいて前記静止物の前記撮像画像における前記位置が変化しているか否かを判定する判定部と、前記判定部において前記静止物の前記位置が変化していないと判定された場合に報知する報知部と、を備える点にある。
　車両走行中に連続する撮像画像において静止物の位置が変化しない場合には、撮像部の異常により撮像画像にフリーズが発生している可能性が高い。そこで、本構成によれば、車両走行中において、静止物検出部が撮像画像に含まれる静止物を検出し、判定部が連続する撮像画像における静止物の位置が変化していないと判定した場合に報知部によって報知する。つまり、撮像画像の一部となる静止物に基づいて判定部が判定するため、従来のように撮像画像全体の差異に基づいて判定する場合に比べて判定のための演算速度が早い。したがって、運転者に対して撮像部の異常を迅速に報知することができる。しかも、撮像画像において静止物のデータ量は、撮像画像全体のデータ量に比べるとかなり小さいので、撮像画像の異常の有無を判定するための画像バッファの容量を小さく構成することができる。
　本発明に係る画像表示システムの他の特徴構成は、前記判定部は、前記静止物の縁部の位置に基づいて前記判定を行う点にある。
　本構成によれば、静止物の縁部の位置に基づいて判定部が静止物の撮像画像における位置が変化しているか否かを判定する。このように、静止物の縁部の位置情報を用いることで、撮像画像において上記判定に用いられるデータ量をより小さくすることができる。
　本発明に係る画像表示システムの他の特徴構成は、前記判定部は、前記静止物検出部によって検出される前記静止物のうち、車両の進行方向に非平行な部分の位置に基づいて前記判定を行う点にある。
　撮像画像に含まれる静止物のうち車両の進行方向に沿う部分は、車両が走行中において表示画像が正常であっても連続する撮像画像では位置変化は殆ど生じないため、表示画像の異常を精度よく検出できないおそれがある。
　そこで、本構成では、判定部は、静止物検出部によって検出される静止物のうち、車両の進行方向に非平行な部分の位置に基づいて判定を行う。車両の進行方向に非平行な部分は、車両が進行する際に撮像画像において確実に位置が変化する部位である。このため、撮像画像にフリーズが発生した場合等の異常を精度よく検出することができる。
画像表示システムのブロック図である。 判定手順を示すフローチャートである。 表示部の表示画面を示す図である。
　以下、本発明の一つの実施形態を図面に基づいて具体的に説明する。
　図１に示す画像表示システム１００は、車両に搭載された撮像部１０によって撮像された車両周辺の撮像画像を表示するものである。
　図１に示すように、画像表示システム１００は、撮像部１０と、画像制御部２０と、表示部３０と、を備える。撮像部１０は、例えばＣＣＤ等が用いられたカメラを備え、車両に搭載されて車両の周辺を撮像する。撮像部１０から入力された撮像画像は、画像制御部２０によって画像処理等が行われた後に表示部３０に出力される。表示部３０は、車両の内部空間等に設けられ、撮像部１０によって撮像された撮像画像を表示する。撮像部１０、画像制御部２０、及び表示部３０は、有線接続又は無線接続されている。
　画像制御部２０は、画像処理部２１と、静止物検出部２２と、判定部２３と、表示処理部２４とを備える。これら各機能部は各種処理を実行するＣＰＵやメモリを中核としたソフトウェア、又はハードウェアとソフトウェアとの協働により構成されている。画像処理部２１は、撮像部１０から取得された撮像画像を表示部３０に表示するための画像処理を行う。画像処理部２１によって画像処理された撮像画像は、表示部３０に出力されて表示されるとともに、静止物検出部２２にも出力される。静止物検出部２２は、画像処理部２１から入力された撮像画像に含まれる静止物及び当該静止物の撮像画像における位置を検出する。
　ここで、静止物とは、車両の周辺に存在し、それ自体の位置が変化しない物体であり、静止物としては、例えば図３の表示画像に含まれる路面に付された白線や枠線等の区画線Ｌや、標識、ポールＰ等、地面に存在する物全般（地物）が該当する。撮像画像に含まれる静止物は、形状や輝度情報等に基づいて検出される。例えば、路面に付された区画線Ｌについては、公知の自動認識技術を用いて検出することができる。静止物検出部２２は、一例として、撮像画像からエッジ抽出を行うことで静止物（例えば区画線Ｌ）を検出する。詳細には、静止物検出部２２は、規定の閾値以上の輝度変化点（特徴点）を抽出して静止物を検出する。静止物検出部２２は、これら静止物の１つまたは２つ以上を組み合わせて検出してもよい。
　判定部２３は、車両の走行中に連続して撮像された複数の撮像画像に基づいて、静止物検出部２２が検出した静止物の撮像画像における位置が変化しているか否かを判定する。車両には、移動速度を検出する車速センサ４０が設けられている。車速センサ４０は画像制御部２０に接続され、車両の速度データが車速センサ４０から画像制御部２０に入力される。画像制御部２０は、車速センサ４０から得た速度データを基に車両が停止状態であると判断した場合には、撮像画像における静止物の位置検出及び判定を実行しない。反対に、車両が走行状態であると判断した場合には、撮像画像における静止物の位置検出及び判定を実行する。
　表示処理部２４は、判定部２３において撮像画像における静止物の位置が変化していないと判定された場合に表示部３０に注意メッセージを送信して報知する。
　このように、静止物検出部２２は、検出した静止物の撮像画像における位置データを判定部２３に送信する。そして、判定部２３は、当該位置データに基づいて撮像画像における静止物の位置に変化があるか否かを判定する。
　連続する撮像画像において静止物の位置に変化がない場合、撮像部の異常により撮像画像にフリーズが発生している可能性が高い。そのため、判定部２３は、連続する撮像画像に含まれる静止物の位置に変化がないと判定すると、その判定に基づく指示信号を表示処理部２４に送信する。表示処理部２４は、判定部２３から指示信号を受取ると、表示部３０に注意メッセージ（報知メッセージ）及び注意メッセージの表示指示を出力する。注意メッセージは、表示処理部２４の図示しないＲＯＭに記憶されている。表示処理部２４は、連続する撮像画像において静止物の位置に変化がない場合に、撮像画像がフリーズしていることを報知する報知部として動作する。
　表示部３０は、表示画像に文字（注意メッセージ）を重ねて表示する合成表示（スーパーインポーズ表示）が可能であり、表示処理部２４は、注意メッセージ及びスーパーインポーズ表示の指示を表示部３０に送り、注意メッセージをスーパーインポーズ表示させる。
　図２のフローチャートに基づき、画像表示システム１００における撮影画像のフリーズ検出及び注意表示の手順を説明する。
　まず、車速センサ４０からの速度データに基づき車両が停止しているか否かが確認される（ステップ＃１０）。車速センサ４０による速度データに基づき、車速がゼロまたは所定速度以下である場合には、車両が停止していると判断されて（ステップ＃１０，Ｙｅｓ）、以下の処理が実行されない。
　車速が所定速度を越えて車両が走行中であると判断されると（ステップ＃１０，Ｎｏ）、画像処理部２１から静止物検出部２２に撮像画像が入力される（ステップ＃１１）。静止物検出部２２では、撮像画像に含まれる静止物及び当該静止物の位置が検出される（ステップ＃１２）。次に、静止物検出部２２から判定部２３に静止物の位置データが入力され、判定部２３によって静止物の撮像画像における位置が変化しているか否かが判定される（ステップ＃１３）。判定部２３において連続する撮像画像における静止物の位置が変化していないと判定された場合（ステップ＃１３，Ｎｏ）には、判定部２３から表示処理部２４に注意メッセージ等の警告文の表示を指示する信号が送信され、表示部３０に警告文が表示される（ステップ＃１４）。
　静止物検出部２２は、撮像画像に含まれる静止物の全体を検出してもよいし、静止物の一部を検出するものでもよい。具体的には、静止物検出部２２は、静止物の縁部及び当該縁部の撮像画像における位置を検出するものでよい。その場合には、判定部２３は、静止物の縁部の位置に基づいて判定を行うことになる。静止物の縁部とは、例えば図３に示される路面上の区画線Ｌの端部Ｓ等である。なお、静止物の縁部の位置に基づく判定は、静止物の縁部の１つによって行っても良いし、複数の縁部どうしを結んだ線分によって行ってもよい。
　このように、静止物の一部である縁部等の位置に基づいて判定部２３による判定を行うことで、連続する撮像画像の異常を検出するために用いられるデータ量をより小さくすることができる。
　撮像画像に含まれる静止物のうち車両の進行方向に沿う部分は、撮像画像が正常に表示される場合であっても連続する撮像画像においては位置変化が殆ど生じない。このため、連続する撮像画像が正常に表示されていても、判定部２３において静止物の撮像画像における位置が変化していないと判定されることが起こり得る。
　そのため、静止物検出部２２は、撮像画像に含まれる静止物のうち車両の進行方向に非平行な部分の位置を検出する方が好ましい。静止物のうち車両の進行方向に非平行な部分とは、例えば図３に示される路面上に立設するポールＰや車両の進行方向に対して傾いている区画線Ｌ等が相当する。静止物のうち車両の進行方向に非平行な部分は、車両が進行する際に撮像画像における位置が必ず変化する部分である。このため、連続する撮像画像の異常を確実に判定部２３によって検出することができる。
〔別実施形態〕
（１）上記の実施形態においては、画像制御部２０に撮像部１０及び表示部３０を接続する例を示したが、画像制御部２０を表示部３０の内部に設け、撮像部１０を表示部３０に接続する構成であってもよい。
（２）上記の実施形態においては、撮像部１０を１つのカメラによって構成する例を示したが、撮像部１０は複数のカメラを備えて構成されていてもよい。
（３）上記の実施形態においては、報知部として表示処理部２４を設けて表示部３０に警告文を表示する例を示したが、報知部は、表示処理部２４に限定されず、車両内に設けられるスピーカや警告灯等から発せられる音声や光を用いて警告するものでもよい。
　本発明は、車両を含む移動体に搭載される画像表示システムに広く用いることができる。
１０　　：カメラ（撮像部）
２０　　：画像制御部
２１　　：画像処理部
２２　　：静止物検出部
２３　　：判定部
２４　　：表示処理部（報知部）
３０　　：表示部
４０　　：車速センサ
１００　：画像表示システム
Ｌ　　　：区画線（静止物）
Ｓ　　　：端部（縁部）

Claims (3)

  1. 　車両に搭載され、当該車両の周辺を撮像する撮像部と、
    　前記撮像部によって撮像された撮像画像を表示する表示部と、
    　前記撮像画像に含まれる静止物及び当該静止物の前記撮像画像における位置を検出する静止物検出部と、
    　前記車両の走行中に連続して撮像された複数の前記撮像画像に基づいて前記静止物の前記撮像画像における前記位置が変化しているか否かを判定する判定部と、
    　前記判定部において前記静止物の前記位置が変化していないと判定された場合に報知する報知部と、を備える画像表示システム。
  2. 　前記静止物検出部が、前記撮像画像に含まれる静止物の縁部及び当該縁部の前記撮像画像における位置を検出し、
    　前記判定部が、前記縁部の位置に基づいて前記判定を行う請求項１に記載の画像表示システム。
  3. 　前記判定部は、前記静止物検出部によって検出される前記静止物のうち、車両の進行方向に非平行な部分の位置に基づいて前記判定を行う請求項１又は２に記載の画像表示システム。
PCT/JP2017/011923 2016-05-30 2017-03-24 画像表示システム WO2017208585A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/305,574 US20200331388A1 (en) 2016-05-30 2017-03-24 Image display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-107651 2016-05-30
JP2016107651A JP2017216517A (ja) 2016-05-30 2016-05-30 画像表示システム

Publications (1)

Publication Number Publication Date
WO2017208585A1 true WO2017208585A1 (ja) 2017-12-07

Family

ID=60479254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011923 WO2017208585A1 (ja) 2016-05-30 2017-03-24 画像表示システム

Country Status (3)

Country Link
US (1) US20200331388A1 (ja)
JP (1) JP2017216517A (ja)
WO (1) WO2017208585A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7137356B2 (ja) * 2018-05-22 2022-09-14 フォルシアクラリオン・エレクトロニクス株式会社 車載用故障検出装置、及び故障検出方法
CN110509873A (zh) * 2019-09-27 2019-11-29 京东方科技集团股份有限公司 倒车影像辅助装置及方法、倒车影像

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064440A (ja) * 2002-07-29 2004-02-26 Sumitomo Electric Ind Ltd 撮像表示システム
WO2014010546A1 (ja) * 2012-07-10 2014-01-16 本田技研工業株式会社 故障判定装置
WO2014148161A1 (ja) * 2013-03-22 2014-09-25 株式会社デンソー 故障検出装置
WO2016027408A1 (ja) * 2014-08-22 2016-02-25 株式会社デンソー 画像処理装置、及び画像処理装置の故障診断方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064440A (ja) * 2002-07-29 2004-02-26 Sumitomo Electric Ind Ltd 撮像表示システム
WO2014010546A1 (ja) * 2012-07-10 2014-01-16 本田技研工業株式会社 故障判定装置
WO2014148161A1 (ja) * 2013-03-22 2014-09-25 株式会社デンソー 故障検出装置
WO2016027408A1 (ja) * 2014-08-22 2016-02-25 株式会社デンソー 画像処理装置、及び画像処理装置の故障診断方法

Also Published As

Publication number Publication date
JP2017216517A (ja) 2017-12-07
US20200331388A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
JP5597454B2 (ja) 異常走行車両検出システムおよび道路監視プログラム
JP5480925B2 (ja) 車両周辺監視装置
WO2013011952A1 (ja) 車線認識装置
JP2007172035A (ja) 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP5691814B2 (ja) 運転支援装置
JP2015149614A (ja) 画像解析装置、および画像解析方法
JP2012113605A (ja) 運転支援装置及び運転支援方法
JP2010044561A (ja) 乗物搭載用監視装置
JP2012128748A (ja) 車両運転支援装置
JP2005276056A (ja) ノーズビューモニタ装置
WO2017208585A1 (ja) 画像表示システム
WO2017208586A1 (ja) 画像表示システム
JP2018156550A (ja) 運転支援システム
JP2007066003A (ja) 停止線検出装置
JP2007264717A5 (ja)
JP2008059178A (ja) 運転支援装置およびプログラム
JP2004252550A (ja) 運転支援装置
KR101665590B1 (ko) 블랙박스 및 avm 영상을 이용한 차선 이탈 감지 시스템 및 감지 방법
JP2009169618A (ja) 路側境界面検出装置
JP3945333B2 (ja) 撮像表示システム
JP6288204B1 (ja) 車両用制限速度検出装置
JP6775285B2 (ja) 後側方車両検知警報装置
JP4598011B2 (ja) 車両用表示装置
US10417505B2 (en) Vehicle detection warning device and vehicle detection warning method
JP2007288328A (ja) 周辺画像表示装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806146

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17806146

Country of ref document: EP

Kind code of ref document: A1