JP6451840B2 - 情報提示システム - Google Patents

情報提示システム Download PDF

Info

Publication number
JP6451840B2
JP6451840B2 JP2017521314A JP2017521314A JP6451840B2 JP 6451840 B2 JP6451840 B2 JP 6451840B2 JP 2017521314 A JP2017521314 A JP 2017521314A JP 2017521314 A JP2017521314 A JP 2017521314A JP 6451840 B2 JP6451840 B2 JP 6451840B2
Authority
JP
Japan
Prior art keywords
vehicle
distance
guide line
wireless communication
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017521314A
Other languages
English (en)
Other versions
JPWO2016194039A1 (ja
Inventor
辻 正文
正文 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2016194039A1 publication Critical patent/JPWO2016194039A1/ja
Application granted granted Critical
Publication of JP6451840B2 publication Critical patent/JP6451840B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の周囲の映像に関する情報を提示する情報提示システムに関する。
この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車両の後方の映像を表示する運転支援装置が知られている(特許文献1)。
特開2012−0162130号公報
しかしながら、車載装置に組み込まれていない可搬型の端末装置が、無線通信を介して取得した車載カメラの撮像画像を提示する場合に、無線通信に遅れが生じると撮像画像を提示するタイミングが遅延するという問題がある。
本発明が解決しようとする課題は、車載装置と端末装置との無線通信に遅れが生じた場合であっても、リアルタイムの車両周囲の状態を示す画像情報を端末装置に適切に提示することである。
本発明は、無線通信が遅延していない場合には、画像上において車両からの距離が距離標識の示す距離となる基準位置に、車両からの距離を示す距離標識を重畳し、無線通信が遅延している場合には、基準位置よりも車両の進行方向側の位置、または、基準位置よりも車両側の位置に、距離標識を重畳することで、上記課題を解決する。
本発明によれば、無線通信が遅延している場合には、基準位置よりも車両の進行方向側の位置、または、基準位置よりも車両側の位置に、距離標識を重畳することで、車載装置と端末装置との無線通信が遅延している場合であっても、リアルタイムの車両周囲の状態をドライバに認識させることができる。
本実施形態に係る情報提示システムの構成図である。 端末装置のディスプレイに表示される画像の一例を示す図である。 無線通信の遅延を説明する図である。 第1実施形態に係るガイド線の重畳方法を説明するための図である。 第1実施形態に係るガイド線の重畳方法を説明するための図である。 第1実施形態に係る情報提示処理を示すフローチャート図である。 第2実施形態において、移動体が自車両周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合のガイド線の重畳方法を説明するための図である。 第2実施形態において、移動体が自車両周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合のガイド線の重畳方法を説明するための図である。 第2実施形態において、移動体がガイド線の範囲外に存在する場合のガイド線の重畳方法を説明するための図である。 第2実施形態に係る情報提示処理を示すフローチャート図である。 第3実施形態において、無線通信が通常遅延状態である場合のガイド線の表示態様を説明するための図である。 第3実施形態において、無線通信が異常遅延状態である場合のガイド線の表示態様を説明するための図である。 第3実施形態において、無線通信が通信途絶状態である場合のガイド線の表示態様を説明するための図である。 第3実施形態に係る情報提示処理を示すフローチャート図である。
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に設けられたカメラを有する車載装置200と、この車載装置200と無線通信する携帯可能な端末装置100とを備える情報提示システム1000に適用した場合を例にして説明する。
《第1実施形態》
図1は、本実施形態に係る情報提示システム1000のブロック構成図である。情報提示システム1000は、車載装置200と、端末装置100とを備える。
まず、図1に基づいて、本発明の車載装置200について説明する。本実施形態の車載装置200は、一又は複数のカメラ1a〜1dと、通信装置2と、車両コントローラ3と、車両に搭載された各種の装置4(各種装置4とも総称する)とを備える。
カメラ1a〜1d(総称してカメラ1とも称する。以下、同じ。)は、CCD(Charge Coupled Devices)等の撮像素子を用いて構成される。本実施形態では、リアフィニッシャー部分やルーフスポイラー部分などの車両のリア(後方)部分の所定位置に設置されたカメラ1を備える。このカメラ1は、車両の後方の空間に存在する物体又は路面の画像(リアビュー画像)を撮影する。本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。また、本実施形態の車載装置200は、車両Vの外部の異なる位置に各々設置された複数のカメラ1a〜1dを備える。本実施形態の車載装置200は、フロントグリル部分などの車両の前方の所定位置、左サイドミラー部分などの車両の左側方の所定位置、又は右サイドミラー部分などの車両の右側方の所定位置に設けられたカメラ1a〜1dを備える。各カメラ1は、車両周囲の異なる方向の映像をそれぞれ撮影する。本実施形態では、撮像可能範囲が広い、広角のカメラ1を使用する。
車載装置200は、カメラ1が撮像した画像を後述する端末装置100へ送出する。カメラ1に無線通信機能を備えさせて、外部へ画像を送出してもよい。端末装置100は、無線の通信ネットワークを介してカメラ1が撮像した画像を取得する。各カメラ1が撮像した画像には、各カメラ1の配置(アドレス)に応じた識別子が付されており、端末装置100は、各識別子に基づいて各画像のそれぞれを識別できる。また、カメラ1が撮像した画像には、当該画像の撮像時刻が付されており、端末装置100は、各画像が撮像された撮像時刻を把握できる。
車両コントローラ3は、車両の各構成から情報を取得し、車両の動作を集中的に管理する。本実施形態の車両コントローラ3は、車両の状態を示す状態情報を取得する。車両コントローラ3は、車両のステアリング制御装置41から操舵情報を状態情報として取得し、加速度センサ42から加速度情報又は速度情報を状態情報として取得し、車両の変速装置44のシフトポジション情報を状態情報として取得する。車両コントローラ3は、取得した操舵情報、加速度情報(速度情報)を端末装置100へ送出する。端末装置100の制御装置10は、操舵情報から車両の進行方向(進行角度)を取得する。同じく制御装置10は、シフトポジション情報から車両が後退中か前進中かの進行方向を取得する。同じく制御装置10は、加速度情報(速度情報)と移動時間とから車両の移動量を取得する。制御装置10は、車両の移動方向及び移動量から、所定時間経過後の車両の位置を求めることができる。
車載装置200が備えるカメラ1、通信装置2、車両コントローラ3、及び各種装置4はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
次に、図1に基づいて端末装置100について説明する。本実施形態の端末装置100は、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。本実施形態の端末装置100は、制御装置10と、通信装置20と、ディスプレイ30とを備える。
本実施形態の通信装置20は、外部の車載装置200の通信装置2と相互に情報の授受を行う。通信装置20は、車載装置200から撮像画像、車両の状態その他の情報を取得する。
本実施形態のディスプレイ30は、カメラ1で撮像された画像や、無線通信の遅延状態に関する情報を表示する。図2は、端末装置100のディスプレイ30に表示される画像の一例を示す図である。図2に示す例では、車両のリア(後方)部分の所定位置に設置されたカメラ1により、車両の後方の空間に存在する物体や路面が撮像された画像(リアビュー画像)を示している(後述する図5,7,9,11〜13においても同様。)。
図2に示すように、ディスプレイ30に表示される画像には、車両が移動すると予測される軌道に沿うガイド線が重畳される。画像に重畳されるガイド線は、車幅ガイド線Q1および距離ガイド線Q2を有している。距離ガイド線Q2は、自車両(カメラ1)からの距離を示すガイド線である。本実施形態において、各距離ガイド線Q2は、自車両から0.5m、1.0m、2.0m、3.0mの位置に重畳される。なお、距離ガイド線Q2が示す距離は、0.5m、1.0m、2.0m、3.0mに限定されず、適宜設定することができる。また、端末装置100は、車両のドライバが視認しやすいように、車両のインストルメントパネルやステアリング近傍に取り付けられたホルダに設置することができる。
本実施形態の端末装置100が備える制御装置10は、カメラ1により撮像された画像にガイド線を重畳してディスプレイ30に表示するためのプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、本実施形態の端末装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
本実施形態に係る端末装置100の制御装置10は、カメラ1が撮像した画像を取得する画像取得機能と、端末装置100と車載装置200との無線通信の遅延状態を判断する遅延状態判断機能と、カメラ1が撮像した画像にガイド線を重畳するガイド線重畳機能と、ガイド線が重畳された画像をディスプレイに表示する情報提示機能と、を有する。制御装置10は、各機能を実現するためのソフトウェアと、上述したハードウェアとの協働により上記機能を実行するコンピュータである。以下、制御装置10が実現する各機能について説明する。
まず、制御装置10の画像取得機能は、車載カメラ1によって撮像された車両周囲の画像を、通信装置20を介して車載装置200から取得する。本実施形態において、画像取得機能は、車両の後方側の画像を取得するが、これに限定されず、前方、側方の画像を取得してもよい。また、画像取得機能は、車載装置200が生成した、上空の仮想視点から自車両を見下ろした、自車両周囲の監視画像を取得してもよい。監視画像は、自車両の異なる位置に複数配置されたカメラ1により撮像された複数の画像を、車両上空の仮想視点から見下ろした投影面に投影して生成した俯瞰画像である。制御装置10は、取得した撮像画像や監視画像を、自車両の駐車時、後退時などの状況においてディスプレイ30に提示する情報として用いる。
制御装置10の遅延状態判断機能は、車載装置200と端末装置100との無線通信の遅延状態を判断する。無線通信の遅延状態には、無線通信の遅延時間を含む。たとえば、遅延状態判断機能は、車載装置200から取得した画像に付された当該画像の撮像時刻と、当該画像を取得した際の取得時刻との差を、遅延時間として求めることができる。また、遅延状態判断機能は、端末装置100と車載装置200との無線通信が確立できない場合には、無線通信の遅延状態を、通信途絶状態と判断することができる。
また、遅延状態判断機能は、所定の良好な通信環境下における基準通信時間と、実際に送受信が行われる通信環境下における実測通信時間との差から、遅延時間を求めることもできる。特に限定されないが、遅延状態判断機能は、車載装置200の時計45と端末装置100の時計112とを参照し、同期させてから、車載装置200と端末装置100との無線通信を介した情報の授受に要する実測通信時間を計測して、遅延時間を算出することができる。具体的には、車載装置200から送信タイミングを付した情報を端末装置100に送信する。端末装置100はその情報を取得したら受信確認情報を車載装置200に送信する。車載装置200は端末装置100へ情報を送信した送信タイミングから、端末装置100が送出した受信確認情報を受信した受信タイミングまでの時間の半分を無線通信に要する通信時間として算出する。基準通信時間は、所定の負荷の無い通信環境下において、同様の手法により無線通信の通信時間を算出できる。実測される通信時間は、無線通信回線網にアクセスする端末装置の多さ、通信する情報量の多さなどによって刻々に変化する。このため、遅延状態判断機能は、所定周期で通信時間を算出し、基準通信時間との差である遅延時間を継続的に算出する。本例では、車載装置200と端末装置100とを事前に同期させてから遅延時間を算出するので、正確な遅延時間を算出できる。
なお、遅延時間は、予め通信設備の能力に応じて決まる固定的な時間と、通信量などにより生じる変動的な時間とがある。固定的な時間については予め車載装置200又は端末装置100に記憶させておくことができる。処理負荷の軽減の観点からは、記憶された固定的な遅延時間を読み出して遅延状態を判断してもよい。
端末装置100において、カメラ1の画像の提示が遅れる遅延状態が発生する原因は、先述した無線通信の遅延時間だけではない。図3に示すように、撮像処理から画像の提示処理が完了するまでに要する以下の第1〜第3の時間を含む。ここにいう第1の時間は、t0〜t1までの車載装置200が車両周囲を撮像する処理及び画像を圧縮する処理までの時間である。第2の時間は、t1〜t2までの無線通信に要する時間である。第3の時間は、t2〜t3までの圧縮された画像を解凍処理する時間と解凍した画像をディスプレイ30に提示する処理に要する時間である。つまり、無線通信の遅延状態は、車載装置200側において行われる撮像から画像の送出までの時間と、車載装置200と端末装置100との通信時間と、端末装置100側において行われる画像の受信から提示までの時間が遅れたときに生じる。
無線通信に遅れが生じていない場合において、出願時における通信技術によれば、撮像処理から画像の提示処理が完了するまでに要する時間は100〜500msec程度である。このような短い時間であっても、過去の画像情報があたかも現在撮像された情報であるように提示されることは好ましくない。ましてや、通信遅延が生じることにより、撮像時間から提示時間までの時間が長くなる場合には、なおさらである。車載装置200内部の通信網(CANなど)で画像を送受信する場合には、撮像時間から提示時間までの時間はほぼ一定であるので、これを管理することは可能である。これに対し、車載装置200側で得られた画像を、公共の無線通信を介して端末装置100に送出し、端末装置100のディスプレイ30で提示する場合には、通信遅延に配慮する必要がある。また、上述した第3の時間は、端末装置100の処理能力に大きく依存し、個人がそれぞれ所有する性能・状態の異なる端末装置100について一律に遅延時間を定義することは困難である。
上述した第2の時間に関し、遅延状態判断機能は、端末装置100と車載装置200との無線通信の遅延時間を上記手法により計測する。
上述した第3の時間に関し、遅延状態判断機能は、端末装置100が画像を取得してから画像を提示するまでに要する端末装置側処理時間を取得し、端末装置側処理時間を無線通信の遅延時間に加算して情報提示に係る遅延時間を算出し、遅延状態を判断する。特に限定されないが、端末装置側処理時間は、予め実験的に算出しておき、読み出し可能に端末装置100に記憶させておくことが好ましい。無線通信の遅延のみならず、端末装置100側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態を正確に判断することができる。
上述した第1の時間に関し、遅延状態判断機能は、車載装置200側において行われる画像の取得(撮像)から送出までに要する時間を、遅延時間に加算してもよい。無線通信の遅延のみならず、車載装置200側の処理に要する時間を加算して遅延時間を算出することにより、遅延状態をさらに正確に判断することができる。
また、遅延状態判断機能は、通信装置2の無線通信が途絶したか否かを判断し、無線通信が途絶した場合には、無線通信が途絶した旨をディスプレイ30に提示させることができる。通信装置2の無線通信が途絶している状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ30に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置2の無線通信が途絶している旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
さらに、遅延状態判断機能は、遅延状態に応じた無線通信の信頼度を判断する構成としてもよい。遅延時間が長く、無線通信の遅延状態が悪い場合には、無線通信の信頼度は低いと判断する。他方、遅延時間が短く、無線通信の遅延状態が悪くない(通信状態が良好である)場合には、無線通信の信頼度は高いと判断する。無線通信の信頼度は、通信状態の通信時間に応じて定義することができる。通信時間が長いほど無線通信の信頼度を低く設定することができる。制御装置10は、ディスプレイ30に、判断した信頼度を提示する。無線通信の遅延時間が長く、無線通信の信頼度が低い状況においては、現時点における撮像画像をリアルタイムで取得することが困難となる。つまり、ディスプレイ30に提示されている撮像画像は過去の映像である可能性が高い。本実施形態では、通信装置2の無線通信の信頼度が低い旨を提示することにより、提示されている撮像画像がリアルタイムの画像ではないことをドライバに伝えることができる。
制御装置10のガイド線重畳機能は、自車両が移動する場合の自車両の側面の位置を示す車幅ガイド線Q1と、自車両が移動する場合に自車両の進行方向に沿う位置を示す距離ガイド線Q2と、を含むガイド線を生成する。そして、ガイド線重畳機能は、図2に示すように、生成されたガイド線を、カメラ1により撮像された画像に重畳する。ガイド線重畳機能は、端末装置100と車載装置200との無線通信が遅延していない場合には、自車両からの距離が、距離ガイド線Q2が示す距離となる位置に、各距離ガイド線Q2を重畳する。
一方、ガイド線重畳機能は、端末装置100と車載装置200との無線通信が遅延している場合には、無線通信の遅延状態と、車両コントローラ3から取得した自車両の状態とに基づいて、画像上におけるガイド線の重畳位置を決定する。以下に、図4および図5に基づいて、第1実施形態に係るガイド線の重畳方法について説明する。図4および図5は、第1実施形態におけるガイド線の重畳方法を説明するための図である。また、図4および図5に示す例では、自車両が後退して駐車スペースに入庫する場面を例示している。なお、以下においては、画像上において、自車両(カメラ1)からの距離が、各距離ガイド線Q2が示す距離となる位置を、各距離ガイド線Q2の基準位置Q2’として説明する。
端末装置100と車載装置200との無線通信が遅延している場合、画像が撮像された車両の位置は、遅延時間前の位置であり、自車両の現在の位置とは異なる。たとえば、図4に示す場面では、時刻t10において、図5に示す画像が撮像されたものとする。しかし、図4に示す例では、無線通信が遅延しているため、時刻t10で撮像された画像が、時刻t11において、端末装置100のディスプレイ30に表示される。そのため、時刻t11において、自車両の実際の位置は、ディスプレイ30に表示される画像が撮像された位置P0よりも、自車両の進行方向側の位置P1となる。
ここで、図4に示すように、自車両の進行方向側の位置P2に障害物O(たとえば壁など)が存在する場合において、無線通信が遅延している場合には、時刻t11において、自車両の実際の位置P1から障害物Oまでの距離d2は、ディスプレイ30に表示される画像が撮像された位置P0から障害物Oまでの距離d1よりも短くなる。すなわち、無線通信が遅延している場合には、自車両は、ディスプレイ30に表示される画像が撮像された位置よりも、障害物Oに近づいていることとなる。そこで、ガイド線重畳機能は、無線通信が遅延している場合には、無線通信が遅延していない場合と比べて、自車両と障害物Oとが近いことをドライバに認識させるため、画像上において、自車両(カメラ1)からの距離が距離ガイド線Q2の示す距離となる基準位置Q2’よりも、自車両側(自車両の進行方向と反対側)の位置に、距離ガイド線Q2を重畳する。また、本実施形態では、ガイド線は複数の距離ガイド線Q2を有しているため、各距離ガイド線Q2を、各距離ガイド線Q2の基準位置Q2’よりも、自車両側の位置にそれぞれ重畳する。
たとえば、図4に示す例では、時刻t10において撮像した画像において、距離ガイド線Q2が示す基準位置Q2’(たとえば自車両から1.0mの距離を示す位置)がP3であるとする。この場合、時刻t11において、時刻t10で撮像した撮像画像が表示されるため、当該画像において、自車両からの距離が距離ガイド線Q2の示す距離となる位置はP3となる。しかしながら、ガイド線重畳機能は、このような場合に、距離ガイド線Q2を、位置P3よりも、自車両側の位置P4に重畳する。これにより、ディスプレイ30で表示される画像上において、距離ガイド線Q2が重畳された位置P4が、基準位置Q2’であるP3と比べて、自車両に近い位置となる。このように、本実施形態では、図5に示すように、画像の撮像位置に対して自車両が実際に移動した分だけ、画像上において距離ガイド線Q2を自車両に近づけることで、距離ガイド線Q2が示す距離(たとえば自車両から1.0m)は変わらないが、距離ガイド線Q2を基準位置Q2’に重畳する場合と比べて、自車両から距離ガイド線Q2が示す距離(たとえば自車両から1.0mの距離)までが相対的に短くなったようにドライバに認識させることができ、その結果、たとえば障害物Oが自車両の進行方向に存在する場合には、自車両から障害物Oまでの距離も相対的に短い距離であるようにドライバに認識させることができる。
また、ガイド線重畳機能は、無線通信が遅延している場合には、自車両の車速や操舵情報などの状態情報と無線通信の遅延時間とに基づいて、画像を撮像した位置から自車両の現在位置までの移動量を推測し、推測した移動量の分だけ、基準位置Q2’よりも自車両側の位置に、距離ガイド線Q2を重畳する。たとえば、図4に示す例において、ガイド線重畳機能は、時刻t11において、画像を撮像した位置P0から自車両の現在位置P1までの移動量を推測する。そして、ガイド線重畳機能は、画像上において、推測した移動量の分だけ、基準位置Q2’から自車両側に移動した位置P4に、距離ガイド線Q2を重畳する。なお、ガイド線重畳機能は、所定の移動量の分だけ、基準位置Q2’よりも自車両側の位置に、距離ガイド線Q2を重畳する構成としてもよい。
制御装置10の情報提示機能は、たとえば図5に示すように、ガイド線重畳機能によりガイド線が重畳された画像を、ディスプレイ30に表示させる。なお、図5では、説明のために基準位置Q2’を便宜的に表示しているが、ディスプレイ30に画像を表示する際に、基準位置Q2’は表示されない(後述する図7,9においても同様。)。
次に、第1実施形態に係る情報提示処理について説明する。図6は、第1実施形態に係る情報提示処理を示すフローチャートある。なお、図6に示す情報提示処理は、端末装置100の制御装置10により実行される。
ステップS101では、制御装置10の遅延状態判断機能により、端末装置100と車載装置200との無線通信の遅延状態の判断が行われる。具体的には、遅延状態判断機能は、端末装置100と車載装置200との間で無線通信が確立しているか否か、また、無線通信が確立している場合には、無線通信の遅延時間を判断する。なお、制御装置10の情報提示機能は、無線通信が確立していない場合(無線通信が途絶している場合)には、その旨をディスプレイ30に表示してもよい。
ステップS102では、制御装置10のガイド線重畳機能により、自車両の状態情報の取得が行われる。たとえば、ガイド線重畳機能は、車両コントローラ3から自車両の車速、加速度、舵角、進行方向などの状態情報を取得することができる。
ステップS103では、制御装置10の画像取得機能により、カメラ1により撮像された自車両周囲の画像の取得が行われる。そして、ステップS104では、制御装置10のガイド線重畳機能により、ステップS101における無線通信の遅延状態の判断結果に基づいて、端末装置100と車載装置200との無線通信が遅延しているか否かの判断が行われる。無線通信が遅延している場合には、ステップS105に進み、一方、無線通信が遅延していない場合には、ステップS106に進む。なお、無線通信が一定時間(たとえば200msec)以上遅延していない場合には、無線通信が遅延していないと判断し、ステップS106に進んでもよい。
ステップS106では、ガイド線重畳機能により、ステップS103で取得した画像上に、ガイド線を重畳する処理が行われる。ステップS106では、無線通信が遅延していないと判断されているため、ガイド線重畳機能は、自車両からの距離を示す各距離ガイド線Q2を、自車両からの距離が、各距離ガイド線Q2が示す距離となる位置(基準位置Q2’)に重畳する。
また、ステップS104において、無線通信が遅延していると判断された場合には、ステップS105に進む。ステップS105において、ガイド線重畳機能は、図5に示すように、画像上において自車両からの距離が距離ガイド線Q2の示す距離となる基準位置Q2’よりも、自車両側(自車両の進行方向と反対側)の位置に、各距離ガイド線Q2を重畳する。たとえば、ガイド線重畳機能は、ステップS101における無線通信の遅延状態の判断結果と、ステップS102で取得された自車両の状態(たとえば車速や舵角)とに基づいて、画像を撮像した位置から自車両の現在の位置までの移動量を推測し、推測した移動量の分だけ、基準位置Q2’から自車両側に移動した位置に、各距離ガイド線Q2を重畳する。
そして、ステップS107では、制御装置10の情報提示機能により、ステップS105またはステップS106においてガイド線が重畳された画像が、ディスプレイ30の画面に提示される。
以上のように、第1実施形態に係る情報提示システム1000は、無線通信の遅延状態に基づいて、カメラ1で撮像された画像上における距離ガイド線Q2の重畳位置を決定する。これにより、第1実施形態では、端末装置100と車載装置200との無線通信が遅延している場合であっても、画像上において、リアルタイムの車両周囲の状態をドライバに認識させることができる。
すなわち、本実施形態では、無線通信が遅延した場合には、図5に示すように、画像上において自車両からの距離が距離ガイド線Q2の示す距離となる基準位置Q2’よりも、自車両側(自車両の進行方向と反対側)の位置に、各距離ガイド線Q2を重畳する。また、自車両の状態(車速や舵角など)と、遅延時間とに基づいて、遅延時間における自車両の移動量を推測し、推測した移動量だけ基準位置Q2’から自車両側に移動した位置に、各距離ガイド線Q2を重畳する。これにより、本実施形態では、画像を撮像した位置に対して自車両が実際に移動した分だけ、画像上において距離ガイド線Q2が自車両側に近づくため、距離ガイド線Q2を基準位置Q2’に重畳する場合と比べて、自車両から距離ガイド線Q2で示す距離(たとえば自車両から1.0mの距離)が相対的に短い距離であるようにドライバに認識させることができる。その結果、たとえば自車両の進行方向に障害物Oが存在する場合には、自車両から障害物Oまでの距離も相対的に短い距離であるようにドライバに認識させることができる。
≪第2実施形態≫
次に、第2実施形態に係る情報提示システム1000について説明する。第2実施形態に係る情報提示システム1000は、第1実施形態に係る情報提示システム1000と同様の構成を有し、以下に説明するように動作すること以外は、第1実施形態に係る情報提示システム1000と同様の動作を行う。
第2実施形態において、端末装置100の制御装置10は、第1実施形態に係る各機能に加えて、移動体を検知する移動体検知情報取得機能をさらに備える。
制御装置10の移動体検知情報取得機能は、自車両の周囲に移動体が存在するか否かの検知情報を取得する。具体的には、移動体検知情報取得機能は、移動体が存在するか否かの情報を、車載装置200から取得する。車載装置200は、移動体検出装置43を備える。移動体検出装置43は、車載カメラ1の撮像画像から抽出された特徴の経時的な変化に基づいて、車両周囲に移動体が存在するか否かを判断する。撮像画像に基づいて移動体を検出する手法は特に限定されず、本願の出願時に知られた手法を適宜に利用することができる。
また、第2実施形態において、制御装置10のガイド線重畳機能は、無線通信が遅延している場合には、移動体検知情報取得機能により移動体が存在する旨の検知情報を取得したか否か、および、移動体が存在する場合には、移動体までの距離に基づいて、撮像画像に重畳するガイド線の位置を変更する。
具体的には、ガイド線重畳機能は、まず、自車両の周囲に移動体が存在する場合には、自車両(カメラ1)から移動体までの距離を算出する。そして、ガイド線重畳機能は、算出した移動体までの距離に基づいて、移動体がガイド線の範囲内に存在するか否かを判断する。たとえば、本実施形態に係るガイド線重畳機能は、図7に示すように、自車両(カメラ1)からの距離が0.5m、1.0m、2.0m、3.0mとなる位置に、各距離ガイド線Q2をそれぞれ重畳する。この場合、距離ガイド線Q2は、自車両から3.0mまでの距離を表示することとなり、ガイド線の範囲は、自車両から3.0mの距離範囲となる。そのため、ガイド線重畳機能は、自車両から移動体までの距離が3.0mを超える場合には、移動体がガイド線の範囲外に存在すると判断し、一方、自車両から移動体までの距離が3.0m以下である場合には、移動体がガイド線の範囲内に存在すると判断する。
そして、ガイド線重畳機能は、移動体が自車両の周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合には、図7に示すように、自車両からの距離が距離ガイド線Q2の示す距離となる基準位置Q2’よりも自車両の進行方向側の位置に、距離ガイド線Q2を重畳する。ここで、図8に示す例では、自車両が後退している場合において、無線通信が遅延しているため、時刻t20において撮像された撮像画像が、時刻t21においてドライバに提示される場面を例示している。この場合、時刻t21において、自車両が位置P11まで移動した際に、位置P10において撮像された画像をドライバに提示することとなる。そのため、時刻t21においては、画像上において、自車両からの距離が距離ガイド線Q2の示す距離(たとえば自車両から1.0m)となる位置がP13である場合も、自車両からの実際の距離が、距離ガイド線Q2が示す距離(たとえば自車両から1.0m)となる位置はP14となる。そこで、ガイド線重畳機能は、移動体が自車両の周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合には、画像上において距離ガイド線Q2が自車両からの実際の距離を示すように、基準位置Q2’であるP13よりも自車両の進行方向側の位置P14に、距離ガイド線Q2を重畳する。また、この場合、ガイド線重畳機能は、無線通信の遅延時間や自車両の状態に基づいて、自車両の現在位置を推測し、推測した現在位置からの距離が距離ガイド線Q2の示す距離となる位置に、距離ガイド線Q2を重畳することができる。これにより、距離ガイド線Q2が自車両からの実際の距離を示すように、各距離ガイド線Q2を表示することができる。なお、図7および図8は、移動体が自車両周囲に存在しない場合、または、移動体がガイド線の範囲内に存在する場合のガイド線の重畳方法を説明するための図である。
一方、ガイド線重畳機能は、移動体がガイド線の範囲外に存在する場合には、図9に示すように、基準位置Q2’よりも自車両側(自車両の進行方向と反対側)の位置に、距離ガイド線Q2を重畳する。これにより、距離ガイド線Q2を基準位置Q2’に重畳する場合と比べて、自車両が移動体に接近するまでに時間的、距離的な余裕があることをドライバに認識させることができる。なお、図9は、移動体がガイド線の範囲外に存在する場合のガイド線の重畳方法を説明するための図である。
さらに、ガイド線重畳機能は、移動体が自車両の周囲に存在する場合には、図9に示すように、移動体を示す標識Mを画像上に重畳する。また、ガイド線重畳機能は、無線通信が遅延している場合には、移動体の実際の位置よりも自車両側の位置に、移動体を示す標識Mを重畳する。具体的には、ガイド線重畳機能は、自車両の状態情報および無線通信の遅延時間に基づいて、画像を撮像した位置から自車両の現在位置までの移動量を推測し、推測した移動量に対応する分だけ、移動体の実際の位置よりも自車両側に移動した位置に、移動体を示す標識Mを重畳する。これにより、無線通信が遅延している場合でも、画像上に、自車両から移動体までの実際の距離を適切に表示することができる。
次に、第2実施形態に係る情報提示処理について説明する。図10は、第2実施形態に係る情報提示処理を示すフローチャートである。なお、図10に示す情報提示処理は、端末装置100の制御装置10により実行される。
ステップS201〜S203では、第1実施形態のステップS101〜S103と同様に、端末装置100と車載装置200との無線通信の遅延状態の判断が行われ(ステップS201)、自車両の状態情報の取得が行われ(ステップS202)、自車両周囲の画像の取得が行われる(ステップS203)。
ステップS204では、制御装置10の移動体検知情報取得機能により、移動体検知情報の取得が行われる。そして、ステップS205では、制御装置10のガイド線重畳機能により、ステップS204で取得した移動体検知情報に基づいて、自車両の周囲に移動体が存在するか否かの判断が行われる。自車両の周囲に移動体が存在しない場合には、ステップS211に進み、一方、自車両の周囲に移動体が存在する場合には、ステップS206に進む。
ステップS206では、制御装置10のガイド線重畳機能により、移動体がガイド線の範囲内に存在するか否かの判断が行われる。移動体がガイド線の範囲内に存在する場合には、ステップS207に進み、移動体がガイド線の範囲外に存在する場合には、ステップS208に進む。
ステップS207では、移動体がガイド線の範囲内に存在すると判断されているため、ガイド線重畳機能は、図7に示すように、車速や舵角などの自車両の状態情報、および、無線通信の遅延時間に基づいて、基準位置Q2’よりも自車両の進行方向側の位置に、距離ガイド線Q2を重畳する。これにより、自車両から移動体までの実際の距離を画像上に適切に表示することができる。
また、ステップS208では,移動体がガイド線の範囲外に存在すると判断されている。そのため、ガイド線重畳機能は、図9に示すように、車速や舵角などの自車両の状態情報、および、無線通信の遅延時間に基づいて、基準位置Q2’よりも自車両側(自車両の進行方向と反対側)の位置に、距離ガイド線Q2を重畳する。これにより、距離ガイド線Q2を基準位置Q2’に重畳する場合と比べて、自車両が移動体に接近するまでに時間的、距離的な余裕があることを、ドライバに適切に認識させることができる。
ステップS209では、ガイド線重畳機能により、移動体を示す標識を画像上に重畳する処理が行われる。具体的には、ガイド線重畳機能は、図9に示すように、車速や舵角などの自車両の状態情報、および、無線通信の遅延時間に基づいて、移動体を示す標識Mを、移動体の実際の位置よりも自車両側の位置に重畳する。
そして、ステップS210では、制御装置10の情報提示機能により、ステップS207,S208においてガイド線が重畳され、ステップS209において移動体を示す標識Mが重畳された画像が、ディスプレイ30の画面に提示される。
また、ステップS205において、自車両周囲に移動体が存在しないと判断された場合には、ステップS211に進む。ステップS211では、ステップS207と同様に、ガイド線重畳機能により、各距離ガイド線Q2が自車両からの実際の距離を示すように、基準位置Q2’よりも自車両の進行方向側の位置に、距離ガイド線Q2が重畳される。これにより、自車両からの実際の距離を画像上に適切に表示することができる。そして、ステップS210に進み、ステップS211においてガイド線が重畳された画像が、ディスプレイ30の画面に提示される。
以上のように、第2実施形態に係る情報提示システム1000は、無線通信が遅延している場合において、移動体が検知された場合には、移動体がガイド線の範囲内に存在するか否かを判断する。移動体がガイド線の範囲内に存在する場合には、図7に示すように、各距離ガイド線Q2が自車両からの実際の距離を示すように、自車両の状態および遅延時間に基づいて、基準位置Q2’よりも自車両の進行方向側の位置に、各距離ガイド線Q2を重畳する。これにより、第2実施形態では、無線通信が遅延している場合でも、自車両から移動体までの実際の距離を、ドライバに適切に認識させることができる。
また、第2実施形態では、無線通信が遅延している場合において、移動体がガイド線の範囲外に存在する場合には、図9に示すように、基準位置Q2’よりも自車両側(自車両の進行方向側)の位置に、距離ガイド線Q2を重畳する。これにより、距離ガイド線Q2を基準位置Q2’に重畳する場合と比べて、自車両が移動体に接近するまでに時間的、距離的な余裕があることを、ドライバに適切に認識させることができる。
さらに、第2実施形態では、無線通信が遅延している場合において、移動体が自車両の周囲に存在しない場合には、図7に示すように、距離ガイド線Q2が自車両からの実際の距離を示すように、基準位置Q2’よりも自車両の進行方向側の位置に、距離ガイド線Q2を重畳する。これにより、無線通信が遅延している場合において、移動体が自車両の周囲に存在しない場合には、画像上において、自車両からの実際の距離を距離ガイド線Q2で適切に表示することができる。
加えて、第2実施形態では、無線通信が遅延している場合において、移動体が自車両の周囲に存在する場合には、図9に示すように、移動体を示す標識Mを、移動体の実際の位置よりも自車両側の位置に重畳する。これにより、無線通信が遅延している場合でも、画像上に、自車両から移動体までの実際の距離を適切に表示することができる。
なお、第2実施形態において、無線通信が遅延していない場合には、第1実施形態と同様に、距離ガイド線Q2を、距離ガイド線Q2が示す距離となる基準位置Q2’に重畳することができる(後述する第3実施形態においても同様。)。
≪第3実施形態≫
次に、第3実施形態に係る情報提示システム1000について説明する。第3実施形態に係る情報提示システム1000は、第1実施形態に係る情報提示システム1000と同様の構成を有し、以下に説明するように動作すること以外は、第1実施形態に係る情報提示システム1000と同様の動作を行う。
第3実施形態において、制御装置10の遅延状態判断機能は、第1実施形態と同様に、端末装置100と車載装置200との無線通信の遅延状態を判断する。また、第3実施形態において、遅延状態判断機能は、無線通信の遅延状態が、通信途絶状態、通常遅延状態、および異常遅延状態のいずれの状態であるかを判断する。
具体的には、遅延状態判断機能は、無線通信の遅延時間が所定時間(たとえば200msec)以内である場合には、無線通信の遅延状態を通常遅延状態と判断する。また、遅延状態判断機能は、無線通信の遅延時間が所定時間を超える場合には、無線通信の遅延状態を異常通信状態と判断する。さらに、遅延状態判断機能は、端末装置100と車載装置200との間で無線通信が確立できない場合には、無線通信の遅延状態を通信途絶状態と判断する。
また、第3実施形態において、制御装置10のガイド線重畳機能は、端末装置100と車載装置200との無線通信の遅延状態に基づいて、ガイド線の表示態様を変更する。具体的には、ガイド線重畳機能は、無線通信の遅延状態が、通信途絶状態、通常遅延状態、および異常遅延状態のいずれであるかをドライバが認識できるように、無線通信の遅延状態(通信途絶状態、通常遅延状態、異常遅延状態)に応じて、ガイド線の表示態様を変更する。ここで、図11〜13は、第3実施形態におけるガイド線の表示態様を説明するための図である。
たとえば、ガイド線重畳機能は、無線通信の遅延状態が通常遅延状態であると判断された場合には、図11に示すように、距離ガイド線Q2を基準位置Q2’よりも自車両の進行方向側の位置に重畳する。
また、ガイド線重畳機能は、無線通信の遅延状態が異常遅延状態であると判断された場合には、図12に示すように、通常遅延状態と比べて、ガイド線の色を淡色で表示し、あるいは、ガイド線を破線で表示する。これにより、端末装置100と車載装置200との無線通信が異常遅延状態であることをドライバに適切に認識させることができる。なお、図12に示す場面においては、無線通信が遅延しているため、ガイド線重畳機能は、図11に示す場面と同様に、距離ガイド線Q2を、基準位置Q2’よりも自車両の進行方向側の位置に重畳している。
さらに、ガイド線重畳機能は、無線通信の遅延状態が通信途絶状態であると判断された場合には、まず、図13(A)に示すように、ガイド線を通常遅延状態よりも強調して表示する。たとえば、ガイド線重畳機能は、通常遅延状態よりも、ガイド線の色を濃い色で表示し、あるいは、ガイド線を太く表示することで、ガイド線を通常遅延状態よりも強調して表示することができる。そして、ガイド線重畳機能は、ガイド線を強調表示してから一定時間が経過した後に、図13(B)に示すように、ガイド線を非表示にする。これにより、端末装置100と車載装置200との無線通信が通信途絶状態であることをドライバに適切に認識させることができる。なお、図13に示す場面においても、距離ガイド線Q2を強調表示している場合に、図11,12に示す場面と同様に、距離ガイド線Q2を基準位置Q2’よりも自車両の進行方向側の位置に重畳することができる。
次に、第3実施形態に係る情報提示処理について説明する。図14は、第3実施形態に係る情報提示処理を示すフローチャートある。なお、図14に示す情報提示処理は、端末装置100の制御装置10により実行される。
ステップS301〜S303では、第1実施形態のステップS101〜S103と同様に、端末装置100と車載装置200との無線通信の遅延状態の判断が行われ(ステップS301)、自車両の状態情報の取得が行われ(ステップS302)、自車両周囲の画像の取得が行われる(ステップS303)。なお、ステップS301では、無線通信の遅延状態が、通信途絶状態、通常遅延状態、および異常遅延状態のいずれであるか判断される。
ステップS304では、ガイド線重畳機能により、ステップS301における判断結果に基づいて、端末装置100と車載装置200との無線通信の遅延状態が、通信途絶状態であるか否かの判断が行われる。通信途絶状態であると判断された場合には、ステップS308に進み、一方、通信途絶状態ではないと判断された場合には、ステップS305に進む。
ステップS305では、ガイド線重畳機能により、無線通信の遅延状態が通常遅延状態であるか否かの判断が行われる。たとえば無線通信の遅延時間が所定時間以内であり、通常遅延状態であると判断された場合には、ステップS306に進み、一方、無線通信の遅延時間が所定時間を超えており、異常遅延状態であると判断された場合には、ステップS307に進む。
ステップS306では、無線通信の遅延状態が通常遅延状態であると判断されているため、ガイド線重畳機能により、図11に示すように、基準位置Q2’よりも自車両の進行方向側の位置に、距離ガイド線Q2が重畳される。
また、ステップS307でも、無線通信が遅延していると判断されているため、ガイド線重畳機能により、図12に示すように、基準位置Q2’よりも自車両の進行方向側の位置に、距離ガイド線Q2が重畳される。また、ステップS307では、無線通信の遅延状態が異常遅延状態であると判断されているため、ガイド線重畳機能は、通常遅延状態である場合と比べて、ガイド線の色を淡色で表示するとともに、破線で表示する。これにより、無線通信の遅延状態が異常遅延状態であることをドライバに適切に認識させることができる。
さらに、ステップS304において、無線通信の遅延状態が通信途絶状態であると判断された場合には、ステップS308に進む。ステップS308では、ガイド線重畳機能により、図13(A)に示すように、ガイド線が強調して表示されるとともに、基準位置Q2’よりも自車両の進行方向側の位置に、距離ガイド線Q2が重畳される。
そして、ステップS309に進み、ガイド線重畳機能により、ガイド線を強調表示してから一定時間が経過したか否かの判断が行われる。一定時間が経過するまでは、ステップS309で待機し、一定時間が経過した場合には、ステップS310に進む。ステップS310では、ガイド線重畳機能により、ガイド線が非表示にされる。このように、無線通信の遅延状態が通信途絶状態である場合には、ガイド線が強調表示された後に、ガイド線を非表示とすることで、無線通信の遅延状態が通信途絶状態であることをドライバに適切に認識させることができる。
ステップS311では、制御装置10の情報提示機能により、ステップS306,S307、またはステップS308においてガイド線が重畳された画像が、ディスプレイ30の画面に提示される。
以上のように、第3実施形態に係る情報提示システム1000は、端末装置100と車載装置200との無線通信の遅延状態に基づいて、ガイド線の表示態様を変更する。たとえば、無線通信の遅延状態が異常遅延状態である場合には、通常遅延状態である場合と比べて、ガイド線を淡色、破線などにより表示する。また、無線通信の遅延状態が通信途絶状態である場合には、通常遅延状態と比べて、ガイド線を強調表示した後に、ガイド線を非表示にする。これにより、第3実施形態では、第1実施形態の効果に加えて、ドライバに無線通信の遅延状態を適切に認識させることができる。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した実施形態では、本発明に係る情報提示システムの一態様として端末装置100及び情報提示システム1000を例にして説明したが、本発明はこれに限定されるものではない。
また、上述した実施形態では、本発明に係る情報提示システムの一態様として、CPU11、ROM12、RAM13を含む制御装置10を備える端末装置100と車載装置200を備える情報提示システム1000を一例として説明したが、これに限定されるものではない。
さらに、上述した実施形態では、カメラと、通信機能を備える車載装置の一態様として、カメラ1と、通信装置2と、車両コントローラ3と、各種装置4とを備える車載装置200を説明したが、これに限定されるものではない。
また、上述した実施形態では、自車両後方を撮像した画像にガイド線を重畳する構成を例示したが、これに限定されず、自車両前方、あるいは、自車両側方を撮像した画像にガイド線を重畳する構成とすることができる。また、複数のカメラ1により撮像された複数の画像から、上空の仮想視点から車両を見下ろした投影面に投影した一の投影画像を生成し、これにガイド線を重畳する構成とすることもできる。この場合も、自車両の車速、加速度、舵角、および無線通信の遅延時間に基づいて、ガイド線を基準位置Q2’よりも自車両側の位置、または、自車両の進行方向側の位置に重畳する構成とすることができる。
さらに、上述した実施形態では、無線通信が遅延している場合に、各距離ガイド線Q2を基準位置Q2’よりも自車両側の位置、および、自車両の進行方向側の位置のいずれか一方に重畳する構成を例示したが、この構成に限定されず、一部の距離ガイド線Q2を、基準位置Q2’よりも自車両側の位置に重畳し、他の距離ガイド線Q2を、自車両の進行方向側の位置に重畳することができる。たとえば、自車両から一定距離までの距離を示す距離ガイド線Q2については、基準位置Q2’よりも自車両側の位置に重畳し、自車両から一定距離を超えた距離を示す距離ガイド線Q2については、基準位置Q2’よりも自車両の進行方向側の位置に重畳する構成とすることができる。
また、上述した実施形態では、車幅ガイド線Q1および距離ガイド線Q2を有するガイド線を画像上に重畳する構成を例示したが、この構成に加えて、たとえば、自車両が移動すると予測される軌跡を示す予想進路線Pを画像上にさらに重畳する構成とすることができる。
さらに、上述した第1実施形態では、無線通信が遅延している場合に、図5に示すように、基準位置Q2’よりも自車両側の位置に、各距離ガイド線Q2を重畳する構成を例示したが、この構成に限定されず、たとえば、図7に示すように、基準位置Q2’よりも自車両の進行方向側の位置に、各距離ガイド線Q2を重畳する構成とすることができる。この場合、画像上において自車両からの実際の距離をドライバに適切に認識させることができる。
また、上述した第2実施形態では、無線通信が遅延しており、自車両周囲に移動体が存在しない場合、または、移動体がガイド線の範囲外に存在する場合に、距離ガイド線Q2が自車両からの実際の距離を表示するように、基準位置Q2’よりも自車両の進行方向側の位置に、距離ガイド線Q2を重畳する構成を例示したが、この構成に限定されず、たとえば、基準位置Q2’よりも自車両の進行方向側の位置であれば、距離ガイド線Q2を、自車両からの実際の距離に対応しない位置(基準位置Q2’から所定の距離だけ自車両の進行方向側の位置)に重畳する構成としてもよい。この場合も、距離ガイド線Q2が示す距離を、自車両からの実際の距離により近い距離としてドライバに提示することができる。
さらに、上述した第3実施形態では、無線通信の遅延状態に基づいて、ガイド線の表示態様を変更する構成を例示したが、各遅延状態に応じたガイド線の表示態様は上述した例に限定されず、適宜設定することができる。たとえば、ガイド線の色、太さ、態様(破線など)に加えて、ガイド線の透過度を変更し、また、ガイド線を点滅表示する構成としてもよい。たとえば、無線通信の通信状態が異常通信状態である場合には、ガイド線の透過度を高くし、あるいは、ガイド線を点滅表示させる構成とすることができる。また、無線通信の通信状態が通信途絶信状態である場合に、まず、ガイド線の透過度を低くし、その後、ガイド線の透過度を高くしてもよい。また、ガイド線を非表示とすることに代えて、ガイド線を点滅表示させる構成としてもよい。さらに、通常遅延状態である場合には、ガイド線を青色、緑色、青紫色などの相対的に目立たない後退色の線、破線、相対的に細い線で表示し、異常遅延状態である場合には、ガイド線を赤色、実線、オレンジ色、黄色などの相対的に目立つ進出色の線、相対的に太い線で表示する構成としてもよい。
加えて、上述した第2実施形態では、自車両の周囲に存在する移動体を検知する構成を例示したが、自車両の周囲に存在する障害物(壁や縁石など)を検知する構成としてもよい。この場合も、同様に、自車両の周囲に障害物が存在するか、障害物がガイド線の範囲内に存在するかなどに基づいて、距離ガイド線Q2の重畳位置を決定することができる。
なお、上述した実施形態に係る制御装置10の画像取得機能は本発明の画像取得手段に、ガイド線重畳機能は本発明の車両情報取得手段および重畳手段に、遅延状態判断機能は本発明の判断手段に、移動体検知情報取得機能は本発明の障害物情報取得手段に、それぞれ相当する。
1000…情報提示システム
100…端末装置
10…制御装置
11…CPU
12…ROM
13…RAM
20…通信装置
30…ディスプレイ
200…車載装置
1,1a〜1d…カメラ
2…通信装置
3…車両コントローラ
4…各種装置
41…ステアリング制御装置
42…加速度センサ
43…移動体検出装置

Claims (9)

  1. 車両に設けられたカメラを有する車載装置と、前記車載装置と無線通信する携帯可能な端末装置と、を有する情報提示システムにおいて、
    前記端末装置は、
    前記カメラにより撮像された車両周囲の画像を取得する画像取得手段と、
    前記画像上に車両からの距離を示す距離標識を重畳する重畳手段と、
    前記車載装置と前記端末装置との無線通信の遅延時間を含む遅延状態を判断する判断手段と、
    前記距離標識が重畳された前記画像を提示する提示手段と、を備え、
    前記重畳手段は、前記無線通信が遅延していない場合には、前記画像上において車両からの距離が前記距離標識の示す距離となる基準位置に、前記距離標識を重畳し、前記無線通信が遅延している場合には、前記基準位置よりも車両の進行方向側の位置、または、前記基準位置よりも車両側の位置に、前記距離標識を重畳することを特徴とする情報提示システム。
  2. 請求項1に記載の情報提示システムであって、
    前記重畳手段は、車両の状態情報を取得し、取得した前記車両の状態情報および前記無線通信の遅延時間に基づいて、前記画像を撮像した際の車両の位置から車両の現在の位置までの移動量を推測し、前記基準位置から前記移動量だけ車両の進行方向側または車両側に移動した位置に、前記距離標識を重畳することを特徴とする情報提示システム。
  3. 請求項1に記載の情報提示システムであって、
    前記重畳手段は、前記基準位置から所定の移動量だけ車両の進行方向側または車両側に移動した位置に、前記距離標識を重畳することを特徴とする情報提示システム。
  4. 請求項1〜3のいずれかに記載の情報提示システムであって、
    車両の周囲に存在する障害物の情報を取得する障害物情報取得手段をさらに備え、
    前記重畳手段は、前記障害物の情報を加味して、前記距離標識の重畳位置を決定することを特徴とする情報提示システム。
  5. 請求項4に記載の情報提示システムであって、
    前記重畳手段は、前記無線通信が遅延しており、かつ、前記障害物を検出しない場合には、前記基準位置よりも車両の進行方向側に、前記距離標識を重畳することを特徴とする情報提示システム。
  6. 請求項4または5に記載の情報提示システムであって、
    前記重畳手段は、前記無線通信が遅延しており、かつ、前記画像において車両から前記距離標識が示す距離範囲内に前記障害物が存在する場合には、前記基準位置よりも車両の進行方向側に、前記距離標識を重畳することを特徴とする情報提示システム。
  7. 請求項4〜6のいずれかに記載の情報提示システムであって、
    前記重畳手段は、前記無線通信が遅延しており、かつ、前記画像中において車両から前記距離標識が示す距離範囲外に前記障害物が存在する場合には、前記基準位置よりも車両側に、前記距離標識を重畳することを特徴とする情報提示システム。
  8. 請求項4〜7のいずれかに記載の情報提示システムであって、
    前記重畳手段は、前記障害物が存在する場合に、前記障害物の位置を示す標識を、前記障害物の実際の位置よりも車両側の位置に重畳することを特徴とする情報提示システム。
  9. 請求項1〜8のいずれかに記載の情報提示システムであって、
    前記重畳手段は、前記無線通信の遅延状態に応じて、前記画像上における前記距離標識の表示態様を異ならせることを特徴とする情報提示システム。
JP2017521314A 2015-05-29 2015-05-29 情報提示システム Active JP6451840B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/065532 WO2016194039A1 (ja) 2015-05-29 2015-05-29 情報提示システム

Publications (2)

Publication Number Publication Date
JPWO2016194039A1 JPWO2016194039A1 (ja) 2018-05-31
JP6451840B2 true JP6451840B2 (ja) 2019-01-16

Family

ID=57441043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017521314A Active JP6451840B2 (ja) 2015-05-29 2015-05-29 情報提示システム

Country Status (11)

Country Link
US (1) US10144351B2 (ja)
EP (1) EP3306918B1 (ja)
JP (1) JP6451840B2 (ja)
KR (1) KR101874279B1 (ja)
CN (1) CN107615757B (ja)
BR (1) BR112017025525A2 (ja)
CA (1) CA2987558A1 (ja)
MX (1) MX363856B (ja)
MY (1) MY182014A (ja)
RU (1) RU2677256C1 (ja)
WO (1) WO2016194039A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6358123B2 (ja) * 2015-02-16 2018-07-18 株式会社デンソー 運転支援装置
JP7036501B2 (ja) * 2017-02-24 2022-03-15 株式会社デンソーテン 充電支援装置、及び、充電支援方法
DE102017130169A1 (de) * 2017-02-24 2018-08-30 Denso Ten Limited Ladeunterstützungsvorrichtung
DE102017130173A1 (de) * 2017-02-24 2018-08-30 Denso Ten Limited Ladeunterstützungsvorrichtung
WO2018230021A1 (ja) * 2017-06-16 2018-12-20 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
US10486594B2 (en) * 2017-09-19 2019-11-26 Ford Global Technologies, Llc Systems and methods for determining vehicle wireless camera latency
JP7037926B2 (ja) * 2017-12-04 2022-03-17 アルパイン株式会社 運転支援システムおよび後方ガイド画像の生成方法
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP6964276B2 (ja) * 2018-03-07 2021-11-10 パナソニックIpマネジメント株式会社 表示制御装置、車両周辺表示システムおよびコンピュータプログラム
JP7113348B2 (ja) * 2018-03-15 2022-08-05 パナソニックIpマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
JP7172309B2 (ja) * 2018-09-06 2022-11-16 株式会社アイシン 周辺監視装置
US10909714B2 (en) 2018-10-30 2021-02-02 Here Global B.V. Method, apparatus, and system for providing a distance marker in an image
JP7238670B2 (ja) * 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置
WO2021124516A1 (ja) * 2019-12-19 2021-06-24 株式会社ガク・アソシエイツ 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3522500A (en) * 1999-03-11 2000-09-28 Intelligent Technologies International, Inc. Methods and apparatus for preventing vehicle accidents
JP3805702B2 (ja) 2002-03-01 2006-08-09 三菱電機株式会社 車両周辺監視装置
DE102005015088B4 (de) * 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
DE102007045562A1 (de) * 2007-09-24 2009-04-02 Robert Bosch Gmbh Steuereinrichtung für eine Anzeigeeinrichtung einer Einparkeinrichtung und Verfahren zur Darstellung
JP4929114B2 (ja) * 2007-09-28 2012-05-09 日産自動車株式会社 車両用情報報知装置、情報提供システム、情報報知方法
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP2009111469A (ja) * 2007-10-26 2009-05-21 Victor Co Of Japan Ltd 映像出力装置および方法、映像表示装置および方法
US8217773B2 (en) * 2008-12-04 2012-07-10 Denso Corporation Field watch apparatus
JP5445218B2 (ja) * 2010-02-25 2014-03-19 マツダ株式会社 駐車支援システム
JP2011259152A (ja) * 2010-06-08 2011-12-22 Suzuki Motor Corp 運転支援装置
KR20120056977A (ko) * 2010-11-26 2012-06-05 주식회사 이미지넥스트 차량 탑재형 블랙박스 시스템 및 그 시스템에서 생성된 주변 영상을 이용한 정보제공방법
EP2481637B1 (en) * 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
JP2012162130A (ja) 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP6045796B2 (ja) * 2012-02-27 2016-12-14 京セラ株式会社 映像処理装置、映像処理方法、および映像表示システム
CN103338335B (zh) * 2013-06-19 2017-02-08 奇瑞汽车股份有限公司 一种车辆字符叠加辅助装置
JP6209921B2 (ja) * 2013-09-27 2017-10-11 日産自動車株式会社 予測進路提示システム
RU2647688C2 (ru) * 2013-09-27 2018-03-16 Ниссан Мотор Ко., Лтд. Система представления информации
CN104512408B (zh) * 2013-10-04 2017-11-21 本田技研工业株式会社 停车辅助装置

Also Published As

Publication number Publication date
US20180154830A1 (en) 2018-06-07
CA2987558A1 (en) 2016-12-08
WO2016194039A1 (ja) 2016-12-08
CN107615757B (zh) 2018-10-09
JPWO2016194039A1 (ja) 2018-05-31
EP3306918A1 (en) 2018-04-11
EP3306918A4 (en) 2018-07-04
BR112017025525A2 (pt) 2018-08-07
KR101874279B1 (ko) 2018-07-03
MY182014A (en) 2021-01-18
RU2677256C1 (ru) 2019-01-16
US10144351B2 (en) 2018-12-04
MX363856B (es) 2019-04-05
EP3306918B1 (en) 2019-10-16
MX2017015166A (es) 2018-04-13
KR20170141778A (ko) 2017-12-26
CN107615757A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
JP6451840B2 (ja) 情報提示システム
JP6107960B2 (ja) 情報提示システム
JP4752486B2 (ja) 撮像装置、映像信号の選択装置、運転支援装置、自動車
US20150077560A1 (en) Front curb viewing system based upon dual cameras
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
JP4930187B2 (ja) 運転支援システム
JP2008250503A (ja) 運転支援装置
JP2008100596A (ja) 後方視認装置
WO2013111494A1 (ja) 監視システム
WO2011135778A1 (ja) 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
KR20130043341A (ko) 주차 보조 시스템
WO2013111491A1 (ja) 監視システム
JP5720400B2 (ja) 画像処理装置及び画像処理方法
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
JP6221562B2 (ja) 車両用情報提示装置
US11070714B2 (en) Information processing apparatus and information processing method
WO2013111479A1 (ja) 監視システム
WO2013125301A1 (ja) 監視システム
JP2002087191A (ja) 運転支援システム
JP6364731B2 (ja) 車両用後方画像提示装置
WO2023089834A1 (ja) 映像表示システム、映像表示方法、および映像表示装置
WO2023189568A1 (ja) 画像生成装置、方法及びプログラム
JP7393930B2 (ja) 情報処理装置、配信システムおよび配信方法
WO2015045567A1 (ja) 予測進路提示装置及び予測進路提示方法
JP2017022660A (ja) 表示装置、表示システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181126

R151 Written notification of patent or utility model registration

Ref document number: 6451840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151