JPWO2017221293A1 - 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム - Google Patents

支援画像表示装置、支援画像表示方法及び支援画像表示プログラム Download PDF

Info

Publication number
JPWO2017221293A1
JPWO2017221293A1 JP2016575976A JP2016575976A JPWO2017221293A1 JP WO2017221293 A1 JPWO2017221293 A1 JP WO2017221293A1 JP 2016575976 A JP2016575976 A JP 2016575976A JP 2016575976 A JP2016575976 A JP 2016575976A JP WO2017221293 A1 JPWO2017221293 A1 JP WO2017221293A1
Authority
JP
Japan
Prior art keywords
support image
complexity
landscape
image
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016575976A
Other languages
English (en)
Other versions
JP6214798B1 (ja
Inventor
尚之 対馬
尚之 対馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6214798B1 publication Critical patent/JP6214798B1/ja
Publication of JPWO2017221293A1 publication Critical patent/JPWO2017221293A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

支援画像表示装置(10)は、移動体(100)の視点位置から観察される風景に含まれる対象物を指し示す支援画像を、風景に重畳するように表示する。画像生成部(21)は、対象物の基準位置を指し示す支援画像を生成する。表示制御部(23)は、対象物の周囲の風景の複雑度が高い場合には、画像生成部(21)によって生成された支援画像を表示する位置を複雑度が低い領域に移動させた上で、支援画像を風景に重畳するように表示させる。

Description

この発明は、車両前方に存在する対象物を指し示す支援画像を表示することにより、運転支援を行う技術に関する。
運転手は、ナビゲーション装置といった運転支援装置により提示される様々な情報を把握しながら運転する。
運転支援装置には、ヘッドアップディスプレイのようにウインドシールド上に、前方の風景に重畳させて、建物の名称等を示す支援画像を表示するものがある。また、運転支援装置には、LCD(Liquid crystal display)といった表示部に、カメラによって撮影された前方の風景を表示するとともに、風景に重畳させて支援画像を表示するものがある。
支援画像の背景となる風景が複雑であると、風景に重畳して表示される支援画像を、運転手が視認し辛くなり、支援画像に気が付かない場合、及び、支援画像の情報を誤認識してしまう場合がある。
特許文献1には、風景の輝度の空間周波数に基づいて表示画像の表示輝度を制御することが記載されている。これにより、特許文献1では、表示画像の視認性を高めている。
特開2013−174667号公報
特許文献1に記載された技術では、風景の輝度が高い場合にも、表示画像の輝度が風景の輝度を上回るようにする必要がある。そのため、表示できる輝度に限度がある場合には視認性が落ちてしまう。
この発明は、運転手に視認し易い状態で支援画像を表示することを目的とする。
この発明に係る支援画像表示装置は、
移動体の視点位置から観察される風景に含まれる対象物を指し示す支援画像を前記風景に重畳するように表示する支援画像表示装置において、
前記対象物の基準位置を指し示す前記支援画像を生成する画像生成部と、
前記対象物の周囲の前記風景の複雑度に応じて、前記画像生成部によって生成された支援画像の位置を変化させた上で前記支援画像を表示させる表示制御部と
を備える。
この発明では、複雑度に応じて支援画像の位置を変化させることにより、運転手に視認し易い状態で支援画像を表示することが可能である。
実施の形態1に係る支援画像表示装置10の構成図。 実施の形態1に係る支援画像表示装置10の全体的な処理のフローチャート。 実施の形態1に係る支援画像41の説明図であり、支援画像41を上から見た図。 実施の形態1に係る支援画像41の説明図であり、支援画像41を視点位置から見た図。 実施の形態1に係る支援画像41を移動させた状態を示す図。 実施の形態1に係るステップS1の画像生成処理のフローチャート。 実施の形態1に係るステップS2の複雑度判定処理のフローチャート。 実施の形態1に係る表示対象エリア71の説明図。 実施の形態1に係る表示対象エリア71が分割された矩形領域の説明図。 実施の形態1に係る各矩形領域の2次元空間周波数を表した図。 実施の形態1に係るステップS3の表示制御処理のフローチャート。 変形例1に係る支援画像表示装置10の構成図。 実施の形態2に係るステップS2の複雑度判定処理のフローチャート。 実施の形態2に係る不可視エリア55の説明図。 実施の形態2に係る不可視エリア55の説明図。 実施の形態2に係る支援画像41を移動させた状態を示す図。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る支援画像表示装置10の構成を説明する。
支援画像表示装置10は、移動体100に搭載され、ナビゲーション装置31が表示装置32に表示させようとするPOI(Point Of Interest)情報の表示制御を行うコンピュータである。実施の形態1では、移動体100は車両である。移動体100は、車両に限らず、船舶、歩行者といった他の種類であってもよい。
なお、支援画像表示装置10は、移動体100又は図示された他の構成要素と、一体化した形態又は分離不可能な形態で実装されても、あるいは、取り外し可能な形態又は分離可能な形態で実装されてもよい。
支援画像表示装置10は、プロセッサ11と、記憶装置12と、通信インタフェース13と、ディスプレイインタフェース14とを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
記憶装置12は、メモリ121と、ストレージ122とを備える。メモリ121は、具体例としては、RAM(Random Access Memory)である。ストレージ122は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ122は、SD(Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記憶媒体であってもよい。
通信インタフェース13は、移動体100に搭載されたナビゲーション装置31及び撮像装置34といった装置を接続する装置である。通信インタフェース13は、具体例としては、USB(Universal Serial Bus)、IEEE1394の接続端子である。
ナビゲーション装置31は、測位装置33を用いて移動体100の位置を特定し、特定された位置に基づき目的地又は経由地への経路を表示装置32に表示させて、目的地又は経由地への経路案内を行うコンピュータである。また、ナビゲーション装置31は、地図情報を有しており、運転手から指定された、又は、自動的に抽出したPOI情報を表示装置32に表示させて、運転手に提示するコンピュータである。
POI情報は、運転手が関心を持っていると推定される対象物についての情報であり、対象物の位置、形状等を示す情報である。POI情報は、具体例としては、薬局、レストランといった分類が運転手から指定された場合には、指定された分類に該当する対象物の情報である。
測位装置33は、GPS(Global Positioning System)衛星といった測位衛星から搬送波に乗せて送信された測位信号を受信する装置である。
撮像装置34は、移動体100の前方といった移動体100の周囲を撮影できるように取り付けられ、撮影された映像を出力する装置である。実施の形態1では、撮像装置34は、移動体100の前方を撮影する。
ディスプレイインタフェース14は、移動体100に搭載された表示装置32を接続する装置である。ディスプレイインタフェース14は、具体例としては、USB、HDMI(登録商標、High−Definition Multimedia Interface)の接続端子である。
表示装置32は、移動体100の前方といった移動体100の視点位置から観察される移動体100の周囲の風景に、情報を重畳して表示する装置である。実施の形態1では、表示装置32は、移動体100の前方風景に、情報を重畳して表示する。ここでいう風景は、ヘッドアップディスプレイ等を介して見える実物と、カメラによって取得された映像と、コンピュータグラフィックによって作成された3次元地図とのいずれかである。視点位置とは、実施の形態1では、移動体100の運転手の視点の位置である。なお、視点位置は、運転手以外の搭乗者の視点位置であってもよいし、風景をカメラによって取得した映像で表示する場合には、カメラの視点位置でもよい。
支援画像表示装置10は、機能構成として、画像生成部21と、複雑度判定部22と、表示制御部23とを備える。画像生成部21と、複雑度判定部22と、表示制御部23との各部の機能はソフトウェアにより実現される。
記憶装置12のストレージ122には、支援画像表示装置10の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ121に読み込まれ、プロセッサ11によって実行される。これにより、支援画像表示装置10の各部の機能が実現される。
プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121、又は、プロセッサ11内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121に記憶されるものとして説明する。
プロセッサ11によって実現される各機能を実現するプログラムは、記憶装置12に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体に記憶されてもよい。
図1では、プロセッサ11は、1つだけ示されている。しかし、支援画像表示装置10は、プロセッサ11を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、支援画像表示装置10の各部の機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ11と同じように、プロセッシングを行うICである。
***動作の説明***
図2から図11を参照して、実施の形態1に係る支援画像表示装置10の動作を説明する。
実施の形態1に係る支援画像表示装置10の動作は、実施の形態1に係る支援画像表示方法に相当する。また、実施の形態1に係る支援画像表示装置10の動作は、実施の形態1に係る支援画像表示プログラムの処理に相当する。
図2を参照して、実施の形態1に係る支援画像表示装置10の全体的な処理を説明する。
図2に示す処理は、ナビゲーション装置31がPOI情報を表示装置32に表示させる際に実行される。ナビゲーション装置31は、POI情報を表示させる際、POI情報を支援画像表示装置10に送信する。
ここでは、POI情報の対象物51は薬局であるとして説明する。
ステップS1の画像生成処理では、図3及び図4に示すように、画像生成部21は、POI情報の対象物51に対する基準位置61を指し示す支援画像41を生成して、メモリ121に書き込む。
基準位置61は、支援画像により対象物を指し示す際に、基準となる位置である。実施の形態1では、基準位置61は、対象物51上の点である。基準位置61は、対象物51の付近における対象物51の外部の点であってもよい。支援画像41は、対象物51を指し示し、この対象物を説明するための画像であって、例えば、対象物51を指し示す仮想の看板のような画像がこれに相当する。
ステップS2の複雑度判定処理では、複雑度判定部22は、ステップS21で生成された支援画像41の背景となる領域の複雑度が閾値よりも高いか否かにより、支援画像41を表示装置32に表示した場合に支援画像41が視認し易いか否かを判定する。
ステップS3の表示制御処理では、表示制御部23は、ステップS1で生成された支援画像41をメモリ121から読み出す。そして、表示制御部23は、読み出された支援画像41を風景42に重畳させて表示装置32に表示させる。
この際、表示制御部23は、ステップS2で複雑度が閾値よりも高くない、つまり支援画像41が視認し易いと判定された場合には、読み出された支援画像41をそのまま、風景42に重畳させて表示装置32に表示させる。すなわち、表示制御部23は、支援画像41の背景となる領域の風景42の複雑度が閾値よりも高くない場合には、読み出された支援画像41をそのまま、風景42に重畳させて表示装置32に表示させる。
一方、表示制御部23は、ステップS2で複雑度が閾値よりも高い、つまり支援画像41が視認しづらいと判定された場合には、読み出された支援画像41の位置を変化させた上で、移動体100の周囲の風景42に重畳させて表示装置32に表示させる。すなわち、支援画像41の背景となる領域の風景42の複雑度が閾値よりも高い場合には、読み出された支援画像41の位置を変化させた上で、風景42に重畳させて表示装置32に表示させる。
なお、表示制御部23は、さらに、読み出された支援画像41の表示態様を変化させた上で表示させてもよい。
つまり、図3に示すように、支援画像41の背景となる領域に立木53が存在する場合には、図4に示すように、表示制御部23が、読み出された支援画像41をそのまま、風景42に重畳させて表示装置32に表示させると、支援画像41と立木53が重なってしまう。その結果、支援画像41が視認しづらくなってしまう。
そこで、表示制御部23は、図5に示すように、支援画像41が指し示す位置を、対象物51の右側にずらした上で表示装置32に表示させる。これにより、支援画像41の背景となる領域の風景が複雑でなくなるため支援画像41が視認し易くなる。
図6を参照して、実施の形態1に係るステップS1の画像生成処理を説明する。
ステップS11では、画像生成部21は、ナビゲーション装置31から送信されたPOI情報を、通信インタフェース13を介して取得する。画像生成部21は、取得されたPOI情報をメモリ121に書き込む。
POI情報は、対象物51の位置、形状を示す情報である。実施の形態1では、対象物51の形状を示す情報は、対象物51を上空から見た場合の平面形状を示すとし、対象物51の平面形状は矩形であるとする。そして、POI情報は、対象物51を上空から見た場合の左上、右上、左下、右下の4点の緯度及び経度を示す情報とする。ここでは、対象物51は薬局であるため、POI情報は、移動体100の周辺にある薬局についての4点の緯度及び経度を示す情報である。
ステップS12では、画像生成部21は、ステップS11で取得されたPOI情報が示す対象物51を指し示す支援画像41を生成する。
具体的には、画像生成部21は、ステップS11で取得されたPOI情報をメモリ121から読み出す。画像生成部21は、POI情報から対象物51の基準位置61を特定する。そして、画像生成部21は、特定された対象物51の基準位置61を指し示し、基準方向に延びた支援画像41を生成する。実施の形態1では、基準方向は、基準位置61に対する移動体100が走行する道路52が存在する方向である。画像生成部21は、計算された基準位置61と、生成された支援画像41とをメモリ121に書き込む。
基準位置61を特定する方法の具体例としては、画像生成部21は、POI情報が示す4点の緯度及び経度から、4点のうち対象物51の道路52に最も近い点を特定する。画像生成部21は、道路52に最も近い点が2点ある場合には、いずれか1点を選択する。画像生成部21は、特定された点から対象物51の対角に位置する点の方に一定距離だけずらした位置を計算する。画像生成部21は、計算された位置を基準高さだけ高さ方向、すなわち、地表面から垂直方向にずらした位置を計算し、計算された位置を基準位置61とする。
図3及び図4では、支援画像41は、矢印の形状をした画像である。そして、支援画像41は、矢印の先端の位置が基準位置61に重なり、道路52の方に延びた画像である。また、支援画像41は、対象物51の名称、種類等が示された画像である。支援画像41は、矢印の形状に限らず、吹き出しといった他の形状であってもよい。
図7を参照して、実施の形態1に係るステップS2の複雑度判定処理を説明する。
ステップS21では、複雑度判定部22は、撮像装置34によって撮影された移動体100の前方の映像を、通信インタフェース13を介して取得する。複雑度判定部22は、取得された映像をメモリ121に書き込む。
ステップS22では、複雑度判定部22は、図8に示すように前方映像に対し対象物51周囲に表示対象エリア71を設定する。表示対象エリア71は、支援画像41を配置可能なエリアを表す。
具体的には、複雑度判定部22は、対象物51の外周から高さ方向に高さ距離72だけ離れ、水平方向に水平距離73だけ離れた四角形の領域を表示対象エリア71として設定する。高さ距離72及び水平距離73は、予め定められている。
ステップS23では、複雑度判定部22は、図9に示すように、表示対象エリア71を複数の矩形領域に分割する。各矩形領域は、同じ大きさであり、予め定められた大きさである。そして、複雑度判定部22は、各矩形領域の画像について2次元空間周波数を計算する。2次元空間周波数の計算は、DCT(Discrete Cosine Transform)といった既存の手法を用いて実現される。
各矩形領域の2次元空間周波数の高低をハッチングの密度で表すと、図10に示すようになる。図10では、ハッチングの密度が高いほど、2次元空間周波数が高いことを示している。2次元空間周波数は、矩形領域の画像が複雑であるほど高くなる。例えば、細かなタイル模様の画像の場合には、2次元空間周波数は高くなり、模様のない画像の場合には、2次元空間周波数は低くなる。
ステップS24では、複雑度判定部22は、支援画像41の背景となる領域についての空間周波数を複雑度として、複雑度が閾値よりも高いか否かを判定する。
具体的には、複雑度判定部22は、ステップS1で生成された支援画像41が表示される領域に含まれる全ての矩形領域の空間周波数の平均値を計算する。そして、複雑度判定部22は、計算された平均値を支援画像41の背景となる領域の複雑度として、複雑度が予め定められた閾値より高いか否かを判定する。
複雑度判定部22は、複雑度が閾値よりも高い場合には処理をステップS25に進め、複雑度が閾値よりも高くない場合には処理をステップS26に進める。
ステップS25では、複雑度判定部22は、表示対象エリア71内において、支援画像41を表示するために必要な大きさとなる矩形領域の組合せを対象領域とする。そして、複雑度判定部22は、各対象領域について2次元空間周波数の平均値を計算する。図10では、支援画像41を表示するために横方向に3つ連続した矩形領域が必要である。そのため、複雑度判定部22は、横方向に3つ連続した矩形領域の組合せを対象領域として、各対象領域の2次元空間周波数の平均値を計算する。
複雑度判定部22は、計算された平均値を対象領域の複雑度として、最も複雑度が低い対象領域を移動先領域として特定する。図10では、領域74が移動先領域として特定される。そして、複雑度判定部22は、移動先領域内に含まれる対象物51上の点、あるいは、対象物51付近の点を新たな基準位置61として特定する。図10では、点62が新たな基準位置61として特定される。
ステップS26では、複雑度判定部22は、支援画像41の背景となる領域をそのまま移動先領域として特定する。また、ステップS12で計算された基準位置61をそのまま新たな基準位置61として特定する。つまり、支援画像41の移動はなしとされる。
図11を参照して、実施の形態1に係るステップS3の表示制御処理を説明する。
ステップS31では、表示制御部23は、ステップS12で生成された支援画像41と、ステップS25又はステップS26で特定された移動先領域及び新たな基準位置61とを、メモリ121から読み出して取得する。
ステップS32では、表示制御部23は、ステップS31で取得された移動先領域が支援画像41の背景となる領域と同じであるか否かを判定する。つまり、表示制御部23は、支援画像41の移動の有無を判定する。
表示制御部23は、移動先領域が支援画像41の背景となる領域と同じ場合には処理をステップS33に進め、異なる場合には処理をステップS34に進める。
ステップS33では、表示制御部23は、図4に示すように、ステップS31で取得された支援画像41をそのまま、風景に重畳させて表示装置32に表示させる。
ステップS34では、表示制御部23は、ステップS31で取得された支援画像41を、ステップS31で取得された基準位置61を指し示し、移動先領域が背景となるように移動させた上で、風景に重畳させて表示装置32に表示させる。つまり、表示制御部23は、図5に示すように、移動先領域に支援画像41を移動させた上で風景に重畳させて表示装置32に表示させる。
***実施の形態1の効果***
以上のように、実施の形態1に係る支援画像表示装置10は、支援画像41の背景となる領域の風景の複雑度が高く、支援画像41の視認性が低下する場合には、支援画像41を風景の複雑度が低い領域に移動させた上で風景に重畳させて表示させる。これにより、運転手に視認し易い状態で支援画像を表示することが可能である。
***他の構成***
<変形例1>
実施の形態1では、支援画像表示装置10の各部の機能がソフトウェアで実現された。しかし、変形例1として、支援画像表示装置10の各部の機能はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
図12を参照して、変形例1に係る支援画像表示装置10の構成を説明する。
各部の機能がハードウェアで実現される場合、支援画像表示装置10は、プロセッサ11と記憶装置12とに代えて、処理回路15を備える。処理回路15は、支援画像表示装置10の各部の機能及び記憶装置12の機能を実現する専用の電子回路である。
処理回路15は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各部の機能を1つの処理回路15で実現してもよいし、各部の機能を複数の処理回路15に分散させて実現してもよい。
<変形例2>
変形例2として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、支援画像表示装置10の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
プロセッサ11と記憶装置12と処理回路15とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。
実施の形態2.
実施の形態2では、移動体100と対象物51との間に構造物54がある場合に、視点位置から視認可能な位置を指し示すように支援画像41を移動させる点が実施の形態1と異なる。実施の形態2では、この異なる点を説明する。
***動作の説明***
図13から図16を参照して、実施の形態2に係る支援画像表示装置10の動作を説明する。
実施の形態2に係る支援画像表示装置10の動作は、実施の形態2に係る支援画像表示方法に相当する。また、実施の形態2に係る支援画像表示装置10の動作は、実施の形態2に係る支援画像表示プログラムの処理に相当する。
図13を参照して、実施の形態2に係るステップS2の複雑度判定処理を説明する。
ステップS21からステップS23の処理と、ステップS26の処理とは、実施の形態1と同じである。
ステップS24では、複雑度判定部22は、実施の形態1と同様に、支援画像41の背景となる領域についての空間周波数を複雑度として、複雑度が閾値よりも高いか否かを判定する。
また、複雑度判定部22は、図14及び図15に示すように、視点位置63と対象物51との間に存在する構造物54で視点位置63から見えなくなる不可視エリア55を特定する。
具体的には、図14に示すように、複雑度判定部22は、視点位置63と、構造物54の両端の点とを通る2本の直線Dを計算する。ここでは、構造物54は、対象物51と同様に矩形であり、構造物54を上空から見た場合の左上、右上、左下、右下の4点の緯度及び経度が地図情報に示されているものとする。したがって、複雑度判定部22は、視点位置63から移動体100の進行方向に対する右方向を基準軸として、視点位置63と構造物54の4点それぞれとを結んだ直線のうち、基準軸との成す角θが最小になる直線と、最大になる直線とを計算することにより、2本の直線Dを計算できる。複雑度判定部22は、2本の直線D2の間における、構造物54の裏側のエリアを不可視エリア55として計算する。
そして、ステップS12で計算された基準位置61が不可視エリア55に含まれるか否かを判定する。
複雑度判定部22は、複雑度が閾値よりも高い場合と、ステップS12で計算された基準位置61が不可視エリア55に含まれる場合との少なくともいずれかの場合には、処理をステップS25に進め、いずれでもない場合には、処理をステップS26に進める。
ステップS25では、複雑度判定部22は、表示対象エリア71内において、支援画像41を表示するために必要な大きさとなる矩形領域の組合せのうち、不可視エリア55に含まれていない対象物51上のエリアを含む矩形領域の組合せを対象領域とする。そして、複雑度判定部22は、実施の形態1と同様に、各対象領域の2次元空間周波数の平均値を計算し、計算された平均値を対象領域の複雑度として、最も複雑度が低い対象領域を移動先領域として特定する。また、複雑度判定部22は、不可視エリア55に含まれていない範囲であって、移動先領域内に含まれる範囲における対象物51上の点、あるいは、対象物51付近の点を新たな基準位置61として特定する。
その結果、ステップS34では、表示制御部23は、図16に示すように、支援画像41を風景の複雑度が低く、かつ、構造物54によって遮蔽されない移動先領域に支援画像41を移動させた上で風景に重畳させて表示装置32に表示させる。
***実施の形態2の効果***
以上のように、実施の形態2に係る支援画像表示装置10は、支援画像41を風景の複雑度が低く、かつ、構造物54によって遮蔽されない領域に移動させた上で風景に重畳させて表示させる。これにより、構造物54によって一部が運転手から見えない対象物51についても、運転手に理解し易い状態で支援画像41を表示することが可能である。
10 支援画像表示装置、11 プロセッサ、12 記憶装置、121 メモリ、122 ストレージ、13 通信インタフェース、14 ディスプレイインタフェース、15 処理回路、21 画像生成部、22 複雑度判定部、23 表示制御部、31 ナビゲーション装置、32 表示装置、33 測位装置、34 撮像装置、41 支援画像、51 対象物、52 道路、53 立木、54 構造物、55 不可視エリア、61 基準位置、62 点、63 視点位置、71 表示対象エリア、72 高さ距離、73 水平距離、74 領域、100 移動体。

Claims (7)

  1. 移動体の視点位置から観察される風景に含まれる対象物を指し示す支援画像を前記風景に重畳するように表示する支援画像表示装置において、
    前記対象物の基準位置を指し示す前記支援画像を生成する画像生成部と、
    前記対象物の周囲の前記風景の複雑度に応じて、前記画像生成部によって生成された支援画像の位置を変化させた上で前記支援画像を表示させる表示制御部と
    を備える支援画像表示装置。
  2. 前記支援画像表示装置は、さらに、
    前記画像生成部によって生成された支援画像の背景となる領域の風景の複雑度が閾値よりも高いか否かを判定する複雑度判定部
    を備え、
    前記表示制御部は、前記背景となる領域の風景の複雑度が前記閾値よりも高い場合には、前記基準位置の周囲の領域のうち複雑度が低い領域に前記支援画像の位置を変化させた上で前記支援画像を表示させる
    請求項1に記載の支援画像表示装置。
  3. 前記複雑度判定部は、前記背景となる領域の風景の2次元空間周波数を計算して前記複雑度を特定する
    請求項2に記載の支援画像表示装置。
  4. 前記複雑度判定部は、前記基準位置の周囲を複数に分割した各領域についての2次元空間周波数を計算して、前記各領域についての前記複雑度を特定し、
    前記表示制御部は、前記背景となる領域の複雑度が前記閾値よりも高い場合には、前記複雑度判定部によって特定された複雑度が低い領域に前記支援画像の位置を変化させた上で前記支援画像を表示させる
    請求項3に記載の支援画像表示装置。
  5. 前記表示制御部は、前記支援画像によって指し示された位置が移動体から視認できる位置となるように、前記支援画像の位置を変化させた上で前記支援画像を表示させる
    請求項1から4までのいずれか1項に記載の支援画像表示装置。
  6. 移動体の視点位置から観察される風景に含まれる対象物を指し示す支援画像を前記風景に重畳するように表示する支援画像表示方法において、
    コンピュータが、前記対象物の基準位置を指し示す前記支援画像を生成し、
    コンピュータが、前記対象物の周囲の前記風景の複雑度に応じて、前記支援画像の位置を変化させた上で前記支援画像を表示させる支援画像表示方法。
  7. 移動体の視点位置から観察される風景に含まれる対象物を指し示す支援画像を前記風景に重畳するように表示する支援画像表示プログラムにおいて、
    前記対象物の基準位置を指し示す前記支援画像を生成する画像生成処理と、
    前記対象物の周囲の前記風景の複雑度に応じて、前記画像生成処理によって生成された支援画像の位置を変化させた上で前記支援画像を表示させる表示制御処理と
    をコンピュータに実行させる支援画像表示プログラム。
JP2016575976A 2016-06-20 2016-06-20 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム Expired - Fee Related JP6214798B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/068246 WO2017221293A1 (ja) 2016-06-20 2016-06-20 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

Publications (2)

Publication Number Publication Date
JP6214798B1 JP6214798B1 (ja) 2017-10-18
JPWO2017221293A1 true JPWO2017221293A1 (ja) 2018-06-21

Family

ID=60107354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016575976A Expired - Fee Related JP6214798B1 (ja) 2016-06-20 2016-06-20 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

Country Status (5)

Country Link
US (1) US20210241538A1 (ja)
JP (1) JP6214798B1 (ja)
CN (1) CN109313041A (ja)
DE (1) DE112016006856T5 (ja)
WO (1) WO2017221293A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019095213A (ja) 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02227340A (ja) * 1989-03-01 1990-09-10 Hitachi Ltd 端末装置
JP3473321B2 (ja) * 1997-05-09 2003-12-02 トヨタ自動車株式会社 車両用表示装置
US8503762B2 (en) * 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
CN102314315B (zh) * 2010-07-09 2013-12-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
JP2013174667A (ja) * 2012-02-23 2013-09-05 Nippon Seiki Co Ltd 車両用表示装置
JP6176541B2 (ja) * 2014-03-28 2017-08-09 パナソニックIpマネジメント株式会社 情報表示装置、情報表示方法及びプログラム
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program

Also Published As

Publication number Publication date
US20210241538A1 (en) 2021-08-05
DE112016006856T5 (de) 2019-02-07
WO2017221293A1 (ja) 2017-12-28
CN109313041A (zh) 2019-02-05
JP6214798B1 (ja) 2017-10-18

Similar Documents

Publication Publication Date Title
US10282915B1 (en) Superimposition device of virtual guiding indication and reality image and the superimposition method thereof
JP5962594B2 (ja) 車載表示装置およびプログラム
JP6695049B2 (ja) 表示装置及び表示制御方法
US11158190B2 (en) Recommended driving output device, recommended driving output method and recommended driving output system
JP2009232310A (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
JP6820561B2 (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
JP6277933B2 (ja) 表示制御装置、表示システム
JP2009236844A (ja) ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラム
US11548387B2 (en) Information processing device, information processing method, computer program product, and moving object
JP6186905B2 (ja) 車載表示装置およびプログラム
JP6214798B1 (ja) 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
JP4533191B2 (ja) 三次元地図表示装置および三次元地図表示プログラム
JP6342089B2 (ja) 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
US10743127B2 (en) Apparatus and associated methods for presentation of augmented reality content
JP2014037172A (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
US10628917B2 (en) Information processing apparatus, information processing method, and computer program product
WO2011121788A1 (ja) ナビゲーション装置、情報表示装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体
JP6385621B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP6644256B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6037985B2 (ja) 表示画像生成装置、表示画像生成方法
JP2009019970A (ja) ナビゲーション装置
JP6444514B2 (ja) 表示制御装置、表示装置および経路案内方法
JP4858017B2 (ja) 運転支援装置
JP2018050180A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170919

R150 Certificate of patent or registration of utility model

Ref document number: 6214798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees