JPWO2018088224A1 - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、及び、移動体 Download PDF

Info

Publication number
JPWO2018088224A1
JPWO2018088224A1 JP2018550134A JP2018550134A JPWO2018088224A1 JP WO2018088224 A1 JPWO2018088224 A1 JP WO2018088224A1 JP 2018550134 A JP2018550134 A JP 2018550134A JP 2018550134 A JP2018550134 A JP 2018550134A JP WO2018088224 A1 JPWO2018088224 A1 JP WO2018088224A1
Authority
JP
Japan
Prior art keywords
moving
image
moving body
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018550134A
Other languages
English (en)
Inventor
弘和 橋本
弘和 橋本
圭祐 齊藤
圭祐 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp filed Critical Sony Corp
Publication of JPWO2018088224A1 publication Critical patent/JPWO2018088224A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

本技術は、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができるようにする情報処理装置、情報処理方法、プログラム、及び、移動体に関する。情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部とを備える。本技術は、例えば、動体への衝突又は接触を防止するための運転支援を行う装置、システム又は車両に適用できる。

Description

本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、周辺の動体との衝突又は接触の危険性を通知する場合に用いて好適な情報処理装置、情報処理方法、プログラム、及び、移動体に関する。
従来、車両、自転車、歩行者等との衝突又は接触の危険性を運転者に通知する技術が開発されている。例えば、車両の周辺を撮像した画像において、ゼブラパターン等の動的パターンを車両に接近する接近対象物に付与して表示することが提案されている（例えば、特許文献１参照）。
特開２０１４−２３９３２６号公報
一方、今後、自動運転の普及に伴い、運転操作の少なくとも一部の自動化が進むことにより、運転技量の低い運転者が運転する機会が増えることが予想される。これに対して、より確実に事故を防止するために、衝突又は接触の危険性をより確実に運転者に認識させることが望まれている。
本技術は、このような状況に鑑みてなされたものであり、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができるようにするものである。
本技術の第１の側面の情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部とを備える。
前記第１の画像には、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含ませることができる。
前記バーの幅を、前記動体の幅により変化させることができる。
前記第１の画像には、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含ませることができる。
前記扇形の図形の角度を、前記動体の移動方向の予測精度により変化させることができる。
前記画像処理部には、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させることができる。
前記画像処理部には、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させることができる。
前記画像処理部には、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御させることができる。
前記画像処理部には、前記動体の位置を示す第２の画像を生成させることができる。
前記第２の画像には、前記動体を囲むフレームを含ませることができる。
前記画像処理部には、前記動体の種類に基づいて、前記第２の画像を変化させることができる。
前記動体の種類を、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類することができる。
前記画像処理部には、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させることができる。
前記画像処理部には、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させることができる。
前記画像処理部には、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させることができる。
前記画像処理部には、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御させることができる。
前記検出された動体の動きを予測する動き予測部をさらに設けることができる。
本技術の第２の側面の情報処理方法は、移動体の周辺の動体の検出を行う動体検出ステップと、移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップとを含む。
本技術の第２の側面のプログラムは、移動体の周辺の動体の検出を行う動体検出ステップと、移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップとを含む処理をコンピュータに実行させる。
本技術の第３の側面の移動体は、本体に配置され周辺の状況の検出に用いるセンサと、前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、前記検出された動体の動きを予測する動き予測部と、前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部とを備える。
本技術の第１の側面又は第２の側面においては、移動体周辺の動体の検出が行われ、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される画像が生成される。
本技術の第３の側面においては、周辺の動体が検出され、前記検出された動体の動きが予測され、前記検出された動体の移動方向及び移動速度により形状が変化する画像が表示される。
本技術の第１の側面乃至第３の側面によれば、移動体の周辺の動体の移動方向及び移動速度が示される。特に、本技術の第１の側面乃至第３の側面によれば、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した車載システムの一実施の形態を示すブロック図である。 カメラの設置位置の例を示す図である。 表示部の設置位置の例を示す図である。 周辺監視処理を説明するためのフローチャートである。 周辺監視画像における周辺画像の配置例を示す図である。 周辺監視画像の第１の例を示す図である。 グリッドの表示位置を説明するための図である。 周辺監視画像の第２の例を示す図である。 周辺監視画像の第３の例を示す図である。 周辺監視画像の第４の例を示す図である。 周辺監視画像の第５の例を示す図である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．実施の形態
２．変形例
３．その他
＜＜１．実施の形態＞＞
＜１−１．車載システムの構成例＞
図１は、本技術を適用した車載システムの一実施の形態を示すブロック図である。
車載システム１０は、車両に搭載され、運転支援を行うシステムである。例えば、車載システム１０は、車両の周辺を監視し、周辺の車両、自転車、人等との衝突又は接触を防止するための処理を行う。より具体的には、車載システム１０は、衝突又は接触の危険性の通知、及び、衝突又は接触を回避するためのブレーキシステム等の制動装置の制御等を行う。
なお、車載システム１０が搭載される車両は、特に限定されるものではなく、例えば、三輪トラック、小型トラック、小型乗用車、大型乗用車、大型バス、大型トラック、大型特殊車、小型特殊車等を含む。また、以下、車載システム１０が搭載されている車両を自車両とも称し、自車両以外の車両を他車両とも称する。
車載システム１０は、周辺センサ１１、車両情報センサ１２、情報処理部１３、表示部１４、制動制御部１５、及び、制動装置１６を備える。
周辺センサ１１は、自車両の周辺の状況の検出に用いる各種のセンサを備える。例えば、周辺センサ１１は、自車両の周辺を撮影するカメラ（画像センサ）、自車両に近い物体の検出に用いる近距離センサ、並びに、自車両から遠い物体の検出に用いる遠距離センサ等を備える。近距離センサとしては、例えば、超音波センサ等が挙げられる。遠距離センサとしては、例えば、レーダ、ライダ、ＴＯＦ（Time of Flight）センサ等が挙げられる。周辺センサ１１の各センサは、それぞれ検出結果を含む情報を示すデータ（以下、周辺センサデータと称する）を周辺状況検出部３１に供給する。
なお、以下、周辺センサ１１の各カメラにより撮影された画像を周辺画像と称し、周辺画像を示すデータを周辺画像データと称する。周辺画像データは、周辺センサデータの一種である。
車両情報センサ１２は、自車両の動きの検出に用いる各種のセンサを備える。例えば、車両情報センサ１２は、速度センサ、操舵角センサ、ＧＰＳ（global positioning system）受信機等を備える。車両情報センサ１２は、それぞれ検出結果を示すデータ（以下、車両センサデータと称する）を動き予測部３２に供給する。
なお、自車両に予め備えられているセンサを、周辺センサ１１及び車両情報センサ１２の一部又は全部に用いるようにしてもよい。
情報処理部１３は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。情報処理部１３は、周辺状況検出部３１、動き予測部３２、衝突予測部３３、及び、ＨＭＩ（Human Machine Interface）制御部３４を備える。
周辺状況検出部３１は、周辺センサデータに基づいて、自車両の周辺の状況の検出を行う。周辺状況検出部３１は、空間生成部４１及び動体検出部４２を備える。
空間生成部４１は、周辺センサデータに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する。空間生成部４１は、３次元空間マップを動き予測部３２及びＨＭＩ制御部３４に供給する。また、空間生成部４１は、周辺センサデータのうち周辺画像データをＨＭＩ制御部３４に供給する。
動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３４に供給する。
動き予測部３２は、車両センサデータに基づいて、自車両の動き予測を行う。また、動き予測部３２は、３次元空間マップ及び動体の検出結果に基づいて、自車両の周辺の動体の動き予測を行う。動き予測部３２は、自車両及び自車両の周辺の動体の動きの予測結果を衝突予測部３３及びＨＭＩ制御部３４に供給する。
衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体の衝突予測を行う。衝突予測部３３は、衝突予測の結果をＨＭＩ制御部３４及び制動制御部１５に供給する。
ＨＭＩ制御部３４は、自車両のＨＭＩの制御を行う。例えば、ＨＭＩ制御部３４は、３次元空間マップ、自車両の周辺の動体の検出結果、並びに、自車両の周辺の動体の動き予測及び衝突予測の結果に基づいて、自車両の周辺の状況を示す周辺監視画像を表示するための周辺監視画像データを生成する。ＨＭＩ制御部３４は、周辺監視画像データを表示部１４に供給し、周辺監視画像を表示させる。この場合、ＨＭＩ制御部３４は、画像処理部として機能する。
表示部１４は、例えば、各種のディスプレイ等により構成される。表示部１４は、ＨＭＩ制御部３４の制御の下に、周辺監視画像等の各種の画像を表示する。
制動制御部１５は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。制動制御部１５は、衝突予測部３３による衝突予測結果に基づいて、制動装置１６を制御して、自車両の緊急停止等を行う。
制動装置１６は、例えば、自車両のブレーキシステム等により構成される。
＜１−２．カメラの配置例＞
図２は、周辺センサ１１が備えるカメラの配置例を示している。
カメラ１０１は、例えば車両１００のフロントバンパーの左端付近に配置される。カメラ１０１は、運転者の死角となる領域を含む車両１００の左方向を撮影し、撮影の結果得られた画像（以下、左画像と称する）を示す画像データを周辺状況検出部３１に供給する。
カメラ１０２は、例えば車両１００のフロントバンパーの右端付近に配置される。カメラ１０２は、運転者の死角となる領域を含む車両１００の右方向を撮影し、撮影の結果得られた画像（以下、右画像と称する）を示す画像データを周辺状況検出部３１に供給する。
カメラ１０３は、例えば車両１００のフロントグリル近傍に配置される。カメラ１０２は、運転者の死角となる領域を含む車両１００の前方を撮影し、撮影の結果得られた画像（以下、前方画像Ａと称する）を示す画像データを周辺状況検出部３１に供給する。
カメラ１０４は、例えば車両１００の室内のルームミラー近傍に配置される。カメラ１０４は、車両１００の前方を撮影し、撮影の結果得られた画像（以下、前方画像Ｂと称する）を示す画像データを周辺状況検出部３１に供給する。
＜１−３．表示部１４の配置例＞
図３は、表示部１４の配置例を示している。
表示部１４については、自車両に予め備えられている装備を利用してもよいし、専用のディスプレイ等を設けてもよい。例えば、自車両のカーナビゲーションシステムのディスプレイ１３１や、インストルメントパネル１３２を表示部１４として用いることが可能である。また、例えば、表示部１４を自車両のウインドシールド１３３の運転席の前方の領域Ｐ１に重畳して設けられる透過型ディスプレイにより構成することが可能である。
＜１−４．周辺監視処理＞
次に、図４のフローチャートを参照して、車載システム１０により実行される周辺監視処理について説明する。この処理は、例えば、自車両を起動し、運転を開始するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ１において、情報処理部１３は、センサ情報を取得する。具体的には、周辺状況検出部３１は、周辺センサ１１の各センサから周辺センサデータを取得する。動き予測部３２は、車両情報センサ１２の各センサから車両センサデータを取得する。
ステップＳ２において、空間生成部４１は、空間生成処理を行う。すなわち、空間生成部４１は、周辺センサデータに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する（或いは、更新する）。なお、自車両の周辺の物体には、動体だけでなく、静止物（例えば、建物、路面等）も含まれる。空間生成部４１は、生成した３次元空間マップを動き予測部３２及びＨＭＩ制御部３４に供給する。
なお、３次元空間マップの生成方法には、任意の方法を用いることが可能である。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術が用いられる。
ステップＳ３において、動体検出部４２は、動体検出を行う。具体的には、動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。例えば、動体検出部４２は、自車両の周辺の動体の有無、動体の種類、大きさ、形状、位置等の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３４に供給する。
なお、動体の検出方法には、任意の方法を用いることが可能である。また、検出対象となる動体には、実際に動いている動体だけでなく、停車中の車両や自転車、停止中の歩行者等の一時的に静止している動体も含まれる。
さらに、動体検出部４２は、例えば、３次元空間マップを用いずに、周辺センサデータのみに基づいて、自車両の周辺の動体の検出を行うことも可能である。この場合、ステップＳ２とステップＳ３の処理を入れ替えることが可能である。
ステップＳ４において、動体検出部４２は、ステップＳ３の処理の結果に基づいて、周辺に動体が存在するか否かを判定する。周辺に動体が存在しないと判定された場合、処理はステップＳ１に戻る。
その後、ステップＳ４において、周辺に動体が存在すると判定されるまで、ステップＳ１乃至ステップＳ４の処理が繰り返し実行される。
一方、ステップＳ４において、周辺に動体が存在すると判定された場合、処理はステップＳ５に進む。
ステップＳ５において、動き予測部３２は、動き予測を行う。具体的には、動き予測部３２は、車両センサデータに基づいて、自車両の移動速度及び移動方向等の予測を行う。また、動き予測部３２は、３次元空間マップ、及び、自車両の周辺の動体の検出結果に基づいて、自車両の周辺の動体の移動速度及び移動方向等の予測を行う。動き予測部３２は、予測結果を衝突予測部３３及びＨＭＩ制御部３４に供給する。
なお、動き予測の方法には、任意の方法を用いることが可能である。
ステップＳ６において、衝突予測部３３は、衝突予測を行う。具体的には、衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体が自車両に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突又は接触するまでの所要時間（以下、衝突予測時間と称する）を予測する。
また、衝突予測部３３は、各動体が自車両に衝突又は接触する危険度を予測し、あらかじめ決められた定義に基づきランクを設定する。例えば、静止中の動体、及び、自車両から離れる方向に移動中の動体は、危険度１に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒（例えば、５秒）を超える動体は、危険度２に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒以内、かつ、Ｔ２秒（例えば１秒）を超える動体は、危険度３に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ２秒以内である動体は、危険度４に設定される。
なお、静止中の動体、及び、自車両から離れる方向に移動中の動体についても、衝突予測時間に基づいて、危険度２乃至４のいずれかに設定するようにしてもよい。
衝突予測部３３は、衝突予測の結果をＨＭＩ制御部３４及び制動制御部１５に供給する。
ステップＳ７において、衝突予測部３３は、衝突又は接触の危険性があるか否かを判定する。例えば、衝突予測部３３は、自車両の周辺に危険度３以上の動体が存在しない場合、衝突及び接触の危険性がないと判定し、処理はステップＳ１に戻る。
その後、ステップＳ７において、衝突又は接触の危険性があると判定されるまで、ステップＳ１乃至ステップＳ７の処理が繰り返し実行される。
一方、ステップＳ７において、例えば、衝突予測部３３は、自車両の周辺に危険度３以上の動体が存在する場合、衝突又は接触の危険性があると判定し、処理はステップＳ８に進む。
ステップＳ８において、ＨＭＩ制御部３４は、動体種別を設定する。例えば、ＨＭＩ制御部３４は、動体検出部４２により検出された動体を、車両、モータバイク、自転車、歩行者、及び、その他の５種類に分類する。なお、モータバイクも車両の一種であるが、ここでは、モータバイクと、それ以外の車両とが区別されている。
ステップＳ９において、ＨＭＩ制御部３４は、重畳画像の表示位置を算出する。重畳画像は、例えば、各動体の位置を示すフレーム（以下、動体フレームと称する）、及び、各動体の予測される動きを示すバー（以下、動き予測バーと称する）を含む。図８を参照して後述するように、運転者に提示される周辺監視画像において、動体フレーム及び動き予測バーが、動体毎に周辺画像に重畳して表示される。
そこで、ＨＭＩ制御部３４は、３次元空間マップにおける各動体の位置、並びに、各動体の進行方向から見た各動体の高さ及び幅等に基づいて、各動体に対応する動体フレームの３次元空間マップにおける表示位置を算出する。
また、ＨＭＩ制御部３４は、各動体の動き予測の結果に基づいて、３次元空間マップにおける各動体のｘ秒後（例えば、１秒後）の位置を算出する。次に、ＨＭＩ制御部３４は、３次元空間マップ上の各動体の現在位置とｘ秒後の位置とに基づいて、各動体に対応する動き予測バーの３次元空間マップ上の表示位置を算出する。例えば、ＨＭＩ制御部３４は、現在の各動体の進行方向の先端を始点とし、ｘ秒後の各動体の進行方向の先端を終点とすることにより、動き予測バーの長さ及び方向を算出する。
ステップＳ１０において、車載システム１０は、周辺の状況を提示する。具体的には、ＨＭＩ制御部３４は、３次元空間マップにおける重畳画像（動体フレーム及び動き予測バー等）の表示位置を、運転者に提示する周辺画像における表示位置に変換する。また、ＨＭＩ制御部３４は、３次元空間マップにおける路面の位置を周辺画像における表示位置に変換し、周辺画像における路面の位置を示すグリッドの表示位置を算出する。そして、ＨＭＩ制御部３４は、周辺監視画像を示す周辺監視画像データを生成し、表示部１４に供給し、周辺監視画像を表示させる。
ここで、図５乃至図９を参照して、周辺監視画像の具体例について説明する。
図５は、周辺監視画像における周辺画像の配置例を示している。
図５のＡの例では、左画像及び右画像が離れて配置されている。左右それぞれの画像は１つの表示部に表示されてもよいし、離れた位置に配置される２つの表示部に分けて表示されてもよい。
図５のＢの例では、左画像及び右画像が左右に並べて配置されている。
図５のＣの例では、左画像、前方画像（前方画像Ａ又は前方画像Ｂのいずれか）、及び、右画像が左右に並べて配置されている。
図５のＤの例では、左画像、前方画像Ａ及び前方画像Ｂの少なくとも一方、並びに、右画像に基づいて生成されたパノラマ画像が配置されている。
図６は、周辺監視画像の具体例を示している。なお、図６には、周辺監視画像のうち、図５のＡ乃至図５のＣの右画像が表示される部分の例が示されている。また、自車両の周辺に動体が存在しない場合の例が示されている。
周辺監視画像には、信号２０１及び周辺画像２０２（この例では、右画像）が上下に並べて配置されている。
信号２０１は、周辺画像内の実世界の信号とは別に独自に表示されるものであり、自車両の周辺の全体的な危険度を示す。例えば、周辺画像２０２内に危険度が３以上の動体が存在しない場合、安全であることを示す信号２０１の青色のランプが点灯する。例えば、周辺画像２０２内に危険度３の動体が存在し、危険度４の動体が存在しない場合、注意が必要であることを示す信号２０１の黄色のランプが点灯する。例えば、周辺画像２０２内に危険度４の動体が存在する場合、危険であることを示す信号２０１の赤色のランプが点灯する。
なお、信号２０１は、周辺監視画像内の周辺画像毎に表示するようにしてもよいし、全ての周辺画像に対して１つのみ表示するようにしてもよい。前者の場合、各周辺画像内の動体の危険度に基づいて、各周辺画像に対応する信号２０１の点灯するランプが個別に切り替わる。後者の場合、全ての周辺画像内の動体の危険度に基づいて、信号２０１の点灯するランプが切り替わる。
また、周辺画像２０２内の路面には、グリッドが重畳して表示されている。これにより、運転者が、路面の位置、及び、路面上の動体等の位置や移動方向を把握しやすくなる。このグリッドは、例えば、図７に示されるように、交差点の位置に合わせて表示される。
図８は、図６の周辺監視画像の周辺画像２０２内に動体が存在する場合の例を示している。この例では、車両２２１、自転車２２２、及び、歩行者２２３が、周辺画像２０２内に存在する。
車両２２１は、右方向から自車両に接近している。そして、車両２２１に関連づけて、動体フレームＦ１及び動き予測バーＭ１が表示されている。
動体フレームＦ１は、車両２２１の前方を囲んでいる。従って、動体フレームＦ１のサイズは、周辺画像２０２内の車両２２１の前方の高さ及び幅に合わせて設定される。動体フレームＦ１の上辺には、動体フレームＦ１内の動体の種類が車両であることを示すマークが表示されている。
動き予測バーＭ１は、車両２２１が走行中の路面に重畳して表示される図形で、車両２２１の移動方向及び移動速度によりその形状が変化する。具体的には、動き予測バーＭ１は、動体フレームＦ１の下辺から路面に沿って車両２２１の移動方向に伸びている。動き予測バーＭ１の先端は、ｘ秒後の車両２２１の先端の予測位置に設定される。従って、動き予測バーＭ１の車両２２１の移動方向の長さは、車両２２１の速度に応じて伸縮する。この動き予測バーＭ１の伸縮により、車両２２１の加速度が示される。例えば、車両２２１が定速走行をしている場合、動き予測バーＭ１の長さはほぼ一定に保たれる。車両２２１が加速している場合、動き予測バーＭ１は次第に長くなる。車両２２１が減速している場合、動き予測バーＭ１は次第に短くなる。また、車両２２１の移動方向に合わせて、動き予測バーＭ１の向きが変化する。動き予測バーＭ１の幅は、動体フレームＦ１の幅（車両２２１の前方の幅）に合わせられる。
運転者は、動体フレームＦ１により、車両２２１の存在及び現在位置を容易に把握することができる。また、運転者は、動き予測バーＭ１により、車両２２１の予測される動きを容易に把握することができる。
自転車２２２は、右方向から自車両に接近している。そして、自転車２２２に関連づけて、動体フレームＦ２及び動き予測バーＭ２が表示されている。
動体フレームＦ２は、自転車２２２の前方を囲んでいる。従って、動体フレームＦ２のサイズは、周辺画像２０２内の自転車２２２及びその運転者の前方の高さ及び幅に合わせて設定される。動体フレームＦ２の上辺には、動体フレームＦ２内の動体の種類が自転車であることを示すマークが表示されている。
動き予測バーＭ２は、自転車２２２が走行中の路面に重畳して表示され、自転車２２２の移動方向及び移動速度により形状が変化する。具体的には、動き予測バーＭ２は、動体フレームＦ２の下辺から路面に沿って自転車２２２の移動方向に伸びている。動き予測バーＭ２の先端は、ｘ秒後の自転車２２２の先端の予測位置に設定される。従って、動き予測バーＭ２の自転車２２２の移動方向の長さは、動き予測バーＭ１と同様に、自転車２２２の速度に応じて伸縮する。また、自転車２２２の移動方向に合わせて、動き予測バーＭ２の向きが変化する。動き予測バーＭ２の幅は、動体フレームＦ２の幅（自転車２２２及びその運転者の前方の幅）に合わせられる。
運転者は、動体フレームＦ２により、自転車２２２の存在及び現在位置を容易に把握することができる。また、運転者は、動き予測バーＭ２により、自転車２２２の予測される動きを容易に把握することができる。
歩行者２２３は、自車両の右方向において静止している。従って、歩行者２２３に関連づけて、動体フレームＦ３のみが表示され、動き予測バーは表示されていない。
動体フレームＦ３は、歩行者２２３の前方を囲んでいる。従って、動体フレームＦ３のサイズは、周辺画像２０２内の歩行者２２３の前方の高さ及び幅に合わせて設定される。動体フレームＦ３の上辺には、動体フレームＦ３内の動体の種類が歩行者であることを示すマークが表示されている。
運転者は、動体フレームＦ３により、歩行者２２３の存在及び現在位置を容易に把握することができる。
また、例えば、重畳画像（動体フレーム及び動き予測バー）の色は、対応する動体の危険度に基づいて変化する。例えば、危険度１の動体に対応する動体フレーム及び動き予測バーの色は、白に設定される。危険度２の動体に対応する動体フレーム及び動き予測バーの色は、緑に設定される。危険度３の動体に対応する動体フレーム及び動き予測バーの色は、黄に設定される。危険度４の動体に対応する動体フレーム及び動き予測バーの色は、赤に設定される。これにより、運転者は、各動体の危険度を容易に把握することができる。
なお、図８の例では、各動き予測バーを色分けできないため、異なるパターンで示している。
図９は、車両２２１が危険度４の場合の周辺監視画像の例を示している。この場合、信号２０１の赤のランプが点灯する。また、図８の例と同様に、車両２２１に関連づけて、動体フレームＦ１１及び動き予測バーＭ１１が表示される。ただし、動体フレームＦ１１及び動き予測バーＭ１１の色は、車両２２１が危険度４であることを示す赤に設定される。また、動体フレームＦ１１内に、運転者に注意を促すマークが表示される。
これにより、運転者は、周辺の動体との衝突又は接触の危険性を迅速に把握し、事故を回避するための対処を行うことができる。
なお、危険度４の動体が複数存在する場合、それらの全てに対して、図９に示される動体フレームを表示するようにしてもよいし、或いは、最も危険度が高い動体（例えば、最も衝突予測時間が短い動体）に対してのみ、図９に示される動体フレームを表示するようにしてもよい。
図４に戻り、ステップＳ１１において、制動制御部１５は、緊急停止が必要であるか否かを判定する。例えば、制動制御部１５は、自車両の周辺の動体の中に危険度４の動体が存在しない場合、緊急停止の必要がないと判定し、処理はステップＳ１に戻る。
その後、ステップＳ１１において、緊急停止が必要であると判定されるまで、ステップＳ１乃至ステップＳ１１の処理が繰り返し実行される。
一方、ステップＳ１１において、例えば、制動制御部１５は、自車両の周辺の動体の中に危険度４の動体が存在する場合、緊急停止の必要があると判定し、処理はステップＳ１２に進む。
ステップＳ１２において、制動制御部１５は、制動装置１６を制御して、自車両を緊急停止させる。これにより、自車両の周辺の動体との衝突又は接触が防止される。
その後、周辺監視処理は終了する。
以上のようにして、自車両の周辺の動体との衝突又は接触の危険性を分かりやすく通知することができ、運転者が衝突又は接触の危険性を確実に認識することができる。また、危険度４の動体が存在する場合、緊急停止が行われるため、事故の発生が防止される。
＜＜２．変形例＞＞
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
＜２−１．重畳画像に関する変形例＞
例えば、上述した動き予測バー以外の画像を用いて、動体の予測される動きを示すようにしてもよい。
例えば、図１０の扇形の図形Ｍ２１により、車両２２１の予測される動きを示すようにしてもよい。図形Ｍ２１は、路面上に表示され、車両２２１の移動方向に広がっている。その角度（広がり）は、例えば、車両の移動方向の予測精度に基づいて設定される。例えば、予測精度が高い場合、すなわち車両２２１の移動方向の予測結果のバラツキが小さい場合、扇形の角度は小さくなる。一方、予測精度が低い場合、すなわち車両２２１の移動方向の予測結果のバラツキが大きい場合、扇形の角度は大きくなる。また、上述した動き予測バーと同様に、図形Ｍ２１の車両２２１の移動方向の長さは、車両２２１の移動速度により変化し、図形Ｍ２１の向きは、車両２２１の移動方向により変化する。
また、例えば、図１１の楕円形の図形Ｍ３１により、車両２２１の予測される動きを示すようにしてもよい。図形Ｍ３１は、路面上において、車両２２１の周囲を囲んでいる。上述した動き予測バーと同様に、図形Ｍ３１の車両２２１の移動方向の長さは、車両２２１の移動速度により変化し、図形Ｍ３１の向きは、車両２２１の移動方向により変化する。
さらに、例えば、動体フレームを、動体のエッジを縁取った形状にしてもよい。これにより、運転者は、自車両の周辺の動体の形状をより把握しやすくなる。
また、例えば、動体の種類により、動体フレームの表示効果（色、形状等）を変化させるようにしてもよい。さらに、例えば、車両、モータバイク、自転車、歩行者、及び、その他の５種類以外の種類に動体を分類し、動体の種類により、動体フレームの表示効果を変化させるようにしてもよい。
また、周辺画像内に動体が多く存在する場合、全ての動体に対して重畳画像を表示すると、かえって画像が見づらくなる場合がある。そこで、例えば、各動体の危険度に基づいて、重畳画像の表示の有無を制御することにより、重畳画像を表示する動体の数を制限するようにしてもよい。
例えば、危険度が上位のｎ個の動体（例えば、衝突予測時間が短い順に上位のｎ個の動体）に対してのみ重畳画像を表示するようにしてもよい。また、例えば、周辺画像内の動体の数が所定の閾値を超える場合、危険度が所定の閾値以上（例えば、危険度３以上）の動体に対してのみ、重畳画像を表示するようにしてもよい。
また、以上の説明では、対応する動体の危険度に応じて重畳画像の色を変化させる例を示したが、他の表示効果を変化させるようしてもよい。例えば、動体バーの透過度や模様を変化させるようにしてもよい。また、例えば、重畳画像の色と透過度のように複数の表示効果を変化させるようにしてもよい。さらに、例えば、危険度４の動体に対する重畳画像を点滅させてもよい。
また、例えば、表示部１４が自車両のウインドシールド部分に重畳して設けられた透過型ディスプレイにより構成される場合、自車両の運転者等の搭乗者の視界に対して、ＡＲ（拡張現実）等により重畳画像を重畳させることが可能である。
＜２−２．システムの構成に関する変形例＞
図１の車載システム１０の構成例は、その一例であり、必要に応じて変更することが可能である。
例えば、情報処理部１３を複数に分割したり、情報処理部１３の一部と制動制御部１５とを組み合わせたり、制動制御部１５を情報処理部１３に含めたりすることが可能である。
また、例えば、周辺センサデータの一部を、自車両の外部（例えば、車道沿い）に設けられたセンサから取得するようにすることが可能である。
＜２−３．適用例＞
本技術は、車両以外の移動体にも適用することが可能である。例えば、モータバイクを運転する運転者のヘルメットのシールドに重畳して設けられた透過型ディスプレイにより、運転者の視界に対して、ＡＲ等により重畳画像を重畳させることが可能である。
また、以上の説明では、主に運転者に対して重畳画像を表示する例を示したが、運転者以外の搭乗者に対して、重畳画像を表示するようにしてもよい。さらに、例えば、車両が全自動運転される場合、実質的に車両内に運転者が存在しない可能性があるが、その車両に搭乗している搭乗者に対して重畳画像を表示するようにしてもよい。
＜＜３．その他＞＞
＜３−１．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、及びドライブ４１０が接続されている。
入力部４０６は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜３−２．構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部と
を備える情報処理装置。
（２）
前記第１の画像は、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含む
前記（１）に記載の情報処理装置。
（３）
前記バーの幅は、前記動体の幅により変化する
前記（２）に記載の情報処理装置。
（４）
前記第１の画像は、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含む
前記（１）に記載の情報処理装置。
（５）
前記扇形の図形の角度は、前記動体の移動方向の予測精度により変化する
前記（４）に記載の情報処理装置。
（６）
前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させる
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記画像処理部は、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させる
前記（６）に記載の情報処理装置。
（８）
前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記画像処理部は、前記動体の位置を示す第２の画像を生成する
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記第２の画像は、前記動体を囲むフレームを含む
前記（９）に記載の情報処理装置。
（１１）
前記画像処理部は、前記動体の種類に基づいて、前記第２の画像を変化させる
前記（９）又は（１０）に記載の情報処理装置。
（１２）
前記動体の種類は、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類される
前記（１１）に記載の情報処理装置。
（１３）
前記画像処理部は、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させる
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させる
前記（１３）に記載の情報処理装置。
（１５）
前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させる
前記（１３）又は（１４）に記載の情報処理装置。
（１６）
前記画像処理部は、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御する
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記検出された動体の動きを予測する動き予測部を
さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
移動体の周辺の動体の検出を行う動体検出ステップと、
移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
を含む情報処理方法。
（１９）
移動体の周辺の動体の検出を行う動体検出ステップと、
移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
を含む処理を実行させるためのプログラム。
（２０）
本体に配置され周辺の状況の検出に用いるセンサと、
前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、
前記検出された動体の動きを予測する動き予測部と、
前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部と
を備える移動体。
１０ 車載システム， １１ 周辺センサ， １２ 車両情報センサ， １３ 情報処理部， １４ 表示部， １５ 制動制御部， １６ 制動装置， ３１ 周辺状況検出部， ３２ 動き予測部， ３３ 衝突予測部， ３４ ＨＭＩ制御部， １００ 車両， １０１乃至１０４ カメラ， ２０１ 信号， ２０２ 周辺画像， Ｆ１乃至Ｆ３ 動体フレーム, Ｍ１乃至Ｍ１１ 動体バー， Ｍ２１，Ｍ３１ 図形

Claims (20)

  1. センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
    前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部と
    を備える情報処理装置。
  2. 前記第１の画像は、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含む
    請求項１に記載の情報処理装置。
  3. 前記バーの幅は、前記動体の幅により変化する
    請求項２に記載の情報処理装置。
  4. 前記第１の画像は、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含む
    請求項１に記載の情報処理装置。
  5. 前記扇形の図形の角度は、前記動体の移動方向の予測精度により変化する
    請求項４に記載の情報処理装置。
  6. 前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させる
    請求項１に記載の情報処理装置。
  7. 前記画像処理部は、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させる
    請求項６に記載の情報処理装置。
  8. 前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御する
    請求項１に記載の情報処理装置。
  9. 前記画像処理部は、前記動体の位置を示す第２の画像を生成する
    請求項１に記載の情報処理装置。
  10. 前記第２の画像は、前記動体を囲むフレームを含む
    請求項９に記載の情報処理装置。
  11. 前記画像処理部は、前記動体の種類に基づいて、前記第２の画像を変化させる
    請求項９に記載の情報処理装置。
  12. 前記動体の種類は、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類される
    請求項１１に記載の情報処理装置。
  13. 前記画像処理部は、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させる
    請求項１に記載の情報処理装置。
  14. 前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させる
    請求項１３に記載の情報処理装置。
  15. 前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させる
    請求項１３に記載の情報処理装置。
  16. 前記画像処理部は、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御する
    請求項１に記載の情報処理装置。
  17. 前記検出された動体の動きを予測する動き予測部を
    さらに備える請求項１に記載の情報処理装置。
  18. 移動体の周辺の動体の検出を行う動体検出ステップと、
    移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
    を含む情報処理方法。
  19. 移動体の周辺の動体の検出を行う動体検出ステップと、
    移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
    を含む処理をコンピュータに実行させるためのプログラム。
  20. 本体に配置され周辺の状況の検出に用いるセンサと、
    前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、
    前記検出された動体の動きを予測する動き予測部と、
    前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部と
    を備える移動体。
JP2018550134A 2016-11-09 2017-10-26 情報処理装置、情報処理方法、プログラム、及び、移動体 Pending JPWO2018088224A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016218521 2016-11-09
JP2016218521 2016-11-09
PCT/JP2017/038706 WO2018088224A1 (ja) 2016-11-09 2017-10-26 情報処理装置、情報処理方法、プログラム、及び、移動体

Publications (1)

Publication Number Publication Date
JPWO2018088224A1 true JPWO2018088224A1 (ja) 2019-09-26

Family

ID=62109239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018550134A Pending JPWO2018088224A1 (ja) 2016-11-09 2017-10-26 情報処理装置、情報処理方法、プログラム、及び、移動体

Country Status (5)

Country Link
US (1) US20200051435A1 (ja)
EP (1) EP3540712A4 (ja)
JP (1) JPWO2018088224A1 (ja)
CN (1) CN109891475A (ja)
WO (1) WO2018088224A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
DE102016220651A1 (de) * 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
US11155260B1 (en) * 2016-12-09 2021-10-26 United Services Automobile Association (Usaa) Autonomous vehicle entity vector-based situational awareness scoring matrix
KR20190033159A (ko) * 2017-09-21 2019-03-29 주식회사 만도 충돌 방지 제어 장치 및 방법
US11282493B2 (en) * 2018-10-05 2022-03-22 Westinghouse Air Brake Technologies Corporation Adaptive noise filtering system
JP7424375B2 (ja) * 2019-05-21 2024-01-30 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN110349425B (zh) * 2019-08-13 2020-11-13 浙江吉利汽车研究院有限公司 一种用于车路协同自动驾驶系统的重要目标生成方法
JP7472491B2 (ja) * 2019-12-24 2024-04-23 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム
DE102020115149A1 (de) * 2020-06-08 2021-12-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Anpassen eines Fahrverhaltens eines Kraftfahrzeugs
JP2023028536A (ja) * 2021-08-19 2023-03-03 トヨタ自動車株式会社 自動車
US11697435B1 (en) * 2022-12-09 2023-07-11 Plusai, Inc. Hierarchical vehicle action prediction

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4626025B2 (ja) * 2000-07-28 2011-02-02 アイシン精機株式会社 車両用接近危険度検出装置
DE10359413A1 (de) * 2003-12-18 2005-07-14 Robert Bosch Gmbh Display-Einrichtung für Kraftfahrzeuge und Verfahren zur Kollisionswarnung
DE102006011481A1 (de) * 2006-03-13 2007-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
US20120242505A1 (en) * 2010-03-16 2012-09-27 Takashi Maeda Road-vehicle cooperative driving safety support device
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
WO2011125135A1 (ja) * 2010-04-09 2011-10-13 株式会社 東芝 衝突回避支援装置
CN102170558B (zh) * 2010-12-30 2012-12-19 财团法人车辆研究测试中心 障碍物侦测警示系统及方法
JP5863481B2 (ja) * 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
CN102910130B (zh) * 2012-10-24 2015-08-05 浙江工业大学 一种现实增强型的驾驶辅助预警系统
DE102013210826A1 (de) * 2013-06-11 2014-12-11 Robert Bosch Gmbh Verfahren zum Betreiben einer Anzeigevorrichtung, Computer-Programmprodukt, Anzeigevorrichtung
CN105163972B (zh) * 2013-09-13 2017-12-05 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
JP6330341B2 (ja) * 2014-01-23 2018-05-30 株式会社デンソー 運転支援装置
JP2015176324A (ja) * 2014-03-14 2015-10-05 株式会社デンソー 車両用警告装置
JP6447011B2 (ja) * 2014-10-29 2019-01-09 株式会社デンソー 運転情報表示装置および運転情報表示方法
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법

Also Published As

Publication number Publication date
WO2018088224A1 (ja) 2018-05-17
EP3540712A1 (en) 2019-09-18
EP3540712A4 (en) 2019-11-20
CN109891475A (zh) 2019-06-14
US20200051435A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
WO2018088224A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US10589752B2 (en) Display system, display method, and storage medium
JP6084598B2 (ja) 標識情報表示システム及び標識情報表示方法
JP6447468B2 (ja) 運転支援装置
JP6639194B2 (ja) 情報表示装置
US9469298B2 (en) Driving support apparatus and driving support method
EP3219568A1 (en) Auto driving control system
JP7047763B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
JP2019515822A5 (ja)
JP7091311B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11873007B2 (en) Information processing apparatus, information processing method, and program
JP2010173619A (ja) ヘッドアップディスプレイ装置
CN109720343B (zh) 车辆控制设备
US10759334B2 (en) System for exchanging information between vehicles and control method thereof
JP7140067B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP2023112082A (ja) 車両用表示装置
JP2023139320A (ja) 制御装置
WO2018173454A1 (ja) 情報表示装置、情報表示方法及びプログラム
JP6599387B2 (ja) 情報報知装置、移動体及び情報報知システム
JP7004534B2 (ja) 車両の制御装置及び車両の制御方法
US20230373309A1 (en) Display control device
CN116935695A (zh) 用于具有增强现实抬头显示器的机动车辆的碰撞警告系统
JP6569356B2 (ja) 情報呈示装置及び情報呈示方法
WO2023157721A1 (ja) 車両制御装置、車両制御方法
US12017585B2 (en) Abnormality detection device, abnormality detection method, program, and information processing system