JP6577347B2 - 情報伝達装置、情報伝達方法およびプログラム - Google Patents

情報伝達装置、情報伝達方法およびプログラム Download PDF

Info

Publication number
JP6577347B2
JP6577347B2 JP2015227350A JP2015227350A JP6577347B2 JP 6577347 B2 JP6577347 B2 JP 6577347B2 JP 2015227350 A JP2015227350 A JP 2015227350A JP 2015227350 A JP2015227350 A JP 2015227350A JP 6577347 B2 JP6577347 B2 JP 6577347B2
Authority
JP
Japan
Prior art keywords
information
target object
vehicle
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015227350A
Other languages
English (en)
Other versions
JP2017097522A (ja
Inventor
雄磨 佐野
雄磨 佐野
豪 田崎
豪 田崎
学 西山
学 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015227350A priority Critical patent/JP6577347B2/ja
Priority to US15/258,934 priority patent/US9953228B2/en
Publication of JP2017097522A publication Critical patent/JP2017097522A/ja
Application granted granted Critical
Publication of JP6577347B2 publication Critical patent/JP6577347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の実施形態は、情報伝達装置、情報伝達方法およびプログラムに関する。
車両が安全で円滑に走行するためには、自車両の走行の安全に関わる対象物体(歩行者等)に対して、自車両の走行の安全を確保するための所定の情報を伝達することが望ましい。特に、運転に注意を払うドライバーがいない自動運転車両(自律走行型車両)が、安全で円滑に走行するためには、歩行者や自転車などの特別な通信手段を持たない相手に対して情報伝達を行う必要がある。
他者への情報伝達方法として、例えばドライバーが選択した情報を、車両の外部に向けて情報を表示する表示部に表示することで情報を伝達する技術が知られている。また、例えばドライバーの視線や、速度、ブレーキなどの走行情報から、ドライバーの意思を推定し、ドライバーの意思に基づいた情報を表示部に表示することで情報を伝達する技術も知られている。
特開平5−221263号公報 特開平8−127291号公報 特開2005−332297号公報
しかしながら、上述した従来の技術では、表示部に表示された情報が誰に向けた情報なのかが明確ではないため、車両側の意思を伝えたい相手に伝えられない可能性がある、という問題がある。
実施形態の情報伝達装置は、車両に搭載された情報伝達装置であって、第1の取得部と第1の算出部と第2の取得部と生成部とを備える。第1の取得部は、車両の速度および舵角を少なくとも含む走行情報を取得する。第1の算出部は、走行情報に基づいて、車両が移動する領域を示す自車領域を算出する。第2の取得部は、車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する。生成部は、対象物体位置情報が示す位置が自車領域に含まれている場合に、該対象物体位置情報が示す位置に存在する対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成し、生成した組を、車両の外部に向けて情報を表示する表示部に表示させる制御を行う。
第1の実施形態の情報伝達装置が有する機能の一例を示す図。 第1の実施形態の取得部の機能を説明するための図。 第1の実施形態の自車領域の一例を示す図。 第1の実施形態の自車領域の他の例を示す図。 第1の実施形態の対象物体の一例を示す図。 第1の実施形態の合成画像の一例を示す図。 第1の実施形態の情報伝達装置のハードウェア構成の一例を示す図。 第1の実施形態の情報伝達装置の動作例を示す図。 第2の実施形態の情報伝達装置が有する機能の一例を示す図。 第2の実施形態の対象物体領域の算出方法を説明するための図。 第2の実施形態の対象物体領域の算出方法を説明するための図。 変形例の対象物体領域の一例を説明するための図。 第3の実施形態で生成される対象物体情報を説明するための図。 第4の実施形態における組の表示方法を説明するための図。 変形例における組の表示方法を説明するための図。 変形例における組の表示方法を説明するための図。 変形例の自車両の構成を説明するための図。 第6の実施形態の情報伝達装置が有する機能の一例を示す図。
以下、添付図面を参照しながら、実施形態に係る情報伝達装置、情報伝達方法およびプログラムの実施形態を詳細に説明する。
(第1の実施形態)
図1は、本実施形態の情報伝達装置100が有する機能の一例を示す図である。本実施形態では、情報伝達装置100は、人による運転操作を介さずに自動的に走行することができる(自律走行することができる)自動運転車両に搭載されているが、これに限らず、情報伝達装置100が搭載される車両の種類は任意であり、例えば人による運転操作を介して走行する通常の車両に搭載される形態であってもよい。
図1に示すように、情報伝達装置100は、第1の取得部101と、第1の算出部102と、第2の取得部103と、生成部104とを有する。説明の便宜上、図1の例では、本実施形態に関する機能を主に例示しているが、情報伝達装置100が有する機能はこれらに限られるものではない。
第1の取得部101は、車両(自車両)の速度および舵角を少なくとも含む走行情報を取得する。本実施形態では、第1の取得部101は、車両(自車両)の周辺を撮像して得られる撮像画像を走行情報とともに取得する。本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。
図2に示すように、情報伝達装置100が搭載される車両には、撮像部301と、車速検出部302と、舵角検出部303とが設けられている。撮像部301は、車両の周辺を撮像する装置であり、例えばカメラで構成される。車速検出部302は、自車両の速度を検出する装置である。舵角検出部303は、自車両の舵角を検出する装置である。例えば舵角検出部303は、車両の進行方向を任意に変えるためのハンドル(ステアリング)の回転角度を舵角として検出することができる。
本実施形態では、撮像部301は所定の周期(予め定められたフレームレート)で車両の周辺を撮像し、第1の取得部101は、撮像部301による撮像で得られた撮像画像105を取得する。つまり、第1の取得部101は、所定の周期で撮像画像105を連続的に取得する。また、第1の取得部101は、撮像画像105の取得に同期して、車速検出部302により検出された速度を示す車速情報304、および、舵角検出部303により検出された舵角を示す舵角情報305を含む走行情報106を取得する。なお、本実施形態では、走行情報には、自車両の車幅を示す車幅情報などが含まれている。車幅情報は、情報伝達装置100内のメモリに予め記憶される形態であってもよいし、外部装置に記憶される形態であってもよい。例えば第1の取得部101は、撮像画像105の取得に同期して、情報伝達装置100内のメモリや外部装置にアクセスして車幅情報を取得することができる。
以上のようにして、第1の取得部101は、撮像画像105と走行情報106を所定の周期で連続的に取得する機能を有している。本実施形態の第1の取得部101は、撮像画像105および走行情報106を取得するたびに、その取得した撮像画像105および走行情報106を後述の第1の算出部102へ送るとともに、その取得した撮像画像105を後述の第2の取得部103および後述の生成部104の各々へ送る。なお、撮像画像105は、自車両に設置された1台の撮像部301による撮像で得られた画像であってもよいし、2台以上の撮像部301による撮像で得られた2以上の画像であってもよい。
図1に戻って説明を続ける。第1の算出部102は、走行情報106に基づいて、車両(自車両)が移動する領域を示す自車領域107を算出する。本実施形態では、第1の算出部102は、撮像画像105と走行情報106とに基づいて、撮像画像105のうち車両が移動する領域(今後移動する領域)を推定し、その推定結果を自車領域107として算出する。この例では、第1の算出部102は、第1の取得部101から撮像画像105および走行情報106を受け取るたびに、その受け取った撮像画像105および走行情報106や、過去に受け取った走行情報106などを用いて、自車領域107を算出する。
図3は、左車線を直進している際の自車両の自車領域107の一例を表す図である。直進走行の場合はハンドルを回転する操作は行われないため、舵角情報305が示す舵角の変化(最新の走行情報106に含まれる舵角情報305と、直前の走行情報106に含まれる舵角情報305との差分)はゼロを示すことになる。この場合、第1の算出部102は、今後の自車両の進行方向は直進方向であると推定することができる。この場合、第1の算出部102は、車幅分の幅(前述の車幅情報が示す幅)を持ち、かつ、車速情報304が示す車速に応じた長さで自車両の前方に延びる領域を推定し、その推定した領域を自車領域107として算出することができる。なお、自車領域107は、車両が走行する車道のみでなく、車道の脇の歩道を含めた広めの領域であってもよい。例えば上述の車幅情報が示す幅は、車幅に所定の値(歩道分)を加えた幅であってもよい。
なお、撮像部301と車両(自車両)との位置関係が変化しなければ、直進する車両が今後走行する領域は撮像画像105によらず一定である。そのため、本実施形態では、撮像部301と車両との位置関係を予め取得し、その後、その位置関係は変化しないとして、直進する車両が今後走行する領域を基本自車領域として予めメモリ等に保持しておくものとする。図3に例示した自車領域107は基本自車領域と同等である。なお、車速検出部302により検出された車速(車速情報304が示す車速)に応じて、基本自車領域に対して自車領域を拡大または縮小することができる。例えば、基本自車領域を設定した際に想定した車速に対して、車速情報304が示す車速が速い場合は、基本自車領域を遠方方向に拡大し、基本自車領域を設定した際に想定した車速に対して、車速情報304が示す車速が遅い場合は、基本自車領域を自車側に近づく方向に縮小することで、自車領域107と設定することができる。
また、第1の算出部102は、舵角情報305が示す舵角の変化を検出した場合は、舵角の変化方向に従って、今後の自車両の進行方向を推定する。そして、その推定した方向に沿って車幅分の幅を持って延びる領域を推定し、その推定した領域を自車領域107として算出することができる。図4は、左車線を走行する自車両が進行方向右側に進行するよう(右折するよう)、ハンドルを回転する操作(時計回りにハンドルを回転する操作)が行われた場合の自車領域107の一例を示す図である。図4の右折時の自車領域107は、図3の直進時の自車領域107と比較して、ハンドルを切った方向に対応する進行方向右側に自車領域107が変化していることがわかる。以上のようにして、第1の算出部102は、自車領域107を算出する。この例では、第1の算出部102は、第1の取得部101から撮像画像105および走行情報106を受け取るたびに自車領域107を算出し、その算出した自車領域107を生成部104へ送る。
図1の説明を続ける。第2の取得部103は、車両(自車両)の周辺に存在する対象物体の位置を示す対象物体位置情報108を取得する。より具体的には、第2の取得部103は、予め定められた物体(例えば人や他の車両など)を示す1以上の対象物体のうち、車両(自車両)の周辺に存在する対象物体の位置を示す対象物体位置情報108を取得する。本実施形態では、第2の取得部103は、撮像画像105のうち該撮像画像105に映り込んだ対象物体の位置を示す情報を対象物体位置情報108として取得する。
ここでは、第2の取得部103は、あらかじめ、歩行者、自転車、自動車などの対象物体の画像をトレーニングデータとして保持し、それらの画像から特徴量を抽出し、特徴量に基づいて対象物体を識別する識別器(複数の対象物体と1対1に対応する複数の識別器)を生成する。第2の取得部103は、撮像画像105に対して特徴量を計算し、あらかじめ生成した識別器を用いることで、撮像画像105から該識別器に対応する対象物体を検出する。このとき、検出された対象物体の撮像画像中の位置を示す情報を対象物体位置情報108として算出(取得)する。図5は、自車両の進行方向前方に、対象物体の一例である歩行者が存在する場合を表す図である。なお、特徴量については、HOG(Histograms of Oriented Gradients)やCoHOG(Co-occurrence Histograms of Oriented Gradients)などの特徴量を用いることができるが、これに限られるものではない。また、特徴量に基づいた識別方法については、線形SVM(Support Vector Machine)などの方法を用いることができるが、これに限られるものではない。
以上のようにして、第2の取得部103は、対象物体位置情報108を取得する。この例では、第2の取得部103は、第1の取得部101から撮像画像105を受け取るたびに対象物体位置情報108を算出し、その算出した対象物体位置情報108を生成部104へ送る。この例では、第2の取得部103は、対象物体位置情報108とともに、該対象物体位置情報108が示す位置に存在する対象物体の種別を示す情報(以下の説明では「種別情報」と称する場合がある)を生成部104へ送る。
図1の説明を続ける。生成部104は、対象物体位置情報108が示す位置が自車領域107に含まれている場合に、該対象物体位置情報108が示す位置に存在する対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する。本実施形態では、生成部104は、第2の取得部103から受け取った対象物体位置情報108が示す位置(撮像画像105中の位置)が、第1の算出部102から受け取った自車領域107(撮像画像105中の領域)に含まれているか否かを判断し、その判断結果が肯定の場合は、該対象物体位置情報108が示す位置に存在する対象物体は、自車両の走行の安全に関わると判断する。この場合、生成部104は、自車両の走行の安全を確保するための動作を促す情報を伝達情報として生成する。この例では、生成部104は、自車両よりも優先して通行することを促す情報を伝達情報として生成するが、これに限られるものではない。
また、この場合(上記の判断結果が肯定の場合)、生成部104は、撮像画像105のうち対象物体位置情報108が示す位置に対応する領域の画像を対象物体情報として生成する。前述したように、この例では、生成部104は、第2の取得部103から対象物体位置情報108とともに種別情報を受け取るので、第1の取得部101から受け取った撮像画像105のうち、第2の取得部103から受け取った対象物体位置情報108が示す位置に、該対象物体位置情報108とともに受け取った種別情報が示す種別の対象物体(例えば歩行者等)が映り込んでいることを検出し、その検出した対象物体が映り込んだ領域を切り出した画像を対象物体情報として生成することができる。なお、撮像画像105のうち対象物体が映り込んだ領域を切り出した画像を、そのまま対象物体情報として使用してもよいし、その切り出した画像に対して、ぼかし処理やモノクロ処理などの加工処理を施した画像を対象物体情報として使用してもよい。
生成部104は、以上のようにして生成した組(対象物体情報と伝達情報との組)を、車両の外部に向けて情報を表示する表示部(図1においては不図示)に表示させる制御を行う。本実施形態では、図6に示すように、生成部104は、対象物体情報と伝達情報とを1つの画像として合成した合成画像109(「組」の一例)を表示部に表示させる制御を行う。
なお、表示部は、情報伝達装置100の構成要素に含まれる形態であってもよいし、情報伝達装置100に外付けされる形態(情報伝達装置100の構成要素に含まれない形態)であってもよい。
図7は、情報伝達装置100のハードウェア構成の一例を示す図である。説明の便宜上、図7の例では、最低限のハードウェア要素を主に例示しているが、情報伝達装置100が有するハードウェア要素は、これらに限られるものではない。
図7に示すように、情報伝達装置100は、CPU11と、ROM12と、RAM13と、I/F14とを備える。CPU11は、情報伝達装置100の動作を統括的に制御する。ROM12は、プログラム等の各種のデータを記憶する不揮発性のメモリである。RAM13は、CPU11が実行する各種の処理の作業領域(ワークエリア)として機能する揮発性のメモリである。I/F14は、他の外部機器と通信(接続)するためのインタフェースである。
以上に説明した情報伝達装置100が有する機能(第1の取得部101、第1の算出部102、第2の取得部103、生成部104)は、CPU11がROM12等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えば情報伝達装置100が有する機能のうちの少なくとも一部が専用のハードウェア回路(半導体集積回路等)で実現されてもよい。
図8は、本実施形態の情報伝達装置100の動作例を示すフローチャートである。各ステップの具体的な内容は上述したとおりであるので適宜に説明を省略する。図8に示すように、まず第1の取得部101は、撮像画像105と走行情報106を取得する(ステップS101)。次に、第1の算出部102は、自車領域107を算出する(ステップS102)。また、第2の取得部103は、対象物体位置情報108を取得する(ステップS103)。次に、生成部104は、ステップS103で取得された対象物体位置情報108が示す位置が、ステップS102で算出された自車領域107に含まれているか否かを判断する(ステップS104)。
ステップS104の結果が肯定の場合(ステップS104:Yes)、生成部104は、前述の合成画像109を生成する(ステップS105)。そして、生成部104は、ステップS105で生成した合成画像109を表示部に表示させる制御を行う(ステップS106)。一方、ステップS104の結果が否定の場合(ステップS104:No)、処理は終了する。この場合、例えば生成部104は、自車両の走行の安全を確保するための動作を促す情報とは無関係な広告などの所定の情報を表示部に表示させる制御を行うこともできる。情報伝達装置100は、以上の動作を所定の周期で繰り返し実行する。
以上に説明したように、本実施形態では、対象物体位置情報108が示す位置が自車領域107に含まれている場合に、該対象物体位置情報108が示す位置に存在する対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する。より具体的には、図6に示すように、対象物体情報と伝達情報とを1つの画像として合成した合成画像109を表示部に表示させる制御を行う。これにより、伝達情報を伝えたい相手は、該伝達情報と組をなす対象物体情報で識別される対象物体であることが明確になるので、該伝達情報を、伝えたい相手に確実に伝達することができる。
特に、情報伝達装置100が搭載される車両が自動運転車両の場合は、特別な通信手段を持たない相手に対して、伝達情報(自車両の走行の安全を確保するための動作を相手に促す情報)を確実に伝達する必要があるところ、本実施形態の構成によれば、伝達情報を伝えたい相手が特別な通信手段を持たない場合であっても、該伝達情報を確実に伝達することができる。したがって、本実施形態の情報伝達装置100は、自動運転車両に搭載される場合に、格別に有効であると言える。
(第1の実施形態の変形例)
例えば情報伝達装置100は、外部装置と通信して、車両(自車両)の位置および対象物体の位置を示す相対位置情報を定期的に取得する形態であってもよい。そして、第1の算出部102は、外部装置から取得した相対位置情報と、第1の取得部101により取得された走行情報106とに基づいて自車領域107を算出し、第2の取得部103は、外部装置から取得した相対位置情報を元に、対象物体位置情報108を取得する形態であってもよい。
例えば情報伝達装置100は、外部装置と通信して、車両の周辺の実空間の座標系を示す第1の座標系における車両(自車両)の位置および対象物体の位置を示す相対位置情報を定期的に取得することもできる。この場合、第1の算出部102は、外部装置から取得した相対位置情報を用いて、第1の座標系における対象物体の位置を特定し、その特定した位置を、撮像画像105の座標系を示す第2の座標系における位置に変換することもできる。そして、その変換により得られた、第2の座標系における対象物体の位置を示す情報(座標値)と、第1の取得部101から受け取った走行情報106とに基づいて、撮像画像105のうち車両(自車両)が移動する領域を推定し、その推定結果を自車領域107とすることができる。同様に、第2の取得部103も、外部装置から取得した相対位置情報を用いて、第2の座標系における対象物体の位置を算出し、その算出した位置を示す情報を、対象物体位置情報108として取得することができる。なお、第1の座標系における対象物体の位置を示す情報を、第2の座標系における対象物体の位置を示す情報に変換する方法としては、公知の様々な座標変換方法を用いることができる。
また、上記に限らず、例えば第1の算出部102は、外部装置から取得した相対位置情報を用いて、第1の座標系における対象物体の位置を特定し、その特定した位置を示す情報と、第1の取得部101から受け取った走行情報106とに基づいて、第1の座標系における車両の周辺領域のうち車両(自車両)が移動する領域を推定し、その推定結果を自車領域107とすることができる。つまり、自車領域107が第1の座標系で表される形態であってもよい。同様に、第2の取得部103は、外部装置から取得した相対位置情報を用いて、第1の座標系における対象物体の位置を特定し、その特定した位置を示す情報を、対象物体位置情報108として取得することもできる。つまり、対象物体位置情報108が第1の座標系で表される形態であってもよい。
この場合でも、生成部104は、第2の取得部103から受け取った対象物体位置情報108が示す位置(第1の座標系で表される情報)が、第1の算出部102から受け取った自車領域107(第1の座標系で表される情報)に含まれているか否かを判断し、その判断結果が肯定の場合は、該対象物体位置情報108が示す位置に存在する対象物体は、自車両の走行の安全に関わると判断する。この場合、生成部104は、対象物体位置情報108が示す位置に存在する対象物体を識別する対象物体情報と、前述の伝達情報との組を生成する。例えば対象物体情報を生成する際に、生成部104は、第2の取得部103から受け取った第1の座標系で表される対象物体位置情報108を、第2の座標系で表される情報に変換してもよい。この例でも、生成部104は、第2の取得部103から前述の種別情報を受け取るので、第1の取得部101から受け取った撮像画像105のうち、変換後の対象物体位置情報108(第2の座標系で表される情報)が示す位置に、第2の取得部103から受け取った前述の種別情報が示す種別の対象物体が映り込んでいることを検出し、その検出した対象物体が映り込んだ領域を切り出した画像を対象物体情報として生成することもできる。
(第2の実施形態)
次に、第2の実施形態について説明する。上述の第1の実施形態と共通する部分については適宜に説明を省略する。図9は、本実施形態の情報伝達装置100が有する機能の一例を示す図である。図9に示すように、情報伝達装置100は、第2の算出部801をさらに有する点で上述の第1の実施形態と相違する。
この例では、第2の取得部103は、前述の対象物体位置情報108を取得するたびに、その取得した対象物体位置情報108と、第1の取得部101から受け取った撮像画像105とを第2の算出部801へ送る。より具体的には、第2の取得部103は、対象物体位置情報108と、撮像画像105と、前述の種別情報とを併せて第2の算出部801へ送る。
第2の算出部801は、対象物体位置情報108に基づいて、対象物体が移動する領域を示す対象物体領域802を算出する。本実施形態では、第2の算出部801は、対象物体位置情報108の変化に基づいて、対象物体が移動する領域を示す対象物体領域802を算出する。より具体的には、第2の算出部801は、異なるタイミングで得られた複数の撮像画像105と、該複数の撮像画像105と1対1に対応する複数の対象物体位置情報108を用いて、対象物体の移動ベクトルを推定し、その推定した移動ベクトルを用いて、撮像画像105のうち対象物体が今後移動する領域を示す対象物体領域802を推定する。
前述したように、撮像部301は、時系列に自車両の周辺を撮像しており、連続した2つのタイミングで撮像された撮像画像105の例を図10および図11に示す。第2の取得部103は、図10および図11の各々のフレーム(撮像画像105)で、歩行者(対象物体の一例)を検出している。図11において、前のフレーム(図10の撮像画像105)で検出された歩行者位置から、現フレーム(図11の撮像画像105)で検出された歩行者位置へ向かう方向を示す移動ベクトルが示されている。第2の算出部801は、この移動ベクトルを用いることで、歩行者の今後の移動ベクトルを推定することができる。さらに、今後の移動ベクトルを用いて、撮像画像105のうち歩行者が今後通行する領域を推定し、その推定した領域を対象物体領域802として、現フレームでの歩行者の位置を示す対象物体位置情報108とともに生成部104へ送る。以上のようにして、第2の算出部801は、第2の取得部103から撮像画像105と対象物体位置情報108を受け取るたびに、対象物体領域802を算出し、その算出した対象物体領域802と、第2の取得部103から受け取った対象物体位置情報108とを生成部104へ送る。より具体的には、第2の算出部801は、以上のようにして算出した対象物体領域802、第2の取得部103から受け取った対象物体位置情報108、および、前述の種別情報を併せて生成部104へ送る。
なお、本実施形態では、2枚のフレームから対象物体領域802を推定する場合を例示したが、これに限らず、3枚以上のフレームを用いて(2枚以上の過去のフレームを用いて)対象物体領域802を推定してもよい。
本実施形態の生成部104は、対象物体領域802の少なくとも一部が自車領域107と重なる場合に、対象物体位置情報108が示す位置に存在する対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する。より具体的には、生成部104は、第2の算出部801から受け取った対象物体領域802の少なくとも一部が、第1の算出部102から受け取った自車領域107に含まれているか否かを判断し、その判断結果が肯定の場合は、現フレームに映り込んだ対象物体(第2の算出部801から対象物体領域802とともに受け取った対象物体位置情報108が示す位置に存在する対象物体)は、自車両の走行の安全に関わると判断する。この場合、上述の第1の実施形態と同様に、生成部104は、第2の算出部801から受け取った対象物体位置情報108が示す位置に存在する対象物体を識別する対象物体情報と、前述の伝達情報との組を生成する。この具体的な内容は上述したとおりである。この例では、上述の第1の実施形態と同様に、生成部104は、自車両よりも優先して通行することを促す情報を伝達情報として生成するが、これに限らず、例えば自車両が先に通行できるように、歩行者に対して静止を促す情報を伝達情報として生成することもできる。
本実施形態の構成であっても、上述の第1の実施形態と同様に、伝達情報を伝えたい相手は、該伝達情報と組をなす対象物体情報で識別される対象物体であることが明確になるので、該伝達情報を、伝えたい相手に確実に伝達することができる。
(第2の実施形態の変形例1)
例えば撮像画像105に映り込んだ対象物体が他の車両である場合(撮像画像105のうち対象物体位置情報108が示す位置に存在する対象物体が他の車両である場合)、第2の算出部801は、撮像画像105のうち対象物体位置情報108が示す位置に存在する対象物体である他の車両のウィンカーの点灯状態から、該他の車両の移動方向を推定し、該撮像画像105のうち該推定した移動方向に対応する領域を対象物体領域802として算出することもできる。
図12は、自車両の前方の交差点において、右側のウィンカーを点滅させている対向車が存在する場合の例である。この場合、第2の算出部801は、第2の取得部103から連続的に送られてくる対象物体位置情報108と、対応する撮像画像105とを用いて、撮像画像105のうち対象物体位置情報108が示す位置に存在する対向車が右ウィンカーを点滅させていることを検出することで、対向車が今後右折することを予測し、撮像画像105のうち右折に伴う通行領域を対象物体領域802として算出することができる。
(第2の実施形態の変形例2)
例えば撮像画像105に映り込んだ対象物体が人である場合(撮像画像105のうち対象物体位置情報108が示す位置に存在する対象物体が人である場合)、第2の算出部801は、撮像画像105のうち対象物体位置情報が示す位置に存在する対象物体である人の顔または体の向きから、該人の移動方向を推定し、該撮像画像105のうち該推定した移動方向に対応する領域を対象物体領域802として算出することもできる。
(第2の実施形態の変形例3)
例えば上述の第1の実施形態の変形例と同様に、情報伝達装置100は、外部装置と通信して、車両(自車両)の位置および対象物体の位置を示す相対位置情報を定期的に取得する形態であってもよい。上述の第1の実施形態の変形例と同様に、第1の算出部102は、外部装置から取得した相対位置情報と、第1の取得部101により取得された走行情報106とに基づいて自車領域107を算出し、第2の取得部103は、外部装置から取得した相対位置情報を元に、対象物体位置情報108を取得することができる。
例えば情報伝達装置100は、外部装置と通信して、車両の周辺の実空間の座標系を示す第1の座標系における車両(自車両)の位置および対象物体の位置を示す相対位置情報を定期的に取得することもできる。この場合、第2の取得部103は、外部装置から取得した相対位置情報を用いて、第1の座標系における対象物体の位置を特定し、その特定した位置を示す情報を、対象物体位置情報108として取得する形態であってもよい。
この場合、第2の取得部103は、第1の座標系で表される対象物体位置情報108を取得するたびに、その取得した対象物体位置情報108を第2の算出部801へ送る。この場合、第2の取得部103は、第2の算出部801に対して撮像画像105を送る必要は無く、第1の座標系で表される対象物体位置情報108と前述の種別情報を併せて第2の算出部801へ送る。
第2の算出部801は、第1の座標系で表される対象物体位置情報108の変化に基づいて、第1の座標系における車両の周辺領域のうち対象物体が移動する領域を推定し、その推定結果を対象物体領域802(第1の座標系で表される情報)として算出することもできる。この場合、生成部104による判断対象の座標系を合わせるために、第1の算出部102により算出される自車領域107も第1の座標系で表されることが望ましい。
また、例えば第2の取得部103は、外部装置から取得した相対位置情報を用いて、第1の座標系における対象物体の位置を特定し、その特定した位置を、撮像画像105の座標系を示す第2の座標系における位置に変換することもできる。そして、その変換により得られた、第2の座標系における対象物体の位置を示す情報を、対象物体位置情報108として取得する形態であってもよい。この場合、第2の取得部103は、第2の座標系で表される対象物体位置情報108を取得するたびに、その取得した対象物体位置情報108と、第1の取得部101から受け取った撮像画像105と、前述の種別情報とを併せて第2の算出部801へ送る。
第2の算出部801は、第2の座標系で表される対象物体位置情報108の変化に基づいて、撮像画像105のうち対象物体が移動する領域を推定し、その推定結果を対象物体領域802として算出することもできる。この場合、生成部104による判断対象の座標系を合わせるために、第1の算出部102により算出される自車領域107も第2の座標系で表されることが望ましい。
第2の算出部801は、以上のようにして対象物体領域802を算出するたびに、その算出した対象物体領域802と、第2の取得部103から受け取った前述の種別情報とを併せて生成部104へ送るという具合である。
要するに、第2の取得部103は、外部装置から取得した相対位置情報を元に、対象物体位置情報108を取得し、第2の算出部801は、第2の取得部103により取得された対象物体位置情報108の変化に基づいて、対象物体領域802を算出する形態とすることもできる。
(第2の実施形態の変形例4)
また、第2の取得部103は、第1の取得部101から走行情報106を受け取り、その受け取った走行情報106に含まれる車速情報304が示す車速に応じて、車両(自車両)の周辺のうち対象物体位置情報108を取得する対象となる範囲(対象範囲)を変化させる形態であってもよい。例えば車速が大きいほど対象範囲を拡大させ、車速が小さいほど対象範囲を縮小させることが好ましい。これにより、自車両の走行の安全に関わる範囲についてのみ、対象物体の有無を検出することができるので、処理の効率化を図ることができる。上述の第1の実施形態についても同様に適用することができる。
(第3の実施形態)
次に、第3の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、生成部104は、対象物体位置情報108が示す位置に存在する対象物体を表すピクトグラムを対象物体情報として生成する。前述したように、生成部104は、対象物体位置情報108とともに前述の種別情報を第2の取得部103(または第2の算出部801)から受け取るので、その受け取った種別情報が示す種別の対象物体(対象物体位置情報108が示す位置に存在する対象物体に相当)を表すピクトグラム(絵文字)を対象物体情報として生成することができる。これにより、撮像画像105を利用せずに対象物体情報を生成することができる。したがって、この形態においては、生成部104は、第1の取得部101等から撮像画像105を受け取る必要が無い。
例えば前述の種別情報が男性の人間を示す場合、生成部104は、図13の(A)に示すような男性の人間を表すピクトグラムを対象物体情報として生成することができる。また、例えば前述の種別情報が女性の人間を示す場合、生成部104は、図13の(B)に示すような女性の人間を表すピクトグラムを対象物体情報として生成することができる。また、例えば前述の種別情報が自動車(特別な通信手段を持たない乗用車を想定)を示す場合、生成部104は、図13の(C)に示すような自動車を表すピクトグラムを対象物体情報として生成することができる。さらに、例えば前述の種別情報が自転車を示す場合、生成部104は、図13の(D)に示すような自転車を表すピクトグラムを対象物体情報として生成することができる。ここでは、人間(男女)、自動車、自転車のピクトグラムの例を示したが、ピクトグラムの種類はこの限りではない。以上の本実施形態の構成によれば、撮像画像105を用いることなく、伝達情報を、伝えたい相手に確実に伝達することができる。
(第3の実施形態の変形例)
例えば生成部104は、対象物体が人の場合は、該人の服の色を反映したピクトグラムを対象物体情報として生成し、対象物体が他の車両(典型的には自動車)の場合は、該他の車両の色を反映したピクトグラムを対象物体情報として生成することもできる。これにより、伝達情報を伝えたい相手をより明確にすることができる。
(第4の実施形態)
次に、第4の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、生成部104は、組を構成する対象物体情報および伝達情報を、互いに異なるタイミングで表示部に表示させる制御を行う点で上述の各実施形態と相違する。
上述の第1の実施形態では、図6に示すように、生成部104は、対象物体情報と伝達情報が同じタイミングで同一画面に表示されるよう、1つの画像として合成している。これに対して、本実施形態では、生成部104は、前述の合成画像を生成せずに、対象物体情報と伝達情報とを交互に表示部に表示させる制御を行う。例えば生成部104は、あるタイミングT1では、図14の(A)に示すように、対象物体情報を表示部に表示させる制御を行い、タイミングT1の後のタイミングT2では、図14の(B)に示すように、伝達情報を表示部に表示させる制御を行う。以下、生成部104は、所定期間にわたって上記制御を繰り返すことができる。この形態も、「生成部104は、車両(自車両)の外部に向けて情報を表示する表示部に組を表示させる制御を行う」という概念の一態様である。
(第4の実施形態の変形例1)
例えば図15に示すように、生成部104は、組を構成する対象物体情報を、車両の外部に向けて情報を表示する第1の表示部に表示させる制御と、該組を構成する伝達情報を、車両の外部に向けて情報を表示し、かつ、第1の表示部とは異なる第2の表示部に表示させる制御とを、同じタイミングで行う形態であってもよい。この形態も、「生成部104は、車両(自車両)の外部に向けて情報を表示する表示部に組を表示させる制御を行う」という概念の一態様である。
(第4の実施形態の変形例2)
例えば図16に示すように、生成部104は、組を構成する対象物体情報を、車両の外部に向けて情報を表示する第1の表示部に表示させる制御と、該組を構成する伝達情報を、車両の外部に向けて情報を表示し、かつ、第1の表示部とは異なる第2の表示部に表示させる制御とを、互いに異なるタイミングで行う形態であってもよい。この形態も、「生成部104は、車両(自車両)の外部に向けて情報を表示する表示部に組を表示させる制御を行う」という概念の一態様である。
例えば生成部104は、あるタイミングT1では、図16の(A)に示すように、対象物体情報を第1の表示部に表示させる制御を行い、伝達情報を第2の表示部に表示させない制御を行う。そして、タイミングT1の後のタイミングT2では、図16の(B)に示すように、対象物体情報を第1の表示部に表示させない制御を行い、伝達情報を第2の表示部に表示させる制御を行う。以下、生成部104は、所定期間にわたって同様の制御を繰り返すことができる。この形態も、「生成部104は、車両(自車両)の外部に向けて情報を表示する表示部に組を表示させる制御を行う」という概念の一態様である。
(第4の実施形態の変形例3)
例えば生成部104は、対象物体位置情報108に応じて、それぞれが車両(自車両)の外部に向けて情報を表示する複数の表示部のうち、対象物体位置情報108が示す位置に存在する対象物体からの視認性が最良となる表示部に、組を表示させる制御を行う形態であってもよい。
本実施形態では、情報伝達装置100が搭載された車両(自車両)は、それぞれが該車両の外部に向けて情報を表示する複数の表示部を備えることを前提とする。図17の(A)は、自車両の左前方から自車両を見た図であり、図17の(B)は、自車両を右前方から自車両を見た図である。図17の例では、自車両の前方には表示部1が設けられ、自車両の左側には表示部2と表示部3が設けられ、自車両の右側には表示部4と表示部5が設けられている。なお、表示部の数や位置は任意に変更可能である。生成部104は、対象物体位置情報108から、対象物体が自車両に対してどの方向に位置しているのかを把握することができるので、対象物体から最も見やすい表示部を選択して、その選択した表示部に、対象物体情報と伝達情報との組を表示させる制御を行う。
例えば生成部104は、複数の表示部ごとに、該表示部の基準点(典型的にはディスプレイ面の中心など)から対象物体位置情報108が示す位置へ向かう基準ベクトルと、該表示部の法線ベクトルとの内積を求め、求めた内積が最大の値を示す表示部を、対象物体から最も見やすい表示部として選択することもできる。
本変形例によれば、車両の周辺に存在する対象物体からの視認性が最良となる表示部に、対象物体情報と伝達情報との組が表示されるので、伝達情報を伝えたい相手(該対象物体情報で識別される対象物体)に対してより確実に該伝達情報を伝えることができる。
(第5の実施形態)
次に、第5の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、生成部104は、対象物体情報と伝達情報との組に加えて、該対象物体情報で識別される対象物体に向けた音声信号を生成する機能を有する点で上述の各実施形態と相違する。音声信号は、対象物体に対して注意を喚起するものであればよく、その態様は任意である。
本実施形態では、情報伝達装置100が搭載される車両には、音声を出力(発生)する音声出力部が設けられている。生成部104は、上述の各実施形態で説明したようにして、対象物体位置情報108が示す位置に存在する対象物体が自車両の走行の安全に関わると判断した場合、対象物体情報と伝達情報との組を表示部に表示させる制御を行うとともに、この音声出力部から音声信号を出力させる制御を行う。例えば音声出力部は、複数の方向ごとに設置し(複数の方向と1対1に対応する複数の音声出力部を設置し)、対象物体位置情報108が示す位置に存在する対象物体の方向に対応する音声出力部から音声信号を出力させる構成であってもよいし、指向性を持った音声出力部から、対象物体の方向に向けて指向性をもった音声信号を出力させる構成であってもよい。
なお、音声出力部は、情報伝達装置100の構成要素に含まれる形態であってもよいし、情報伝達装置100に外付けされる形態(情報伝達装置100の構成要素に含まれない形態)であってもよい。
以上の本実施形態の構成によれば、対象物体情報と伝達情報との組を表示部に表示するとともに、対象物体に対して注意を喚起するための音声信号を音声出力部から出力するので、伝達情報を伝えたい相手(該対象物体情報で識別される対象物体)に対してより確実に該伝達情報を伝えることができる。
(第6の実施形態)
次に、第6の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。図18は、本実施形態の情報伝達装置100が有する機能の一例を示す図である。図18に示すように、情報伝達装置100は、受付部601と表示制御部602とをさらに有する点で上述の第1の実施形態と相違する。
受付部601は、車両の運転者の操作を受け付ける機能を有する。この例では、情報伝達装置100が搭載された車両には、該車両の外部に向けて情報を表示する第1の表示部と、運転者に向けて情報を表示する第2の表示部とが設けられている。この例では、第2の表示部はタッチパネルで構成され、受付部601は、第2の表示部に対して行われた操作を受け付ける機能を有している。
表示制御部602は、受付部601で受け付けた操作に応じて、車両の外部に向けて情報を表示する第1の表示部の表示を制御する。より具体的には以下のとおりである。本実施形態では、生成部104は、対象物体位置情報108が示す位置に存在する対象物体が自車両の走行の安全に関わると判断した場合、上述の第1の実施形態で説明したように生成した組(対象物体情報と伝達情報との組)を、運転者に向けて情報を表示する第2の表示部に表示させる制御を行う。運転者は、第2の表示部に表示された対象物体情報と伝達情報との組を確認し、第2の表示部に対して、該組を第1の表示部に表示させることを指示する操作、または、第1の表示部に表示させないことを指示する操作を行うことができる。
そして、表示制御部602は、対象物体情報と伝達情報との組を第1の表示部に表示させないことを指示する操作を受付部601で受け付けた場合、該組を第1の表示部に表示させない制御を行い、該組を第1の表示部に表示させることを指示する操作を受付部601で受け付けた場合、該組を第1の表示部に表示させる制御を行う。この例では、表示制御部602は、対象物体情報と伝達情報との組を第1の表示部に表示させることを指示する操作を受付部601で受け付けた場合、生成部104に対して該組を要求し、生成部104から受け取った該組(例えば前述の合成画像109等)を第1の表示部に表示させる制御を行うことができる。
以上の本実施形態の構成によれば、運転者の意思を反映させつつ、伝達情報を、伝えたい相手に確実に伝達することができる。
以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、上述の各実施形態および各変形例の情報伝達装置100で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例の情報伝達装置100で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例の情報伝達装置100で実行されるプログラムを、ROM等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。
11 CPU
12 ROM
13 RAM
14 I/F
100 情報伝達装置
101 第1の取得部
102 第1の算出部
103 第2の取得部
104 生成部
105 撮像画像
106 走行情報
107 自車領域
108 対象物体位置情報
109 合成画像
301 撮像部
302 車速検出部
303 舵角検出部
304 車速情報
305 舵角情報
601 受付部
602 表示制御部
801 第2の算出部
802 対象物体領域

Claims (24)

  1. 車両に搭載された情報伝達装置であって、
    前記車両の速度および舵角を少なくとも含む走行情報を取得する第1の取得部と、
    前記走行情報に基づいて、前記車両が移動する領域を示す自車領域を算出する第1の算出部と、
    前記車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する第2の取得部と、
    前記対象物体位置情報が示す位置が前記自車領域に含まれている場合に、前記対象物体位置情報が示す位置に存在する前記対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する生成部と、を備え
    前記生成部は、生成した前記組を、前記車両の外部に向けて情報を表示する表示部に表示させる制御を行う、
    情報伝達装置。
  2. 車両に搭載された情報伝達装置であって、
    前記車両の速度および舵角を少なくとも含む走行情報を取得する第1の取得部と、
    前記走行情報に基づいて、前記車両が移動する領域を示す自車領域を算出する第1の算出部と、
    前記車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する第2の取得部と、
    前記対象物体位置情報に基づいて、前記対象物体が移動する領域を示す対象物体領域を算出する第2の算出部と、
    前記対象物体領域の少なくとも一部が前記自車領域と重なる場合に、前記対象物体位置情報が示す位置に存在する前記対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する生成部と、を備え
    前記生成部は、生成した前記組を、前記車両の外部に向けて情報を表示する表示部に表示させる制御を行う、
    情報伝達装置。
  3. 前記第1の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記第1の算出部は、
    前記撮像画像と前記走行情報とに基づいて、前記撮像画像のうち前記車両が移動する領域を推定し、その推定結果を前記自車領域として算出し、
    前記第2の取得部は、
    前記撮像画像のうち該撮像画像に映り込んだ前記対象物体の位置を示す情報を前記対象物体位置情報として取得する、
    請求項1または2に記載の情報伝達装置。
  4. 前記第1の算出部は、
    外部装置から取得した、前記車両の位置および前記対象物体の位置を示す相対位置情報と、前記第1の取得部により取得された前記走行情報と、に基づいて前記自車領域を算出し、
    前記第2の取得部は、
    前記相対位置情報を元に前記対象物体位置情報を取得する、
    請求項1または2に記載の情報伝達装置。
  5. 前記第1の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記第2の算出部は、
    異なるタイミングで得られた複数の前記撮像画像と、該複数の前記撮像画像と1対1に対応する複数の前記対象物体位置情報を用いて、前記対象物体の移動ベクトルを推定し、その推定した移動ベクトルを用いて、前記対象物体領域を推定する、
    請求項2に記載の情報伝達装置。
  6. 前記第1の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記第2の算出部は、
    前記撮像画像のうち前記対象物体位置情報が示す位置に存在する前記対象物体である他の車両のウィンカーの点灯状態から、前記他の車両の移動方向を推定し、前記撮像画像のうち該推定した移動方向に対応する領域を前記対象物体領域として算出する、
    請求項2に記載の情報伝達装置。
  7. 前記第1の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記第2の算出部は、
    前記撮像画像のうち前記対象物体位置情報が示す位置に存在する前記対象物体である人の顔または体の向きから、該人の移動方向を推定し、前記撮像画像のうち該推定した移動方向に対応する領域を前記対象物体領域として算出する、
    請求項2に記載の情報伝達装置。
  8. 前記第2の取得部は、
    外部装置から取得した、前記車両の位置および前記対象物体の位置を示す相対位置情報を元に、前記対象物体位置情報を取得し、
    前記第2の算出部は、
    前記第2の取得部により取得された前記対象物体位置情報の変化に基づいて、前記対象物体領域を算出する、
    請求項2に記載の情報伝達装置。
  9. 前記第2の取得部は、
    前記走行情報に含まれる前記車両の速度に応じて、前記車両の周辺のうち前記対象物体位置情報を取得する対象となる範囲を変化させる、
    請求項1または2に記載の情報伝達装置。
  10. 前記生成部は、
    自車両の走行の安全を確保するための動作を促す情報を前記伝達情報として生成する、
    請求項1または2に記載の情報伝達装置。
  11. 前記生成部は、
    自車両よりも優先して通行することを促す情報を前記伝達情報として生成する、
    請求項10に記載の情報伝達装置。
  12. 前記第1の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記生成部は、
    前記撮像画像のうち前記対象物体位置情報が示す位置に対応する領域の画像を前記対象物体情報として生成する、
    請求項1または2に記載の情報伝達装置。
  13. 前記生成部は、
    前記対象物体位置情報が示す位置に存在する前記対象物体を表すピクトグラムを前記対象物体情報として生成する、
    請求項1または2に記載の情報伝達装置。
  14. 前記生成部は、
    前記対象物体が人の場合は、該人の服の色を反映した前記ピクトグラムを前記対象物体情報として生成し、前記対象物体が他の車両の場合は、該他の車両の色を反映した前記ピクトグラムを前記対象物体情報として生成する、
    請求項13に記載の情報伝達装置。
  15. 前記生成部は、前記対象物体情報と前記伝達情報とを1つの画像として合成した合成画像を前記表示部に表示させる制御を行う、
    請求項1または2に記載の情報伝達装置。
  16. 前記生成部は、
    前記組を構成する前記対象物体情報および前記伝達情報を、互いに異なるタイミングで前記表示部に表示させる制御を行う、
    請求項1または2に記載の情報伝達装置。
  17. 前記生成部は、
    前記組を構成する前記対象物体情報を、前記車両の外部に向けて情報を表示する第1の表示部に表示させる制御と、該組を構成する前記伝達情報を、前記車両の外部に向けて情報を表示し、かつ、前記第1の表示部とは異なる第2の表示部に表示させる制御とを、同じタイミングで行う、
    請求項1または2に記載の情報伝達装置。
  18. 前記生成部は、
    前記組を構成する前記対象物体情報を、前記車両の外部に向けて情報を表示する第1の表示部に表示させる制御と、該組を構成する前記伝達情報を、前記車両の外部に向けて情報を表示し、かつ、前記第1の表示部とは異なる第2の表示部に表示させる制御とを、互いに異なるタイミングで行う、
    請求項1または2に記載の情報伝達装置。
  19. 前記生成部は、
    前記対象物体位置情報に応じて、それぞれが前記車両の外部に向けて情報を表示する複数の表示部のうち、前記対象物体位置情報が示す位置に存在する前記対象物体からの視認性が最良となる表示部に、前記組を表示させる制御を行う、
    請求項1または2に記載の情報伝達装置。
  20. 前記生成部は、前記組に加えて、前記対象物体情報で識別される前記対象物体に向けた音声信号を生成する、
    請求項1または2に記載の情報伝達装置。
  21. 前記生成部は、音声を出力する音声出力部から前記音声信号を出力させる制御を行う、
    請求項20に記載の情報伝達装置。
  22. 前記車両の運転者の操作を受け付ける受付部と、
    前記受付部で受け付けた操作に応じて、前記車両の外部に向けて情報を表示する第1の表示部の表示を制御する表示制御部と、をさらに備え、
    前記生成部は、生成した前記組を、前記運転者に向けて情報を表示する第2の表示部に表示させる制御を行い、
    前記表示制御部は、
    前記組を前記第1の表示部に表示させないことを指示する操作を前記受付部で受け付けた場合、前記組を前記第1の表示部に表示させない制御を行い、前記組を前記第1の表示部に表示させることを指示する操作を前記受付部で受け付けた場合、前記組を前記第1の表示部に表示させる制御を行う、
    請求項1または2に記載の情報伝達装置。
  23. 車両に搭載された情報伝達装置による情報伝達方法であって、
    前記車両の速度および舵角を少なくとも含む走行情報を取得する第1の取得ステップと、
    前記走行情報に基づいて、前記車両が移動する領域を示す自車領域を算出する第1の算出ステップと、
    前記車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する第2の取得ステップと、
    前記対象物体位置情報が示す位置が前記自車領域に含まれている場合に、前記対象物体位置情報が示す位置に存在する前記対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する生成ステップと、を含み、
    前記生成ステップは、生成した前記組を、前記車両の外部に向けて情報を表示する表示部に表示させる制御を行う、
    情報伝達方法。
  24. 車両に搭載されたコンピュータに、
    前記車両の速度および舵角を少なくとも含む走行情報を取得する第1の取得ステップと、
    前記走行情報に基づいて、前記車両が移動する領域を示す自車領域を算出する第1の算出ステップと、
    前記車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する第2の取得ステップと、
    前記対象物体位置情報が示す位置が前記自車領域に含まれている場合に、前記対象物体位置情報が示す位置に存在する前記対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する生成ステップと、を実行させ
    前記生成ステップは、生成した前記組を、前記車両の外部に向けて情報を表示する表示部に表示させる制御を行うプログラム。
JP2015227350A 2015-11-20 2015-11-20 情報伝達装置、情報伝達方法およびプログラム Active JP6577347B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015227350A JP6577347B2 (ja) 2015-11-20 2015-11-20 情報伝達装置、情報伝達方法およびプログラム
US15/258,934 US9953228B2 (en) 2015-11-20 2016-09-07 Information presenting apparatus, information presenting method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015227350A JP6577347B2 (ja) 2015-11-20 2015-11-20 情報伝達装置、情報伝達方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2017097522A JP2017097522A (ja) 2017-06-01
JP6577347B2 true JP6577347B2 (ja) 2019-09-18

Family

ID=58720902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015227350A Active JP6577347B2 (ja) 2015-11-20 2015-11-20 情報伝達装置、情報伝達方法およびプログラム

Country Status (2)

Country Link
US (1) US9953228B2 (ja)
JP (1) JP6577347B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
US10699119B2 (en) * 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
KR102257226B1 (ko) * 2017-02-16 2021-05-28 현대자동차주식회사 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP7195200B2 (ja) * 2019-03-28 2022-12-23 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05221263A (ja) 1992-02-17 1993-08-31 Nippon Steel Corp 車両用表示装置
JPH08127291A (ja) 1994-10-31 1996-05-21 Matsushita Seiko Co Ltd 自動車のメッセージ伝達装置
JP3923292B2 (ja) * 2000-10-03 2007-05-30 本田技研工業株式会社 車車間通信装置
JP2005292881A (ja) * 2004-03-31 2005-10-20 Clarion Co Ltd 車両位置報知装置及び車両位置報知システム
JP2005332297A (ja) 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
JP2007331506A (ja) 2006-06-14 2007-12-27 Alpine Electronics Inc リアウィンドウ表示装置
JP2008114649A (ja) * 2006-11-01 2008-05-22 Aisin Aw Co Ltd クラクション制御装置
US20080243378A1 (en) * 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
JP2013097456A (ja) 2011-10-28 2013-05-20 Denso Corp 運転者顔状態報知装置
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
JP2014154100A (ja) 2013-02-13 2014-08-25 Mitsubishi Electric Corp ドライバー状態表示装置

Also Published As

Publication number Publication date
US9953228B2 (en) 2018-04-24
JP2017097522A (ja) 2017-06-01
US20170147890A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6577347B2 (ja) 情報伝達装置、情報伝達方法およびプログラム
US10311618B2 (en) Virtual viewpoint position control device and virtual viewpoint position control method
JP6369390B2 (ja) 車線合流判定装置
US9449518B2 (en) Display control device, method, and non-transitory storage medium
JP4969269B2 (ja) 画像処理装置
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
JP6222785B2 (ja) 操舵支援装置
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
JP5414588B2 (ja) 車両運転支援用処理装置及び車両運転支援装置
US20160107643A1 (en) Object recognition apparatus
JP6307895B2 (ja) 車両用周辺監視装置
WO2016194900A1 (ja) 車両制御装置、及び車両制御方法
US10866416B2 (en) Display control device and display control method
JP7251120B2 (ja) 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法
WO2016186171A1 (ja) 物体検出装置、及び物体検出方法
JP2010009235A (ja) 画像表示装置
JP2016192167A (ja) 車両制御装置、及び車両制御方法
US20190061742A1 (en) Driving support device and driving support method
JP2009070254A (ja) 車両用リスク推定装置
WO2015129280A1 (ja) 画像処理装置および画像処理方法
JP2019093934A (ja) 車両の制動支援装置、制御装置及び制動支援方法
WO2019193928A1 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
TW201526638A (zh) 車用障礙物偵測顯示系統
JP6589991B2 (ja) ヒューマンインターフェース
CN109308442B (zh) 车外环境识别装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190822

R151 Written notification of patent or utility model registration

Ref document number: 6577347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151