JP6577347B2 - 情報伝達装置、情報伝達方法およびプログラム - Google Patents

情報伝達装置、情報伝達方法およびプログラム Download PDF

Info

Publication number
JP6577347B2
JP6577347B2 JP2015227350A JP2015227350A JP6577347B2 JP 6577347 B2 JP6577347 B2 JP 6577347B2 JP 2015227350 A JP2015227350 A JP 2015227350A JP 2015227350 A JP2015227350 A JP 2015227350A JP 6577347 B2 JP6577347 B2 JP 6577347B2
Authority
JP
Japan
Prior art keywords
information
target object
vehicle
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015227350A
Other languages
English (en)
Other versions
JP2017097522A (ja
Inventor
雄磨 佐野
雄磨 佐野
豪 田崎
豪 田崎
学 西山
学 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015227350A priority Critical patent/JP6577347B2/ja
Priority to US15/258,934 priority patent/US9953228B2/en
Publication of JP2017097522A publication Critical patent/JP2017097522A/ja
Application granted granted Critical
Publication of JP6577347B2 publication Critical patent/JP6577347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の実施形態は、情報伝達装置、情報伝達方法およびプログラムに関する。
車両が安全で円滑に走行するためには、自車両の走行の安全に関わる対象物体（歩行者等）に対して、自車両の走行の安全を確保するための所定の情報を伝達することが望ましい。特に、運転に注意を払うドライバーがいない自動運転車両（自律走行型車両）が、安全で円滑に走行するためには、歩行者や自転車などの特別な通信手段を持たない相手に対して情報伝達を行う必要がある。
他者への情報伝達方法として、例えばドライバーが選択した情報を、車両の外部に向けて情報を表示する表示部に表示することで情報を伝達する技術が知られている。また、例えばドライバーの視線や、速度、ブレーキなどの走行情報から、ドライバーの意思を推定し、ドライバーの意思に基づいた情報を表示部に表示することで情報を伝達する技術も知られている。
特開平５−２２１２６３号公報 特開平８−１２７２９１号公報 特開２００５−３３２２９７号公報
しかしながら、上述した従来の技術では、表示部に表示された情報が誰に向けた情報なのかが明確ではないため、車両側の意思を伝えたい相手に伝えられない可能性がある、という問題がある。
実施形態の情報伝達装置は、車両に搭載された情報伝達装置であって、第１の取得部と第１の算出部と第２の取得部と生成部とを備える。第１の取得部は、車両の速度および舵角を少なくとも含む走行情報を取得する。第１の算出部は、走行情報に基づいて、車両が移動する領域を示す自車領域を算出する。第２の取得部は、車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する。生成部は、対象物体位置情報が示す位置が自車領域に含まれている場合に、該対象物体位置情報が示す位置に存在する対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成し、生成した組を、車両の外部に向けて情報を表示する表示部に表示させる制御を行う。
第１の実施形態の情報伝達装置が有する機能の一例を示す図。 第１の実施形態の取得部の機能を説明するための図。 第１の実施形態の自車領域の一例を示す図。 第１の実施形態の自車領域の他の例を示す図。 第１の実施形態の対象物体の一例を示す図。 第１の実施形態の合成画像の一例を示す図。 第１の実施形態の情報伝達装置のハードウェア構成の一例を示す図。 第１の実施形態の情報伝達装置の動作例を示す図。 第２の実施形態の情報伝達装置が有する機能の一例を示す図。 第２の実施形態の対象物体領域の算出方法を説明するための図。 第２の実施形態の対象物体領域の算出方法を説明するための図。 変形例の対象物体領域の一例を説明するための図。 第３の実施形態で生成される対象物体情報を説明するための図。 第４の実施形態における組の表示方法を説明するための図。 変形例における組の表示方法を説明するための図。 変形例における組の表示方法を説明するための図。 変形例の自車両の構成を説明するための図。 第６の実施形態の情報伝達装置が有する機能の一例を示す図。
以下、添付図面を参照しながら、実施形態に係る情報伝達装置、情報伝達方法およびプログラムの実施形態を詳細に説明する。
（第１の実施形態）
図１は、本実施形態の情報伝達装置１００が有する機能の一例を示す図である。本実施形態では、情報伝達装置１００は、人による運転操作を介さずに自動的に走行することができる（自律走行することができる）自動運転車両に搭載されているが、これに限らず、情報伝達装置１００が搭載される車両の種類は任意であり、例えば人による運転操作を介して走行する通常の車両に搭載される形態であってもよい。
図１に示すように、情報伝達装置１００は、第１の取得部１０１と、第１の算出部１０２と、第２の取得部１０３と、生成部１０４とを有する。説明の便宜上、図１の例では、本実施形態に関する機能を主に例示しているが、情報伝達装置１００が有する機能はこれらに限られるものではない。
第１の取得部１０１は、車両（自車両）の速度および舵角を少なくとも含む走行情報を取得する。本実施形態では、第１の取得部１０１は、車両（自車両）の周辺を撮像して得られる撮像画像を走行情報とともに取得する。本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。
図２に示すように、情報伝達装置１００が搭載される車両には、撮像部３０１と、車速検出部３０２と、舵角検出部３０３とが設けられている。撮像部３０１は、車両の周辺を撮像する装置であり、例えばカメラで構成される。車速検出部３０２は、自車両の速度を検出する装置である。舵角検出部３０３は、自車両の舵角を検出する装置である。例えば舵角検出部３０３は、車両の進行方向を任意に変えるためのハンドル（ステアリング）の回転角度を舵角として検出することができる。
本実施形態では、撮像部３０１は所定の周期（予め定められたフレームレート）で車両の周辺を撮像し、第１の取得部１０１は、撮像部３０１による撮像で得られた撮像画像１０５を取得する。つまり、第１の取得部１０１は、所定の周期で撮像画像１０５を連続的に取得する。また、第１の取得部１０１は、撮像画像１０５の取得に同期して、車速検出部３０２により検出された速度を示す車速情報３０４、および、舵角検出部３０３により検出された舵角を示す舵角情報３０５を含む走行情報１０６を取得する。なお、本実施形態では、走行情報には、自車両の車幅を示す車幅情報などが含まれている。車幅情報は、情報伝達装置１００内のメモリに予め記憶される形態であってもよいし、外部装置に記憶される形態であってもよい。例えば第１の取得部１０１は、撮像画像１０５の取得に同期して、情報伝達装置１００内のメモリや外部装置にアクセスして車幅情報を取得することができる。
以上のようにして、第１の取得部１０１は、撮像画像１０５と走行情報１０６を所定の周期で連続的に取得する機能を有している。本実施形態の第１の取得部１０１は、撮像画像１０５および走行情報１０６を取得するたびに、その取得した撮像画像１０５および走行情報１０６を後述の第１の算出部１０２へ送るとともに、その取得した撮像画像１０５を後述の第２の取得部１０３および後述の生成部１０４の各々へ送る。なお、撮像画像１０５は、自車両に設置された１台の撮像部３０１による撮像で得られた画像であってもよいし、２台以上の撮像部３０１による撮像で得られた２以上の画像であってもよい。
図１に戻って説明を続ける。第１の算出部１０２は、走行情報１０６に基づいて、車両（自車両）が移動する領域を示す自車領域１０７を算出する。本実施形態では、第１の算出部１０２は、撮像画像１０５と走行情報１０６とに基づいて、撮像画像１０５のうち車両が移動する領域（今後移動する領域）を推定し、その推定結果を自車領域１０７として算出する。この例では、第１の算出部１０２は、第１の取得部１０１から撮像画像１０５および走行情報１０６を受け取るたびに、その受け取った撮像画像１０５および走行情報１０６や、過去に受け取った走行情報１０６などを用いて、自車領域１０７を算出する。
図３は、左車線を直進している際の自車両の自車領域１０７の一例を表す図である。直進走行の場合はハンドルを回転する操作は行われないため、舵角情報３０５が示す舵角の変化（最新の走行情報１０６に含まれる舵角情報３０５と、直前の走行情報１０６に含まれる舵角情報３０５との差分）はゼロを示すことになる。この場合、第１の算出部１０２は、今後の自車両の進行方向は直進方向であると推定することができる。この場合、第１の算出部１０２は、車幅分の幅（前述の車幅情報が示す幅）を持ち、かつ、車速情報３０４が示す車速に応じた長さで自車両の前方に延びる領域を推定し、その推定した領域を自車領域１０７として算出することができる。なお、自車領域１０７は、車両が走行する車道のみでなく、車道の脇の歩道を含めた広めの領域であってもよい。例えば上述の車幅情報が示す幅は、車幅に所定の値（歩道分）を加えた幅であってもよい。
なお、撮像部３０１と車両（自車両）との位置関係が変化しなければ、直進する車両が今後走行する領域は撮像画像１０５によらず一定である。そのため、本実施形態では、撮像部３０１と車両との位置関係を予め取得し、その後、その位置関係は変化しないとして、直進する車両が今後走行する領域を基本自車領域として予めメモリ等に保持しておくものとする。図３に例示した自車領域１０７は基本自車領域と同等である。なお、車速検出部３０２により検出された車速（車速情報３０４が示す車速）に応じて、基本自車領域に対して自車領域を拡大または縮小することができる。例えば、基本自車領域を設定した際に想定した車速に対して、車速情報３０４が示す車速が速い場合は、基本自車領域を遠方方向に拡大し、基本自車領域を設定した際に想定した車速に対して、車速情報３０４が示す車速が遅い場合は、基本自車領域を自車側に近づく方向に縮小することで、自車領域１０７と設定することができる。
また、第１の算出部１０２は、舵角情報３０５が示す舵角の変化を検出した場合は、舵角の変化方向に従って、今後の自車両の進行方向を推定する。そして、その推定した方向に沿って車幅分の幅を持って延びる領域を推定し、その推定した領域を自車領域１０７として算出することができる。図４は、左車線を走行する自車両が進行方向右側に進行するよう（右折するよう）、ハンドルを回転する操作（時計回りにハンドルを回転する操作）が行われた場合の自車領域１０７の一例を示す図である。図４の右折時の自車領域１０７は、図３の直進時の自車領域１０７と比較して、ハンドルを切った方向に対応する進行方向右側に自車領域１０７が変化していることがわかる。以上のようにして、第１の算出部１０２は、自車領域１０７を算出する。この例では、第１の算出部１０２は、第１の取得部１０１から撮像画像１０５および走行情報１０６を受け取るたびに自車領域１０７を算出し、その算出した自車領域１０７を生成部１０４へ送る。
図１の説明を続ける。第２の取得部１０３は、車両（自車両）の周辺に存在する対象物体の位置を示す対象物体位置情報１０８を取得する。より具体的には、第２の取得部１０３は、予め定められた物体（例えば人や他の車両など）を示す１以上の対象物体のうち、車両（自車両）の周辺に存在する対象物体の位置を示す対象物体位置情報１０８を取得する。本実施形態では、第２の取得部１０３は、撮像画像１０５のうち該撮像画像１０５に映り込んだ対象物体の位置を示す情報を対象物体位置情報１０８として取得する。
ここでは、第２の取得部１０３は、あらかじめ、歩行者、自転車、自動車などの対象物体の画像をトレーニングデータとして保持し、それらの画像から特徴量を抽出し、特徴量に基づいて対象物体を識別する識別器（複数の対象物体と１対１に対応する複数の識別器）を生成する。第２の取得部１０３は、撮像画像１０５に対して特徴量を計算し、あらかじめ生成した識別器を用いることで、撮像画像１０５から該識別器に対応する対象物体を検出する。このとき、検出された対象物体の撮像画像中の位置を示す情報を対象物体位置情報１０８として算出（取得）する。図５は、自車両の進行方向前方に、対象物体の一例である歩行者が存在する場合を表す図である。なお、特徴量については、ＨＯＧ(Histograms of Oriented Gradients)やＣｏＨＯＧ(Co-occurrence Histograms of Oriented Gradients)などの特徴量を用いることができるが、これに限られるものではない。また、特徴量に基づいた識別方法については、線形ＳＶＭ(Support Vector Machine)などの方法を用いることができるが、これに限られるものではない。
以上のようにして、第２の取得部１０３は、対象物体位置情報１０８を取得する。この例では、第２の取得部１０３は、第１の取得部１０１から撮像画像１０５を受け取るたびに対象物体位置情報１０８を算出し、その算出した対象物体位置情報１０８を生成部１０４へ送る。この例では、第２の取得部１０３は、対象物体位置情報１０８とともに、該対象物体位置情報１０８が示す位置に存在する対象物体の種別を示す情報（以下の説明では「種別情報」と称する場合がある）を生成部１０４へ送る。
図１の説明を続ける。生成部１０４は、対象物体位置情報１０８が示す位置が自車領域１０７に含まれている場合に、該対象物体位置情報１０８が示す位置に存在する対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する。本実施形態では、生成部１０４は、第２の取得部１０３から受け取った対象物体位置情報１０８が示す位置（撮像画像１０５中の位置）が、第１の算出部１０２から受け取った自車領域１０７（撮像画像１０５中の領域）に含まれているか否かを判断し、その判断結果が肯定の場合は、該対象物体位置情報１０８が示す位置に存在する対象物体は、自車両の走行の安全に関わると判断する。この場合、生成部１０４は、自車両の走行の安全を確保するための動作を促す情報を伝達情報として生成する。この例では、生成部１０４は、自車両よりも優先して通行することを促す情報を伝達情報として生成するが、これに限られるものではない。
また、この場合（上記の判断結果が肯定の場合）、生成部１０４は、撮像画像１０５のうち対象物体位置情報１０８が示す位置に対応する領域の画像を対象物体情報として生成する。前述したように、この例では、生成部１０４は、第２の取得部１０３から対象物体位置情報１０８とともに種別情報を受け取るので、第１の取得部１０１から受け取った撮像画像１０５のうち、第２の取得部１０３から受け取った対象物体位置情報１０８が示す位置に、該対象物体位置情報１０８とともに受け取った種別情報が示す種別の対象物体（例えば歩行者等）が映り込んでいることを検出し、その検出した対象物体が映り込んだ領域を切り出した画像を対象物体情報として生成することができる。なお、撮像画像１０５のうち対象物体が映り込んだ領域を切り出した画像を、そのまま対象物体情報として使用してもよいし、その切り出した画像に対して、ぼかし処理やモノクロ処理などの加工処理を施した画像を対象物体情報として使用してもよい。
生成部１０４は、以上のようにして生成した組（対象物体情報と伝達情報との組）を、車両の外部に向けて情報を表示する表示部（図１においては不図示）に表示させる制御を行う。本実施形態では、図６に示すように、生成部１０４は、対象物体情報と伝達情報とを１つの画像として合成した合成画像１０９（「組」の一例）を表示部に表示させる制御を行う。
なお、表示部は、情報伝達装置１００の構成要素に含まれる形態であってもよいし、情報伝達装置１００に外付けされる形態（情報伝達装置１００の構成要素に含まれない形態）であってもよい。
図７は、情報伝達装置１００のハードウェア構成の一例を示す図である。説明の便宜上、図７の例では、最低限のハードウェア要素を主に例示しているが、情報伝達装置１００が有するハードウェア要素は、これらに限られるものではない。
図７に示すように、情報伝達装置１００は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、Ｉ／Ｆ１４とを備える。ＣＰＵ１１は、情報伝達装置１００の動作を統括的に制御する。ＲＯＭ１２は、プログラム等の各種のデータを記憶する不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１が実行する各種の処理の作業領域（ワークエリア）として機能する揮発性のメモリである。Ｉ／Ｆ１４は、他の外部機器と通信（接続）するためのインタフェースである。
以上に説明した情報伝達装置１００が有する機能（第１の取得部１０１、第１の算出部１０２、第２の取得部１０３、生成部１０４）は、ＣＰＵ１１がＲＯＭ１２等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えば情報伝達装置１００が有する機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）で実現されてもよい。
図８は、本実施形態の情報伝達装置１００の動作例を示すフローチャートである。各ステップの具体的な内容は上述したとおりであるので適宜に説明を省略する。図８に示すように、まず第１の取得部１０１は、撮像画像１０５と走行情報１０６を取得する（ステップＳ１０１）。次に、第１の算出部１０２は、自車領域１０７を算出する（ステップＳ１０２）。また、第２の取得部１０３は、対象物体位置情報１０８を取得する（ステップＳ１０３）。次に、生成部１０４は、ステップＳ１０３で取得された対象物体位置情報１０８が示す位置が、ステップＳ１０２で算出された自車領域１０７に含まれているか否かを判断する（ステップＳ１０４）。
ステップＳ１０４の結果が肯定の場合（ステップＳ１０４：Ｙｅｓ）、生成部１０４は、前述の合成画像１０９を生成する（ステップＳ１０５）。そして、生成部１０４は、ステップＳ１０５で生成した合成画像１０９を表示部に表示させる制御を行う（ステップＳ１０６）。一方、ステップＳ１０４の結果が否定の場合（ステップＳ１０４：Ｎｏ）、処理は終了する。この場合、例えば生成部１０４は、自車両の走行の安全を確保するための動作を促す情報とは無関係な広告などの所定の情報を表示部に表示させる制御を行うこともできる。情報伝達装置１００は、以上の動作を所定の周期で繰り返し実行する。
以上に説明したように、本実施形態では、対象物体位置情報１０８が示す位置が自車領域１０７に含まれている場合に、該対象物体位置情報１０８が示す位置に存在する対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する。より具体的には、図６に示すように、対象物体情報と伝達情報とを１つの画像として合成した合成画像１０９を表示部に表示させる制御を行う。これにより、伝達情報を伝えたい相手は、該伝達情報と組をなす対象物体情報で識別される対象物体であることが明確になるので、該伝達情報を、伝えたい相手に確実に伝達することができる。
特に、情報伝達装置１００が搭載される車両が自動運転車両の場合は、特別な通信手段を持たない相手に対して、伝達情報（自車両の走行の安全を確保するための動作を相手に促す情報）を確実に伝達する必要があるところ、本実施形態の構成によれば、伝達情報を伝えたい相手が特別な通信手段を持たない場合であっても、該伝達情報を確実に伝達することができる。したがって、本実施形態の情報伝達装置１００は、自動運転車両に搭載される場合に、格別に有効であると言える。
（第１の実施形態の変形例）
例えば情報伝達装置１００は、外部装置と通信して、車両（自車両）の位置および対象物体の位置を示す相対位置情報を定期的に取得する形態であってもよい。そして、第１の算出部１０２は、外部装置から取得した相対位置情報と、第１の取得部１０１により取得された走行情報１０６とに基づいて自車領域１０７を算出し、第２の取得部１０３は、外部装置から取得した相対位置情報を元に、対象物体位置情報１０８を取得する形態であってもよい。
例えば情報伝達装置１００は、外部装置と通信して、車両の周辺の実空間の座標系を示す第１の座標系における車両（自車両）の位置および対象物体の位置を示す相対位置情報を定期的に取得することもできる。この場合、第１の算出部１０２は、外部装置から取得した相対位置情報を用いて、第１の座標系における対象物体の位置を特定し、その特定した位置を、撮像画像１０５の座標系を示す第２の座標系における位置に変換することもできる。そして、その変換により得られた、第２の座標系における対象物体の位置を示す情報（座標値）と、第１の取得部１０１から受け取った走行情報１０６とに基づいて、撮像画像１０５のうち車両（自車両）が移動する領域を推定し、その推定結果を自車領域１０７とすることができる。同様に、第２の取得部１０３も、外部装置から取得した相対位置情報を用いて、第２の座標系における対象物体の位置を算出し、その算出した位置を示す情報を、対象物体位置情報１０８として取得することができる。なお、第１の座標系における対象物体の位置を示す情報を、第２の座標系における対象物体の位置を示す情報に変換する方法としては、公知の様々な座標変換方法を用いることができる。
また、上記に限らず、例えば第１の算出部１０２は、外部装置から取得した相対位置情報を用いて、第１の座標系における対象物体の位置を特定し、その特定した位置を示す情報と、第１の取得部１０１から受け取った走行情報１０６とに基づいて、第１の座標系における車両の周辺領域のうち車両（自車両）が移動する領域を推定し、その推定結果を自車領域１０７とすることができる。つまり、自車領域１０７が第１の座標系で表される形態であってもよい。同様に、第２の取得部１０３は、外部装置から取得した相対位置情報を用いて、第１の座標系における対象物体の位置を特定し、その特定した位置を示す情報を、対象物体位置情報１０８として取得することもできる。つまり、対象物体位置情報１０８が第１の座標系で表される形態であってもよい。
この場合でも、生成部１０４は、第２の取得部１０３から受け取った対象物体位置情報１０８が示す位置（第１の座標系で表される情報）が、第１の算出部１０２から受け取った自車領域１０７（第１の座標系で表される情報）に含まれているか否かを判断し、その判断結果が肯定の場合は、該対象物体位置情報１０８が示す位置に存在する対象物体は、自車両の走行の安全に関わると判断する。この場合、生成部１０４は、対象物体位置情報１０８が示す位置に存在する対象物体を識別する対象物体情報と、前述の伝達情報との組を生成する。例えば対象物体情報を生成する際に、生成部１０４は、第２の取得部１０３から受け取った第１の座標系で表される対象物体位置情報１０８を、第２の座標系で表される情報に変換してもよい。この例でも、生成部１０４は、第２の取得部１０３から前述の種別情報を受け取るので、第１の取得部１０１から受け取った撮像画像１０５のうち、変換後の対象物体位置情報１０８（第２の座標系で表される情報）が示す位置に、第２の取得部１０３から受け取った前述の種別情報が示す種別の対象物体が映り込んでいることを検出し、その検出した対象物体が映り込んだ領域を切り出した画像を対象物体情報として生成することもできる。
（第２の実施形態）
次に、第２の実施形態について説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。図９は、本実施形態の情報伝達装置１００が有する機能の一例を示す図である。図９に示すように、情報伝達装置１００は、第２の算出部８０１をさらに有する点で上述の第１の実施形態と相違する。
この例では、第２の取得部１０３は、前述の対象物体位置情報１０８を取得するたびに、その取得した対象物体位置情報１０８と、第１の取得部１０１から受け取った撮像画像１０５とを第２の算出部８０１へ送る。より具体的には、第２の取得部１０３は、対象物体位置情報１０８と、撮像画像１０５と、前述の種別情報とを併せて第２の算出部８０１へ送る。
第２の算出部８０１は、対象物体位置情報１０８に基づいて、対象物体が移動する領域を示す対象物体領域８０２を算出する。本実施形態では、第２の算出部８０１は、対象物体位置情報１０８の変化に基づいて、対象物体が移動する領域を示す対象物体領域８０２を算出する。より具体的には、第２の算出部８０１は、異なるタイミングで得られた複数の撮像画像１０５と、該複数の撮像画像１０５と１対１に対応する複数の対象物体位置情報１０８を用いて、対象物体の移動ベクトルを推定し、その推定した移動ベクトルを用いて、撮像画像１０５のうち対象物体が今後移動する領域を示す対象物体領域８０２を推定する。
前述したように、撮像部３０１は、時系列に自車両の周辺を撮像しており、連続した２つのタイミングで撮像された撮像画像１０５の例を図１０および図１１に示す。第２の取得部１０３は、図１０および図１１の各々のフレーム(撮像画像１０５)で、歩行者（対象物体の一例）を検出している。図１１において、前のフレーム（図１０の撮像画像１０５）で検出された歩行者位置から、現フレーム（図１１の撮像画像１０５）で検出された歩行者位置へ向かう方向を示す移動ベクトルが示されている。第２の算出部８０１は、この移動ベクトルを用いることで、歩行者の今後の移動ベクトルを推定することができる。さらに、今後の移動ベクトルを用いて、撮像画像１０５のうち歩行者が今後通行する領域を推定し、その推定した領域を対象物体領域８０２として、現フレームでの歩行者の位置を示す対象物体位置情報１０８とともに生成部１０４へ送る。以上のようにして、第２の算出部８０１は、第２の取得部１０３から撮像画像１０５と対象物体位置情報１０８を受け取るたびに、対象物体領域８０２を算出し、その算出した対象物体領域８０２と、第２の取得部１０３から受け取った対象物体位置情報１０８とを生成部１０４へ送る。より具体的には、第２の算出部８０１は、以上のようにして算出した対象物体領域８０２、第２の取得部１０３から受け取った対象物体位置情報１０８、および、前述の種別情報を併せて生成部１０４へ送る。
なお、本実施形態では、２枚のフレームから対象物体領域８０２を推定する場合を例示したが、これに限らず、３枚以上のフレームを用いて（２枚以上の過去のフレームを用いて）対象物体領域８０２を推定してもよい。
本実施形態の生成部１０４は、対象物体領域８０２の少なくとも一部が自車領域１０７と重なる場合に、対象物体位置情報１０８が示す位置に存在する対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する。より具体的には、生成部１０４は、第２の算出部８０１から受け取った対象物体領域８０２の少なくとも一部が、第１の算出部１０２から受け取った自車領域１０７に含まれているか否かを判断し、その判断結果が肯定の場合は、現フレームに映り込んだ対象物体（第２の算出部８０１から対象物体領域８０２とともに受け取った対象物体位置情報１０８が示す位置に存在する対象物体）は、自車両の走行の安全に関わると判断する。この場合、上述の第１の実施形態と同様に、生成部１０４は、第２の算出部８０１から受け取った対象物体位置情報１０８が示す位置に存在する対象物体を識別する対象物体情報と、前述の伝達情報との組を生成する。この具体的な内容は上述したとおりである。この例では、上述の第１の実施形態と同様に、生成部１０４は、自車両よりも優先して通行することを促す情報を伝達情報として生成するが、これに限らず、例えば自車両が先に通行できるように、歩行者に対して静止を促す情報を伝達情報として生成することもできる。
本実施形態の構成であっても、上述の第１の実施形態と同様に、伝達情報を伝えたい相手は、該伝達情報と組をなす対象物体情報で識別される対象物体であることが明確になるので、該伝達情報を、伝えたい相手に確実に伝達することができる。
（第２の実施形態の変形例１）
例えば撮像画像１０５に映り込んだ対象物体が他の車両である場合（撮像画像１０５のうち対象物体位置情報１０８が示す位置に存在する対象物体が他の車両である場合）、第２の算出部８０１は、撮像画像１０５のうち対象物体位置情報１０８が示す位置に存在する対象物体である他の車両のウィンカーの点灯状態から、該他の車両の移動方向を推定し、該撮像画像１０５のうち該推定した移動方向に対応する領域を対象物体領域８０２として算出することもできる。
図１２は、自車両の前方の交差点において、右側のウィンカーを点滅させている対向車が存在する場合の例である。この場合、第２の算出部８０１は、第２の取得部１０３から連続的に送られてくる対象物体位置情報１０８と、対応する撮像画像１０５とを用いて、撮像画像１０５のうち対象物体位置情報１０８が示す位置に存在する対向車が右ウィンカーを点滅させていることを検出することで、対向車が今後右折することを予測し、撮像画像１０５のうち右折に伴う通行領域を対象物体領域８０２として算出することができる。
（第２の実施形態の変形例２）
例えば撮像画像１０５に映り込んだ対象物体が人である場合（撮像画像１０５のうち対象物体位置情報１０８が示す位置に存在する対象物体が人である場合）、第２の算出部８０１は、撮像画像１０５のうち対象物体位置情報が示す位置に存在する対象物体である人の顔または体の向きから、該人の移動方向を推定し、該撮像画像１０５のうち該推定した移動方向に対応する領域を対象物体領域８０２として算出することもできる。
（第２の実施形態の変形例３）
例えば上述の第１の実施形態の変形例と同様に、情報伝達装置１００は、外部装置と通信して、車両（自車両）の位置および対象物体の位置を示す相対位置情報を定期的に取得する形態であってもよい。上述の第１の実施形態の変形例と同様に、第１の算出部１０２は、外部装置から取得した相対位置情報と、第１の取得部１０１により取得された走行情報１０６とに基づいて自車領域１０７を算出し、第２の取得部１０３は、外部装置から取得した相対位置情報を元に、対象物体位置情報１０８を取得することができる。
例えば情報伝達装置１００は、外部装置と通信して、車両の周辺の実空間の座標系を示す第１の座標系における車両（自車両）の位置および対象物体の位置を示す相対位置情報を定期的に取得することもできる。この場合、第２の取得部１０３は、外部装置から取得した相対位置情報を用いて、第１の座標系における対象物体の位置を特定し、その特定した位置を示す情報を、対象物体位置情報１０８として取得する形態であってもよい。
この場合、第２の取得部１０３は、第１の座標系で表される対象物体位置情報１０８を取得するたびに、その取得した対象物体位置情報１０８を第２の算出部８０１へ送る。この場合、第２の取得部１０３は、第２の算出部８０１に対して撮像画像１０５を送る必要は無く、第１の座標系で表される対象物体位置情報１０８と前述の種別情報を併せて第２の算出部８０１へ送る。
第２の算出部８０１は、第１の座標系で表される対象物体位置情報１０８の変化に基づいて、第１の座標系における車両の周辺領域のうち対象物体が移動する領域を推定し、その推定結果を対象物体領域８０２（第１の座標系で表される情報）として算出することもできる。この場合、生成部１０４による判断対象の座標系を合わせるために、第１の算出部１０２により算出される自車領域１０７も第１の座標系で表されることが望ましい。
また、例えば第２の取得部１０３は、外部装置から取得した相対位置情報を用いて、第１の座標系における対象物体の位置を特定し、その特定した位置を、撮像画像１０５の座標系を示す第２の座標系における位置に変換することもできる。そして、その変換により得られた、第２の座標系における対象物体の位置を示す情報を、対象物体位置情報１０８として取得する形態であってもよい。この場合、第２の取得部１０３は、第２の座標系で表される対象物体位置情報１０８を取得するたびに、その取得した対象物体位置情報１０８と、第１の取得部１０１から受け取った撮像画像１０５と、前述の種別情報とを併せて第２の算出部８０１へ送る。
第２の算出部８０１は、第２の座標系で表される対象物体位置情報１０８の変化に基づいて、撮像画像１０５のうち対象物体が移動する領域を推定し、その推定結果を対象物体領域８０２として算出することもできる。この場合、生成部１０４による判断対象の座標系を合わせるために、第１の算出部１０２により算出される自車領域１０７も第２の座標系で表されることが望ましい。
第２の算出部８０１は、以上のようにして対象物体領域８０２を算出するたびに、その算出した対象物体領域８０２と、第２の取得部１０３から受け取った前述の種別情報とを併せて生成部１０４へ送るという具合である。
要するに、第２の取得部１０３は、外部装置から取得した相対位置情報を元に、対象物体位置情報１０８を取得し、第２の算出部８０１は、第２の取得部１０３により取得された対象物体位置情報１０８の変化に基づいて、対象物体領域８０２を算出する形態とすることもできる。
（第２の実施形態の変形例４）
また、第２の取得部１０３は、第１の取得部１０１から走行情報１０６を受け取り、その受け取った走行情報１０６に含まれる車速情報３０４が示す車速に応じて、車両（自車両）の周辺のうち対象物体位置情報１０８を取得する対象となる範囲（対象範囲）を変化させる形態であってもよい。例えば車速が大きいほど対象範囲を拡大させ、車速が小さいほど対象範囲を縮小させることが好ましい。これにより、自車両の走行の安全に関わる範囲についてのみ、対象物体の有無を検出することができるので、処理の効率化を図ることができる。上述の第１の実施形態についても同様に適用することができる。
（第３の実施形態）
次に、第３の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、生成部１０４は、対象物体位置情報１０８が示す位置に存在する対象物体を表すピクトグラムを対象物体情報として生成する。前述したように、生成部１０４は、対象物体位置情報１０８とともに前述の種別情報を第２の取得部１０３（または第２の算出部８０１）から受け取るので、その受け取った種別情報が示す種別の対象物体（対象物体位置情報１０８が示す位置に存在する対象物体に相当）を表すピクトグラム（絵文字）を対象物体情報として生成することができる。これにより、撮像画像１０５を利用せずに対象物体情報を生成することができる。したがって、この形態においては、生成部１０４は、第１の取得部１０１等から撮像画像１０５を受け取る必要が無い。
例えば前述の種別情報が男性の人間を示す場合、生成部１０４は、図１３の（Ａ）に示すような男性の人間を表すピクトグラムを対象物体情報として生成することができる。また、例えば前述の種別情報が女性の人間を示す場合、生成部１０４は、図１３の（Ｂ）に示すような女性の人間を表すピクトグラムを対象物体情報として生成することができる。また、例えば前述の種別情報が自動車（特別な通信手段を持たない乗用車を想定）を示す場合、生成部１０４は、図１３の（Ｃ）に示すような自動車を表すピクトグラムを対象物体情報として生成することができる。さらに、例えば前述の種別情報が自転車を示す場合、生成部１０４は、図１３の（Ｄ）に示すような自転車を表すピクトグラムを対象物体情報として生成することができる。ここでは、人間(男女)、自動車、自転車のピクトグラムの例を示したが、ピクトグラムの種類はこの限りではない。以上の本実施形態の構成によれば、撮像画像１０５を用いることなく、伝達情報を、伝えたい相手に確実に伝達することができる。
（第３の実施形態の変形例）
例えば生成部１０４は、対象物体が人の場合は、該人の服の色を反映したピクトグラムを対象物体情報として生成し、対象物体が他の車両（典型的には自動車）の場合は、該他の車両の色を反映したピクトグラムを対象物体情報として生成することもできる。これにより、伝達情報を伝えたい相手をより明確にすることができる。
（第４の実施形態）
次に、第４の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、生成部１０４は、組を構成する対象物体情報および伝達情報を、互いに異なるタイミングで表示部に表示させる制御を行う点で上述の各実施形態と相違する。
上述の第１の実施形態では、図６に示すように、生成部１０４は、対象物体情報と伝達情報が同じタイミングで同一画面に表示されるよう、１つの画像として合成している。これに対して、本実施形態では、生成部１０４は、前述の合成画像を生成せずに、対象物体情報と伝達情報とを交互に表示部に表示させる制御を行う。例えば生成部１０４は、あるタイミングＴ１では、図１４の（Ａ）に示すように、対象物体情報を表示部に表示させる制御を行い、タイミングＴ１の後のタイミングＴ２では、図１４の（Ｂ）に示すように、伝達情報を表示部に表示させる制御を行う。以下、生成部１０４は、所定期間にわたって上記制御を繰り返すことができる。この形態も、「生成部１０４は、車両（自車両）の外部に向けて情報を表示する表示部に組を表示させる制御を行う」という概念の一態様である。
（第４の実施形態の変形例１）
例えば図１５に示すように、生成部１０４は、組を構成する対象物体情報を、車両の外部に向けて情報を表示する第１の表示部に表示させる制御と、該組を構成する伝達情報を、車両の外部に向けて情報を表示し、かつ、第１の表示部とは異なる第２の表示部に表示させる制御とを、同じタイミングで行う形態であってもよい。この形態も、「生成部１０４は、車両（自車両）の外部に向けて情報を表示する表示部に組を表示させる制御を行う」という概念の一態様である。
（第４の実施形態の変形例２）
例えば図１６に示すように、生成部１０４は、組を構成する対象物体情報を、車両の外部に向けて情報を表示する第１の表示部に表示させる制御と、該組を構成する伝達情報を、車両の外部に向けて情報を表示し、かつ、第１の表示部とは異なる第２の表示部に表示させる制御とを、互いに異なるタイミングで行う形態であってもよい。この形態も、「生成部１０４は、車両（自車両）の外部に向けて情報を表示する表示部に組を表示させる制御を行う」という概念の一態様である。
例えば生成部１０４は、あるタイミングＴ１では、図１６の（Ａ）に示すように、対象物体情報を第１の表示部に表示させる制御を行い、伝達情報を第２の表示部に表示させない制御を行う。そして、タイミングＴ１の後のタイミングＴ２では、図１６の（Ｂ）に示すように、対象物体情報を第１の表示部に表示させない制御を行い、伝達情報を第２の表示部に表示させる制御を行う。以下、生成部１０４は、所定期間にわたって同様の制御を繰り返すことができる。この形態も、「生成部１０４は、車両（自車両）の外部に向けて情報を表示する表示部に組を表示させる制御を行う」という概念の一態様である。
（第４の実施形態の変形例３）
例えば生成部１０４は、対象物体位置情報１０８に応じて、それぞれが車両（自車両）の外部に向けて情報を表示する複数の表示部のうち、対象物体位置情報１０８が示す位置に存在する対象物体からの視認性が最良となる表示部に、組を表示させる制御を行う形態であってもよい。
本実施形態では、情報伝達装置１００が搭載された車両（自車両）は、それぞれが該車両の外部に向けて情報を表示する複数の表示部を備えることを前提とする。図１７の（Ａ）は、自車両の左前方から自車両を見た図であり、図１７の（Ｂ）は、自車両を右前方から自車両を見た図である。図１７の例では、自車両の前方には表示部１が設けられ、自車両の左側には表示部２と表示部３が設けられ、自車両の右側には表示部４と表示部５が設けられている。なお、表示部の数や位置は任意に変更可能である。生成部１０４は、対象物体位置情報１０８から、対象物体が自車両に対してどの方向に位置しているのかを把握することができるので、対象物体から最も見やすい表示部を選択して、その選択した表示部に、対象物体情報と伝達情報との組を表示させる制御を行う。
例えば生成部１０４は、複数の表示部ごとに、該表示部の基準点（典型的にはディスプレイ面の中心など）から対象物体位置情報１０８が示す位置へ向かう基準ベクトルと、該表示部の法線ベクトルとの内積を求め、求めた内積が最大の値を示す表示部を、対象物体から最も見やすい表示部として選択することもできる。
本変形例によれば、車両の周辺に存在する対象物体からの視認性が最良となる表示部に、対象物体情報と伝達情報との組が表示されるので、伝達情報を伝えたい相手（該対象物体情報で識別される対象物体）に対してより確実に該伝達情報を伝えることができる。
（第５の実施形態）
次に、第５の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、生成部１０４は、対象物体情報と伝達情報との組に加えて、該対象物体情報で識別される対象物体に向けた音声信号を生成する機能を有する点で上述の各実施形態と相違する。音声信号は、対象物体に対して注意を喚起するものであればよく、その態様は任意である。
本実施形態では、情報伝達装置１００が搭載される車両には、音声を出力（発生）する音声出力部が設けられている。生成部１０４は、上述の各実施形態で説明したようにして、対象物体位置情報１０８が示す位置に存在する対象物体が自車両の走行の安全に関わると判断した場合、対象物体情報と伝達情報との組を表示部に表示させる制御を行うとともに、この音声出力部から音声信号を出力させる制御を行う。例えば音声出力部は、複数の方向ごとに設置し（複数の方向と１対１に対応する複数の音声出力部を設置し）、対象物体位置情報１０８が示す位置に存在する対象物体の方向に対応する音声出力部から音声信号を出力させる構成であってもよいし、指向性を持った音声出力部から、対象物体の方向に向けて指向性をもった音声信号を出力させる構成であってもよい。
なお、音声出力部は、情報伝達装置１００の構成要素に含まれる形態であってもよいし、情報伝達装置１００に外付けされる形態（情報伝達装置１００の構成要素に含まれない形態）であってもよい。
以上の本実施形態の構成によれば、対象物体情報と伝達情報との組を表示部に表示するとともに、対象物体に対して注意を喚起するための音声信号を音声出力部から出力するので、伝達情報を伝えたい相手（該対象物体情報で識別される対象物体）に対してより確実に該伝達情報を伝えることができる。
（第６の実施形態）
次に、第６の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。図１８は、本実施形態の情報伝達装置１００が有する機能の一例を示す図である。図１８に示すように、情報伝達装置１００は、受付部６０１と表示制御部６０２とをさらに有する点で上述の第１の実施形態と相違する。
受付部６０１は、車両の運転者の操作を受け付ける機能を有する。この例では、情報伝達装置１００が搭載された車両には、該車両の外部に向けて情報を表示する第１の表示部と、運転者に向けて情報を表示する第２の表示部とが設けられている。この例では、第２の表示部はタッチパネルで構成され、受付部６０１は、第２の表示部に対して行われた操作を受け付ける機能を有している。
表示制御部６０２は、受付部６０１で受け付けた操作に応じて、車両の外部に向けて情報を表示する第１の表示部の表示を制御する。より具体的には以下のとおりである。本実施形態では、生成部１０４は、対象物体位置情報１０８が示す位置に存在する対象物体が自車両の走行の安全に関わると判断した場合、上述の第１の実施形態で説明したように生成した組（対象物体情報と伝達情報との組）を、運転者に向けて情報を表示する第２の表示部に表示させる制御を行う。運転者は、第２の表示部に表示された対象物体情報と伝達情報との組を確認し、第２の表示部に対して、該組を第１の表示部に表示させることを指示する操作、または、第１の表示部に表示させないことを指示する操作を行うことができる。
そして、表示制御部６０２は、対象物体情報と伝達情報との組を第１の表示部に表示させないことを指示する操作を受付部６０１で受け付けた場合、該組を第１の表示部に表示させない制御を行い、該組を第１の表示部に表示させることを指示する操作を受付部６０１で受け付けた場合、該組を第１の表示部に表示させる制御を行う。この例では、表示制御部６０２は、対象物体情報と伝達情報との組を第１の表示部に表示させることを指示する操作を受付部６０１で受け付けた場合、生成部１０４に対して該組を要求し、生成部１０４から受け取った該組（例えば前述の合成画像１０９等）を第１の表示部に表示させる制御を行うことができる。
以上の本実施形態の構成によれば、運転者の意思を反映させつつ、伝達情報を、伝えたい相手に確実に伝達することができる。
以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、上述の各実施形態および各変形例の情報伝達装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例の情報伝達装置１００で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例の情報伝達装置１００で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ Ｉ／Ｆ
１００ 情報伝達装置
１０１ 第１の取得部
１０２ 第１の算出部
１０３ 第２の取得部
１０４ 生成部
１０５ 撮像画像
１０６ 走行情報
１０７ 自車領域
１０８ 対象物体位置情報
１０９ 合成画像
３０１ 撮像部
３０２ 車速検出部
３０３ 舵角検出部
３０４ 車速情報
３０５ 舵角情報
６０１ 受付部
６０２ 表示制御部
８０１ 第２の算出部
８０２ 対象物体領域

Claims (24)

  1. 車両に搭載された情報伝達装置であって、
    前記車両の速度および舵角を少なくとも含む走行情報を取得する第１の取得部と、
    前記走行情報に基づいて、前記車両が移動する領域を示す自車領域を算出する第１の算出部と、
    前記車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する第２の取得部と、
    前記対象物体位置情報が示す位置が前記自車領域に含まれている場合に、前記対象物体位置情報が示す位置に存在する前記対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する生成部と、を備え、
    前記生成部は、生成した前記組を、前記車両の外部に向けて情報を表示する表示部に表示させる制御を行う、
    情報伝達装置。
  2. 車両に搭載された情報伝達装置であって、
    前記車両の速度および舵角を少なくとも含む走行情報を取得する第１の取得部と、
    前記走行情報に基づいて、前記車両が移動する領域を示す自車領域を算出する第１の算出部と、
    前記車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する第２の取得部と、
    前記対象物体位置情報に基づいて、前記対象物体が移動する領域を示す対象物体領域を算出する第２の算出部と、
    前記対象物体領域の少なくとも一部が前記自車領域と重なる場合に、前記対象物体位置情報が示す位置に存在する前記対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する生成部と、を備え、
    前記生成部は、生成した前記組を、前記車両の外部に向けて情報を表示する表示部に表示させる制御を行う、
    情報伝達装置。
  3. 前記第１の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記第１の算出部は、
    前記撮像画像と前記走行情報とに基づいて、前記撮像画像のうち前記車両が移動する領域を推定し、その推定結果を前記自車領域として算出し、
    前記第２の取得部は、
    前記撮像画像のうち該撮像画像に映り込んだ前記対象物体の位置を示す情報を前記対象物体位置情報として取得する、
    請求項１または２に記載の情報伝達装置。
  4. 前記第１の算出部は、
    外部装置から取得した、前記車両の位置および前記対象物体の位置を示す相対位置情報と、前記第１の取得部により取得された前記走行情報と、に基づいて前記自車領域を算出し、
    前記第２の取得部は、
    前記相対位置情報を元に前記対象物体位置情報を取得する、
    請求項１または２に記載の情報伝達装置。
  5. 前記第１の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記第２の算出部は、
    異なるタイミングで得られた複数の前記撮像画像と、該複数の前記撮像画像と１対１に対応する複数の前記対象物体位置情報を用いて、前記対象物体の移動ベクトルを推定し、その推定した移動ベクトルを用いて、前記対象物体領域を推定する、
    請求項２に記載の情報伝達装置。
  6. 前記第１の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記第２の算出部は、
    前記撮像画像のうち前記対象物体位置情報が示す位置に存在する前記対象物体である他の車両のウィンカーの点灯状態から、前記他の車両の移動方向を推定し、前記撮像画像のうち該推定した移動方向に対応する領域を前記対象物体領域として算出する、
    請求項２に記載の情報伝達装置。
  7. 前記第１の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記第２の算出部は、
    前記撮像画像のうち前記対象物体位置情報が示す位置に存在する前記対象物体である人の顔または体の向きから、該人の移動方向を推定し、前記撮像画像のうち該推定した移動方向に対応する領域を前記対象物体領域として算出する、
    請求項２に記載の情報伝達装置。
  8. 前記第２の取得部は、
    外部装置から取得した、前記車両の位置および前記対象物体の位置を示す相対位置情報を元に、前記対象物体位置情報を取得し、
    前記第２の算出部は、
    前記第２の取得部により取得された前記対象物体位置情報の変化に基づいて、前記対象物体領域を算出する、
    請求項２に記載の情報伝達装置。
  9. 前記第２の取得部は、
    前記走行情報に含まれる前記車両の速度に応じて、前記車両の周辺のうち前記対象物体位置情報を取得する対象となる範囲を変化させる、
    請求項１または２に記載の情報伝達装置。
  10. 前記生成部は、
    自車両の走行の安全を確保するための動作を促す情報を前記伝達情報として生成する、
    請求項１または２に記載の情報伝達装置。
  11. 前記生成部は、
    自車両よりも優先して通行することを促す情報を前記伝達情報として生成する、
    請求項１０に記載の情報伝達装置。
  12. 前記第１の取得部は、
    前記車両の周辺を撮像して得られる撮像画像を前記走行情報とともに取得し、
    前記生成部は、
    前記撮像画像のうち前記対象物体位置情報が示す位置に対応する領域の画像を前記対象物体情報として生成する、
    請求項１または２に記載の情報伝達装置。
  13. 前記生成部は、
    前記対象物体位置情報が示す位置に存在する前記対象物体を表すピクトグラムを前記対象物体情報として生成する、
    請求項１または２に記載の情報伝達装置。
  14. 前記生成部は、
    前記対象物体が人の場合は、該人の服の色を反映した前記ピクトグラムを前記対象物体情報として生成し、前記対象物体が他の車両の場合は、該他の車両の色を反映した前記ピクトグラムを前記対象物体情報として生成する、
    請求項１３に記載の情報伝達装置。
  15. 前記生成部は、前記対象物体情報と前記伝達情報とを１つの画像として合成した合成画像を前記表示部に表示させる制御を行う、
    請求項１または２に記載の情報伝達装置。
  16. 前記生成部は、
    前記組を構成する前記対象物体情報および前記伝達情報を、互いに異なるタイミングで前記表示部に表示させる制御を行う、
    請求項１または２に記載の情報伝達装置。
  17. 前記生成部は、
    前記組を構成する前記対象物体情報を、前記車両の外部に向けて情報を表示する第１の表示部に表示させる制御と、該組を構成する前記伝達情報を、前記車両の外部に向けて情報を表示し、かつ、前記第１の表示部とは異なる第２の表示部に表示させる制御とを、同じタイミングで行う、
    請求項１または２に記載の情報伝達装置。
  18. 前記生成部は、
    前記組を構成する前記対象物体情報を、前記車両の外部に向けて情報を表示する第１の表示部に表示させる制御と、該組を構成する前記伝達情報を、前記車両の外部に向けて情報を表示し、かつ、前記第１の表示部とは異なる第２の表示部に表示させる制御とを、互いに異なるタイミングで行う、
    請求項１または２に記載の情報伝達装置。
  19. 前記生成部は、
    前記対象物体位置情報に応じて、それぞれが前記車両の外部に向けて情報を表示する複数の表示部のうち、前記対象物体位置情報が示す位置に存在する前記対象物体からの視認性が最良となる表示部に、前記組を表示させる制御を行う、
    請求項１または２に記載の情報伝達装置。
  20. 前記生成部は、前記組に加えて、前記対象物体情報で識別される前記対象物体に向けた音声信号を生成する、
    請求項１または２に記載の情報伝達装置。
  21. 前記生成部は、音声を出力する音声出力部から前記音声信号を出力させる制御を行う、
    請求項２０に記載の情報伝達装置。
  22. 前記車両の運転者の操作を受け付ける受付部と、
    前記受付部で受け付けた操作に応じて、前記車両の外部に向けて情報を表示する第１の表示部の表示を制御する表示制御部と、をさらに備え、
    前記生成部は、生成した前記組を、前記運転者に向けて情報を表示する第２の表示部に表示させる制御を行い、
    前記表示制御部は、
    前記組を前記第１の表示部に表示させないことを指示する操作を前記受付部で受け付けた場合、前記組を前記第１の表示部に表示させない制御を行い、前記組を前記第１の表示部に表示させることを指示する操作を前記受付部で受け付けた場合、前記組を前記第１の表示部に表示させる制御を行う、
    請求項１または２に記載の情報伝達装置。
  23. 車両に搭載された情報伝達装置による情報伝達方法であって、
    前記車両の速度および舵角を少なくとも含む走行情報を取得する第１の取得ステップと、
    前記走行情報に基づいて、前記車両が移動する領域を示す自車領域を算出する第１の算出ステップと、
    前記車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する第２の取得ステップと、
    前記対象物体位置情報が示す位置が前記自車領域に含まれている場合に、前記対象物体位置情報が示す位置に存在する前記対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する生成ステップと、を含み、
    前記生成ステップは、生成した前記組を、前記車両の外部に向けて情報を表示する表示部に表示させる制御を行う、
    情報伝達方法。
  24. 車両に搭載されたコンピュータに、
    前記車両の速度および舵角を少なくとも含む走行情報を取得する第１の取得ステップと、
    前記走行情報に基づいて、前記車両が移動する領域を示す自車領域を算出する第１の算出ステップと、
    前記車両の周辺に存在する対象物体の位置を示す対象物体位置情報を取得する第２の取得ステップと、
    前記対象物体位置情報が示す位置が前記自車領域に含まれている場合に、前記対象物体位置情報が示す位置に存在する前記対象物体を識別する対象物体情報と、所定の動作を促す情報を示す伝達情報との組を生成する生成ステップと、を実行させ、
    前記生成ステップは、生成した前記組を、前記車両の外部に向けて情報を表示する表示部に表示させる制御を行うプログラム。
JP2015227350A 2015-11-20 2015-11-20 情報伝達装置、情報伝達方法およびプログラム Active JP6577347B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015227350A JP6577347B2 (ja) 2015-11-20 2015-11-20 情報伝達装置、情報伝達方法およびプログラム
US15/258,934 US9953228B2 (en) 2015-11-20 2016-09-07 Information presenting apparatus, information presenting method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015227350A JP6577347B2 (ja) 2015-11-20 2015-11-20 情報伝達装置、情報伝達方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2017097522A JP2017097522A (ja) 2017-06-01
JP6577347B2 true JP6577347B2 (ja) 2019-09-18

Family

ID=58720902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015227350A Active JP6577347B2 (ja) 2015-11-20 2015-11-20 情報伝達装置、情報伝達方法およびプログラム

Country Status (2)

Country Link
US (1) US9953228B2 (ja)
JP (1) JP6577347B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
US10699119B2 (en) * 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
KR102257226B1 (ko) * 2017-02-16 2021-05-28 현대자동차주식회사 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP7195200B2 (ja) * 2019-03-28 2022-12-23 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法
KR102678281B1 (ko) * 2024-01-24 2024-06-25 오토아이티(주) 객체 인식 영역 가변형 어라운드 뷰 모니터 영상 처리 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05221263A (ja) 1992-02-17 1993-08-31 Nippon Steel Corp 車両用表示装置
JPH08127291A (ja) 1994-10-31 1996-05-21 Matsushita Seiko Co Ltd 自動車のメッセージ伝達装置
JP3923292B2 (ja) * 2000-10-03 2007-05-30 本田技研工業株式会社 車車間通信装置
JP2005292881A (ja) * 2004-03-31 2005-10-20 Clarion Co Ltd 車両位置報知装置及び車両位置報知システム
JP2005332297A (ja) 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
JP2007331506A (ja) 2006-06-14 2007-12-27 Alpine Electronics Inc リアウィンドウ表示装置
JP2008114649A (ja) * 2006-11-01 2008-05-22 Aisin Aw Co Ltd クラクション制御装置
US20080243378A1 (en) * 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
JP2013097456A (ja) 2011-10-28 2013-05-20 Denso Corp 運転者顔状態報知装置
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
JP2014154100A (ja) 2013-02-13 2014-08-25 Mitsubishi Electric Corp ドライバー状態表示装置

Also Published As

Publication number Publication date
JP2017097522A (ja) 2017-06-01
US9953228B2 (en) 2018-04-24
US20170147890A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6577347B2 (ja) 情報伝達装置、情報伝達方法およびプログラム
US10311618B2 (en) Virtual viewpoint position control device and virtual viewpoint position control method
JP6369390B2 (ja) 車線合流判定装置
US9797734B2 (en) Object recognition apparatus
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
US9449518B2 (en) Display control device, method, and non-transitory storage medium
JP4969269B2 (ja) 画像処理装置
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
JP6222785B2 (ja) 操舵支援装置
JP5414588B2 (ja) 車両運転支援用処理装置及び車両運転支援装置
JP6307895B2 (ja) 車両用周辺監視装置
WO2016194900A1 (ja) 車両制御装置、及び車両制御方法
JP7251120B2 (ja) 情報提供システム、サーバ、車載装置、プログラム及び情報提供方法
US10866416B2 (en) Display control device and display control method
JP2019093934A (ja) 車両の制動支援装置、制御装置及び制動支援方法
WO2016186171A1 (ja) 物体検出装置、及び物体検出方法
WO2015129280A1 (ja) 画像処理装置および画像処理方法
JP2009070254A (ja) 車両用リスク推定装置
JP2016192167A (ja) 車両制御装置、及び車両制御方法
US20190061742A1 (en) Driving support device and driving support method
WO2019193928A1 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
JP6589991B2 (ja) ヒューマンインターフェース
CN109308442B (zh) 车外环境识别装置
JP6253175B2 (ja) 車両の外部環境認識装置
JP7209442B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190822

R151 Written notification of patent or utility model registration

Ref document number: 6577347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151