JP6805716B2 - 表示装置、表示方法、プログラム - Google Patents

Description

本発明は、表示技術に関し、特に画像を表示する表示装置、表示方法、プログラムに関する。

車両に搭載されたカメラにより画像を撮像してから、画像認識により歩行者を検出して、歩行者の存在を運転者に警告する機能が実現されている。例えば、画像認識により歩行者の移動ベクトルを算出し、移動ベクトルに応じて警告対象とする歩行者が特定される。このような機能は、歩行者が移動しても歩行者の現在位置において常時歩行者を検出するため、実質的に歩行者の移動に追従しているといえる（例えば、特許文献１参照）。

特開２０１４−００６７７６号公報

しかしながら、このような機能は、歩行者の現在位置を示すのみである。そのため、歩行者が将来的にどのように移動するかは、運転者が推測するとともに、車両の走行方向に関わる方向へ移動する歩行者に対しては、常時動向を把握する必要がある。例えば、警告対象となる歩行者が特定されても、対象となる歩行者がどの方向に移動しているのか、運転者には分からない。一方、運転者が目視で把握可能な範囲は限られており、運転者が気付かなかった歩行者が本車両の走行方向に関わる方向へ移動することで運転者が初めて気付く場合もある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、人物の移動方向を運転者に知らせる技術を提供することである。

上記課題を解決するために、本発明のある態様の表示装置は、車両の周囲を撮像した映像情報を取得する映像取得部と、映像取得部において取得した映像情報から人物を検出する人物検出部と、人物検出部において検出した人物の移動方向を検出する移動検出部と、車両の走行状況を判定する走行状況判定部と、映像取得部が取得した映像情報および移動検出部において検出した人物の移動方向を示すアイコンを、走行状況判定部において判定した走行状況に応じて、移動方向を示すアイコンを表示させる範囲を変化させて表示部に表示させる表示制御部と、を備える。

本発明の別の態様は、表示方法である。この方法は、車両の周囲を撮像した映像情報を取得する映像取得ステップと、取得ステップで取得した映像情報から人物を検出する人物検出ステップと、人物検出ステップで検出した人物の移動方向を検出する移動検出ステップと、車両の走行状況を判定する走行状況判定ステップと、映像取得ステップで取得した映像情報および移動検出ステップで検出した人物の移動方向を示すアイコンを、走行状況判定ステップにおいて判定した走行状況に応じて、移動方向を示すアイコンを表示させる範囲を変化させて表示部に表示する表示ステップと、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、人物の移動方向を運転者に知らせることができる。

本発明の実施例１に係る表示装置の構成を示す図である。 図１の画像処理部において生成される表示画像を示す図である。 図１の画像処理部において生成される別の表示画像を示す図である。 本発明の実施例１に係る表示装置の別の構成を示す図である。 図４の画像処理部において生成される俯瞰画像を示す図である。 本発明の実施例２に係る画像処理部において生成される表示画像を示す図である。 本発明の実施例２に係る画像処理部において生成される俯瞰画像を示す図である。 本発明の実施例２に係る表示装置による表示手順を示すフローチャートである。 本発明の実施例３に係る画像処理部において生成される表示画像を示す図である。 本発明の実施例３に係る画像処理部において生成される俯瞰画像を示す図である。 本発明の実施例４に係る表示装置の構成を示す図である。 図１１の画像処理部において生成される表示画像を示す図である。 図１１の画像処理部において生成される別の表示画像を示す図である。 本発明の実施例４に係る表示装置の別の構成を示す図である。 図１１の表示装置による表示手順を示すフローチャートである。 本発明の実施例５に係る画像処理部において生成される表示画像を示す図である。 本発明の実施例５に係る画像処理部において生成される俯瞰画像を示す図である。 本発明の実施例５に係る表示装置による表示手順を示すフローチャートである。 本発明の実施例５に係る表示装置による別の表示手順を示すフローチャートである。

（実施例１）
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例１は、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。本実施例に係る表示装置は、映像から、人物を検出するとともに、検出した人物の移動方向を検出する。また、表示装置は、検出した移動方向に応じたアイコンを映像に重畳する。

以下、本発明の実施例について、図面を参照しつつ説明する。かかる実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。

図１は、本発明の実施例１に係る表示装置３０の構成を示す。表示装置３０は、撮像部１０、表示部５０に接続される。また、表示装置３０は、映像取得部３２、人物検出部３４、移動検出部３６、画像処理部３８、表示制御部４０を含む。ここで、撮像部１０、表示装置３０、表示部５０は、例えば、車両に搭載される。また、表示装置３０は可搬型の装置であってもよく、撮像部１０および表示部５０と一体型としてもよい。

撮像部１０は、車両の前方方向を撮影可能な位置に設置される。例えば車室内やバンパー、ボンネット等に設置される。撮像部１０は、車両から進行方向である前方に向かう映像を撮像する。撮像部１０は、車両の周囲を撮像した映像（以下、「映像情報」という）を映像取得部３２に出力する。映像情報は、例えば、デジタル信号である。映像取得部３２は、撮像部１０から映像情報を取得する。映像取得部３２は、取得した映像情報を人物検出部３４、画像処理部３８に出力する。

人物検出部３４は、映像取得部３２からの映像情報を入力する。人物検出部３４は、映像情報から、人物の画像（以下、これも「人物」という）を検出する。人物の検出には、公知の技術を適用可能である。例えば、人物検出部３４は、人物の画像、人物の特徴に関する情報（以下、「人物辞書」という）を予め記憶している。また、人物検出部３４は、映像情報を構成している複数の画像であって、かつ時系列に並んだ複数の画像のそれぞれに対して、人物辞書を照合することによって、各画像に人物が含まれているかを確認する。人物検出部３４は、検出した人物が含まれている画像上の座標を特定する。なお、画像に複数の人物が含まれている場合、人物検出部３４は、それらを検出する。人物検出部３４は、各画像において検出した人物の座標等の情報を移動検出部３６に出力する。その際、人物検出部３４は、映像情報も移動検出部３６に出力してもよい。

移動検出部３６は、人物検出部３４から人物の座標等の情報を入力する。移動検出部３６は、人物の座標等の情報をもとに、検出した人物の移動方向を検出する。例えば、移動検出部３６は、画像ごとあるいは単位時間ごとの座標を比較して、検出した人物の移動方向を検出する。具体的に説明すると、画像ごとあるいは単位時間ごとの検出人物の座標の差分、人物全体または頭部など特定部位の大きさの差分が導出される。前者によって、本車両を中心とした円周方向の移動が検出され、後者によって、本車両を中心とした放射方向の移動が検出されるので、移動検出部３６は、双方を適用することで、様々な方向へ移動する人物の移動方向を検出する。

なお、人物検出部３４において複数の人物が検出された場合、移動検出部３６は、複数の人物のそれぞれに対して同様の処理を行う。さらに、移動検出時に、本車両が走行している場合、移動検出部３６は、本車両の走行速度との相対的な位置関係より移動方向を検出する。また、移動検出部３６は、人物検出部３４から映像情報を入力している場合、画素差分検出、画像相関判定を実行することによって、検出した人物の移動方向を検出してもよい。移動検出部３６は、人物ごとの移動方向の情報を画像処理部３８に出力する。ここで、人物ごとの移動方向の情報には、各人物の座標等の情報も含まれる。

画像処理部３８は、映像取得部３２から、映像情報を入力するとともに、移動検出部３６から、人物ごとの移動方向の情報を入力する。画像処理部３８は、映像情報に含まれた複数の画像のそれぞれにおいて、人物ごとの移動方向の情報に含まれた座標等の情報をもとに、画像に含まれた人物を特定する。これにつづいて、画像処理部３８は、特定した人物と移動方向とを対応づける。さらに、画像処理部３８は、移動方向を示すアイコン、例えば、移動方向に矢印を向けた矢印形状のアイコン（以下、「矢印形状アイコン」という）を、特定した人物が起点となるように画像に重畳することによって、表示画像６０を生成する。つまり、画像処理部３８は、映像取得部３２が取得した映像情報および移動検出部３６において検出した人物の移動方向を示す矢印形状アイコンが含まれた表示画像６０を生成する。

図２は、画像処理部３８において生成される表示画像６０の例を示す。ここでは、人物２００が検出されており、当該人物２００を起点とするように、矢印形状アイコン２０２が重畳されている。矢印形状アイコン２０２によって、人物２００が右方向、つまり道路方向に移動していることが示される。図１に戻る。画像処理部３８は、複数の人物２００が含まれる場合、人物２００ごとに矢印形状アイコン２０２を重畳する。さらに、画像処理部３８は、映像情報に含まれた各画像に対して同様の処理を実行することによって、各画像に対応した表示画像６０を生成する。その結果、複数の表示画像６０によって構成される映像情報が生成される。なお、画像処理部３８は、移動していない人物２００に対して矢印形状アイコン２０２を重畳しない。画像処理部３８は、複数の表示画像６０によって構成された映像情報（以下、これもまた「映像情報」という）を表示制御部４０に出力する。

表示制御部４０は、画像処理部３８から映像情報を入力する。表示制御部４０は、表示部５０に映像情報を表示させる。表示部５０は、例えば、車両の運転席に設置されたモニタなど、運転者が視認できる位置に設置されている表示装置である。表示部５０は、図２に示すような表示画像６０によって構成される映像情報を表示する。

ここで、移動検出部３６は、各人物２００の移動方向だけではなく、各人物２００の移動速度を検出してもよい。例えば、移動検出部３６は、画像ごとあるいは単位時間ごとの座標の差異の大きさをもとに、移動速度を検出する。座標の差異が大きい場合、移動速度も大きくなり、座標の差異が小さい場合、移動速度も小さくなる。なお、座標の差異と移動速度との関係は、予め移動検出部３６に記憶されている。移動検出部３６は、各人物２００の移動速度の情報も画像処理部３８に出力する。

画像処理部３８は、移動検出部３６から、各人物２００の移動速度の情報も入力する。画像処理部３８は、前述のごとく、矢印形状アイコン２０２を人物２００に重畳するが、その際に、矢印形状アイコン２０２を、移動速度に応じた形態となるように調節する。例えば、画像処理部３８は、移動速度が速くなるほど、長くなったり、太くなったりするように矢印形状アイコン２０２を調節する。例えば、画像処理部３８は、人物２００が１秒後に到達する位置を矢印の先端とするように、矢印形状アイコン２０２の長さを決定する。また、画像処理部３８は、移動速度に応じて、矢印形状アイコン２０２の色または矢印形状アイコン２０２の周辺色を変えてもよい。例えば、画像処理部３８は、移動速度が所定の閾値より速い場合に矢印形状アイコン２０２を点滅させてもよく、移動速度が速くなるにつれ点滅周期を短くしてもよい。

図３は、画像処理部３８において生成される別の表示画像６０の例を示す。図示のごとく、第１人物２００ａに対して第１矢印形状アイコン２０２ａが重畳され、第２人物２００ｂに対して第２矢印形状アイコン２０２ｂが重畳される。ここで、第１人物２００ａの移動速度よりも、第２人物２００ｂの移動速度の方が速いので、第１矢印形状アイコン２０２ａよりも、第２矢印形状アイコン２０２ｂの方が長くされる。これにつづく、表示制御部４０、表示部５０の処理は、前述の通りである。その結果、表示部５０は、移動速度に応じた形態の矢印形状アイコン２０２を表示する。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

これまでは、車両の前方に搭載された撮像部１０において撮像した映像情報に矢印形状アイコン２０２を重畳していたが、俯瞰画像に矢印形状アイコン２０２を重畳してもよい。俯瞰画像は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により生成される。そのため、これまでは、車両が前進していた場合の表示を対象とするが、ここでは、後退しながら駐車する場合の表示を対象とする。

図４は、本発明の実施例１に係る表示装置３０の別の構成を示す。表示装置３０は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８を含む撮像部１０、表示部５０に接続される。また、表示装置３０は、映像取得部３２、人物検出部３４、移動検出部３６、画像処理部３８、表示制御部４０、生成部４４を含む。

前方撮像部１２は、これまでの撮像部１０に相当し、車両の前方部分、例えばバンパー、ボンネット等に設置される。前方撮像部１２は、車両から前方に向かうように前方撮像領域を形成し、前方撮像領域において映像を撮像する。車両の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、車両から左方に向かうように左側方撮像領域を形成し、左側方撮像領域において映像を撮像する。

車両の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、車両から後方に向かうように後方撮像領域を形成し、後方撮像領域において映像を撮像する。左側方撮像部１４と左右対称になるように、車両の右側部分には、右側方撮像部１８が設置される。右側方撮像部１８は、車両から右方に向かうように、右側方撮像領域を形成し、右側方撮像領域において映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した映像によって、車両の周辺が撮像される。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、映像情報を映像取得部３２に出力する。

映像取得部３２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから映像情報を入力し、人物検出部３４、生成部４４に映像情報を出力する。生成部４４は、映像取得部３２から映像情報を入力する。生成部４４は、映像情報に含まれた複数の画像のそれぞれに対して、車両の上方から見たように視点を変換することによって俯瞰画像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。生成部４４は、俯瞰画像を画像処理部３８に出力する。

人物検出部３４、移動検出部３６は、これまでと同様の処理を実行することによって、各人物の座標、各人物の移動方向を検出する。なお、これらの検出は、俯瞰画像ではなく、映像情報に含まれた複数の画像に対してなされる。そのため、検出された座標が俯瞰画像に含まれない場合もある。画像処理部３８は、生成部４４から俯瞰画像を入力するとともに、移動検出部３６から、人物ごとの移動方向の情報を入力する。画像処理部３８は、人物が起点となるように矢印形状アイコンを俯瞰画像に重畳することによって、俯瞰画像７８を生成する。つまり、画像処理部３８は、生成部４４において生成した俯瞰画像および移動検出部３６において検出した人物の移動方向を示す矢印形状アイコンが含まれた俯瞰画像７８を生成する。

図５は、画像処理部３８において生成される俯瞰画像７８を示す。図５における俯瞰画像７８の中央部分には、自車アイコン８０が配置される。自車アイコン８０は、車両１００を上方から見た画像である。自車アイコン８０の前方には前方画像７０が配置され、自車アイコン８０の左側方には左側方画像７２が配置され、自車アイコン８０の後方には後方画像７４が配置され、自車アイコン８０の右側方には右側方画像７６が配置される。また、俯瞰画像７８には、第１人物アイコン２２０ａと、それを起点にした第１矢印形状アイコン２２２ａが示される。これは、これまでの人物２００、矢印形状アイコン２０２に相当する。さらに、俯瞰画像７８には、第２人物アイコン２２０ｂと、それを起点にした第２矢印形状アイコン２２２ｂも示される。図４に戻る。これにつづく、画像処理部３８、表示制御部４０、表示部５０の処理は前述の通りである。俯瞰画像７８は、視点変換処理を行っているために、人物が映っていても運転者は明瞭に人物を認識できない場合がある。このため、人物検出部３４が検出した人物の位置に人物アイコン２２０を表示させる。人物アイコン２２０の表示位置は、検出した人物の下端位置、すなわち俯瞰画像７８の中央部に最も近い位置とする。

本実施例によれば、表示画像における人物に矢印形状アイコンを重畳するので、人物の移動方向を運転者に知らせることができる。また、映像情報から検出した人物の座標の変化をもとに、移動方向を検出するので、映像情報だけから移動方向を検出できる。また、これまでの移動方向を示す矢印形状アイコンを使用するので、これからの移動方向を運転者に推測させることができる。また、移動速度に応じた形態の矢印形状アイコンを表示するので、運転者に移動速度を知らせることができる。また、移動速度に応じて矢印形状アイコンの長さを調節するので、移動速度を容易に知らせることができる。また、移動速度に応じて矢印形状アイコンの太さを調節するので、移動速度を容易に知らせることができる。また、移動速度に応じて矢印形状アイコンの色を調節するので、移動速度を容易に知らせることができる。

また、俯瞰画像に矢印形状アイコンを重畳させるので、駐車等の場合に人物の移動方向を知らせることができる。また、駐車等の場合に人物の移動方向を知らせるので、安全に駐車させることができる。また、俯瞰画像の外に含まれる人物に対する矢印形状アイコンを俯瞰画像に重畳して表示するので、俯瞰画像の範囲が狭くても、注意すべき人物の移動方向を運転者に知らせることができる。

（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。映像に表示される人物の数が増加すると、映像に表示されるアイコン、例えば、矢印形状アイコンの数も増加する。しかしながら、表示される矢印形状アイコンの数が多くなると、運転者にとっては、矢印形状アイコンを見づらくなるので、矢印形状アイコンによる注意喚起力が低下する。実施例２では、映像に表示される人物の数が増加しても、矢印形状アイコンによる注意喚起力を維持するための表示に関する。実施例２に係る表示装置３０は、図１と同様のタイプである。ここでは、実施例１との差異を中心に説明する。

映像取得部３２、人物検出部３４、移動検出部３６は、実施例１と同様の処理を実行する。また、画像処理部３８も、実施例１と同様に、特定した人物２００が起点となるように矢印形状アイコン２０２を画像に重畳することによって、表示画像６０を生成する。その際、画像処理部３８は、本車両の進行方向を特定する。例えば、画像処理部３８は、画像の左右方向の中央部分の下から上に向かうような進行方向を特定する。また、画像処理部３８は、移動方向が進行方向に向かっている人物２００だけに、矢印形状アイコン２０２を重畳する。つまり、画像処理部３８は、進行方向とは異なった方向に向かう移動方向の人物２００に、矢印形状アイコン２０２を重畳しない。

図６は、本発明の実施例２に係る画像処理部３８において生成される表示画像６０を示す。図示のごとく、車両の進行方向２０６が点線で示される。なお、進行方向２０６は、説明を容易にするために表示画像６０上に示されており、実際には表示されない。また、ここでは、第１人物２００ａ、第２人物２００ｂが検出されており、これらの移動方向は、進行方向２０６に向かっている。そのため、第１人物２００ａには、進行方向２０６に向かう第１矢印形状アイコン２０２ａが重畳されており、第２人物２００ｂには、進行方向２０６に向かう第２矢印形状アイコン２０２ｂが重畳されている。

さらに、第３人物２００ｃ、第４人物２００ｄも検出されている。しかしながら、第３人物２００ｃは、第１移動方向２０８ａを向いており、進行方向２０６に向かって移動していない。また、第４人物２００ｄは、第２移動方向２０８ｂを向いており、進行方向２０６に向かって移動していない。そのため、第３人物２００ｃ、第４人物２００ｄには、矢印形状アイコン２０２が重畳されていない。図１に戻る。これにつづく、画像処理部３８、表示制御部４０、表示部５０の処理は前述の通りである。その結果、表示部５０は、本表示装置３０を搭載した車両の進行方向に向かう移動方向を示す矢印形状アイコン２０２だけを表示する。なお、このような処理は、表示される矢印形状アイコン２０２の数が、しきい値以上になった場合だけなされてもよい。

このような処理は、俯瞰画像に対してなされてもよい。その場合の表示装置３０は、図４と同様のタイプである。表示装置３０における処理はこれまでと同様であるので、ここでは説明を省略する。図７は、本発明の実施例２に係る画像処理部３８において生成される俯瞰画像７８を示す。ここでは、車両が後退する場合を想定するので、図７における自車アイコン８０は下側に向かう。第２人物アイコン２２０ｂの移動方向は、車両の進行方向に向かっている。そのため、第２人物アイコン２２０ｂには、進行方向に向かう第２矢印形状アイコン２２２ｂが重畳されている。一方、第１人物アイコン２２０ａは、第１移動方向２２８ａを向いており、車両の進行方向に向かって移動していない。また、第３人物アイコン２２０ｃも、第３移動方向２２８ｃを向いており、車両の進行方向に向かって移動していない。そのため、第１人物アイコン２２０ａ、第３人物アイコン２２０ｃには、矢印形状アイコン２２２が重畳されていない。

以上の構成による表示装置３０の動作を説明する。図８は、本発明の実施例２に係る表示装置３０による表示手順を示すフローチャートである。映像取得部３２は、映像情報を取得する（Ｓ５０）。人物検出部３４が人物２００を検出しない場合（Ｓ５２のＮ）、処理は終了される。人物検出部３４が人物２００を検出し（Ｓ５２のＹ）、移動検出部３６において検出した移動方向が進行方向である場合（Ｓ５４のＹ）、画像処理部３８は、矢印形状アイコン２０２を使用する（Ｓ５６）。一方、移動検出部３６において検出した移動方向が進行方向でない場合（Ｓ５４のＮ）、ステップ５６はスキップされる。すべての人物２００を処理していなければ（Ｓ５８のＮ）、ステップ５４に戻る。すべての人物２００を処理すれば（Ｓ５８のＹ）、処理は終了される。

本実施例によれば、車両の進行方向に向かう移動方向を示す矢印形状アイコンだけを表示するので、表示される矢印形状アイコンの数の増加を抑制できる。また、表示される矢印形状アイコンの数の増加が抑制されるので、運転者による視認性を確保できる。また、表示される矢印形状アイコンの数の増加が抑制されるので、運転者に対する注意喚起力の低下を抑制できる。また、車両の進行方向に向かう移動方向を示す矢印形状アイコンを表示するので、表示される矢印形状アイコンの数の増加が抑制されても、注意を要する人物を知らせることができる。

（実施例３）
次に、実施例３を説明する。実施例３は、これまでと同様に、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。撮像部において撮像した映像のサイズよりも、表示装置に表示される映像のサイズが小さい場合、撮像部において撮像した映像に含まれる人物が、表示装置において表示される映像に含まれないことがある。しかしながら、そのような人物が車両の方向に移動する場合もある。実施例３では、映像に表示されない人物が車両の方向に移動している場合に、当該移動を通知するための表示に関する。実施例３に係る表示装置３０は、図１と同様のタイプである。ここでは、これまでとの差異を中心に説明する。

人物検出部３４および移動検出部３６は、これまでと同様の処理を実行する。画像処理部３８は、映像取得部３２から、映像情報を入力するとともに、移動検出部３６から、人物ごとの移動方向の情報を入力する。画像処理部３８は、画像に含まれた人物を特定するとともに、特定した人物と移動方向とを対応づける。さらに、画像処理部３８は、矢印形状アイコンを、特定した人物が起点となるように画像に重畳することによって、表示画像６０を生成する。

その際、画像処理部３８は、映像取得部３２が取得した映像情報の一部分を切出して表示画像６０を生成する。つまり、表示画像６０のサイズは、映像取得部３２において取得した映像情報のサイズよりも小さい。そのため、特定した人物が表示画像６０に含まれないこともある。そのような場合であっても、画像処理部３８は、表示画像６０の範囲の外に含まれる人物の移動方向を示す矢印形状アイコンが表示画像６０に含まれる場合、当該矢印形状アイコンを表示画像６０に含める。これは、表示画像６０の範囲の外に含まれ、かつ表示画像６０の範囲に移動する人物の移動方向を示す矢印形状アイコンを表示画像６０に含めることに相当する。

図９は、本発明の実施例３に係る画像処理部３８において生成される表示画像６０を示す。第１人物２００ａ、第２人物２００ｂ、第１矢印形状アイコン２０２ａ、第２矢印形状アイコン２０２ｂは、図３と同様に示される。一方、第３人物２００ｃおよび第４人物２００ｄは、表示画像６０の外部に存在するので、表示画像６０に示されない。しかしながら、第３人物２００ｃを起点した第３矢印形状アイコン２０２ｃと、第４人物２００ｄを起点にした第４矢印形状アイコン２０２ｄは、表示画像６０内に含まれる。いいかえると、第３矢印形状アイコン２０２ｃと第４矢印形状アイコン２０２ｄは、表示画像６０内に向いている。そのため、表示画像６０には、第３人物２００ｃ、第４人物２００ｄが示されずに、その移動方向を示す第３矢印形状アイコン２０２ｃ、第４矢印形状アイコン２０２ｄだけが示される。

このような処理は、俯瞰画像に対してなされてもよい。その場合の表示装置３０は、図４と同様のタイプである。表示装置３０における処理はこれまでと同様であるので、ここでは説明を省略する。図１０は、本発明の実施例３に係る画像処理部３８において生成される俯瞰画像７８を示す。第１人物アイコン２２０ａは、俯瞰画像７８の内部に存在するので、俯瞰画像７８に示されるとともに、第１人物アイコン２２０ａを起点にした第１矢印形状アイコン２２２ａも俯瞰画像７８に示される。

一方、第２人物アイコン２２０ｂおよび第３人物アイコン２２０ｃは、俯瞰画像７８の外部に存在するので、俯瞰画像７８に示されない。しかしながら、第２人物アイコン２２０ｂを起点した第２矢印形状アイコン２２２ｂは、俯瞰画像７８内に含まれる。そのため、俯瞰画像７８には、第２人物アイコン２２０ｂが示されずに、その移動方向を示す第２矢印形状アイコン２２２ｂだけが示される。第３矢印形状アイコン２２２ｃも第２矢印形状アイコン２２２ｂと同様である。その結果、表示部５０は、俯瞰画像７８の外に含まれる人物アイコン２２０の移動方向を示す矢印形状アイコン２２２を重畳した俯瞰画像７８を表示する。

本実施例によれば、表示画像内に人物が含まれない場合であっても、当該人物を起点とする矢印形状アイコンを表示画像に含めるので、人物の移動方向を運転者に知らせることができる。また、俯瞰画像内に人物アイコンが含まれない場合であっても、当該人物アイコンを起点とする矢印形状アイコンを俯瞰画像に含めるので、人物アイコンに対応した人物の移動方向を運転者に知らせることができる。

（実施例４）
次に、実施例４を説明する。実施例４は、これまでと同様に、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。映像に表示される人物の数が増加すると、映像に表示されるアイコン、例えば、矢印形状アイコンの数も増加する。しかしながら、車両の走行速度が高速になるほど、運転者が認識可能な矢印形状アイコンの数は減少する。実施例４では、車両の走行速度に応じて、矢印形状アイコンの数を調節することに関する。ここでは、これまでとの差異を中心に説明する。また、映像に表示される人物の数が多い場合、矢印形状アイコンの数に上限値を設定してもよい。例えばほぼ同一方向へほぼ同一の速度で移動している人物群に対しては矢印形状アイコンをまとめて１または人物の数より少ない数の矢印アイコンとしてもよい。この場合、複数の人物をまとめた矢印アイコンであることが判別可能な矢印アイコンの表示形態としてもよい。

図１１は、本発明の実施例４に係る表示装置３０の構成を示す。表示装置３０は、撮像部１０、表示部５０に接続される。また、表示装置３０は、映像取得部３２、人物検出部３４、移動検出部３６、画像処理部３８、表示制御部４０、走行状況判定部４２を含む。

走行状況判定部４２は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークに接続し、ＣＡＮを介してＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）から走行情報を取得する。走行情報では、選択されているシフトギア、車両の速度等が示される。走行状況判定部４２は、走行情報をもとに、本表示装置３０を搭載した車両の走行状況を判定する。具体的には、車両が低速走行をしているか、あるい高速走行をしているかを判定する。低速走行は、シフトギアとしてドライブギアが選択され、かつしきい値未満の速度で走行している場合である。しきい値は、例えば、１０ｋｍ／ｈに選択されるので、低速走行は、交差点右左折時、信号待ち時、渋滞時等に相当する。また、高速走行は、シフトギアとしてドライブギアが選択され、かつしきい値以上の速度で走行している場合である。走行状況判定部４２は、判定結果を画像処理部３８に出力する。

画像処理部３８は、走行状況判定部４２からの判定結果も入力する。判定結果が低速走行である場合、画像処理部３８は、これまでと同様の処理を実行することによって、表示画像６０を生成する。図１２は、画像処理部３８において生成される表示画像６０を示す。ここでは、第１人物２００ａから第４人物２００ｄが検出されており、それぞれに対して第１矢印形状アイコン２０２ａから第４矢印形状アイコン２０２ｄが重畳されている。なお、第１人物２００ａ、第２人物２００ｂは、第３人物２００ｃ、第４人物２００ｄよりも、本車両が走行する道路の近くに位置する。図１１に戻る。

一方、判定結果が高速走行である場合、画像処理部３８は、低速走行の場合よりも、矢印形状アイコン２０２を重畳可能な人物２００が含まれる範囲（以下、「表示範囲」という）を限定する。図１３は、画像処理部３８において生成される別の表示画像６０を示す。図１３は、図１２と同様に示されるが、本車両が走行する道路を含むように、表示範囲２１０が設定されている。画像処理部３８は、表示範囲２１０に含まれた人物２００に対してのみ、矢印形状アイコン２０２を重畳し、表示範囲２１０外に含まれ人物２００に対して、矢印形状アイコン２０２を重畳しない。そのため、第１人物２００ａ、第２人物２００ｂには、第１矢印形状アイコン２０２ａ、第２矢印形状アイコン２０２ｂがそれぞれ重畳されているが、第３人物２００ｃ、第４人物２００ｄには矢印形状アイコン２０２が重畳されていない。これは、車両の速度が増加すると、周辺の人物２００を検出する必要性が低くなり、走行の前方の人物２００を検出する必要性が高くなるからである。つまり、画像処理部３８は、走行状況判定部４２において判定した走行状況に応じて、移動方向を示す矢印形状アイコン２０２を表示させる範囲を変化させる。図１１に戻る。

これにつづく、画像処理部３８、表示制御部４０、表示部５０の処理は前述の通りである。その結果、表示部５０は、走行状況が、低速走行である場合よりも高速走行である場合において、矢印形状アイコン２０２を重畳させる人物２００が含まれる範囲を限定する。

このような処理は、俯瞰画像に対してなされてもよい。図１４は、本発明の実施例４に係る表示装置３０の別の構成を示す。表示装置３０は、図１１の表示装置３０と同様の構成を有するが、撮像部１０が図４のように構成される。この処理は、図４の表示装置３０と図１１の表示装置３０とを組み合わせた処理であるので、ここでは説明を省略する。例えば、表示装置３０は、車両の走行速度が低い場合、図５のように俯瞰画像７８に含まれる人物アイコン２２０を起点とする矢印形状アイコン２２２だけを表示する。一方、表示装置３０は、車両の走行速度が所定以上である場合、図１０のように俯瞰画像７８に含まれない人物アイコン２２０を起点とする矢印形状アイコン２２２も表示する。ここで、車両の走行速度が低い場合とは、例えば１０ｋｍ／ｈ未満であり、車両の走行速度が所定以上である場合とは、例えば１０ｋｍ／ｈ以上である。

以上の構成による表示装置３０の動作を説明する。図１５は、表示装置３０による表示手順を示すフローチャートである。画像処理部３８は、高速走行であれば（Ｓ７０のＹ）、表示範囲２１０を変更する（Ｓ７２）。画像処理部３８は、高速走行でなければ（Ｓ７０のＮ）、ステップ７２をスキップする。

本実施例によれば、低速走行であれば、矢印形状アイコンを表示される人物が含まれる範囲を広くするので、車両の周囲に存在する人物を運転者に知らせることができる。また、車両の周囲に存在する人物を運転者に知らせるので、安全運転に寄与することができる。また、高速走行であれば、矢印形状アイコンを表示させる人物が含まれる範囲を限定するので、運転者が注意すべき範囲における人物の移動方向を知らせることができる。また、運転者が注意すべき範囲における人物の移動方向を知らせるので、高速走行であっても、運転者への注意喚起力を維持できる。

（実施例５）
次に、実施例５を説明する。実施例５は、これまでと同様に、車両の前方に搭載された撮像部において撮像した映像を表示するとともに、人物の移動方向が示されたアイコンを当該映像に重畳して表示する表示装置に関する。実施例１では、人物の移動方向が示されたアイコンとして、矢印形状アイコンが表示される。しかしながら、移動方向が変動し、一定の方向に移動しない人物も存在する。この場合、矢印形状アイコンの表示が困難になる。実施例５では、このような場合に表示するアイコンに関する。実施例５に係る表示装置３０は、図１と同様のタイプである。ここでは、これまでとの差異を中心に説明する。

映像取得部３２、人物検出部３４、移動検出部３６は、実施例１と同様の処理を実行する。移動検出部３６は、１つの人物２００に対する移動方向を監視し、予め定めた期間において移動方向が変動しているかを確認する。予め定めた期間は、例えば、２〜３秒のように規定される。移動方向が変動している場合、移動検出部３６は、移動方向の情報、移動速度の情報の代わりに、移動方向が変動していることを示す情報を画像処理部３８に出力する。

また、移動検出部３６は、検出した人物２００の縦方向のサイズ、つまり身長を特定し、特定した人物２００のサイズが、所定サイズ未満であるかを確認する。所定サイズは、例えば、１００〜１２０ｃｍのように規定されるので、移動検出部３６での処理は、人物２００が子供であるかを確認することに相当する。子供は、一般的に、急に走り出したり、急に移動方向を変えたりする場合が多いので、移動方向の情報、移動速度の情報が無意味になる可能性がある。そのため、人物２００が所定サイズ未満である場合、移動検出部３６は、移動方向の情報、移動速度の情報の代わりに、人物２００が子供であることを示す情報を画像処理部３８に出力する。これらの処理は、人物２００ごとになされる。

身長の特定処理は、特定した人物２００のサイズが所定時間変動しない場合に所定サイズ未満であるとしてもよい。具体的には、特定した人物２００の速度を検出するための時間などであり、例えば３秒などの間に撮影されるフレーム数の映像に基づく。このような処理を含めることで、例えば、所定サイズ以上の人物２００が一時的に屈むなどの動作により所定サイズ未満として認識されてしまうことを防止する。また、人物２００の検出は、撮像した映像に基づき人物であることを認識するための辞書を参照して検出し、人物２００の縦方向のサイズは辞書に基づき頭部として認識される部位の上部を基準として特定する。このため、所定サイズ未満の人物が手を上げるなどの動作により所定サイズ未満ではないと認識されることを防止する。

画像処理部３８は、所定の人物２００の移動方向が変動していることを示す情報、あるいは所定の人物２００が子供であることを示す情報を入力する。画像処理部３８は、実施例１と同様の処理を実行し、映像情報に含まれた複数の画像のそれぞれにおいて、前述の所定の人物２００を特定する。また、画像処理部３８は、特定した人物２００に対して、矢印形状アイコン２０２の代わりに、移動可能性のある範囲を示すアイコン（以下、「範囲アイコン」という）を重畳することによって、表示画像６０を生成する。範囲アイコンは、人物２００を中心として水平面に円を描くようなアイコンであり、当該人物２００が、範囲アイコンで示された範囲内を移動する可能性があることを示す。そのため、範囲アイコンも、移動方向を示すアイコンといえる。

図１６は、本発明の実施例５に係る画像処理部３８において生成される表示画像６０を示す。ここでは、第１人物２００ａ、第２人物２００ｂ、第３人物２００ｃが検出されている。第１人物２００ａは、移動検出部３６において子供であると検出されている。また、第２人物２００ｂは、移動検出部３６において移動方向が変動していると検出されている。そのため、第１人物２００ａには第１範囲アイコン２０４ａが重畳されており、第２人物２００ｂには第２範囲アイコン２０４ｂが重畳されている。一方、第３人物２００ｃに対しては、実施例１と同様の処理によって、矢印形状アイコン２０２が重畳されている。図１に戻る。これにつづく、画像処理部３８、表示制御部４０、表示部５０の処理は前述の通りである。その結果、表示部５０は、移動方向が変動している場合、あるいは人物２００のサイズが所定サイズ未満である場合、人物２００の周囲に移動可能性のある範囲を示す範囲アイコン２０４を表示する。

このような処理は、俯瞰画像に対してなされてもよい。その場合の表示装置３０は、図４と同様のタイプである。表示装置３０における処理はこれまでと同様であるので、ここでは説明を省略する。図１７は、本発明の実施例５に係る画像処理部３８において生成される俯瞰画像７８を示す。第１人物アイコン２２０ａに対応した人物は、移動検出部３６において子供であると検出されている。また、第２人物アイコン２２０ｂに対応した人物は、移動検出部３６において移動方向が変動していると検出されている。そのため、第１人物アイコン２２０ａには第１範囲アイコン２２４ａが重畳されており、第２人物アイコン２２０ｂには第２範囲アイコン２２４ｂが重畳されている。一方、第３人物アイコン２２０ｃに対しては、実施例１と同様の処理によって、第３矢印形状アイコン２２２ｃが重畳されている。

以上の構成による表示装置３０の動作を説明する。図１８は、本発明の実施例５に係る表示装置３０による表示手順を示すフローチャートである。映像取得部３２は、映像情報を取得する（Ｓ１０）。人物検出部３４が人物２００を検出しない場合（Ｓ１２のＮ）、処理は終了される。人物検出部３４が人物２００を検出し（Ｓ１２のＹ）、移動検出部３６において検出した移動方向が一定である場合（Ｓ１４のＹ）、画像処理部３８は、矢印形状アイコン２０２を使用する（Ｓ１６）。一方、移動検出部３６において検出した移動方向が一定でない場合（Ｓ１４のＮ）、画像処理部３８は、範囲アイコン２０４を使用する（Ｓ１８）。すべての人物２００を処理していなければ（Ｓ２０のＮ）、ステップ１４に戻る。すべての人物２００を処理すれば（Ｓ２０のＹ）、処理は終了される。

図１９は、本発明の実施例５に係る表示装置３０による別の表示手順を示すフローチャートである。映像取得部３２は、映像情報を取得する（Ｓ３０）。人物検出部３４が人物２００を検出しない場合（Ｓ３２のＮ）、処理は終了される。人物検出部３４が人物２００を検出し（Ｓ３２のＹ）、移動検出部３６において所定サイズ未満の人物２００を特定しない場合（Ｓ３４のＮ）、画像処理部３８は、矢印形状アイコン２０２を使用する（Ｓ３６）。一方、移動検出部３６において所定サイズ未満の人物２００を特定した場合（Ｓ３４のＹ）、画像処理部３８は、範囲アイコン２０４を使用する（Ｓ３８）。すべての人物２００を処理していなければ（Ｓ４０のＮ）、ステップ３４に戻る。すべての人物２００を処理すれば（Ｓ４０のＹ）、処理は終了される。

本実施例によれば、移動方向が変動している場合、人物の周囲に範囲アイコンを示すので、移動可能性のある範囲を知らせることができる。また、移動方向が変動している場合、人物の周囲に範囲アイコンを示すので、移動方向の特定を不要にできる。また、検出した人物のサイズが所定サイズ未満である場合、人物の周囲に範囲アイコンを示すので、移動可能性のある範囲を知らせることができる。また、検出した人物のサイズが所定サイズ未満である場合、人物の周囲に範囲アイコンを示すので、移動方向の特定を不要にできる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施例１乃至５において、表示部５０は、車両の運転席に設置されたモニタである。しかしながらこれに限らず例えば、表示部５０は、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）であってもよい。その場合、画像処理部３８は、ＨＵＤに表示させるための虚像であって、かつ矢印形状アイコン２０２、範囲アイコン２０４等が配置される虚像を生成する。本変形例によれば、表示の自由度を向上できる。

本実施例１乃至５において、撮像部１０は、車両の前方に搭載されている。しかしながらこれに限らず例えば、撮像部１０は、車両の側方、後方に搭載されてもよい。本変形例によれば、駐車、細い道での走行において、人物の移動方向を知らせることができる。

本実施例１乃至５の任意の組合せも有効である。本変形例によれば、組合せによる効果を得ることができる。

１０ 撮像部、 １２ 前方撮像部、 １４ 左側方撮像部、 １６ 後方撮像部、 １８ 右側方撮像部、 ３０ 表示装置、 ３２ 映像取得部、 ３４ 人物検出部、 ３６ 移動検出部、 ３８ 画像処理部、 ４０ 表示制御部、 ４２ 走行状況判定部、 ４４ 生成部、 ５０ 表示部、 ６０ 表示画像、 ７８ 俯瞰画像、 ２００ 人物、 ２０２ 矢印形状アイコン、 ２２０ 人物アイコン、 ２２２ 矢印形状アイコン。

Claims (11)

1. 車両の周囲を撮像した映像情報を取得する映像取得部と、
   前記映像取得部において取得した映像情報から人物を検出する人物検出部と、
   前記人物検出部において検出した人物の移動方向を検出する移動検出部と、
   前記車両の走行状況を判定する走行状況判定部と、
   前記映像取得部が取得した映像情報および前記移動検出部において検出した人物の移動方向を示すアイコンを、前記走行状況判定部において判定した走行状況に応じて、前記移動方向を示すアイコンを表示させる範囲を変化させて表示部に表示させる表示制御部と、
   を備えることを特徴とする表示装置。
2. 前記映像取得部において取得した映像情報の視点を変換した俯瞰画像を生成する生成部と、をさらに備え、
   前記表示制御部は、前記生成部において生成した俯瞰画像および前記移動検出部において検出した人物の移動方向を示すアイコンを前記表示部に表示させることを特徴とする、
   請求項１に記載の表示装置。
3. 前記表示制御部は、前記映像取得部が取得した映像情報の一部分を切出して前記表示部に表示させ、前記表示部に表示される範囲の外に含まれる人物の移動方向を示すアイコンを表示部に表示させることを特徴とする、
   請求項１または２に記載の表示装置。
4. 前記表示制御部は、前記表示部に表示される範囲の外に含まれ前記表示部に表示される範囲に移動する人物の移動方向を示すアイコンを表示部に表示させることを特徴とする、
   請求項３に記載の表示装置。
5. 前記表示制御部は、前記車両の進行方向に向かう人物の移動方向を示すアイコンを表示することを特徴とする請求項１または２に記載の表示装置。
6. 前記移動検出部は、前記人物検出部において検出した人物の移動速度も検出し、
   前記表示制御部は、前記移動方向を示すアイコンとして、前記移動検出部において検出した移動速度に応じた形態の矢印形状アイコンを表示することを特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記表示制御部は、前記映像情報における前記検出した人物を起点として前記人物の移動方向に延びる前記移動方向を示すアイコンを表示させることを特徴とする請求項１から６のいずれかに記載の表示装置。
8. 前記表示制御部は、前記移動検出部において検出した移動方向が変動している場合、前記移動方向を示すアイコンとして、前記人物検出部において検出した人物の周囲に移動可能性のある範囲を示すアイコンを表示することを特徴とする請求項１から３のいずれかに記載の表示装置。
9. 前記表示制御部は、前記人物検出部において検出した人物のサイズが所定サイズ未満である場合、前記移動方向を示すアイコンとして、前記人物検出部において検出した人物の周囲に移動可能性のある範囲を示すアイコンを表示することを特徴とする請求項１から３のいずれかに記載の表示装置。
10. 車両の周囲を撮像した映像情報を取得する映像取得ステップと、
    前記取得ステップで取得した映像情報から人物を検出する人物検出ステップと、
    前記人物検出ステップで検出した人物の移動方向を検出する移動検出ステップと、
    前記車両の走行状況を判定する走行状況判定ステップと、
    前記映像取得ステップで取得した映像情報および前記移動検出ステップで検出した人物の移動方向を示すアイコンを、前記走行状況判定ステップにおいて判定した走行状況に応じて、前記移動方向を示すアイコンを表示させる範囲を変化させて表示部に表示する表示ステップと、
    を備えることを特徴とする表示方法。
11. 車両の周囲を撮像した映像情報を取得する映像取得ステップと、
    前記取得ステップで取得した映像情報から人物を検出する人物検出ステップと、
    前記人物検出ステップで検出した人物の移動方向を検出する移動検出ステップと、
    前記車両の走行状況を判定する走行状況判定ステップと、
    前記映像取得ステップで取得した映像情報および前記移動検出ステップで検出した人物の移動方向を示すアイコンを、前記走行状況判定ステップにおいて判定した走行状況に応じて、前記移動方向を示すアイコンを表示させる範囲を変化させて表示部に表示する表示ステップと、
    をコンピュータに実行させるためのプログラム。

Images