JP7395842B2 - 画像表示装置および画像表示プログラム - Google Patents

Description

本開示は、画像表示装置および画像表示プログラムに関する。

従来から、車両に設けられる１以上の撮像部による撮像結果としての複数の撮像画像を同一の画面上に表示する技術について検討されている。このような技術の一つとして、車両の乗員の顔が写った顔画像と、車両の前方が写った前方画像と、を表示する技術が知られている。

特開２００５－１８８９９８号公報

しかしながら、上記のような従来の技術において、顔画像および前方画像は、撮像方向が実質的に逆である。撮像方向が実質的に逆の２つの撮像画像に写った像は、実質的に互いに鏡像の関係となるので、それらの画像が同一の画面上に表示されると、表示内容を正確に認識することができない場合がある。

そこで、本開示の課題の一つは、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することが可能な画像表示装置および画像表示プログラムを提供することである。

本開示の一例としての画像表示装置は、車両に設けられる１以上の撮像部による撮像結果として得られる複数の撮像画像を取得する画像取得部と、複数の撮像画像が、第１方向を撮像方向とする第１画像と、第１方向とは実質的に逆の第２方向を撮像方向とする第２画像と、を含む場合に、第１画像および第２画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、第１画像および第２画像を表示部に表示する表示処理部と、を備える。

上述した画像表示装置によれば、撮像画像が実質的に逆の撮像画像としての第１画像および第２画像のうちいずれか一方の画像が、左右が反転した上で他方の画像とともに表示部に表示されるので、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することができる。

上述した画像表示装置において、表示処理部は、第１画像および第２画像のうち一方が、車両の内部の状況が写った車内画像であり、第１画像および第２画像のうち他方が、車両の外部の状況が写った車外画像である場合、車内画像に鏡像処理を実行した上で、車内画像および車外画像を表示部に表示する。このような構成によれば、車内画像および車外画像のうち、左右が反転しても違和感が生じにくい車内画像の方に鏡像処理を実行されるので、車内画像および車外画像を同一の画面上で違和感の小さい形で表示することができる。

この場合において、表示処理部は、車内画像として、車両の乗員の顔が写った顔画像を表示し、車外画像として、車両の前方の状況が写った前方画像を表示する。このような構成によれば、顔画像および前方画像を同一の画面上で違和感の小さい形で表示することができる。

また、この場合において、表示処理部は、乗員の顔に含まれうる目の向きおよび顔の向きのうち少なくとも一方を識別するための方向識別標示を表示部に表示する。このような構成によれば、乗員の目の向きおよび顔の向きのうち少なくとも一方を視覚的に分かりやすく表示することができる。

上述した画像表示装置において、表示処理部は、第１画像および第２画像のうち鏡像処理が実行された方を識別するための鏡像識別標示を表示部に表示する。このような構成によれば、鏡像処理が実行された画像の識別を容易化することができる。

また、上述した画像表示装置において、表示処理部は、複数の撮像画像の全ての撮像方向が実質的に同じである場合、鏡像処理を実行することなく、複数の撮像画像を表示部に表示する。このような構成によれば、撮像方向が実質的に逆の撮像画像が存在しない場合に、複数の撮像画像をそのままの形で簡単に表示することができる。

本開示の他の一例としての画像表示プログラムは、車両に設けられる１以上の撮像部による撮像結果として得られる撮像画像を取得する画像取得ステップと、撮像画像が、第１方向を撮像方向とする第１画像と、第１方向とは実質的に逆の第２方向を撮像方向とする第２画像と、を含む場合に、第１画像および第２画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、第１画像および第２画像を表示部に表示する表示処理ステップと、をコンピュータに実行させる。

上述した画像表示プログラムによれば、撮像画像が実質的に逆の撮像画像としての第１画像および第２画像のうちいずれか一方の画像が、左右が反転した上で他方の画像とともに表示部に表示されるので、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することができる。

図１は、実施形態にかかる技術の適用対象としての運転行動確認システムの概要を説明するための例示的かつ模式的な図である。 図２は、実施形態にかかる運転行動確認システムを構成する各装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。 図３は、実施形態にかかる顔画像の撮像方向および前方画像の撮像方向の関係を示した例示的かつ模式的な図である。 図４は、実施形態にかかる画像表示装置の機能を示した例示的かつ模式的な図である。 図５は、実施形態にかかる表示部に表示される画像の一例を示した例示的かつ模式的な図である。 図６は、実施形態にかかる表示部に表示される画像の他の一例を示した例示的かつ模式的な図である。 図７は、実施形態にかかる表示部に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。 図８は、実施形態にかかる画像表示装置が実行する一連の処理を示した例示的かつ模式的なフローチャートである。

以下、本開示の実施形態を図面に基づいて説明する。以下に説明される実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

図１は、実施形態にかかる技術の適用対象としての運転行動確認システムの概要を説明するための例示的かつ模式的な図である。

図１に示されるように、実施形態にかかる運転行動確認システムは、車両Ｖの乗員のうちの一人であるドライバＸ１の運転行動に関する情報をドライバモニタ１１０およびドライブレコーダ１２０によって記録し、記録した運転行動に関する情報を記録媒体１５０によってＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１３０に移管し、移管した運転行動に関する情報をＰＣ１３０によってオペレータＸ２に事後的に確認させることを実現するシステムである。車両Ｖは、たとえば運送業者のトラックであり、ＰＣ１３０は、たとえば運送業者のバックオフィス業務用の情報処理装置である。

なお、実施形態では、運転行動に関する情報のＰＣ１３０への移管に記録媒体１５０が利用される構成について説明するが、運転行動に関する情報のＰＣ１３０への移管は、ネットワーク上のクラウドサーバ経由で実行されてもよい。この場合、車両Ｖ側の装置としてのドライバモニタ１１０およびドライブレコーダ１２０のうち少なくとも一方と、ＰＣ１３０とが共にネットワーク通信機能を有していることが前提となる。なお、車両Ｖ側の装置とＰＣ１３０とが共にネットワーク通信機能を有していれば、ドライバＸ１の運転行動に関する情報をオペレータＸ２がリアルタイムで確認することが可能である。

図２は、実施形態にかかる運転行動確認システムを構成する各装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。

図１にも示されているが、図２に示されるように、実施形態にかかる運転行動確認システムは、主として、ドライバモニタ１１０と、ドライブレコーダ１２０と、ＰＣ１３０と、によって構成されている。

ドライバモニタ１１０は、撮像部１１１と、制御部１１２と、記憶部１１３と、入出力部１１４と、を備えている。

撮像部１１１は、車両Ｖの内部の状況を表す車内画像の一つとしての、ドライバＸ１の顔が写った顔画像を取得するカメラである（図１のドライバモニタ１１０から延びる一点鎖線も参照）。なお、顔画像という表現は、ある１つのタイミングにおける静止画の意味だけでなく、連続した複数のタイミングにおける静止画の集まりである動画（映像）としての意味も含んでいる。

また、制御部１１２は、ドライバモニタ１１０の動作を統括的に制御するプロセッサである。制御部１１２は、ドライバモニタ１１０において必要となる各種の演算処理を実行する。

また、記憶部１１３は、ドライバモニタ１１０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。

なお、入出力部１１４は、ドライバモニタ１１０を外部に接続するためのインターフェースである。図２に示される例では、ドライバモニタ１１０は、入出力部１１４を介してドライブレコーダ１２０（の入出力部１２４）に接続されている。

また、上記のドライバモニタ１１０と同様、ドライブレコーダ１２０も、撮像部１２１と、制御部１２２と、記憶部１２３と、入出力部１２４と、を備えている。

撮像部１２１は、車両Ｖの外部の状況が写った車外画像、より具体的には車両Ｖの前方の状況が写った前方画像を取得するカメラである（図１のドライブレコーダ１２０から延びる一点鎖線も参照）。なお、上述した顔画像と同様、前方画像という表現は、ある１つのタイミングにおける静止画の意味だけでなく、連続した複数のタイミングにおける静止画の集まりである動画（映像）としての意味も含んでいる。

また、制御部１２２は、ドライブレコーダ１２０の動作を統括的に制御するプロセッサである。制御部１２２は、ドライブレコーダ１２０において必要となる各種の演算処理を実行する。

また、記憶部１２３は、ドライブレコーダ１２０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。

なお、入出力部１２４は、ドライブレコーダ１２０を外部に接続するためのインターフェースである。図２に示される例では、ドライブレコーダ１２０は、入出力部１２４を介してドライバモニタ１１０（の入出力部１１４）に接続されている。また、図２に示される例では、記憶部１２３に記憶された各種のデータが、入出力部１２４に接続される記録媒体１５０を介してＰＣ１３０に移管される。

一方、ＰＣ１３０は、表示部１３１と、制御部１３２と、記憶部１３３と、入出力部１３４と、を備えている。

表示部１３１は、ＰＣ１３０のユーザとしてのオペレータＸ２に情報を視覚的に提供するための表示出力装置である。

制御部１３２は、ＰＣ１３０の動作を統括的に制御するプロセッサである。制御部１３２は、ＰＣ１３０において必要となる各種の演算処理を実行する。

記憶部１３３は、ＰＣ１３０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。

入出力部１３４は、ＰＣ１３０を外部に接続するためのインターフェースである。図２に示される例では、図２に示される例では、記録媒体１５０が入出力部１３４に接続されることで、ドライブレコーダ１２０の記憶部１２３に記憶された各種のデータの移管が実現される。なお、別の実施形態として、ドライバモニタ１１０が（記憶部１１３などに）保持するデータが、入出力部１１４に接続された記録媒体１５０を経由して入出力部１３４を介してＰＣ１３０に移管されてもよい。同様に、ドライブレコーダ１２０が（記憶部１２３などに）保持するデータが、入出力部１２４に接続された記録媒体１５０を経由して入出力部１３４を介してＰＣ１３０に移管されてもよい。また、ドライバモニタ１１０のデータやドライブレコーダ１２０のデータは、それぞれネットワーク上のクラウドサーバ経由でＰＣ１３０に移管されてもよい。

以上のハードウェア構成により、実施形態にかかる運転行動確認システムは、ドライバモニタ１１０の撮像部１１１により取得される顔画像と、ドライブレコーダ１２０の撮像部１２１により取得される前方画像と、をＰＣ１３０の表示部１３１に表示することで、ドライバＸ１の運転行動に関する情報をＰＣ１３０のオペレータＸ２に視覚的に確認させることを実現する。

ここで、顔画像の撮像方向、すなわちドライバモニタ１１０の撮像部１１１の向きと、前方画像の撮像方向、すなわちドライブレコーダ１２０の撮像部１２１の向きとは、次の図３に示されるような関係を有している。

図３は、実施形態にかかる顔画像の撮像方向および前方画像の撮像方向の関係を示した例示的かつ模式的な図である。

図３に示される例において、矢印Ａ３１１およびＡ３１２は、ドライバＸ１の左右の目のそれぞれの向きを表しており、矢印Ａ３２１は、ドライバＸ１の顔の向きを表している。なお、図３には、説明の簡単化のため、目の向きと顔の向きとが実質的に一致している例が示されているが、一般に、左右の目の向きは互いに一致することが多いものの、目の向きと顔の向きとは、必ずしも一致するとは限らない。

図３に示される例において、ドライバモニタ１１０の撮像部１１１の向き、すなわち顔画像の撮像方向が矢印Ａ３３１で表される場合、ドライバＸ１の目の向きおよび顔の向きは、顔画像の撮像方向とは逆の正面方向となる。したがって、この場合、撮像部１１１は、ドライバＸ１の目および顔が正面方向から写った顔画像を取得する。

一方、図３に示される例において、顔画像の撮像方向が矢印Ａ３４１で表される場合、ドライバＸ１の目の向きおよび顔の向きは、顔画像の撮像方向とは逆の正面方向に対して角度θだけ傾いた方向となる。したがって、この場合、撮像部１１１は、ドライバＸ１の目および顔が正面方向に対して角度θだけ傾いた方向から写った顔画像を取得する。

なお、図３に示される例では、ドライバＸ１の目の向きおよび顔の向きが固定であり、顔画像の撮像方向が変化するように表現されているが、このような表現はあくまで説明の便宜のためである。現実には、ドライバＸ１の目の向きおよび／または顔の向きが変化し、顔画像の撮像方向は固定である。

また、図３に示される例において、矢印Ａ３３２およびＡ３４２は、それぞれ、顔画像の撮像方向が矢印Ａ３３１およびＡ３４１で表される場合における前方画像の撮像方向を表している。図１からも分かるように、実施形態において、ドライバモニタ１１０の撮像部１１１の向きと、ドライブレコーダ１２０の撮像部１２１の向きとは、実質的に逆である。したがって、撮像部１１１により取得される顔画像に写った像と、撮像部１２１により取得される前方画像に写った像とは、実質的に、左右が逆のいわゆる鏡像の関係となる。

ところで、従来から、車両に設けられる１以上の撮像部による撮像結果としての複数の撮像画像を同一の画面上に表示する技術について検討されている。

しかしながら、上記のような従来の技術では、上述した顔画像および前方画像のような、撮像方向が実質的に逆の２つの撮像画像が同一の画面上に表示されることがある。撮像方向が実質的に逆の２つの撮像画像に写った像は、実質的に互いに鏡像の関係となるので、それらの画像が同一の画面上に表示されると、表示内容を正確に認識することができない場合がある。

そこで、実施形態は、以下に説明するような機能を有した画像表示装置４００をＰＣ１３０内に実現することで、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することを実現する。

図４は、実施形態にかかる画像表示装置４００の機能を示した例示的かつ模式的な図である。なお、実施形態において、「画像表示装置」は、「運転行動表示装置」とも表現しうる。

図４に示されるように、画像表示装置４００は、画像取得部４０１と、表示処理部４０２と、を備えている。これらの機能は、たとえば、ＰＣ１３０の制御部１３２が記憶部１３３に記憶された所定の画像表示プログラムを読み出して実行した結果として実現される。なお、実施形態では、これらの機能の一部または全部が、専用のハードウェア（回路）のみによって実現されてもよい。

画像取得部４０１は、ドライバモニタ１１０の撮像部１１１により取得される顔画像と、ドライブレコーダ１２０の撮像部１２１により取得される前方画像とを、記録媒体１５０経由で取得する。

表示処理部４０２は、ＰＣ１３０の表示部１３１の表示内容を制御する。たとえば、表示処理部４０２は、次の図５に示されるような形で、顔画像と前方画像とを同一の画面上に表示する。

図５は、実施形態にかかる表示部１３１に表示される画像の一例を示した例示的かつ模式的な図である。

図５に示されるように、表示処理部４０２は、撮像方向が実質的に逆である顔画像および前方画像を同一の画面上に表示する場合、顔画像に対して鏡像処理を実行した上で、顔画像および前方画像の両方を表示部１３１に表示する。

すなわち、表示処理部４０２は、顔画像としての画像５１１と、前方画像としての画像５１２と、をそのまま含む図５の（Ａ）に示される画像５１０ではなく、左右を反転させる鏡像処理が実行された顔画像としての画像５２１と、鏡像処理が実行されていない前方画像としての画像５２２と、を含む図５の（Ｂ）に示される画像５２０を表示部１３１に表示する。なお、画像５１０内の表示領域５１３および５１４と、画像５２０内の表示領域５２３および５２４とは、いずれも、各種の設定情報や動画の時系列に関する情報などを表示するための領域である。

ここで、鏡像処理を実行する対象は、顔画像ではなく前方画像でも問題ないが、主にドライバＸ１の顔だけが写っている顔画像を反転させる方が、車両Ｖの外部の風景が写っている前方画像を反転させるよりも、違和感が小さい。ただし、この場合、顔画像に鏡像処理が実行されている旨を識別可能にしておくことは、有益である。

したがって、表示処理部４０２は、図５の（Ｂ）に示される画像５２０内の顔画像としての画像５２１に、顔画像に鏡像処理が実行されている旨を識別するための鏡像識別標示５３１を重畳する。図５に示される例では、鏡像識別標示５３１が「※反転中」という文字列として構成されているが、鏡像処理が実行されているか否かの識別は、画像などといった他の態様の標示で実現されてもよい。

なお、図５に示される例では、同一の画面上に表示される画像が顔画像と前方画像との２つの画像である構成が例示されているが、実施形態の技術は、顔画像および前方画像以外の他の画像を含む３つ以上の画像が同一の画面上に表示される構成にも適用可能であるし、当該３つ以上の画像のうち２つの画像が同一の画面上に表示される構成にも適用可能である。顔画像および前方画像以外の画像の例としては、たとえば、車両Ｖの後方の状況を撮像するように車両Ｖに設けられた撮像部により取得される車外画像の一つとしての後方画像や、車両ＶのドライバＸ１以外の乗員を撮像するように車両Ｖに設けられた撮像部により取得される車内画像の一つとしての乗員画像などが考えられる。

このように、実施形態において、表示処理部４０２は、車両Ｖに設けられる１以上の撮像部による撮像結果として得られる複数の撮像画像が、第１方向を撮像方向とする第１画像と、第１方向とは実質的に逆の第２方向を撮像方向とする第２画像と、を含む場合に、第１画像および第２画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、第１画像および第２画像の両方を表示部１３１に表示する。

ただし、言うまでもないが、同一の画面上に表示される全ての撮像画像の撮像方向が実質的に同じである場合は、上記のような鏡像処理は不要である。したがって、表示処理部４０２は、複数の撮像画像の全ての撮像方向が実質的に同じである場合、鏡像処理を実行することなく、複数の撮像画像を表示部１３１に表示する。

ところで、実施形態にかかる運転行動確認システムは、撮像部１１１により取得される顔画像に、顔の三次元モデルを利用したフィッティングなどといった各種の画像処理を実行することで、顔画像に写ったドライバＸ１の目の向きおよび顔の向きを、たとえば顔画像の撮像方向とは逆の正面方向に対する角度などといった形で検出する機能を有している。なお、この機能は、ドライバモニタ１１０の制御部１１２、ドライブレコーダ１２０の制御部１２２、およびＰＣ１３０の制御部１３２のうちいずれかが単独で有していてもよいし、これら３者のうち２者以上が分担で有していてもよい。

実施形態において、画像取得部４０１は、上記の機能に基づいて顔画像から検出されるドライバＸ１の目の向きおよび顔の向きを、顔画像および前方画像とともに取得することが可能である。この場合、ドライバＸ１の目の向きおよび顔の向きも顔画像および前方画像とともに表示部１３１に表示されれば、ドライバＸ１の運転行動の確認を効果的に実行することができる。

そこで、実施形態において、表示処理部４０２は、たとえば次の図６に示される例のように、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方を表示部１３１に表示する。

図６は、実施形態にかかる表示部１３１に表示される画像の他の一例を示した例示的かつ模式的な図である。

図６に示されるように、表示処理部４０２は、鏡像識別標示６１１が重畳された顔画像としての画像６０１と、前方画像としての画像６０２と、各種の設定情報や動画の時系列に関する情報などが表示される表示領域６０３および６０４と、を含む画像６００内に、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方を識別するための方向識別標示６２１を表示する。

より具体的に、表示処理部４０２は、顔画像としての画像６０１の端部のうち、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方に対応した端部の近傍に、方向識別標示６２１を表示する。図６に示される例では、顔画像としての画像６０１に写ったドライバＸ１の目および顔は、紙面で右側を向いているので、表示処理部４０２は、矩形形状を有する画像６０１の右側の辺の近傍に、当該右側の辺に沿って上下に延びる細長の矩形形状を有する方向識別標示６２１を表示する。

なお、図６に示される例では、ドライバＸ１の目の向きおよび顔の向きが実質的に一致しているが、両者は必ずしも一致するとは限らない。この場合、目の向きを示す標示のみが方向識別標示として表示されてもよいし、顔の向きを示す標示のみが方向識別標示として表示されてもよいし、目の向きを示す標示と顔の向きを示す標示との両方が別々に方向識別標示として表示されてもよい。

また、実施形態では、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方を識別可能な標示であれば、図６に示される例とは形状および表示位置の異なる標示が表示されてもよい。

さらに、実施形態では、次の図７に示される例のように、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方が、図６に示される例よりも強調された形で表示部１３１に表示されてもよい。

図７は、実施形態にかかる表示部１３１に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。

図７に示されるように、表示処理部４０２は、鏡像識別標示７１１が重畳された顔画像としての画像７０１と、前方画像としての画像７０２と、各種の設定情報や動画の時系列に関する情報などが表示される表示領域７０３および７０４と、を含む画像７００内に、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方を識別するための２つの方向識別標示７２１および７２２を表示する。

より具体的に、表示処理部４０２は、顔画像としての画像７０１の端部のうち、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方に対応した端部の近傍に、方向識別標示７２１を表示し、さらに、前方画像としての画像７０２の端部のうち、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方に対応した端部の近傍にも、方向識別標示７２２を表示する。

図７に示される例では、顔画像としての画像７０１に写ったドライバＸ１の目および顔は、紙面で右側を向いているので、表示処理部４０２は、矩形形状を有する画像７０１の右側の辺の近傍に、当該右側の辺に沿って上下に延びる細長の矩形形状を有する方向識別標示７２１を表示し、矩形形状を有する画像７０２の右側の辺の近傍に、当該右側の辺に沿って上下に延びる細長の矩形形状を有する方向識別標示７２２を表示する。

以上の構成に基づき、実施形態にかかる画像表示装置４００は、次の図８に示されるような流れに従って処理を実行する。

図８は、実施形態にかかる画像表示装置４００が実行する一連の処理を示した例示的かつ模式的なフローチャートである。図８に示される一連の処理は、動画としての顔画像および／または前方画像の表示再生が終了するまでの間、繰り返し実行される。

図８に示されるように、実施形態では、まず、Ｓ８０１において、画像表示装置４００の画像取得部４０１は、車両Ｖに設けられる１以上の撮像部により取得される複数の撮像画像を取得する。実施形態では、撮像画像として、ドライバモニタ１１０の撮像部１１１により取得される顔画像や、ドライブレコーダ１２０の撮像部１２１により取得される前方画像などが挙げられる。

そして、Ｓ８０２において、画像表示装置４００の表示処理部４０２は、Ｓ８０１で取得された複数の撮像画像の中に、撮像方向の異なる撮像画像、より具体的には撮像方向が実質的に逆の２つの撮像画像が存在するか否かを判断する。なお、別の実施形態として、撮像方向が実質的に逆の２つの撮像画像が存在するか否かを人が判断し、判断結果を何らかの手段で画像表示装置４００に入力することで以降の処理に反映する、という構成も考えられる。

Ｓ８０２において、撮像方向の異なる撮像画像が存在すると判断された場合、Ｓ８０３に処理が進む。たとえば、顔画像と前方画像とが撮像画像として取得された場合、両者の撮像方向は実質的に逆であるので、Ｓ８０３に処理が進む。

そして、Ｓ８０３において、画像表示装置４００の表示処理部４０２は、撮像方向の異なる２つの撮像画像のうちの一方に、左右を反転させる鏡像処理を実行する。なお、顔画像と前方画像とが撮像画像として取得された場合、前述した理由により、顔画像の方に鏡像処理を実行するのが妥当である。

Ｓ８０３の処理が実行されると、Ｓ８０４に処理が進む。また、Ｓ８０２において、撮像方向の異なる撮像画像が存在しないと判断された場合も、Ｓ８０４に処理が進む。

そして、Ｓ８０４において、画像表示装置４００の表示処理部４０２は、複数の撮像画像を同一の画面上に表示する。より具体的に、表示処理部４０２は、Ｓ８０３において鏡像処理が実行された撮像画像が存在する場合、鏡像処理が実行された撮像画像を、他の撮像画像とともに表示部１３１に表示し、Ｓ８０３において鏡像処理が実行された撮像画像が存在しない場合、複数の撮像画像をそのまま表示部１３１に表示する。そして、処理が終了する。

以上説明したように、実施形態にかかる画像表示装置４００は、画像取得部４０１と、表示処理部４０２と、を備えている。画像取得部４０１は、ドライバモニタ１１０の撮像部１１１やドライブレコーダ１２０の撮像部１２１などといった、車両Ｖに設けられる１以上の撮像部による撮像結果として得られる複数の撮像画像を取得する。表示処理部４０２は、複数の撮像画像が、第１方向を撮像方向とする第１画像と、第１方向とは実質的に逆の第２方向を撮像方向とする第２画像と、を含む場合に、第１画像および第２画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、第１画像および第２画像を表示部１３１に表示する。

上述した画像表示装置４００によれば、撮像画像が実質的に逆の撮像画像としての第１画像および第２画像のうちいずれか一方の画像が、左右が反転した上で他方の画像とともに表示部１３１に表示されるので、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することができる。

ここで、実施形態において、表示処理部４０２は、上記の第１画像および第２画像のうち一方として、車両Ｖの内部の状況が写った車内画像、より具体的には車両ＶのドライバＸ１の目を含む顔が写った顔画像を表示し、上記の第１画像および第２画像のうち他方として、車両Ｖの外部の状況が写った車外画像、より具体的には車両Ｖの前方の状況が写った前方画像を表示する。そして、表示処理部４０２は、顔画像に鏡像処理を実行した上で、顔画像および前方画像を表示部１３１に表示する。このような構成によれば、顔画像および前方画像のうち、左右が反転しても違和感が生じにくい顔画像の方に鏡像処理を実行されるので、顔画像および前方画像を同一の画面上で違和感の小さい形で表示することができる。

また、実施形態において、表示処理部４０２は、図６または図７に示されるような形で、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方を識別するための方向識別標示６２１、または７２１および７２２を表示部１３１に表示する。このような構成によれば、ドライバＸ１の目の向きおよび顔の向きを視覚的に分かりやすく表示することができる。なお、上記では、顔画像にドライバＸ１の目が写っている例について主に説明しているが、ドライバＸ１の目が帽子やサングラスなどによって隠れていることによって顔画像に目が実質的に写っていない場合も想定される。このような場合、顔画像から目の向きを検出することが困難であるので、方向識別標示の表示位置は、実質的に顔の向きのみに基づいて決定される。

また、実施形態において、表示処理部４０２は、図５の（Ｂ）、図６、または図７に示されるような形で、上記の第１画像および第２画像のうち鏡像処理が実行された方を識別するための鏡像識別標示５３１、６１１、または７１１を表示部１３１に表示する。このような構成によれば、鏡像処理が実行された画像の識別を容易化することができる。

また、実施形態において、表示処理部４０２は、表示部１３１に表示すべき複数の撮像画像の全ての撮像方向が実質的に同じである場合、鏡像処理を実行することなく、複数の撮像画像をそのまま表示部１３１に表示する。このような構成によれば、撮像方向が実質的に逆の撮像画像が存在しない場合に、複数の撮像画像をそのままの形で簡単に表示することができる。

なお、実施形態にかかるＰＣ１３０において実行される画像表示プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかるＰＣ１３０において実行される画像表示プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１１、１２１ 撮像部
１３１ 表示部
４００ 画像表示装置
４０１ 画像取得部
４０２ 表示処理部
５２１、６０１、７０１ 画像（撮像画像、顔画像、車内画像）
５２２、６０２、７０２ 画像（撮像画像、前方画像、車外画像）
５３１、６１１、７１１ 鏡像識別標示
６２１、７２１、７２２ 方向識別標示
Ｖ 車両
Ｘ１ ドライバ（乗員）

Claims (6)

1. 車両に設けられる１以上の撮像部による撮像結果として得られる複数の撮像画像を取得する画像取得部と、
   前記複数の撮像画像が、第１方向を撮像方向とする第１画像と、前記第１方向とは実質的に逆の第２方向を撮像方向とする第２画像と、を含む場合に、前記第１画像および前記第２画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、前記第１画像および前記第２画像を表示部に表示する表示処理部と、を備え、
   前記表示処理部は、
   前記第１画像および前記第２画像のうち一方が、前記車両の内部の状況が写った車内画像であり、前記第１画像および前記第２画像のうち他方が、前記車両の外部の状況が写った車外画像である場合、前記車内画像に前記鏡像処理を実行した上で、前記車内画像および前記車外画像を前記表示部に表示し、
   前記車内画像として、前記車両の乗員の顔が写った顔画像を表示し、前記車外画像として、前記車両の前方の状況が写った前方画像を表示し、
   前記乗員の前記顔に含まれうる目の向きを識別するための第１の方向識別標示および前記顔の向きを識別するための第２の方向識別標示の双方を個別に前記表示部に表示する、
   画像表示装置。
2. 前記表示処理部は、前記第１の方向識別標示および前記第２の方向識別標示の少なくとも一方を強調して表示する、
   請求項１に記載の画像表示装置。
3. 前記表示処理部は、前記第１画像および前記第２画像のうち前記鏡像処理が実行された方を識別するための鏡像識別標示を前記表示部に表示する、
   請求項１に記載の画像表示装置。
4. 前記表示処理部は、前記複数の撮像画像の全ての撮像方向が実質的に同じである場合、前記鏡像処理を実行することなく、前記複数の撮像画像を前記表示部に表示する、
   請求項１～３のいずれか１項に記載の画像表示装置。
5. 車両に設けられる１以上の撮像部による撮像結果として得られる複数の撮像画像を取得する画像取得部と、
   前記複数の撮像画像が、第１方向を撮像方向とする第１画像と、前記第１方向とは実質的に逆の第２方向を撮像方向とする第２画像と、を含む場合に、前記第１画像および前記第２画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、前記第１画像および前記第２画像を表示部に表示する表示処理部と、を備え、
   前記表示処理部は、
   前記第１画像および前記第２画像のうち一方が、前記車両の内部の状況が写った車内画像であり、前記第１画像および前記第２画像のうち他方が、前記車両の外部の状況が写った車外画像である場合、前記車内画像に前記鏡像処理を実行した上で、前記車内画像および前記車外画像を前記表示部に表示し、
   前記車内画像として、前記車両の乗員の顔が写った顔画像を表示し、前記車外画像として、前記車両の前方の状況が写った前方画像を表示し、
   前記乗員の前記顔に含まれうる目の向きを識別するための第１の方向識別標示および前記顔の向きを識別するための第２の方向識別標示のいずれ一方を前記表示部に表示し、
   前記第１の方向識別標示または前記第２の方向識別標示を、前記顔画像または前記前方画像のうち一方の画像の端部のうち、前記目の向きおよび顔の向きのうち少なくとも一方に対応した端部の近傍に表示する、
   画像表示装置。
6. 車両に設けられる１以上の撮像部による撮像結果として得られる撮像画像を取得する画像取得ステップと、
   前記撮像画像が、第１方向を撮像方向とする第１画像と、前記第１方向とは実質的に逆の第２方向を撮像方向とする第２画像と、を含む場合に、前記第１画像および前記第２画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、前記第１画像および前記第２画像を表示部に表示する表示処理ステップと、をコンピュータに実行させるための画像表示プログラムであって、
   前記表示処理ステップは、
   前記第１画像および前記第２画像のうち一方が、前記車両の内部の状況が写った車内画像であり、前記第１画像および前記第２画像のうち他方が、前記車両の外部の状況が写った車外画像である場合、前記車内画像に前記鏡像処理を実行した上で、前記車内画像および前記車外画像を前記表示部に表示し、
   前記車内画像として、前記車両の乗員の顔が写った顔画像を表示し、前記車外画像として、前記車両の前方の状況が写った前方画像を表示し、
   前記乗員の前記顔に含まれうる目の向きを識別するための第１の方向識別標示および前記顔の向きを識別するための第２の方向識別標示の双方を個別に前記表示部に表示する、
   プログラム。

Images