JP6532616B2 - 表示制御装置、表示システム、及び、表示制御方法 - Google Patents

Description

この発明は、車両の周囲を撮影した映像を運転者に提供する処理を制御する装置に関するものである。

車載の撮像部により車両の右後側方及び左後側方を撮影して得られた映像を、インストルメントパネル等に表示することで、サイドミラーを電子化したシステムが知られている。
例えば特許文献１には、移動体の左右の後方の撮影画像に基づく表示画像を、サイドガラスに表示する表示制御装置が記載されている。車両の前方には歩行者等が存在する場合があるが、特許文献１に記載されたように、フロントガラスではなくサイドガラスに画像が表示されることで、運転者は表示画像に遮られることなく車両の前方を確認することができる。

特開２０１５−１７４６４３号公報

しかしながら、上記特許文献１に記載のようにサイドガラスに表示がされると、その表示を確認する際の運転者の視線移動は大きくなってしまう。

この発明は、上記のような課題を解決するためになされたもので、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができ、かつ、車両の前方も確認することができる表示制御装置を得ることを目的とする。

この発明に係る表示制御装置は、車両の周囲を撮影した映像を取得する映像取得部と、車両の進行方向の変更情報を取得する進行方向取得部と、車両の前方に存在する対象物の位置の検知結果を示す第１検知結果を取得する対象物情報取得部と、第１検知結果を用いて、当該対象物と投影される映像とが運転者から見て重なるかを判定する重なり判定部と、重なり判定部により重なると判定された場合に、車両の前方を写した映像と、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成する映像合成部と、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に、映像合成部により合成された映像を投影させる制御信号を出力する表示制御部とを備えることを特徴とするものである。

この発明によれば、車両の前方を写した映像と、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成した映像が、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に投影されるように制御されるので、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができ、かつ、車両の前方も確認することができる。

この発明の実施の形態１に係る表示制御装置の構成を示すブロック図である。 撮像部の設置例を示す図である。 図３Ａ及び図３Ｂは、この発明の実施の形態１に係る表示制御装置のハードウェア構成例を示す図である。 この発明の実施の形態１に係る表示制御装置の処理の一例を示すフローチャートである。 車両とその周囲の状況の一例を示す俯瞰図である。 図５に示す状況下で、投影部により投影される映像を示す図である。 この発明の実施の形態２に係る表示制御装置の構成を示すブロック図である。 この発明の実施の形態２に係る表示制御装置の処理の一例を示すフローチャートである。 車両とその周囲の状況の一例を示す俯瞰図である。 図９に示す状況下で、投影部により投影される映像を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る表示制御装置１０を示すブロック図である。図１は、表示制御装置１０が車載の表示システム１００に備えられた場合を示している。
表示システム１００は、撮像部１と、進行方向検知部２と、投影部３と、表示制御装置１０とを有する。

撮像部１は、車両の周囲を撮影する。撮像部１は、左後側方撮像部１ａと右後側方撮像部１ｂと前方撮像部１ｃとを有する。
図２は、撮像部１の設置例を示す図である。図２は、車両を上方から俯瞰した図となっている。左後側方撮像部１ａは、車両の左後側方Ｒ１を撮影可能な位置、例えば車両の左フロントフェンダーに設けられる。右後側方撮像部１ｂは、車両の右後側方Ｒ２を撮影可能な位置、例えば車両の右フロントフェンダーに設けられる。前方撮像部１ｃは、車両の前方を撮影可能な位置、例えば車両のボンネット先端に設けられる。これにより、左後側方撮像部１ａは車両の左後側方に存在する対象物を撮影可能であり、右後側方撮像部１ｂは車両の右後側方に存在する対象物を撮影可能であり、前方撮像部１ｃは車両の前方に存在する対象物を撮影可能である。対象物とは、自転車、バイク、歩行者等、運転者が注意を払うべきものである。

撮像部１は、車両の周囲を撮影した映像を表示制御装置１０に出力する。実施の形態では、車両の前方、右後側方及び左後側方をまとめて車両の周囲と呼ぶ。したがって、左後側方撮像部１ａ、右後側方撮像部１ｂ及び前方撮像部１ｃが出力する映像はいずれも、車両の周囲を撮影した映像と言える。
撮像部１は、カメラであり、特に広角カメラであると撮影範囲が広くなって好ましい。

進行方向検知部２は、右左折、又は、車線変更等の車両の進行方向の変更を検知する。進行方向検知部２は、例えば方向指示器の状態を監視することで、車両の進行方向の変更を検知する。あるいは、進行方向検知部２は、ステアリングホイールの回転角を監視することで、車両の進行方向の変更を検知してもよい。例えば、ステアリングホイールが設定角度以上回された場合に、進行方向検知部２は、車両の進行方向が変更されると検知する。あるいは、進行方向検知部２は、ドライバの状態を監視するドライバモニタリング装置から運転者の視線方向を取得して、その視線方向の変化に応じて車両の進行方向の変更を検知してもよい。

進行方向検知部２は、車両の進行方向の変更を検知すると、その検知結果を、車両の進行方向の変更情報として表示制御装置１０に出力する。当該変更情報には、変更先の方向が示される。例えば運転者が左折しようとして方向指示器を操作した場合、進行方向検知部２が出力する変更情報には、変更先の方向として「左」が示される。また例えば運転者が右側車線に移動しようとしてステアリングホイールを回した場合、進行方向検知部２が出力する変更情報には、変更先の方向として「右」が示される。

投影部３は、表示制御装置１０に制御されて、車両のフロントガラスに映像を投影する。投影部３が投影する映像及び投影先が、表示制御装置１０によって制御される。投影部３は、いわゆるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）である。投影部３の光源は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、レーザ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等である。

表示制御装置１０は、映像取得部１１と、進行方向取得部１２と、映像合成部１３と、表示制御部１４とを有する。
映像取得部１１は、撮像部１が出力した、車両の周囲を撮影した映像を取得する。具体的には、映像取得部１１は、左後側方撮像部１ａ、右後側方撮像部１ｂ及び前方撮像部１ｃが撮影した映像を取得する。映像取得部１１は、取得した映像を映像合成部１３に出力する。

進行方向取得部１２は、進行方向検知部２が出力した、車両の進行方向の変更情報を取得する。進行方向取得部１２は、取得した変更情報を映像合成部１３及び表示制御部１４に出力する。

映像合成部１３は、映像取得部１１が取得した映像を複数枚合成して、合成した映像を表示制御部１４に出力する。具体的には、映像合成部１３は、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成する。例えば、変更情報が「左」を示していれば、映像合成部１３は、車両の前方を写した映像と、車両の左後側方を写した映像とを合成する。変更情報が「右」を示していれば、映像合成部１３は、車両の前方を写した映像と、車両の右後側方を写した映像とを合成する。
車両の前方を写した映像は、前方撮像部１ｃが撮影した映像である。同様に、車両の右後側方を写した映像は、右後側方撮像部１ｂが撮影した映像であり、車両の左後側方を写した映像は、左後側方撮像部１ａが撮影した映像である。

表示制御部１４は、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に、映像合成部１３により合成された映像を投影させる制御信号を、投影部３に出力する。この制御信号により、変更情報が「左」を示していれば、フロントガラスの中でも左に位置する部分、つまり、運転者の左前方に映像が投影される。また同様に、変更情報が「右」を示していれば、フロントガラスの中でも右に位置する部分、つまり、運転者の右前方に映像が投影される。

表示制御装置１０のハードウェア構成例について、図３Ａ及び図３Ｂを用いて説明する。
表示制御装置１０の映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４の各機能は、処理回路により実現される。当該処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）とも呼ばれる。

図３Ａは、表示制御装置１０の各部の機能を、専用のハードウェアである処理回路２００で実現した場合のハードウェア構成例を示す図である。処理回路２００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４の各部の機能を別個の処理回路２００を組み合わせて実現してもよいし、各部の機能を１つの処理回路２００で実現してもよい。

図３Ｂは、表示制御装置１０の各部の機能を、メモリ２０１に格納されるプログラムを実行するＣＰＵ２０２で実現した場合のハードウェア構成例を示す図である。この場合、映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４の各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ２０１に格納される。ＣＰＵ２０２は、メモリ２０１に格納されたプログラムを読み出して実行することにより、表示制御装置１０の各部の機能を実現する。すなわち、表示制御装置１０は、後述する図４及び図８のフローチャートで示す処理が結果的に実行されることになるプログラム等を格納するためのメモリ２０１を有する。また、これらのプログラムは、表示制御装置１０の各部の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ２０１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等の、不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、表示制御装置１０の各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、映像取得部１１及び進行方向取得部１２については専用のハードウェアとしての処理回路でその機能を実現し、映像合成部１３及び表示制御部１４については処理回路がメモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せによって、上記の表示制御装置１０の各機能を実現することができる。
また、進行方向検知部２についても、表示制御装置１０と同様に図３Ａ及び図３Ｂのように構成することができる。

次に、上記のように構成された表示制御装置１０による処理の一例について、図４に示すフローチャートを用いて説明する。
運転者が方向指示器を操作するなどした場合、進行方向取得部１２は、進行方向検知部２から、車両の進行方向の変更情報を取得する（ステップＳＴ１）。取得した変更情報は、映像合成部１３及び表示制御部１４に出力される。
すると、続いて映像取得部１１が、撮像部１から、車両の周囲を撮影した映像を取得する（ステップＳＴ２）。取得した映像は、映像合成部１３に出力される。

続いて、映像合成部１３が、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成する（ステップＳＴ３）。合成した映像は、表示制御部１４に出力される。
続いて、表示制御部１４が、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に、映像合成部１３により合成された映像を投影させる制御信号を、投影部３に出力する（ステップＳＴ４）。この制御信号を受けて投影部３は、合成された映像を運転者の右前方又は左前方に投影する。変更情報が「左」を示していれば、フロントガラスの中でも左に位置する部分に映像が投影される。また、変更情報が「右」を示していれば、フロントガラスの中でも右に位置する部分に映像が投影される。

以上のステップＳＴ１〜ＳＴ４の処理は、進行方向検知部２が車両の進行方向の変更を検知するたびに、繰り返し行われる。
なお、映像取得部１１が進行方向取得部１２から変更情報を取得して、当該変更情報が示す変更先の方向の後側方を写した映像と、車両の前方を写した映像のみを映像合成部１３に出力するようにしてもよい。

図５は、車両とその周囲の状況の一例を示す俯瞰図である。車両は、進行方向を左に変更して左折する。その際、車両の前方には歩行者Ａが、車両の左後側方には自転車Ｂが存在している。
図５に示す状況下で、投影部３により投影される映像を図６に示す。進行方向が左に変更されるので、車両の左後側方を写した映像が車両の前方を写した映像と合成された合成映像が、フロントガラスの中でも左に位置する部分、つまり、運転者の左前方に投影されている。合成映像には、車両の前方に存在する歩行者Ａの映像Ａ１及び車両の左後側方に存在する自転車Ｂの映像Ｂ１が写っている。

このように、運転者の右前方又は左前方に、車両の右後側方又は左後側方を写した映像が投影されるので、右左折及び車線変更等の際、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができる。また、その際に車両の前方を写した映像が合成されることで、車両の前方も同時に確認することができる。
なお、図５及び図６に示した場合は、投影される映像と前方に存在する歩行者Ａとが運転者から見て重ならないものであった。一方、後述の図９及び図１０に示すように、投影される映像と前方に存在する歩行者Ａとが運転者から見て重なる場合もある。この場合、投影される映像に遮られて、運転者はフロントガラス越しに直接歩行者Ａを確認することができない。しかしながら、そのように重なる場合であっても、車両の前方を写した映像が合成されて投影されることにより、映像を見た運転者は歩行者Ａの存在を認識することができる。もちろん、図５及び図６のように重ならない場合であっても、運転者には、フロントガラス越しの直接的な確認、投影された映像による間接的な確認という２通りの歩行者Ａの確認方法が提供されるので、運転者は確実に確認することができる。

なお、上記では、投影部３は、映像をフロントガラスに投影するとした。しかしながら、運転者の右前方及び左前方にそれぞれ１つずつコンバイナを設け、投影部３は、それらのコンバイナに映像を投影するようにしてもよい。例えば右折のときは、表示制御装置１０に制御されて運転者の右前方に設けられたコンバイナに映像が投影され、また例えば左折のときは、表示制御装置１０に制御されて運転者の左前方に設けられたコンバイナに映像が投影される。

また、上記では、表示制御装置１０が車載の表示システム１００に備えられている場合を示した。しかしながら、表示制御装置１０を構成する映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４等の各部を外部サーバ内に構築して、当該外部サーバが撮像部１、進行方向検知部２及び投影部３との間で情報を送受信することにより、投影部３の制御を遠隔で行うようにしてもよい。また、その際、撮像部１、進行方向検知部２及び投影部３と外部サーバとを、スマートフォン等の携帯端末を介して互いに通信可能に接続することで、撮像部１、進行方向検知部２及び投影部３と外部サーバとの間で情報の送受信が行われるように構築してもよい。
また、表示制御装置１０を構成する映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４等の各部を携帯端末内に構築して、当該携帯端末を表示制御装置１０として機能させてもよい。

以上のように、実施の形態１に係る表示制御装置１０によれば、車両の前方を写した映像と、車両の右後側方又は右後側方を写した映像とを合成した映像が、運転者の右前方又は左前方に投影される。したがって、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができ、かつ、車両の前方も確認することができる。

また、左後側方撮像部１ａ及び右後側方撮像部１ｂは、車両の左右フロントフェンダーそれぞれに設けられて、車両の右後側方及び左後側方を撮影することとした。このようにすると、右後側方撮像部１ｂ及び左後側方撮像部１ａをドアミラー位置に設けて車両の右後側方及び左後側方を撮影する場合等に比べて、車両の右後側方及び左後側方において右後側方撮像部１ｂ及び左後側方撮像部１ａの撮影範囲に入らない死角領域を少なくすることができる。

また、前方撮像部１ｃは、車両のボンネット先端に設けられて、車両の前方を撮影することとした。このようにすると、前方撮像部１ｃをフロントガラスの上部、つまりルームミラーの横に設けて車両の前方を撮影する場合等に比べて、車両の前方において前方撮像部１ｃの撮影範囲に入らない死角領域を少なくすることができる。

また、撮像部１は、広角カメラであることとした。広角カメラを用いることで、撮像部１の撮影範囲に入らない死角領域を少なくすることができる。

実施の形態２．
実施の形態１では、車両の前方を写した映像と、車両の右後側方又は右後側方を写した映像とを合成して投影する場合について示した。実施の形態２では、特定の条件を満たすときのみ、そのように合成して投影する場合について説明する。
図７は、この発明の実施の形態２に係る表示制御装置１０ａを示すブロック図である。図７は、表示制御装置１０ａが表示システム１００に備えられた場合を示している。なお、実施の形態１で既に説明した構成と同一又は相当する機能を有する構成については、同一の符号を付し、その説明を省略又は簡略化する。

表示システム１００は、撮像部１、進行方向検知部２、投影部３及び表示制御装置１０ａに加え、対象物検知部４と補助表示部５とを有する。
対象物検知部４は、車両の周囲に存在する対象物についての情報を生成する。具体的には、対象物検知部４は、車両の前方に存在する対象物の位置を検知する。このとき検知される位置は、車両からの相対的な位置を示すものであり、車両からどの方向にどれくらい離れて存在しているかを示している。対象物検知部４は、検知した車両の前方に存在する対象物の位置を示す第１検知結果を、表示制御装置１０ａに出力する。
また、対象物検知部４は、車両の右後側方又は左後側方に存在する対象物の進行方向、速度及び位置を検知する。対象物検知部４は、検知した車両の右後側方又は左後側方に存在する対象物の進行方向、速度及び位置を示す第２検知結果を、表示制御装置１０ａに出力する。

対象物検知部４は、車両の右後側方又は左後側方に存在する対象物について検知する後側方検知部４ａと、車両の前方に存在する対象物について検知する前方検知部４ｂとを有する。
後側方検知部４ａ及び前方検知部４ｂは、例えばミリ波レーダである。後側方検知部４ａは、車両の右後側方又は左後側方に存在する対象物を検知可能な位置、例えば後ろバンパーに設けられる。前方検知部４ｂは、車両の前方に存在する対象物を検知可能な位置、例えば前バンパーに設けられる。

後側方検知部４ａ及び前方検知部４ｂは、撮像部１が撮影した映像を取得して、画像処理により対象物の位置等を検知する画像認識装置であってもよい。あるいは、対象物検知部４専用にステレオカメラを設けて、当該ステレオカメラが撮影した映像を画像処理の対象としてもよい。また、ミリ波レーダと画像認識装置とを組み合わせて、対象物検知部４を構成してもよい。また、対象物検知部４は、対象物の大きさを画像処理により検知して、検知結果に含めるようにしてもよい。

補助表示部５は、表示制御装置１０ａに制御されて、映像を表示するものである。補助表示部５が表示する映像が、表示制御装置１０ａによって制御される。補助表示部５は、例えばインストルメントパネル又はＣＩＤ（Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）である。または、補助表示部５として専用の表示機器を設けてもよい。

表示制御装置１０ａは、映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４に加え、対象物情報取得部１５と重なり判定部１６と位置予測部１７とを有する。
対象物情報取得部１５は、対象物検知部４が出力した第１検知結果及び第２検知結果を取得して、第１検知結果を重なり判定部１６に出力し、第２検知結果を位置予測部１７に出力する。

重なり判定部１６は、第１検知結果が示す車両の前方に存在する対象物の位置を用いて、当該対象物と投影部３が投影する映像とが運転者から見て重なるかを判定する。重なる場合は、投影部３が投影する映像によって車両の前方に存在する対象物が遮られ、運転者はフロントガラス越しに当該対象物を確認することができなくなる。なお、投影部３が映像を投影する範囲は、表示制御装置１０ａ内の不図示のメモリに予め記憶されている。重なり判定部１６は、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に投影する場合の範囲を当該メモリから読み出して、判定を行う。
重なり判定部１６は、判定結果を映像合成部１３及び表示制御部１４に出力する。

位置予測部１７は、第２検知結果が示す車両の右後側方又は左後側方に存在する対象物の進行方向、速度及び位置を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測する。そして、位置予測部１７は、予測した位置関係において、当該対象物が車両から設定範囲離れているかを判定する。設定範囲は、例えば、接触の可能性が考えられる程度の値に設定される。
位置予測部１７は、判定結果を映像合成部１３及び表示制御部１４に出力する。

例えば、交差点を左折しようとして、当該交差点の手前で運転者が方向指示器を操作したとする。このとき、進行方向検知部２によって車両の進行方向の変更が検知され、また、対象物検知部４によって車両の右後側方又は左後側方に存在する対象物の位置、進行方向及び速度が検知される。位置予測部１７は、不図示のナビゲーション装置から車両の現在位置、車両周囲の地図情報及び走行予定ルート等を、また、不図示の車速センサから車両の速度を取得して、それらの情報を用い、左折するであろう交差点と、当該交差点に車両がいつ到達するかを算出する。そして、位置予測部１７は、対象物検知部４が検知した対象物の位置、進行方向及び速度等を用いて、車両が交差点に到達するときに、当該対象物はどこに到達するかを算出する。例えばこのようにして、位置予測部１７は、車両が交差点を左折するときの車両と対象物との位置関係を予測することができる。

実施の形態２の表示制御装置１０ａは、実施の形態１の表示制御装置１０と同様に図３Ａ及び図３Ｂのように構成することができる。

次に、上記のように構成された実施の形態２の表示制御装置１０ａによる処理の一例について、図８に示すフローチャートを用いて説明する。図４を用いて既に説明した処理と同一又は相当する処理が行われるステップについては、同一の符号を付し、その説明を省略又は簡略化する。
ステップＳＴ１により取得した変更情報は、映像合成部１３、表示制御部１４、重なり判定部１６及び位置予測部１７に出力される。
また、ステップＳＴ２により取得した映像は、映像合成部１３に出力される。

ステップＳＴ２に続いて、対象物情報取得部１５が、第２検知結果を取得する（ステップＳＴ１０）。取得した第２検知結果は、位置予測部１７に出力される。

続いて、位置予測部１７が、第２検知結果を用いて、車両が進行方向を変更するときの、車両と対象物との位置関係を予測する。当該対象物は、変更情報が示す変更先の方向の後側方に存在する対象物である。そして、位置予測部１７は、車両が進行方向を変更するときに、当該対象物が車両から設定範囲内に存在すると予測されるかを判定する（ステップＳＴ１１）。判定結果は、映像合成部１３、表示制御部１４及び対象物情報取得部１５に出力される。

設定範囲内に存在すると予測されない場合、つまり、設定範囲外に存在すると予測された場合（ステップＳＴ１１；ＮＯ）、映像合成部１３が、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像を表示制御部１４に出力し、表示制御部１４が、当該映像を補助表示部５に表示させる制御信号を出力する（ステップＳＴ１２）。これにより、補助表示部５には、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像が表示される。
このようにして、投影部３による投影は行われずに補助表示部５に映像が表示されることで、運転者の視界が必要以上に遮られることがない。また、運転者が念のため車両の右後側方又は左後側方を確認したいと思った場合は、補助表示部５の表示を見ればいいことになる。
なお、変更情報が示す変更先の方向の後側方にそもそも対象物が存在しない場合は、設定範囲外に存在すると予測されたものとして扱われる。

一方、設定範囲内に存在すると予測された場合（ステップＳＴ１１；ＹＥＳ）、対象物情報取得部１５が、第１検知結果を取得する（ステップＳＴ１３）。取得した第１検知結果は、重なり判定部１６に出力される。
続いて、重なり判定部１６が、第１検知結果を用いて、車両の前方に存在する対象物と投影部３が投影する映像とが運転者から見て重なるかを判定する（ステップＳＴ１４）。判定結果は、映像合成部１３及び表示制御部１４に出力される。

重なり判定部１６により重ならないと判定された場合（ステップＳＴ１４；ＮＯ）、映像合成部１３が、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像を表示制御部１４に出力し、表示制御部１４が、当該映像を運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に投影させる制御信号を、投影部３に出力する（ステップＳＴ１５）。
なお、車両の前方にそもそも対象物が存在しない場合は、重ならないと判定されたものとして扱われる。

一方、重なり判定部１６により重なると判定された場合（ステップＳＴ１４；ＹＥＳ）、ステップＳＴ３及びステップＳＴ４の処理が行われる。これにより、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成した映像が、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に投影される。
以上のステップＳＴ１〜ＳＴ１５の処理は、進行方向検知部２が車両の進行方向の変更を検知するたびに、繰り返し行われる。

図９は、車両とその周囲の状況の一例を示す俯瞰図である。車両は、進行方向を左に変更して左折する。その際、車両の前方には歩行者Ｃが、車両の左後側方には自転車Ｄが存在している。自転車Ｄは、車両から設定範囲内に存在している。
図９に示す状況下で、投影部３により投影される映像を図１０に示す。進行方向が左に変更されるので、車両の左後側方を写した映像が車両の前方を写した映像と合成された合成映像が、フロントガラスの中でも左に位置する部分、つまり、運転者の左前方に投影されている。合成映像には、車両の前方に存在する歩行者Ｃの映像Ｃ１及び車両の左後側方に存在する自転車Ｄの映像Ｄ１が写っている。

図１０に示すように、投影される映像と前方に存在する歩行者Ｃとが、運転者から見て重なっている。この場合、投影される映像に遮られて、運転者はフロントガラス越しに直接歩行者Ｃを確認することができない。しかしながら、車両の前方を写した映像が合成されて投影されることにより、映像を見た運転者は歩行者Ｃの存在を認識することができる。
このように、運転者の右前方又は左前方に、車両の右後側方又は左後側方を写した映像が投影されるので、右左折及び車線変更等の際、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができる。また、その際に車両の前方を写した映像が合成されることで、車両の前方も同時に確認することができる。

なお、上記では、位置予測部１７は、予測した位置関係において、対象物が車両から設定範囲内に存在するかを判定するものとした。しかしながら、位置予測部１７は、位置関係を予測することなく、第２検知結果が示す対象物の位置が、その時点で車両から設定範囲内に入っているかによって判定を行ってもよい。

また、映像合成部１３は、運転者から見たときに、車両の前方に存在する対象物と、車両の前方を写した映像内の対象物とが重なるように、映像を合成するようにしてもよい。
また、表示制御部１４は、補助表示部５に対しても、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成した映像を表示させる制御信号を出力するようにしてもよい。

また、ステップＳＴ４で映像が投影された後、車両と車両の右後側方、左後側方又は前方に存在する対象物との位置関係が変化して、投影部３により投影される映像が、車両の前方に存在する対象物に重ならなくなったとする。この場合、合成された映像ではなく、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像が投影されるように、表示制御部１４は投影部３を制御する。
反対に、ステップＳＴ１５で映像が投影された後、車両と車両の右後側方、左後側方又は前方に存在する対象物との位置関係が変化して、投影部３により投影される映像が、車両の前方に存在する対象物に重なったとする。この場合、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成した映像が投影されるように、表示制御部１４は投影部３を制御する。

また、表示制御装置１０ａは、位置予測部１７を備えずに、つまり、ステップＳＴ１１の判定処理を行わずに、重なり判定部１６により重なると判定されたならば映像を合成し、重なり判定部１６により重ならないと判定されたならば映像を合成しないようにしてもよい。

以上のように、実施の形態２に係る表示制御装置１０ａによれば、実施の形態１と同様の効果が得られる。また、状況に応じて補助表示部５に映像が表示されたり、車両の前方を写した映像が合成されていない映像が投影されたりすることで、運転者にとって利便性が良い。

また、車両と、車両の右後側方又は左後側方に存在する対象物との位置関係を予測する位置予測部１７を備え、対象物情報取得部１５は、当該対象物の進行方向、速度及び位置の検知結果を示す第２検知結果を取得し、位置予測部１７は、第２検知結果を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測し、車両から設定範囲内に当該対象物が存在すると予測された場合、表示制御部１４は、制御信号を出力することとした。このようにすると、設定範囲内に対象物が存在する状況を考慮した制御が行われ、運転者にとって利便性が更に良くなる。

また、車両と、車両の右後側方又は左後側方に存在する対象物との位置関係を予測する位置予測部１７を備え、対象物情報取得部１５は、当該対象物の進行方向、速度及び位置の検知結果を示す第２検知結果を取得し、位置予測部１７は、第２検知結果を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測し、車両から設定範囲外に当該対象物が存在すると予測された場合、表示制御部１４は、制御信号を出力しないこととした。このようにすると、設定範囲外に対象物が存在する状況を考慮した制御が行われ、運転者にとって利便性が更に良くなる。

また、表示制御部１４は、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像を、補助表示部５に表示させる制御信号を出力することとした。このようにすると、運転者の視界が必要以上に遮られることがない。また、運転者が念のため車両の右後側方又は左後側方を確認したいと思った場合は、補助表示部５の表示を見ればいいことになる。

また、対象物検知部４は、車両の前方を撮影した映像を用いた検知を行うこととした。撮像部１の映像を投影用だけでなく、対象物検知部４での処理にも利用するようにすれば、部品点数の点などで好ましい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態においての任意の構成要素の省略が可能である。

以上のように、この発明に係る表示制御装置を用いることで、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができ、かつ、車両の前方も確認することができるので、運転に有益な映像を表示して運転者に提供する表示システムに組み込んで用いるのに適している。

１ 撮像部、１ａ 左後側方撮像部、１ｂ 右後側方撮像部、１ｃ 前方撮像部、２ 進行方向検知部、３ 投影部、４ 対象物検知部、４ａ 後側方検知部、４ｂ 前方検知部、５ 補助表示部、１０，１０ａ 表示制御装置、１１ 映像取得部、１２ 進行方向取得部、１３ 映像合成部、１４ 表示制御部、１５ 対象物情報取得部、１６ 重なり判定部、１７ 位置予測部、１００ 表示システム、２００ 処理回路、２０１ メモリ、２０２ ＣＰＵ。

Claims (8)

1. 車両の周囲を撮影した映像を取得する映像取得部と、
   車両の進行方向の変更情報を取得する進行方向取得部と、
   車両の前方に存在する対象物の位置の検知結果を示す第１検知結果を取得する対象物情報取得部と、
   前記第１検知結果を用いて、当該対象物と投影される映像とが運転者から見て重なるかを判定する重なり判定部と、
   前記重なり判定部により重なると判定された場合に、車両の前方を写した映像と、車両の右後側方及び左後側方のうち前記変更情報が示す変更先の方向の後側方を写した映像とを合成する映像合成部と、
   運転者の右前方及び左前方のうち前記変更情報が示す変更先の方向の前方に、前記映像合成部により合成された映像を投影させる制御信号を出力する表示制御部とを備えることを特徴とする表示制御装置。
2. 車両と、車両の右後側方又は左後側方に存在する対象物との位置関係を予測する位置予測部を備え、
   前記対象物情報取得部は、当該対象物の進行方向、速度及び位置の検知結果を示す第２検知結果を取得し、
   前記位置予測部は、前記第２検知結果を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測し、
   車両から設定範囲内に当該対象物が存在すると予測された場合、前記表示制御部は、前記制御信号を出力することを特徴とする請求項１記載の表示制御装置。
3. 車両と、車両の右後側方又は左後側方に存在する対象物との位置関係を予測する位置予測部を備え、
   前記対象物情報取得部は、当該対象物の進行方向、速度及び位置の検知結果を示す第２検知結果を取得し、
   前記位置予測部は、前記第２検知結果を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測し、
   車両から設定範囲外に当該対象物が存在すると予測された場合、前記表示制御部は、車両の右後側方及び左後側方のうち前記変更情報が示す変更先の方向の後側方を写した映像を、補助表示部に表示させる制御信号を出力することを特徴とする請求項１記載の表示制御装置。
4. 請求項１記載の表示制御装置と、
   車両の周囲を撮影する撮像部と、
   車両の進行方向の変更を検知する進行方向検知部と、
   前記表示制御部に制御されて、映像を投影する投影部と、
   車両の前方に存在する対象物の位置を検知する対象物検知部とを備え、
   前記対象物検知部は、車両の前方を撮影した映像を用いた検知を行うことを特徴とする表示システム。
5. 前記撮像部は、車両の左右フロントフェンダーそれぞれに設けられて、車両の右後側方及び左後側方を撮影することを特徴とする請求項４記載の表示システム。
6. 前記撮像部は、車両のボンネット先端に設けられて、車両の前方を撮影することを特徴とする請求項４記載の表示システム。
7. 前記撮像部は、広角カメラであることを特徴とする請求項４記載の表示システム。
8. 映像取得部が、車両の周囲を撮影した映像を取得する映像取得ステップと、
   進行方向取得部が、車両の進行方向の変更情報を取得する進行方向取得ステップと、
   対象物情報取得部が、車両の前方に存在する対象物の位置の検知結果を示す第１検知結果を取得する対象物情報取得ステップと、
   重なり判定部が、前記第１検知結果を用いて、当該対象物と投影される映像とが運転者から見て重なるかを判定する重なり判定ステップと、
   前記重なり判定ステップにより重なると判定された場合に、映像合成部が、車両の前方を写した映像と、車両の右後側方及び左後側方のうち前記変更情報が示す変更先の方向の後側方を写した映像とを合成する映像合成ステップと、
   表示制御部が、運転者の右前方及び左前方のうち前記変更情報が示す変更先の方向の前方に、前記映像合成ステップにより合成された映像を投影させる制御信号を出力する表示制御ステップとを備えることを特徴とする表示制御方法。

Images