JP5751795B2 - 表示制御装置及び制御装置 - Google Patents

Description

本発明は、カメラで撮影された映像の表示を制御する表示制御装置及び制御装置に関する。

従来、複数のカメラで撮影された映像を表示装置へ出力する場合、各カメラによって取得された映像信号を、一旦フレームメモリへ書き込み、書き込まれた映像信号を順次更新して出力する技術が知られている。（例えば、特許文献１）

特開２０００−０３２４４３号公報

このような複数のカメラで撮影された映像を表示装置へ出力する装置では、ノイズ等の影響によって映像信号のフレームメモリへの書き込み処理が停止してしまうと、映像信号は更新して出力されなくなってしまう。そのため、表示装置にはユーザの意図しない静止画像が表示され、ユーザに誤った動作を促すおそれがあるといった問題がある。

特に、車両の前部、後部および側部等に設置されたカメラによって撮影された車両周辺の映像を運転者に提供することによって運転者の安全運転をサポートするような運転支援システムにおいては、このような問題が発生すると、運転者は意図しない静止画に戸惑ってしまい運転に集中できなくなってしまったり、また、静止画に切り替わっていることを知らずに動画像と信じて運転を続けてしまったりすると、良好に安全運転をサポートすることができなくなってしまうおそれがある。

そこで、本発明は、表示装置に表示される映像が正常でない場合に、その旨をユーザに提示することを行う表示制御装置及び制御装置を提供することを目的とする。

上記課題を解決するために、本発明に係る表示制御装置は、映像信号を受信し、受信した映像信号を第１のメモリに書き込む映像信号受信部と、前記映像信号を処理した画像を表示部に出力する画像出力部と、第１のメモリへの前記映像信号の書き込みが許可に設定されている場合で、前記映像信号の第１のメモリへの書き込みが停止したときに、フェイルセーフ処理を実行するメモリ制御部と、を有するようにした。

また、上記課題を解決するために、本発明に係る制御装置は、画像制御部と、映像信号を受信し、受信した映像信号を第１のメモリに書き込む映像信号受信部と、前記映像信号を処理した画像を表示部に出力する画像出力部と、第１のメモリへの前記映像信号の書き込みが許可に設定されている場合で、前記映像信号の第１のメモリへの書き込みが停止したときに、フェイルセーフ処理を実行するメモリ制御部と、を有するようにした。

本装置では、表示装置に表示される映像が正常でない場合には、その旨をユーザに提示するため、ユーザに誤った動作を誘発しなくできる。特に、運転支援システムにおいては、運転者に誤った運転操作を回避できるため、安全運転を維持することが可能となる。

（ａ），（ｂ）は、本発明で利用する、車両に搭載したカメラの映像に基づいて合成画像を作成する方法を説明する概念図である。 本発明の映像信号に基づく画像の表示制御装置を示す。 （ａ）、（ｂ）本発明のレジスタの状態の説明図である。 本発明の表示制御装置の表示モード１，２の説明図である。 本発明の表示制御装置の表示モードの切換えを示す図である。 本発明の表示制御装置のモード４の表示画像の一例である。

本発明の明細書に記載される具体例は単なる例示に過ぎず、本発明を限定するものとして解釈してはならない。また、本発明の説明は例示のためのもので、請求項の範囲を制限するためのものではない。したがって、様々な代案、修正、及び変形が当業者にとっては明らかである。

図１（ａ）は、車両を上方から見た図であり、カメラが、前部（カメラＦ１１）、後部（カメラＢ（バックカメラ）１２）、右側部（カメラＲ１３）及び左側部（カメラＬ１４）に４台設置されている。カメラＦ１１は、車両の前部の一部と車両前方周囲の映像を撮像し、カメラＢ１２は、車両の後部の一部と車両後方周囲の映像を撮像し、カメラＲ１３は、車両の右側部の一部と車両右側方周囲の映像を撮像し、カメラＬ１４は、車両の左側部の一部と車両左側方周囲の映像を撮像する。

また、カメラ１１〜１４は、広い画角で撮影可能なカメラであることが好ましいが、それに限定されず、カメラ１１〜１４のうち一部が狭い画角で撮影可能なカメラであってもよい。

カメラ１１〜１４により広い画角で撮像された車両周辺の映像は、画像の縁端部に近づくほどゆがんでいる。そこで、取得された画像のゆがみを修正するとともに、自車両と自車両の周囲に存在する物体との位置関係が明確となるように、カメラ１１〜１４によって取得された画像を仮想視点から見たような合成画像に合成し、その合成画像にＦＬＡＳＨメモリに予め記憶されている自車両の画像（イメージ画像、ポリゴン画像等）を重畳して表示部に出力する。

図１（ｂ）は、表示部に出力された合成画像の一例である。自車両を上方の仮想視点から見たときの合成画像を示す。カメラ１１〜１４によって撮影された、前方画像１１１、後方画像１２１、右側方画像１３１、左側方画像１４１及び自車両の画像（イメージ）１０１を合成したものである。自車両は合成画像の中央付近に表示される。

図２は、本発明の表示制御装置２０の概念図を示す。表示制御装置２０は、表示制御部２４及び画像制御部３０を含む。図２を参照して、カメラ１１〜１４によって撮影された映像を表示部４０に表示するまでの映像信号の処理を説明する。表示制御装置２０は、カメラから映像信号を取得し、取得した映像信号をメモリへ書き込み、メモリに書き込まれた映像信号を読み出し、メモリから読み出された映像信号に基づいて合成画像を作成し、作成した合成画像をメモリへ書き込んだり、作成した合成画像を表示部へ出力したりする等の処理を行う。

表示制御部２４は、映像信号受信部２１、画像合成部２２、画像出力部２３、メモリ制御部２７、書き込み停止レジスタ２０１、出力レジスタ２０２等を有する。書き込み停止レジスタ２０１、出力レジスタ２０２は、バス２８を介してメモリ制御部２７に接続される。また、映像信号受信部２１、画像合成部２２及び画像出力部２３は、バス２９を介してメモリ制御部２７に接続される。

第１のメモリ２５−１は、バス３６を介して映像信号受信部２１に接続される。また、第２のメモリ２５−２、第３のメモリ（不揮発性メモリ）２６は、それぞれ、バス３７，３８を介して画像合成部２２に接続される。

画像制御部３０には、状態レジスタ３０１とステータスレジスタ３０２が、配置される。メモリ制御部２７は、バス３３を介して画像制御部３０に接続される。また、第１のスイッチ３１と第２のスイッチ３２は、それぞれ、バス３４，３５を介して画像制御部３０に接続される。

４台のカメラＦ１１、カメラＢ１２、カメラＲ１３、カメラＬ１４を示しており、各カメラは、自車両の前方、後方、右側方、左側方の画像情報（前方画像情報、後方画像情報、右側方画像情報，左側方画像情報）を映像信号として取得し、映像信号受信部２１へ入力する。映像信号受信部２１は、Ａ／Ｄ変換部（図示せず）を備えている。

映像信号受信部２１は、受信した映像信号がアナログ信号の場合、Ａ／Ｄ変換部でアナログ信号をデジタル信号に変換する。一方、受信した映像信号がデジタル信号の場合は、Ａ／Ｄ変換部によるＡ／Ｄ変換は行われない。尚、アナログの映像信号はアナログ映像信号、デジタルの映像信号はデジタル映像信号と、以降に記載する。

次に、メモリ制御部２７からの制御信号により、デジタル映像信号を第１のメモリ２５−１（例えば、ＤＤＲ２メモリ）に書き込む。第１のメモリ２５−１では、各カメラ１１〜１４によって同じタイミングで撮影された映像信号が同期をとって読み出されるように格納される。具体的には、例えば、第１のメモリ２５−１の記憶領域の上２つにカメラＢ１２とカメラＬ１４からのデジタル映像信号を、第１のメモリ２５−１の記憶領域の下２つにカメラＲ１３とカメラＦ１１からのデジタル映像信号を書き込む。このように記憶領域の上下２段の近接した位置に書き込むと、４つのカメラ１１〜１４からの映像信号を第１のメモリ２５−１から読み出した時に同じタイミングでの読み出しが可能となる。

ここで、画像制御部３０は、後述する状態レジスタ３０１が、第１のメモリ２５−１へのデジタル映像信号の書き込みを停止する状態（書き込み停止の状態（状態「１」）であることを検出すると、表示制御部２４の後述する書き込み停止レジスタ２０１を書き込み停止の状態（状態「１」）にする。このような状態になると、第１のメモリ２５−１に書き込まれたデジタル映像信号を読み出しても、第１のメモリ２５−１に格納されている映像信号は更新されていないため、カメラ１１〜１４で撮像されている現在の（リアルタイムな）映像信号は、第１のメモリ２５−１から読み出すことはできない。

一方で、第１のメモリ２５−１への書き込みが停止した時点で、第１のメモリ２５−１に書き込まれている映像信号が繰り返し読み出されるため、表示部には静止画が表示される。
これによって、運転者の意図に関係なく、ノイズ等の影響で状態レジスタ３０１や書き込み停止レジスタ２０１が書き込み停止状態となると、運転者は意図しない静止画に戸惑ってしまい運転に集中できなくなってしまったり、また、静止画に切り替わっていることを知らずに動画像と信じて運転を続けてしまったりするおそれがある。

次に、画像合成部２２は、第１のメモリ２５−１から読み出した４方向を撮影した画像情報（前方画像情報、右側方画像情報，左側方画像情報，後方画像情報）のデジタル映像信号に対し、座標変換処理を施し、自車両のイメージ画像（ポリゴン画像等）を含まない合成画像を作成する。

次に、画像合成部２２は、自車両のイメージ画像を予め記憶した第３のメモリ（不揮発性メモリ）２６（例えば、ＦＬＡＳＨメモリ）から読み出し、合成画像に自車両のイメージ画像を重畳するように合成する（貼り付ける）。これによって作成された自車両のイメージ画像を含む合成画像（前方画像情報、右側方画像情報，左側方画像情報，後方画像情報、自車両のイメージ画像を含む）を第２のメモリ２５−２に書き込む（画像をセーブする）。

ここで、自車両のイメージ画像は必要な時に読み出し可能なように、上方、前方、後方、左右側方を含む周囲３６０度の全ての方向及び様々な高さから見た自車両のイメージ画像を第３のメモリ２６に予め記憶しておく。さらに、第３のメモリ２６に記憶した自車両のイメージ画像を揮発性メモリ（例えば、ＤＲＡＭ）に書き込んだものを読み出してもよい。

そして、画像出力部２３は、第２のメモリ２５−２に記憶されている自車両のイメージ画像を含む合成画像を表示部４０に出力する。ここで、画像出力部２３は、Ｄ／Ａ変換部（図示せず）を備えてもよい。出力信号として、アナログ映像信号が必要な場合には、デジタル映像信号をＤ／Ａ変換部でＤ／Ａ変換して、アナログ映像信号とした合成画像を、表示部４０に出力する。なお、合成画像をデジタル映像信号で出力する場合には、合成画像のＤ／Ａ変換は行わない。

また、前述した実施形態では、映像信号の処理および制御において、カメラから取得された映像信号を第１のメモリ２５−１に、合成画像の映像信号を第２のメモリ２５−２に書き込んでいる。別の実施形態として、メモリの容量が十分に大きく、信号処理速度が十分速い場合は、第１のメモリと第２のメモリを１つのメモリとして、メモリ領域を分割して扱ってもよい。

［１画面表示］
上記では、カメラ１１〜１４から取得された画像情報のそれぞれを合成した合成画像を表示部に出力するための画像信号処理について説明したが、次に、カメラＢ１２によって取得された車両の後方周囲の画像情報のみを表示部に出力するための画像信号の処理について説明する。

映像信号受信部２１は、カメラＢ１２によって撮影された後方画像情報を取得し、第１のメモリ２５−１に書き込む。そして、第１のメモリ２５−１に書き込まれた後方画像情報のデジタル映像信号のみを第１のメモリ２５−１から読み出し、視点変換及び画像合成を行わずに、後方画像情報の１画面のみを表示部４０へ出力する。必要な場合には、後方画像情報をＤ／Ａ変換した後、表示部４０へ出力する。

また、同様にして、映像信号受信部２１は、カメラＦ１１、カメラＲ１３又はカメラＬ１４のいずれか一つによって撮影された画像情報のデジタル映像信号を第１のメモリ２５−１から読み出し、画像情報を視点変換及び画像合成を行わずに、選択された画像情報の１画面のみを表示部４０へ出力する。必要な場合には、後方画像情報をＤ／Ａ変換した後、表示部４０へ出力する。このようにして、４つのカメラのいずれかから得られた画像情報の１画面のみを表示部４０に出力することができる。

さらに、後方画像情報を視点変換した映像信号を１画面表示のための映像情報として用いることもできる。さらに、視点変換し、画像合成した合成画像から、必要な部分、例えば、後方画像情報のみを取り出して１画面情報とすることもできる。これは、１画面情報として、前方画像情報、右側方画像情報、左側方画像情報のいずれかを取り出す場合においても、同様にして合成画像からいずれかの１画面情報を取り出すことができる。

［第２の合成画像］
さらに、合成画像とバックカメラＢ１２の１画面とを更に合成した、第２の合成画像を作成することができる。自車両のイメージを含む合成画像のデジタル映像信号を第２のメモリ２５−２から読み出し、バックカメラＢ１２からの１画面の後方画像情報のデジタル映像信号を第１のメモリ２５−１から読み出し、カメラ１１〜１４から画像情報を取得した時刻が同じとなるようにして、第２の合成画像を作成する。

この際、合成画像と１画面の後方画像とを左右に並べて表示した第２の合成画像としてもよい。また、合成画像と１画面の後方画像とを上下に並べて表示した第２の合成画像としてもよい。さらに、１画面の画像は、後方画像以外の、前方画像、右側方画像、左側方画像のいずれか１つを任意に選択できる。

ここで、１画面の後方画像は視点変換及び合成画像処理を行っていないので、第１のメモリ２５−１から読み出されるカメラＢ１２からの後方画像の映像信号のカメラＢ１２での映像取得時刻は、第２のメモリ２５−２から読み出される合成画像を作成する画像のカメラ１１〜１４からの映像取得時刻と比較すると、合成画像を作成するための視点変換及び画像合成処理等に要する時間だけ早い。

したがって、カメラＢ１２からの後方画像と合成画像とを合成する際には、両画像についての映像信号のカメラからの取得時刻が一致するように、後方画像を遅延させて第２の合成画像を作成することが必要である。

また、１画面の前方画像、右側方画像、左側方画像のいずれかについても、１画面の後方画像と同様に、視点変換及び画像合成処理された合成画像とは、画像取得時間のずれがあるので、第２の合成画像を作成する際には、画像の取得時刻の調整が必要である。

なお、第２の合成画像を作成する際に、合成画像の一部分を切り出して、１画面画像として利用し、更に、合成画像と合成する場合には、画像合成の元となる画像情報の取得時間のずれはない。したがって、映像取得時間を一致させるための、１画面画像の映像信号の遅延は不要である。

図２に記載される表示制御部２４においては、第１のメモリ２５−１、第２のメモリ２５−２、第３のメモリ（不揮発性メモリ）２６が、表示制御部２４の外部に配置されているが、表示制御部２４の内部に配置してもよい。また、画像制御部３０も、表示制御部２４の内部に配置することができる。

図３は、画像制御部３０の状態レジスタ３０１、ステータスレジスタ３０２と、表示制御部２４の書き込み停止レジスタ２０１、出力レジスタ２０２の動作を説明する図である。図３（ａ）は、状態レジスタが「１」（書き込み停止）の場合の状態を、図３（ｂ）は、状態レジスタが「０」（書き込み許可）の場合の状態を示す。

画像制御部３０の状態レジスタ３０１の状態を設定するための手段として、第１のスイッチ３１、第２のスイッチ３２が画像制御部３０に接続されている。そして、第１のスイッチ３１及び第２のスイッチ３２の動作により、状態レジスタ３０１の状態を「０」（書き込み許可）に設定することができる。

図３（ａ）は、状態レジスタが「１」（第１のメモリへの書き込み停止）に設定された場合である。例えば、図４の運転支援モード（自動）（モード１）では、表示画面にナビゲーション画面（ナビ画面）が表示される。この場合には、カメラからの映像信号を第１のメモリ２５−１へ書き込むことは不要である。したがって、運転支援モード（自動）（モード１）では、状態レジスタは「１」に設定される。この状態レジスタ「１」の設定及び解除は、ギヤの切り換えに応じて行われる。すなわち、ギヤの切り換えを検出する信号に基づいて第１のスイッチ３１の動作が行われ、これにより状態レジスタ「１」の設定及び解除が行われる。(図２参照）

ここで、表示制御部２４の出力レジスタ２０２の動作について説明する。出力レジスタ２０２の状態は、「表１」に示すとおりである。

出力レジスタ２０２は、ここでは、２ビット表示であり、表示は、「００」、「０１」、「１０」、「１１」をとり得る。出力レジスタ２０２が「００」のときは、正常動作であり、また、出力レジスタ２０２の「０１」、「１０」は、いずれかのカメラからの映像信号を映像信号受信部が受信していない、即ち異常が生じていることを意味する。そして、出力レジスタ２０２が「１１」のときは、第１のメモリ２５−１への書き込み停止を意味する。メモリ制御部２７は、表示制御部２４の各部を監視し、その状態を出力レジスタ２０２に設定する。第１のメモリ２５−１への書き込み停止は、ユーザーが意図して設定する場合もあるため、本来書き込み停止状態は異常状態とは言えない。本実施の形態では、元々異常状態を出力するための出力レジスタ２０２を利用して第１のメモリ２５−１への書き込み停止状態を出力している。

表示制御部２４の出力レジスタ２０２の「０１」、「１０」のそれぞれに対して、どのカメラからの映像信号を映像信号受信部２１が受信していないかを対応させることは任意である。例えば、「０１」では、サイドカメラ１３，１４からの映像信号がないことを示し、「１０」では、フロントカメラ１１からの映像信号がないことを示すと設定できる。また、「０１」、「１０」に対して、他のカメラからの映像信号がないことを示すと設定することもできる。

したがって、出力スレジスタ２０２の状態が、「１１」であることは、カメラからの映像信号が単に受信されない状態とも異なることは明らかである。なお、出力レジスタ２０２の状態が「０１」、「１０」であることは、一般的には、対応付けられたカメラの何らかの不具合を意味する。

さらに、表示制御部２４の出力レジスタ２０２のビット数は、３以上、例えば３とすることができる。すると、正常状態及び第１のメモリ２５−１への書き込み停止以外に、最大６つの異なる状態を出力することができる。そうすることにより、４つのカメラのいずれからの映像信号がないかを個別に検出して出力することもできるし、他の部位の異常状態を出力することもできる。

表示制御部２４の出力レジスタ２０２の状態は、画像制御部３０のステータスレジスタ３０２に伝えられ、ステータスレジスタ３０２には、出力レジスタ２０２と同じ状態が設定される。例えば、出力レジスタ２０２が「００」であれば、ステータスレジスタ３０２にも「００」が設定され、出力レジスタ２０２が「１１」であれば、ステータスレジスタ３０２にも「１１」が設定される。

次に、出力レジスタ２０２からステータスレジスタ３０２に伝えられた状態、例えば、「１１」が、状態レジスタ３０１の状態「１」と一致していれば、正常であるため画像制御部３０から新たな制御信号は出されない。しかしながら、例えば、状態レジスタ３０１が「０」の状態であるのに対して、出力レジスタ２０２から伝えられた、ステータスレジスタ３０２の状態が「１１」であれば、画像制御部３０により、ユーザの意図（状態レジスタ（「０」））と現在の状態（ステータスレジスタ（「１１」））とが一致していないことが検出できる。

言い換えると、状態レジスタ３０１が「第１のメモリへの書き込み許可」の状態（「０」）であるにもかかわらず、ステータスレジスタ３０２が「第１のメモリへの書き込み停止」の状態（「１１」）を示している。すると、画像制御部３０は、表示制御部２４に異常が生じていると判断し、表示画面に出力される映像信号が、逐次更新されていないことを示すために、第２のメモリ２５−２から警告画像を読み出し、表示部４０に警告画像を表示するように制御する信号を出力する。

ここで、画像制御部３０の「状態レジスタ」３０１は、書き込み許可の状態「０」であるにもかかわらず、ノイズ等の何かの不具合により、表示制御部２４の書き込み停止レジスタ２０１が、書き込み停止の状態「１」となる。すると、メモリ制御部２７が、表示制御部２４の書き込み停止レジスタ２０１が「１」となったことを検出して、出力レジスタ２０２を状態「１１」とする。そして、画像制御部３０は、出力レジスタ２０２が状態「１１」となったことを検出して、ステータスレジスタ３０２を状態「１１」とする。

この状態では、状態レジスタ３０１の状態（「０」：第１のメモリへの書き込み許可）と、ステータスレジスタ３０２の状態（「１１」：第１のメモリへの書き込み停止）とは一致していない。したがって、画像制御部３０は、状態レジスタ３０１の状態とステータスレジスタ３０２の状態が一致していない、言い換えると、第１のメモリ２５−１への書き込み許可と設定しているにもかかわらず、第１のメモリ２５−１への書き込みが停止していることを検出する。

そして、ユーザの意図に反して第１のメモリ２５−１への書き込みが停止されていることをユーザに知らせるために、表示部の画面には警告画像が表示される。このようにして、フェイルセーフ処理を実行する。

警告画像は、予め記憶された第３のメモリ（不揮発性メモリ）２６から読み出されて表示される。警告画像に表示される警告信号としては、単色（例えば、黒、青）の画面、又は、警告内容を言語、記号、意匠、又は模様で表わす画面が含まれる。ユーザは、警告画像を見ることにより、映像信号の第１のメモリへの書き込みが停止していることを明確に認識できる。

ここで、図４の運転支援モードでは、車両に搭載されたカメラ１１〜１４からの画像情報を合成した合成画面は表示画面に表示されていないので、カメラ１１〜１４によって取得された映像信号の第１のメモリ２５−１への書き込みは行われない。したがって、画像制御部３０の状態レジスタ３０１は、書き込み停止の状態（状態「１」）となっている。画像制御部３０は、状態レジスタ３０１が、書き込み停止の状態（状態「１」）であることを検出すると、表示制御部２４の書き込み停止レジスタ２０１を書き込み停止の状態（状態「１」）にする。

そして、メモリ制御部２７は、書き込み停止レジスタ２０１が書き込み停止の状態（状態「１」）になったことを検出して、第１のメモリへのデジタル映像信号の書き込みを停止させると共に、表示制御部２４の出力レジスタ２０２を書き込み停止中であることを示す状態「１１」とする。また、画像制御部３０は、出力レジスタ２０２の出力を監視し、出力レジスタ２０２が書き込み停止の状態（状態「１１」）になったことを検出してステータスレジスタ３０２を書き込み停止中であることを示す状態「１１」とする。

ここで、状態レジスタ３０１の状態「１」と、ステータスレジスタ３０２の状態「１１」とを比較すると、いずれも、第１のメモリ２５−１への書き込み停止の状態である。したがって、図３（ａ）のレジスタの状態は、ユーザの設定（状態レジスタ３０１「１」）と現在の状態、即ち、ステータスレジスタ３０２の状態（書き込み停止（状態「１１」））が一致している。

この場合には、ステータスレジスタ３０２は書き込み停止の状態であるが、ユーザが、第１のスイッチ３１を動作させて行った状態レジスタ３０１の設定と一致するので問題はない。

次に、運転者（ユーザ）がギヤを「リバース」に切り換えると、自動的に、表示画面が、ナビゲーション画面から、カメラ画像に切り換り、車両に搭載したカメラからの映像信号を変換したデジタル映像信号の第１のメモリ２５−１への書き込みを開始する。即ち、ギヤ切り換えに連動して運転支援モード（自動）（モード１）から駐車支援モード(自動）（モード２）にモードが、切り換る（図４参照）。

ギヤのリバースへの切り換えを検出し、その検出信号に基づく、第１のスイッチ３１の動作により、画像制御部３０の状態レジスタ３０１は、書き込み許可の状態（状態「０」）となる。そして、画像制御部３０は、状態レジスタ３０１が書き込み許可の状態（状態「０」）であることを検出すると、表示制御部２４の書き込み停止レジスタ２０１を、書き込み許可の状態（状態「０」）とする。そして、モード２の画面４０２又は４０３では、モード２が選択された状態を示す、スイッチ４０５が「ＯＮ」となっている（図４参照）。

さらに、運転者（ユーザ）がギヤを「リバース」から「フォーワード」に切り換えると、表示画面が、カメラから映像信号に基づく合成画像から、ナビゲーション画面に自動的に切り換る。即ち、ギヤ切り換えに連動して、駐車支援モード（自動）（モード２）から運転支援モード(自動）（モード１）にモードが切り換る（図４参照）。

同時に、車両に搭載したカメラからの映像信号を変換したデジタル映像信号の第１のメモリ２５−１への書き込みは不要となり、第１のメモリ２５−１への書き込みを停止する。そして、モード１の画面４０１では、モード１が選択された状態を示す、スイッチ４０４が「ＯＮ」となっている（図４参照）。

そのとき、画像制御部３０の「状態レジスタ」３０１は、書き込み許可（状態「０」）から書き込み停止（状態「１」）となる。同様にして、表示制御部２４の「書き込み停止レジスタ」２０１も、書き込み許可（状態「０」）から書き込み停止（状態「１」）となる。

再度、運転者（ユーザ）がギヤを「リバース」に切り換えると、表示画面が、ナビゲーション画面からカメラからの映像信号を表示する画面に自動的に切り換わる。同時に、車両に搭載したカメラからの映像信号を変換したデジタル映像信号の第１のメモリ２５−１への書き込みが開始する。さらに、画像制御部３０の状態レジスタ３０１は、書き込み許可（状態「０」）となり、表示制御部２４の書き込み停止レジスタ２０１も、書き込み許可（状態「０」）となる。

［表示画面切換え］
図４は、本発明の表示制御装置の表示モード１，２の説明図である。図４には、本発明での表示モードで、運転支援モード（モード１）と駐車支援モード（モード２）とを自動で切り換える際のモードの切換えと、切換えにより表示される画面を示している。通常の運転においては、運転支援モード（モード１）で、ナビゲーション画面（ナビ画面）４０１が表示され、ナビゲーションシステム(図示せず）からのナビゲーション画面４０１により、運転者の支援をする。

ここで、画面上に形成したモード切り換えスイッチ４０４ないし４０７（例えば、タッチパネル上のスイッチ）は、それぞれ、モード１ないし４（図５参照）に対応している。したがって、モード１の画面４０１では、モード１に対応するスイッチ４０４が「ＯＮ」となっている。

また、モード２の画面４０２、４０３では、モード２に対応するスイッチ４０５が「ＯＮ」となっている。このように、現在のモードが画面上に表示されているので、モードの確認が容易であり、モード切り換えもスイッチ４０４ないし４０７の選択により、任意に変更できる。

駐車支援モード（モード２）においては、４台のカメラからの画像情報を利用して作成した自車両を含む合成画像とバックカメラＢ１２からの後方画像を１画面とした第２の合成画像４０２の表示画面と、バックカメラＢ１２からの後方画像のみを１画面とした表示画面４０３とを、ユーザは、例えば、画面（タッチパネル）上に形成した切り換えスイッチ４０８で切り換えることができる。

スイッチ４０８により切り換えられる状態は、例えば、画面４０２では、スイッチ４０８が「ＯＮ」と表示され、画面４０３では、スイッチ４０８は「ＯＦＦ」と表示される。モード１の画面４０１では、スイッチ４０８は、図４のように表示される場合は非アクティブとするか、または、画面表示しないかのいずれかが選択できる。

ここで、運転支援モード(自動）（モード１）と駐車支援モード(自動）（モード２）とは、ギアの切換えに連動して自動で切り換えることができる。運転支援モード（モード１）の通常運転時に、ギアをリバースに切り換えると、ギアの切換えと連動して、表示モードが、運転支援モード（モード１）から駐車支援モード（モード２）に切り換わる。尚、モード１とモード２の切替はギヤ位置と車速に基づき行なうようにしてもよい。例えば、ギヤが「フォーワード」かつ車速が１０Ｋｍ／ｈ以上の時、ナビゲーション画面に切り換え、ギヤが「フォーワード」かつ車速が１０Ｋｍ／ｈ以下のとき、またはギヤが「リバース」のときに運転支援モード(自動）（モード１）に切り換えるようにしてもよい。

ギヤの切換えと連動して、カメラからの映像信号を変換したデジタル映像信号の第１のメモリへの書き込みが開始し（第１のメモリへの書き込みが許可され）、表示モードが、ナビゲーション画面から、カメラからの映像信号による合成画像又は後方画像のみの１画面を表示するモードに切り換えられる。そして、図２に示す、映像信号の処理に従って、カメラからの画像を視点変換して合成した合成画像または後方画像のみの１画面が表示画面に表示される。

したがって、運転支援モード(自動）（モード１）から駐車支援モード(自動）（モード２）に切り換えられると、状態レジスタ３０１は「０」（第１のメモリへの映像信号の書き込み許可）に設定される。また、駐車支援モード(自動）（モード２）から運転支援モード(自動）（モード１）に切り換えられると、状態レジスタ３０１は「１」（第１のメモリへの映像信号の書き込み停止）に設定される。

そして、第１のメモリへの書き込みの許可（状態レジスタの「０」）と書き込み停止（状態レジスタの「１」）の設定は、ギヤ切り換えを検出する信号に基づく第１のスイッチ３１の動作により行うことができる（図２参照）。

ところで、駐車支援モード（モード２）には、第２の合成画像を表示するモード（画面４０２）と、後方画像の１画面のみを表示するモード（画面４０３）がある。ギアがリバースから他の位置に変更される時に、ギア切換え前に表示されているモード（第２の合成画像を表示するモード、又は、後方画像の１画面を表示するモード）が記憶される。

次に、ギアがリバースに切り換えられた時には、前に記憶されている、駐車支援モード（モード２）のいずれかの表示モード（２画面又は１画面）が表示される。なお、駐車支援モード（モード２）の画面が表示されている間は、画面上のモード切り換えスイッチ４０８により、第２の合成画像を表示するモード（２画面４０２）と、後方画像情報の１画面のみを表示するモード（１画面４０３）の切換えが可能である。

駐車支援モード（モード２）の画面が表示されている間は、第１のメモリ２５−１への書き込みが許可されるので、通常動作では、画像情報のデジタル映像信号は、第１のメモリに逐次書き込まれており、第２の合成画像は、第２のメモリに逐次書き込まれている。

しかし、運転支援モード（モード１）に切り換えられると、表示画面には、ナビゲーションシステムから取得した地図情報等のナビゲーション画像が表示される。そして、ナビゲーション画像を表示中は、カメラ１１〜１４から取得した画像情報のデジタル映像信号の第１のメモリ２５−１への書き込みは不要となり、カメラからの映像信号を受信した映像信号受信部からのデジタル映像信号の第１のメモリ２５−１への書き込みは停止する。

これまで、車両に設置したカメラは４台として説明しているが、カメラは１台以上であればよい。設置するカメラの台数が少ないと、車両周囲の状況について得られる情報は減少する。しかし、例えば、カメラが１台であっても、そのカメラが車両後部に設置されるバックカメラ（カメラＢ）であれば、車両後部周囲の状況を把握することができる。したがって、駐車支援モード（モード２）での後方画像の１画面表示は可能である。また、カメラの台数が増加すると、合成画像を作成したとき、カメラ４台からの映像信号に基づく合成画像に近い画像が得られる。

さらに、第２の合成画像４０２は、合成画像（俯瞰画像）と後方画像とを１画面に表示したものである。俯瞰画像と後方画像を１画面に表示することにより、車両が後進する際に、車両後方周囲の状況を正確に把握することができる。また、運転者は後方を振り返ることなく、自車両を含めた俯瞰画像とさらに詳細な車両後方周囲の後方画像を利用して運転ができる。後方画像のみで十分な場合には、後方画像の１画面に切り換えることができる。

図５は、本発明の表示制御装置の表示モードの切換えを示す図である。表示モードには、「モード１」：運転支援モード(自動）（ナビ画像）、「モード２」：駐車支援モード（自動）、「モード３」：駐車支援モード、「モード４」：運転支援モードがある。モード１は、表示画面にナビゲーションの画像を表示するモードであり、モード２〜４は、表示画面にカメラからの画像情報（カメラ画像）を表示するモードである。

ここで、表示画面にカメラからの映像信号を表示するモードである、駐車支援モード（自動）（モード２）、駐車支援モード（モード３）、運転支援モード（モード４）の各モードにおいては、状態レジスタは「０」となっている。即ち、映像信号の第１のメモリ２５−１への書き込みが許可されている状態となっている。

モード１ないし４の各モードは、画面上に形成した切り換えスイッチ４０４ないし４０７を用いて切り換えることができる。また、モード１からモード２への切り換えに伴う状態レジスタの「第１のメモリへの書き込み許可」の設定は、第１のスイッチ３１の動作によりなし得る。また、その他のモード切り換えでの、第１のメモリへの書き込み許可の設定は、第２、第３及び第４モード切り換えスイッチ４０５，４０６及び４０７（図４参照）の選択に連動する、第２のスイッチ３２の動作によりなし得る（図２参照）。

これまで、第１のメモリへの書き込み許可の設定は、第１及び第２のスイッチ３１，３２の動作により行うと説明しているが、第１のメモリへの書き込み許可の設定を行うことができれば、他の設定手段でよいことは当業者に明らかである。ここで、第１及び第２のスイッチは、第１及び第２の設定手段とも呼べる。

そして、状態レジスタが「０」（映像信号の第１のメモリへの書き込み許可）となっているにもかかわらず、何からの不具合により、書き込み停止レジスタの状態が「１」となることがある。すると、出力レジスタ２０２、ステータスレジスタ３０２はともに「１１」となる。したがって、状態レジスタ３０１の状態「０」と、ステータスレジスタ３０２の状態「１１」が異なる状態を示しており、画像制御部３０が両者を比較して異なることを検出する。すると、画像制御部３０からの制御信号により、第２のメモリ２５−２から読み出された警告画像が表示部４０に表示される。

一方、表示画面にナビ画面を表示するモードである、運転支援モード(自動）（ナビ画像）（モード１）においては、状態レジスタは「１」となっている。即ち、映像信号の第１のメモリへの書き込みは停止された状態となっている。

そして、カメラ画像を表示するモードには、ギヤをリバースに切り換えると自動的にカメラ画像が表示される「モード２」（駐車支援モード(自動））と、駐車操作中にギヤをリバースからフォーワードに戻してもカメラ画像が引き続き表示されるように設定した「モード３」（駐車支援モード）と、通常の運転中にカメラ画像を利用した運転ができる「モード４」（運転支援モード）がある。

さらに、「モード１」から「モード２」への切換えのために、ギヤをリバースに切り換えると、表示画面がナビ画像４０１からカメラ画像４０２，４０３に自動的に切り換えられる。逆に「モード２」から「モード１」への切換えのために、ギヤをリバースからフォーワードに戻すと、カメラ画像４０２，４０３からナビ画像４０１に自動的に切り換えられる。また、図５に各モード間の切換えを示す。「モード１」と「モード２」との間の切換え以外の、「モード１」〜「モード４」の相互の切換えは、画面上に形成した切り換えスイッチ４０４ないし４０７により任意に行うことができる。

ナビ画像を表示したモード１を利用した通常の運転から、ギヤをリバースにすると駐車支援モード(自動）（モード２）となり、表示画面に、カメラからの映像情報を利用した画像が表示される。しかし、駐車操作中にギヤをリバースからフォーワードに戻す必要がある場合には、画面上のスイッチ４０６で駐車支援モード２から駐車支援モード（モード３）にモードを切り換えておく。すると、ギヤをリバースからフォーワードに戻しても、表示画面には、引き続きカメラからの映像情報を利用した画像が表示される。したがって、駐車操作中に切返しなどの操作を行う場合には、駐車支援モード（モード３）が利用できる。

さらに、駐車支援モード(自動）（モード２）と駐車支援モード（モード３）のいずれにおいても、表示モードは、俯瞰画像とバックカメラからの画像との合成画像と、バックカメラからの１画像のみの表示画像とを画面上のスイッチ４０８により切り換えることができる（図４参照）。

また、通常の運転中には、「モード１」（運転支援モード）(自動）により表示画面にナビ画像を表示することができ、「モード１」（運転支援モード）(自動）と「モード４」（運転支援モード）との間では、画面上のスイッチ４０４，４０７により切り換えができる。「モード４」（運転支援モード）では、俯瞰画面とフロント画面からの画像との合成画像、俯瞰画面とサイド画面からの画像との合成画像又は俯瞰画面とバック画面からの画像との合成画像を表示画面に表示できる。例えば、カメラからの画像を表示することにより、車両側面又は、車両斜め後方等の運転者から見えにくい方向の映像を表示した表示画面により状況を正確に確認できる。

しかしながら、何らかの不具合により、カメラ１１〜１４からの画像情報についての映像信号の第１のメモリ２５−１への書き込みが停止すると、第１のメモリへの映像信号は更新されなくなる。そのため、第１のメモリ２５−１から読み出した映像信号に基づいて合成される、第２のメモリ２５−２へ書き込まれる合成画像も、第１のメモリ２５−１への映像信号の書き込みが停止される前の映像信号に基づくものとなる。したがって、第２のメモリ２５−２から読み出され、画像出力部２３（図２参照）から出力される映像信号は更新されず、静止画が表示画面に表示される。

したがって、運転者は、カメラ１１〜１４からの画像情報がどのようなものであるか、現在の車両周辺の状況がどのように変化しているかを把握することができない。そして、安全が確認できない状況で運転することになる。

モード２（駐車支援モード(自動））、モード３（駐車支援モード）及びモード４（運転支援モード）のいずれにおいても、カメラから取得した画像情報を表示画面に表示中は、映像信号の第１のメモリ２５−１への書き込みは許容されているので、カメラから取得した映像信号の第１のメモリ２５−１への書き込みが停止する可能性がある。しかし、モード１（運転支援モード）(自動）においては、映像信号の第１のメモリ２５−１への書き込みは許容されていない。

映像信号の第１のメモリ２５−１への書き込みが許容されている場合で、映像信号の第１のメモリ２５−１への書き込みが停止した時には、メモリ制御部２７からの制御信号により、第２のメモリ２５−２から、予め記憶されている、警告画像が表示部４０に表示される。警告画像としては、一色、例えば、青又は黒、の画面がある。また、警告内容を言語、記号、意匠又は模様で表わす画面であってもよい。

図６は、本発明の表示制御装置のモード４の表示画像の一例である。通常運転においても、ナビ画面を表示させないで、カメラ画像を表示することにより、運転者がより安全に運転することをサポートすることができる。

上記説明においては、カメラ映像を用いた車載用の運転支援装置を例にとり説明したが、ＤＶＤ等の映像記録再生装置やデジタルテレビなどの映像表示装置であれば適用可能である。

また、上記説明においては、画像制御部及び表示制御装置にレジスタを備え、画像制御部の状態レジスタの状態とステータスレジスタの状態との一致・不一致を検出することにより、ユーザが設定した状態（第１のメモリへの書き込み許可）と、現在の状態が同じか異なるかを検出した。しかし、レジスタ以外の手段により、ユーザが設定した状態と現在の状態との一致・不一致を検出することができる、他の手段を用いてもよいことは当業者にとって明らかである。

１０ 自車両
１１ 前部（Ｆ）カメラ
１２ 後部（Ｂ）カメラ
１３ 右側部（ＲＳ）カメラ
１４ 左側部（ＬＳ）カメラ
１０１ 自車両の画像
１１１ 前方画像
１２１ 後方画像
１３１ 右側方画像
１４１ 左側方画像
２０ 表示制御装置
２０１ 書き込み停止レジスタ
２０２ 出力レジスタ
２１ 映像信号受信部
２２ 画像合成部
２３ 画像出力部
２４ 表示制御部
２５−１ 第１のメモリ
２５−２ 第２のメモリ
２６ 第３のメモリ（不揮発性メモリ）
２７ メモリ制御部
２８、２９ バス
３０ 画像制御部
３１ 第１のスイッチ
３２ 第２のスイッチ
３３、３４、３５、３６、３７、３８ バス
３０１ 状態レジスタ
３０２ ステータスレジスタ
４０ 表示部
４０１ ナビゲーション画面
４０２ 第２の合成画面
４０３ １画面
４０４、４０５、４０６、４０７ 第１ないし第４モード切り換えスイッチ
４０８ モード切り換えスイッチ

Claims (5)

1. 映像信号を受信し、受信した映像信号を第１のメモリに書き込む映像信号受信部と、
   前記映像信号を処理した画像を表示部に出力する画像出力部と、
   第１のメモリへの前記映像信号の書き込みが許可に設定されている場合で、前記映像信号の第１のメモリへの書き込みが停止したときに、フェイルセーフ処理を実行するメモリ制御部と、
   を有し、
   画像制御部により前記第１のメモリへの書き込みの停止が設定される書き込み停止レジスタ、および出力レジスタを備え、前記メモリ制御部は前記書き込み停止レジスタが書き込み停止状態に設定されていることを検出すると前記第１のメモリへの前記映像信号の書き込みを停止すると共に、書き込み停止状態であることを出力レジスタに設定し、
   前記画像制御部は、前記書き込み停止レジスタに書き込み停止を設定していないにもかかわらず該出力レジスタが書き込み停止状態であることを示すとき異常が発生したと判断し、前記メモリ制御部に異常を通知することを特徴とする表示制御装置。
2. 前記映像信号は車両に設置したカメラから車両の周囲が撮影された映像信号であり、
   前記第１のメモリから読み出し視点変換した映像信号と予め記憶されている車両の画像とを合成した合成画像を作成する画像合成部を更に備え、
   前記メモリ制御部は、フェイルセーフ処理として、前記合成画像に代えて警告画像を表示部に出力することを特徴とする請求項１に記載の表示制御装置。
3. 車両のギアがリバースに切り換えられた時に、前記第１のメモリへの前記映像信号の書き込みの許可の設定を行う設定手段を更に有することを特徴とする請求項１または２に記載の表示制御装置。
4. 前記映像信号を処理した画像又は前記警告画像を表示する表示部を更に有することを特徴とする請求項２に記載の表示制御装置。
5. 画像制御部と、
   映像信号を受信し、受信した映像信号を第１のメモリに書き込む映像信号受信部と、
   前記映像信号を処理した画像を表示部に出力する画像出力部と、
   第１のメモリへの前記映像信号の書き込みが許可に設定されている場合で、前記映像信号の第１のメモリへの書き込みが停止したときに、フェイルセーフ処理を実行するメモリ制御部と、
   を有し、
   前記画像制御部により前記第１のメモリへの書き込みの停止が設定される書き込み停止レジスタ、および出力レジスタを備え、前記メモリ制御部は前記書き込み停止レジスタが書き込み停止状態に設定されていることを検出すると前記第１のメモリへの前記映像信号の書き込みを停止すると共に、書き込み停止状態であることを出力レジスタに設定し、
   前記画像制御部は、前記書き込み停止レジスタに書き込み停止を設定していないにもかかわらず該出力レジスタが書き込み停止状態であることを示すとき異常が発生したと判断し、前記メモリ制御部に異常を通知することを特徴とする制御装置。

Images