JP2024031523A - 車両周辺監視システム、車両、画像処理装置、及び車両周辺監視方法 - Google Patents

Abstract

【課題】車両周辺監視システムが、車両の周辺を撮影した映像を高い信頼性で表示しつつ、当該映像を利用して、画像処理した様々なコンテンツを容易に提供できるようにする。【解決手段】車両周辺監視システムは、車両の後方を撮影した映像を含む第１の映像を取得する取得部と、前記第１の映像に基づいて前記車両の表示部に表示する第２の映像を生成する画像処理部と、前記第１の映像と前記第２の映像とが入力され、前記第２の映像の状態に応じて、前記第１の映像、又は前記第２の映像を前記表示部に出力する映像切替部と、前記映像切替部が前記第１の映像を出力する場合、前記表示部の設定を前記第１の映像用の設定に強制的に切り替える設定切替部と、を有する。【選択図】図１

Description

本発明は、車両周辺監視システム、車両、画像処理装置、及び車両周辺監視方法に関する。

車両の後退時に、バックカメラで撮影した車両の後方の映像を、リアルタイムで車載ディスプレイに表示する車両周辺監視システムが知られている（例えば、特許文献１参照）。

特開２０２１－１７２２４３号公報

車両の周辺（例えば後方）を撮影した映像が固着してしまうと危険なため、車両の周辺を撮影した画像を表示する車両周辺監視システムには高い信頼性が求められる。一方で、車両の周辺を撮影した映像を利用して、画像処理した様々なコンテンツを提供したいという要求がある。

しかし、従来の技術では、車両周辺監視システムが、車両の周辺を撮影した映像を高い信頼性で表示しつつ、当該映像を利用して、画像処理した様々なコンテンツを提供することには困難を伴っていた。

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、車両周辺監視システムが、車両の周辺を撮影した映像を高い信頼性で表示しつつ、当該映像を利用して、画像処理した様々なコンテンツを容易に提供できるようにする。

上記の課題を解決するため、本発明の実施形態に係る車両周辺監視システムは、車両の後方を撮影した映像を含む第１の映像を取得するように構成された取得部と、前記第１の映像に基づいて前記車両の表示部に表示する第２の映像を生成するように構成された画像処理部と、前記第１の映像と前記第２の映像とが入力され、前記第２の映像の状態に応じて、前記第１の映像、又は前記第２の映像を前記表示部に出力するように構成された映像切替部と、前記映像切替部が前記第１の映像を出力する場合、前記表示部の設定を前記第１の映像用の設定に強制的に切り替えるように構成された設定切替部と、を有する。

本発明の一実施形態によれば、車両周辺監視システムが、車両の周辺を撮影した映像を高い信頼性で表示しつつ、当該映像を利用して、画像処理した様々なコンテンツを容易に提供できるようになる。

本実施形態に係る車両周辺監視システムのシステム構成の例を示す図である。 車両周辺監視システムのシステム構成の別の一例を示す（１）である。 車両周辺監視システムのシステム構成の別の一例を示す（２）である。 本実施形態に係る画像処理装置のハードウェア構成の例を示す図である。 本実施形態に係る後方映像の表示処理の一例を示すフローチャートである。 本実施形態に係る後方映像の表示処理の別の一例を示すフローチャートである。 本実施形態に係る第２の映像の一例を示す図である。

以下、図面を参照して、本実施形態（本発明の実施形態）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

＜システム構成＞
図１は、本実施形態に係る車両周辺監視システムのシステム構成の例を示す図である。車両周辺監視システム１は、自動車等の車両１０に搭載され、車両１０の後方を含む周辺の映像を、リアルタイムで表示装置１２０に表示するシステムである。図１の例では、車両周辺監視システム１は、映像出力装置１１０、画像処理装置１００、及び表示装置１２０を有する。

映像出力装置１１０は、車両１０の後方を撮影した映像を含む車両１０の周辺の映像（以下、第１の映像と呼ぶ）を、画像処理装置１００に出力する装置である。一例として、映像出力装置１１０は、複数のカメラが撮影した前方画像、後方画像、右側方画像、及び左側方画像等を用いて、車両１０の周辺の映像を生成するＰＶＭ（Panoramic View Monitor） ＥＣＵ（Electronic Control Unit）等の電子制御装置である。別の一例として、映像出力装置１１０は、車両１０の後方を撮影する後方カメラ等である。

画像処理装置１００は、映像出力装置１１０から入力される第１の映像を、１つ以上の他の映像（又は画像）と組み合わせて表示映像（以下、第２の映像と呼ぶ）を生成し、生成した第２の映像を表示装置１２０に表示させる装置である。ここで、１つ以上の他の映像は、画像処理装置１００が生成するものであってもよいし、他のＥＣＵ等から入力されるものであってもよい。画像処理装置１００は、例えば、ナビゲーション画像、ＤＶＤ（Digital Versatile Disc）映像、テレビ映像、車両１０の情報画像、車両１０の設定画像、又は車両１０の後方映像等を、表示装置１２０に表示させるマルチメディアＥＣＵ等の電子制御装置である。

画像処理装置１００は、一例として、図１に示すように、取得部１０１、画像処理部１０２、検知部１０３、映像切替部１０４、バックアップ部１０５、映像出力部１０７、及び通信部１０８等を有する。

取得部１０１は、映像出力装置１１０が出力する、車両１０の後方を撮影した映像を含む第１の映像を取得する。取得部１０１は、例えば、画像処理装置１００が備える入力回路等によって実現される。

画像処理部１０２は、取得部１０１が取得した第１の映像に基づいて表示部１２１に表示する第２の映像を生成する。ここで、画像処理部１０２が生成する第２の映像には、例えば、ナビゲーション画像、車両１０の周辺の映像、ＤＶＤ映像、テレビ映像、車両情報の表示画像、車両１０の設定画像、又は操作ボタンの画像等が含まれ得る。また、画像処理部１０２は、生成した第２の映像用の設定（例えば、輝度、コントラスト、及び明るさ等）を、表示装置１２０に設定する。

好ましくは、画像処理部１０２は、取得部１０１が取得した第１の映像を用いて、例えば、ドライブレコーダ、又はスマートフォン等の外部の装置に提供するコンテンツを、さらに生成することができる。

画像処理部１０２は、例えば、画像処理装置１００が備えるコンピュータが実行するプログラム等によって実現される。ただし、これに限られず、画像処理部１０２は、例えば、画像処理装置１００が備えるコンピュータが実行するプログラムと、画像処理用のハードウェアとの組合せ等によって実現されるものであってもよい。

検知部１０３は、画像処理部１０２が出力する第２の映像の異常を検知する。例えば、検知部１０３は、画像処理部１０２が第２の映像を出力していない場合、又は画像処理部１０２が出力する映像が固着（フリーズ）している場合、第２の映像が異常であることを示す検知結果を、バックアップ部１０５、映像切替部１０４等に出力する。

検知部１０３は、例えば、画像処理装置１００が備える検知回路等によって実現される。ただし、これに限られず、検知部１０３は、例えば、画像処理装置１００が備えるコンピュータが実行するプログラム、又はプログラムとハードウェアとの組み合わせ等によって実現されるものであってもよい。

映像切替部１０４は、第１の映像と、画像処理部１０２が出力する第２の映像とが入力され、第２の映像の状態に応じて、第１の映像、又は第２の映像を、選択的に表示装置１２０（表示部１２１）に出力する。例えば、検知部１０３が、第２の映像の異常を検知した場合、映像切替部１０４は、入力された第１の映像を、表示装置１２０に出力する。一方、検知部１０３が、第２の映像の異常を検知していない場合、映像切替部１０４は、入力された第２の映像を、表示装置１２０に出力する。

映像切替部１０４は、例えば、画像処理装置１００が備えるコンピュータが実行するプログラム、及び出力回路等によって実現される。ただし、これに限られず、映像切替部１０４は、ハードウェア等によって実現されるものであってもよい。

バックアップ部１０５は、取得部１０１から入力された第１の映像を映像切替部１０４に出力する。例えば、バックアップ部１０５は、取得部１０１から入力された第１の映像を保持し、検知部１０３が第２の映像の異常を検知したときに、保持した第１の映像を映像切替部１０４に出力する。或いは、バックアップ部１０５は、取得部１０１から入力された第１の映像を、そのまま映像切替部１０４に出力してもよい。

また、バックアップ部１０５は、映像切替部１０４が第１の映像を出力する場合、表示装置１２０の表示部１２１の設定を第１の映像用の設定に強制的に切り替えるように、表示装置１２０に指示するように構成された指示部１０６を有する。

バックアップ部１０５は、例えば、画像処理装置１００が備えるバックアップ回路等によって実現される。或いは、バックアップ部１０５は、例えば、所定のプログラムを実行することにより、バックアップ部１０５の機能を実現するマイコン等であってもよい。

映像出力部１０７は、第１の映像とは異なる他の映像を、画像処理部１０２に出力する。例えば、映像出力部１０７は、ナビゲーション画像、ＤＶＤ映像、又はテレビ映像等を画像処理部１０２に出力する。なお、映像出力部１０７が出力する他の映像は、映像出力部１０７が生成するものであってもよいし、他のＥＣＵ等から入力されるものであってもよい。

映像出力部１０７は、例えば、画像処理装置１００が備えるコンピュータが実行するプログラム、又は画像処理装置１００が備える入力回路等によって実現される。

通信部１０８は、例えば、車両１０の車載ネットワークに画像処理装置１００を接続し、他の電子制御装置（ＥＣＵ）と通信を行う。また、通信部１０８は、例えば、無線ＬＡＮ通信、又は近距離無線通信等の無線通信、或いはＵＳＢ（Universal Serial Bus）等の有線通信により、スマートフォン等の情報端末と通信する。なお、通信部１０８は、車両１０が備えるＤＣＭ（Data Communication Module）等の通信モジュールを利用して、スマートフォン等の情報端末と通信するものであってもよい。

通信部１０８は、例えば、画像処理装置３００が備えるコンピュータが実行するプログラム、及び画像処理装置３００が備える通信Ｉ／Ｆ（Interface）等によって実現される。

ストレージ部１０９は、例えば、画像処理部１０２が生成した、外部の装置に提供するコンテンツ等を記憶する記憶部である。ストレージ部１０９は、例えば、画像処理装置３００が備えるコンピュータが実行するプログラム、及び画像処理装置３００が備えるストレージデバイス等によって実現される。なお、ストレージ部１０９は、画像処理装置の外部に設けられていてもよい。

なお、図１に示した画像処理装置の機能構成は一例である。例えば、検知部１０３は、バックアップ部１０５、又は映像切替部１０４等に含まれていてもよい。また、バックアップ部１０５は、映像切替部１０４に含まれていてもよい。さらに、指示部１０６は、バックアップ部１０５の外部に設けられていてもよい。

表示装置１２０は、画像処理装置１００が出力する第１の映像、又は第２の映像を表示する、例えば、車両１０のセンターディスプレイ等の装置である。表示装置１２０は、例えば、表示部１２１、設定部１２２、及び設定切替部１２３等を有する。

表示部１２１は、画像処理装置１００から入力される第１の映像、又は第２の映像を表示する、例えば、ＬＣＤ（Liquid Crystal Display）、又はＯＬＥＤ（Organic Light Emitting Diode）等の表示パネルである。

設定部１２２は、画像処理装置１００の画像処理部１０２からの指示に従って、表示部１２１に、第２の映像用の設定（例えば、輝度、コントラスト、及び明るさ等）を設定する。

設定切替部１２３は、画像処理装置１００の映像切替部１０４が第１の映像を出力する場合、画像処理装置１００の指示部１０６からの指示に従って、表示部１２１の設定を、第１の映像用の設定に強制的に切り替える。ここで、第１の映像用の設定は、第１の映像を表示するために必要な輝度、コントラスト、又は明るさ等の設定値が含まれる。例えば、設定切替部１２３は、法規等で定められた条件を満たすための、表示部１２１の設定値を、第１の映像用の設定として予め保持しておく。また、指示部１０６からの指示に従って、保持している第１の映像用の設定を表示部１２１に設定する。

（比較例１）
図２は、車両周辺監視システムのシステム構成の別の一例を示す図（１）である。図２の例では、車両周辺監視システム２は、映像出力装置２１０が、車両１０の後方を撮影した映像を含む第１の映像を表示装置２２０に直接出力するとともに、表示装置３２０の設定切替部１２３に対して、第１の映像用の設定を指示するように構成されている。

また、表示装置２２０は、第１の映像、及び画像処理装置２００が出力する第２の映像が入力され、車両１０が後退するとき等に、表示部１２１に出力する映像を、第２の映像から第１の映像に切り替える映像切替部１０４を有している。図２に示すシステム構成により、車両周辺監視システム２は、車両１０の後退時等に、車両１０の周辺を撮影した第１の映像を、表示装置２２０に高い信頼性で表示することができる。

しかし、図２のシステム構成では、映像出力装置２１０が出力する第１の映像を利用して、画像処理した様々なコンテンツを提供することができないという問題がある。例えば、図２のシステム構成では、車両周辺監視システム２は、第１の映像と共に、車両１０の情報、又は車両１０の周辺にある物体の情報等を、表示装置２２０に表示することはできない。また、図２の構成では、車両周辺監視システム２は、映像出力装置２１０が出力する第１の映像を用いて、例えば、ドライブレコーダ、又はスマートフォン等の外部の装置に提供するコンテンツを生成することができない。

（比較例２）
図３は、車両周辺監視システムのシステム構成の別の一例を示す図（２）である。図３に示す車両周辺監視システム３は、図２に示した車両周辺監視システム３のシステム構成に加えて、映像出力装置３１０から画像処理装置３００に第１の映像を出力するハーネス３０１と、画像処理装置３００が第１の映像を取得する取得部１０１とを有している。

図３のシステム構成により、車両周辺監視システム３は、図２に示した車両周辺監視システム２と同様に、車両１０の後退時等に、車両１０の周辺を撮影した第１の映像を、表示装置２２０に高い信頼性で表示することができる。また、車両周辺監視システム３は、画像処理装置３００が、映像出力装置２１０が出力する第１の映像を用いて、例えば、ドライブレコーダ、又はスマートフォン等の外部の装置に提供するコンテンツを生成することができる。

しかし、図３のシステム構成では、映像出力装置３１０と、画像処理装置３００との間に、映像の入出力回路、及びハーネス３０１が必要になる。これにより、例えば、ハーネス３０１による重量増、映像出力装置３１０の大型化、及びシステムコストの増加等のデメリットが大きくなる。また、図３のシステム構成では、車両周辺監視システム３は、車両の後退時に、第１の映像と共に、車両１０の情報、又は車両１０の周辺にある物体の情報等を表示装置２２０に表示することはできない。

なお、画像処理装置３００が、第１の映像と共に、車両１０の情報、又は車両１０の周辺にある物体の情報等を表示する第２の映像を作成し、表示装置３２０に表示させる方法も考えられるが、この方法では、ソフトウェアの信頼性確保が難しいという問題がある。例えば、何らかの要因により、画像処理装置３００の処理がフリーズした場合、又は画像処理装置３００が再起動した場合、車両周辺監視システム３は、車両１０の周辺の映像を、リアルタイムで表示装置３２０に表示することができない。

このように、車両周辺監視システムが、車両１０の周辺を撮影した映像を高い信頼性で表示しつつ、当該映像を利用して、画像処理した様々なコンテンツを提供することには困難を伴っていた。

そこで、本実施形態に係る車両周辺監視システム１は、図１に示すように、映像出力装置１１０が、画像処理装置１００のみに第１の映像を出力し、画像処理装置１００が、第１の映像を利用して、第２の映像等の様々なコンテンツを生成する。これにより、車両周辺監視システム１は、ハーネスによる重量増、映像出力装置１１０の大型化、及びシステムコストの増加等を抑制しつつ、映像出力装置１１０が出力する第１の映像を利用して、画像処理した様々なコンテンツを提供することができる。

また、画像処理装置１００は、第２の映像の異常を検知し、第２の映像に異常が検知された場合、第２の映像に代えて、第１の映像を表示装置１２０に表示するように構成されている。これにより、例えば、車両１０の後退時等に、画像処理部１０２が出力する第２の映像に異常が発生すると、画像処理装置１００は、第２の映像に代えて、第１の画像を表示装置１２０に出力することができる。

このように、本実施形態係る車両周辺監視システム１によれば、車両１０の周辺を撮影した映像を高い信頼性で表示しつつ、当該映像を利用して、画像処理した様々なコンテンツを容易に提供できるようになる。

＜ハードウェア構成＞
（画像処理装置のハードウェア構成）
図４は、本実施形態に係る画像処理装置のハードウェア構成の例を示す図である。画像処理装置１００は、コンピュータの構成を備えており、例えば、ＣＰＵ（Central Processing Unit）４０１、メモリ４０２、ストレージデバイス４０３、通信Ｉ／Ｆ４０４、入力回路４０５、バックアップ回路４０６、検知回路４０７、出力回路４０８、及びバス４０９等を有する。

ＣＰＵ４０１は、例えば、メモリ４０２、又はストレージデバイス４０３等の記憶媒体に記憶した所定のプログラムを実行することにより、画像処理装置１００の全体を制御するプロセッサである。メモリ４０２は、例えば、ＣＰＵ４０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）、及びＣＰＵ４０１の起動用のプログラム等を予め記憶したＲＯＭ（Read Only Memory）等を含む。ストレージデバイス４０３は、例えば、フラッシュＲＯＭ等の大容量で不揮発性の記憶デバイスである。なお、ＣＰＵ４０１、メモリ４０２、及びストレージデバイス４０３等は、マイコン４００等の１つのデバイスに含まれていてもよい。

通信Ｉ／Ｆ４０４は、例えば、画像処理装置１００を、車両１０の車載ネットワークに接続して、他のＥＣＵと通信するためのネットワークインタフェースを含む。また、通信Ｉ／Ｆ４０４は、スマートフォン等の情報端末と通信するための、例えば、無線ＬＡＮ、近距離無線通信、又はＵＳＢ等の通信インタフェースを含んでいてもよい。

入力回路４０５は、画像処理装置１００に、例えば、第１の映像、又は他の映像等を入力するためのインタフェースである。バックアップ回路４０６は、例えば、図１のバックアップ部１０５に対応する回路である。一例として、バックアップ回路４０６は、小規模なマイコンと、当該マイコンをバックアップ部１０５として機能させるためのプログラムを記憶した記憶媒体とを含む。

検知回路４０７は、例えば、図１の検知部１０３に対応する回路であり、入力された映像の固着（フリーズ）、又は入力映像の有無等を検知する信号処理回路、又は信号処理用のプロセッサ等を含む。出力回路４０８は、画像処理装置１００が、映像、又は制御信号等を出力するためのインタフェースである。バス４０９は、上記の各構成要素に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

なお、図４に示した画像処理装置１００のハードウェア構成は一例である。例えば、画像処理装置１００は、画像処理用のハードウェアをさらに有していてもよい。また、図１の検知部１０３、又はバックアップ部１０５等は、ＣＰＵ４０１が実行するプログラムによって実現されるものであってもよい。

（映像出力装置のハードウェア構成）
映像出力装置１１０は、車両１０の後方を撮影した映像を含む第１の映像を画像処理装置１００に出力する装置であれば、任意のハードウェア構成（例えば、カメラ、ＥＣＵ等）であってよいため、ここでは、説明を省略する。

（表示装置のハードウェア構成）
表示装置１２０は、例えば、ＬＣＤ、又はＯＬＥＤ等のディスプレイ、ディスプレイコントローラ、及びコンピュータの構成等を有する一般的な表示装置であってよい。図１の設定部１２２、及び設定切替部１２３は、例えば、表示装置１２０が備えるコンピュータが実行するプログラムによって実現される。

＜処理の流れ＞
続いて、本実施形態に係る車両周辺監視方法の処理の流れについて説明する。

（後方映像の表示処理１）
図５は、本実施形態に係る後方映像の表示処理の一例を示すフローチャートである。この処理は、例えば、図１で説明した車両周辺監視システム１が起動、又は再起動した直後に、画像処理装置１００が実行する、後方映像の表示処理の例を示している。なお、画像処理装置１００は、画像処理部１０２の起動に時間を要し、他の取得部１０１、検知部１０３、映像切替部１０４、及びバックアップ部１０５等が先行して起動するものとする。

ステップＳ５０１において、車両周辺監視システム１が起動、又は再起動すると、画像処理装置１００は、ステップＳ５０２以降の処理を実行する。

ステップＳ５０２において、画像処理装置１００は、車両１０の後方映像を表示するか否かを判断する。例えば、画像処理装置１００は、映像出力装置１１０が、第１の映像を出力している場合、後方映像を表示すると判断する。或いは、画像処理装置１００は、車両１０が後退しているときに、後方映像を表示すると判断してもよい。

後方映像を表示する場合、画像処理装置１００は、処理をステップＳ５０３に移行させる。一方、後方映像を表示しない場合、画像処理装置１００は、図５の処理を終了する。

ステップＳ５０３に移行すると、画像処理装置１００の指示部１０６は、表示装置１２０に、表示設定の強制切替を指示する。この指示により、表示装置１２０の設定切替部１２３は、表示部１２１の設定を第１の映像用の設定に強制的に切り替える。

ステップＳ５０４において、画像処理装置１００の映像切替部１０４は、取得部１０１が映像出力装置１１０から取得した第１の画像を、表示装置１２０に出力する。これにより、表示装置１２０に第１の映像が表示される。

ステップＳ５０５において、画像処理装置１００の検知部１０３は、画像処理部１０２が出力する第２の映像に異常があるか否かを判断（検知）する。例えば、検知部１０３は、画像処理部１０２が第２の映像を出力していない場合、又は画像処理部１０２が出力する第２の映像が固着（フリーズ）している場合に、第２の映像に異常があると判断する。

第２の映像に異常がない場合、画像処理装置１００は、処理をステップＳ５０６に移行させる。一方、第２の映像に異常がある場合、画像処理装置１００は、第２の映像に異常がなくなるまで、ステップＳ５０４、Ｓ５０５の処理を繰り返し実行する。

ステップＳ５０６に移行すると、画像処理装置１００の画像処理部１０２は、表示装置１２０に、第２の映像に対応する表示設定を指示する。これにより、表示装置１２０の設定部１２２は、例えば、画像処理装置１００から指示された第２の映像用の表示設定を、表示部１２１に設定する。

ステップＳ５０７において、画像処理装置１００の映像切替部１０４は、画像処理部１０２が出力する第２の映像を表示装置１２０に出力する。

ステップＳ５０８において、画像処理装置１００は、車両１０の後方映像の表示を続けるか否かを判断する。例えば、画像処理装置１００は、映像出力装置１１０が、第１の映像を出力している場合、後方映像の表示を続けると判断する。或いは、画像処理装置１００は、車両１０が後退しているときに、後方映像の表示を続けると判断してもよい。

後方映像の表示を続ける場合、画像処理装置１００は、処理をステップＳ５０９に移行させる。一方、後方映像の表示を続けない場合、画像処理装置１００は、図５の処理を終了する。

ステップＳ５０９に移行すると、画像処理装置１００の検知部１０３は、ステップＳ５０５の処理と同様にして、画像処理部１０２が出力する第２の映像に異常があるか否かを判断する。

第２の映像に異常がある場合、画像処理装置１００は、処理をステップＳ５０３に移行させる。一方、第２の映像に異常がない場合、画像処理装置１００は、ステップＳ５０７～Ｓ５０９の処理を繰り返し実行する。

図５の処理により、画像処理装置１００は、画像処理部１０２が起動中（又は再起動中）で第２の映像を出力できないとき、及び画像処理部１０２が出力する第２の映像が固着しているときに、第１の映像を表示装置１２０に表示させることができる。

（後方映像の表示処理２）
図６は、本実施形態に係る後方映像の表示処理の別の一例を示すフローチャートである。この処理は、例えば、図１で説明した車両周辺監視システム１において、画像処理装置１００が、車両１０の後方映像の表示イベントを検知したときに実行する、後方映像の表示処理の例を示している。

例えば、画像処理装置１００は、映像出力装置１１０が第１の映像の出力を開始したとき、又は運転者が車両１０の後退操作を行ったとき等に、図６の処理を実行する。なお、基本的な処理内容は、図５で説明した後方映像の表示処理と同様なので、ここでは、図５で説明した処理と同様の処理内容に対する詳細な説明は省略する。

ステップＳ６０１において、画像処理装置１００は、車両１０の後方映像の表示を開始する。例えば、画像処理装置１００は、取得部１０１が取得した第１の映像に、画像処理部１０２が画像処理した第２の映像を、表示装置１２０に表示させる。なお、第２の映像の例については後述する。

ステップＳ６０２において、画像処理装置１００の検知部１０３は、図５のステップＳ５０５の処理と同様にして、画像処理部１０２が出力する第２の映像に異常があるか否かを判断する。第２の映像に異常がある場合、画像処理装置１００は、処理をステップＳ６０３に移行させる。一方、第２の映像に異常がない場合、画像処理装置１００は、処理をステップＳ６０６に移行させる。

ステップＳ６０３に移行すると、画像処理装置１００の指示部１０６は、表示装置１２０に、表示設定の強制切替を指示する。

ステップＳ６０４において、画像処理装置１００の映像切替部１０４は、取得部１０１が映像出力装置１１０から取得した第１の画像を、表示装置１２０に出力する。

ステップＳ６０５において、画像処理装置１００の検知部１０３は、画像処理部１０２が出力する第２の映像に異常があるか否かを判断する。第２の映像に異常がない場合、画像処理装置１００は、処理をステップＳ６０６に移行させる。一方、第２の映像に異常がある場合、画像処理装置１００は、第２の映像に異常がなくなるまで、ステップＳ６０４、Ｓ６０５の処理を繰り返し実行する。

ステップＳ６０６に移行すると、画像処理装置１００の画像処理部１０２は、表示装置１２０に、第２の映像に対応する表示設定を指示する。

ステップＳ６０７において、画像処理装置１００の映像切替部１０４は、画像処理部１０２が出力する第２の映像を表示装置１２０に出力する。

ステップＳ６０８において、画像処理装置１００は、車両１０の後方映像の表示を続けるか否かを判断する。

後方映像の表示を続ける場合、画像処理装置１００は、処理をステップＳ６０９に移行させる。一方、後方映像の表示を続けない場合、画像処理装置１００は、図６の処理を終了する。

ステップＳ６０９に移行すると、画像処理装置１００の検知部１０３は、画像処理部１０２が出力する第２の映像に異常があるか否かを判断する。第２の映像に異常がある場合、画像処理装置１００は、処理をステップＳ６０３に移行させる。一方、第２の映像に異常がない場合、画像処理装置１００は、ステップＳ６０７～Ｓ６０９の処理を繰り返し実行する。

図６の処理により、画像処理装置１００は、車両１０後方映像を表示するときに、映像出力装置１１０が出力する第１の映像を利用して、画像処理した第２の映像を表示装置１２０に表示させる。また、画像処理装置１００は、画像処理部１０２が出力する第２の映像に異常がある場合、第２の映像に代えて、映像出力装置１１０から取得した第１の映像を表示装置１２０に表示させることができる。

（第２の映像の例）
図７は、本実施形態に係る第２の映像の一例を示す図である。この図は、例えば、図５のステップＳ５０７、又は図６のステップＳ６０７等において、画像処理装置１００が表示装置１２０に表示させる第２の映像７００の一例のイメージを示している。図７の例では、第２の映像７００には、車両１０の後方映像７０１、車両１０のエアコンの操作画像７０２、及び表示装置１２０の操作画像７０３等が表示されている。

後方映像７０１は、画像処理部１０２が、取得部１０１が取得した第１の映像に基づいて生成した、車両１０の後方の映像である。エアコンの操作画像７０２は、車両１０のエアコンの設定状態を示すとともに、乗員によるエアコンの設定操作を受け付けるエリアである。表示装置１２０の操作画像７０３は、表示装置１２０が表示するコンテンツ等の選択操作を受け付けるエリアである。

なお、後方映像７０１を表示しないとき、後方映像７０１が表示されているエリアには、例えば、ナビゲーション画像、ＤＶＤ映像、又はテレビ映像等のコンテンツ映像等が表示される。また、エアコンの操作画像７０２、及び表示装置１２０の操作画像７０３は、車両１０の情報画像、又は車両１０の設定画像の一例である。エアコンの操作画像７０２、及び表示装置１２０の操作画像７０３が表示されているエリアには、例えば、ナビゲーション機能の操作画面、ＤＶＤプレーヤの操作画面、テレビの操作画面、又は車両１０の様々な設定を行う設定画像等を表示してもよい。

このように、第２の映像７００には、車両１０の後方映像７０１以外にも、様々な画像を表示することができるが、信頼性の確保が難しいという問題がある。

そこで、本実施形態に係る画像処理装置１００は、例えば、第２の映像７００の固着、又は画像処理部１０２の再起動等が発生した場合、第２の映像７００に代えて、映像出力装置１１０から取得した第１の映像を表示装置１２０に表示させる。

以上、本実施形態によれば、車両周辺監視システム１が、車両１０の周辺を撮影した映像を高い信頼性で表示しつつ、当該映像を利用して、画像処理した様々なコンテンツを容易に提供できるようになる。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更、又は応用が可能である。

１ 車両周辺監視システム
１０ 車両
１００ 画像処理装置
１０１ 取得部
１０２ 画像処理部
１０３ 検知部
１０４ 映像切替部
１０５ バックアップ部
１０６ 指示部
１１０ 映像出力装置
１２０ 表示装置
１２１ 表示部
７００ 第２の映像

Claims (10)

1. 車両の後方を撮影した映像を含む第１の映像を取得するように構成された取得部と、
   前記第１の映像に基づいて前記車両の表示部に表示する第２の映像を生成するように構成された画像処理部と、
   前記第１の映像と前記第２の映像とが入力され、前記第２の映像の状態に応じて、前記第１の映像、又は前記第２の映像を前記表示部に出力するように構成された映像切替部と、
   前記映像切替部が前記第１の映像を出力する場合、前記表示部の設定を前記第１の映像用の設定に強制的に切り替えるように構成された設定切替部と、
   を有する、車両周辺監視システム。
2. 前記第１の映像を出力する映像出力装置と、
   前記取得部、前記画像処理部、及び前記映像切替部を備えた画像処理装置と、
   前記表示部、及び前記設定切替部を備えた表示装置と、
   を有する、請求項１に記載の車両周辺監視システム。
3. 前記画像処理部は、前記第１の映像を用いて、外部に提供するコンテンツをさらに生成する、請求項１又は２に記載の車両周辺監視システム。
4. 前記第２の映像の異常を検知するように構成された検知部を有し、
   前記映像切替部は、
   前記第２の映像に異常が検知された場合、前記第１の映像を前記表示部に出力し、
   前記第２の映像に異常が検知されない場合、前記第２の映像を前記表示部に出力する、
   請求項１又は２に記載の車両周辺監視システム。
5. 前記検知部は、前記画像処理部が前記第２の映像を出力していない場合、又は前記画像処理部が出力する前記第２の映像が固着している場合、前記第２の映像に異常があると判断する、請求項４に記載の車両周辺監視システム。
6. 前記第２の映像は、ナビゲーション画像、コンテンツ映像、車両情報の表示画像、車両の設定画像、又は操作ボタンの画像を含む、請求項１又は２に記載の車両周辺監視システム。
7. 前記第１の映像用の設定は、前記第１の映像を表示するために必要な輝度、コントラスト、又は明るさの設定値を含む、請求項１又は２に記載の車両周辺監視システム。
8. 請求項１又は２に記載の車両周辺監視システムを搭載した車両。
9. 車両の後方を撮影した映像を含む第１の映像を取得するように構成された取得部と、
   前記第１の映像に基づいて前記車両の表示部に表示する第２の映像を生成するように構成された画像処理部と、
   前記第１の映像と前記第２の映像とが入力され、前記第２の映像の状態に応じて、前記第１の映像、又は前記第２の映像を前記表示部に出力するように構成された映像切替部と、
   を有し、
   前記映像切替部が前記第１の映像を出力する場合、前記表示部の設定を前記第１の映像用の設定に強制的に切り替える、画像処理装置。
10. 車両周辺監視システムが、
    車両の後方を撮影した映像を含む第１の映像を取得する処理と、
    前記第１の映像に基づいて前記車両の表示部に表示する第２の映像を生成する処理と、
    前記第１の映像と前記第２の映像とを取得し、前記第２の映像の状態に応じて、前記第１の映像、又は前記第２の映像を前記表示部に出力する処理と、
    前記第１の映像を出力する場合、前記表示部の設定を前記第１の映像用の設定に強制的に切り替える処理と、
    を実行する、車両周辺監視方法。

Images