JP6341060B2 - 車両用映像処理装置 - Google Patents

Description

本発明は、車両周辺を撮影する撮影手段からの映像を表示手段に表示する車両用映像処理装置に関する。

近年、車両では、映像処理装置により、例えばユーザ（運転者）による後退操作時にリアカメラの映像（以下、カメラ映像）をインストルメントパネルに配置されたディスプレイに表示することが普及しつつある。従って、ユーザは、カメラ映像を視認することにより車両後方の安全性を確認しながら車両を後退操作することができる。

特願２０１３−４６６０４号

さて、映像表示装置に搭載されたＣＰＵ（Central Processing Unit）は、Ａｃｃスイッチのオンに応じて起動すると、メモリに記憶された各種のモジュール（プログラム）を順に起動することによりカメラ映像を表示したり、カメラ映像に車両の後退方向を示すガイド線を描画したりする。
ここで、カメラ映像を表示するモジュールは起動が遅いＨＭＩ（Human Machine Interface）プロセスで実行していることから、カメラ映像を表示するまでに比較的長い時間を要している。

ところで、例えばアメリカのＫＴ（Kids and Transportation Safety Act）法では、車両のＡｃｃがオンまたはイグニッションスイッチがオンしてから４秒経過後において、ユーザによる後退操作が行われた場合は、その後退操作から２秒以内にカメラ映像を表示することを要求している。この４秒という時間は、ＣＰＵが起動してからカメラ映像の表示を実行可能となるまでの準備時間を見込んだものである。このため、従来の映像表示装置では、ＫＴ法を満足することができないと問題がある。

そこで、本出願人が先に出願した特許文献１のものでは、上述したＣＰＵ（以下、メインＣＰＵ）に加えて、カメラ映像をディスプレイに直接表示するサブＣＰＵを設け、ユーザによる最初の後退操作時は、サブＣＰＵによりカメラ映像をディスプレイに直接表示する所謂カメラスルーを実行するようにしている。つまり、メインＣＰＵがＨＭＩプロセスによりカメラ映像を表示するモジュールを起動するのに代えて、サブＣＰＵによりカメラスルーを実行することにより、カメラ映像をディスプレイに迅速に表示しようとするものである。そして、メインＣＰＵによりカメラ映像にガイド線を描画するモジュールの起動が完了している場合には、サブＣＰＵによるカメラスルー映像からメインＣＰＵによるガイド線の描画映像に切り替えることで、ＫＴ法を満足するようにしている。

ところが、特許文献１のものでは、サブＣＰＵによるカメラスルー映像からメインＣＰＵによるガイド線の描画映像に切り替える際に、切り替えタイミングと表示タイミングとが同期していないためにディスプレイにノイズが短時間表示されてしまうという現象を生じる。このため、サブＣＰＵによるカメラスルー映像からメインＣＰＵによるガイド線の描画映像に切り替えるタイミングで、ノイズを隠すために黒画（黒の画面）を例えば２秒間表示することにより見映えの改善を図るようにしている。

しかしながら、カメラ映像に黒画が表示されることは安全上の観点から望ましくないことから、カメラスルーによるカメラ映像の表示を後退操作が解除されるまで延長し、ユーザによる最初の後退操作時にガイド線を表示していないのが実情である。尚、ユーザによる２回目以降の後退操作時では、メインＣＰＵによりカメラ映像を表示するモジュール及びガイド線を描画するモジュールの起動が完了しているので、カメラ映像に黒画を表示することなくカメラ映像にガイド線を描画することができる。

本発明は上記事情に鑑みてなされたもので、その目的は、ユーザによる後退操作時に車両周辺を撮影する撮影手段の映像を迅速に表示できると共に、その映像に対して黒画を表示することなくデータ加工することができる車両用映像処理装置を提供することにある。

請求項１の発明によれば、制御回路は、ユーザによる後退操作が行なわれた場合は、撮影手段の映像を表示手段に表示する第１モジュールを起動するので、従来のカメラスルーと同様に、車両周辺の映像を迅速に表示できる。また、撮影手段の映像データにデータ加工を施す第２モジュールを次に起動するので、撮影手段の映像データを迅速にデータ加工することができる。この場合、制御回路が撮影手段の映像データを直接データ加工するので、黒画を表示する必要を生じない。

一実施形態における映像処理装置の構成を示す機能ブロック図 メインＣＰＵとサブＣＰＵが実行するモジュールの関係を示す図 各モジュールの起動順を従来と比較して示す図 モジュールの起動順番を示すタイミング図 第１表示部に表示される表示内容を示す図 リアカメラの映像を示す図 ガイド線及びユーザ支援情報を描画したリアカメラの映像を示す図

以下、本発明の一実施形態について図面を参照して説明する。
図１に示すように、映像処理装置１は車両（図示せず）に搭載されるもので、車両に固定的に取付けても良いし、着脱可能に取付けても良い。映像処理装置１はデジタル基板２と電源基板３とから構成されており、それらの基板２，３は配線を通じて電気的に接続されている。尚、図１では、映像処理系の構成のみを図示し、音声処理系の構成、及び本発明に関連しない構成の図示は省略した。

デジタル基板２は全体の動作を制御する基板で、メインＣＰＵ４（制御回路）、メモリ５、ＰＭＩＣ（Power Management Integrated Circuit）６、レシーバ７，８、映像処理用ＡＳＩＣ（application specific integrated circuit）９（信号変換回路）、Ｉ／Ｏ１０、ＳＤメモリカード（登録商標）１１、ＵＳＢハブ１２、トランスミッタ１３などが実装されている。

メインＣＰＵ４は、例えば１ＧＨｚ〜２ＧＨｚの動作周波数で動作する１コア又は２コアタイプの汎用ＣＰＵである。メインＣＰＵ４は、ＳＤメモリカード１１に記憶されているＯＳ（Operating System）及びモジュール（プログラム）をメモリ５に読込んで実行することにより映像処理を実行する。

ＰＭＩＣ６は、メインＣＰＵ４の動作電力を管理するもので、メインＣＰＵ４から自己の状態を示す状態通知コマンドを定期的に入力することでメインＣＰＵ４の状態を判定し、判定結果に応じてメインＣＰＵ４に供給する動作電力を制御する。即ち、ＰＭＩＣ６は、メインＣＰＵ４が低負荷状態（アイドル状態等）であると判定すると、メインＣＰＵ４に供給する動作電力を低下して省電力を優先する一方、メインＣＰＵ４が高負荷状態であると判定すると、メインＣＰＵ４に供給する動作電力を増加させて処理速度を優先する。

レシーバ７は、外部に接続されるナビゲーション装置１４から例えばＬＶＤＳ（Low Voltage Differential Signaling）規格による映像信号を入力し、その入力した映像信号をＤＲＧＢ規格にパラレル変換して映像処理用ＡＳＩＣ９に出力する。
レシーバ８は、外部に接続されるＡＶ（Audio Visual）装置１５からＨＤＭＩ（High-Definition Multimedia Interface（登録商標））規格による映像信号を入力し、その映像信号をＹＵＶ規格にパラレル変換して映像処理用ＡＳＩＣ９に出力する。

映像処理用ＡＳＩＣ９は複数の規格の映像データを入力可能であり、入力した映像データを所定規格に変換してＩ／Ｏ１０に出力する。つまり、メインＣＰＵ４は汎用ＣＰＵであり、レシーバ７，８から出力される映像データを直接入力して処理することができないことから、映像処理用ＡＳＩＣ９により映像データの規格をメインＣＰＵ４が処理可能な規格に変換するのである。例えば、入力した映像信号がＤＲＧＢ規格の場合はそのまま出力したり、ＤＲＧＢ規格をＹＵＶ規格に変換したり、ＤＲＧＢ規格をＲＡＷ規格に変換したりする。

ＵＳＢハブ１２は、外部接続機器１６からＵＳＢ２．０規格の映像データを入力し、Ｉ／Ｏ１０に出力する。
Ｉ／Ｏ１０は、映像処理用ＡＳＩＣ９、ＵＳＢハブ１２から入力した映像データをトランスミッタ１３を介してＬＶＤＳ規格により第２表示部１７に出力可能である。第２表示部１７は、車室内のインストルメントパネルに設置されている。また、Ｉ／Ｏ１０は、メインＣＰＵ４とＰＣＩ−ｅｘｐｒｅｓｓ規格のバスにより接続されており、メインＣＰＵ４に映像データを出力可能である。

メインＣＰＵ４は、データ加工した映像データをＳＤＶＯ（Serial Digital Video Out）規格によりＩ／Ｏ１０に出力可能である。
電源基板３には第１表示部１８（表示手段）及びタッチパネル１９が一体的に設けられている。第１表示部１８は、バックライトＬＥＤ２０、ＬＣＤ制御回路２１、液晶表示部２２を備えている。ＬＣＤ制御回路２１は、液晶表示部２２の表示を制御する。タッチパネル１９は、タッチ位置を示すデータをデジタル基板２のＩ／Ｏ１０に出力する。

電源基板３には、電源供給部２３、サブＣＰＵ２４、フラッシュメモリ２５、ビデオデコーダ２６（信号変換回路）、ＬＥＤドライバ２７、ＣＡＮ（Controller Area Network）ドライバ２８などが実装されている。
電源供給部２３は、ユーザによるＡｃｃスイッチ（図示せず）の操作に応じて車両に搭載されている車両電源（車両バッテリ）から供給される電圧を所定の電源電圧に降圧してデジタル基板２及び電源基板３内の各電気回路に供給する。

サブＣＰＵ２４は、フラッシュメモリ２５に記憶されている所謂リアルタイムＯＳと称される容量が小さなＯＳを読込んで実行する。また、サブＣＰＵ２４は、図示しない他のＥＣＵ（Engine Control Unit,）とＣＡＮドライバ２８を通じてネットワーク接続されており、他のＥＣＵからカメラ制御に必要な情報を取得する。カメラ制御に必要な情報としては、シフトポジションセンサからのシフト情報、ステアリング角度センサからの操舵角情報などである。

ビデオデコーダ２６は、車両後方を撮影するリアカメラ２９（撮影手段）からＮＴＳＣ（National Television System Committee）規格の映像信号を入力し、サブＣＰＵ２４の指令に応じて入力した映像信号をデコードしてＹＵＶ規格の映像データを生成し、その映像データを映像処理用ＡＳＩＣ９に出力する。また、ビデオデコーダ２６は、サブＣＰＵ２４の指令に応じてメインＣＰＵ４から入力した映像データを第１表示部１８に出力する。第１表示部１８は、ビデオデコーダ２６から入力した映像データに基づいて映像を描画する。この第１表示部１８は、第２表示部１７と同様に車室内のインストルメントパネルに設置されるもので、第２表示部１７の上方位置に配置される。この場合、第１表示部１８はナビゲーション装置１４による地図画を表示したり、リアカメラ２９の映像（以下、カメラ映像）を表示したりするもので、重要度の高い情報を表示する。一方、第２表示部１７は、第２表示部１７の周囲に配置された操作ボタン（図示せず）による操作に応じてナビゲーション装置１４の補助情報、エアコン情報、オーディオ情報などの重要度の低い情報を表示する。
ＬＥＤドライバ２７は、サブＣＰＵ２４からの指令に応じてバックライトＬＥＤ２０を点灯駆動する。

さて、デジタル基板２のメインＣＰＵ４は、ＯＳを実行することにより図２示す各モジュールを起動する。
Ｉ／Ｏ制御モジュール３０（第４モジュール）は、リアカメラ２９の電源を常時オンする。これにより、リアカメラ２９がオンするまで待つ映像同期待ちが不要となるので、カメラ映像を表示するまでの時間を短縮することができる。尚、リアカメラ２９の電源はＡｃｃのオフに応じてオフする。

カメラ映像制御モジュール３１（第１モジュール）は、図３に示すように、従来のオープニングプロセスには設定されていないモジュールである。つまり、カメラ映像を迅速に表示する性能要求を満足するには、オープニング画の表示と同等の起動性能が必要となることから、オープニングプロセスに新規に追加したものである。このカメラ映像制御モジュール３１は、映像処理用ＡＳＩＣ９からカメラ映像データが入力すると、その映像データをそのまま描画制御モジュール３２に出力する。描画制御モジュール３２は、入力した映像データを描画可能なデータに変換してグラフィックスモジュール３３に出力する。そして、グラフィックスモジュール３３は、入力したデータを第１表示部に１８に描画する。

情報提供モジュール３４は、サブＣＰＵ２４により実行されるカメラ通信制御モジュール３５が取得した情報をカメラ映像制御モジュール３１に提供する。つまり、カメラ通信制御モジュール３５は、ＣＡＮネットワークを介してカメラ表示に必要な情報を他のＥＣＵから取得していることから、その情報を提供するのである。情報提供モジュール３４は新規に追加したモジュールで、起動順位が低く設定されている。つまり、メインＣＰＵ４がカメラ映像の表示に必要な情報を早めに取得しようとすると、メインＣＰＵ４の起動が遅れて起動性能時間への影響が大きくなるからである。尚、サブＣＰＵ２４が実行するディスプレイバックライト制御モジュール３６は、カメラ通信制御モジュール３５が取得した情報（ユーザによる照度操作情報）に基づいてバックライドＬＥＤ２０の照度を調整するものである。

カメラ制御モジュール３７及びガイド線描画モジュール３８（第２モジュール）は、図３に示すように、新規に追加したカメラプロセスを構成するもので、カメラ映像にガイド線を描画するものである。このカメラ制御モジュール３７及びガイド線描画モジュール３８は、従来のＨＭＩプロセスから独立したカメラプロセスとして構成されており、起動順位がＨＭＩプロセスよりも高められている。つまり、従来のＨＭＩプロセスによりガイド線を迅速に描画しようとすると、ＨＭＩプロセスからのプロセス分離が必要となり、工数が増大してメインＣＰＵ４の起動が遅くなるからである。

ガイド線描画モジュール３８は、カメラ映像にガイド線を描画する。ガイド線としては、図７に示すように、車幅を延長した線を示す車幅延長線３８ａ（実線で示す）、車両の後退進路を予測した線を示す進路予測線３８ｂ（破線で示す）、車両後端から例えば約０．５メートル先を示す距離目安線３８ｃ（二点鎖線で示す）である。第１表示部１８は、車幅延長線３８ａを緑色で表示し、進路予測線３８ｂを黄色で表示し、距離目安線３８ｃを赤色で表示することで、ガイド線の視認を容易としている。

ＨＭＩ制御モジュール３９（第３モジュール）は、カメラ映像にユーザ支援情報を描画するもので、図３に示すように、従来と同様な起動タイミングに設定されている。このユーザ支援情報としては、図７に示すように、ユーザが操作可能な「進路線消去」釦３８ｄ及び「縦列駐車ガイド」釦３８ｅ、及び「車両周辺を直接確認してください」という注意文言３８ｆである。

描画面制御モジュール４０は、カメラ映像制御モジュール３１、カメラ制御モジュール３７、ガイド線描画モジュール３８、ＨＭＩ制御モジュール３９からの映像データを描画制御モジュール３２に引き渡す。この場合、図２に示すように、カメラ映像制御モジュール３１と描画面制御モジュール４０は、それらの間で映像データを引き継いで他のモジュールの影響を受けないようになっている。これは、カメラ映像の表示中に、ナビゲーション装置１４からの地図画が表示されてしまうことを防止するためである。

次に、上記構成の作用について説明する。
ユーザが車両のＡｃｃスイッチをオンすると、車両電源から電源供給部２３に動作電力が供給される。電源供給部２３は、動作電力が供給されると、電源基板３及びデジタル基板２の各電気回路に給電する。サブＣＰＵ２４は、電源供給部２３から動作電力が供給されると、起動してフラッシュメモリ２５に記憶されているＯＳを読込んで実行する。

一方、メインＣＰＵ４は、動作電力が供給されて起動すると、図４に示すように、ＢＩＯＳ（Basic Input Output System）を起動してハードチェックを行う。ハードチェックを正常に終了すると、ＳＤメモリカード１１に記憶されているＯＳをメモリ５に読込んで起動し、ＯＳの起動完了後はＯＳにより全体の動作を管理する。この場合、ＡｃｃのオンからＯＳの起動完了までに最大４秒を要している。ＫＴ法ではカメラ映像の表示が実行可能となるまでの準備時間として４秒を見込んでいることから、ＯＳが起動終了してから２秒以内にカメラ映像を表示するプロセスの起動を完了する必要がある。つまり、ＯＳが起動終了してからカメラ映像を２秒以内に表示可能であれば、ＯＳが起動終了してからユーザによる後退操作が直ちに行なわれた場合であっても、その後退操作から２秒以内にカメラ映像を表示できるからである。

さて、ユーザが車両を後退するためにシフトレバーをリバース位置に操作すると、サブＣＰＵ２４は、ＣＡＮ通信によりユーザがシフトレバーをリバース位置に操作したことを検知し、ビデオデコーダ２６に対してリアカメラ２９からの映像信号を信号変換して映像処理用ＡＳＩＣ９に出力するように指令する。ビデオデコーダ２６は、サブＣＰＵ２４からの指令に応じてリアカメラ２９からの映像信号をＹＵＶ変換して映像処理用ＡＳＩＣ９に出力する。映像処理用ＡＳＩＣ９は、ビデオデコーダ２６から入力した映像データの規格を変換してＩ／Ｏ１０を介してメインＣＰＵ４に出力する。

一方、メインＣＰＵ４は、ＯＳの起動が完了すると、ＯＳにより図２に示す各モジュールを順に起動する。具体的には、図４に示すように、Ｉ／Ｏ制御モジュール３０を起動することによりリアカメラ２９の電源をオンしてから、オープニングモジュール４１及びカメラ映像制御モジュール３１を起動する。オープニングモジュール４１が起動完了すると、オープニング画を表示する。カメラ映像制御モジュール３１が起動完了すると、映像処理用ＡＳＩＣ９から入力するリアカメラ２９の映像データをＤＲＧＢ変換してビデオデコーダ２６を介して第１表示部１８に出力する。第１表示部１８は、図６に示すように、データ加工していないカメラ映像を表示する。従って、ユーザは、リアカメラ２９が撮影した映像をそのまま視認可能となる。即ち、従来と同様なカメラスルーをメインＣＰＵ４により実行可能となる。

次にメインＣＰＵ４は、カメラプロセスを構成するカメラ制御モジュール３７及びガイド線描画モジュール３８を起動してカメラ映像にガイド線を描画する。つまり、映像処理用ＡＳＩＣ９から入力している映像データにガイド線データを描画する処理を実行する。このガイド線は、図７に示すように、車幅延長線３８ａ、進路予測線３８ｂ、距離目安線３８ｃから構成されており、ユーザは、リアカメラ２９が撮影した映像に表示されたガイド線（車幅延長線３８ａ、進路予測線３８ｂ、距離目安線３８ｃ）により車両の後退方向を確認することができる。この場合、進路予測線３８ｂは、サブＣＰＵ２４がＣＡＮドライバ２８を介して入力したステアリング角度センサからの操舵角情報に基づいて作成する。

次にメインＣＰＵ４は、図２に示すＨＭＩ制御モジュール３９を起動してカメラ映像にユーザ支援情報を描画する。つまり、映像処理用ＡＳＩＣ９から入力している映像データにカメラスイッチや注意文言を描画する処理を実行する。ユーザ支援情報は、図７に示すように、「進路線消去」釦３８ｄ、「縦列駐車ガイド」釦３８ｅ）、及び「車両周辺を直接確認してください」という注意文言３８ｆから構成されており、ユーザは、リアカメラ２９が撮影した映像に表示されたユーザ支援情報により後退操作時の支援を受けることができる。

そして、ユーザによる後退操作が解除されると、メインＣＰＵ４は、ナビゲーション装置１４からの地図画に切り替えるが、切り替え時のノイズ表示を防止するために黒画を表示してから地図画を表示する。
以上の動作により、Ａｃｃのオン後にユーザによる後退操作が行なわれた場合は、図５に示すように、第１表示部１８には、オープニング画→カメラ映像→カメラ映像／ガイド線→カメラ映像／ガイド線／注意文言→黒画→地図画が順に表示される。

このような実施形態によれば、次のような効果を奏することができる。
メインＣＰＵ４は、ＯＳの起動が完了すると、ＯＳによりカメラ映像を第１表示部１８にそのまま表示するカメラ映像制御モジュール３１を起動するので、従来のカメラスルーと同様に、ユーザによる後退操作時に車両後方の映像を迅速に表示できる。また、カメラ映像に対してガイド線を描画するカメラ制御モジュール３７及びガイド線描画モジュール３８をカメラ映像制御モジュール３１の次に起動するので、カメラ映像に対して迅速にガイド線を描画することができる。この場合、メインＣＰＵ４がリアカメラ映像にガイド線を直接描画するので、黒画を表示する必要を生じない。

ＨＭＩ制御モジュール３９をカメラ制御モジュール３７及びガイド線描画モジュール３８の次に起動するので、カメラ画像の表示性能が悪化することを防止できる。
Ｉ／Ｏ制御モジュール３０をカメラ映像制御モジュール３１よりも早く起動するようにしたので、リアカメラ２９がオンするまで待つ映像同期待ちが不要となり、カメラ映像を表示するまでの時間を短縮することができる。

（その他の実施形態）
本発明は、上記実施形態に限定されることなく、次のように変形または拡張できる。
デジタル基板２と電源基板３とを一体化しても良い。この場合、サブＣＰＵ２４を省略し、メインＣＰＵ４によりサブＣＰＵ２４の動作を実行するようにしても良い。

車両の側方を撮影するサイドカメラを搭載し、ユーザによる後退操作時にサイドカメラからの映像を迅速に表示するようにしても良い。
車両の前後左右のコーナー部にカメラを搭載し、ユーザによる後退操作時にそれらの映像に基づいて例えば車両の上方からの俯瞰映像を生成し、その俯瞰映像を迅速に表示するようにしても良い。

ビデオデコーダ２６を省略し、映像処理用ＡＳＩＣ９がリアカメラ２９からの映像信号を入力して信号の規格を変換するようにしても良い。
メインＣＰＵ４が処理した映像データを第１表示部１８に直接出力するようにしても良い。

図面中、１は映像処理装置、４はメインＣＰＵ（制御回路）、９は映像処理用ＡＳＩＣ（信号変換理回路）、１８は第１表示部（表示手段）、２６はビデオデコーダ（信号変換回路）、２９はリアカメラ（撮影手段）、３０はＩ／Ｏ制御モジュール（第４モジュール）、３１はカメラ映像制御モジュール（第１モジュール）、３７はカメラ制御モジュール（第２モジュール）、３８はガイド線描画モジュール（第２モジュール）、３９はＨＭＩ制御モジュール（第３モジュール）である。

Claims (4)

1. 車両周辺を撮影する撮影手段（２９）から映像信号を入力するように設けられ、入力した映像信号を外部指令に応じて所定規格の映像データに変換する信号変換回路（９、２６）と、
   前記信号変換回路からの映像データを入力するように設けられ、複数のモジュールを順に起動することにより前記撮影手段の映像を表示手段（１８）に表示すると共に、その映像に対してデータ加工を施す制御回路（４）と、を備え、
   前記制御回路は、ユーザによる後退操作が行なわれた場合は、前記信号変換回路から入力した映像データを前記表示手段にそのまま表示する第１モジュール（３１）を起動してから、前記映像データに対して所定のデータ加工を施す第２モジュール（３７，３８）を起動することを特徴とする車両用映像処理装置。
2. 前記撮影手段は、車両後方を撮影する後方撮影手段であり、
   前記制御回路は、前記所定のデータ加工として、前記後方撮影手段の映像にガイド線を描画することを特徴とする請求項１に記載の車両用映像処理装置。
3. 前記制御回路は、前記後方撮影手段の映像にユーザ支援情報を描画する第３モジュール（３９）を前記第２モジュールの次に起動することを特徴とする請求項２に記載の車両用映像処理装置。
4. 前記制御回路は、前記撮影手段の電源を常時オンする第４モジュール（３０）を前記第１モジュールよりも早く起動することを特徴とする請求項１から３の何れかに記載の車両用映像処理装置。
   

Images