JP6056612B2 - 画像表示制御装置および画像表示システム - Google Patents

Description

本発明の実施形態は、画像表示制御装置および画像表示システムに関する。

従来、車内からの視線でピラーが透けた画像を作成して表示する車両の画像処理装置が知られている。

特開２００３−１９６６４５号公報

この種の装置では、一例としては、車体が透けた画像の表示態様を適宜に変更することができれば好ましい。

本発明の実施形態にかかる画像表示制御装置は、一例として、車内画像のうち窓に対応した第一領域と当該第一領域を除いた第二領域とを区別する領域特定部と、上記第二領域の上記車内画像と、上記第二領域に対応した車外画像と、が設定された比率で重ね合わせられた合成画像と、上記第一領域の車外画像と、を含む画像を、少なくとも表示装置で表示される表示範囲について作成する画像作成部と、上記表示範囲を変更可能な表示範囲決定部と、上記画像作成部において作成された画像が上記表示範囲決定部で決定された上記表示範囲で表示されるよう、上記表示装置を制御する表示制御部と、車内画像中の窓枠内に画像として特定された物体が車内にあるか車外にあるかを判断する物体位置判断部と、を備え、上記領域特定部は、上記物体位置判断部で車内にあると判断された上記物体の上記窓枠内の画像は上記第二領域に含め、上記物体位置判断部で車外にあると判断された上記物体の画像は上記第一領域に含める。よって、本実施形態によれば、一例としては、画像の表示態様を変更することができる。また、画像をより精度良く表示することができる。

本発明の実施形態にかかる画像表示制御装置は、一例として、車内画像のうち窓に対応した第一領域と当該第一領域を除いた第二領域とを区別する領域特定部と、上記第二領域の上記車内画像と、上記第二領域に対応した車外画像と、が設定された比率で重ね合わせられた合成画像と、上記第一領域の車外画像と、を含む画像を、少なくとも表示装置で表示される表示範囲について作成する画像作成部と、上記表示範囲を変更可能な表示範囲決定部と、上記画像作成部において作成された画像が上記表示範囲決定部で決定された上記表示範囲で表示されるよう、上記表示装置を制御する表示制御部と、上記比率を変更する比率変更部と、を備え、上記比率変更部は、車外の物体を検出する物体検出部で検出された上記物体の位置に応じて上記比率を変更する。よって、本実施形態によれば、一例としては、画像の表示態様を変更することができる。また、物体の位置に対応した画像の表示態様が得られやすい。

また、上記画像表示制御装置では、一例として、上記比率変更部は、車両の運転操作によって得られた信号に基づいて上記比率を変更する。よって、一例としては、操作者の運転操作に応じて、画像の表示態様を変更することができる。

また、上記画像表示制御装置では、一例として、上記比率変更部は、操舵角を検出する操舵角検出部で検出された操舵角に応じて上記比率を変更する。よって、一例としては、操舵角に対応した画像の表示態様が得られやすい。

また、上記画像表示制御装置では、一例として、上記比率変更部は、車両の位置を検出する車両位置取得部で取得された上記車両の位置に応じて上記比率を変更する。よって、一例としては、車両の位置に対応した画像の表示態様が得られやすい。

また、上記画像表示制御装置では、一例として、上記表示範囲決定部は、車両の運転操作によって得られた信号に基づいて上記表示範囲を変更する。よって、一例としては、操作者の運転操作に応じて、画像の表示態様を変更することができる。

また、上記画像表示制御装置では、一例として、上記表示範囲決定部は、操舵角を検出する操舵角検出部で検出された操舵角に応じて上記表示範囲を変更する。よって、一例としては、操舵角に対応した画像の表示態様が得られやすい。

また、上記画像表示制御装置では、一例として、上記表示範囲決定部は、車両の位置を検出する車両位置取得部で取得された上記車両の位置に応じて上記表示範囲を変更する。よって、一例としては、車両の位置に対応した画像の表示態様が得られやすい。

また、上記画像表示制御装置は、一例として、上記表示範囲決定部は、車外の物体を検出する物体検出部で検出された上記物体の位置に応じて上記表示範囲を変更する。よって、一例としては、物体の位置に対応した画像の表示態様が得られやすい。

また、本発明の実施形態にかかる画像表示システムは、一例として、上記画像表示制御装置と、上記画像表示制御装置によって制御される表示装置と、車内画像を撮影する第一の撮像部と、車外画像を撮影する第二の撮像部と、を備える。よって、一例としては、画像の表示態様を変更することができる。

図１は、実施形態にかかる画像表示システムの一例の概略構成図である。 図２は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像、透過度＝０）の一例である。 図３は、実施形態にかかる画像表示システムの撮像部による撮像範囲の一例の平面図である。 図４は、実施形態にかかる画像表示システムの撮像部による撮像範囲の一例の側面図である。 図５は、実施形態にかかる画像表示システムの撮像部による撮像範囲の別の一例の平面図である。 図６は、実施形態にかかる画像表示システムの撮像部による撮像範囲の別の一例の側面図である。 図７は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、透過度が０の状態での図である。 図８は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、透過度が０より大きく１より小さい状態での図である。 図９は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、透過度が１の状態での図である。 図１０は、実施形態にかかる画像表示システムで得られる車外画像の全域と表示範囲との一例が示された説明図である。 図１１は、実施形態にかかる画像表示システムに含まれるＥＣＵの機能ブロック図の一例である。 図１２は、実施形態にかかる画像表示システムの処理手順の一例が示されたフローチャートである。 図１３は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更される前の状態での図である。 図１４は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更されている状態での図である。 図１５は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更されている状態で車外に物体が検出された場合の図である。 図１６は、駐車時における車両の位置と当該位置での実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、駐車が開始される前の状態での図である。 図１７は、駐車時における車両の位置と当該位置での実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、車両が駐車目標位置に到達する前の状態での図である。 図１８は、駐車時における車両の位置と当該位置での実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、図１７よりも車両が駐車目標位置に近付いた状態での図である。 図１９は、変形例にかかる画像表示システムが適用された車両の側面図である。 図２０は、変形例にかかる画像表示システムが適用された車両の車内の構成の一例が示された模式図である。

＜実施形態＞
以下の実施形態ならびに変形例には、同様の構成要素が含まれている。よって、以下では、それら同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。

本実施形態では、一例として、車両１に装備される画像表示システム１００は、図１に示されるように、表示装置１０に表示される画像を制御するＥＣＵ１１（electronic control unit、制御部、画像表示制御装置）を備えている。表示装置１０は、例えば、車内（車室内）の前部上方に設けられた後方視認用のルームミラー（バックミラー）に替えて設けられる表示パネルであることができる。この場合、表示装置１０には、車内および車外（車室外）に設けられた撮像部１２で撮像された画像とは左右逆の画像が表示される。また、この場合、表示装置１０の表示画面（図示されず）の表面側（車両前後方向の後方側）には、ハーフミラーが設けられうる。ただし、これには限定されず、表示装置１０は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内の前部のダッシュボード（コックピットモジュール、インストルメントパネル、フェイシア、図示されず）やセンターコンソール等に設けられた表示パネルであってもよい。表示装置１０は、一例としては、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electro-luminescent display）、プロジェクタ装置等として構成されうる。

また、本実施形態では、一例として、表示装置１０には、車内の比較的前方の位置から後方を見た場合の画像が表示される。本実施形態にかかる画像表示システム１００で表示装置１０に表示される画像（出力画像Ｉｍ）には、一例としては、図２に示されるように、車内画像Ｉｍｉ（ピラーや、ドア、シート、トリム、ルーフ等の他、乗員、荷物、物品等を含む車内の画像）と、窓１ｃ（窓枠Ｉａ内）に対応した部分の車外の情景を示す車外画像Ｉｍｏとが含まれる。車外画像Ｉｍｏとが含まれる。図３，５に示されるように、車内画像Ｉｍｉは、車内に設けられた撮像部１２Ｉ（１２）によって取得される。撮像部１２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。また、本実施形態では、一例として、表示装置１０で車内の比較的広い範囲での各位置について車内画像Ｉｍｉを表示することができるよう、車内の撮像部１２Ｉ（１２）によって、車内の比較的広い範囲が撮像される。車内の撮像部１２Ｉ（１２）は、一つでもよいし、複数でもよい。車内の撮像部１２Ｉ（１２）は、一例としては、車内の前部に設けられ、表示装置１０の近傍に、あるいは表示装置１０と一体的に、設けられうる。なお、車内に複数の撮像部１２が設けられる場合、ＥＣＵ１１（制御部）が、それら複数の撮像部１２で取得された画像を合成する。

車外画像Ｉｍｏは、車外の複数の撮像部１２によって取得される。ＥＣＵ１１は、それら複数の撮像部１２で取得された画像を公知の技術で合成して一連の車外画像Ｉｍｏ（パノラマ画像、図１０参照）を得る。本実施形態では、一例として、表示装置１０で比較的広い範囲での各位置について車外画像Ｉｍｏを表示することができるよう、車外の複数の撮像部１２によって、車両１の後方の比較的広い範囲が撮像される。図３，４の例では、車外の撮像部１２は、車両１（車体）の両側部（一例としては、左右のドアミラー）のそれぞれに設けられるとともに、車両１の後端部１ｂに設けられる。また、図５，６の例では、車外の撮像部１２は、車両１の後端部１ｂの両側部（一例としては、車両１の後方側の角部の比較的上方）のそれぞれに設けられるとともに、車両１の後端部１ｂに設けられる。また、撮像部１２のそれぞれの撮像範囲を上下に異ならせることができる。

また、本実施形態では、一例として、ＥＣＵ１１は、車内画像Ｉｍｉと車外画像Ｉｍｏとを重ね合わせて（合成して）、車内の構成（ピラーや、ドア、シート、トリム、ルーフ、乗員、荷物、物品等）を透過して車外の情景が見える合成画像Ｉｍｓ（図８参照）を作成する。また、図７〜９に示されるように、ＥＣＵ１１は、透過度α（比率）が異なる合成画像Ｉｍｓを作成することができる。図７には（α＝０）の合成画像Ｉｍｓ（＝車内画像Ｉｍｉ）が示され、図８には（０＜α＜１）の合成画像Ｉｍｓが示され、図９には（α＝１）の合成画像Ｉｍｓ（＝車外画像Ｉｍｏ）が示されている。比較的簡単な例では、車内画像Ｉｍｉと車外画像Ｉｍｏとが互いに位置合わせされた状態での各点について、車内画像Ｉｍｉの輝度がｘ１、車外画像Ｉｍｏの輝度がｘ２、透過度がα（０≦α≦１）である場合に、当該各点での重ね合わせた合成画像Ｉｍｓの輝度ｘは、ｘ＝（１−α）×ｘ１＋α×ｘ２であることができる。なお、図７〜９からも明らかとなるように、かかる画像の合成は、窓１ｃを除く領域（車内の構造物や物体等が存在する領域）について実行され、窓１ｃに対応する領域（車内の構造物や物体等が存在せず、窓１ｃを介して車外の情景が見える領域）については実行されない（車外画像Ｉｍｏのみが出力画像Ｉｍとなる）。車外画像Ｉｍｏは、窓１ｃの内側も外側も一連の形状を有するが、窓１ｃの内側と外側とで車外画像Ｉｍｏの輝度は異なる場合がある。なお、透過度αは、任意の値に設定することができる。

さらに、本実施形態では、一例として、ＥＣＵ１１は、車内画像Ｉｍｉおよび車外画像Ｉｍｏにおける表示範囲Ａｄを変更することができる。一例としては、図１０に示されるように、ＥＣＵ１１は、撮像部１２から取得された比較的広い範囲の車外画像Ｉｍｏから、その表示範囲Ａｄを決定（移動）することができる。なお、車内画像Ｉｍｉについても同様に表示範囲を変更することができる。

また、本実施形態では、一例として、ＥＣＵ１１は、車両１の状況に応じて、透過度αや表示範囲Ａｄを変更することができる。ＥＣＵ１１は、透過度αや表示範囲Ａｄを変更するトリガ（信号、データ）として、各種のセンサの検出結果を用いることができる。具体的には、例えば、ＥＣＵ１１は、図１に示される非接触計測装置１３や、舵角センサ１４（前輪用）、後輪操舵システム１５の舵角センサ１５ａ、ＧＰＳ１６（global positioning system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ（モニタ装置２４）等の指示信号（制御信号、切替信号、操作信号、入力信号、データ）、物体検出部１１２（図１１参照）の検出結果、車両位置取得部１１５（図１１参照）によって取得された車両１の位置等、に応じて、透過度αや表示範囲Ａｄを変更することができる。図１に示されるように、画像表示システム１００に含まれる電気部品（すなわち、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、操作入力部２４ｂ等）は、一例としては、車内ネットワーク２３（例えばＣＡＮ（controller area network））を介して電気的に接続されうる。なお、各電気部品は、ＣＡＮ以外を介して電気的に接続されてもよい。

非接触計測装置１３（測距部、物体検出装置）は、例えば、超音波や電波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）やレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された物体Ｂ（障害物、図１５参照）の有無や距離を測定することができる。すなわち、非接触計測装置１３は、物体検出部の一例である。

舵角センサ１４は、操舵部（一例としてステアリングホイール、図示されず）の操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪２Ｒ（図４参照）の操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。

車輪速センサ１７は、車輪２（図４参照、前輪２Ｆまたは後輪２Ｒ）の回転量や単位時間当たりの回転数を検出するセンサであり、一例としては、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ（図示されず）を介して、車輪２（車両１）に制動力を与える。ブレーキセンサ１８ａは、ブレーキペダルの操作量を検出するセンサである。

アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、一例としては、変速操作部の可動部（レバーや、アーム、ボタン等、図示されず）の位置を検出するセンサ（スイッチ）であり、変位センサなどを用いて構成される。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定（変更）することができる。方向指示器２２は、方向指示用のライトの点灯（点滅）を指示する信号を出力する。

また、車内には、表示装置１０とは別の表示装置２４ａや、音声出力装置２４ｃが設けられている。表示装置２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示装置２４ａは、透明な操作入力部２４ｂ（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部２４ｂを介して表示装置２４ａの表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置２４ａの表示画面に表示される映像（画像）に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。そして、これら表示装置２４ａや、操作入力部２４ｂ、音声出力装置２４ｃ等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置２４に設けられている。モニタ装置２４は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、モニタ装置２４の表示装置２４ａに、表示装置１０と同様の画像を表示させることができる。

ＥＣＵ１１は、一例として、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、ＳＳＤ１１ｄ（solid state drive、フラッシュメモリ）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部１２で得られた画像データを用いた画像処理や、表示装置１０，２４ａで表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行する。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。

また、本実施形態では、一例として、表示装置１０には、ＥＣＵ１１の画像処理によって、ルームミラーの写像に対応した（似た、適合した、マッチした、位置合わせされた）出力画像Ｉｍを表示することができる。この場合、車外画像Ｉｍｏや車内画像Ｉｍｉ（複数が合成された画像も含む）からルームミラーの写像に対応した出力画像Ｉｍへの座標変換を行う関数（変換式や、変換行列等）や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり（撮像によるキャリブレーションを行ったり）、幾何学的な演算を行ったりすることによって、得ることができる。

また、本実施形態では、一例として、ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像表示制御装置の少なくとも一部として機能（動作）する。すなわち、本実施形態では、一例として、図１１に示されるように、ＥＣＵ１１は、表示制御部１１ｅ（図１参照）ならびに音声制御部１１ｆ（図１参照）の他、車外画像作成部１１０や、領域特定部１１１、物体検出部１１２、物体位置判断部１１３、画像作成部１１４、車両位置取得部１１５、比率変更部１１６、表示範囲決定部１１７、追加画像作成部１１８等として機能（動作）する。なお、プログラムには、一例としては、図１１に示される各ブロックに対応したモジュールが含まれうる。また、画像処理は、表示制御部１１ｅの他、ＣＰＵ１１ａでも実行されうる。

車外画像作成部１１０は、一例としては、車外の撮像部１２で撮像された複数（本実施形態では、一例として三つ）の画像を、それらの境界部分を重なり合わせることで繋ぎ、一連の車外画像Ｉｍｏ（パノラマ画像）を作成する。この際、車外画像作成部１１０は、車外画像Ｉｍｏを座標変換等することで、車内画像Ｉｍｉと視覚的に位置合わせされた、すなわち、車内の撮像部１２からの視線に近づけられた車外画像Ｉｍｏを作成する。なお、位置合わせに関しては、撮像部１２から得られた車外画像Ｉｍｏの座標は、予め取得された実験結果等を元に、車内画像Ｉｍｉと対応する座標に変換される。また、車外画像Ｉｍｏにおける物体Ｂの画像Ｉｍｂの大きさ等については、非接触計測装置１３による物体Ｂまでの距離の測定結果を用いて補正することができる。

領域特定部１１１は、一例としては、車内画像Ｉｍｉを画像処理することにより、車内画像Ｉｍｉのうち窓１ｃ（窓枠内）に対応した第一領域Ａ１と、車内画像Ｉｍｉのうち当該第一領域Ａ１以外の（窓枠外に対応した）第二領域Ａ２とを区別（区分、特定）する。具体的に、領域特定部１１１は、例えば、画素の輝度値（明るさ）や、色、動きの有無の差違等に基づいて画像処理を行うことで、第一領域Ａ１と第二領域Ａ２とを区別することができる。また、予め取得した窓枠１ａ（第一領域Ａ１と第二領域Ａ２との境界）の位置、あるいは前回の演算タイミングで判明した窓枠１ａの位置を、ＳＳＤ１１ｄ等の記憶部に記憶しておくことにより、当該位置の近傍で、より効率良く第一領域Ａ１と第二領域Ａ２との境界を検出すること、すなわち、第一領域Ａ１と第二領域Ａ２とを区別することができる。なお、窓に、乗員や、荷物等の物体が重なっていた場合、当該物体を除く領域が第一領域Ａ１となる。

物体検出部１１２は、一例としては、車外画像Ｉｍｏ（例えば、車外画像作成部１１０で作成された車外画像Ｉｍｏ）を画像処理することにより、車外の物体Ｂ（車両や、人等）を検出する。物体Ｂの検出に際しては、パターンマッチング等が用いられうる。また、物体検出部１１２は、非接触計測装置１３から得られたデータから、車外の物体Ｂを検出することができるし、車外画像Ｉｍｏを画像処理した結果と非接触計測装置１３から得られたデータとから、車外の物体Ｂを検出することができる。また、物体検出部１１２は、車外画像Ｉｍｏを画像処理した結果あるいは非接触計測装置１３から得られたデータから、車両１から物体Ｂまでの距離を取得することもできる。

物体位置判断部１１３は、一例としては、車内画像Ｉｍｉを画像処理することにより、車内画像Ｉｍｉ中に含まれる人や荷物等の物体を検出するとともに、当該検出された物体が、車内に位置しているのか、あるいは車外に位置しているのかを判断（決定）する。例えば、窓枠１ａの位置が記憶部に記憶されている場合は、検出された物体の画像が、窓枠１ａ内のみに存在する場合には、物体位置判断部１１３は、検出された物体は車外であると判断することができる。一方、物体位置判断部１１３は、検出された物体の画像が窓枠１ａを跨いで存在している場合には、検出された物体は車内に位置されると判断することができる。そして、物体位置判断部１１３で、検出された物体が車外であると判断された場合には、領域特定部１１１は、当該車外の物体の画像が存在する領域を第一領域Ａ１とし、検出された物体が車内であると判断された場合には、領域特定部１１１は、当該車内の物体の画像が存在する領域を第二領域Ａ２とする。

画像作成部１１４は、一例としては、第二領域Ａ２の車内画像Ｉｍｉと、当該車内画像Ｉｍｉと位置合わせされ第二領域Ａ２に対応した車外画像Ｉｍｏと、が設定された透過度α（比率）で重ね合わせられた合成画像Ｉｍｓ（枠外画像）と、第一領域Ａ１の車外画像Ｉｍｏ（枠内画像）と、を含む出力画像Ｉｍを、少なくとも表示装置１０で表示される表示範囲Ａｄについて作成する。

車両位置取得部１１５は、一例としては、ＧＰＳ１６からのデータや、非接触計測装置１３の検出結果、車輪速センサ１７によって検出された車輪速、舵角センサ１４，１５ａによって検出された舵角、撮像部１２が取得した車外画像Ｉｍｏの画像処理結果等から、車両１の位置を取得することができる。

比率変更部１１６は、一例としては、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１２の検出結果、車両位置取得部１１５によって取得された車両１の位置等に応じて、透過度αを変更することができる。

表示範囲決定部１１７は、一例としては、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１２の検出結果、車両位置取得部１１５によって取得された車両１の位置等に応じて、表示範囲Ａｄを変更することができる。

追加画像作成部１１８は、一例としては、出力画像Ｉｍに、追加画像Ｉｍａ（例えば、物体検出部１１２によって検出された物体の強調表示（例えば、枠等）や、車線や駐車枠等の線の表示（例えば、線等）など、人工的な画像）を追加することができる。

本実施形態にかかる画像表示システム１００は、一例としては、図１２に示されるような手順で処理を実行することができる。まず、ＥＣＵ１１は、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１２の検出結果等を取得して、それぞれの参照値と比較して、透過度αを変更する条件を満たすか否かを判断する（ステップＳ１）。透過度αを変更する条件が満たされる場合、ＥＣＵ１１は、比率変更部１１６として機能し、当該条件に応じた透過度αに変更する（ステップＳ２）。なお、ステップＳ２の例については、後述する。次に、ＥＣＵ１１は、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１２の検出結果、車両位置取得部１１５によって取得された車両１の位置等を取得して、それぞれの参照値と比較して、表示範囲Ａｄを変更する条件を満たすか否かを判断する（ステップＳ３）。表示範囲Ａｄを変更する条件が満たされる場合、ＥＣＵ１１は、表示範囲決定部１１７として機能し、表示範囲Ａｄを当該条件に応じた位置や広さに変更する（ステップＳ４）。そして、ＥＣＵ１１は、車外画像作成部１１０や、領域特定部１１１、物体検出部１１２、物体位置判断部１１３等として機能するとともに、画像作成部１１４として機能し、設定（変更）された透過率αならびに表示範囲Ａｄに対応する出力画像Ｉｍを作成する（ステップＳ５）。なお、ステップＳ５では、追加画像を含む出力画像Ｉｍを作成することができる。そして、表示制御部１１ｅは、作成された出力画像Ｉｍが表示されるよう、表示装置１０を制御する（ステップＳ６）。

図１３，１４には、一例として、車両１が左側のレーンに車線変更を行う場合の出力画像Ｉｍ（表示装置１０で表示される画像）が示されている。図１３では、車両１は直進状態にあるが、この状態では、出力画像Ｉｍは、表示範囲Ａｄが狭く、後方にほぼ真っ直ぐ向いており、透過度αは０（ゼロ）である。比率変更部１１６および表示範囲決定部１１７は、車両１の車線変更動作時に各部で得られる検出結果や、信号、データを取得し、それらが予め設定された条件を満たす場合に、透過度αならびに表示範囲Ａｄを変更する。図１４では、例えば、方向指示器２２の左側方向への移動を指示する信号（運転者による運転操作に伴って得られた信号）や、車両１の車線変更に対応した各部（例えば、舵角センサ１４，１５ａ、車輪速センサ１７、トルクセンサ２０ａ等）の値（例えば、各車輪２の操舵角や、車両１の位置、車両１の速度等）が得られた場合に、表示範囲決定部１１７は、出力画像Ｉｍの表示範囲Ａｄを横に（左右方向）に拡大するとともに、表示範囲Ａｄを移動するレーンの方向（左側）にスライドして（動かして）いる。よって、本実施形態によれば、一例としては、運転者は、車両１の周囲や進行する方向の車外の状況をより把握しやすい。さらに、図１４では、比率変更部１１６は、第二領域Ａ２での透過度αを高めて例えば０．６程度とする。よって、本実施形態によれば、一例としては、運転者は、車両１のピラーや、ルーフ、シート、トリム等の構造物が透けるため、車両１の周囲や進行する方向の車外の状況をより一層把握しやすい。また、図１５に示されるように、物体検出部１１２で車両１の左側後方の所定距離以内に接近する物体Ｂ（車両）が検出された場合には、表示範囲決定部１１７は、一例としては、当該物体Ｂの画像Ｉｍｂが含まれるように表示範囲Ａｄを決定することができる。また、図１５の場合、比率変更部１１６は、一例としては、物体Ｂが検出されなかった場合より透過度αを高く設定することができる。これにより、運転者は、物体Ｂを視認しやすいとともに、物体Ｂの車両１からの距離や相対位置を把握しやすい。さらに、図１５では、一例として、追加画像作成部１１８は、検出された物体Ｂの画像Ｉｍｂに、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１を追加するとともに、路面の車線Ｌの画像Ｉｍｌに、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２を追加する。よって、本実施形態によれば、一例としては、運転者は、車両１の周囲や、進行する方向の車外の状況、物体Ｂ等を、より一層視認しやすい。なお、上述した制御は、逆方向（右方向）へ車線変更する場合にも同様に実施可能である。

図１６〜１８には、一例として、車両１が左側に旋回しながら駐車目標位置Ｐまで後進する駐車（所謂車庫入れ）を行う場合の出力画像Ｉｍ（表示装置１０で表示される画像）が示されている。図１６では、車両１は直進状態にあるが、この状態では、出力画像Ｉｍは、表示範囲Ａｄが狭く、後方にほぼ真っ直ぐ向いており、透過度αは０（ゼロ）である。比率変更部１１６および表示範囲決定部１１７は、車両１の駐車動作時に各部で得られる検出結果や、信号、データを取得し、それらが予め設定された条件を満たす場合に、透過度αならびに表示範囲Ａｄを変更する。図１７では、例えば、シフトセンサ２１からのリバース（バック）モードが選択された信号（運転者による運転操作に伴って得られた信号）や、車両１の旋回しながらの所定速度以下での後進に対応した各部（例えば、舵角センサ１４，１５ａ、車輪速センサ１７、トルクセンサ２０ａ等）の値（例えば、各車輪２の操舵角や、車両１の位置、車両１の速度等）が得られた場合に、表示範囲決定部１１７は、出力画像Ｉｍの表示範囲Ａｄを横（左右方向）に拡大するとともに、表示範囲Ａｄを旋回する方向（左側）にスライドして（動かして）いる。よって、本実施形態によれば、一例としては、運転者は、車両１の周囲や進行する方向の車外の状況をより把握しやすい。さらに、図１７では、比率変更部１１６は、第二領域Ａ２での透過度αを高めて例えば０．６程度とする。よって、本実施形態によれば、一例としては、運転者は、車両１のピラーや、ルーフ、シート、トリム等の構造物が透けるため、車両１の周囲や進行する方向の車外の状況をより一層把握しやすい。また、図１７では、一例として、追加画像作成部１１８は、検出された物体Ｂの画像Ｉｍｂに、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１を追加し、路面の枠線Ｌの画像Ｉｍｌに、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２を追加し、駐車目標位置Ｐを示す画像Ｉｍｆ３を追加し、さらに、駐車目標位置Ｐや舵角等から予想される移動経路を示す線状の画像Ｉｍｆ４を追加している。よって、本実施形態によれば、一例としては、運転者は、車両１の周囲や、進行する方向の車外の状況、駐車目標位置Ｐ、今後の移動経路等を、より把握しやすい。さらに、図１８では、車両１は駐車目標位置Ｐに接近した状態にあるが、この状態では、比率変更部１１６は、一例として、第二領域Ａ２での透過度αをさらに高めて例えば１とする。よって、本実施形態によれば、一例としては、運転者は、車両１のピラーや、ルーフ、シート、トリム等の構造物が完全に透けて、周囲の物体Ｂ（障害物、車両、人など）の画像Ｉｍｂをより一層視認しやすくなるとともに、車両１と当該車両１の周囲の障害物（物体Ｂ）や駐車目標位置Ｐとの距離や相対位置を把握しやすい。また、本実施形態では、一例として、車外画像Ｉｍｏに車両１の車体の一部（図１８の例ではバンパ）が含まれるように撮像しているため、透過度αが１となった場合にあっても、運転者は、車両１と当該車両１の周囲の障害物（物体Ｂ）や駐車目標位置Ｐとの距離や相対的な位置関係をより一層把握しやすい。なお、上述した制御は、逆方向（右方向）に旋回しながら駐車する場合にも同様に実施可能である。

また、本実施形態では、一例として、物体位置判断部１１３が、車内画像Ｉｍｉ中に車両１（車体）の構造物とは別の物体Ｂ（人、荷物、物品等）の画像Ｉｍｂが含まれていると判断した場合には、画像作成部１１４は、出力画像Ｉｍから当該物体Ｂの画像Ｉｍｂを削除することができる。この場合、物体Ｂの画像Ｉｍｂを削除するか否か、複数の物体Ｂのうちどの物体Ｂの画像Ｉｍｂを削除するか等は、任意に設定することができる。また、画像作成部１１４は、車内画像Ｉｍｉのうち物体Ｂの画像Ｉｍｂを削除した領域を、車内に物体Ｂが存在しない状態での車内画像Ｉｍｂ（イニシャル画像）で埋めることができる。当該車内に物体Ｂが存在しない状態での車内画像Ｉｍｂは、ＳＳＤ１１ｄ等の記憶部に、予め、記憶されている。このように車内の物体Ｂの画像Ｉｍｂが削除された場合には、一例としては、車内の物体Ｂの画像Ｉｍｂを含む出力画像Ｉｍに比べて、窓枠１ａ内の領域、すなわち、車外画像Ｉｍｏが表示される領域が広がり、視認性がより高まりやすい場合がある。なお、物体位置判断部１１３は、車内に設けられた物体Ｂそのものを検出するセンサ（一例としては、赤外線センサ等、図示されず）の検出結果を利用することで、物体Ｂの判断の精度をより高めることができる。

以上、説明したように、本実施形態では、一例として、画像表示システム１００（画像表示装置）では、画像作成部１１４は、第一領域Ａ１の車外画像Ｉｍｏと、第二領域Ａ２の合成画像Ｉｍｓと、を含む出力画像Ｉｍ（画像）を、少なくとも表示装置１０で表示される表示範囲Ａｄについて作成する。第二領域Ａ２の合成画像Ｉｍｓは、車内画像Ｉｍｉと、当該車内画像Ｉｍｉと位置合わせされ第二領域Ａ２に対応した車外画像Ｉｍｏと、が設定された透過度α（比率）で重ね合わせられた画像である。そして、表示範囲決定部１１７は、表示範囲Ａｄを変更可能である。また、比率変更部１１６は、透過度α（比率）を変更可能である。すなわち、本実施形態によれば、一例としては、第二領域Ａ２で車内画像Ｉｍｉと車外画像Ｉｍｏとが設定された透過度αで重ね合わせられた画像を含む出力画像Ｉｍの表示態様として、表示範囲Ａｄおよび透過度αのうち少なくともいずれか一方を、変更することができる。なお、表示範囲Ａｄの変更の仕方（移動量、移動方向、拡大、縮小量等）や、透過度αの変更の仕方（変更量、値等）は、種々に設定することができる。

また、本実施形態では、一例として、車両１の運転操作によって得られた信号に基づいて、表示範囲決定部１１７は、表示範囲Ａｄを変更することができ、比率変更部１１６は透過度αを変更することができる。よって、一例としては、表示態様（出力画像Ｉｍの表示範囲Ａｄや透過度α）を、運転操作に応じて変更することができる。よって、一例としては、運転者は、運転操作をより容易にあるいはより確実に行いやすい。なお、運転者の運転操作に伴って得られる信号は、上述した方向指示器２２ならびにシフトレバー以外の、例えば、ステアリングホイールや、シフトスイッチ、ブレーキペダル、クラッチペダル、アクセルペダル等の運転操作を行う操作部に対する操作に伴って得られる信号であってもよい。また、操作部の操作に対する表示態様の変更（変化）は、種々に設定することができる。一例としては、ブレーキペダルの操作に応じて、透過度αを高めたり、表示範囲Ａｄを拡大したりすることができる。

また、本実施形態では、一例として、舵角センサ１４，１５ａ（操舵角検出部）で検出された操舵角に応じて、表示範囲決定部１１７は表示範囲Ａｄを変更することができ、比率変更部１１６は透過度αを変更することができる。よって、一例としては、操舵角に対応した出力画像Ｉｍの表示態様（表示範囲Ａｄや透過度α）が得られやすい。よって、一例としては、運転者は、運転操作をより容易にあるいはより確実に行いやすい。

また、本実施形態では、一例として、車両位置取得部１１５で取得された車両１の位置に応じて、表示範囲決定部１１７は表示範囲Ａｄを変更することができ、比率変更部１１６は透過度αを変更することができる。よって、一例としては、車両１の位置に対応した出力画像Ｉｍの表示態様（表示範囲Ａｄや透過度α）が得られやすい。よって、一例としては、運転者は、運転操作をより容易にあるいはより確実に行いやすい。

また、本実施形態では、一例として、物体検出部１１２で検出された物体Ｂの位置に応じて、表示範囲決定部１１７は表示範囲Ａｄを変更することができ、比率変更部１１６は透過度αを変更することができる。よって、一例としては、物体Ｂの位置に対応した出力画像Ｉｍの表示態様（表示範囲Ａｄや透過度α）が得られやすい。よって、一例としては、運転者は、運転操作をより容易にあるいはより確実に行いやすい。

また、本実施形態では、一例として、車内画像Ｉｍｉ中の窓枠１ａ内に画像として特定された物体Ｂ（に対応する画像Ｉｍｂ）が車内にあるか車外にあるかを判断する物体位置判断部１１３を備え、領域特定部１１１は、物体位置判断部１１３で車内にあると判断された物体Ｂの窓枠１ａ内の画像Ｉｍｂは第二領域Ａ２に含め、物体位置判断部１１３で車外にあると判断された物体Ｂの画像Ｉｍｂは第一領域Ａ１に含める。よって、本実施形態によれば、一例としては、出力画像Ｉｍ（画像）をより精度良く表示することができる。

また、物体位置判断部１１３は、上記実施形態とは異なる以下の各変形例で、窓枠１ａと重なった物体Ｂが、車内に位置しているのか、あるいは車外に位置しているのかを判断することができる。

＜第１変形例＞（ライト照射）
本変形例では、図１９に示されるように、車両１には、車外から窓１ｃに向けて光を照射する発光部２５（ライト）が設けられる。これにより、車内画像Ｉｍｉのうち窓１ｃの領域に対応した第一領域Ａ１（図２参照）が、車外の物体の有無に拘わらず白くなる（露出オーバーの状態）。よって、物体位置判断部１１３が車外の物体を車内の物体と誤認するのを抑制できる。なお、発光部２５は、一例としては、撮像部１２によって撮像されない位置（車体の陰となって画像中に映らない位置）に設けられる。また、発光部２５は、折り畳み可能に（車体に沿った位置と突出した位置とで移動可能に）構成されうる。

＜第２変形例＞（露出切り替え）
本変形例では、車内画像Ｉｍｉを撮像する撮像部１２Ｉ（１２）が、露出設定を切り替え可能に構成され、車内画像Ｉｍｉにおける窓１ｃの領域（窓枠１ａ内）が露出オーバーとなるように設定される。この場合も、車内画像Ｉｍｉのうち窓１ｃの領域に対応した第一領域Ａ１が、車外の物体の有無に拘わらず白くなる（露出オーバーの状態）。よって、物体位置判断部１１３が車外の物体を車内の物体と誤認するのを抑制できる。なお、物体位置判断部１１３は、この処理を、間隔（例えば、予め定めた一定のフレーム間隔）をあけて実施することができる。この場合、状況の変化に随時対応できるので、判断の精度が高まりやすい。なお、ＥＣＵ１１が画像処理で明るさとコントラストとを調整することによっても同様の結果（効果）が得られる場合がある。

＜第３変形例＞（マーカの使用）
本変形例では、図２０に示されるように、車内の、窓１ｃと車内構造との境界部分（窓枠１ａ、窓１ｃの縁）にマーカ２６が設けられる。物体位置判断部１１３は、マーカ２６を跨ぐ物体Ｂの画像Ｉｍｂは、車内に位置すると判断することができる。マーカ２６は、例えば、発光物や、蛍光物、鏡面部材等であることができる。マーカ２６は、車内画像Ｉｍｉ中で他（周囲）と区別しやすい形態（明るさ、色等）に構成することができる。また、マーカ２６は、例えば、窓１ｃのモールであることができる。

＜第４変形例＞（骨格検出）
本変形例では、物体位置判断部１１３は、物体Ｂの画像Ｉｍｂの検出に、人体の骨格パターンを用いる。物体位置判断部１１３は、車内画像Ｉｍｉについて骨格検出を行うことにより、車内画像Ｉｍｉから人の形状に対応した画像を特定しやすい。また、物体位置判断部１１３は、人体には動きがあることを利用して、経時的に動く物体Ｂの画像Ｉｍｂと車両１の構造物の画像とを区別することも可能である。

＜第５変形例＞（パターンマッチング）
本変形例では、物体位置判断部１１３は、車内画像Ｉｍｉについて人の顔とのパターンマッチングによって、人の顔の画像を特定することができる。さらに、物体位置判断部１１３は、一例として、車内画像Ｉｍｉにおける、当該特定した人の顔に繋がる人体（首より下）の画像の有無により、窓１ｃと重なった物体Ｂが車内に位置しているのか、あるいは車外に位置しているのかを判断することもできる。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。これら実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、実施形態や変形例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等）は、適宜に変更して実施することができる。

１…車両、１ｃ…窓、１０…表示装置、１１…ＥＣＵ（画像表示制御装置）、１１ｅ…表示制御部、１２…撮像部（第二の撮像部）、１２Ｉ（１２）…撮像部（第一の撮像部）、１４，１５ａ…舵角センサ（操舵角検出部）、１００…画像表示システム、１１１…領域特定部、１１２…物体検出部、１１３…物体位置判断部、１１４…画像作成部、１１５…車両位置取得部、１１６…比率変更部、１１７…表示範囲決定部、Ａ１…第一領域、Ａ２…第二領域、Ａｄ…表示範囲、Ｂ…物体、Ｉｍｉ…車内画像、Ｉｍｏ…車外画像、Ｉｍｓ…合成画像、Ｉｍ…出力画像（画像）。

Claims (10)

1. 車内画像のうち窓に対応した第一領域と当該第一領域を除いた第二領域とを区別する領域特定部と、
   前記第二領域の前記車内画像と、前記第二領域に対応した車外画像と、が設定された比率で重ね合わせられた合成画像と、前記第一領域の車外画像と、を含む画像を、少なくとも表示装置で表示される表示範囲について作成する画像作成部と、
   前記表示範囲を変更可能な表示範囲決定部と、
   前記画像作成部において作成された画像が前記表示範囲決定部で決定された前記表示範囲で表示されるよう、前記表示装置を制御する表示制御部と、
   車内画像中の窓枠内に画像として特定された物体が車内にあるか車外にあるかを判断する物体位置判断部と、
   を備え、
   前記領域特定部は、前記物体位置判断部で車内にあると判断された前記物体の前記窓枠内の画像は前記第二領域に含め、前記物体位置判断部で車外にあると判断された前記物体の画像は前記第一領域に含める、画像表示制御装置。
2. 車内画像のうち窓に対応した第一領域と当該第一領域を除いた第二領域とを区別する領域特定部と、
   前記第二領域の前記車内画像と、前記第二領域に対応した車外画像と、が設定された比率で重ね合わせられた合成画像と、前記第一領域の車外画像と、を含む画像を、少なくとも表示装置で表示される表示範囲について作成する画像作成部と、
   前記表示範囲を変更可能な表示範囲決定部と、
   前記画像作成部において作成された画像が前記表示範囲決定部で決定された前記表示範囲で表示されるよう、前記表示装置を制御する表示制御部と、
   前記比率を変更する比率変更部と、
   を備え、
   前記比率変更部は、車外の物体を検出する物体検出部で検出された前記物体の位置に応じて前記比率を変更する、画像表示制御装置。
3. 前記比率変更部は、車両の運転操作によって得られた信号に基づいて前記比率を変更する、請求項２に記載の画像表示制御装置。
4. 前記比率変更部は、操舵角を検出する操舵角検出部で検出された操舵角に応じて前記比率を変更する、請求項２または３に記載の画像表示制御装置。
5. 前記比率変更部は、車両の位置を取得する車両位置取得部で取得された前記車両の位置に応じて前記比率を変更する、請求項２〜４のうちいずれか一つに記載の画像表示制御装置。
6. 前記表示範囲決定部は、車両の運転操作によって得られた信号に基づいて前記表示範囲を変更する、請求項１〜５のうちいずれか一つに記載の画像表示制御装置。
7. 前記表示範囲決定部は、操舵角を検出する操舵角検出部で検出された操舵角に応じて前記表示範囲を変更する、請求項１〜６のうちいずれか一つに記載の画像表示制御装置。
8. 前記表示範囲決定部は、車両の位置を取得する車両位置取得部で取得された前記車両の位置に応じて前記表示範囲を変更する、請求項１〜７のうちいずれか一つに記載の画像表示制御装置。
9. 前記表示範囲決定部は、車外の物体を検出する物体検出部で検出された前記物体の位置に応じて前記表示範囲を変更する、請求項１〜８のうちいずれか一つに記載の画像表示制御装置。
10. 請求項１〜９のうちいずれか一つに記載の画像表示制御装置と、
    前記画像表示制御装置によって制御される表示装置と、
    車内画像を撮影する第一の撮像部と、
    車外画像を撮影する第二の撮像部と、
    を備えた、画像表示システム。

Images