JP7459608B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

Description

本発明は表示制御装置、表示制御方法およびプログラムに関する。

車両の外部の風景を車載カメラにより撮影し、撮影した画像を車内のモニタに表示するシステムが普及している。また車載カメラにより撮影した画像を運転の支援に繋げるための提案が行われている。

例えば、特許文献１に記載のシステムは、車体の後方および側方域の画像をモニタ画面の２つの部分に異なる圧縮率で表示させるとともに、その圧縮率を車両情報に応じて変化させる。

特開２０１６－０４８８３９号公報

上記システムにより表示される画像は画像自体の情報量が増えた訳ではない。一方、車両の動作状態に応じて所望の領域にかかる画像の情報量を増やし、かつ車両のユーザがそれを容易に確認したいという要求がある。しかしながら、表示領域を拡大することはできない。

本発明は、このような課題を解決するためになされたものであって、カメラが撮影した画像を好適に表示する表示制御装置等を提供するものである。

本発明にかかる表示制御装置は、撮影データ取得部と、動作状態検出部と、抽出画像データ生成部と、サイズ割当部と、表示画像データ生成部と、出力部とを備える。撮影データ取得部は、カメラが車両の外部の風景を撮影して生成した撮影データを取得する。動作状態検出部は、車両の動作状態を検出する。抽出画像データ生成部は、動作状態に応じて設定された画角により撮影データから抽出画像データを生成する。サイズ割当部は、動作状態が検出されたことに応じて、抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てる。表示画像データ生成部は、複数の抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する。出力部は、複数の抽出画像データの各々に対応する表示画像データを表示部に出力する。

本発明にかかる表示制御方法は、撮影データ取得ステップと、動作状態検出ステップと、抽出画像データ生成ステップと、サイズ割当ステップと、表示画像データ生成ステップと、出力ステップとを備える。撮影データ取得ステップは、カメラが車両の外部の風景を撮影して生成した撮影データを取得する。動作状態検出ステップは、車両の動作状態を検出する。抽出画像データ生成ステップは、動作状態に応じて設定された画角により撮影データから抽出画像データを生成する。サイズ割当ステップは、動作状態が検出されたことに応じて、抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てる。表示画像データ生成ステップは、複数の抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する。出力ステップは、複数の抽出画像データの各々に対応する表示画像データを表示部に出力する。

本発明にかかるプログラムは、コンピュータに表示制御方法を実行させるものであって、上記表示制御方法は、撮影データ取得ステップと、動作状態検出ステップと、抽出画像データ生成ステップと、サイズ割当ステップと、表示画像データ生成ステップと、出力ステップとを備える。撮影データ取得ステップは、カメラが車両の外部の風景を撮影して生成した撮影データを取得する。動作状態検出ステップは、車両の動作状態を検出する。抽出画像データ生成ステップは、動作状態に応じて設定された画角により撮影データから抽出画像データを生成する。サイズ割当ステップは、動作状態が検出されたことに応じて、抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てる。表示画像データ生成ステップは、複数の抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する。出力ステップは、複数の抽出画像データの各々に対応する表示画像データを表示部に出力する。

本発明によれば、カメラが撮影した画像を好適に表示させる表示制御装置等を提供することができる。

実施の形態１にかかる表示システムのブロック図である。 実施の形態１にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。 実施の形態１にかかる表示制御装置のフローチャートである。 実施の形態１にかかる左カメラが撮影した画像の第１の例を示す図である。 実施の形態１にかかる表示部に表示される表示画像の第１の例を示す図である。 実施の形態１にかかる左カメラが撮影した画像の第２の例を示す図である。 実施の形態１にかかる表示部に表示される表示画像の第２の例を示す図である。 実施の形態１の第１変形例にかかる表示部に表示される表示画像の第２の例を示す図である。 実施の形態１の第２変形例にかかる表示部に表示される表示画像の例を示す図である。 実施の形態２にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。 実施の形態２にかかる表示制御装置のフローチャートである。 実施の形態３にかかる表示システムのブロック図である。 実施の形態３にかかる表示部に表示される表示画像の例を示す図である。 実施の形態４にかかる表示システムのブロック図である。 実施の形態４にかかる表示制御装置のフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
図１を参照して実施の形態１にかかる表示システム１の構成について説明する。図１は、実施の形態１にかかる表示システム１のブロック図である。表示システム１は、車両の外部の風景に関連する情報を、車両の運転者等のユーザに対して表示により報知するシステムである。表示システム１は、表示制御装置１０と、カメラ９１と、表示部９２とを備える。表示制御装置１０、カメラ９１および表示部９２は、車両に搭載されている。

カメラ９１は、車両の任意の位置に搭載され、車両の外部の風景を撮影して、撮影した画像のデータである撮影データを生成するカメラである。カメラ９１は、表示制御装置１０に通信可能に接続される。カメラ９１は、例えば毎秒３０フレーム（３０ｆｐｓ）の撮影データを生成し、生成した撮影データを３０分の１秒ごとに表示制御装置１０に供給する。撮影データは、例えば、Ｈ．２６４もしくはＨ．２６５等の方式を用いて生成されてもよい。

カメラ９１は、複数のカメラを有してもよい。本実施の形態１におけるカメラ９１は、左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃを含む。左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃは、それぞれが対物レンズ、撮像素子およびＡ－Ｄ（Analog to Digital）変換素子等を有する撮像装置である。本実施の形態１では左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃはそれぞれ、互いに種別の異なる撮影データを生成する。すなわち左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃはそれぞれ、車両の左側、右側および後ろ側の風景に関連する撮影データを生成する。そして左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃは、生成した撮影データを表示制御装置１０に供給する。

表示部９２は、車両のユーザに情報を提示できるように設置された表示部であって、例えば液晶パネルまたは有機ＥＬ（Electro Luminescence）パネル等の表示部を含む。表示部９２は、ダッシュボード等、ユーザが表示部分を視認できる位置に設置される。表示部９２は、表示制御装置１０に通信可能に接続される。表示部９２は、表示制御装置１０から画像データを受け取り、受け取った画像データにかかる画像を表示部分に表示する。

表示制御装置１０は、車両の外部の風景に関連する情報を、表示部９２に表示させるコンピュータ等である。表示制御装置１０は、例えばＣＰＵ（Central Processing Unit）やＭＣＵ（Micro Controller Unit）などの演算装置を有している。また表示制御装置１０は、上記演算装置に加えて、フラッシュメモリもしくはＤＲＡＭ（Dynamic Random Access Memory）のような不揮発性もしくは揮発性のメモリ、およびその他の電気回路により構成された制御基板を少なくとも有している。表示制御装置１０は、これらの演算装置などにプログラムが組み込まれており、ソフトウェアまたはハードウェアの組み合わせにより以下に示す機能を実現する。

表示制御装置１０は、カメラ９１が撮影した画像にかかる画像データを処理し、処理した所定の画像データを、表示部９２に出力する。表示制御装置１０は、撮影データ取得部１１と、動作状態検出部１２と、抽出画像データ生成部１３と、サイズ割当部１４と、表示画像データ生成部１５と、出力部１６とを有する。なお、表示制御装置１０が有するこれらの要素は、通信バスにより通信可能に接続されている。

撮影データ取得部１１は、カメラ９１が車両の外部の風景を撮影して生成した撮影データを取得する。本実施の形態１で撮影データ取得部１１は、カメラ９１から互いに種別の異なる複数の撮影データを取得する。撮影データ取得部１１は、取得した撮影データを、通信バスを介して抽出画像データ生成部１３に供給する。

動作状態検出部１２は、車両の動作状態を検出し、動作状態に応じた動作状態情報を生成する。ここで、「車両の動作状態」とは、車両の移動に関する動作の状態をいう。たとえば、本実施の形態１において、車両の動作状態は、車両の移動方向の変更を含み、動作状態情報は、車両の移動方向の変更を示す移動方向変更情報を含む。移動方向変更情報は、車両が変更すると予測される移動方向（予測移動方向）を示す予測移動方向情報を含む。なお、予測移動方向は、車両９０が現に変更している移動方向を含んでよい。たとえば動作状態検出部１２は、ＧＮＳＳ（Global Navigation Satellite System）などの衛星測位システムから自車両の位置を測位するための測位情報を受信する測位情報受信部（不図示）に接続され、測位情報受信部から取得した位置情報の変化から、車両の動作状態を検出してもよい。また動作状態検出部１２は、測位情報受信部から取得した位置情報と地図情報とに基づいて車両の予測移動方向を推定することで動作状態を検出してよい。

動作状態検出部１２は、上述のように生成した動作状態情報を、抽出画像データ生成部１３およびサイズ割当部１４に供給する。

抽出画像データ生成部１３は、撮影データ取得部１１から撮影データを受け取る。また抽出画像データ生成部１３は、動作状態検出部１２から動作状態情報を受け取り、受け取った動作状態情報から、抽出画像を生成するための画角を決定する。より具体的には、本実施の形態１にかかる抽出画像データ生成部１３は、車両の移動方向の変更に応じて画角を設定する。例えば、抽出画像データ生成部１３は、車両の移動方向の変更が検出されたことに応じて、予測移動方向に関連する撮影データから抽出される領域の画像（抽出画像）の画角を第１画角から、第１画角よりも広い第２画角に設定変更する。本実施の形態１で第１画角は、予め設定された初期の画角の大きさである。なおこのとき、抽出画像データ生成部１３は、予測移動方向と異なる方向に関連する撮影データから抽出される抽出画像の画角については、引き続き画角を第１画角に設定してよい。

抽出画像データ生成部１３は、撮影データの各々に対して、上述のように決定した画角の画像を、その撮影データから抽出し、抽出画像にかかる抽出画像データを生成する。このように、抽出画像データ生成部１３は、撮影データの各々に対して、動作状態に応じて設定された画角によりその撮影データにかかる画像から抽出画像データを生成する。抽出画像データ生成部１３は、生成した抽出画像データを、表示画像データ生成部１５に供給する。

サイズ割当部１４は、動作状態が検出されたことに応じて、表示部９２の総画像サイズから、複数の抽出画像データの各々に対応する表示画像の画像サイズを割り当てる。ここで表示画像は、表示部９２の表示部分に表示される画像である。「表示部９２の総画像サイズ」とは、表示部９２の表示部分上に表示することができる表示画像の画像サイズの合計である。なお「表示部９２の総画像サイズ」は、表示画像が表示部９２の表示部分全体ではなく表示部分内の定められた領域に表示される場合には、当該領域の画像サイズの合計を意味する。各表示画像には、対応する画像サイズが割り当てられる。なお各表示画像は矩形形状を有してよい。この場合各表示画像の画像サイズは、幅方向の長さに対応する幅方向の画素数と、高さ方向の長さに対応する高さ方向の画素数との積で表されてよい。
サイズ割当部１４は、複数の抽出画像データの各々に対応する表示画像の画像サイズに関する情報を、表示画像データ生成部１５に供給する。

表示画像データ生成部１５は、抽出画像データ生成部１３から複数の抽出画像データを受け取り、サイズ割当部１４から複数の抽出画像データの各々に対応する画像サイズを受け取る。表示画像データ生成部１５は、複数の抽出画像データの各々に対して、割り当てられた画像サイズを有する表示画像の表示画像データを生成する。表示画像データは、表示部９２に出力するデータであり、たとえばビットマップ形式またはベクタ形式等のデータ形式を有する。すなわち、表示画像データ生成部１５は、抽出画像からその抽出画像に対応する画像サイズを有するように画素値を変換させた表示画像にかかる表示画像データを生成する。表示画像データ生成部１５が抽出画像に対して行う変換処理は、画像の拡大、縮小、伸張、圧縮、ノイズ除去、色調補正等の変換処理を含む。表示画像データ生成部１５は、生成した複数の表示画像を、出力部１６に供給する。

なお、表示画像データ生成部１５が行うこれらの処理の具体的な手法は、既に当業者に知られているものである。そのため、ここでの詳述は省略するが、例えば画像を拡大または縮小する手法の具体的な態様として、画像の伸長または圧縮がある。画像の拡大または縮小は、所定の画素と周囲の画素との間隔を変更し、その間の画素を補間する。また、画像を伸張するとは、画像を所定の一方向に沿って引き伸ばすことを意味する。この場合、引き伸ばす方向の画素について、画素同士の間隔を拡げ、その間の画素を補間する。また、画像を圧縮するとは、画像を所定の一方向に沿って縮めることを意味する。この場合、縮める方向の画素について、画素同士の間隔を狭め、適宜画素を補間する。

出力部１６は、表示制御装置１０と表示部９２とを通信可能に接続するためのインタフェースである。出力部１６は、複数の抽出画像データの各々に対応する表示画像データを表示部９２に出力する。

次に、図２を参照して、車両におけるカメラの撮影範囲の例について説明する。図２は、実施の形態１にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。図２に示した車両９０は、自動車であって、移動体としての一実施態様である。

車両９０は、図１において説明した左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃの３つのカメラを有している。左カメラ９１Ａは、車両９０の左面に設置されており、車両９０の左側の風景を撮影する。左カメラ９１Ａは、二点鎖線により示された水平方向の撮影画角Ａ１０が１８０度である。すなわち左カメラ９１Ａが撮影する画像は、車両９０の左側における画角１８０度の風景が含まれる。右カメラ９１Ｂは、車両９０の右面に設置されており、車両９０の右側の風景を撮影する。右カメラ９１Ｂは、水平方向の撮影画角Ｂ１０が１８０度である。同様に、後カメラ９１Ｃは、車両９０の背面に設置されており、車両９０の後側の風景を撮影する。後カメラ９１Ｃは、水平方向の撮影画角Ｃ１０が１８０度である。なお、以降の説明において、水平方向の画角または水平画角を、単に「画角」と称する場合がある。

左カメラ９１Ａから車両９０の左後方へ放射状に延びる実線は、左カメラ９１Ａの撮影画像から抽出される抽出画像の画角Ａ１１および画角Ａ１１より広い画角Ａ１２を示している。例えば、抽出画像データ生成部１３は、車両９０が進行方向に直進し続ける場合には画角を第１画角である画角Ａ１１に設定し、左方向への移動方向の変更が検出されたことに応じて画角を第２画角である画角Ａ１２に設定変更する。

また、右カメラ９１Ｂから車両９０の右後方へ放射状に延びる実線は、右カメラ９１Ｂの撮影画像から抽出される抽出画像の画角Ｂ１１および画角Ｂ１１より広い画角Ｂ１２を示している。なお、画角Ｂ１１は画角Ａ１１と等しい大きさを有し、画角Ｂ１２は、画角Ａ１２と等しい大きさを有してよい。例えば、抽出画像データ生成部１３は、車両が進行方向に直進し続ける場合は画角を第１画角である画角Ｂ１１に設定し、右方向への移動方向の変更が検出されたことに応じて画角を第２画角である画角Ｂ１２に設定変更する。

そして抽出画像データ生成部１３は、互いに異なる方向側の風景の撮影画像の各々から、設定された画角にかかる抽出画像の抽出画像データを生成する。ここでこれらの抽出画像データは、車両９０に対して第１方向（ここでは左）側の風景に関連する抽出画像の第１抽出画像データと、車両９０に対して第２方向（ここでは右）側の風景に関連する抽出画像の第２抽出画像データとを有する。
なお上述の通り、抽出画像データ生成部１３は、移動方向の変更を検出したことに応じて、予測移動方向側の風景に関連する抽出画像の画角を設定変更し、その抽出画像の抽出画像データを生成する。

なお図２に示すように、後カメラ９１Ｃから車両９０の後方へ放射状に延びる実線は、後カメラ９１Ｃの撮影画像から抽出される抽出画像の画角Ｃ１１を示している。

次に、図３を参照して表示制御装置１０が行う処理について説明する。図３は、実施の形態１にかかる表示制御装置１０のフローチャートである。図３に示すフローチャートは、表示制御装置１０が、図２に示した車両９０の左側および右側の風景に関連する表示画像をそれぞれ表示部９２の表示部分に表示する場合（すなわち、２画面表示の場合）の処理の一例を示す。図３に示すフローチャートは、例えば車両９０の主システムが起動することにより開始される。なお初期において抽出画像の画角は、いずれも第１画角で設定されているものとする。

まずステップＳ１０において、表示制御装置１０の撮影データ取得部１１は、左カメラ９１Ａおよび右カメラ９１Ｂのそれぞれから撮影データを取得する。ここで左カメラ９１Ａから取得した撮影データは、車両９０の第１方向側の風景に関連する撮影データであり、右カメラ９１Ｂから取得した撮影データは、車両９０の第２方向側の風景に関連する撮影データである。
次にステップＳ１１において、表示制御装置１０の動作状態検出部１２は、車両９０の動作状態として、車両９０の移動方向の変更を検出したか否かを判定する。動作状態検出部１２は、移動方向の変更を検出したと判断した場合（ステップＳ１１：Ｙｅｓ）、予測移動方向情報を含む移動方向変更情報を生成する。そして動作状態検出部１２は、移動方向変更情報を抽出画像データ生成部１３およびサイズ割当部１４に供給し、処理をステップＳ１２に進める。一方、動作状態検出部１２は、移動方向の変更を検出したと判断しない場合（ステップＳ１１：Ｎｏ）、処理をステップＳ１４に進める。

ステップＳ１２において、抽出画像データ生成部１３は、移動方向変更情報に含まれる予測移動方向情報に基づいて、予測移動方向側の風景に関連する撮影データから抽出される抽出画像の画角を第１画角から第２画角に設定変更する。抽出画像データ生成部１３はまた、予測移動方向と異なる方向に関連する撮影データから抽出される抽出画像の画角を引き続き第１画角に設定する。そして抽出画像データ生成部１３は、処理をＳ１４に進める。

ステップＳ１４において、抽出画像データ生成部１３は、撮影データの種別に対応して抽出画像に設定された画角を用いて、その撮影データから抽出画像データを生成する。すなわち、移動方向の変更が検出され、その予測移動方向が第１方向である場合、抽出画像データ生成部１３は、左カメラ９１Ａからの撮影データから、画角Ａ１１より広い画角Ａ１２にかかる抽出画像の第１抽出画像データを生成する。またこの場合、抽出画像データ生成部１３は、右カメラ９１Ｂからの撮影データから、画角Ｂ１１にかかる抽出画像の第２抽出画像データを生成する。一方、移動方向の変更が検出されず、予測移動方向が取得されない場合、抽出画像データ生成部１３は、左カメラ９１Ａからの撮影データから、画角Ａ１１にかかる抽出画像の第１抽出画像データを生成する。またこの場合、抽出画像データ生成部１３は、右カメラ９１Ｂからの撮影データから、画角Ｂ１１にかかる抽出画像の第２抽出画像データを生成する。

ステップＳ１５において、抽出画像データ生成部１３は、全ての抽出画像データを生成したか否かを判定する。本実施の形態１では、抽出画像データ生成部１３は、２つの抽出画像データを生成したか否かを判定する。抽出画像データ生成部１３は、全ての抽出画像データを生成したと判定した場合（ステップＳ１５：Ｙｅｓ）処理をステップＳ１６に進める。一方抽出画像データ生成部１３は、そうでない場合（ステップＳ１５：Ｎｏ）処理をステップＳ１４に戻す。そして抽出画像データ生成部１３は、生成した全ての抽出画像データを表示画像データ生成部１５に供給する。

ステップＳ１６において、サイズ割当部１４は、移動方向変更情報に含まれる予測移動方向情報の予測移動方向に応じて、複数の抽出画像データの各々に対して、各々の抽出画像に対応する表示画像の画像サイズを割り当てる。このときサイズ割当部１４は、予測移動方向が第１方向であることに応じて、第１抽出画像データに対応する表示画像に含まれる画素数が、第２抽出画像データに対応する表示画像に含まれる画素数よりも多くなるように、画像サイズを割り当てる。本実施の形態１ではサイズ割当部１４は、予測移動方向が第１方向であることに応じて、第１抽出画像データに対応する第１表示画像の横方向の幅である１次方向の長さが、第２抽出画像データに対応する第２表示画像の１次方向の長さよりも大きくなるように、画像サイズを割り当てる。ここで、第１および第２表示画像はそれぞれ、第１および第２抽出画像データの抽出画像に対応する表示画像である。なお１次方向は、幅方向または高さ方向であり、本実施の形態１では、幅方向である。また本実施の形態１で１次方向の長さは、幅方向の一辺である幅の長さであり、幅の画素数に対応する。サイズ割当部１４は、複数の抽出画像データの各々に対応する表示画像の画像サイズに関する情報を、表示画像データ生成部１５に供給する。

次にステップＳ１７において、表示画像データ生成部１５は、複数の抽出画像データの各々に対して、対応する画像サイズを有する表示画像の表示画像データを生成する。
具体的には表示画像データ生成部１５は、第１抽出画像データにかかる抽出画像に対しては、画素の変換処理を行わないで第１表示画像の第１表示画像データを生成する。一方、表示画像データ生成部１５は、第２抽出画像データにかかる抽出画像に対しては、画像を圧縮して第２表示画像の第２表示画像データを生成する。
そして表示画像データ生成部１５は、生成した複数の表示画像データを出力部１６に供給する。

次にステップＳ１８において、表示制御装置１０の出力部１６は、表示画像データ生成部１５から受け取った複数の表示画像データの各々を、表示部９２に出力する。

次にステップＳ１９において、表示制御装置１０は、一連の処理を終了させるか否かを判定する。一連の処理を終了させる場合とは、例えばシステムが停止される場合や、運転者の操作により処理を終了させる場合などである。表示制御装置１０は、一連の処理を終了させると判定しない場合（ステップＳ１９：Ｎｏ）、処理をステップＳ１０に戻す。表示制御装置１０は、一連の処理を終了させると判定した場合（ステップＳ１９：Ｙｅｓ）、処理を終了させる。

上述の処理により、表示制御装置１０は、車両９０の移動方向の変更に応じて抽出画像の画角を設定する。なお、上述の説明は、予測移動方向が第１方向である場合を一例として示したが、当然ながら上述の処理は、予測移動方向が第２方向である場合における処理にも適用される。

次に、図４を参照して、左カメラ９１Ａが撮影する画像の例について説明する。図４は、実施の形態１にかかる左カメラ９１Ａが撮影した画像の第１の例を示す図である。ここで第１の例は、車両９０が進行方向に直進し続ける場合、すなわち移動方向の変更が検出されなかった場合の例である。図４に示す画像Ｐ１０は、左カメラ９１Ａが車両９０の左側（つまり、第１方向側）の風景を撮影したものである。画像Ｐ１０の紙面右側は車両９０の左前方の風景であり、画像Ｐ１０の紙面左側は車両９０の左後方の風景である。画像Ｐ１０の紙面右側にはトラックおよび二輪車が撮影されている。すなわち車両９０の左前方には、トラックおよび二輪車が存在している。また画像Ｐ１０の紙面左側には他車両Ｈ１、他車両Ｈ２および他車両Ｈ３が撮影されている。すなわち車両９０の左後方には、他車両Ｈ１～Ｈ３が存在している。なお、画像Ｐ１０は画角１８０度という広角で撮影された画像のため、所定の歪曲収差を有している。そのため画像Ｐ１０に含まれる画像は歪んだ状態で表示されている。

図４に示す画像Ｐ１０の紙面左側には、抽出画像の外縁Ｔ１１が太い二点鎖線により示されている。すなわち抽出画像は、外縁Ｔ１１により囲まれた領域である。ここで、外縁Ｔ１１は、上述の画角Ａ１１にかかる抽出画像を示している。抽出画像データ生成部１３は、移動方向の変更が検出されなかったことから画角を画角Ａ１１に設定し、外縁Ｔ１１により示す領域を抽出することで、図４に示す撮影データから第１抽出画像データを生成する。外縁Ｔ１１により囲まれた領域には、他車両Ｈ１および他車両Ｈ２が含まれる。よって、抽出画像には他車両Ｈ１および他車両Ｈ２が含まれる。なお、図４に示す外縁Ｔ１１は、画像Ｐ１０が有する歪曲収差に対応するように歪んでいる。

なお、右カメラ９１Ｂについても左カメラ９１Ａの場合と同様に、移動方向の変更が検出されない場合に、抽出画像データ生成部１３は画角Ｂ１１にかかる抽出画像の第２抽出画像データを生成する。

そしてサイズ割当部１４は、第１および第２抽出画像データの各々について、後述する表示画像の画像サイズを割り当てる。そして表示画像データ生成部１５は、外縁が矩形になり、且つ、割り当てられた表示画像の画像サイズになるように抽出画像を変換処理する。

次に、図５を参照して、表示部９２が表示する表示画像の例について説明する。図５は、実施の形態１にかかる表示部９２に表示される表示画像の第１の例を示す図である。図５には、表示画像Ｐ１００が示されている。表示画像Ｐ１００は、第１表示画像Ｐ１１、および第２表示画像Ｐ１３を含む。

第１表示画像Ｐ１１は、左カメラ９１Ａの撮影データから生成した画像である。第２表示画像Ｐ１３は、右カメラ９１Ｂの撮影データから生成した画像である。すなわち表示画像Ｐ１００は、左カメラ９１Ａおよび右カメラ９１Ｂが生成したそれぞれの撮影データを抽出画像データ生成部１３が適宜抽出し、さらに表示画像データ生成部１５が表示画像として変換処理したものが並べて表示されている。

図５に示す第１表示画像Ｐ１１は、図４に示す外縁Ｔ１１により抽出された第１抽出画像データから生成されたものである。そのため、第１表示画像Ｐ１１には、他車両Ｈ１および他車両Ｈ２が含まれる。
また第２表示画像Ｐ１３は、第２抽出画像データから生成されたものであり、第２表示画像Ｐ１３には、他車両Ｈ４が含まれる。

ここで表示画像Ｐ１００は、幅Ｗを有する。そして第１表示画像Ｐ１１は、表示画像Ｐ１００のうち、幅Ｗ１１の領域に表示される。また第２表示画像Ｐ１３は、表示画像Ｐ１００のうち、幅Ｗ１３の領域に表示される。なお本図に示すように、幅Ｗ１１および幅Ｗ１３の長さの合計は幅Ｗの長さに等しい。幅Ｗ１１および幅Ｗ１３は、互いに等しい長さを有してよい。
本図に示すように、幅Ｗ１１および幅Ｗ１３の長さはそれぞれ、歪曲収差を有する抽出画像の第１および第２抽出画像データから、実質的に歪みのない画像として第１表示画像Ｐ１１および第２表示画像Ｐ１３が生成されるように予め定められてよい。

第１の例において、サイズ割当部１４は、第１抽出画像データに対して幅Ｗ１１の長さに対応する第１画像サイズを、第２抽出画像データに対して幅Ｗ１３の長さに対応する第２画像サイズを割り当てる。そして表示画像データ生成部１５は、当該画像サイズに基づいて実質的に歪みのない状態の第１表示画像Ｐ１１および第２表示画像Ｐ１３を生成している。

次に、図６を参照して、カメラが撮影する画像の別の例について説明する。図６は、実施の形態１にかかる左カメラ９１Ａが撮影した画像の第２の例を示す図である。ここで第２の例は、移動方向の変更が検出され、予測移動方向が左方向（つまり、第１方向）である場合の例である。図６に示す画像Ｐ１０は、図４に示す画像と同様に、左カメラ９１Ａが車両９０の左側の風景を撮影したものである。図６に示す画像Ｐ１０は、抽出画像にかかる外縁Ｔ１２が、図４に示す外縁Ｔ１１と異なる。

図６に示す画像Ｐ１０の紙面左側には、外縁Ｔ１２が太い二点鎖線により示されている。外縁Ｔ１２は、上述の画角Ａ１２にかかる抽出画像を示している。抽出画像データ生成部１３は、図６に示す撮影データから第１抽出画像データを生成するにあたり、予測移動方向が左方向であることから画角を画角Ａ１２に設定し、外縁Ｔ１２により示す領域を抽出する。画角Ａ１２は画角Ａ１１より広い。そのため外縁Ｔ１２により囲まれた領域には、他車両Ｈ１、他車両Ｈ２に加えて他車両Ｈ３が含まれる。よって、抽出画像には他車両Ｈ１～Ｈ３が含まれる。

一方、右カメラ９１Ｂについては、第１の例と同様に、抽出画像データ生成部１３は画角Ｂ１１にかかる抽出画像の第２抽出画像データを生成する。

そしてサイズ割当部１４は、第１および第２抽出画像データの各々について、後述する表示画像の画像サイズを割り当てる。そして表示画像データ生成部１５は、外縁が矩形になり、且つ、割り当てられた表示画像の画像サイズになるように抽出画像を変換処理する。

次に、図７を参照して、表示部９２が表示する表示画像の例について説明する。図７は、実施の形態１にかかる表示部９２に表示される表示画像の第２の例を示す図である。図７には、表示画像Ｐ１０１が示されている。表示画像Ｐ１０１は、第１表示画像Ｐ１１および第２表示画像Ｐ１３に代えて、第１表示画像Ｐ１４および第２表示画像Ｐ１６を有している点で、図５に示した画像Ｐ１００と異なる。以下に、画像Ｐ１００と異なる点について主に説明する。

図７に示す第１表示画像Ｐ１４は、図６に示す外縁Ｔ１２により抽出された第１抽出画像データから生成されたものである。そのため、第１表示画像Ｐ１４には、他車両Ｈ１、他車両Ｈ２に加えて、他車両Ｈ３が含まれる。

ここで第１表示画像Ｐ１４が表示されている領域の幅Ｗ１４は、図５に示した第１表示画像Ｐ１１の幅Ｗ１１よりも長い。つまりサイズ割当部１４は、予測移動方向に関連し、第１の例と比べて広い画角にかかる抽出画像の第１抽出画像データの第１表示画像Ｐ１４に対して、第１表示画像Ｐ１４が実質的に歪みのない画像となるように幅Ｗ１４の長さを決定する。

一方、第２表示画像Ｐ１６は、第１の例と同様の画角Ｂ１１にかかる外縁により抽出された抽出画像から生成される。第２表示画像Ｐ１６には、第１の例と同様に、他車両Ｈ４が含まれる。
ここで第２表示画像Ｐ１６が表示されている領域の幅Ｗ１６は、第１表示画像Ｐ１４が表示されている領域の幅Ｗ１４よりも短い。なお本図において幅Ｗ１４と幅Ｗ１６の長さの合計は、図５に示す幅Ｗ１１および幅Ｗ１３の長さの合計、つまり幅Ｗの長さと等しい。つまりサイズ割当部１４は、予測移動方向と異なる方向に関連する第２抽出画像データの第２表示画像Ｐ１６に対して、幅Ｗの長さから第１表示画像Ｐ１４に対応する幅Ｗ１４の長さを差し引いた長さを、幅Ｗ１６の長さとして割り当てる。

すなわちサイズ割当部１４は、予測移動方向に関連する表示画像の画像サイズを決定し、予測移動方向と異なる方向に関連する表示画像の画像サイズを、総画像サイズと決定された画像サイズとの間の差分に基づいて割り当てる。

なお第２表示画像Ｐ１６が表示されている領域の幅Ｗ１６は、図５に示した第２表示画像Ｐ１３の幅Ｗ１３よりも短い。そのため、第２表示画像Ｐ１３と第２表示画像Ｐ１６とを比較すると、第２表示画像Ｐ１６は幅方向が相対的に圧縮されている。

このように実施形態１にかかる表示制御装置１０は、動作状態に応じて設定された画角により複数の抽出画像データを生成する。これにより、表示部分の面積を拡大することなく、ユーザが確認したい場所の広い範囲の情報を表示することが容易となる。また表示制御装置１０は、動作状態に基づいて、複数の抽出画像データの各々に対して、画像サイズを割り当てる。したがって表示部分の面積を拡大することなく、動作状態に応じてより重要な場所の情報は相対的に大きく表示され、ユーザが確認したい場所の情報をさらに容易に確認することができる。このように実施形態１にかかる表示制御装置１０は、カメラが撮影した画像を好適に表示させることで、好適にユーザの運転支援を行うことが出来る。

＜実施の形態１の第１変形例＞
なお実施の形態１では、表示制御装置１０は、予測移動方向と異なる方向に関連する抽出画像の画角を第１画角に設定し、第１画角にかかる抽出画像の表示画像を表示部９２に表示させた。しかしこれに代えて、表示制御装置１０は、移動方向の変更が検出されたことに応じて、予測移動方向と異なる方向に関連する抽出画像の画角を予測移動方向に関連する抽出画像の画角と同様に、第２画角に設定変更してよい。

つまり、図３に示すステップＳ１２において、抽出画像データ生成部１３は、予測移動方向に関わらず、抽出画像の画角を第２画角に設定する。
そして図３に示すステップＳ１４において、抽出画像データ生成部１３は、移動方向の変更が検出された場合、画角Ａ１２にかかる抽出画像の第１抽出画像データを生成する。またこの場合、抽出画像データ生成部１３は、画角Ｂ１２にかかる抽出画像の第２抽出画像データを生成する。一方、移動方向の変更が検出されなかった場合、抽出画像データ生成部１３は、画角Ａ１１にかかる抽出画像の第１抽出画像データを生成する。またこの場合、抽出画像データ生成部１３は、画角Ｂ１１にかかる抽出画像の第２抽出画像データを生成する。

このような変形例にかかる表示部９２に表示される表示画像について、図８を用いて説明する。図８は、実施の形態１の第１変形例にかかる表示部９２に表示される表示画像の第２の例を示す図である。
図８には、表示画像Ｐ１０２が示されている。表示画像Ｐ１０２は、第２表示画像Ｐ１６に代えて、第２表示画像Ｐ１８を有している点で、図７に示した画像Ｐ１０１と異なる。以下に、画像Ｐ１０１と異なる点について主に説明する。

第２表示画像Ｐ１８が表示されている領域の幅Ｗ１８は、第１表示画像Ｐ１４が表示されている領域の幅Ｗ１４よりも短い。なお本図において幅Ｗ１４と幅Ｗ１８の長さの合計は、図７に示す幅Ｗ１４および幅Ｗ１６の長さの合計、つまり幅Ｗの長さと等しい。つまりサイズ割当部１４は、第２表示画像Ｐ１６の場合と同様に、予測移動方向と異なる方向に関連する第２抽出画像データの第２表示画像Ｐ１８に対して、幅Ｗの長さから第１表示画像Ｐ１４に対応する幅Ｗ１４の長さを差し引いた長さを、幅Ｗ１８の長さとして割り当てる。
なお第２表示画像Ｐ１８が表示されている領域の幅Ｗ１８の長さは、図７に示した第２表示画像Ｐ１６の幅Ｗ１６の長さと等しい。ここで第２表示画像Ｐ１８は、画角Ｂ１１より広い画角Ｂ１２にかかる外縁により抽出された抽出画像から生成され、第２表示画像Ｐ１８には、第２表示画像Ｐ１６に含まれる他車両Ｈ４に加えて、他車両Ｈ５が含まれる。そのため、第２表示画像Ｐ１６と第２表示画像Ｐ１８とを比較すると、第２表示画像Ｐ１８は幅方向が相対的に圧縮されている。

＜実施の形態１の第２変形例＞
実施の形態１では、２画面表示の場合を例に説明した。しかしこれに限らず、表示制御装置１０が、図２に示した車両９０の左側および右側の風景に関連する表示画像に加えて、後ろ側の風景に関連する表示画像を、表示部９２の表示部分に表示してよい。すなわち第２変形例は、３画面表示の場合の例である。

この場合、抽出画像データ生成部１３が生成する抽出画像データは、第１および第２抽出画像データに加えて、車両に対して第３方向（ここでは後ろ）側の風景に関連する第３抽出画像データをさらに有する。

このとき図３に示すステップは以下のように変更される。
まずステップＳ１０に代えて、表示制御装置１０の撮影データ取得部１１は、左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃのそれぞれから撮影データを取得する。

図３に示すステップＳ１２に代えて、抽出画像データ生成部１３は、予測移動方向情報に基づいて、予測移動方向側の風景に関連する抽出画像の画角を第１画角から第２画角に設定変更する。また抽出画像データ生成部１３は、予測移動方向と反対方向に関連する抽出画像の画角を引き続き第１画角に設定する。また抽出画像データ生成部１３は、後ろ側に関連する抽出画像の画角を引き続きＣ１１に設定する。そして抽出画像データ生成部１３は、処理をＳ１４に進める。

またステップＳ１４に加えて、抽出画像データ生成部１３は設定された画角Ｃ１１にかかる抽出画像の第３抽出画像データを生成する。

またステップＳ１５に代えて、抽出画像データ生成部１３は、３つの抽出画像データを生成したか否かを判定する。抽出画像データ生成部１３は、全ての抽出画像データを生成したと判定した場合、処理をステップＳ１６に進める。一方抽出画像データ生成部１３は、そうでない場合、処理をステップＳ１４に戻す。そして抽出画像データ生成部１３は、生成した３つの抽出画像データを表示画像データ生成部１５に供給する。

そしてステップＳ１６に代えて、サイズ割当部１４は、予測移動方向が第１方向であることに応じて、第１抽出画像データに対応する表示画像に含まれる画素数が、第２抽出画像データおよび第３抽出画像データのいずれに対応する表示画像に含まれる画素数よりも多くなるように、画像サイズを割り当てる。

次に３画面表示の場合の表示部９２に表示される表示画像について、図９を用いて説明する。図９は、実施の形態１の第２変形例にかかる表示部９２に表示される表示画像の例を示す図である。図９（ａ）は、移動方向の変更が検出されなかった第１の例に対応し、図９（ｂ）および（ｃ）は、移動方向の変更が検出された第２の例に対応する。なお、図５および７に対応する部分については、同一の符号を付して説明を省略する。

図９（ａ）～（ｃ）には、表示画像Ｐ１０３～１０５が示されている。なお表示画像Ｐ１０３～１０５の幅方向の長さは、いずれもＷ’である。

図９（ａ）に示すように、表示画像Ｐ１０３は、第１表示画像Ｐ１１および第２表示画像Ｐ１３に加えて、第３表示画像Ｐ１２を含む。
第３表示画像Ｐ１２は、表示画像Ｐ１０３のうち幅方向の長さがＷ１２である領域に表示される。なお本図に示すようにＷ１１、Ｗ１２およびＷ１３の大きさの合計はＷ’である。Ｗ１１、Ｗ１２およびＷ１３は、互いに等しい大きさを有してよい。

第１の例において、サイズ割当部１４は、第１抽出画像データに対して幅Ｗ１１の長さを、第２抽出画像データに対して幅Ｗ１３の長さを、第３抽出画像データに対して幅Ｗ１２の長さを割り当てる。そして表示画像データ生成部１５は、当該長さに対応する画像サイズに基づいて実質的に歪みのない状態の第１表示画像Ｐ１１、第２表示画像Ｐ１３および第３表示画像Ｐ１２を生成する。

図９（ｂ）に示すように表示画像Ｐ１０４は、第１表示画像Ｐ１４および第２表示画像Ｐ１６に加えて、図９（ａ）と同様の長さの幅Ｗ１２を有する第３表示画像Ｐ１２を含む。

サイズ割当部１４は、予測移動方向と反対方向に関連する第２表示画像Ｐ１６については、第１の例と比較して第２表示画像の幅方向が相対的に圧縮されるように幅Ｗ１６の長さを割り当てる（幅Ｗ１６の長さ＜幅Ｗ１３の長さ）。一方サイズ割当部１４は、それ以外の後ろ側に関連する第３表示画像Ｐ１２については、第１の例と同様に幅Ｗ１２の長さを割り当てる。このようにサイズ割当部１４は、抽出画像データの種別に応じて、対応する幅方向の長さを割り当ててよい。

これにより、実施の形態１と同様の効果を得つつ、車両９０のユーザが車両９０の後方側の状況も確認することができる。

なおサイズ割当部１４は、第２の例において、車両９０の後方の他車両Ｈ６の移動速度に応じて、第３表示画像に対して、第１の例における幅方向の長さと異なる幅方向の長さを割り当ててよい。たとえばサイズ割当部１４は、第２の例において、車両９０の後方の他車両Ｈ６の移動速度が所定閾値未満である場合に、第３表示画像の幅方向の長さが第１の例よりも小さくなるように、幅方向の長さを割り当ててよい。

図９（ｃ）に示すように表示画像Ｐ１０５は、図９（ａ）の第２表示画像Ｐ１３および第３表示画像Ｐ１２に代えて、幅Ｗ１９を有する第２表示画像Ｐ１９と、幅Ｗ１８を有する第３表示画像Ｐ１８とを含む。第３表示画像Ｐ１８の幅Ｗ１８は、第３表示画像Ｐ１２の幅Ｗ１２よりも短い。これにより第２表示画像Ｐ１９の幅Ｗ１９は、図９（ｂ）に示す第２表示画像Ｐ１６の幅Ｗ１６よりも長くなる。

これにより、第２表示画像Ｐ１９は、第２表示画像Ｐ１３に対する幅方向の圧縮率が、第２表示画像Ｐ１６に比べて小さくなる。つまり第２表示画像Ｐ１９は、第２表示画像Ｐ１６に比べて画像の歪みが軽減される。したがって、実施の形態１と同様の効果を得つつ、車両のユーザが車両の予測移動方向と反対側の状況も容易に確認することができる。

＜実施の形態２＞
次に図１０～１１を用いて、本発明の実施の形態２について説明する。実施の形態２は、抽出画像の画角の大きさが予測移動方向に加えて車両９０の移動速度に基づいて設定され、表示画像の画像サイズが画角の大きさに基づいて割り当てられることに特徴を有する。本実施の形態２の表示制御装置２０は、実施の形態１の表示制御装置１０と基本的に同様の構成および機能を有する。以下実施の形態１との相違点を中心に説明する。

本実施の形態２で車両の動作状態は、車両の移動方向の変更に加えて車両の移動速度を含む。動作状態検出部１２は、例えば、撮影データ取得部１１が取得する撮影データにかかる画像を解析し、解析した画像に含まれる物体の位置の変化から、車両の動作状態を検出してよい。

なお、動作状態検出部１２は、例えば加速度センサ（不図示）に接続し、加速度センサから取得した加速度の変化から、車両の動作状態を検出してもよい。また動作状態検出部１２は、測位情報受信部から取得した位置情報の変化から、車両の動作状態を検出してもよい。

本実施の形態２にかかる抽出画像データ生成部１３は、車両の移動方向の変更に加えて、車両の移動速度に応じて画角を設定する。そして抽出画像データ生成部１３は、予測移動方向および移動速度に基づいて設定された画角にかかる抽出画像の抽出画像データを生成する。

また本実施の形態２にかかるサイズ割当部１４は、上述のように生成された複数の抽出画像データの各々に対応する表示画像の画像サイズを割り当てる。

ここで実施の形態２の画角について、図１０を用いて説明する。図１０は、実施の形態２にかかる表示制御装置２０を搭載した車両９０におけるカメラ９１の撮影範囲を示す上面図である。図１０に示した車両９０の上面図は、左カメラ９１Ａの画角Ａ１３と、右カメラ９１Ｂの画角Ｂ１３とをさらに有する点が、図２と異なる。

図１０において、左カメラ９１Ａから車両９０の左後方へ放射状に延びる実線は、左カメラ９１Ａの撮影画像から抽出される抽出画像の画角Ａ１１、画角Ａ１１より広い画角Ａ１２および画角Ａ１２より広い画角Ａ１３を示している。

図１０において、右カメラ９１Ｂから車両９０の右後方へ放射状に延びる実線は、右カメラ９１Ｂの撮影画像から抽出される抽出画像の画角Ｂ１１、画角Ｂ１１より広い画角Ｂ１２および画角Ｂ１２より広い画角Ｂ１３を示している。

例えば、抽出画像データ生成部１３は、車両９０が進行方向に直進し続ける場合、抽出画像にかかる画角を画角Ａ１１に設定する。例えば、抽出画像データ生成部１３は、車両９０の移動方向の変更が検出され、予測移動方向が第１方向であり、かつ移動速度が第１速度の場合には抽出画像にかかる画角を画角Ａ１２に設定する。抽出画像データ生成部１３は、車両９０の移動方向の変更が検出され、予測移動方向が第１方向であり、かつ移動速度が第１速度より遅い第２速度の場合には抽出画像にかかる画角を画角Ａ１３に設定する。

なお予測移動方向が第２方向である場合、画角Ａ１１を画角Ｂ１１に、画角Ａ１２を画角Ｂ１２に、画角Ａ１３を画角Ｂ１３に読み替える。

次に図１１を参照して、実施の形態２にかかる表示制御装置２０が実行する処理について説明する。図１１は、実施の形態２にかかる表示制御装置２０のフローチャートである。図１１に示すステップは、図３に示すステップＳ１２およびステップＳ１６に代えて、ステップＳ２０～２６を有する。なお図３に示すステップと同様のステップについては、同一の記号を付して説明を適宜省略する。

ステップＳ２０において、動作状態検出部１２は、車両９０の移動方向の変更を検出し、予測移動方向情報を取得したことに応じて（ステップＳ１１：Ｙｅｓ）、車両の移動速度に関する移動速度情報を取得する。動作状態検出部１２は、予測移動方向情報および移動速度情報を抽出画像データ生成部１３に供給する。

そしてステップＳ２２において抽出画像データ生成部１３は、予測移動方向情報および移動速度情報に基づいて、互いに種別が異なる複数の抽出画像の各々の画角の大きさを設定する。

次にステップＳ２４において、抽出画像データ生成部１３は、複数の抽出画像の各々に設定された画角を用いて、複数の抽出画像の各々に対応する抽出画像データを生成する。このとき予測移動方向が第１方向であり、かつ移動速度が所定閾値以上である場合、抽出画像データ生成部１３は、画角Ａ１２にかかる抽出画像の第１抽出画像データと、画角Ｂ１１にかかる抽出画像の第２抽出画像データとを生成する。また予測移動方向が第１方向であり、かつ移動速度が所定閾値未満である場合、抽出画像データ生成部１３は、画角Ａ１３にかかる抽出画像の第１抽出画像データと、画角Ｂ１１にかかる抽出画像の第２抽出画像データとを生成する。一方、移動方向の変更が検出されず、予測移動方向が取得されない場合、抽出画像データ生成部１３は、画角Ａ１１にかかる抽出画像の第１抽出画像データと、画角Ｂ１１にかかる抽出画像の第２抽出画像データとを生成する。そして抽出画像データ生成部１３は、生成した複数の抽出画像データを表示画像データ生成部１５に供給する。

次にステップＳ２６において、サイズ割当部１４は、複数の抽出画像データの各々に対して、設定された画角の大きさに応じて表示画像の画像サイズを割り当てる。このときサイズ割当部１４は、予測移動方向に関連する第１抽出画像データに対応する画角の大きさに基づいて、第１表示画像の第１画像サイズを割り当て、総画像サイズと第１画像サイズとの間の差分に基づいて、第２表示画像の第２画像サイズを割り当ててよい。すなわちサイズ割当部１４は、第１抽出画像データに対応する画角の大きさに基づいて、第２抽出画像データに対応する表示画像の画像サイズを決定してよい。サイズ割当部１４は、複数の抽出画像データの各々に対応する表示画像の画像サイズに関する情報を、表示画像データ生成部１５に供給し、処理をステップＳ１７に進める。

このように実施の形態２にかかる表示制御装置２０は、複数の抽出画像データの各々に対して予測移動方向および移動速度に基づいて設定された画角の大きさに基づいて画像サイズを割り当て、当該画像サイズの表示画像を表示させる。したがって、車両９０が移動方向の変更ポイントに近づいて移動速度を落とした場合に、表示部分の面積を拡大することなく、車両９０のユーザが確認したい場所のより広い範囲の情報をより容易に確認することができる。したがって実施形態２にかかる表示制御装置２０は、カメラが撮影した画像を好適に表示させることで、より好適にユーザの運転支援を行うことが出来る。

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３は、表示制御装置が指標画像データを表示部９２に表示させることに特徴を有する。図１２は、実施の形態３にかかる表示システム３のブロック図である。実施の形態３は、表示システム３が表示制御装置２０に代えて表示制御装置３０を備える点で実施の形態２と異なる。表示制御装置３０は、表示制御装置２０の構成に加えて指標画像データ生成部１７を有している。

指標画像データ生成部１７は、表示画像データ生成部１５が生成する表示画像の歪み状態を取得し、取得した歪み状態に応じた指標画像を生成する。「指標画像データ」は、表示画像データに含まれる表示画像の歪んでいる状態を示す「指標画像」のデータである。指標画像は、例えば表示画像データ生成部１５が歪みのない画像を生成した場合の画像と比較できるように構成される。
指標画像データ生成部１７は生成した指標画像データを出力部１６に供給し、出力部１６が、指標画像データを各表示画像とともに表示部９２に出力する。

図１３を参照して、指標画像の具体例について説明する。図１３は、実施の形態３にかかる表示部９２に表示される表示画像の例を示す図である。図１３に示す画像Ｐ１０６は、図７に示した画像Ｐ１０１に、指標画像を重畳させたものである。第１表示画像Ｐ１４の上部には指標画像Ｇ１４が重畳されている。第２表示画像Ｐ１６の上部には指標画像Ｇ１６が重畳されている。なお、指標画像Ｇ１４およびＧ１６がそれぞれの画像の上部に配置されていることにより、表示制御装置３０は、指標画像が他車両や道路などの表示を妨げることを抑制している。

指標画像Ｇ１４は円形形状を有する。これは、指標画像Ｇ１４にかかる第１表示画像Ｐ１４は歪みを有していないことを意味する。一方、指標画像Ｇ１６は、高さ方向が相対的に長く、幅方向が相対的に短い縦長の楕円形をしている。またこの楕円の高さ方向の長さは、指標画像Ｇ１４と同じである。すなわち指標画像Ｇ１６は、指標画像Ｇ１４よりも相対的に幅方向が圧縮された形状となっている。これは、指標画像Ｇ１６にかかる第２表示画像Ｐ１６が相対的に幅方向に圧縮されたものであることを示している。このような表示により、ユーザは、指標画像を視認した場合に、当該指標画像にかかる表示画像がどのように歪んでいるかを直感的に理解できる。

以上、実施の形態３について説明したが、指標画像は実際の歪みに予め設定された設定された係数をかけることにより、表示画像の歪みと同じ傾向の歪みであって、歪みの度合いが異なるものであっても良い。これにより表示制御装置３０は、ユーザがより直感的に歪み状態を理解するように、指標画像データを生成できる。また上述の例では、指標画像が表示画像に重畳されていたが、指標画像は、表示画像内に重畳されていなくてもよい。例えば表示画像が表示部９２の画像サイズより小さく、その他の表示領域が存在する場合には、指標画像は、その他の表示領域に表示されていてもよい。また本実施の形態３では、２画面表示を例にして説明したが、表示制御装置３０は、３画面表示でも同様に指標画像を表示画像に重畳してもよい。

以上、実施の形態３について説明した。実施の形態３にかかる表示制御装置３０は、画像の幅方向を圧縮して表示するとともに、表示画像が圧縮されて歪んだ状態であることを示す指標画像を表示する。よって、実施の形態３によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。

＜実施の形態４＞
次に、実施の形態４について説明する。実施の形態４は、表示制御装置が車両情報に基づいて車両の動作状態を検出することに特徴を有する。図１４は、実施の形態４にかかる表示システム４のブロック図である。表示システム４は、表示制御装置３０に代えて表示制御装置４０を備える点で表示システム３と異なる。
表示制御装置４０は、表示制御装置３０の構成に加えて、車両情報取得部１８を有する。また表示制御装置４０はＣＡＮ（Controller Area Network）などの車内通信バスを介して車両９０のＥＣＵ９３（ＥＣＵ=Electronic Control Unit）に接続している。

車両情報取得部１８は、車両９０が有するＥＣＵ９３と、車内通信バスであるＣＡＮを介して通信可能に接続し、ＥＣＵ９３から車両情報を取得する。車両情報とは、車両の運転状態に関する車両情報であって、例えばアクセル開度、ハンドル操舵角、方向指示器の動作状態、シフトレバーの位置等である。また車両情報は、動作状態と車両９０の移動速度と組み合わせでもよい。車両情報取得部１８は、取得した車両情報を、動作状態検出部１２に供給する。

動作状態検出部１２は、車両情報取得部１８から車両情報を受け取り、受け取った車両情報に基づいて動作状態を検出する。例えば、車両情報取得部１８から左を示す方向指示器（以降、左方向指示器と称する）がオン状態である場合に、動作状態検出部１２は車両９０の左側への移動方向の変更を検出する。また例えば、左方向指示器がオン状態であって、且つ、車両の移動速度が５０キロメートル毎時等の巡航速度である場合には、動作状態検出部１２は車両９０が左側へ車線変更することを検出する。また例えば、左方向指示器がオン状態であって、且つ、車両の移動速度が１０キロメートル毎時程度である場合には、動作状態検出部１２は車両９０が左側へ左折する可能性が高いことを検出する。動作状態検出部１２は、上述のように車両９０の動作状態を検出して、検出した動作状態から動作状態情報を生成する。そして動作状態検出部１２は、生成した動作状態情報を抽出画像データ生成部１３に供給する。

次に図１５を参照して、実施の形態４にかかる表示制御装置４０が実行する処理について説明する。図１５は、実施の形態４にかかる表示制御装置４０のフローチャートである。図１５に示すステップは、図１１に示すステップＳ１１に代えて、ステップＳ４０と、ステップＳ４２とを有する。なお図１１に示すステップと同様のステップについては、同一の記号を付して説明を適宜省略する。

ステップＳ４０において、表示制御装置１０の動作状態検出部１２は、車両９０の動作状態として、車両９０の方向指示器がオンか否かを判断する。動作状態検出部１２は車両９０の方向指示器がオンであると判断した場合（ステップＳ４０：Ｙｅｓ）、予測移動方向情報を生成する。そして動作状態検出部１２は、予測移動方向情報を抽出画像データ生成部１３およびサイズ割当部１４に供給し、処理をステップＳ２０に進める。一方、動作状態検出部１２は、車両９０の方向指示器がオンであると判断しない場合（ステップＳ４０：Ｎｏ）、処理をステップＳ２４に進める。

ステップＳ４２において、指標画像データ生成部１７は、複数の表示画像の各々に対して指標画像データを生成する。そして指標画像データ生成部１７は、出力部１６に指標画像データを供給する。なおステップＳ１８においては、出力部１６は、複数の表示画像データの各々と、これに対応する指標画像データとを表示部９２に出力する。

なお、実施の形態４にかかる表示制御装置４０は、指標画像データ生成部１７を有していなくてもよい。動作状態検出部１２は、ＥＣＵ９３から取得する車両情報に加えて、加速度センサから取得した加速度の変化や衛星測位システムから取得した自車両の位置情報の変化を利用してもよい。

以上、実施の形態４について説明した。実施の形態４にかかる表示制御装置４０は、車両９０の運転状態に応じて、抽出画像の画角を設定できる。そして実施の形態４にかかる表示制御装置４０は、画像の幅方向を圧縮して表示するとともに、表示画像が圧縮されて歪んだ状態であることを示す指標画像を表示する。よって、実施の形態４によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１，３，４ 表示システム
１０，２０，３０，４０ 表示制御装置
１１ 撮影データ取得部
１２ 動作状態検出部
１３ 抽出画像データ生成部
１４ サイズ割当部
１５ 表示画像データ生成部
１６ 出力部
１７ 指標画像データ生成部
１８ 車両情報取得部
９０ 車両
９１ カメラ
９１Ａ 左カメラ
９１Ｂ 右カメラ
９１Ｃ 後カメラ
９２ 表示部
９３ ＥＣＵ

Claims (6)

1. カメラが車両の外部の風景を撮影して生成した撮影データを取得する撮影データ取得部と、
   前記車両の動作状態を検出する動作状態検出部と、
   前記動作状態に応じて設定された画角により前記撮影データから抽出画像データを生成する抽出画像データ生成部と、
   前記動作状態が検出されたことに応じて、前記抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てるサイズ割当部と、
   複数の前記抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する表示画像データ生成部と、
   複数の前記抽出画像データの各々に対応する前記表示画像データを前記表示部に出力する出力部と、を備え、
   複数の前記抽出画像データは、第１抽出画像データと、第２抽出画像データとを有し、
   前記サイズ割当部は、前記第１抽出画像データに対応する画角の大きさに基づいて、前記第２抽出画像データに対応する表示画像の画像サイズを決定する
   表示制御装置。
2. 前記車両の運転状態に関する車両情報を取得する車両情報取得部をさらに備え、
   前記動作状態検出部は、前記車両情報に基づいて前記動作状態を検出する
   請求項１に記載の表示制御装置。
3. 複数の前記抽出画像データは、前記車両に対して第１方向側の風景に関連する第１抽出画像データと、前記車両に対して第２方向側の風景に関連する第２抽出画像データとを有し、
   前記動作状態は、前記車両の移動方向の変更を含み、
   前記サイズ割当部は、変更される前記移動方向が前記第１方向であることに応じて、前記第１抽出画像データに対応する表示画像の１次方向の長さが、前記第２抽出画像データに対応する表示画像の前記１次方向の長さよりも大きくなるように、画像サイズを割り当てる
   請求項１または２に記載の表示制御装置。
4. 前記表示画像の歪みを表すための指標画像データを生成する指標画像データ生成部をさらに備え、
   前記出力部は、前記指標画像データを前記表示部に出力する
   請求項１から３のいずれか一項に記載の表示制御装置。
5. カメラが車両の外部の風景を撮影して生成した撮影データを取得する撮影データ取得ステップと、
   前記車両の動作状態を検出する動作状態検出ステップと、
   前記動作状態に応じて設定された画角により前記撮影データから抽出画像データを生成する抽出画像データ生成ステップと、
   前記動作状態が検出されたことに応じて、前記抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てるサイズ割当ステップと、
   複数の前記抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する表示画像データ生成ステップと、
   複数の前記抽出画像データの各々に対応する前記表示画像データを前記表示部に出力する出力ステップと、を備え、
   複数の前記抽出画像データは、第１抽出画像データと、第２抽出画像データとを有し、
   前記サイズ割当ステップにおいて、前記第１抽出画像データに対応する画角の大きさに基づいて、前記第２抽出画像データに対応する表示画像の画像サイズが決定される
   表示制御方法。
6. カメラが車両の外部の風景を撮影して生成した撮影データを取得する撮影データ取得ステップと、
   前記車両の動作状態を検出する動作状態検出ステップと、
   前記動作状態に応じて設定された画角により前記撮影データから抽出画像データを生成する抽出画像データ生成ステップと、
   前記動作状態が検出されたことに応じて、前記抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てるサイズ割当ステップと、
   複数の前記抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する表示画像データ生成ステップと、
   複数の前記抽出画像データの各々に対応する前記表示画像データを前記表示部に出力する出力ステップと、を備え、
   複数の前記抽出画像データは、第１抽出画像データと、第２抽出画像データとを有し、
   前記サイズ割当ステップにおいて、前記第１抽出画像データに対応する画角の大きさに基づいて、前記第２抽出画像データに対応する表示画像の画像サイズが決定される
   表示制御方法を、コンピュータに実行させる
   プログラム。

Images