JP7459607B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

Description

本発明は表示制御装置、表示制御方法およびプログラムに関する。

車両の外部の風景を車載カメラにより撮影し、撮影した画像を車内のモニタに表示するシステムが普及している。また車載カメラにより撮影した画像を運転の支援に繋げるための提案が行われている。

例えば、特許文献１に記載のシステムは、車体の後方および側方域の画像をモニタ画面の２つの部分に異なる圧縮率で表示させるとともに、その圧縮率を車両情報に応じて変化させる。

特開２０１６－０４８８３９号公報

上記システムにより表示される画像は画像自体の情報量が増えた訳ではない。一方、車両の動作状態に応じて所望の領域にかかる画像の情報量を増やしたいという要求がある。しかしながら、表示領域を拡大することはできない。

本発明は、このような課題を解決するためになされたものであって、カメラが撮影した画像を好適に表示する表示制御装置等を提供するものである。

本発明にかかる表示制御装置は、撮影データ取得部、動作状態検出部、抽出画像データ生成部、表示画像データ生成部および出力部を有している。撮影データ取得部は、カメラが車両の外部の風景を撮影した撮影データを取得する。動作状態検出部は、車両の動作状態を検出する。抽出画像データ生成部は、動作状態に応じて設定した画角により撮影データから抽出画像を生成する。表示画像データ生成部は、抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する。出力部は、画像サイズを有する表示部に表示画像を出力する。

本発明にかかる表示制御方法は、撮影データ取得ステップ、動作状態検出ステップ、抽出画像データ生成ステップ、表示画像データ生成ステップおよび出力ステップを有している。撮影データ取得ステップは、カメラが車両の外部の風景を撮影した撮影データを取得する。動作状態検出ステップは、車両の動作状態を検出する。抽出画像データ生成ステップは、動作状態に応じて設定した画角により撮影データから抽出画像を生成する。表示画像データ生成ステップは、抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する。出力ステップは、画像サイズを有する表示部に表示画像を出力する。

本発明にかかるプログラムは、コンピュータに表示制御方法を実行させるものであって、上記表示制御方法は、撮影データ取得ステップ、動作状態検出ステップ、抽出画像データ生成ステップ、表示画像データ生成ステップおよび出力ステップを有している。撮影データ取得ステップは、カメラが車両の外部の風景を撮影した撮影データを取得する。動作状態検出ステップは、車両の動作状態を検出する。抽出画像データ生成ステップは、動作状態に応じて設定した画角により撮影データから抽出画像を生成する。表示画像データ生成ステップは、抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する。出力ステップは、画像サイズを有する表示部に表示画像を出力する。

本発明によれば、カメラが撮影した画像を好適に表示させる表示制御装置等を提供することができる。

実施の形態１にかかる表示制御装置のブロック図である。 実施の形態１にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。 実施の形態１にかかる表示制御装置のフローチャートである。 左カメラが撮影した画像の第１の例を示す図である。 表示部に表示される表示画像の第１の例を示す図である。 左カメラが撮影した画像の第２の例を示す図である。 表示部に表示される表示画像の第２の例を示す図である。 実施の形態２にかかる表示制御装置のブロック図である。 実施の形態２にかかる表示画像の例を示す図である。 実施の形態３にかかる表示制御装置のブロック図である。 実施の形態３にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。 実施の形態３にかかる表示制御装置のフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
図１を参照して実施の形態１にかかる表示制御装置の構成について説明する。図１は、実施の形態１にかかる表示制御装置のブロック図である。図１に示す表示制御装置１０は、カメラ９１と表示部９２とにそれぞれ接続している。表示制御装置１０、カメラ９１および表示部９２は、車両に搭載されている。

カメラ９１は、車両の任意の位置に搭載され、車両の外部の風景を撮影して、撮影した画像のデータである撮影データを生成する。カメラ９１は、例えば毎秒３０フレーム（３０ｆｐｓ）の撮影データを生成し、生成した撮影データを３０分の１秒ごとに表示制御装置１０に供給する。撮影データは、例えば、Ｈ．２６４もしくはＨ．２６５等の方式を用いて生成されてもよい。

カメラ９１は、複数のカメラを有してもよい。本実施の形態におけるカメラ９１は、左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃを含む。左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃは、それぞれが対物レンズ、撮像素子およびＡ－Ｄ（Analog to Digital）変換素子等を有する撮像装置である。左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃは、それぞれが撮影データを生成し、生成した撮影データを表示制御装置１０に供給する。

表示部９２は、運転者に情報を提示できるように設置された表示部であって、例えば液晶パネルまたは有機ＥＬ（Electro Luminescence）パネル等の表示部を含む。表示部９２は、ダッシュボード等、運転者が表示部を視認できる位置に設置される。表示部９２は、表示制御装置１０から画像データを受け取り、受け取った画像データにかかる画像を表示部に表示する。

表示制御装置１０は、例えばＣＰＵ（Central Processing Unit）やＭＣＵ（Micro Controller Unit）などの演算装置を有している。また表示制御装置１０は、上記演算装置に加えて、フラッシュメモリもしくはＤＲＡＭ（Dynamic Random Access Memory）のような不揮発性もしくは揮発性のメモリ、およびその他の電気回路により構成された制御基板を少なくとも有している。表示制御装置１０は、これらの演算装置などにプログラムが組み込まれており、ソフトウェアまたはハードウェアの組み合わせにより以下に示す機能を実現する。

表示制御装置１０は、カメラ９１が撮影した画像にかかる画像データを処理し、処理した所定の画像データを、表示部９２に出力する。表示制御装置１０は主な構成として、撮影データ取得部１１、動作状態検出部１２、抽出画像データ生成部１３、表示画像データ生成部１４および出力部１５を有している。なお、表示制御装置１０が有するこれらの要素は、通信バスにより通信可能に接続されている。

撮影データ取得部１１は、カメラ９１が車両の外部の風景を撮影して生成した撮影データを取得する。撮影データ取得部１１は、取得した撮影データを、通信バスを介して抽出画像データ生成部１３に供給する。

動作状態検出部１２は、車両の動作状態を検出し、動作状態に応じた動作状態情報を生成する。ここで、「車両の動作状態」とは、車両の移動に関する動作の状態をいう。すなわち、本実施の形態において、車両の動作状態は、例えば、車両の移動方向や車両の移動速度である。動作状態検出部１２は、例えば、撮影データ取得部１１が取得する撮影データにかかる画像を解析し、解析した画像に含まれる物体の位置の変化から、車両の動作状態を検出してもよい。動作状態検出部１２は、上述のように生成した動作状態情報を、抽出画像データ生成部１３に供給する。

なお、動作状態検出部１２は、例えば加速度センサ（不図示）に接続し、加速度センサから取得した加速度の変化から、車両の動作状態を検出してもよい。また動作状態検出部１２は、ＧＮＳＳ（Global Navigation Satellite System）などの衛星測位システムから自車両の位置を測位するための測位情報を受信する測位情報受信部（不図示）に接続し、測位情報受信部から取得した位置情報の変化から、車両の動作状態を検出してもよい。

抽出画像データ生成部１３は、撮影データ取得部１１から撮影データを受け取る。また抽出画像データ生成部１３は、動作状態検出部１２から動作状態情報を受け取り、受け取った動作状態情報から、抽出画像を生成するための画角を決定する。より具体的には、本実施の形態にかかる抽出画像データ生成部１３は、車両の移動速度に応じた画角を設定する。例えば、抽出画像データ生成部１３は、移動速度が第１速度における第１画角を、第１速度より遅い第２速度における第２画角より狭く設定する。

抽出画像データ生成部１３は、上述のように決定した画角の画像を、撮影データから抽出し、抽出した領域の画像（抽出画像）にかかる抽出画像データを生成する。このように、抽出画像データ生成部１３は、車両の動作状態に応じて設定した画角により撮影データから抽出画像を生成する。抽出画像データ生成部１３は、生成した抽出画像データを、表示画像データ生成部１４に供給する。

表示画像データ生成部１４は、抽出画像データ生成部１３から抽出画像データを受け取り、受け取った抽出画像データを用いて表示画像データを生成する。表示画像データは、表示部９２に出力するデータであって、表示部９２が有する表示部の画像サイズに対応した画像データである。なお、ここで「表示部の画像サイズ」とは、表示画像が表示部全体ではなく表示部内の定められた領域に表示される場合には、当該領域の画像サイズを意味する。すなわち、表示画像データ生成部１４は、抽出画像を予め設定された画像サイズに変換した表示画像データを生成する。表示画像データ生成部１４が抽出画像に対して行う処理は、拡大、縮小、伸張、圧縮、ノイズ除去、色調補正等の処理を含む。表示画像データ生成部１４は、生成した表示画像を、出力部１５に供給する。

なお、表示画像データ生成部１４が行うこれらの処理の具体的な手法は、既に当業者に知られているものである。そのため、ここでの詳述は省略するが、例えば画像を拡大または縮小する手法の具体的な態様として、画像の伸長または圧縮がある。画像の拡大または縮小は、所定の画素と周囲の画素との間隔を変更し、その間の画素を補間する。また、画像を伸張するとは、画像を所定の一方向に沿って引き伸ばすことを意味する。この場合、引き伸ばす方向の画素について、画素同士の間隔を拡げ、その間の画素を補間する。また、画像を圧縮するとは、画像を所定の一方向に沿って縮めることを意味する。この場合、縮める方向の画素について、画素同士の間隔を狭め、適宜画素を補間する。

出力部１５は、表示制御装置１０と表示部９２とを通信可能に接続するためのインタフェースである。出力部１５は、予め設定された画像サイズを有する表示部９２に表示画像を出力する。

次に、図２を参照して、車両におけるカメラの撮影範囲の例について説明する。図２は、実施の形態１にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。図２に示した車両９０は、自動車であって、移動体としての一実施態様である。

車両９０は、図１において説明した左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃの３つのカメラを有している。左カメラ９１Ａは、車両９０の左面に設置されており、車両９０の左側の風景を撮影する。左カメラ９１Ａは、二点鎖線により示された水平方向の撮影画角Ａ１０が１８０度である。すなわち左カメラ９１Ａが撮影する画像は、車両９０の左側における画角１８０度の風景が含まれる。右カメラ９１Ｂは、車両９０の右面に設置されており、車両９０の右側の風景を撮影する。右カメラ９１Ｂは、水平方向の撮影画角Ｂ１０が１８０度である。同様に、後カメラ９１Ｃは、車両９０の背面に設置されており、車両９０の後側の風景を撮影する。後カメラ９１Ｃは、水平方向の撮影画角Ｃ１０が１８０度である。なお、以降の説明において、水平方向の画角または水平画角を、単に「画角」と称する場合がある。

左カメラ９１Ａから車両９０の左後方へ放射状に延びる実線は、左カメラ９１Ａの撮影画像から抽出される抽出画像の画角Ａ１１および画角Ａ１１より広い画角Ａ１２を示している。例えば、抽出画像データ生成部１３は、移動速度が第１速度における第１画角を画角Ａ１１に設定し、第１速度より遅い第２速度における第２画角を画角Ａ１２に設定する。

また、右カメラ９１Ｂから車両９０の右後方へ放射状に延びる実線は、右カメラ９１Ｂの撮影画像から抽出される抽出画像の画角Ｂ１１を示している。後カメラ９１Ｃから車両９０の後方へ放射状に延びる実線は、後カメラ９１Ｃの撮影画像から抽出される抽出画像の画角Ｂ１１を示している。

次に、図３を参照して表示制御装置１０が行う処理について説明する。図３は、実施の形態１にかかる表示制御装置１０のフローチャートである。図３に示すフローチャートは、図２に示した車両９０に搭載された表示制御装置１０における左カメラ９１Ａの処理について示した物である。図３に示すフローチャートは、例えば車両９０の主システムが起動することにより開始される。

まず、表示制御装置１０の撮影データ取得部１１は、左カメラ９１Ａから撮影データを取得する（ステップＳ１０）。次に、表示制御装置１０の動作状態検出部１２は、車両９０の動作状態として、車両９０の移動速度Ｖが、閾値Ｖｔｈ以上か否かを判断する（ステップＳ１１）。車両９０の移動速度Ｖが閾値Ｖｔｈ以上と判断した場合（ステップＳ１１：Ｙｅｓ）、表示制御装置１０はステップＳ１２に進む。一方、車両９０の移動速度Ｖが閾値Ｖｔｈ以上と判断しない場合（ステップＳ１１：Ｎｏ）、表示制御装置１０はステップＳ１３に進む。

ステップＳ１２において、表示制御装置１０の抽出画像データ生成部１３は、抽出画像の画角Ａを画角Ａ１１に設定する（ステップＳ１２）。そして表示制御装置１０は、ステップＳ１４に進む。

ステップＳ１３において、表示制御装置１０の抽出画像データ生成部１３は、抽出画像の画角Ａを画角Ａ１２に設定する（ステップＳ１３）。そして表示制御装置１０は、ステップＳ１４に進む。

すなわち閾値Ｖｔｈは、抽出画像データ生成部１３が画角を設定するための条件になる。また閾値Ｖｔｈは天候の状況によって図示していない表示制御装置１０に接続された端末装置を用いて任意に変えてもよい。

ステップＳ１４において、表示制御装置１０の抽出画像データ生成部１３は、設定した画角により抽出画像データを生成する（ステップＳ１４）。すなわち、車両の移動速度Ｖが閾値Ｖｔｈ以上の場合、抽出画像データ生成部１３は画角Ａ１１の抽出画像にかかる抽出画像データを生成する。一方、車両の移動速度Ｖが閾値Ｖｔｈ以上でない場合、抽出画像データ生成部１３は画角Ａ１１より広い画角Ａ１２の抽出画像にかかる抽出画像データを生成する。抽出画像データ生成部１３は、抽出画像データを生成すると、生成した抽出画像データを表示画像データ生成部１４に供給する。

次に、表示制御装置１０の表示画像データ生成部１４は、抽出画像データ生成部１３から受け取った抽出画像データから表示画像データを生成し（ステップＳ１５）、生成した表示画像データを出力部１５に供給する。具体的には、閾値Ｖｔｈ以上の場合、表示画像データの画像サイズはそのままで生成し、閾値Ｖｔｈ以上でない場合、表示画像データの画素を圧縮して生成する。

次に、表示制御装置１０の出力部１５は、表示画像データ生成部１４から受け取った表示画像データを、表示部９２に出力する（ステップＳ１６）。

次に、表示制御装置１０は、一連の処理を終了させるか否かを判断する（ステップＳ１７）。一連の処理を終了させる場合とは、例えばシステムが停止される場合や、運転者の操作により処理を終了させる場合などである。一連の処理を終了させると判断しない場合（ステップＳ１７：Ｎｏ）、表示制御装置１０はステップＳ１０に戻り処理を続ける。一連の処理を終了させると判断した場合（ステップＳ１７：Ｙｅｓ）、表示制御装置１０は処理を終了させる。

上述の処理により、表示制御装置１０は、車両９０の移動速度に応じて抽出画像の画角を設定する。なお、上述の説明は、左カメラ９１Ａの処理を一例として示したが、当然ながら上述の処理は、右カメラ９１Ｂまたは後カメラ９１Ｃにおける処理にも適用される。

次に、図４を参照して、左カメラ９１Ａが撮影する画像の例について説明する。図４は、左カメラ９１Ａが撮影した画像の第１の例を示す図である。図４に示す画像Ｐ１０は、左カメラ９１Ａが車両９０の左側の風景を撮影したものである。画像Ｐ１０の右側は車両９０の左前方の風景であり、画像Ｐ１０の左側は車両９０の左後方の風景である。画像Ｐ１０の右側にはトラックおよび二輪車が撮影されている。すなわち車両９０の左前方には、トラックおよび二輪車が存在している。また画像Ｐ１０の左側には他車両Ｈ１、他車両Ｈ２および他車両Ｈ３が撮影されている。すなわち車両９０の左後方には、他車両Ｈ１～Ｈ３が存在している。なお、画像Ｐ１０は画角１８０度という広角で撮影された画像のため、所定の歪曲収差を有している。そのため画像Ｐ１０に含まれる画像は歪んだ状態で表示されている。

図４に示す画像Ｐ１０の左側には、抽出画像の外縁Ｔ１１が太い二点鎖線により示されている。すなわち抽出画像は、外縁Ｔ１１により囲まれた領域である。ここで、外縁Ｔ１１は、上述の画角Ａ１１にかかる抽出画像を示している。抽出画像データ生成部１３は、図４に示す撮影データから抽出画像データを生成するにあたり、車両９０の移動速度ＶがＶｔｈ以上であることから画角Ａ１１を設定し、外縁Ｔ１１により示す領域を抽出する。外縁Ｔ１１により囲まれた領域には、他車両Ｈ１および他車両Ｈ２が含まれる。よって、抽出画像には他車両Ｈ１および他車両Ｈ２が含まれる。

なお、図４に示す外縁Ｔ１１は、画像Ｐ１０が有する歪曲収差に対応するように歪んでいる。表示画像データ生成部１４は、外縁Ｔ１１が矩形になり、且つ、後述する表示画像の画像サイズになるように抽出画像を処理する。

次に、図５を参照して、表示部９２が表示する表示画像の例について説明する。図５は、表示部に表示される表示画像の第１の例を示す図である。図５には、表示画像Ｐ１００が示されている。表示画像Ｐ１００は、左表示画像Ｐ１１、後表示画像Ｐ１２および右表示画像Ｐ１３を含む。

左表示画像Ｐ１１は、左カメラ９１Ａの撮影データから生成した画像である。後表示画像Ｐ１２は、後カメラ９１Ｃの撮影データから生成した画像である。右表示画像Ｐ１３は、右カメラ９１Ｂの撮影データから生成した画像である。すなわち表示画像Ｐ１００は、左カメラ９１Ａ、右カメラ９１Ｂおよび後カメラ９１Ｃが生成したそれぞれの撮影データを抽出画像データ生成部１３が適宜抽出し、さらに表示画像データ生成部１４が表示画像として処理したものが並べて表示されている。左表示画像Ｐ１１は、表示画像Ｐ１００のうち、幅Ｗ１１の領域に表示される。また後表示画像Ｐ１２は、表示画像Ｐ１００のうち、幅Ｗ１２の領域に表示される。さらに右表示画像Ｐ１３は、表示画像Ｐ１００のうち、幅Ｗ１３の領域に表示される。

図５に示す左表示画像Ｐ１１は、図４に示す外縁Ｔ１１により抽出された抽出画像データから生成されたものである。そのため、左表示画像Ｐ１１には、他車両Ｈ１および他車両Ｈ２が含まれる。図に示すように、表示画像データ生成部１４は、歪曲収差を有する抽出画像データから、実質的に歪みのない画像として左表示画像Ｐ１１を生成している。このように表示画像データ生成部１４は、表示画像Ｐ１００に含まれる左表示画像Ｐ１１、後表示画像Ｐ１２および右表示画像Ｐ１３を、それぞれの撮影データから実質的に歪みのない状態の画像を生成して表示する。

次に、図６を参照して、左カメラ９１Ａが撮影する画像の別の例について説明する。図６は、左カメラが撮影した画像の第２の例を示す図である。図６に示す画像Ｐ１０は、図４に示す画像と同様に、左カメラ９１Ａが車両９０の左側の風景を撮影したものである。図６に示す画像Ｐ１０は、抽出画像にかかる外縁Ｔ１２が、図４に示す外縁Ｔ１１と異なる。

図６に示す画像Ｐ１０の左側には、外縁Ｔ１２が太い二点鎖線により示されている。外縁Ｔ１２は、上述の画角Ａ１２にかかる抽出画像を示している。抽出画像データ生成部１３は、図６に示す撮影データから抽出画像データを生成するにあたり、車両９０の移動速度ＶがＶｔｈ未満であることから画角Ａ１２を設定し、外縁Ｔ１２により示す領域を抽出する。画角Ａ１２は画角Ａ１１より広い。そのため外縁Ｔ１２により囲まれた領域には、他車両Ｈ１、他車両Ｈ２に加えて他車両Ｈ３が含まれる。よって、抽出画像には他車両Ｈ１～Ｈ３が含まれる。表示画像データ生成部１４は、外縁Ｔ１２が矩形になり、且つ、後述する表示画像の画像サイズになるように抽出画像を処理する。

次に、図７を参照して、表示部９２が表示する表示画像の例について説明する。図７は、表示部に表示される表示画像の第２の例を示す図である。図７には、表示画像Ｐ１０１が示されている。表示画像Ｐ１０１は、左表示画像Ｐ１１に代えて、左表示画像Ｐ１４を有している点が、図５に示した画像Ｐ１００と異なる。以下に、画像Ｐ１００と異なる点について主に説明する。

図７に示す左表示画像Ｐ１４は、図６に示す外縁Ｔ１２により抽出された抽出画像データから生成されたものである。そのため、左表示画像Ｐ１４には、他車両Ｈ１、他車両Ｈ２に加えて、他車両Ｈ３が含まれる。また左表示画像Ｐ１４が表示されている幅Ｗ１１は、図５に示した左表示画像Ｐ１１と同じ幅Ｗ１１である。つまり左表示画像Ｐ１４は、画角Ａ１１より広い画角Ａ１２にかかる画像を、画角Ａ１１にかかる画像と同じ幅で表示している。そのため、左表示画像Ｐ１１と左表示画像Ｐ１４とを比較すると、左表示画像Ｐ１４は左右方向の幅が相対的に圧縮されている。すなわち、移動速度ＶがＶｔｈ未満の場合に左表示画像Ｐ１１として表示される画像の画角は、移動速度ＶがＶｔｈ以上の場合に比べて広い。このように、表示制御装置１０は、表示部の面積を拡大することなく、より広い範囲の画像を表示できる。よって表示制御装置１０は、好適にユーザの運転支援を行うことが出来る。

なお、上述の説明は、例として左カメラ９１Ａの撮影データを示したが、上述の構成は、右カメラ９１Ｂおよび後カメラ９１Ｃにも適用できる。また、本実施の形態における表示制御装置１０は、カメラ９１として上述の３種類のカメラを有していたが、カメラの数は１つ以上であればよい。また上述の例においてカメラ９１は、魚眼レンズを含み、撮影データにかかる画像が歪曲収差を有しているものであった。しかし、カメラ９１が撮影する画像は上述のものに限られず、歪みを有さないものであってもよい。また、上述した車両の移動速度Ｖと画角Ａとの関係は一例であって、車両の動作状態に応じて抽出画像データにかかる画角が設定される構成であれば、移動速度Ｖと画角Ａとの関係は上述のものに限られない。

なお、表示画像データ生成部１４は、抽出画像データにかかる抽出画像を、表示部に対して９０度回転して表示させてもよい。例えば、左表示画像Ｐ１４として抽出画像を回転させずに表示画像に変換することを第１変換と称する。これに対して左表示画像Ｐ１４として抽出画像を９０度回転させて表示画像に変換することを第２変換と称する。このとき、第１変換にかかる画像の歪みが、第２変換にかかる画像の歪みより大きい場合に、表示画像データ生成部１４は、抽出画像を第２変換により変換して表示画像を生成するものであってもよい。このような構成により、表示制御装置１０は、より歪みが少なく、且つ、好適な画角の画像を表示できる。

以上、実施の形態１について説明した。実施の形態１にかかる表示制御装置１０は、画像の左右方向を圧縮して表示することにより、圧縮しない場合に比べて画角の広い画像を表示する。よって、実施の形態１によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２にかかる表示制御装置は、指標画像データ生成部を有している点が、実施の形態１と異なる。図８は、実施の形態２にかかる表示制御装置のブロック図である。図８に示す表示制御装置２０は、指標画像データ生成部１６を有している。

指標画像データ生成部１６は、表示画像データ生成部１４が生成する表示画像の歪み状態を取得し、取得した歪み状態に応じた指標画像を生成する。「指標画像データ」は、表示画像データに含まれる表示画像の歪んでいる状態を示す「指標画像」のデータである。指標画像は、例えば表示画像データ生成部１４が歪みのない画像を生成した場合の画像と比較できるように構成される。

指標画像データ生成部１６は、表示画像の歪みを表すための指標画像を含む指標画像データを生成する。そして指標画像データ生成部１６は、生成した指標画像データを表示画像データ生成部１４に供給する。さらに表示画像データ生成部１４は、指標画像データ生成部１６から受け取った指標画像データを重畳させて表示画像データを生成する。

図９を参照して、指標画像の具体例について説明する。図９は、実施の形態２にかかる表示画像の例を示す図である。図９に示す画像Ｐ１０２は、図７に示した画像Ｐ１０１に、指標画像を重畳させたものである。左表示画像Ｐ１４の上部には指標画像Ｇ１４が重畳されている。後表示画像Ｐ１２の上部には指標画像Ｇ１２が重畳されている。右表示画像Ｐ１３の上部には指標画像Ｇ１３が重畳されている。なお、指標画像Ｇ１２～Ｇ１４がそれぞれの画像の上部に配置されていることにより、表示制御装置１０は、指標画像が他車両や道路などの表示を妨げることを抑制している。

指標画像Ｇ１２および指標画像Ｇ１３はそれぞれ円形をしている。これは、指標画像Ｇ１２にかかる後表示画像Ｐ１２は歪みを有していないこと、および、指標画像Ｇ１３にかかる後表示画像Ｐ１３は歪みを有していないことを意味する。一方、指標画像Ｇ１４は、上下方向が相対的に長く、左右方向が相対的に短い縦長の楕円形をしている。またこの大円の上下方向の長さは、指標画像Ｇ１２および指標画像Ｇ１３と同じである。すなわち指標画像Ｇ１４は、指標画像Ｇ１２および指標画像Ｇ１３よりも相対的に左右方向が圧縮された形状となっている。これは、指標画像Ｇ１４にかかる左表示画像Ｐ１４が相対的に左右方向に圧縮されたものであることを示している。このような表示により、ユーザは、指標画像を視認した場合に、当該指標画像にかかる表示画像がどのように歪んでいるかを直感的に理解できる。

以上、実施の形態２について説明したが、指標画像は実際の歪みに予め設定された設定された係数をかけることにより、表示画像の歪みと同じ傾向の歪みであって、歪みの度合いが異なるものであっても良い。これにより表示制御装置２０は、ユーザがより直感的に歪み状態を理解するように、指標画像データを生成できる。また上述の例では、指標画像が表示画像に重畳されていたが、指標画像は、表示画像内に重畳されていなくてもよい。例えば表示画像が表示部の画像サイズより小さく、その他の表示領域が存在する場合には、指標画像は、その他の表示領域に表示されていてもよい。

以上、実施の形態２について説明した。実施の形態２にかかる表示制御装置２０は、画像の左右方向を圧縮して表示するとともに、表示画像が圧縮されて歪んだ状態であることを示す指標画像を表示する。よって、実施の形態２によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３にかかる表示制御装置は、車両情報取得部をさらに有している点が、実施の形態２と異なる。図１０は、実施の形態３にかかる表示制御装置のブロック図である。図１０に示す表示制御装置３０は、車両情報取得部１７を有している点が、実施の形態１および実施の形態２と異なる。また表示制御装置３０はＣＡＮ（Controller Area Network）などの車内通信バスを介して車両９０のＥＣＵ９３（ＥＣＵ=Electronic Control Unit）に接続している。
車両情報取得部１７は、車両９０が有するＥＣＵ９３と、車内通信バスであるＣＡＮを介して通信可能に接続し、ＥＣＵ９３から車両情報を取得する。車両情報とは、車両の運転状態に関わる情報であって、例えばアクセル開度、ハンドル操舵角、方向指示器の動作状態、シフトレバーの位置等である。また車両情報は、動作状態と車両９０の移動速度の組み合わせでもよい。車両情報取得部１７は、取得した車両情報を、動作状態検出部１２に供給する。

動作状態検出部１２は、車両情報取得部１７から車両情報を受け取り、受け取った車両情報を用いて動作状態を検出する。例えば、車両情報取得部１７から左を示す方向指示器（以降、左方向指示器と称する）がオン状態である場合に、動作状態検出部１２は車両９０が左側に移動することを検出する。また例えば、左方向指示器がオン状態であって、且つ、車両の移動速度が５０キロメートル毎時等の巡航速度である場合には、動作状態検出部１２は車両９０が左側へ車線変更することを検出する。また例えば、左方向指示器がオン状態であって、且つ、車両の移動速度が１０キロメートル毎時程度である場合には、動作状態検出部１２は車両９０が左側へ左折する可能性が高いことを検出する。動作状態検出部１２は、上述のように車両９０の動作状態を検出して、検出した動作状態から動作状態情報を生成する。そして動作状態検出部１２は、生成した動作状態情報を抽出画像データ生成部１３に供給する。

次に、図１１を参照して、車両におけるカメラの撮影範囲の例について説明する。図１１は、実施の形態３にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。図１１に示した車両９０の上面図は、左カメラ９１Ａの画角Ａ１３をさらに有する点が、図２と異なる。

図１１において、左カメラ９１Ａから車両９０の左後方へ放射状に延びる実線は、左カメラ９１Ａの撮影画像から抽出される抽出画像の画角Ａ１１、画角Ａ１１より広い画角Ａ１２および画角Ａ１２より広い画角Ａ１３を示している。

例えば、抽出画像データ生成部１３は、車両９０が直進しており、移動速度が第１速度の場合には抽出画像にかかる画角を画角Ａ１１に設定する。例えば、抽出画像データ生成部１３は、車両９０の左方向指示器がオン状態であり、移動速度が第１速度の場合には抽出画像にかかる画角を画角Ａ１２に設定する。抽出画像データ生成部１３は、車両９０の左方向指示器がオン状態であり、移動速度が第１速度より遅い第２速度の場合には抽出画像にかかる画角を画角Ａ１３に設定する。

次に図１２を参照して、実施の形態３にかかる表示制御装置３０が実行する処理について説明する。図１２は、実施の形態３にかかる表示制御装置のフローチャートである。図１２に示すフローチャートは、ステップＳ１０からステップＳ１４の間の処理が、図３に示したフローチャートと異なる。

まず、表示制御装置１０の撮影データ取得部１１は、左カメラ９１Ａから撮影データを取得する（ステップＳ１０）。次に、表示制御装置１０の動作状態検出部１２は、車両９０の動作状態として、車両９０の左方向指示器がオンか否かを判断する（ステップＳ２１）。車両９０の左方向指示器がオンであると判断しない場合（ステップＳ２１：Ｎｏ）、表示制御装置１０はステップＳ２２に進む。一方、車両９０の左方向指示器がオンであると判断する場合（ステップＳ２１：Ｙｅｓ）、表示制御装置１０はステップＳ２３に進む。

ステップＳ２２において、表示制御装置１０の抽出画像データ生成部１３は、抽出画像の画角Ａを画角Ａ１１に設定する（ステップＳ２２）。そして表示制御装置１０は、ステップＳ１４に進む。

ステップＳ２３において、動作状態検出部１２は、車両９０の移動速度Ｖが、閾値Ｖｔｈ以上か否かを判断する（ステップＳ２３）。車両９０の移動速度Ｖが閾値Ｖｔｈ以上と判断した場合（ステップＳ２３：Ｙｅｓ）、表示制御装置１０はステップＳ２４に進む。一方、車両９０の移動速度Ｖが閾値Ｖｔｈ以上と判断しない場合（ステップＳ２３：Ｎｏ）、表示制御装置１０はステップＳ２５に進む。

ステップＳ２４において、表示制御装置１０の抽出画像データ生成部１３は、抽出画像の画角Ａを画角Ａ１２に設定する（ステップＳ２４）。そして表示制御装置１０は、ステップＳ１４に進む。

ステップＳ２５において、表示制御装置１０の抽出画像データ生成部１３は、抽出画像の画角Ａを画角Ａ１３に設定する（ステップＳ２５）。そして表示制御装置１０は、ステップＳ１４に進む。

ステップＳ１４以降は、図３に示したフローチャートと同じであるため、ここでは説明を省略する。

上述の処理により、表示制御装置３０は、車両９０が有する方向指示器の状態および車両９０の移動速度に応じて抽出画像の画角を設定する。なお、上述の説明は、左カメラ９１Ａの処理を一例として示したが、当然ながら上述の処理は、右カメラ９１Ｂまたは後カメラ９１Ｃにおける処理にも適用される。また抽出画像データ生成部１３が設定する画角と動作状態との関係は、本実施の形態を説明するための一例であって、表示制御装置３０は、上述の処理と異なる処理を行ってもよい。

なお、実施の形態３にかかる表示制御装置３０は、実施の形態１と同様に、指標画像データ生成部１６を有していなくてもよい。動作状態検出部１２は、ＥＣＵ９３から取得する車両情報に加えて、加速度センサから取得した加速度の変化や衛星測位システムから取得した自車両の位置情報の変化を利用してもよい。

以上、実施の形態３について説明した。実施の形態３にかかる表示制御装置３０は、車両９０の運転状態に応じて、抽出画像の画角を設定できる。そして実施の形態３にかかる表示制御装置３０は、画像の左右方向を圧縮して表示するとともに、表示画像が圧縮されて歪んだ状態であることを示す指標画像を表示する。よって、実施の形態３によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 表示制御装置
１１ 撮影データ取得部
１２ 動作状態検出部
１３ 抽出画像データ生成部
１４ 表示画像データ生成部
１５ 出力部
１６ 指標画像データ生成部
１７ 車両情報取得部
２０ 表示制御装置
３０ 表示制御装置
９０ 車両
９１ カメラ
９１Ａ 左カメラ
９１Ｂ 右カメラ
９１Ｃ 後カメラ
９２ 表示部
９３ ＥＣＵ

Claims (7)

1. カメラが車両の外部の風景を撮影した撮影データを取得する撮影データ取得部と、
   前記車両の動作状態を検出する動作状態検出部と、
   前記動作状態に応じて設定した画角により前記撮影データにかかる画像から抽出画像データを生成する抽出画像データ生成部と、
   前記抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する表示画像データ生成部と、
   前記画像サイズを有する表示部に前記表示画像データを出力する出力部と、を備え、
   前記表示画像データ生成部は、前記抽出画像データにかかる抽出画像を前記表示部に対して回転させずに前記表示画像に変換した第１変換にかかる画像の歪みが、前記抽出画像を前記表示部に対して９０度回転させて前記表示画像に変換した第２変換にかかる画像の歪みより大きい場合に、前記抽出画像を前記第２変換により変換した前記表示画像を生成する、
   表示制御装置。
2. 前記動作状態検出部は、前記車両の移動速度を検出し、
   前記抽出画像データ生成部は、前記移動速度が第１速度における第１画角を
   前記第１速度より遅い第２速度における第２画角より狭く設定した抽出画像データを生成する
   請求項１に記載の表示制御装置。
3. 前記車両の運転状態に関する車両情報を取得する車両情報取得部をさらに備え、
   前記動作状態検出部は、前記車両情報に基づいて前記動作状態を検出し、
   前記抽出画像データ生成部は、前記動作状態によって第１画角または第２画角に設定した抽出画像データを生成する
   請求項２に記載の表示制御装置。
4. 前記表示画像データ生成部は、前記抽出画像データ生成部が、前記第２画角に設定された前記抽出画像データを生成した場合、前記表示部が有する前記画像サイズに変換するために前記抽出画像データの圧縮を行って、前記表示画像データを生成する
   請求項２または３に記載の表示制御装置。
5. 前記表示画像の歪みを表すための指標画像データを生成して出力する指標画像データ生成部をさらに備える
   請求項１～４のいずれか一項に記載の表示制御装置。
6. カメラが車両の外部の風景を撮影した撮影データを取得する撮影データ取得ステップと、
   前記車両の動作状態を検出する動作状態検出ステップと、
   前記動作状態に応じて設定した画角により前記撮影データから抽出画像データを生成する抽出画像データ生成ステップと、
   前記抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する表示画像データ生成ステップと、
   前記画像サイズを有する表示部に前記表示画像を出力する出力ステップと、を備え、
   前記表示画像データ生成ステップは、前記抽出画像データにかかる抽出画像を前記表示部に対して回転させずに前記表示画像に変換した第１変換にかかる画像の歪みが、前記抽出画像を前記表示部に対して９０度回転させて前記表示画像に変換した第２変換にかかる画像の歪みより大きい場合に、前記抽出画像を前記第２変換により変換した前記表示画像を生成する、
   表示制御方法。
7. カメラが車両の外部の風景を撮影した撮影データを取得する撮影データ取得ステップと、
   前記車両の動作状態を検出する動作状態検出ステップと、
   前記動作状態に応じて設定した画角により前記撮影データから抽出画像データを生成する抽出画像データ生成ステップと、
   前記抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する表示画像データ生成ステップと、
   前記画像サイズを有する表示部に前記表示画像を出力する出力ステップと、を備え、
   前記表示画像データ生成ステップは、前記抽出画像データにかかる抽出画像を前記表示部に対して回転させずに前記表示画像に変換した第１変換にかかる画像の歪みが、前記抽出画像を前記表示部に対して９０度回転させて前記表示画像に変換した第２変換にかかる画像の歪みより大きい場合に、前記抽出画像を前記第２変換により変換した前記表示画像を生成する、
   表示制御方法を、コンピュータに実行させる
   プログラム。

Images