JP6136747B2 - ２次元３次元表示装置 - Google Patents

Description

本発明は、カメラにより撮影された対象物を含む車両周囲状況を表示する２次元３次元表示装置に関する。

従来、ステレオカメラなどを使用した立体視映像を活用した技術が知られている。例えば、特許文献１に記載された映像処理装置において、視聴者検出部は、カメラで撮影された映像を用いて顔認識を行い、視聴者の位置情報を取得する。補正量算出部は、カメラの取り付け位置のずれに伴う位置情報の誤差を補償するための補正量を算出し、位置情報補正部は、補正量算出部で算出された補正量を用いて視聴者の位置情報を補正する。

視域情報補正部は、位置情報補正部により補正された視聴者の位置情報を用いて視聴者を収める視域を設定するための制御パラメータを算出し、視域制御部は、制御パラメータに応じて視域を制御する。これにより、カメラの位置ずれを容易に補正し、視聴者が良好な立体画像を見ることができる。

特許第５１２９３７７号公報

しかしながら、特許文献１に記載された映像処理装置の立体映像では、カメラに近い物体に対しては映像視差が大きい。このため、立体映像を視認するとき、映像内に存在するカメラ近傍の物体、特に自車の車体部分が存在する場合、カメラ近傍の視差ずれが大きい自車の車体部分を視認してしまう。その結果、注視すべき自車の周囲の対象物および遠方の対象物に対して視認時間がかかるという問題があった。

本発明は、３次元映像のカメラに近い物体への注視を低減させ、視線認識すべき情報の認知時間を低減させることができる２次元３次元表示装置を提供する。

本発明において、２次元３次元映像描画部は、カメラからの映像情報とカメラからの光軸情報とに基づきカメラに対して所定距離以内に存在する物体に対して２次元映像を生成し、前記カメラに対して所定距離よりも長い距離離れて存在する物体に対して３次元映像を生成する。２次元３次元表示部は、物体を２次元映像で表示しカメラに対して所定距離よりも長い距離離れて存在する物体を３次元映像で表示する。

本発明によれば、カメラに対して所定距離以内に存在する物体は、２次元映像で表示され、カメラに対して所定距離よりも長い距離離れて存在する物体は３次元映像で表示される。従って、３次元映像のカメラに近い物体への注視を低減させ、視認すべき情報の認知時間を低減させることができる。

本発明の第１の実施形態の２次元３次元表示装置の構成を示すブロック図である。 第１の実施形態の２次元３次元表示装置の処理を示すフローチャートである。 第１の実施形態の２次元３次元表示装置においてサイドミラーに相当する位置にカメラを取り付けたときにカメラに映る車体部のみを２次元表示した例を示す図である。 第１の実施形態の２次元３次元表示装置において車体後部のバックビューカメラの搭載位置にカメラを搭載してカメラに映る車体部のみを２次元表示した例を示す図である。 第１の実施形態の２次元３次元表示装置においてサイドミラーに相当する位置に３次元カメラを取り付けたときにカメラに映る車体部をカメラに近い位置から遠くに行くに従って２次元表示から３次元表示に変更した視差変更例を示す図である。 図５に示す視差変更例において車体部をカメラ近傍から５段階で視差変化させる例を示す図である。 図５に示す視差変更例において車体部をカメラ近傍から５段階で視差変化させる例を示す図である。 第２の実施形態の２次元３次元表示装置の処理を示すフローチャートである。 第２の実施形態の２次元３次元表示装置において車体表示の解像度を変更する例を示すである。 第２の実施形態の２次元３次元表示装置において車体表示のコントラストを変更する例を示す図である。

（第１の実施形態）
以下、本発明の実施の形態の２次元３次元表示装置について図面を参照して説明する。図１に本発明の第１の実施形態の２次元３次元表示装置の構成を示す。

この２次元３次元表示装置は、２次元／３次元表示部（以下、２Ｄ／３Ｄ表示部と称する。）１、情報表示部２、カメラ３、車両信号情報部４を備える。情報表示部２は、２次元／３次元映像描画部（以下、２Ｄ／３Ｄ映像描画部と称する。）２１、ＣＰＵ（Central Processing Unit）２２、ＲＯＭ(Read Only Memory)２３、ＲＡＭ(Random Access Memory)２４、インターフェース２５を備える。

２Ｄ／３Ｄ表示部１は、カメラ３により撮影された注視すべき対象物を含む車両周囲状況を表示する。情報表示部２は、３次元カメラからなるカメラ３からの映像情報(カメラ映像)及び車両信号情報部４からカメラ３の光軸角度情報を取得する。カメラ３は、複数個、例えば２個設けられ、２個のカメラ３により立体映像を得る。インターフェース２５は、カメラ３からの映像情報および車両信号情報部４からのカメラ３の光軸角度情報を入力し、これらの情報をＣＰＵ２２に出力する。

ＣＰＵ２２は、インターフェース２５からの映像情報および光軸角度情報に基づき車体部分の映像領域を計算して２次元表示する領域を算出し、２Ｄ表示又は２Ｄ表示から３Ｄ表示の選択判断を行う。２Ｄ／３Ｄ映像描画部２１は、２Ｄ／３Ｄ映像描画エンジンからなり、ＣＰＵ２２の出力に基づきカメラ３に対して所定距離以内に存在する物体に対して２次元映像を生成し前記カメラに対して所定距離よりも長い距離離れて存在する物体に対して３次元映像を生成する。所定距離とは、カメラ３に近い距離で、例えば、カメラ３から車両後部までの距離である。２Ｄ／３Ｄ表示部１は、前記物体を２Ｄ／３Ｄ映像描画部２１で生成された２次元映像で表示し、カメラに対して所定距離よりも長い距離離れて存在する物体を３次元映像で表示する。物体は、例えば、自車の車体部分である。

２Ｄ／３Ｄ映像描画部２１は、ＣＰＵ２２からの出力に基づきカメラ３に対して所定距離以内に存在する物体に対してカメラ３に近接する位置から遠方に行くに従って視差を徐々に大きくして２次元映像から３次元映像へ変化させる。２Ｄ／３Ｄ表示部１は、物体をカメラ３に近接する位置から遠方に行くに従って視差を徐々に大きくすることにより２次元映像から３次元映像へ変化させて表示する。なお、ＲＯＭ２３には車体データが格納されている。

次にこのように構成された第１の実施形態の２次元３次元表示装置の動作を図２に示すフローチャートおよび図３を参照しながら説明する。図３は、サイドミラー７に相当する位置にカメラ３を取り付けたときにカメラ３に映る車体部のみを２次元表示した例を示す図である。

まず、カメラ３で車両周囲状況を撮影する。図３（ａ）に示すように、車体５に搭載されたサイドミラー７に取り付けられたカメラ３によりサイドミラー映像範囲ＳＡＲを撮影する。これにより、図３（ｂ）に示すように、注視すべき対象物以外のカメラ３に対して所定距離以内に存在する物体である車体部６ａと、背景、障害物などの車体部以外部分９（カメラに対して所定距離よりも長い距離離れて存在する物体）とがカメラ３により撮影される。

次に、ステップＳ１において、情報表示部２は、カメラ３で撮影された映像情報を入力する。ステップＳ２において、情報表示部２は、カメラ３の光軸角度情報を車両信号情報部４から入力する。

ステップＳ３において、ＣＰＵ２２は、カメラ３による映像情報とカメラ３の光軸角度情報とＲＯＭ２３に格納されている車体データとに基づき、カメラ３の光軸における車体部６ａの映像領域を計算し、車体部６ａを２次元表示するための領域を算出する。

ステップＳ４において、ＣＰＵ２２は、図示しない入力部からの映像表示選択情報に基づき、車体部６ａを「２次元表示（２Ｄ表示）」のみにするか、「２Ｄ表示から３次元表示（３Ｄ表示）へ徐々に変化させる」かのいずれかを選択する。

ＣＰＵ２２が２Ｄ表示を選択した場合には、ステップＳ５−１の処理を行う。２Ｄ／３Ｄ映像描画部２１は、ステップＳ３で算出された車体部６ａの領域に対して、２次元映像を生成し、車体部以外部分９に対して３次元映像を生成する。２Ｄ表示の詳細については、後述する。

ＣＰＵ２２が２Ｄ表示から３Ｄ表示を選択した場合には、ステップＳ５−２の処理を行う。２Ｄ／３Ｄ映像描画部２１は、ステップＳ３で算出された車体部６ａの領域に対して、カメラ３近傍から遠方に行くに従って２Ｄ表示から３Ｄ表示への映像を生成し、車体部６ａ以外の領域に対して３次元映像を生成する。２Ｄ表示から３Ｄ表示の詳細については、後述する。

ステップＳ６において、２Ｄ／３Ｄ映像描画部２１は、ステップＳ５−１又はステップＳ５−２で生成された映像を２Ｄ／３Ｄ表示部１に映像出力する。ステップＳ７において、ＣＰＵ２２は、カメラ３による映像入力が続いているかどうかを判断し、映像入力が続いている場合にはステップＳ１に戻って処理を繰り返し、映像入力が終わっている場合には処理を終了する。

（２Ｄ表示の詳細）
ＣＰＵ２２が２Ｄ表示を選択した場合には、図３に示すように、車体部６ａは、２Ｄ／３Ｄ表示部１に２次元表示され、車体部以外部分９は、２Ｄ／３Ｄ表示部１に３次元表示される。これにより、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減し、車両周辺部の対象物への認知時間を低減することができる。

また、図４（ａ）に、車体後部１０のバックビューカメラの搭載位置にカメラ３を搭載してバックビュー映像範囲ＢＡＲを撮影する様子を示す。図４（ｂ）に、カメラ３に映る車体部（バンパー部）６ｂのみを２次元表示した例を示す。この例では、車体部６ｂを２次元表示し、車体部以外部分９ｂを３次元表示する。これにより、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減し、車両周辺部の対象物への認知時間を低減することができる。

（２Ｄ表示から３Ｄ表示の詳細）
ＣＰＵ２２が２Ｄ表示から３Ｄ表示を選択した場合には、２Ｄ／３Ｄ映像描画部２１は、図５に示すように、カメラ３に映る車体部６ａをカメラ３に近い距離から遠くに行くに従って視差を徐々に大きくして２次元映像から３次元映像へ変化させる。図５に示すように、カメラ近傍領域ＡＲ１は、２Ｄ／３Ｄ表示部１に２次元表示され、カメラ遠方領域ＡＲ２は、２Ｄ／３Ｄ表示部１に視差をつけて３次元表示される。車体部以外部分９ａは、２Ｄ／３Ｄ表示部１に３次元表示される。

図６は、車体部６ａをカメラ近傍から５段階で視差を変化させる例を示す。図６に示す例では、サイドミラー７に２つのカメラを取り付けている。図６（ａ）に示す実カメラＲＣ１、ＲＣ５と対象物Ｐとがあった場合、それぞれの実カメラＲＣ１，ＲＣ５で撮影される映像は、図６（ｂ）に示すような実映像ＲＣ１ＶＤ、ＲＣ５ＶＤとなる。

得られた２つの実映像ＲＣ１ＶＤ、ＲＣ５ＶＤに基づき、図６（ｃ）に示すように、実カメラＲＣ１、ＲＣ５間を均等に割る仮想カメラＶＣ１，ＶＣ２，ＶＣ３の仮想映像ＶＣ２ＶＤ、ＶＣ３ＶＤ、ＶＣ４ＶＤを作成することができる。

得られた図６（ｃ）に示す５つの映像ＲＣ１ＶＤ、ＲＣ５ＶＤ、ＶＣ２ＶＤ、ＶＣ３ＶＤ、ＶＣ４ＶＤの組み合わせにより、図７（ｂ）に示す５段階ＬＶ１〜ＬＶ５で視差を変化させることができる。図７（ｂ）の視差が最も小さい段階ＬＶ１では、画像ＲＣ１ＶＤと画像ＲＣ１ＶＤとの組み合わせで、視差がない。

段階ＬＶ２では、映像ＲＣ１ＶＤと映像ＶＣ２ＶＤとの組み合わせで、視差が小さい。段階ＬＶ３では、映像ＲＣ１ＶＤと映像ＶＣ３ＶＤとの組み合わせで、視差がわずかに小さい。段階ＬＶ４では、映像ＲＣ１ＶＤと映像ＶＣ４ＶＤとの組み合わせで、視差がやや大きい。段階ＬＶ５では、映像ＲＣ１ＶＤと映像ＲＣ５ＶＤとの組み合わせで、視差が大きい。

このため、図７（ａ）に示すように、車体部６ａの内、カメラ近傍領域ＡＲ１では、段階ＬＶ１の映像ＲＣ１ＶＤと映像ＲＣ１ＶＤの組み合わせを採用し、視差を小さいして２次元表示している。また、車体部６ａの内、カメラ遠方領域ＡＲ２では、段階ＬＶ５の映像ＲＣ１ＶＤと映像ＲＣ５ＶＤの組み合わせを採用し、視差を大きくして３次元表示している。

即ち、車体部６ａの内、カメラ近傍領域ＡＲ１からカメラ遠方領域ＡＲ２に行くに従って、徐々に段階ＬＶ１、段階ＬＶ２、段階ＬＶ３、段階ＬＶ４、段階ＬＶ５と視差を徐々に大きくする。これにより、車体部６ａのカメラ近傍では２次元表示し、カメラ３から遠ざかるに従って３次元表示へと変化させることができる。

従って、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減できる。また、カメラ３に近い位置に存在する物体とカメラ３から遠い周辺部の３次元映像とを滑らかに接続させ、２次元表示と３次元表示との境目の違和感を低減することができる。また、３次元表示の違和感を低減できるため、視認すべき対象物への認知時間を低減することができる。なお、この例では、視差を５段階に変化させたが、これに限定されることなく、視差を３段階あるいは７段階等に変化させても良い。

２Ｄ／３Ｄ映像描画部２１は、カメラ３に対して所定距離以内に存在する物体に対してカメラに対して所定距離よりも長い距離離れて存在する物体の視差よりも小さい視差の３次元映像を生成し、２Ｄ／３Ｄ表示部１が物体を２Ｄ／３Ｄ映像描画部２１で生成された小さい視差の３次元映像で表示しても良い。また、カメラに対して所定距離よりも長い距離離れて存在する物体は、物体の視差よりも大きい視差の３次元映像で表示される。

２Ｄ／３Ｄ映像描画部２１は、カメラ３に対して所定距離以内に存在する物体に対して例えば、図５に示す段階ＬＶ２又は段階ＬＶ３の画像を用いて、小さい視差の３次元映像を生成する。２Ｄ／３Ｄ表示部１は、小さい視差の３次元映像を表示する。即ち、２次元表示に近い３次元表示を行う。

従って、３次元映像の自然な表示も確保しながら、車体部６ａを見やすく表示することができる。また、３次元立体表示の違和感を低減させるため、映像に表示される周囲の情報の認知時間を低減することができる。さらに、注視すべき物体(情報)の認知時間を低減することができる。

第１の実施形態の２次元３次元表示装置によれば、風景や注視すべき対象物(情報)以外のカメラ３に対して所定距離以内に存在する物体に対して２次元映像で表示するので、３次元映像のカメラ３に近い物体への注視を低減させ、視認すべき情報の認知時間を低減できる。

また、風景や注視すべき対象物以外のカメラ３に対して所定距離以内に存在する物体が自車の車体部分であるので、映像に映り込む車体部分の３次元立体表示の違和感を低減でき、周囲の物体の認知時間を低減することができる。

（第２の実施形態）
図８は、第２の実施形態の２次元３次元表示装置の処理を示すフローチャートである。第２の実施形態の２次元３次元表示装置は、２Ｄ／３Ｄ映像描画部２１が対象物以外のカメラ３に対して所定距離以内に存在する物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元映像又は３次元映像を生成する。

また、２Ｄ／３Ｄ映像描画部２１が対象物以外のカメラ３に対して所定距離以内に存在する物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元映像又は３次元映像を生成する。２Ｄ／３Ｄ映像描画部２１は、カメラに対して所定距離よりも長い距離離れて存在する物体に対して高コントラストの３次元映像を生成する。

次に、図８に示すフローチャートを参照しながら、第２の実施形態の２次元３次元表示装置の処理を詳細に説明する。なお、ステップＳ１〜ステップＳ３、ステップＳ６、ステップＳ７の処理は、図２に示すフローチャートのそれらと同じであるので、その説明は省略する。ここでは、第２の実施形態の２次元３次元表示装置の特徴であるステップＳ８、ステップＳ９−１、ステップＳ９−２の処理について説明する。

まず、ステップＳ８において、ＣＰＵ２２は、車体部６ａの「解像度変更」と「コントラスト変更」とのいずれかを選択する。

ＣＰＵ２２が、車体部６ａの「解像度変更」を選択した場合には、ステップＳ９−１の処理を行う。２Ｄ／３Ｄ映像描画部２１は、対象物以外のカメラ３に対して所定距離以内に存在する物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元映像又は３次元映像を生成する。２Ｄ／３Ｄ表示部１は、２Ｄ／３Ｄ映像描画部２１の映像出力に基づき、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元表示又は３次元表示を行う。

図９に車体表示の解像度を変更する例を示す。図９に示すように、車体部６のカメラ近傍領域ＡＲ１については低解像度で表示し、車体部６のカメラ近傍領域ＡＲ１から遠ざかるに従って高解像度へ変化させる。このため、カメラ遠方領域ＡＲ２は高解像度で表示される。また、背景、路面、障害物などの車体部以外部分は、３次元表示される。

これにより、カメラ近傍の車体部については、不必要な情報を低下し、視認すべき対象物の認知時間を低減させることができる。なお、低解像度から高解像度に徐々に変更する代わりに、車体部６ａ全体を低解像度で表示することもできる。

一方、ＣＰＵ２２が、車体部６ａの「コントラスト変更」を選択した場合には、ステップＳ９−２の処理を行う。２Ｄ／３Ｄ映像描画部２１は、対象物以外のカメラ３に対して所定距離以内に存在する物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元映像又は３次元映像を生成する。２次元３次元映像描画部２１は、カメラに対して所定距離よりも長い距離離れて存在する物体のコントラストよりも物体のコントラストを低下させた２次元映像又は３次元映像を生成しても良い。

２Ｄ／３Ｄ表示部１は、２Ｄ／３Ｄ映像描画部２１の映像出力に基づき、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元表示又は３次元表示を行う。

図１０に車体表示のコントラストを変更する例を示す。図１０に示すように、車体部６ａのカメラ近傍領域ＡＲ１では、低コントラストで表示し、カメラ遠方領域ＡＲ２では、高コントラストで表示する。これにより、カメラ近傍の車体部６ａについては、不必要な情報を低下し、視認すべき対象物の認知時間を低減させることができる。

なお、本発明は、第１の実施の形態及び第２の実施形態の２次元３次元表示装置に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。本発明は、例えば、第１の実施の形態の２次元３次元表示装置と第２の実施の形態の２次元３次元表示装置とを組み合わせた実施例にも適用することができる。

１ ２Ｄ／３Ｄ表示部
２ 情報表示部
３ カメラ
４ 車両信号情報部
５ 車体
６ａ，６ｂ 車体部
７ サイドミラー
９ａ，９ｂ 車体部以外部分
１０ 車体後部
２１ ２Ｄ／３Ｄ映像描画部
２２ ＣＰＵ
２３ ＲＯＭ
２４ ＲＡＭ
２５ インターフェース
ＳＡＲ サイドミラー映像範囲
ＢＡＲ バックビュー映像範囲
ＡＲ１ カメラ近辺領域
ＡＲ２ カメラ遠方領域
ＲＣ１，ＲＣ５ 実カメラ
ＶＣ２，ＶＣ３．ＶＣ４ 仮想カメラ
ＲＣ１ＶＤ，ＶＣ２ＶＤ，ＶＣ３ＶＤ，ＶＣ４ＶＤ，ＲＣ５ＶＤ 映像データ

Claims (6)

1. カメラで撮影された車両周囲状況を表示する２次元３次元表示装置であって、
   前記カメラからの映像情報と前記カメラの光軸情報とに基づき前記カメラに対して所定距離以内に存在する物体に対して２次元映像を生成し、前記カメラに対して所定距離よりも長い距離離れて存在する物体に対して３次元映像を生成する２次元３次元映像描画部と、
   前記カメラに対して所定距離以内に存在する前記物体を前記２次元３次元映像描画部により生成された２次元映像で表示し前記カメラに対して所定距離よりも長い距離離れて存在する物体を前記３次元映像で表示する２次元３次元表示部と、
   を備えることを特徴とする２次元３次元表示装置。
2. カメラで撮影された車両周囲状況を表示する２次元３次元表示装置であって、
   前記カメラからの映像情報と前記カメラの光軸情報とに基づき前記カメラに対して所定距離以内に存在する物体に対して前記カメラに対して所定距離よりも長い距離離れて存在する物体の視差よりも小さい視差の３次元映像を生成する２次元３次元映像描画部と、
   前記カメラに対して所定距離以内に存在する前記物体を前記２次元３次元映像描画部により生成された前記小さい視差の３次元映像で表示する２次元３次元表示部と、
   を備えることを特徴とする２次元３次元表示装置。
3. 前記２次元３次元映像描画部は、前記カメラに対して所定距離以内に存在する前記物体に対して、前記カメラに近接する位置から遠方に行くに従って前記視差を徐々に大きくすることにより２次元映像から３次元映像へ変化させることを特徴とする請求項２記載の２次元３次元表示装置。
4. 前記２次元３次元映像描画部は、前記カメラに対して所定距離以内に存在する前記物体に対して、前記カメラに近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元映像又は３次元映像を生成することを特徴とする請求項２又は請求項３記載の２次元３次元表示装置。
5. 前記２次元３次元映像描画部は、前記カメラに対して所定距離よりも長い距離離れて存在する物体のコントラストよりも前記カメラに対して所定距離以内に存在する前記物体のコントラストを低下させた２次元映像又は３次元映像を生成することを特徴とする請求項２乃至請求項４のいずれか１項記載の２次元３次元表示装置。
6. 前記物体は、自車の車体部分であることを特徴とする請求項１乃至請求項５のいずれか１項記載の２次元３次元表示装置。