JP6136748B2 - ２次元３次元表示装置 - Google Patents

Description

本発明は、カメラにより撮影された対象物を含む車両周囲状況を表示する２次元３次元表示装置に関する。

従来、ステレオカメラなどを使用した立体視映像を活用した技術が知られている。例えば、特許文献１に記載された映像処理装置において、視聴者検出部は、カメラで撮影された映像を用いて顔認識を行い、視聴者の位置情報を取得する。補正量算出部は、カメラの取り付け位置のずれに伴う位置情報の誤差を補償するための補正量を算出し、位置情報補正部は、補正量算出部で算出された補正量を用いて視聴者の位置情報を補正する。

視域情報補正部は、位置情報補正部により補正された視聴者の位置情報を用いて視聴者を収める視域を設定するための制御パラメータを算出し、視域制御部は、制御パラメータに応じて視域を制御する。これにより、カメラの位置ずれを容易に補正し、視聴者が良好な立体映像を見ることができる。

特許第５１２９３７７号公報

しかしながら、特許文献１に記載された映像処理装置の立体映像では、カメラに近い物体に対しては映像視差が大きい。このため、人が映像を視認するとき、映像内に存在するカメラ近傍の物体が存在する場合、カメラ近傍の視差ずれが大きい物体を優先して視認してしまう。その結果、注視すべき遠方の対象物に対して視認時間がかかるという問題があった。

本発明は、３次元映像の不動物体への注視を低減させ、視線認識すべき情報の認知時間を低減させることができる２次元３次元表示装置を提供する。

本発明において、２次元３次元映像描画部は、自車両との相対的な位置変化が所定値以下の不動物体に対して２次元映像又は小さい視差の３次元映像を生成し、自車両との相対的な位置変化が所定値よりも大きい物体に対して３次元映像を生成する。２次元３次元表示部は、不動物体を２次元映像又は小さい視差の３次元映像で表示し自車両との相対的な位置変化が所定値よりも大きい物体を３次元映像で表示する。

本発明によれば、自車両との相対的な位置変化が所定値以内の不動物体を２次元映像で表示又は小さい視差の３次元映像で表示し自車両との相対的な位置変化が所定値よりも大きい物体を３次元映像で表示する。従って、３次元映像の不動物体への注視を低減させ、視認すべき情報の認知時間を低減させることができる。

本発明の第１の実施形態の２次元３次元表示装置の構成を示すブロック図である。 第１の実施形態の２次元３次元表示装置の処理を示すフローチャートである。 第１の実施形態の２次元３次元表示装置においてサイドミラーに相当する位置にカメラを取り付けたときにカメラに映る車体部のみを２次元表示した例を示す図である。 第１の実施形態の２次元３次元表示装置において車体後部のバックビューカメラの搭載位置にカメラを搭載してカメラに映る車体部のみを２次元表示した例を示す図である。 第１の実施形態の２次元３次元表示装置においてサイドミラーに相当する位置に３次元カメラを取り付けたときにカメラに映る車体部をカメラに近い位置から遠くに行くに従って２次元表示から３次元表示に変更した視差変更例を示す図である。 図５に示す視差変更例において車体部をカメラ近傍から５段階で視差変化させる例を示す図である。 図５に示す視差変更例において車体部をカメラ近傍から５段階で視差変化させる例を示す図である。 第２の実施形態の２次元３次元表示装置の処理を示すフローチャートである。 第２の実施形態の２次元３次元表示装置において車体表示の解像度を変更する例を示すである。 第２の実施形態の２次元３次元表示装置において車体表示のコントラストを変更する例を示すである。 第３の実施形態の２次元３次元表示装置の処理を示すフローチャートである。 第３の実施形態の２次元３次元表示装置において遠ざかる物体に対してコントラストを低下させる例を示す図である。

（第１の実施形態）
以下、本発明の実施の形態の２次元３次元表示装置について図面を参照して説明する。図１に本発明の第１の実施形態の２次元３次元表示装置の構成を示す。

この２次元３次元表示装置は、２次元／３次元表示部（以下、２Ｄ／３Ｄ表示部と称する。）１、情報表示部２、カメラ３、車両信号情報部４を備える。情報表示部２は、２次元／３次元映像描画部（以下、２Ｄ／３Ｄ映像描画部と称する。）２１、ＣＰＵ（Central Processing Unit）２２、ＲＯＭ(Read Only Memory)２３、ＲＡＭ(Random Access Memory)２４、インターフェース２５を備える。

２Ｄ／３Ｄ表示部１は、カメラ３により撮影された車両周囲状況を表示する。情報表示部２は、カメラ３からの映像情報(カメラ映像)及び車両信号情報部４から自車両の走行状態として車両速度、前進、後退などの車両情報を取得する。カメラ３は、複数個、例えば２個設けられ、２個のカメラ３により立体映像を得る。インターフェース２５は、カメラ３からの映像情報および車両信号情報部４からの車両情報を入力し、これらの情報をＣＰＵ２２に出力する。

ＣＰＵ２２は、インターフェース２５からの映像情報および車両速度などの車両情報に基づき映像の時系列的な動きにより自車両との相対的位置変化が所定値以下の不動物体と自車両との相対的な位置変化が所定値よりも大きい物体（不動物体以外部分）とに分ける。２Ｄ／３Ｄ映像描画部２１は、２Ｄ／３Ｄ映像描画エンジンからなり、ＣＰＵ２２からの出力に基づき、自車両との相対的な位置変化が所定値以下の不動物体に対して２次元映像を生成し自車両との相対的な位置変化が所定値よりも大きい物体に対して３次元映像を生成する。所定値とは、ゼロ又はゼロに近い値である。２Ｄ／３Ｄ表示部１は、２Ｄ／３Ｄ映像描画部２１で生成された２次元映像で不動物体を表示し、不動物体以外部分を３次元映像で表示する。

また、２Ｄ／３Ｄ映像描画部２１は、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って視差を徐々に大きくすることにより２次元映像から３次元映像へ変化させる。２Ｄ／３Ｄ表示部１は、不動物体を２次元映像から３次元映像へ変化させて表示する。なお、ＲＯＭ２３には車体データが格納されている。

次にこのように構成された第１の実施形態の２次元３次元表示装置の動作を図２に示すフローチャートおよび図３を参照しながら説明する。図３は、サイドミラー７に相当する位置にカメラ３を取り付けたときにカメラ３に映る車体部のみを２次元表示した例を示す図である。

まず、カメラ３で車両周囲状況を撮影する。図３（ａ）に示すように、車体５に搭載されたサイドミラー７に取り付けられたカメラ３によりサイドミラー映像範囲ＳＡＲを撮影する。これにより、図３（ｂ）に示すように、不動物体である車体部６ａと、背景、障害物などの自車両との相対的な位置変化が所定値よりも大きい物体である車体部以外部分９とがカメラ３により撮影される。

次に、ステップＳ１において、情報表示部２は、カメラ３で撮影された映像情報と車両信号情報部４からの車両の走行状態の車両情報（前進、後退、車両速度）を入力する。

ステップＳ２において、ＣＰＵ２２は、カメラ３による映像情報と車両信号情報部４からの車両の走行状態の車両情報（前進、後退、車両速度）とに基づき、映像の時系列的な動きにより自車両との相対的な位置変化が所定値以下の不動物体と自車両との相対的な位置変化が所定値よりも大きい物体とに分ける。

ステップＳ３において、ＣＰＵ２２は、図示しない入力部からの映像表示選択情報に基づき、不動物体を「２次元表示（２Ｄ表示）」のみにするか、「２Ｄ表示から３次元表示（３Ｄ表示）へ徐々に変化させる」かのいずれかを選択する。

ＣＰＵ２２が２Ｄ表示を選択した場合には、ステップＳ４−１において、２Ｄ／３Ｄ映像描画部２１は、ステップＳ２で得られた不動物体である車体部６ａに対して２次元映像を生成し、不動物体である車体部以外に対して３次元映像を生成する。２Ｄ表示の詳細については、後述する。

ＣＰＵ２２が２Ｄ表示から３Ｄ表示を選択した場合には、ステップＳ４−２の処理を行う。２Ｄ／３Ｄ映像描画部２１は、ステップＳ２で得られた不動物体である車体部６ａに対して、カメラ３近傍から遠方に行くに従って２Ｄ表示から３Ｄ表示への映像を生成し、不動物体である車体部６ａ以外の領域に対して３次元映像を生成する。２Ｄ表示から３Ｄ表示の詳細については、後述する。

ステップＳ５において、２Ｄ／３Ｄ映像描画部２１は、ステップＳ４−１又はステップＳ４−２で生成された映像を２Ｄ／３Ｄ表示部１に映像出力する。ステップＳ６において、ＣＰＵ２２は、カメラ３による映像入力が続いているかどうかを判断し、映像入力が続いている場合にはステップＳ１に戻って処理を繰り返し、映像入力が終わっている場合には処理を終了する。

（２Ｄ表示の詳細）
ＣＰＵ２２が２Ｄ表示を選択した場合には、図３に示すように、車体５は、カメラ３に対して不動の映像になるので、車体部６ａは、不動物体となる。この不動物体である車体部６ａは、２Ｄ／３Ｄ表示部１に２次元表示され、その他の背景や障害物などの車体部以外部分９は、２Ｄ／３Ｄ表示部１に３次元表示される。これにより、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減し、車両周辺部の対象物への認知時間を低減することができる。

また、図４（ａ）に、車体後部１０のバックビューカメラの搭載位置にカメラ３を搭載してバックビュー映像範囲ＢＡＲを撮影する様子を示す。図４（ｂ）に、カメラ３に映る不動物体である車体部（バンパー部）６ｂのみを２次元表示した例を示す。この例では、車体部６ｂを２Ｄ／３Ｄ表示部１に２次元表示し、車体部以外部分９ｂを２Ｄ／３Ｄ表示部１に３次元表示する。これにより、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減し、車両周辺部の対象物への認知時間を低減することができる。

（２Ｄ表示から３Ｄ表示の詳細）
ＣＰＵ２２が２Ｄ表示から３Ｄ表示を選択した場合には、２Ｄ／３Ｄ映像描画部２１は、カメラ３に映る不動物体である車体部６ａをカメラ３に近い距離から遠くに行くに従って視差を徐々に大きくして２次元映像から３次元映像へ変化させる。図５に示すように、カメラ近傍領域ＡＲ１は、２Ｄ／３Ｄ表示部１に２次元表示され、カメラ遠方領域ＡＲ２は、２Ｄ／３Ｄ表示部１に視差をつけて３次元表示される。車体部以外部分９ａは、２Ｄ／３Ｄ表示部１に３次元表示される。

図６は、車体部６ａをカメラ近傍から５段階で視差を変化させる例を示す。図６に示す例では、サイドミラー７に２つのカメラを取り付けている。図６（ａ）に示す実カメラＲＣ１、ＲＣ５と対象物Ｐとがあった場合、それぞれの実カメラＲＣ１，ＲＣ５で撮影される映像は、図６（ｂ）に示すような実映像ＲＣ１ＶＤ、ＲＣ５ＶＤとなる。

得られた２つの実映像ＲＣ１ＶＤ、ＲＣ５ＶＤに基づき、図６（ｃ）に示すように、実カメラＲＣ１、ＲＣ５間を均等に割る仮想カメラＶＣ１，ＶＣ２，ＶＣ３の仮想映像ＶＣ２ＶＤ、ＶＣ３ＶＤ、ＶＣ４ＶＤを作成することができる。

得られた図６（ｃ）に示す５つの映像ＲＣ１ＶＤ、ＲＣ５ＶＤ、ＶＣ２ＶＤ、ＶＣ３ＶＤ、ＶＣ４ＶＤの組み合わせにより、図７（ｂ）に示す５段階ＬＶ１〜ＬＶ５で視差を変化させることができる。図７（ｂ）の視差が最も小さい段階ＬＶ１では、映像ＲＣ１ＶＤと映像ＲＣ１ＶＤとの組み合わせで、視差がない。

段階ＬＶ２では、映像ＲＣ１ＶＤと映像ＶＣ２ＶＤとの組み合わせで、視差が小さい。段階ＬＶ３では、映像ＲＣ１ＶＤと映像ＶＣ３ＶＤとの組み合わせで、視差がわずかに小さい。段階ＬＶ４では、映像ＲＣ１ＶＤと映像ＶＣ４ＶＤとの組み合わせで、視差がやや大きい。段階ＬＶ５では、映像ＲＣ１ＶＤと映像ＲＣ５ＶＤとの組み合わせで、視差が大きい。

このため、図７（ａ）に示すように、車体部６ａの内、カメラ近傍領域ＡＲ１では、段階ＬＶ１の映像ＲＣ１ＶＤと映像ＲＣ１ＶＤの組み合わせを採用し、視差を小さいして２次元表示している。また、車体部６ａの内、カメラ遠方領域ＡＲ２では、段階ＬＶ５の映像ＲＣ１ＶＤと映像ＲＣ５ＶＤの組み合わせを採用し、視差を大きくして３次元表示している。

即ち、車体部６ａの内、カメラ近傍領域ＡＲ１からカメラ遠方領域ＡＲ２に行くに従って、徐々に段階ＬＶ１、段階ＬＶ２、段階ＬＶ３、段階ＬＶ４、段階ＬＶ５と視差を徐々に大きくする。これにより、車体部６ａのカメラ近傍では２次元表示し、カメラ３から遠ざかるに従って３次元表示へと変化させることができる。

従って、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減できる。また、カメラ３に近い位置に存在する物体とカメラ３から遠い周辺部の３次元映像とを滑らかに接続させ、２次元表示と３次元表示との境目の違和感を低減することができる。また、３次元表示の違和感を低減できるため、視認すべき対象物への認知時間を低減することができる。なお、この例では、視差を５段階に変化させたが、これに限定されることなく、視差を３段階あるいは７段階等に変化させても良い。

また、２Ｄ／３Ｄ映像描画部２１は、不動物体である車体部に対して自車両との相対的な位置変化が所定値よりも大きい物体の視差よりも小さい視差の３次元映像を生成し、２Ｄ／３Ｄ表示部１が不動物体である車体部を小さい視差の３次元映像で表示しても良い。また、自車両との相対的な位置変化が所定値よりも大きい物体は、車体部の視差よりも大きい視差の３次元映像で表示される。

２Ｄ／３Ｄ映像描画部２１は、不動物体である車体部全体に対して、例えば、図５に示す段階ＬＶ２又は段階ＬＶ３の映像を用いて、小さい視差の３次元映像を生成する。２Ｄ／３Ｄ表示部１が小さい視差の３次元映像を表示する。即ち、２次元表示に近い３次元表示を行う。

従って、３次元映像の自然な表示も確保しながら、車体部６ａを見やすく表示することができる。また、３次元立体表示の違和感を低減させるため、映像に表示される周囲の情報の認知時間を低減することができる。さらに、注視すべき物体(情報)の認知時間を低減することができる。

第１の実施形態の２次元３次元表示装置によれば、自車両との相対的な位置変化が所定値以内の不動物体を２次元表示し、自車両との相対的な位置変化が所定値よりも大きい物体を３次元表示する。従って、３次元映像の不動物体への注視を低減させ、視認すべき情報の認知時間を低減させることができる。

（第２の実施形態）
図８は、第２の実施形態の２次元３次元表示装置の処理を示すフローチャートである。第２の実施形態の２次元３次元表示装置では、２Ｄ／３Ｄ映像描画部２１が、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元映像又は３次元映像を生成する。

また、２Ｄ／３Ｄ映像描画部２１が、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元映像又は３次元映像を生成する。

次に、図８に示すフローチャートを参照しながら、第２の実施形態の２次元３次元表示装置の処理を詳細に説明する。なお、ステップＳ１〜ステップＳ２、ステップＳ５、ステップＳ６の処理は、図２に示すフローチャートのそれらと同じであるので、その説明は省略する。ここでは、第２の実施形態の２次元３次元表示装置の特徴であるステップＳ７、ステップＳ８−１、ステップＳ８−２の処理について説明する。

まず、ステップＳ７において、ＣＰＵ２２は、不動物体である車体部６ａの「解像度変更」と「コントラスト変更」とのいずれかを選択する。

ＣＰＵ２２が、車体部６ａの「解像度変更」を選択した場合には、ステップＳ８−１の処理を行う。２Ｄ／３Ｄ映像描画部２１は、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元映像又は３次元映像のための映像を生成する。２Ｄ／３Ｄ表示部１は、２Ｄ／３Ｄ映像描画部２１の映像出力に基づき、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元表示又は３次元表示を行う。

図９に車体表示の解像度を変更する例を示す。図９に示すように、車体部６ａのカメラ近傍領域ＡＲ１については低解像度で表示し、車体部６ａのカメラ近傍領域ＡＲ１から遠ざかるに従って高解像度へ変化させる。このため、カメラ遠方領域ＡＲ２は高解像度で表示される。また、背景、路面、障害物などの車体部以外部分は、高解像度で３次元表示される。

これにより、カメラ近傍の車体部については、不必要な情報を低下し、視認すべき対象物の認知時間を低減させることができる。なお、低解像度から高解像度に徐々に変更する代わりに、車体部６ａ全体を低解像度で表示することもできる。

一方、ＣＰＵ２２が、車体部６ａの「コントラスト変更」を選択した場合には、ステップＳ８−２の処理を行う。２Ｄ／３Ｄ映像描画部２１は、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元映像又は３次元映像を生成する。自車両との相対的な位置変化が所定値よりも大きい物体は、高コントラストの３次元映像が生成される。また、２次元３次元映像描画部２１は、自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも不動物体のコントラストを低下させた２次元映像又は３次元映像を生成しても良い。

２Ｄ／３Ｄ表示部１は、２Ｄ／３Ｄ映像描画部２１の映像出力に基づき、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元表示又は３次元表示を行う。

図１０に車体表示のコントラストを変更する例を示す。図１０に示すように、車体部６ａのカメラ近傍領域ＡＲ１では、低コントラストで表示し、カメラ遠方領域ＡＲ２では、高コントラストで表示する。これにより、カメラ近傍の車体部６ａについては、不必要な情報を低下し、視認すべき対象物の認知時間を低減させることができる。

（第３の実施形態）
図１１は、第３の実施形態の２次元３次元表示装置の処理を示すフローチャートである。第３の実施形態の２次元３次元表示装置では、２Ｄ／３Ｄ映像描画部２１が、自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも、自車両から遠ざかる物体のコントラストを低下させた２次元映像又は３次元映像を生成する。

次に、図１１に示すフローチャートを参照しながら、第３の実施形態の２次元３次元表示装置の処理を詳細に説明する。なお、ステップＳ１、ステップＳ５、ステップＳ６の処理は、図２に示すフローチャートのそれらと同じであるので、その説明は省略する。ここでは、第３の実施形態の２次元３次元表示装置の特徴であるステップＳ９、ステップＳ１０の処理について説明する。

まず、ステップＳ９において、ＣＰＵ２２は、映像情報に基づき映像における不動物体の領域と遠ざかる物体の領域を算出する。物体の時系列的な変化により、物体の位置が元の位置から遠ざかる場合には、遠ざかる物体と判定される。

ステップＳ１０において、ＣＰＵ２２は、算出された不動物体の領域と遠ざかる物体の領域に対して、自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも、コントラストを低下させる。このため、不動物体の領域と遠ざかる物体の領域に対して、コントラストが低下された２次元映像で表示され、その他の部分は、３次元映像で表示される。

図１２に、第３の実施形態の２次元３次元表示装置において遠ざかる物体に対して自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも、コントラストを低下させる例を示す。後方車両が近づいて来る場合、後方車両のコントラストよりも後方車両以外部分の遠ざかる物体のコントラストを低下させる。

即ち、遠ざかる物体に対して、コントラストを低下することにより、注視すべき物体（情報）の認知時間を低減させることができる。車両では近づいてくる物体の情報は重要であるので、遠ざかる物体の情報を目立たなくさせる。

なお、本発明は、第１の実施の形態及び第２の実施形態の２次元３次元表示装置に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。本発明は、例えば、第１の実施の形態の２次元３次元表示装置と第２の実施の形態の２次元３次元表示装置と第３の実施の形態の２次元３次元表示装置とを組み合わせた実施例にも適用することができる。

１ ２Ｄ／３Ｄ表示部
２ 情報表示部
３ カメラ
４ 車両信号情報部
５ 車体
６ａ，６ｂ 車体部
７ サイドミラー
９ａ，９ｂ 車体部以外部分
１０ 車体後部
２１ ２Ｄ／３Ｄ映像描画部
２２ ＣＰＵ
２３ ＲＯＭ
２４ ＲＡＭ
２５ インターフェース
ＳＡＲ サイドミラー映像範囲
ＢＡＲ バックビュー映像範囲
ＡＲ１ カメラ近辺領域
ＡＲ２ カメラ遠方領域
ＲＣ１，ＲＣ５ 実カメラ
ＶＣ２，ＶＣ３．ＶＣ４ 仮想カメラ
ＲＣ１ＶＤ，ＶＣ２ＶＤ，ＶＣ３ＶＤ，ＶＣ４ＶＤ，ＲＣ５ＶＤ 映像データ

Claims (6)

1. カメラにより撮影された車両周囲状況を表示する２次元３次元表示装置であって、
   前記カメラからの映像情報と車両情報とに基づき自車両との相対的な位置変化が所定値以下の不動物体に対して２次元映像を生成し、自車両との相対的な位置変化が所定値よりも大きい物体に対して３次元映像を生成する２次元３次元映像描画部と、
   前記不動物体を前記２次元３次元映像描画部により生成された２次元映像で表示し、自車両との相対的な位置変化が所定値よりも大きい物体を３次元映像で表示する２次元３次元表示部と、
   を備えることを特徴とする２次元３次元表示装置。
2. カメラにより撮影された車両周囲状況を表示する２次元３次元表示装置であって、
   前記カメラからの映像情報と車両情報とに基づき自車両との相対的な位置変化が所定値以下の不動物体に対して、自車両との相対的な位置変化が所定値よりも大きい物体の視差よりも小さい視差の３次元映像を生成する２次元３次元映像描画部と、
   前記不動物体を前記２次元３次元映像描画部により生成された前記小さい視差の３次元映像で表示する２次元３次元表示部と、
   を備えることを特徴とする２次元３次元表示装置。
3. 前記２次元３次元映像描画部は、前記不動物体に対して、前記カメラに近接する位置から遠方に行くに従って前記視差を徐々に大きくすることにより２次元映像から３次元映像へ変化させることを特徴とする請求項２記載の２次元３次元表示装置。
4. 前記２次元３次元映像描画部は、前記不動物体に対して、前記カメラに近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元映像又は３次元映像を生成することを特徴とする請求項２又は請求項３記載の２次元３次元表示装置。
5. 前記２次元３次元映像描画部は、前記自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも前記不動物体のコントラストを低下させた２次元映像又は３次元映像を生成することを特徴とする請求項２乃至請求項４のいずれか１項記載の２次元３次元表示装置。
6. 前記２次元３次元映像描画部は、前記自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも前記自車両から遠ざかる物体のコントラストを低下させた２次元映像又は３次元映像を生成することを特徴とする請求項２乃至請求項５のいずれか１項記載の２次元３次元表示装置。