JP5874920B2 - 車両周囲確認用モニター装置 - Google Patents

Description

本発明は、車両の運転支援を目的として車載カメラで撮像した画像を車載モニターに表示する周囲確認用モニター装置に関する。

従来、車両の周囲確認用のモニター装置としては、後方確認用のバックモニターを始め、左サイドミラーに装着して左前輪周囲確認用に特化したものなどが既に実用化されている。これらは、いずれもナビゲーション装置などのディスプレイ（モニター）に画像を表示することで、運転者に情報を提供している（例えば特許文献１，２参照）。

現在、市販されているバックカメラは、水平視野角が１８０度以上のものが多く、そのままでは遠近感が損なわれ、画面中央が小さく写るので、必要に応じて画面を切出したり、表示範囲を切り替えたりすることも行われている。

特開平６−３２１０１１号公報 特開２００５−５１４０３号公報

ところで、これらの技術は、バックミラー（ルームミラーや左右のドアミラー）を、カメラとモニターに置き換えて実現したものであるが、実際の映像の見え方は、ミラーとモニターとでは大きく異なっている。大きな相違点は以下の二点である。すなわち、
（１）ミラーは、対象物までの目の焦点距離が長いのに対し、モニターは短い。
（２）ミラーは、見る角度により視野が変化するのに対し、モニターは変わらない。

図１（ａ）はルームミラー１０の場合を示し、運転者Ｄａの斜前方のＤｂへの移動に伴い、視野ＶａがＶｂに移動しているが、図１（ｂ）に示すバックカメラ１１とモニター１２の場合は、視野Ｖａ，Ｖｂは変化しない。しかも、モニター１２はインストルメントパネル中央に配設される場合が多く、運転席から斜めに位置するので、実質的に歪みを伴った映像を見なければならない問題があった。

本発明は、従来技術の上記のような実状に鑑みてなされたものであって、その目的は、バックミラーの使用感に近い車両周囲確認用モニター装置を提供することにある。

上記課題を解決するため、本発明は、
車両後方を撮像するバックカメラ（１１）と、
前記バックカメラで撮像された入力画像を処理する画像処理手段（１４）と、
前記画像処理手段によって処理された出力画像を表示する画像表示手段（１２）と、
前記画像表示手段に対する運転者頭部の相対的位置を検知する姿勢検知手段（１３）と
を備えた車両周囲確認用モニター装置であって、
前記画像処理手段は、前記姿勢検知手段が検知した前記運転者頭部の相対的位置に基づいて、前記入力画像の全撮像範囲から一部を切出して前記出力画像とする処理と、前記姿勢検知手段に検知される前記運転者頭部の相対的位置の変位量に応じて、その変位方向と逆方向に前記入力画像の切出し範囲を移動させる処理を実行可能であるとともに、前記姿勢検知手段に検知される前記運転者頭部の角度変位に応じた歪みを補正する処理を、前記出力画像に対してさらに実行可能であるものにおいて、
前記歪みを補正する処理は、前記姿勢検知手段に検知される前記運転者頭部の角度変位に応じた前記出力画像の見かけ上の幅の分だけ処理画像をさらに切出し、該切出した画像を幅方向に伸張する処理を含んで実行可能であることを特徴とする。

本発明に係る車両周囲確認用モニター装置は、上記構成により、運転者の頭部の変位と逆方向に出力画像の切出し範囲が移動するので、ルームミラーを覗き込んだ場合のような使用感が得られる。それにより、スイッチ操作などによらず、運転者の周囲確認行動に伴う頭部の動きに連動して視野を変化させ、より広い範囲を確認することができる。

また、運転者頭部の角度変位に応じた歪みを補正する処理を併用することにより、インストルメントパネル中央に配設されたモニターを運転席側から斜めに覗き込む場合であっても、画像が左右方向に潰れて見難くなる現象が緩和される。

（ａ）はルームミラー、（ｂ）はバックカメラとモニターの各場合における運転者と視野の関係を示す概略平面図である。 （ａ）は本発明に係る車両周囲確認用モニター装置の概要を示す概略平面図、（ｂ）はその概略側面図、（ｃ）は入力画像と出力画像の関係を示す図である。 本発明に係る車両周囲確認用モニター装置の概要を示すブロック図である。 本発明に係る車両周囲確認用モニター装置における画像処理プロセスを示すフローチャートである。 （ａ）は本発明に係る車両周囲確認用モニター装置における歪み補正を示す概略平面図、（ｂ）は入力画像、（ｃ）は出力画像の各処理段階を示す図である。 （ａ）は本発明第１実施形態に係る運転者位置検知手段を示す概略平面図、（ｂ）はその概略側面図である。 （ａ）は本発明第２実施形態に係る運転者位置検知手段を示す概略平面図、（ｂ）はその概略側面図である。 （ａ）は本発明第３実施形態に係る運転者位置検知手段を示す概略平面図、（ｂ）はその概略側面図、（ｃ）は移動前、（ｄ）は移動後の運転者位置検知用画像である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図２（ａ）は、本発明に係る車両周囲確認用モニター装置を備えた車両１を示す概略平面図を示し、図２（ｂ）は、その概略側面図を示しており、符号Ｆは車両前方を示している。図２（ｃ）は、出力画像Ｖａ，Ｖｂの切出し範囲が表示された入力画像Ｖｏを示している。各図において、本発明に係る車両周囲確認用モニター装置は、バックカメラ１１で撮像された入力画像Ｖｏを処理する画像処理手段１４、処理された出力画像（Ｖａ，Ｖｂ）を表示する画像表示手段１２、運転者（Ｄａ，Ｄｂ）頭部の相対的位置を検知する姿勢検知手段１３から主に構成されている。

画像表示手段１２は、インストルメントパネルに設置される画像表示モニターであり、車載ＴＶやカーナビゲーションシステムのモニターなどを利用できる。なお、バックカメラ１１は、車両のサービスコネクタのバック信号出力に接続され、バックギヤに連動してバックカメラ１１が起動され、かつ、モニター画像がバックカメラ１１の映像に切り替わるように構成されることが好適である。

姿勢検知手段１３は、運転者Ｄ（Ｄａ，Ｄｂ）の頭部の相対的位置、すなわち、基準位置に対する左右方向の変位量ΔＢ、前後方向の変位量ΔＴ、上下方向の変位量ΔＷを検出する３次元形状計測センサであり、後述するステレオカメラ１３（第１実施形態、図６）、レーザー距離センサ２３（第２実施形態。図７）、単眼カメラ３３（第３実施形態、図８）などが好適に用いられる。

画像処理手段１４は、姿勢検知手段１３が検知した運転者頭部の相対的位置、すなわち基準位置に対する３次元的変位量ΔＤ（ΔＴ，ΔＢ，ΔＷ）に基づいて、バックカメラ１１から送られる入力画像Ｖｏ（全撮像範囲）から切出す出力画像Ｖａ，Ｖｂの範囲を決定する運転者位置データ処理部１５を含み、それに基づいて切出し処理１４ａを実行可能であるとともに、運転者頭部の角度変位に応じた出力画像の見かけ上の歪みを補正する処理１４ｂを実行可能な画像処理プロセッサなどを含む画像変換回路で構成される。図４は、画像処理プロセスを示すフローチャートである。

運転者位置データ処理部１５は、運転者の基準位置Ｄａに対して、例えば、上半身を右前方に起こした状態を移動位置Ｄｂとする場合に、この時の３次元的変位量ΔＤ（ΔＴ，ΔＢ，ΔＷ）に応じて、バックカメラ１１の入力画像Ｖｏ（全撮像範囲）の中から切り出す位置の変位量ΔＶｘ，ΔＶｙを決定し、それに基づいて出力画像Ｖｂの表示範囲を決定する。

この場合、基準位置から移動位置への頭部の３次元的変位量ΔＤ（ΔＴ，ΔＢ，ΔＷ）と、基準位置の出力画像Ｖａから移動位置に対応した出力画像Ｖｂへの変位量ΔＶの間には、次のような関数が成立する。
ΔＶ（ΔＶｘ，ΔＶｙ）＝ｆ（ΔＴ，ΔＢ，ΔＷ）

ここで、関数ｆは、先述したバックミラー１０の使用感をシミュレートするために、基本的に鏡像変換（鏡映変換）を含み、頭部Ｄａ，Ｄｂの移動方向に対して、出力画像Ｖａ，Ｖｂの逆方向の変位を返す。さらに、必ずしも頭部Ｄａ，Ｄｂの３次元的変位量ΔＤ（ΔＴ，ΔＢ，ΔＷ）に対して一定の割合で出力画像Ｖａ，Ｖｂを変位させるような線形関係である必要はなく、非線形関係とすることもできる。すなわち、関数ｆのパラメータを調節することにより、運転者の移動量ΔＤと出力画像の変位量ΔＶの関係を調整することができ、例えば、多くの運転者の使い勝手に適合させることができる。

次に、出力画像の歪み補正処理１４ｂについて、図５を参照しながら説明する。
図５（ａ）において、画像表示手段２の正面を基準位置とした場合、該基準位置にある運転者Ｄｃには歪みの無い出力画像Ｖｃが見える。この位置から、運転者が横にＤｂまで移動した場合、画像表示手段２には運転者Ｄｂの変位量を反映させて切出し位置が移動した出力画像Ｖｂが表示される。しかし、運転者Ｄｂは画像表示手段２に対して斜めに位置しているので、横幅ＷがΔＷだけ短縮された横幅Ｗ′の出力画像Ｖｂ′が見える（実際には歪んでＶｂ″のように見える）。

そこで、予め出力画像Ｖｂから横幅Ｗ′だけを切出し（Ｖｄ）、この画像Ｖｄを元の横幅Ｗまで伸張し（Ｖｅ）、この伸張された出力画像Ｖｅを画像表示手段２に表示すると、運転者Ｄｂが見た場合に、歪みの少ない出力画像Ｖｅ′が見えることになる。なお、この歪み補正処理１４ｂにおいても、先述した切出し処理１４ａにおける場合と同様、切出すパラメータを設定して補正の適度を線形または非線形に調整できる。また、幅方向の表示範囲は狭くなるが、切出し範囲が横方向に移動しているので、利用上においては、視野の変化で、より広い範囲を確認することができる。

次に、運転者Ｄの位置を検出する姿勢検知手段１３の各実施形態について、図面を参照しながら説明する。

図６は、第１実施形態の姿勢検知手段１３のとして、ステレオカメラを用いる場合を示している。ステレオカメラ１３は、好ましくは、運転席の前方上部（画像表示手段２の上方）のルームミラー付近に（またはルームミラーに組み込んで）設置され、左右カメラの視差を利用して運転者Ｄ（Ｄａ，Ｄｂ）の頭部の３次元座標空間における位置を求め、基準位置に対する３次元的変位量ΔＤに基づいて出力画面の位置（ΔＶ）および切出し形状（ΔＷ）を計算する。運転者の顔の向きは鼻梁や肩の位置を画像認識することによって直接求められる。

図７は、第２実施形態の姿勢検知手段２３のとして、レーザー距離センサを用いる場合を示している。レーザー距離センサ２３は、光束を絞ったレーザー光を計測エリヤ内に照射し、照射点までの距離を測定する。例えば、計測エリヤ内をフルモーションビデオに相当するビデオレート（１／３０ｓｅｃ）で走査し、測定空間内にある物体群の３次元座標を測定する。２ｍｍ四方の空間につき１点程度の座標を計測できれば、システムに大きな負荷を与えずに、運転者の顔の向きを特定する鼻梁や肩の位置を検出でき、移動量を３次元的に計算可能である。

図８は、第３実施形態の姿勢検知手段３３のとして、単眼カメラと画像認識を併用する場合を示している。単眼カメラ３３は、例えば、インストルメントパネルのセンタークラスタ上部に設置される。図８（ｃ）（ｄ）は、それぞれ、通常の着座位置にある運転者Ｄａの画像Ｐａ、前方に移動した運転者Ｄｂの画像Ｐｂを示しており、左右両眼の画面横方向の間隔Ｌ、画面縦方向の間隔Ｈ、および左右両眼の中心位置を画像処理によって抽出する。これらの値と、運転者Ｄ（Ｄａ，Ｄｂ）の頭部の３次元位置座標は１対１で対応するので、運転者の姿勢を特定可能である。

以上、本発明のいくつかの実施の形態について述べたが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能であることを付言する。

１ 車両
１１ バックカメラ
１２ 画像表示手段
１３ 姿勢検知手段（ステレオカメラ）
１４ 画像処理手段
１５ 運転者位置データ処理部
２３ 姿勢検知手段（レーザー距離センサ）
３３ 姿勢検知手段（単眼カメラ）
Ｖｏ 入力画像
Ｖａ，Ｖｂ，Ｖｃ，Ｖｅ 出力画像
Ｄ，Ｄａ，Ｄｂ，Ｄｃ 運転者

Claims (1)

1. 車両後方を撮像するバックカメラと、
   前記バックカメラで撮像された入力画像を処理する画像処理手段と、
   前記画像処理手段によって処理された出力画像を表示する画像表示手段と、
   前記画像表示手段に対する運転者頭部の相対的位置を検知する姿勢検知手段と、
   を備えた車両周囲確認用モニター装置であって、
   前記画像処理手段は、前記姿勢検知手段が検知した前記運転者頭部の相対的位置に基づいて、前記入力画像の全撮像範囲から一部を切出して前記出力画像とする処理と、前記姿勢検知手段に検知される前記運転者頭部の相対的位置の変位量に応じて、その変位方向と逆方向に前記入力画像の切出し範囲を移動させる処理を実行可能であるとともに、前記姿勢検知手段に検知される前記運転者頭部の角度変位に応じた歪みを補正する処理を、前記出力画像に対してさらに実行可能であるものにおいて、
   前記歪みを補正する処理は、前記姿勢検知手段に検知される前記運転者頭部の角度変位に応じた前記出力画像の見かけ上の幅の分だけ処理画像をさらに切出し、該切出した画像を幅方向に伸張する処理を含んで実行可能であることを特徴とする車両周囲確認用モニター装置。

Images