JP4004871B2 - 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 - Google Patents
車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 Download PDFInfo
- Publication number
- JP4004871B2 JP4004871B2 JP2002187106A JP2002187106A JP4004871B2 JP 4004871 B2 JP4004871 B2 JP 4004871B2 JP 2002187106 A JP2002187106 A JP 2002187106A JP 2002187106 A JP2002187106 A JP 2002187106A JP 4004871 B2 JP4004871 B2 JP 4004871B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- unit
- virtual
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両に搭載した一つ以上のカメラからの車両周囲に関する撮影画像を複数の仮想視点から見た画像に座標変換するように画像処理した上でモニタ等の画像出力部で表示する車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置に関する。
【０００２】
【従来の技術】
従来、主として車両後退時に車両後方の周囲をモニタ等の画像出力部に表示する車両周囲監視装置には、複数台のカメラからの車両周囲の撮影画像を画像処理して視点変換し、あたかも斜め上方から見下ろすように車両後方を見たような俯瞰画像として画像出力部に表示するものが知られている（例えば、特開平３−９９９５２号公報参照）。
【０００３】
この特開平３−９９９５２号公報に開示の技術は、カメラから入力された画像に対し、仮想的に設置した仮想カメラからの画像となるように視点変換を施し、あたかも真上から地面を見下ろしたような頂上視野の画像を合成することにより、自車両とその後方の白線や駐車スペース等との位置関係を解り易く運転者等に提示するものである。
【０００４】
しかしながら、このような頂上視野は、原理上、遠方の画像が荒れて表示されてしまうため、自車両の周囲を広範囲に表示するには適さないという問題が生じていた。
【０００５】
このため、本願出願人は、特願２００１−２９３５１９号において、上述した真上から地面を見たような頂上視野の画像に変えて、斜め上方から地面を見下ろしたような斜め視野の仮想視点へと視点変換を行う画像合成手段を設け、その斜め視野からの画像を画像出力部に表示する技術を提案している。
【０００６】
このような斜め視野においては、自車両とその周囲の状況の位置関係では頂上視野の画像に比べて解り難くなるが、遠方での画像の荒れは頂上視野の画像に比べて抑えることができるので、これら双方の利点を利用して、遠方を確認する時には斜め視野による画像、近傍を確認する時には頂上視野による画像といったような使い分けをすることができる。
【０００７】
具体的には、車両を駐車させる場合において、駐車場所を推定するときなどの比較的広い範囲に対する情報を知りたいときには斜め視野による画像、駐車場所を決定してその駐車位置と自車両との位置合わせを行う時には頂上視野による画像といった使い分けが可能となる。
【０００８】
ここで、特願２００１−２９３５１９号による視点変換について説明する。
【０００９】
図７（Ａ）に示すように、実際に車両（図示せず）に搭載されたカメラ１１の光軸Ｑ１と垂直な撮像面１２上に構成されている画像Ｇ１（図７（Ｂ）参照）は、地面と同一平面上に仮想的に設置された仮想スクリーンＧ（１３）に投影される。
【００１０】
次に、仮想スクリーン１３上に投影された画像を、仮想的に地面に垂直に設置した仮想カメラ１４により撮影する。すると、カメラ１１は地面に対して斜めに設置しているにもかかわらず、仮想カメラ１４により撮影された変換画像（仮想カメラ１４の光軸Ｑ２と垂直な撮像面１５に構成される画像は、あたかも真上から撮影した画像Ｇ２のようになる（図７（Ｃ）参照）。
【００１１】
斜め視野の場合は、以上の説明と略同様の考え方で説明することができるが、上記と異なるのは、仮想カメラ１４が地面に対して斜めに仮想設置されている点である。
【００１２】
即ち、図８（Ａ）に示すように、仮想スクリーン１３上に撮影された画像Ｇ３（図８（Ｂ）参照）を、斜めに傾いた仮想カメラ１４により撮影することにより、仮想カメラ１４により撮影された変換画像Ｇ４（仮想カメラ１４の光軸Ｑ２と垂直な撮像面１５に構成される画像Ｇ４は、あたかも斜め後方を見下ろして撮影した画像のようになる（図８（Ｃ）参照）。
【００１３】
【発明が解決しようとする課題】
ところで、上述した特願２００１−２９３５１９号に開示の技術にあっては、仮想スクリーン１３は地面と同一平面上に固定しているため、斜め視野の画像においても地面に相当する領域、即ち、水平線よりも下の領域のみしか表示することができないという問題が生じていた。
【００１４】
図９（Ａ）は従来のモデルにおいて不具合が生じるカメラ１の設置例を示し、図９（Ｂ）はその時のカメラ１の画像例（撮像面１２上に構成された画像の例）を示す。
【００１５】
図９（Ａ）に示すように、カメラ１１の撮像領域は図示異なるハッチングで区別する領域Ｒ１及び領域Ｒ２を合わせた部分（符号１２’は、説明の便宜上の撮像面である）である。すなわち、実際に撮像面１２’上に形成されている画像領域は領域Ｒ１及び領域Ｒ２内に含まれる情報を撮像面１２に投影したものであり、領域Ｒ１に相当する画像は図９（Ｂ）に示す表示領域Ｈ１内の画像であり、領域Ｒ２に相当する画像は図９（Ｂ）に示す表示領域Ｈ２内の画像である。
【００１６】
尚、領域Ｒ１と領域Ｒ２との境界面Ｒは、撮像面１２’に投影した際の水平線Ｈ（実際に表示される線ではない）となる。ここで、撮像面１２’に形成された画像を仮想スクリーン３に投影することを考えると、図９（Ａ）から明らかなように、表示領域Ｈ１に対応する領域Ｒ１は水平線Ｈよりも下側にあるので、仮想スクリーン１３に投影されることとなるが、表示領域Ｈ２に対応する領域Ｒ２は水平線Ｈよりも上側にあるので仮想スクリーン１３に投影されないことになる。このため、図９（Ａ）と同様のモデルにより斜め視野に視点変換を行うと、実際の画像は、図９（Ｃ）に示すように、水平線Ｈよりも上方に位置する表示領域Ｈ２の画像が欠如したものとる。
【００１７】
このように、特願２００１−２９３５１９号に開示の技術では、斜め視野に視点変換を行った際に、変換画像上で水平線Ｈよりも上方の部分を表示することが不可能であった。
【００１８】
また、同様の理由により、図９（Ｃ）に示したように、カメラ１１上で水平線よりも上方に突出した状態となる立体物（図の場合は立体物の上部）は、表示されなくなってしまう。そのため、表示される変換画像は、見た目も不自然となってしまう上、遠方まで表示しようという斜め視野としての効果も薄れてしまうばかりでなく、立体物がカメラ１１では撮影されているにもかかわらず、変換画像上では表示されない虞がある。
【００１９】
また、上述した特願２００１−２９３５１９号にあっては、仮想視点の切り替えのための手段として、レバー等の連続的に変化する装置を用いているが、このような装置では操作部が動作するだけの操作スペースが必要となり、狭い車室内に充分な操作スペースが確保されないと設置（特に、後付け等）が困難となってしまうという問題も生じていた。
【００２０】
本発明は、上記問題を解決するため、状況に応じて変化する利用者の好みに対して最適な視点変換画像を与えることができ、汎用性を向上させることができる車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置を提供することを目的とする。
【００２１】
ここで、斜め視野は、従来の原理の欠点を改良し、従来の手法では表示し得なかった水平線よりも上方を表示することを可能とし、その結果として見た目の違和感を解消することを意味する。
【００２２】
また、画像の切り替え操作は、直感的に分かりやすいものであり、その切替手段の形状は省スペース化の見地からカメラの回転方向のみを指定する形式としている。
【００２３】
【課題を解決するための手段】
その目的を達成するため、請求項１に記載の車両周囲画像表示方法は、車両に搭載したカメラからの車両周囲に関する撮影画像を画像処理して画像出力部に表示させる車両周囲画像表示方法において、
前記画像処理は前記カメラの撮影画像を前記カメラによる視点とは異なる複数の仮想視点から見た仮想画像となるように座標変換することであり、その座標変換を行うに際しては、前記カメラの光軸を基準とした撮影画像を、地面と同一面上のスクリーンを介することなく、前記仮想視点から見た撮像を実現するための仮想カメラの光軸に対して垂直に設置されている仮想スクリーン上に直接投影し、この撮影画像の投影により前記仮想スクリーン上に得られる画像が前記仮想カメラにより撮像したときの画像となるように座標変換し、画像切替手段によって前記複数の仮想視点のうちの任意の仮想視点を選択してその仮想視点から見た画像を表示することを特徴とする。
【００２４】
請求項２に記載の車両周囲画像表示方法は、前記複数の仮想視点とは、車両斜め後方を見下ろすような斜め視野の仮想視点であり且つその斜め視野の地面に対する見下ろし角度が複数であることを特徴とする。
【００２５】
請求項３に記載の車両周囲画像表示方法は、前記複数の仮想視点とは、車両を垂直に見下ろすような頂上視野の仮想視点であり且つその頂上視野の地面に対する高さが複数であることを特徴とする。
【００２６】
請求項４に記載の信号処理装置は、カメラ信号をＲＧＢ信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルＲＧＢ信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する見下ろし角度が異なる複数の斜め視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルＲＧＢ信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各見下ろし角度毎に記録したルックアップテーブルが保存された複数のＲＯＭと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のＲＯＭに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする。
【００２７】
請求項５に記載の信号処理装置は、車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって斜め視野の見下ろし角度を選択し、その選択した見下ろし角度に基づく斜め視野から見た画像を前記画像出力部で表示することを特徴とする。
【００２８】
請求項６に記載の信号処理装置は、カメラ信号をＲＧＢ信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルＲＧＢ信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する高さの異なる複数の頂上視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルＲＧＢ信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各高さ毎に記録したルックアップテーブルが保存された複数のＲＯＭと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のＲＯＭに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする。
【００２９】
請求項７に記載の信号処理装置は、車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって頂上視野の高さを選択し、その選択した高さに基づく頂上視野から見た画像を前記画像出力部で表示することを特徴とする。
【００３０】
請求項８に記載の信号処理装置は、前記画像切替手段は複数の釦を備え、該複数の釦を操作することによって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする。
【００３１】
請求項９に記載の信号処理装置は、前記画像切替手段は一つの操作キー又は操作レバーを備え、該一つの操作キー又は操作レバーの操作に連動する電気接点出力信号によって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする。
【００３２】
請求項１０に記載の車両周囲監視装置は、請求項５，７，８，９の何れか１項に記載の信号処理装置を用い、車両に搭載された複数台のカメラの画像を斜め視野若しくは頂上視野の画像に座標変換した後に合成して一つの画像として画像出力部に表示することを特徴とする。
【００３３】
【発明の実施の形態】
次に、本発明の実施の形態を図面に基づいて説明する。
【００３４】
図１（Ａ）において、１１は車両（図示せず）の後方に搭載されるカメラ、１２はカメラ１１の撮像面、１３は仮想スクリーン、１４は仮想スクリーン１３と垂直な光軸Ｑ２上に設置したと仮定される仮想カメラ、１５はその仮想カメラ１４の撮像面、Ｇは水平線としての地面である。
【００３５】
カメラ１１から仮想カメラ１４への視点変換は、カメラ１１からの撮影画像を仮想スクリーン１３に投影し、その仮想スクリーン１３上に投影された画像を仮想カメラ１４で撮影することとする。
【００３６】
この仮想スクリーン１３は、仮想カメラ１４が地面Ｇに対していかなる角度であろうとも、仮想カメラ１４の光軸Ｑ２に対して垂直に配置される。即ち、仮想カメラ１４の地面Ｇに対する見下ろし角度（俯角）が変化する毎に仮想スクリーン１３の向きも変化することを意味する。これにより、仮想カメラ１４が斜めに傾いているときであっても、図１（Ｂ）に示すように、変換画像Ｇ５において水平線よりも高い位置の物体を反映することができる。
【００３７】
次に、図２のブロック図に基づいてシステム構成を説明する。
【００３８】
図２において、１１はカメラ、２１は画像合成機、２２はデコード部、２３は同期分離部、２４はメモリ、２５は画像制御部、２６〜３０はＲＯＭ、３１は画像重畳部、３２はエンコード部、３３は画像出力部としての液晶画面等のモニタである。
【００３９】
カメラ１１より入力されたＮＴＳＣ又はＰＡＬ信号は、画像合成機２１におけるデコード部２２においてＲＧＢ信号にデコードされると共にデジタル信号化され、メモリ２４にデジタルＲＧＢデータとして保存される。
【００４０】
一方、ＲＯＭ２６〜３０には、出力画像の各座標（Ｘｏ，Ｙｏ）に対して、カメラ１１からの入力画像において、どの座標（Ｘｉ，Ｙｉ）の画素を出力画像に書き込むか、或いは、画像重畳部３１により自車位置等を重畳表示する際に重畳する場所とその色、を記載したデータ（以下、「ルックアップテーブル」と称する。）が予め記録されている。
【００４１】
このルックアップテーブルは、カメラ１１のカメラ設置位置等のパラメータを事前に決定しておくことにより、所望の視点変換が行えるよう、適切な形で作成されている。
【００４２】
画像制御部２５は、画像切替手段３４からの信号に基づいてＲＯＭ２６〜３０のルックアップテーブルのどれか１つを選択・参照する。その情報に基づいて出力画像の各座標（Ｘｏ，Ｙｏ）毎に、メモリ２３上のどのアドレスの情報を用いるかをメモリ２３に、又は、その出力座標に画像重畳部３１を用いるか、用いた場合にどの色を発生させるかの情報を画像重畳部３１に送り、最終的にメモリ２３の指定されたアドレスのデータ又は画像重畳部３１により発生した色データがエンコード部３２に送られる。
【００４３】
そして、エンコード部３２においてＤ／Ａ変換及びＮＴＳＣ又はＰＡＬ信号へのエンコードがなされ、モニタ３３において出力画像が表示される。
【００４４】
本実施の形態において、ＲＯＭ２６〜３０内に記録されているルックアップテーブルは、カメラ１１のカメラ取り付け位置等のパラメータを事前に決定しておくことにより、変換及び合成に適切な形で予め記録されている。
【００４５】
例えば、図３（Ａ）〜図３（Ｅ）に示すように、仮想視点の位置が斜め視野が変化（俯角θ＝０°からθ＝４０°までの間で１０°毎の５段階）させるように作られている。その図３（Ａ）〜図３（Ｅ）において、Ｇ６〜Ｇ１１は各俯角に対応する画像の一例を示している。
【００４６】
尚、俯角θ＝０°は水平を意味するのではなく、基準角度（俯角）を示すもので、例えば、仮想カメラ１４の光軸Ｑ２がカメラ１１の光軸Ｑ１と一致する場合を０°とする場合と、これとは異なる角度（基本的には光軸Ｑ１よりも俯角は大きい）の場合の何れでも良い。また、これとは逆に、θ＝０°を地面Ｇに垂直な光軸Ｑ２とし、以下、光軸Ｑ１に近付く方向に１０°毎としても良い。この際、θ＝４０°を光軸Ｑ１と一致するようにカメラ１１を設置してもよい。図３に示した状態は、図３（Ａ）を俯角θ＝０°（頂上視野である地面Ｇと垂直）、図３（Ｅ）をカメラ１１の実際の映像と一致させた俯角θ＝４０°としている。
【００４７】
以後、便宜上、これらのルックアップテーブル（変換テーブル）をθ＝０°から１０°刻みで順にＴ0，Ｔ1，…Ｔ4とする。
【００４８】
画像切替手段３４は、図４（Ａ）に示すように、２種類の釦４１，４２を備えている。釦４１は仮想視点の俯角を大きくする（仮想カメラ１４が斜め上方に向かう）際の操作用とされ、釦４２は仮想視点の俯角を小さくする（仮想カメラ１４が斜め下方に向かう）際の操作用とされている。
【００４９】
変換テーブルＴnを用いてシステムが画像変換を行っている状態で釦４１を利用者（例えば、運転手）が押圧操作すると、その信号（画像切替信号）は画像合成機２１の画像制御部２５に送られる。画像制御部２５は、その画像切替信号に基づいて画像変換に用いる変換テーブルをＴn+1に変更する。
【００５０】
もし、釦４１を押す前の段階でＴ 4 であった場合、画像制御部２５は変換テーブルを変換することなく、そのまま変換テーブルＴ 4 を画像変換用に用いる。逆に、変換テーブルＴnを用いている状態で釦４２を押した場合、その信号は画像制御部２５に送られ、画像制御部２５はその信号に基づいて画像変換に用いる変換テーブルをＴn-1に変更する。
【００５１】
もし、釦４２を押す前の段階でＴ 0 であった場合、画像制御部２５は変換テーブルを変更することなくそのままＴ 0 を変換に用いる。
【００５２】
このような構成とすることにより、変換テーブルの変更、即ち、仮想視点の変換を２つの釦により行うことができる。
【００５３】
この例では、釦４１，４２を押すごとに変換を使用するテーブルを切り替える構成であるが、これに加えて釦４１，４２の長押し時にテーブルを順番に切り替えるようにしても良い。ここで長押しとは釦４１若しくは釦２を一定時間以上押し続ける操作のことを意味する。
【００５４】
例えば、変換テーブルＴnを用いて画像変換を行っている状態で釦４１を押圧操作し、その結果として変換テーブルがＴn+1に変更された後、釦４１を一定時間ｔ以上押し続けた結果として、釦４１が押されているという信号が一定時間ｔ以上の間、画像制御部２５に入力されていた場合、画像制御部２５は変換テーブルをＴn+2に変更する。
【００５５】
さらに、釦４１が押し続けられた場合、釦４１が離されるまで、時間ｔ毎に変換テーブルを順次変更する。その後、変換テーブルがＴ4となった際には、変換テーブルのそれ以上の変更は行わない。
【００５６】
逆に、釦４２を長押しした場合も、変換テーブルがＴ 0 （ｎ＝０）になるまでｎの値を減少する点が異なるだけで同様の動作となる。
【００５７】
本実施例においては、仮想視点の俯角を０°〜４０°までの間の１０°刻みにし、合計５つのパターン（図３（Ａ）〜図３（Ｅ））としているが、このパターン数を増やし、角度刻み幅をパターン数の増加に伴って小さくすれば、さらにスムースな視点変換を行うことができ、より好ましいものとなる。また、１０°〜４０°という仮想視点の俯角の範囲も、さらに広範囲としても良いし、逆に狭い範囲としても良いことは勿論である。
【００５８】
さらに、上記実施の形態においては、仮想カメラ１４の回転方向（俯角変化に一致）は上下方向に限定されていたが、これに限定されるものではなく、自由回転を行っても良い。
【００５９】
図４（Ｂ）は、このような自由回転を実現するための画像切替手段３４を示すもので、上下左右の４つ釦５１，５２，５３，５４の四方向スイッチから構成され、これら各釦５１〜５４の組み合わせにより上下左右並びにこれらの複合の斜めといった自由回転を実現する。尚、この各釦５１〜５４は、釦４１，４２と同様に、仮想カメラ１４の移動方向に一致することが好ましい。尚、左右に関しては運転者が前向きの状態の左右と仮想カメラ１４の移動方向とは逆になるので、運転者が前方を向いているときの車体右側を見たいときには右向きの釦５４を操作することにより仮想カメラ１４が左に移動して車体右側の画像を表示し、運転者が前方を向いているときの車体左側を見たいときには左向きの釦５３を操作することにより仮想カメラ１４が右に移動して車体左側の画像を表示するようにすることも可能である。また、このような場合のほか、図４（Ｃ）に示すような十字キー（四方向）やジョイステック（図示せず）などでも良い。
【００６０】
また、上記実施の形態においては、仮想視点の俯角の異なる複数の変換テーブルを切り替える形式としたが、これは、例えば、図５（Ａ）〜図５（Ｅ）に示すように、仮想視点の高さの異なる画像と対応させ、画像の拡大・縮小が行えるようにしても良い。なお、図５（Ａ）〜図５（Ｅ）において、Ｇ１１〜Ｇ１５はそれぞれ高さの異なる変換画像の一例を示している。
【００６１】
上記実施の形態では、一つのカメラ１１の場合で説明したが、例えば、特願２００１−２９３５１９号に記載の実施例のような構成とし、２台以上のカメラを変換・合成する形式への適用も可能である。
【００６２】
図６は、２台のカメラを設置した場合のシステム構成のブロック図である。
【００６３】
図６において、１１，３５はカメラ、２１は画像合成機、２２，３６はデコード部、２３は同期分離部、２４，３７はメモリ、３８はカメラ１１，３５を選択する切替スイッチ、２５は画像制御部、２６〜３０はＲＯＭ、３１は画像重畳部、３２はエンコード部、３３は画像出力部としての液晶画面等のモニタである。
【００６４】
そして、このような構成においても、切替スイッチ３５に切り替えられたカメラ１１，３５を使用して上記と同様の画像処理を行う。
【００６５】
【発明の効果】
以上説明したように、本発明は、仮想カメラの地面に対する見下ろし角度（俯角）或いは高さが変化する毎に仮想スクリーンの向きや高さが変化することにより、運転状況に則した見やすい画面を表示することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示し、（Ａ）は実際に車体に搭載された状態でのカメラと仮想カメラとの関係の説明図、（Ｂ）は仮想カメラによる画像表示例の説明図である。
【図２】同じく、１台のカメラの場合の画像処理のシステム構成のブロック図である。
【図３】同じく、（Ａ）は俯角０°の場合の斜め視野画像表示例の説明図、（Ｂ）は俯角１０°の場合の斜め視野画像表示例の説明図、（Ｃ）は俯角２０°の場合の斜め視野画像表示例の説明図、（Ｄ）は俯角３０°の場合の斜め視野画像表示例の説明図、（Ｅ）は俯角４０°の場合の斜め視野画像表示例の説明図である。
【図４】同じく、（Ａ）は二つ釦の場合の画像切換手段の正面図、（Ｂ）は四つ釦の場合の画像切替手段の正面図、（Ｃ）は十字キーの場合の画像切換手段の正面図である。
【図５】同じく、（Ａ）は最大高さの場合の頂上視野画像表示例の説明図、（Ｂ）は第二高さの場合の頂上視野画像表示例の説明図、（Ｃ）は第三高さの場合の場合の頂上視野画像表示例の説明図、（Ｄ）は第四高さの場合の頂上視野画像表示例の説明図、（Ｅ）は最小高さの場合の頂上視野画像表示例の説明図である。
【図６】同じく、２台のカメラの場合の画像処理のシステム構成のブロック図である。
【図７】従来技術を示し、（Ａ）は実際に車体に搭載された状態でのカメラと頂上視野時の仮想カメラとの関係の説明図、（Ｂ）は実際のカメラによる画像表示例の説明図、（Ｃ）は仮想カメラによる頂上視野画像表示例の説明図である。
【図８】従来技術を示し、（Ａ）は実際に車体に搭載された状態でのカメラと斜め視野時の仮想カメラとの関係の説明図、（Ｂ）は実際のカメラによる画像表示例の説明図、（Ｃ）は仮想カメラによる斜め視野画像表示例の説明図である。
【図９】従来技術を示し、（Ａ）は実際に車体に搭載された状態でのカメラと撮像領域との関係の説明図、（Ｂ）は撮像領域に対する表示領域の説明図、（Ｃ）は実際の表示される表示領域に対する斜め視野画像表示例の説明図である。
【符号の説明】
１１…カメラ
１３…仮想スクリーン
１４…仮想カメラ
２２…デコード部
２３…同期分離部
２４…メモリ部
２５…画像処理部
２６〜３０…ＲＯＭ
３１…画像重畳部
３２…エンコード部
３３…モニタ（画像出力部）
３４…画像切換手段
【発明の属する技術分野】
本発明は、車両に搭載した一つ以上のカメラからの車両周囲に関する撮影画像を複数の仮想視点から見た画像に座標変換するように画像処理した上でモニタ等の画像出力部で表示する車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置に関する。
【０００２】
【従来の技術】
従来、主として車両後退時に車両後方の周囲をモニタ等の画像出力部に表示する車両周囲監視装置には、複数台のカメラからの車両周囲の撮影画像を画像処理して視点変換し、あたかも斜め上方から見下ろすように車両後方を見たような俯瞰画像として画像出力部に表示するものが知られている（例えば、特開平３−９９９５２号公報参照）。
【０００３】
この特開平３−９９９５２号公報に開示の技術は、カメラから入力された画像に対し、仮想的に設置した仮想カメラからの画像となるように視点変換を施し、あたかも真上から地面を見下ろしたような頂上視野の画像を合成することにより、自車両とその後方の白線や駐車スペース等との位置関係を解り易く運転者等に提示するものである。
【０００４】
しかしながら、このような頂上視野は、原理上、遠方の画像が荒れて表示されてしまうため、自車両の周囲を広範囲に表示するには適さないという問題が生じていた。
【０００５】
このため、本願出願人は、特願２００１−２９３５１９号において、上述した真上から地面を見たような頂上視野の画像に変えて、斜め上方から地面を見下ろしたような斜め視野の仮想視点へと視点変換を行う画像合成手段を設け、その斜め視野からの画像を画像出力部に表示する技術を提案している。
【０００６】
このような斜め視野においては、自車両とその周囲の状況の位置関係では頂上視野の画像に比べて解り難くなるが、遠方での画像の荒れは頂上視野の画像に比べて抑えることができるので、これら双方の利点を利用して、遠方を確認する時には斜め視野による画像、近傍を確認する時には頂上視野による画像といったような使い分けをすることができる。
【０００７】
具体的には、車両を駐車させる場合において、駐車場所を推定するときなどの比較的広い範囲に対する情報を知りたいときには斜め視野による画像、駐車場所を決定してその駐車位置と自車両との位置合わせを行う時には頂上視野による画像といった使い分けが可能となる。
【０００８】
ここで、特願２００１−２９３５１９号による視点変換について説明する。
【０００９】
図７（Ａ）に示すように、実際に車両（図示せず）に搭載されたカメラ１１の光軸Ｑ１と垂直な撮像面１２上に構成されている画像Ｇ１（図７（Ｂ）参照）は、地面と同一平面上に仮想的に設置された仮想スクリーンＧ（１３）に投影される。
【００１０】
次に、仮想スクリーン１３上に投影された画像を、仮想的に地面に垂直に設置した仮想カメラ１４により撮影する。すると、カメラ１１は地面に対して斜めに設置しているにもかかわらず、仮想カメラ１４により撮影された変換画像（仮想カメラ１４の光軸Ｑ２と垂直な撮像面１５に構成される画像は、あたかも真上から撮影した画像Ｇ２のようになる（図７（Ｃ）参照）。
【００１１】
斜め視野の場合は、以上の説明と略同様の考え方で説明することができるが、上記と異なるのは、仮想カメラ１４が地面に対して斜めに仮想設置されている点である。
【００１２】
即ち、図８（Ａ）に示すように、仮想スクリーン１３上に撮影された画像Ｇ３（図８（Ｂ）参照）を、斜めに傾いた仮想カメラ１４により撮影することにより、仮想カメラ１４により撮影された変換画像Ｇ４（仮想カメラ１４の光軸Ｑ２と垂直な撮像面１５に構成される画像Ｇ４は、あたかも斜め後方を見下ろして撮影した画像のようになる（図８（Ｃ）参照）。
【００１３】
【発明が解決しようとする課題】
ところで、上述した特願２００１−２９３５１９号に開示の技術にあっては、仮想スクリーン１３は地面と同一平面上に固定しているため、斜め視野の画像においても地面に相当する領域、即ち、水平線よりも下の領域のみしか表示することができないという問題が生じていた。
【００１４】
図９（Ａ）は従来のモデルにおいて不具合が生じるカメラ１の設置例を示し、図９（Ｂ）はその時のカメラ１の画像例（撮像面１２上に構成された画像の例）を示す。
【００１５】
図９（Ａ）に示すように、カメラ１１の撮像領域は図示異なるハッチングで区別する領域Ｒ１及び領域Ｒ２を合わせた部分（符号１２’は、説明の便宜上の撮像面である）である。すなわち、実際に撮像面１２’上に形成されている画像領域は領域Ｒ１及び領域Ｒ２内に含まれる情報を撮像面１２に投影したものであり、領域Ｒ１に相当する画像は図９（Ｂ）に示す表示領域Ｈ１内の画像であり、領域Ｒ２に相当する画像は図９（Ｂ）に示す表示領域Ｈ２内の画像である。
【００１６】
尚、領域Ｒ１と領域Ｒ２との境界面Ｒは、撮像面１２’に投影した際の水平線Ｈ（実際に表示される線ではない）となる。ここで、撮像面１２’に形成された画像を仮想スクリーン３に投影することを考えると、図９（Ａ）から明らかなように、表示領域Ｈ１に対応する領域Ｒ１は水平線Ｈよりも下側にあるので、仮想スクリーン１３に投影されることとなるが、表示領域Ｈ２に対応する領域Ｒ２は水平線Ｈよりも上側にあるので仮想スクリーン１３に投影されないことになる。このため、図９（Ａ）と同様のモデルにより斜め視野に視点変換を行うと、実際の画像は、図９（Ｃ）に示すように、水平線Ｈよりも上方に位置する表示領域Ｈ２の画像が欠如したものとる。
【００１７】
このように、特願２００１−２９３５１９号に開示の技術では、斜め視野に視点変換を行った際に、変換画像上で水平線Ｈよりも上方の部分を表示することが不可能であった。
【００１８】
また、同様の理由により、図９（Ｃ）に示したように、カメラ１１上で水平線よりも上方に突出した状態となる立体物（図の場合は立体物の上部）は、表示されなくなってしまう。そのため、表示される変換画像は、見た目も不自然となってしまう上、遠方まで表示しようという斜め視野としての効果も薄れてしまうばかりでなく、立体物がカメラ１１では撮影されているにもかかわらず、変換画像上では表示されない虞がある。
【００１９】
また、上述した特願２００１−２９３５１９号にあっては、仮想視点の切り替えのための手段として、レバー等の連続的に変化する装置を用いているが、このような装置では操作部が動作するだけの操作スペースが必要となり、狭い車室内に充分な操作スペースが確保されないと設置（特に、後付け等）が困難となってしまうという問題も生じていた。
【００２０】
本発明は、上記問題を解決するため、状況に応じて変化する利用者の好みに対して最適な視点変換画像を与えることができ、汎用性を向上させることができる車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置を提供することを目的とする。
【００２１】
ここで、斜め視野は、従来の原理の欠点を改良し、従来の手法では表示し得なかった水平線よりも上方を表示することを可能とし、その結果として見た目の違和感を解消することを意味する。
【００２２】
また、画像の切り替え操作は、直感的に分かりやすいものであり、その切替手段の形状は省スペース化の見地からカメラの回転方向のみを指定する形式としている。
【００２３】
【課題を解決するための手段】
その目的を達成するため、請求項１に記載の車両周囲画像表示方法は、車両に搭載したカメラからの車両周囲に関する撮影画像を画像処理して画像出力部に表示させる車両周囲画像表示方法において、
前記画像処理は前記カメラの撮影画像を前記カメラによる視点とは異なる複数の仮想視点から見た仮想画像となるように座標変換することであり、その座標変換を行うに際しては、前記カメラの光軸を基準とした撮影画像を、地面と同一面上のスクリーンを介することなく、前記仮想視点から見た撮像を実現するための仮想カメラの光軸に対して垂直に設置されている仮想スクリーン上に直接投影し、この撮影画像の投影により前記仮想スクリーン上に得られる画像が前記仮想カメラにより撮像したときの画像となるように座標変換し、画像切替手段によって前記複数の仮想視点のうちの任意の仮想視点を選択してその仮想視点から見た画像を表示することを特徴とする。
【００２４】
請求項２に記載の車両周囲画像表示方法は、前記複数の仮想視点とは、車両斜め後方を見下ろすような斜め視野の仮想視点であり且つその斜め視野の地面に対する見下ろし角度が複数であることを特徴とする。
【００２５】
請求項３に記載の車両周囲画像表示方法は、前記複数の仮想視点とは、車両を垂直に見下ろすような頂上視野の仮想視点であり且つその頂上視野の地面に対する高さが複数であることを特徴とする。
【００２６】
請求項４に記載の信号処理装置は、カメラ信号をＲＧＢ信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルＲＧＢ信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する見下ろし角度が異なる複数の斜め視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルＲＧＢ信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各見下ろし角度毎に記録したルックアップテーブルが保存された複数のＲＯＭと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のＲＯＭに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする。
【００２７】
請求項５に記載の信号処理装置は、車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって斜め視野の見下ろし角度を選択し、その選択した見下ろし角度に基づく斜め視野から見た画像を前記画像出力部で表示することを特徴とする。
【００２８】
請求項６に記載の信号処理装置は、カメラ信号をＲＧＢ信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルＲＧＢ信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する高さの異なる複数の頂上視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルＲＧＢ信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各高さ毎に記録したルックアップテーブルが保存された複数のＲＯＭと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のＲＯＭに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする。
【００２９】
請求項７に記載の信号処理装置は、車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって頂上視野の高さを選択し、その選択した高さに基づく頂上視野から見た画像を前記画像出力部で表示することを特徴とする。
【００３０】
請求項８に記載の信号処理装置は、前記画像切替手段は複数の釦を備え、該複数の釦を操作することによって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする。
【００３１】
請求項９に記載の信号処理装置は、前記画像切替手段は一つの操作キー又は操作レバーを備え、該一つの操作キー又は操作レバーの操作に連動する電気接点出力信号によって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする。
【００３２】
請求項１０に記載の車両周囲監視装置は、請求項５，７，８，９の何れか１項に記載の信号処理装置を用い、車両に搭載された複数台のカメラの画像を斜め視野若しくは頂上視野の画像に座標変換した後に合成して一つの画像として画像出力部に表示することを特徴とする。
【００３３】
【発明の実施の形態】
次に、本発明の実施の形態を図面に基づいて説明する。
【００３４】
図１（Ａ）において、１１は車両（図示せず）の後方に搭載されるカメラ、１２はカメラ１１の撮像面、１３は仮想スクリーン、１４は仮想スクリーン１３と垂直な光軸Ｑ２上に設置したと仮定される仮想カメラ、１５はその仮想カメラ１４の撮像面、Ｇは水平線としての地面である。
【００３５】
カメラ１１から仮想カメラ１４への視点変換は、カメラ１１からの撮影画像を仮想スクリーン１３に投影し、その仮想スクリーン１３上に投影された画像を仮想カメラ１４で撮影することとする。
【００３６】
この仮想スクリーン１３は、仮想カメラ１４が地面Ｇに対していかなる角度であろうとも、仮想カメラ１４の光軸Ｑ２に対して垂直に配置される。即ち、仮想カメラ１４の地面Ｇに対する見下ろし角度（俯角）が変化する毎に仮想スクリーン１３の向きも変化することを意味する。これにより、仮想カメラ１４が斜めに傾いているときであっても、図１（Ｂ）に示すように、変換画像Ｇ５において水平線よりも高い位置の物体を反映することができる。
【００３７】
次に、図２のブロック図に基づいてシステム構成を説明する。
【００３８】
図２において、１１はカメラ、２１は画像合成機、２２はデコード部、２３は同期分離部、２４はメモリ、２５は画像制御部、２６〜３０はＲＯＭ、３１は画像重畳部、３２はエンコード部、３３は画像出力部としての液晶画面等のモニタである。
【００３９】
カメラ１１より入力されたＮＴＳＣ又はＰＡＬ信号は、画像合成機２１におけるデコード部２２においてＲＧＢ信号にデコードされると共にデジタル信号化され、メモリ２４にデジタルＲＧＢデータとして保存される。
【００４０】
一方、ＲＯＭ２６〜３０には、出力画像の各座標（Ｘｏ，Ｙｏ）に対して、カメラ１１からの入力画像において、どの座標（Ｘｉ，Ｙｉ）の画素を出力画像に書き込むか、或いは、画像重畳部３１により自車位置等を重畳表示する際に重畳する場所とその色、を記載したデータ（以下、「ルックアップテーブル」と称する。）が予め記録されている。
【００４１】
このルックアップテーブルは、カメラ１１のカメラ設置位置等のパラメータを事前に決定しておくことにより、所望の視点変換が行えるよう、適切な形で作成されている。
【００４２】
画像制御部２５は、画像切替手段３４からの信号に基づいてＲＯＭ２６〜３０のルックアップテーブルのどれか１つを選択・参照する。その情報に基づいて出力画像の各座標（Ｘｏ，Ｙｏ）毎に、メモリ２３上のどのアドレスの情報を用いるかをメモリ２３に、又は、その出力座標に画像重畳部３１を用いるか、用いた場合にどの色を発生させるかの情報を画像重畳部３１に送り、最終的にメモリ２３の指定されたアドレスのデータ又は画像重畳部３１により発生した色データがエンコード部３２に送られる。
【００４３】
そして、エンコード部３２においてＤ／Ａ変換及びＮＴＳＣ又はＰＡＬ信号へのエンコードがなされ、モニタ３３において出力画像が表示される。
【００４４】
本実施の形態において、ＲＯＭ２６〜３０内に記録されているルックアップテーブルは、カメラ１１のカメラ取り付け位置等のパラメータを事前に決定しておくことにより、変換及び合成に適切な形で予め記録されている。
【００４５】
例えば、図３（Ａ）〜図３（Ｅ）に示すように、仮想視点の位置が斜め視野が変化（俯角θ＝０°からθ＝４０°までの間で１０°毎の５段階）させるように作られている。その図３（Ａ）〜図３（Ｅ）において、Ｇ６〜Ｇ１１は各俯角に対応する画像の一例を示している。
【００４６】
尚、俯角θ＝０°は水平を意味するのではなく、基準角度（俯角）を示すもので、例えば、仮想カメラ１４の光軸Ｑ２がカメラ１１の光軸Ｑ１と一致する場合を０°とする場合と、これとは異なる角度（基本的には光軸Ｑ１よりも俯角は大きい）の場合の何れでも良い。また、これとは逆に、θ＝０°を地面Ｇに垂直な光軸Ｑ２とし、以下、光軸Ｑ１に近付く方向に１０°毎としても良い。この際、θ＝４０°を光軸Ｑ１と一致するようにカメラ１１を設置してもよい。図３に示した状態は、図３（Ａ）を俯角θ＝０°（頂上視野である地面Ｇと垂直）、図３（Ｅ）をカメラ１１の実際の映像と一致させた俯角θ＝４０°としている。
【００４７】
以後、便宜上、これらのルックアップテーブル（変換テーブル）をθ＝０°から１０°刻みで順にＴ0，Ｔ1，…Ｔ4とする。
【００４８】
画像切替手段３４は、図４（Ａ）に示すように、２種類の釦４１，４２を備えている。釦４１は仮想視点の俯角を大きくする（仮想カメラ１４が斜め上方に向かう）際の操作用とされ、釦４２は仮想視点の俯角を小さくする（仮想カメラ１４が斜め下方に向かう）際の操作用とされている。
【００４９】
変換テーブルＴnを用いてシステムが画像変換を行っている状態で釦４１を利用者（例えば、運転手）が押圧操作すると、その信号（画像切替信号）は画像合成機２１の画像制御部２５に送られる。画像制御部２５は、その画像切替信号に基づいて画像変換に用いる変換テーブルをＴn+1に変更する。
【００５０】
もし、釦４１を押す前の段階でＴ 4 であった場合、画像制御部２５は変換テーブルを変換することなく、そのまま変換テーブルＴ 4 を画像変換用に用いる。逆に、変換テーブルＴnを用いている状態で釦４２を押した場合、その信号は画像制御部２５に送られ、画像制御部２５はその信号に基づいて画像変換に用いる変換テーブルをＴn-1に変更する。
【００５１】
もし、釦４２を押す前の段階でＴ 0 であった場合、画像制御部２５は変換テーブルを変更することなくそのままＴ 0 を変換に用いる。
【００５２】
このような構成とすることにより、変換テーブルの変更、即ち、仮想視点の変換を２つの釦により行うことができる。
【００５３】
この例では、釦４１，４２を押すごとに変換を使用するテーブルを切り替える構成であるが、これに加えて釦４１，４２の長押し時にテーブルを順番に切り替えるようにしても良い。ここで長押しとは釦４１若しくは釦２を一定時間以上押し続ける操作のことを意味する。
【００５４】
例えば、変換テーブルＴnを用いて画像変換を行っている状態で釦４１を押圧操作し、その結果として変換テーブルがＴn+1に変更された後、釦４１を一定時間ｔ以上押し続けた結果として、釦４１が押されているという信号が一定時間ｔ以上の間、画像制御部２５に入力されていた場合、画像制御部２５は変換テーブルをＴn+2に変更する。
【００５５】
さらに、釦４１が押し続けられた場合、釦４１が離されるまで、時間ｔ毎に変換テーブルを順次変更する。その後、変換テーブルがＴ4となった際には、変換テーブルのそれ以上の変更は行わない。
【００５６】
逆に、釦４２を長押しした場合も、変換テーブルがＴ 0 （ｎ＝０）になるまでｎの値を減少する点が異なるだけで同様の動作となる。
【００５７】
本実施例においては、仮想視点の俯角を０°〜４０°までの間の１０°刻みにし、合計５つのパターン（図３（Ａ）〜図３（Ｅ））としているが、このパターン数を増やし、角度刻み幅をパターン数の増加に伴って小さくすれば、さらにスムースな視点変換を行うことができ、より好ましいものとなる。また、１０°〜４０°という仮想視点の俯角の範囲も、さらに広範囲としても良いし、逆に狭い範囲としても良いことは勿論である。
【００５８】
さらに、上記実施の形態においては、仮想カメラ１４の回転方向（俯角変化に一致）は上下方向に限定されていたが、これに限定されるものではなく、自由回転を行っても良い。
【００５９】
図４（Ｂ）は、このような自由回転を実現するための画像切替手段３４を示すもので、上下左右の４つ釦５１，５２，５３，５４の四方向スイッチから構成され、これら各釦５１〜５４の組み合わせにより上下左右並びにこれらの複合の斜めといった自由回転を実現する。尚、この各釦５１〜５４は、釦４１，４２と同様に、仮想カメラ１４の移動方向に一致することが好ましい。尚、左右に関しては運転者が前向きの状態の左右と仮想カメラ１４の移動方向とは逆になるので、運転者が前方を向いているときの車体右側を見たいときには右向きの釦５４を操作することにより仮想カメラ１４が左に移動して車体右側の画像を表示し、運転者が前方を向いているときの車体左側を見たいときには左向きの釦５３を操作することにより仮想カメラ１４が右に移動して車体左側の画像を表示するようにすることも可能である。また、このような場合のほか、図４（Ｃ）に示すような十字キー（四方向）やジョイステック（図示せず）などでも良い。
【００６０】
また、上記実施の形態においては、仮想視点の俯角の異なる複数の変換テーブルを切り替える形式としたが、これは、例えば、図５（Ａ）〜図５（Ｅ）に示すように、仮想視点の高さの異なる画像と対応させ、画像の拡大・縮小が行えるようにしても良い。なお、図５（Ａ）〜図５（Ｅ）において、Ｇ１１〜Ｇ１５はそれぞれ高さの異なる変換画像の一例を示している。
【００６１】
上記実施の形態では、一つのカメラ１１の場合で説明したが、例えば、特願２００１−２９３５１９号に記載の実施例のような構成とし、２台以上のカメラを変換・合成する形式への適用も可能である。
【００６２】
図６は、２台のカメラを設置した場合のシステム構成のブロック図である。
【００６３】
図６において、１１，３５はカメラ、２１は画像合成機、２２，３６はデコード部、２３は同期分離部、２４，３７はメモリ、３８はカメラ１１，３５を選択する切替スイッチ、２５は画像制御部、２６〜３０はＲＯＭ、３１は画像重畳部、３２はエンコード部、３３は画像出力部としての液晶画面等のモニタである。
【００６４】
そして、このような構成においても、切替スイッチ３５に切り替えられたカメラ１１，３５を使用して上記と同様の画像処理を行う。
【００６５】
【発明の効果】
以上説明したように、本発明は、仮想カメラの地面に対する見下ろし角度（俯角）或いは高さが変化する毎に仮想スクリーンの向きや高さが変化することにより、運転状況に則した見やすい画面を表示することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示し、（Ａ）は実際に車体に搭載された状態でのカメラと仮想カメラとの関係の説明図、（Ｂ）は仮想カメラによる画像表示例の説明図である。
【図２】同じく、１台のカメラの場合の画像処理のシステム構成のブロック図である。
【図３】同じく、（Ａ）は俯角０°の場合の斜め視野画像表示例の説明図、（Ｂ）は俯角１０°の場合の斜め視野画像表示例の説明図、（Ｃ）は俯角２０°の場合の斜め視野画像表示例の説明図、（Ｄ）は俯角３０°の場合の斜め視野画像表示例の説明図、（Ｅ）は俯角４０°の場合の斜め視野画像表示例の説明図である。
【図４】同じく、（Ａ）は二つ釦の場合の画像切換手段の正面図、（Ｂ）は四つ釦の場合の画像切替手段の正面図、（Ｃ）は十字キーの場合の画像切換手段の正面図である。
【図５】同じく、（Ａ）は最大高さの場合の頂上視野画像表示例の説明図、（Ｂ）は第二高さの場合の頂上視野画像表示例の説明図、（Ｃ）は第三高さの場合の場合の頂上視野画像表示例の説明図、（Ｄ）は第四高さの場合の頂上視野画像表示例の説明図、（Ｅ）は最小高さの場合の頂上視野画像表示例の説明図である。
【図６】同じく、２台のカメラの場合の画像処理のシステム構成のブロック図である。
【図７】従来技術を示し、（Ａ）は実際に車体に搭載された状態でのカメラと頂上視野時の仮想カメラとの関係の説明図、（Ｂ）は実際のカメラによる画像表示例の説明図、（Ｃ）は仮想カメラによる頂上視野画像表示例の説明図である。
【図８】従来技術を示し、（Ａ）は実際に車体に搭載された状態でのカメラと斜め視野時の仮想カメラとの関係の説明図、（Ｂ）は実際のカメラによる画像表示例の説明図、（Ｃ）は仮想カメラによる斜め視野画像表示例の説明図である。
【図９】従来技術を示し、（Ａ）は実際に車体に搭載された状態でのカメラと撮像領域との関係の説明図、（Ｂ）は撮像領域に対する表示領域の説明図、（Ｃ）は実際の表示される表示領域に対する斜め視野画像表示例の説明図である。
【符号の説明】
１１…カメラ
１３…仮想スクリーン
１４…仮想カメラ
２２…デコード部
２３…同期分離部
２４…メモリ部
２５…画像処理部
２６〜３０…ＲＯＭ
３１…画像重畳部
３２…エンコード部
３３…モニタ（画像出力部）
３４…画像切換手段
Claims (10)
- 車両に搭載したカメラからの車両周囲に関する撮影画像を画像処理して画像出力部に表示させる車両周囲画像表示方法において、
前記画像処理は前記カメラの撮影画像を前記カメラによる視点とは異なる複数の仮想視点から見た仮想画像となるように座標変換することであり、その座標変換を行うに際しては、前記カメラの光軸を基準とした撮影画像を、地面と同一面上のスクリーンを介することなく、前記仮想視点から見た撮像を実現するための仮想カメラの光軸に対して垂直に設置されている仮想スクリーン上に直接投影し、この撮影画像の投影により前記仮想スクリーン上に得られる画像が前記仮想カメラにより撮像したときの画像となるように座標変換し、画像切替手段によって前記複数の仮想視点のうちの任意の仮想視点を選択してその仮想視点から見た画像を表示することを特徴とする車両周囲画像表示方法。 - 前記複数の仮想視点とは、車両斜め後方を見下ろすような斜め視野の仮想視点であり且つその斜め視野の地面に対する見下ろし角度が複数であることを特徴とする請求項１に記載の車両周囲画像表示方法。
- 前記複数の仮想視点とは、車両を垂直に見下ろすような頂上視野の仮想視点であり且つその頂上視野の地面に対する高さが複数であることを特徴とする請求項１に記載の車両周囲画像表示方法。
- カメラ信号をＲＧＢ信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルＲＧＢ信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する見下ろし角度が異なる複数の斜め視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルＲＧＢ信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各見下ろし角度毎に記録したルックアップテーブルが保存された複数のＲＯＭと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のＲＯＭに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする信号処理装置。 - 車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって斜め視野の見下ろし角度を選択し、その選択した見下ろし角度に基づく斜め視野から見た画像を前記画像出力部で表示することを特徴とする請求項４に記載の信号処理装置
- カメラ信号をＲＧＢ信号に分離してデジタル信号化する少なくとも一つのデコード部と、該デコード部によるデジタルＲＧＢ信号データを保存する少なくとも一つのメモリ部と、前記カメラ信号から同期信号を分離する同期分離部と、地面に対する高さの異なる複数の頂上視野における、地面に対して傾いた各仮想スクリーンに対応した出力画素と前記デジタルＲＧＢ信号による入力画素との、地面と同一面上のスクリーンの画素を介さない直接の座標変換による対応関係、自車位置および色情報を含む重畳データを各高さ毎に記録したルックアップテーブルが保存された複数のＲＯＭと、出力画像に前記重畳データを重畳処理する画像重畳部と、該画像重畳部からの信号に基づいてアナログ出力画像信号を生成するエンコード部と、前記各部全体の動作を制御する画像制御部とを備え、
前記画像制御部は、入力された画像切替信号に応じて、前記複数のＲＯＭに保存されたルックアップテーブルを選択・参照すると共に、その選択・参照したルックアップテーブルにしたがって前記メモリ部のどのアドレスにおける情報を用いるかを前記メモリ部に指示した後に、前記画像重畳部によって重畳処理された信号に基づいて前記エンコード部でアナログ出力画像信号を得るように制御することを特徴とする信号処理装置。 - 車両に搭載された複数台のカメラと、前記画像切替信号を出力する画像切替手段と、画像出力部とを備え、前記画像切替手段によって頂上視野の高さを選択し、その選択した高さに基づく頂上視野から見た画像を前記画像出力部で表示することを特徴とする請求項６に記載の信号処理装置。
- 前記画像切替手段は複数の釦を備え、該複数の釦を操作することによって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする請求項５又は請求項７に記載の信号処理装置。
- 前記画像切替手段は一つの操作キー又は操作レバーを備え、該一つの操作キー又は操作レバーの操作に連動する電気接点出力信号によって、斜め視野の仮想視点の見下ろし角度の増減若しくは頂上視野の仮想視点の高さの増減を制御することを特徴とする請求項５又は請求項７に記載の信号処理装置。
- 請求項５，７，８，９の何れか１項に記載の信号処理装置を用い、車両に搭載された複数台のカメラの画像を斜め視野若しくは頂上視野の画像に座標変換した後に合成して一つの画像として画像出力部に表示することを特徴とする車両周囲監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002187106A JP4004871B2 (ja) | 2002-06-27 | 2002-06-27 | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002187106A JP4004871B2 (ja) | 2002-06-27 | 2002-06-27 | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004032464A JP2004032464A (ja) | 2004-01-29 |
| JP4004871B2 true JP4004871B2 (ja) | 2007-11-07 |
Family
ID=31182243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002187106A Expired - Fee Related JP4004871B2 (ja) | 2002-06-27 | 2002-06-27 | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4004871B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103802725A (zh) * | 2012-11-06 | 2014-05-21 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4380550B2 (ja) * | 2004-03-31 | 2009-12-09 | 株式会社デンソー | 車載用撮影装置 |
| JP4569285B2 (ja) * | 2004-12-13 | 2010-10-27 | 日産自動車株式会社 | 画像処理装置 |
| JP4257356B2 (ja) | 2006-09-26 | 2009-04-22 | 株式会社日立製作所 | 画像生成装置および画像生成方法 |
| US20100007734A1 (en) * | 2007-01-16 | 2010-01-14 | Pioneer Corporation | Vehicular image processing device, and vehicular image processing program |
| JP4844979B2 (ja) * | 2007-08-30 | 2011-12-28 | 京セラ株式会社 | 画像処理方法と該画像処理方法を用いた撮像装置 |
| JP2011091527A (ja) * | 2009-10-21 | 2011-05-06 | Panasonic Corp | 映像変換装置及び撮像装置 |
| JP5735227B2 (ja) | 2010-07-16 | 2015-06-17 | ルネサスエレクトロニクス株式会社 | 画像変換装置及び画像変換システム |
| JP5944170B2 (ja) * | 2011-05-11 | 2016-07-05 | アイキューブド研究所株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5959684B2 (ja) * | 2015-04-16 | 2016-08-02 | ルネサスエレクトロニクス株式会社 | 画像変換システム |
| CN106274684A (zh) * | 2015-06-24 | 2017-01-04 | 张烂熳 | 一种小角度摄像头实现的汽车全景环视系统 |
| JP6416805B2 (ja) * | 2016-02-09 | 2018-10-31 | 株式会社ユニバーサルエンターテインメント | 遊技機の製造方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3526896B2 (ja) * | 1993-12-09 | 2004-05-17 | 株式会社応用計測研究所 | 動画像処理装置 |
| EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
-
2002
- 2002-06-27 JP JP2002187106A patent/JP4004871B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103802725A (zh) * | 2012-11-06 | 2014-05-21 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
| CN103802725B (zh) * | 2012-11-06 | 2016-03-09 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004032464A (ja) | 2004-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
| US7429998B2 (en) | Method and apparatus for monitoring vehicle rear, and signal processor | |
| JP3916958B2 (ja) | 車両後方モニタシステムおよびモニタ装置 | |
| JP4004871B2 (ja) | 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置 | |
| JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
| JP4786076B2 (ja) | 運転支援表示装置 | |
| JP5672862B2 (ja) | 撮像装置、撮像システム及び撮像方法 | |
| JP5813944B2 (ja) | 画像表示システム、画像処理装置及び画像表示方法 | |
| EP2161925A2 (en) | Method and system for fusing video streams | |
| JP4537537B2 (ja) | 運転支援装置 | |
| US20100097444A1 (en) | Camera System for Creating an Image From a Plurality of Images | |
| JP2001218197A (ja) | 車両用周辺表示装置 | |
| JP2791310B2 (ja) | 多角度撮影用の撮像装置 | |
| JPH11348659A (ja) | 車載画像表示装置 | |
| US20050243073A1 (en) | Presentation device and display method | |
| JP2000244814A (ja) | 画像合成装置、画像合成方法が記録された記録媒体 | |
| JP5168186B2 (ja) | 画像処理装置 | |
| JP2005311666A (ja) | 車両周辺視認装置 | |
| JP2005236493A (ja) | 運転支援装置 | |
| JP2005333565A (ja) | 監視装置 | |
| JPH10327349A (ja) | 画像生成装置および画像生成方法 | |
| JP6073433B2 (ja) | 画像表示システム、画像処理装置及び画像表示方法 | |
| JP2003149711A (ja) | 車両用モニタ装置 | |
| JP2009083744A (ja) | 合成画像調整装置 | |
| JP2007149011A (ja) | 車両周辺視認装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050523 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070822 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4004871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |