JP3928509B2 - 画像合成装置および画像合成方法 - Google Patents
画像合成装置および画像合成方法 Download PDFInfo
- Publication number
- JP3928509B2 JP3928509B2 JP2002206484A JP2002206484A JP3928509B2 JP 3928509 B2 JP3928509 B2 JP 3928509B2 JP 2002206484 A JP2002206484 A JP 2002206484A JP 2002206484 A JP2002206484 A JP 2002206484A JP 3928509 B2 JP3928509 B2 JP 3928509B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- opening
- door
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像合成装置および画像合成方法に係り、特に、車両に設置した複数の撮影手段で撮影した画像を、車両上方に設定した視点位置から見下ろした画像に変換し、複数の変換画像を１つの画像に合成して表示器に表示する画像合成装置および画像合成方法に関する。
【０００２】
【従来の技術】
近年、車両に設置した電子式のカメラによって車両の周辺を撮影し、監視することによって、安全運転を支援する装置が実用化され、普及しつつある。
このような技術は、例えば特開２００１−３３９７１６号公報に記載されている。
この従来技術は、視点位置をダイナミックに変更して、運転者からの死角を低減したり、運転操作を容易にするため、車内に設置した表示装置に運転状況に応じて最適な合成画像を表示しようとする車両周辺監視装置および方法である。
【０００３】
【発明が解決しようとする課題】
車両に取り付けられているカメラは、撮影したい範囲と車両形状を考慮し、その取り付け位置が決定されているが、車両のドア、トランクなど（以下、これらをまとめて開閉体と称す）が開いた場合、開いた部位がカメラに映り込んだり、また、開閉体にカメラが取り付けられている場合にはカメラの位置および向きが変わってしまい、表示映像に影響が出て運転者に誤解を与えるという問題点があった。上記従来技術においては、このような実情は考慮されていなかった。
【０００４】
具体的には、各カメラが撮影する範囲は、カメラの位置などをもとに決定されている。各カメラの位置は、通常、車両のドアやトランクやリヤゲートなどの開閉体は閉じている状態を基準に決定されているため、これらの開閉体が開いている場合、カメラの映像内に開いた開閉体が映り込み、撮影範囲に死角が生じ、期待した範囲の映像が取得できなくなる。また、トランクやリヤゲートなどの開閉体にカメラが設置されている場合もあり、このカメラが設置された開閉体の開閉により、該カメラの向きおよび位置が変わり、期待した範囲の映像を取得できなくなる。このように従来においては、開閉体の開閉を検知していないため、前述のように期待した範囲の映像が取得できない場合にも、取得した映像をもとに表示映像を作成するため、運転者が混乱する場合があった。
【０００５】
本発明の目的は、車両のドア等の開閉体が開いた場合でも、運転者に画像を表示できる画像合成装置および画像合成方法を提供することにある。
【０００６】
【課題を解決するための手段】
この目的を達成するため、本発明は、車両に設置した複数の撮影手段によって撮影された複数の画像データを合成し、合成されたデータを表示し、車両の開閉体の開閉により撮影手段の撮影範囲に死角が生じる場合、撮影手段の担当範囲を変更することを特徴とする。
【０００７】
【発明の効果】
本発明によれば、車両のドア等の開閉体が開いた場合でも、運転者に画像を表示することができる。
【０００８】
【発明の実施の形態】
実施の形態１
図１は、本発明の実施の形態１の画像合成装置の構成を示す図である。
５ａ〜５ｄはそれぞれ車両に複数個設置され、車両の周囲を撮影する電子式のカメラ、１はＥＣＵ（エレクトロニック・コントロール・ユニット）、２はカメラ５ａ〜５ｄからの画像の処理等の各種処理を行うＣＰＵ（中央演算処理装置）、３はＣＰＵ２の制御プログラムやあらかじめ与えられる設定値などを保持するＲＯＭ、４はＣＰＵ２の演算実行時に必要なデータを一時的に保持するＲＡＭ、６は表示器、７はドア等の車両の開閉体の開閉を検知する開閉検知センサである。
本発明は、車両に設置した複数のカメラ５ａ〜５ｄで撮影した複数の画像を、車両の上方に設定した視点位置から見下ろした画像にそれぞれ変換し、これら複数の変換画像を１つの画像に合成して表示器６の表示画面に表示する画像合成装置に関するものである。
【０００９】
図２はこのような表示画面の一例を示す図であり、１０１は車両である。
画像変換、視点変換、ならびに画像の合成については、後で図９〜図１１を用いて詳述する。
【００１０】
車両に設置した複数のカメラ５ａ〜５ｄ（ここでは、４個のみ図示）によって撮影された複数の画像データをＣＰＵ２によって合成し、合成されたデータを表示器６に表示する。
【００１１】
図３は、本実施の形態１における車両を上から見た概略図である。
１０１は車両、１０２、１０３はカメラ、１０４、１０５は撮影の範囲、１０６は分割線である。
【００１２】
図３に示すように、車両１０１の例えば右前方にカメラ１０２、右後方にカメラ１０３が取り付けられ、それぞれ範囲１０４と範囲１０５を撮影している。撮影された映像は、車両１０１の上空の仮想カメラの映像に変換・合成され（詳細は後述）、表示画像を作成する。範囲１０４と範囲１０５は一部重複しているため、ここでは分割線１０６で分割し、分割線１０６より前側はカメラ１０２の映像を用い、分割線１０６より後ろ側はカメラ１０３の映像を用いることとする。
【００１３】
図４は、本実施の形態１におけるドアが開いた状態の車両を上から見た概略図である。
図４に示すように、車両１０１のドア２０１が開いた場合、開いたドア２０１によって範囲２０２は、カメラ１０２では撮影できなくなる。この場合、範囲２０２を撮影するはずだった部分には、開いたドア２０１が映っている。同様に、開いたドア２０１によって範囲２０３は、カメラ１０３で撮影できなくなる。この場合、範囲２０３を撮影するはずだった部分には、開いたドア２０１が映っている。
【００１４】
範囲２０２および範囲２０３は、カメラ特性、それぞれのカメラ１０２、１０３の取り付け位置と角度、車両１０１の形状、ドア２０１の形状、およびドア２０１の開度から計算できる。
【００１５】
ドア２０１が開いているときに、ドア２０１が閉じているときの画像変換・合成ルール（分割線１０６を用いたルール）を適用して画像の合成を行なうと、ドア２０１が映った画像をもとに変換・合成された表示画像が作成されてしまう。そこで、ドア２０１が開いたことを開閉検知センサ（図４では図示せず。図１の開閉検知センサ７参照）で検知し、ドア２０１が開いている場合は、範囲１０４から範囲２０２を除いた範囲についてカメラ１０２の映像を用い、撮影範囲１０５から範囲２０３を除いた範囲についてカメラ１０３の映像を用いて、ＣＰＵ２（図１）により複数の画像データを合成し、表示画像の作成を行なう。すなわち、車両１０１のドア２０１の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、合成のためのカメラ１０２、１０３の担当範囲を変更するものである。
【００１６】
ドア２０１の開閉検知センサ７（図１）で、ドア２０１が開いている角度が検知可能な場合は、ドア２０１の開度に応じて、範囲２０２および範囲２０３を変更して、最適な画像合成を行なう。ドア２０１の開閉検知センサ７がドア２０１の角度を検知できず、ドア２０１が開いているか閉じているかを検知するだけである場合には、ドア２０１の開度に応じた範囲２０２および範囲２０３の設定が不可能である。この場合には、ドア２０１が閉まった状態から全開の状態になるまで通過する領域すべてに物体があるものとして、範囲２０２および範囲２０３の計算を行なう。
【００１７】
ドア２０１の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算はあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア２０１の開き方に応じて情報を呼び出してもよい。
【００１８】
また、ドア２０１が開いたことにより、どのカメラ１０２、１０３にも映らなくなる範囲が発生することがある（例えば図４では、範囲２０４、２０５）。この範囲の発生は、ドア２０１の開度の取得が不可能で、ドア２０１が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、撮影不能範囲の計算を行なった場合により顕著である。その領域が変換・合成した結果の表示画像に含まれる場合には、もともとカメラで撮影されない領域として処理するか、黒で塗りつぶした状態で表示する。ドア２０１が開いたことにより表示されなくなった領域であることがわかるように、赤や他の色で明示的に表示してもよい。このようなどのカメラでも撮影できない範囲は、ドアが複数同時に開いた場合にはより多く発生する。また、表示画像上には開いたドア２０１を表す表示を行なったり、同時にドアが開いているメッセージを表示して、注意を喚起しても良い。
【００１９】
図５は、本実施の形態１におけるフローを示す図である。
以下、本実施の形態１におけるフローについて説明する。
【００２０】
まず、Ｓ１において、図３の車両１０１の開閉体（例えば図４のドア２０１）の開閉を、開閉検知センサ７（図１）からの信号によりＣＰＵ２（図１）が検出する。
【００２１】
次に、開閉体の開閉が検出された場合には、カメラ（例えば図３、図４のカメラ１０２、１０３）の撮影範囲に死角が生じるので、Ｓ２において、開閉体が全閉〜全開の間に通る範囲に物体があるものとして、各カメラの撮影範囲をＣＰＵ２が再計算する。あるいは、開閉体の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算をあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア２０１の開き方に応じてＣＰＵ２が情報を呼び出す（すなわち、開閉体の開閉の状況によりテーブルを切り替える）。開閉体の開閉が検出されない場合には、Ｓ２の処理は行なわない（このフローは図示省略）。
【００２２】
次に、Ｓ３において、ＣＰＵ２が、担当範囲が変更されたカメラ１０２、１０３からの複数の画像データを合成し、表示画像の作成を行なう。
【００２３】
次に、Ｓ４において、ＣＰＵ２が、撮影不能範囲を合成画像上に描画する。
【００２４】
最後に、Ｓ５において、処理された画像をＣＰＵ２が表示器６（図１）に表示する。
【００２５】
すなわち、本実施の形態１の画像合成装置は、車両１０１（図３、図４）に設置した複数のカメラ１０２、１０３（図１では５ａ〜５ｄ）と、カメラ１０２、１０３によって撮影された複数の画像データを合成し、また車両１０１のドア２０１等の開閉体の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、カメラ１０２、１０３の担当範囲を変更するＣＰＵ２（図１）と、合成されたデータを表示する表示器６とを有する。なお、図１のＣＰＵ２が、特許請求の範囲の変更手段および合成手段に相当し、表示器６が表示手段に相当する。
【００２６】
また、本実施の形態１の画像合成方法は、車両１０１のドア２０１等の開閉体の開閉を図１の開閉検知センサ７からの信号によりＣＰＵ２により検出する工程と、車両１０１に取り付けられた複数のカメラ１０２、１０３によって撮影された複数の画像データを合成する工程と、合成されたデータを表示する工程と、車両１０１の開閉体の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、合成のためのカメラ１０２、１０３の担当範囲を変更する工程とを有する。なお、図５のＳ１が開閉体の開閉を検出する工程に相当し、Ｓ２が撮影手段の担当範囲を変更する工程に相当し、Ｓ３が複数の画像データを合成する工程に相当し、Ｓ５が合成されたデータを表示する工程に相当する。
【００２７】
以上により、本実施の形態１では、ドア２０１等の開閉体の少なくとも一部が開いた際に、カメラの担当範囲を変更することにより、映像に開閉体の一部が写りこんだ影響を最低限に抑えることができ、また、開閉体が開くことで、あるカメラで撮影不能になった部分を他のカメラでフォローすることができる。その結果、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。
【００２８】
また、開閉体が開いた際に、開閉体が開いたことでカメラの撮影に影響が出た範囲を表示器６の表示画面に明示することにより、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。また、画面を通じて開閉体が開いていることを運転者に明示することにより、従来のように開閉体が開いていることが表示されない画面だけを見て移動することを未然に防ぐことができ、信頼性を向上することができる。
【００２９】
このように、本実施の形態１によれば、ドアを開くなどして、車両形状が変化した場合にも適切な画像変換・合成を行なうことが可能となり、運転者に最適な映像を表示することができる。
【００３０】
実施の形態２
本実施の形態２においても、画像合成装置の基本構成は図１に示したものと同一である。
図６は、本実施の形態２におけるドアが閉じた状態の車両を上から見た概略図である。
３０１は車両、３０２はドア、３０３、３０４はカメラ、３０５、３０６は撮影の範囲、３０７は分割線である。
【００３１】
図６に示すように、本実施の形態２では、車両３０１のドア３０２にカメラ３０３が取り付けられている。また、車両３０１の右後方にカメラ３０４が取り付けられ、それぞれ範囲３０５、範囲３０６を撮影する。撮影された映像は、後述の手法を用いて、ＣＰＵ２（図１）により、車両３０１の上空の仮想カメラの映像に変換・合成され、表示画像を作成する。範囲３０５と範囲３０６は一部重複しているため、ここでは分割線３０７で分割し、分割線３０７より前側はカメラ３０３の映像を用い、分割線３０７より後ろ側はカメラ３０４の映像を用いることとする。
【００３２】
図７は、本実施の形態２におけるドアが開いた状態の車両を上から見た概略図である。
図７に示すように、車両３０１のドア３０２が開いた場合、ドア３０２に取り付けられたカメラ３０３の位置および向きが変化し、図６の範囲３０５はカメラ３０３では撮影できなくなり、カメラ３０３は範囲４０１を撮影することになる。また、開いたドア３０２によって範囲４０２はカメラ３０４で撮影できなくなる。この場合、範囲４０２を撮影するはずだった部分には、開いたドア３０２が映っている。
【００３３】
範囲４０１および範囲４０２は、カメラ特性、それぞれのカメラ３０３、３０４の取り付け位置と角度、車両３０１の形状、ドア３０２の形状、およびドア３０２の開度から計算できる。
【００３４】
ドア３０２が開いているときに、ドア３０２が閉まったときと同じ画像変換・合成ルール（図６の分割線３０７を用いたルール）を適用して画像の変換・合成を行なうと、カメラ３０３の撮影している範囲が異なり、かつ、カメラ３０４では、ドア３０２が映った画像を撮影しているため、変換・合成された表示画像は期待したものとは違うものが作成されてしまう。
【００３５】
そこで、ドア３０２が開いたことを図１の開閉検知センサ７で検知し、ドア３０２が開いている場合は、カメラ３０３の撮影する範囲として図７の範囲４０１を用い、カメラ３０４の撮影する範囲としては、図６の範囲３０５から図７の範囲４０２を除いた範囲を用いて、表示画像の作成を行なう。
【００３６】
ドア３０２の開閉検知センサ７（図１）が、ドア３０２が開いている角度を検知可能な場合は、ドア３０２の開度に応じて、範囲４０１および範囲４０２を変更して、最適な画像合成を行なう。ドア３０２の開閉検知センサ７がドア３０２の角度を検知できず、ドア３０２が開いているか閉じているかを検知するだけである場合には、ドア３０２の開度に応じた範囲４０１および範囲４０２の設定が不可能である。この場合には、ドア３０２に取り付けられたカメラ３０３の位置および向きの確定が不可能なため、カメラ３０３の撮影した映像を画像の変換・合成に用いることはできない。よって、ドア３０２の開度が取得不能な場合は、ドア３０２が開いたときには、ドア３０２に取り付けられたカメラ３０３の映像を使わないようにする。また、カメラ３０４の撮影可能範囲については、ドア３０２が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、範囲４０２の計算を行ない、決定する。ドア３０２の開き方（軌跡、開く面積など）は毎回一定なので、計算はあらかじめ行なって、図１のＲＯＭ３内に記録しておき、ドア３０２の開き方に応じて情報を呼び出してもよい。
【００３７】
また、ドア３０２が開いたことにより、どのカメラ３０３、３０４にも映らなくなる範囲が発生することがある。この範囲の発生は、ドア３０２の開度の取得が不可能で、ドア３０２が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、撮影不能範囲の計算を行なった場合により顕著である。その領域が変換・合成した結果の表示画像に含まれる場合には、もともとカメラで撮影されない領域として処理するか、黒で塗りつぶした状態で表示する。ドア３０２が開いたことにより表示されなくなった領域であることがわかるように、赤や他の色で明示的に表示してもよい。このようなどのカメラでも撮影できない範囲は、ドアが複数同時に開いた場合にはより多く発生する。また、表示画像上には開いたドア３０２を表す表示を行ない、同時にドアが開いているメッセージを表示して、注意を喚起しても良い。
【００３８】
図８は、本実施の形態２におけるフローを示す図である。
以下、本実施の形態２におけるフローについて説明する。
【００３９】
まず、Ｓ１において、車両３０１の開閉体（例えば図６のドア３０２）の開閉を、開閉検知センサ７（図１）からの信号によりＣＰＵ２（図１）が検出する。
【００４０】
次に、開閉体の開閉が検出された場合には、カメラ（例えば図６、図７のカメラ３０３、３０４）の撮影範囲に死角が生じるので、Ｓ２において、車両３０１の開閉体の開閉の度合いに応じて各カメラの撮影範囲をＣＰＵ２が再計算する。あるいは、開閉体の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算をあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア３０２の開き方に応じてＣＰＵ２が情報を呼び出す（すなわち、開閉体の開閉の状況によりテーブルを切り替える）。開閉体の開閉が検出されない場合には、Ｓ２の処理は行なわない（このフローは図示省略）。
【００４１】
次に、Ｓ３において、ＣＰＵ２が、担当範囲が変更されたカメラ３０３、３０４からの複数の画像データを合成し、表示画像の作成を行なう。
【００４２】
次に、Ｓ４において、ＣＰＵ２が、撮影不能範囲を合成画像上に描画する。
【００４３】
最後に、Ｓ５において、処理された画像をＣＰＵ２が表示器６（図１）に表示する。
【００４４】
以上により、本実施の形態２では、ドア３０２等の開閉体の少なくとも一部が開いた際に、カメラの担当範囲を変更することにより、映像に開閉体の一部が写りこんだ影響を最低限に抑えることができ、また、開閉体が開くことで、あるカメラで撮影不能になった部分を他のカメラでフォローすることができる。その結果、運転者にわかりやすく信頼性の高い周囲画像を表示することができ、安全性を向上することができる。また、開閉体が開いた際に、開閉体が開いたことでカメラの撮影に影響が出た範囲を表示器６の表示画面に明示することにより、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。また、画面を通じて開閉体が開いていることを運転者に明示することにより、従来のように開閉体が開いていることが表示されない画面だけを見て移動することを未然に防ぐことができ、信頼性を向上することができる。
【００４５】
このように、本実施の形態２によれば、ドアが開くなどして、車両形状が変化し、かつ、カメラの一部が移動した場合にも、適切な画像変換・合成を行なうことが可能となり、運転者に最適な映像を表示することができる。
【００４６】
《画像の変換・合成》
既述のように、本発明では、車両に設置した複数のカメラで撮影した複数の画像を、車両の上方に設定した視点位置から見下ろした画像にそれぞれ変換し、これら複数の変換画像を１つの画像に合成して表示６の表示画面に表示する画像合成装置である（図２に表示例を図示）。以下、本発明の画像合成装置および画像合成方法における画像変換、視点変換、ならびに画像の合成について説明する。
【００４７】
本発明では、画像を出力する実カメラ（図１の５ａ〜５ｄ。図３、図４の１０２、１０３。図６、図７の３０３、３０４。後述図１１の１１）で撮影した撮影画像について実カメラの内部への出射角を実カメラの外部からの入射角未満として図１のＣＰＵ２により画像変換を行ない、この画像変換された画像変換画像の視点変換をＣＰＵ２により行なう。視点変換された複数の視点変換画像は、ＣＰＵ２により１つの画像に合成され、その合成された画像が表示器６に表示される。
【００４８】
次に、図９、図１０を用いて画像変換について説明する。図に示すように、実カメラモデル１１ａのカメラ本体２１外の光線２５（図１０）は必ず代表点２２（レンズの焦点位置や中心点を用いることが多い）を通り、カメラ本体２１内の光線２６（図１０）はカメラ本体２１内に設けられた撮像面２３に入る。そして、実カメラモデル１１ａの向きを示すカメラ光軸２４に垂直に撮像面２３が設けられ、また撮像面２３の中心をカメラ光軸２４が通るように、撮像面２３が配置されている。もちろん、シミュレートする対象の実カメラの特性によっては、撮像面２３の中心をカメラ光軸２４が通らなくともよいし、撮像面２３とカメラ光軸２４が垂直でなくともよい場合もある。また、代表点２２と撮像面２３との距離は計算の都合上単位距離（１）とするのがよい。また、ＣＣＤカメラなどをシミュレートする場合には、撮像面２３はシミュレートする対象の実カメラの画素数を再現するように格子状に分割される。最終的には、光線２６が撮像面２３のどの位置（画素）に入射するかのシミュレーションを行なうことになるため、代表点２２と撮像面２３との距離および撮像面２３の縦横の長さの比率だけが問題になり、実距離は問題にならない。
【００４９】
そして、ＣＰＵ２による画像変換は、実カメラで撮影された撮影画像について、実カメラモデル１１ａ（図５）のカメラ本体２１の内部への出射角αＯ、βＯ（出射角αＯはカメラ光軸２４に対する光線２６の角、出射角βＯはカメラ光軸２４に直交する軸に対する光線２６の角）を実カメラモデル１１ａのカメラ本体２１の外部からの入射角αＩ、βＩ（入射角αＩはカメラ光軸２４に対する光線２５の角、入射角βＩはカメラ光軸２４に直交する軸に対する光線２５の角）未満として画像変換する。
【００５０】
すなわち、光線２５は必ず代表点２２を通り光線２６となる。また、極座標系の考え方を用いると、光線２５は代表点２２を原点に入射角αＩ、βＩの２つの角度で示すことができる。そして、光線２５は代表点２２を通過する際に、次式によって定まる出射角αＯ、βＯを有する光線２６となる。
【００５１】
（αＯ，βＯ）＝ｆ(αＩ，βＩ) （１）
このとき、αＯ＜αＩの関係式が常に成立するようにする。この場合、光線２５は代表点２２を通過する際に(１)式によって方向が変えられ、光線２６は撮像面２３と交点２７において交わる。例えば、ＣＣＤカメラをシミュレートしている場合には、交点２７の座標（位置）から撮像面２３上のどの画素に光線２６が入射するかを求めることができる。
【００５２】
なお、撮像面２３の設定によっては光線２６と撮像面２３とが交わらない場合もあるが、この場合には光線２５は実カメラモデル１１ａには映らないということになる。
【００５３】
また、シミュレーションする対象の実カメラの最大画角をＭ（度）とした場合には、カメラ本体２１内部に入射を許される光線２５はαＩ＜(Ｍ／２)を満たす必要がある。この条件を満たさない光線２５は実カメラモデル１１ａに映らないということになる。このときの出射角αＯの最大値はｆ(Ｍ／２)で計算される。また、(１)式の関数ｆ(αＩ，βＩ)を決定した上で、代表点２２と撮像面２３との距離（前述の通り単位距離とするのがよい）と撮像面２３の縦横の長さとを決定し、実カメラモデル１１ａの撮像範囲を規定する。なお、図９に示すように、最大出射角θＯｍａｘの大きさは最大入射角θＩｍａｘの大きさよりも小さい。
【００５４】
以上の手順により、代表点２２に入射した光線２５が実カメラモデル１１ａの撮像面２３上のどの画素（位置）に入射するかを計算することができ、実カメラで撮影された撮影画像すなわち光線２５が代表点２２を通って直進したときの撮影画像について画像変換して、画像変換画像を得ることができる。したがって、(１)式によって実カメラに入射する光線の入射角αＩ、βＩと画像変換画像の画素（位置）との関係を求めることができる。
【００５５】
また、(１)式とともに、次式を用いることによって実カメラモデル１１ａの撮像面２３上の任意の点に入射する光線２６が代表点２２に対してどの方向から入射したかを計算することが可能になる。
【００５６】
（αＩ，βＩ）＝ｆi(αＯ，βＯ) （２）
また、最も簡単な(１)式の例は、次のような入射角αＩ、βＩと出射角αＯ、βＯとが比例関係を持つ式である。
【００５７】
αＯ＝ｋαＩ （３）
βＯ＝βＩ （４）
ここで、ｋは実カメラモデル１１ａのレンズ特性を決定するパラメータであり、ｋ＜１である。仮にｋ＝１の場合には、従来のピンホールカメラモデルと同じ動作となる。実際のレンズの歪曲収差特性はレンズの目的（設計意図）によるが、通常の広角レンズはパラメータｋを、１＜ｋ＜０の範囲で適当に設定することで近似することができ、ピンホールカメラモデルを用いたカメラシミュレーションよりも正確なカメラシミュレーションが可能となる。
【００５８】
また、レンズシミュレーションをより精密に行ないたい場合には、関数ｆ(αＩ，βＩ)を(３)式、(４)式に示すような比例関係ではなく、実カメラのレンズ特性を実際に測定し、実カメラのレンズ特性を示す関数で画像変換する。この場合、もちろん出射角αＯを入射角αＩ未満とする。
【００５９】
以上の画像変換を行なったのちに、視点変換を行なう。最も単純な視点変換は、空間上にカメラモデルと投影面を置き、カメラで撮影した映像を投影面に対して投影することで実現される。
【００６０】
次に、図１１を用いてＣＰＵ２による視点変換について説明する。まず、実空間に合わせて仮想空間を設定し、仮想空間上に位置および向きを合わせて実カメラ１１と仮想カメラ３２とを配置する。次に、投影面を設定する。図１１ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。次に、仮想カメラ３２の画素の１つに注目し、注目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ３２の位置および向きの情報と合わせ、投影面と光線３５との交点３３を求める。次に、交点３３から実カメラ１１への光線３４を考える。光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲内の場合には、光線３４が実カメラ１１のどの画素に入射するかを計算する。この場合、図９、１０で説明した画像変換後の画像変換画像について光線３４が実カメラ１１のどの画素に入射するかを計算する。この光線３４が入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色および輝度を画素Ｒの色および輝度とする。
【００６１】
なお、光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲外の場合や、光線３４が実カメラ１１の撮像面に入射しない場合には、交点３３は実カメラ１１に映っていないので、仮想カメラ３２の画素Ｖには何も映っていないとする。この場合の画素Ｖの色はシステムのデフォルト値（黒など。もちろん黒以外でもよい）を用いるものとする。
【００６２】
また、画素Ｖを代表する座標は上記例では１画素につき１点としたが、代表する代表座標を画素Ｖ内に複数設けてもよい。この場合には、各代表座標それぞれに対して光線３４が実カメラ１１のどの画素に入射するかを計算し、得られた複数の色および輝度をブレンディングし、画素Ｖの色および輝度とする。この場合、ブレンディングの比率は等しくする。また、色および輝度のブレンディンクの手法としてはアルファブレンディングなどの手法があり、コンピュータグラフィックの分野では一般的な手法である。
【００６３】
以上の処理を仮想カメラ３２の画素すべてについて行ない、仮想カメラ３２の各画素の色および輝度を確定することで仮想カメラ３２の画像すなわち視点変換画像を作成することができ、空間上の実カメラ１１の画像すなわち画像変換画像を視点変換画像へと視点変換することができる。
【００６４】
この手法は撮影画像を投影面に対して単純に投影する方法に比べ、仮想カメラ３２の特性や位置が自由に設定でき、かつ仮想カメラ３２の特性や位置の変化にも容易に対応できる。
【００６５】
なお、仮想カメラ３２の各画素は基本的に実カメラ１１の画素との対応になり、その対応は仮想カメラ３２および実カメラ１１の位置および向きおよび投影面の設定が変わらない限り変わらないので、計算能力に余裕のない処理装置を用いる場合には、対応関係を変換テーブルとして保存し、実行時に参照してもよい。また、仮想カメラ３２の画素数が増加するにつれ、変換テーブルの容量も比例して増加するので、仮想カメラ３２の画素数が多い場合には、大容量のメモリを持つ処理装置（コンピュータ）を用いるよりも、視点変換の計算を高速に行なうことができる処理装置を用いた方がコスト的に有利になる。
【００６６】
このような視点変換装置においては、出射角αＯの変化に対する撮像面２３上の位置の変化は、撮像面２３の中心部と輪郭部とでほぼ同じであるから、輪郭部付近の画像や、画角の大きなカメラで撮影した画像についても、歪みの少ない視点変換画像を得ることができ、しかも補正関数を算出するためにパターン画像を撮影する必要がないから、容易に視点変換することができる。また、出射角αＯと入射角αＩとが比例する関数で画像変換したときには、画像変換された画像変換画像の中心部と輪郭部では同倍率となるから、歪みの少ない視点変換画像を得ることができる。また、実カメラ１１のレンズ特性を示す関数で画像変換したときには、実カメラ１１のレンズ（収差）による歪みの少ない視点変換画像を得ることができる。また、視点変換手段１３は視点変換画像の各画素の色および輝度を画像変換画像の各画素の中心点に位置する色および輝度としているから、色および輝度の平均値などの計算を行なう必要がないので、視点変換時の計算量を少なくすることができる。
【００６７】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態１の画像合成装置の構成を示す図である。
【図２】変換・合成後の表示画面の一例を示す図である。
【図３】本実施の形態１におけるドアが閉じた状態の車両を上から見た概略図である。
【図４】本実施の形態１におけるドアが開いた状態の車両を上から見た概略図である。
【図５】本実施の形態１におけるフローを示す図である。
【図６】本実施の形態２におけるドアが閉じた状態の車両を上から見た概略図である。
【図７】本実施の形態２におけるドアが開いた状態の車両を上から見た概略図である。
【図８】本実施の形態２におけるフローを示す図である。
【図９】図１に示した画像合成装置のＣＰＵによる画像変換についての説明図である。
【図１０】図１に示した画像合成装置のＣＰＵによる画像変換についての説明図である。
【図１１】図１に示した画像合成装置のＣＰＵによる視点変換についての説明図である。
【符号の説明】
５ａ〜５ｄ…カメラ
１…ＥＣＵ（エレクトロニック・コントロール・ユニット）
２…ＣＰＵ（中央演算処理装置）
３…ＲＯＭ
４…ＲＡＭ
６…表示器
７…開閉検知センサ
１１…実カメラ
１１ａ…実カメラモデル
１２…画像変換手段
１３…視点変換手段
１４…表示手段
２１…カメラ本体
２２…代表点
２３…撮像面
２４…カメラ光軸
２５…光線
２６…光線
２７…交点
３２…仮想カメラ
３３…交点
３４…光線
３５…光線
１０１、３０１…車両
１０２、１０３、３０３、３０４…カメラ
１０４、１０５、３０５、３０６、４０１…撮影の範囲
１０６、３０７…分割線
２０１、３０２…ドア
２０２、２０３、４０２…ドアが開いたことにより撮影できない範囲
２０４、２０５…ドアが開いたことによりどのカメラにも映らなくなる範囲
【発明の属する技術分野】
本発明は、画像合成装置および画像合成方法に係り、特に、車両に設置した複数の撮影手段で撮影した画像を、車両上方に設定した視点位置から見下ろした画像に変換し、複数の変換画像を１つの画像に合成して表示器に表示する画像合成装置および画像合成方法に関する。
【０００２】
【従来の技術】
近年、車両に設置した電子式のカメラによって車両の周辺を撮影し、監視することによって、安全運転を支援する装置が実用化され、普及しつつある。
このような技術は、例えば特開２００１−３３９７１６号公報に記載されている。
この従来技術は、視点位置をダイナミックに変更して、運転者からの死角を低減したり、運転操作を容易にするため、車内に設置した表示装置に運転状況に応じて最適な合成画像を表示しようとする車両周辺監視装置および方法である。
【０００３】
【発明が解決しようとする課題】
車両に取り付けられているカメラは、撮影したい範囲と車両形状を考慮し、その取り付け位置が決定されているが、車両のドア、トランクなど（以下、これらをまとめて開閉体と称す）が開いた場合、開いた部位がカメラに映り込んだり、また、開閉体にカメラが取り付けられている場合にはカメラの位置および向きが変わってしまい、表示映像に影響が出て運転者に誤解を与えるという問題点があった。上記従来技術においては、このような実情は考慮されていなかった。
【０００４】
具体的には、各カメラが撮影する範囲は、カメラの位置などをもとに決定されている。各カメラの位置は、通常、車両のドアやトランクやリヤゲートなどの開閉体は閉じている状態を基準に決定されているため、これらの開閉体が開いている場合、カメラの映像内に開いた開閉体が映り込み、撮影範囲に死角が生じ、期待した範囲の映像が取得できなくなる。また、トランクやリヤゲートなどの開閉体にカメラが設置されている場合もあり、このカメラが設置された開閉体の開閉により、該カメラの向きおよび位置が変わり、期待した範囲の映像を取得できなくなる。このように従来においては、開閉体の開閉を検知していないため、前述のように期待した範囲の映像が取得できない場合にも、取得した映像をもとに表示映像を作成するため、運転者が混乱する場合があった。
【０００５】
本発明の目的は、車両のドア等の開閉体が開いた場合でも、運転者に画像を表示できる画像合成装置および画像合成方法を提供することにある。
【０００６】
【課題を解決するための手段】
この目的を達成するため、本発明は、車両に設置した複数の撮影手段によって撮影された複数の画像データを合成し、合成されたデータを表示し、車両の開閉体の開閉により撮影手段の撮影範囲に死角が生じる場合、撮影手段の担当範囲を変更することを特徴とする。
【０００７】
【発明の効果】
本発明によれば、車両のドア等の開閉体が開いた場合でも、運転者に画像を表示することができる。
【０００８】
【発明の実施の形態】
実施の形態１
図１は、本発明の実施の形態１の画像合成装置の構成を示す図である。
５ａ〜５ｄはそれぞれ車両に複数個設置され、車両の周囲を撮影する電子式のカメラ、１はＥＣＵ（エレクトロニック・コントロール・ユニット）、２はカメラ５ａ〜５ｄからの画像の処理等の各種処理を行うＣＰＵ（中央演算処理装置）、３はＣＰＵ２の制御プログラムやあらかじめ与えられる設定値などを保持するＲＯＭ、４はＣＰＵ２の演算実行時に必要なデータを一時的に保持するＲＡＭ、６は表示器、７はドア等の車両の開閉体の開閉を検知する開閉検知センサである。
本発明は、車両に設置した複数のカメラ５ａ〜５ｄで撮影した複数の画像を、車両の上方に設定した視点位置から見下ろした画像にそれぞれ変換し、これら複数の変換画像を１つの画像に合成して表示器６の表示画面に表示する画像合成装置に関するものである。
【０００９】
図２はこのような表示画面の一例を示す図であり、１０１は車両である。
画像変換、視点変換、ならびに画像の合成については、後で図９〜図１１を用いて詳述する。
【００１０】
車両に設置した複数のカメラ５ａ〜５ｄ（ここでは、４個のみ図示）によって撮影された複数の画像データをＣＰＵ２によって合成し、合成されたデータを表示器６に表示する。
【００１１】
図３は、本実施の形態１における車両を上から見た概略図である。
１０１は車両、１０２、１０３はカメラ、１０４、１０５は撮影の範囲、１０６は分割線である。
【００１２】
図３に示すように、車両１０１の例えば右前方にカメラ１０２、右後方にカメラ１０３が取り付けられ、それぞれ範囲１０４と範囲１０５を撮影している。撮影された映像は、車両１０１の上空の仮想カメラの映像に変換・合成され（詳細は後述）、表示画像を作成する。範囲１０４と範囲１０５は一部重複しているため、ここでは分割線１０６で分割し、分割線１０６より前側はカメラ１０２の映像を用い、分割線１０６より後ろ側はカメラ１０３の映像を用いることとする。
【００１３】
図４は、本実施の形態１におけるドアが開いた状態の車両を上から見た概略図である。
図４に示すように、車両１０１のドア２０１が開いた場合、開いたドア２０１によって範囲２０２は、カメラ１０２では撮影できなくなる。この場合、範囲２０２を撮影するはずだった部分には、開いたドア２０１が映っている。同様に、開いたドア２０１によって範囲２０３は、カメラ１０３で撮影できなくなる。この場合、範囲２０３を撮影するはずだった部分には、開いたドア２０１が映っている。
【００１４】
範囲２０２および範囲２０３は、カメラ特性、それぞれのカメラ１０２、１０３の取り付け位置と角度、車両１０１の形状、ドア２０１の形状、およびドア２０１の開度から計算できる。
【００１５】
ドア２０１が開いているときに、ドア２０１が閉じているときの画像変換・合成ルール（分割線１０６を用いたルール）を適用して画像の合成を行なうと、ドア２０１が映った画像をもとに変換・合成された表示画像が作成されてしまう。そこで、ドア２０１が開いたことを開閉検知センサ（図４では図示せず。図１の開閉検知センサ７参照）で検知し、ドア２０１が開いている場合は、範囲１０４から範囲２０２を除いた範囲についてカメラ１０２の映像を用い、撮影範囲１０５から範囲２０３を除いた範囲についてカメラ１０３の映像を用いて、ＣＰＵ２（図１）により複数の画像データを合成し、表示画像の作成を行なう。すなわち、車両１０１のドア２０１の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、合成のためのカメラ１０２、１０３の担当範囲を変更するものである。
【００１６】
ドア２０１の開閉検知センサ７（図１）で、ドア２０１が開いている角度が検知可能な場合は、ドア２０１の開度に応じて、範囲２０２および範囲２０３を変更して、最適な画像合成を行なう。ドア２０１の開閉検知センサ７がドア２０１の角度を検知できず、ドア２０１が開いているか閉じているかを検知するだけである場合には、ドア２０１の開度に応じた範囲２０２および範囲２０３の設定が不可能である。この場合には、ドア２０１が閉まった状態から全開の状態になるまで通過する領域すべてに物体があるものとして、範囲２０２および範囲２０３の計算を行なう。
【００１７】
ドア２０１の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算はあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア２０１の開き方に応じて情報を呼び出してもよい。
【００１８】
また、ドア２０１が開いたことにより、どのカメラ１０２、１０３にも映らなくなる範囲が発生することがある（例えば図４では、範囲２０４、２０５）。この範囲の発生は、ドア２０１の開度の取得が不可能で、ドア２０１が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、撮影不能範囲の計算を行なった場合により顕著である。その領域が変換・合成した結果の表示画像に含まれる場合には、もともとカメラで撮影されない領域として処理するか、黒で塗りつぶした状態で表示する。ドア２０１が開いたことにより表示されなくなった領域であることがわかるように、赤や他の色で明示的に表示してもよい。このようなどのカメラでも撮影できない範囲は、ドアが複数同時に開いた場合にはより多く発生する。また、表示画像上には開いたドア２０１を表す表示を行なったり、同時にドアが開いているメッセージを表示して、注意を喚起しても良い。
【００１９】
図５は、本実施の形態１におけるフローを示す図である。
以下、本実施の形態１におけるフローについて説明する。
【００２０】
まず、Ｓ１において、図３の車両１０１の開閉体（例えば図４のドア２０１）の開閉を、開閉検知センサ７（図１）からの信号によりＣＰＵ２（図１）が検出する。
【００２１】
次に、開閉体の開閉が検出された場合には、カメラ（例えば図３、図４のカメラ１０２、１０３）の撮影範囲に死角が生じるので、Ｓ２において、開閉体が全閉〜全開の間に通る範囲に物体があるものとして、各カメラの撮影範囲をＣＰＵ２が再計算する。あるいは、開閉体の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算をあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア２０１の開き方に応じてＣＰＵ２が情報を呼び出す（すなわち、開閉体の開閉の状況によりテーブルを切り替える）。開閉体の開閉が検出されない場合には、Ｓ２の処理は行なわない（このフローは図示省略）。
【００２２】
次に、Ｓ３において、ＣＰＵ２が、担当範囲が変更されたカメラ１０２、１０３からの複数の画像データを合成し、表示画像の作成を行なう。
【００２３】
次に、Ｓ４において、ＣＰＵ２が、撮影不能範囲を合成画像上に描画する。
【００２４】
最後に、Ｓ５において、処理された画像をＣＰＵ２が表示器６（図１）に表示する。
【００２５】
すなわち、本実施の形態１の画像合成装置は、車両１０１（図３、図４）に設置した複数のカメラ１０２、１０３（図１では５ａ〜５ｄ）と、カメラ１０２、１０３によって撮影された複数の画像データを合成し、また車両１０１のドア２０１等の開閉体の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、カメラ１０２、１０３の担当範囲を変更するＣＰＵ２（図１）と、合成されたデータを表示する表示器６とを有する。なお、図１のＣＰＵ２が、特許請求の範囲の変更手段および合成手段に相当し、表示器６が表示手段に相当する。
【００２６】
また、本実施の形態１の画像合成方法は、車両１０１のドア２０１等の開閉体の開閉を図１の開閉検知センサ７からの信号によりＣＰＵ２により検出する工程と、車両１０１に取り付けられた複数のカメラ１０２、１０３によって撮影された複数の画像データを合成する工程と、合成されたデータを表示する工程と、車両１０１の開閉体の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、合成のためのカメラ１０２、１０３の担当範囲を変更する工程とを有する。なお、図５のＳ１が開閉体の開閉を検出する工程に相当し、Ｓ２が撮影手段の担当範囲を変更する工程に相当し、Ｓ３が複数の画像データを合成する工程に相当し、Ｓ５が合成されたデータを表示する工程に相当する。
【００２７】
以上により、本実施の形態１では、ドア２０１等の開閉体の少なくとも一部が開いた際に、カメラの担当範囲を変更することにより、映像に開閉体の一部が写りこんだ影響を最低限に抑えることができ、また、開閉体が開くことで、あるカメラで撮影不能になった部分を他のカメラでフォローすることができる。その結果、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。
【００２８】
また、開閉体が開いた際に、開閉体が開いたことでカメラの撮影に影響が出た範囲を表示器６の表示画面に明示することにより、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。また、画面を通じて開閉体が開いていることを運転者に明示することにより、従来のように開閉体が開いていることが表示されない画面だけを見て移動することを未然に防ぐことができ、信頼性を向上することができる。
【００２９】
このように、本実施の形態１によれば、ドアを開くなどして、車両形状が変化した場合にも適切な画像変換・合成を行なうことが可能となり、運転者に最適な映像を表示することができる。
【００３０】
実施の形態２
本実施の形態２においても、画像合成装置の基本構成は図１に示したものと同一である。
図６は、本実施の形態２におけるドアが閉じた状態の車両を上から見た概略図である。
３０１は車両、３０２はドア、３０３、３０４はカメラ、３０５、３０６は撮影の範囲、３０７は分割線である。
【００３１】
図６に示すように、本実施の形態２では、車両３０１のドア３０２にカメラ３０３が取り付けられている。また、車両３０１の右後方にカメラ３０４が取り付けられ、それぞれ範囲３０５、範囲３０６を撮影する。撮影された映像は、後述の手法を用いて、ＣＰＵ２（図１）により、車両３０１の上空の仮想カメラの映像に変換・合成され、表示画像を作成する。範囲３０５と範囲３０６は一部重複しているため、ここでは分割線３０７で分割し、分割線３０７より前側はカメラ３０３の映像を用い、分割線３０７より後ろ側はカメラ３０４の映像を用いることとする。
【００３２】
図７は、本実施の形態２におけるドアが開いた状態の車両を上から見た概略図である。
図７に示すように、車両３０１のドア３０２が開いた場合、ドア３０２に取り付けられたカメラ３０３の位置および向きが変化し、図６の範囲３０５はカメラ３０３では撮影できなくなり、カメラ３０３は範囲４０１を撮影することになる。また、開いたドア３０２によって範囲４０２はカメラ３０４で撮影できなくなる。この場合、範囲４０２を撮影するはずだった部分には、開いたドア３０２が映っている。
【００３３】
範囲４０１および範囲４０２は、カメラ特性、それぞれのカメラ３０３、３０４の取り付け位置と角度、車両３０１の形状、ドア３０２の形状、およびドア３０２の開度から計算できる。
【００３４】
ドア３０２が開いているときに、ドア３０２が閉まったときと同じ画像変換・合成ルール（図６の分割線３０７を用いたルール）を適用して画像の変換・合成を行なうと、カメラ３０３の撮影している範囲が異なり、かつ、カメラ３０４では、ドア３０２が映った画像を撮影しているため、変換・合成された表示画像は期待したものとは違うものが作成されてしまう。
【００３５】
そこで、ドア３０２が開いたことを図１の開閉検知センサ７で検知し、ドア３０２が開いている場合は、カメラ３０３の撮影する範囲として図７の範囲４０１を用い、カメラ３０４の撮影する範囲としては、図６の範囲３０５から図７の範囲４０２を除いた範囲を用いて、表示画像の作成を行なう。
【００３６】
ドア３０２の開閉検知センサ７（図１）が、ドア３０２が開いている角度を検知可能な場合は、ドア３０２の開度に応じて、範囲４０１および範囲４０２を変更して、最適な画像合成を行なう。ドア３０２の開閉検知センサ７がドア３０２の角度を検知できず、ドア３０２が開いているか閉じているかを検知するだけである場合には、ドア３０２の開度に応じた範囲４０１および範囲４０２の設定が不可能である。この場合には、ドア３０２に取り付けられたカメラ３０３の位置および向きの確定が不可能なため、カメラ３０３の撮影した映像を画像の変換・合成に用いることはできない。よって、ドア３０２の開度が取得不能な場合は、ドア３０２が開いたときには、ドア３０２に取り付けられたカメラ３０３の映像を使わないようにする。また、カメラ３０４の撮影可能範囲については、ドア３０２が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、範囲４０２の計算を行ない、決定する。ドア３０２の開き方（軌跡、開く面積など）は毎回一定なので、計算はあらかじめ行なって、図１のＲＯＭ３内に記録しておき、ドア３０２の開き方に応じて情報を呼び出してもよい。
【００３７】
また、ドア３０２が開いたことにより、どのカメラ３０３、３０４にも映らなくなる範囲が発生することがある。この範囲の発生は、ドア３０２の開度の取得が不可能で、ドア３０２が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、撮影不能範囲の計算を行なった場合により顕著である。その領域が変換・合成した結果の表示画像に含まれる場合には、もともとカメラで撮影されない領域として処理するか、黒で塗りつぶした状態で表示する。ドア３０２が開いたことにより表示されなくなった領域であることがわかるように、赤や他の色で明示的に表示してもよい。このようなどのカメラでも撮影できない範囲は、ドアが複数同時に開いた場合にはより多く発生する。また、表示画像上には開いたドア３０２を表す表示を行ない、同時にドアが開いているメッセージを表示して、注意を喚起しても良い。
【００３８】
図８は、本実施の形態２におけるフローを示す図である。
以下、本実施の形態２におけるフローについて説明する。
【００３９】
まず、Ｓ１において、車両３０１の開閉体（例えば図６のドア３０２）の開閉を、開閉検知センサ７（図１）からの信号によりＣＰＵ２（図１）が検出する。
【００４０】
次に、開閉体の開閉が検出された場合には、カメラ（例えば図６、図７のカメラ３０３、３０４）の撮影範囲に死角が生じるので、Ｓ２において、車両３０１の開閉体の開閉の度合いに応じて各カメラの撮影範囲をＣＰＵ２が再計算する。あるいは、開閉体の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算をあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア３０２の開き方に応じてＣＰＵ２が情報を呼び出す（すなわち、開閉体の開閉の状況によりテーブルを切り替える）。開閉体の開閉が検出されない場合には、Ｓ２の処理は行なわない（このフローは図示省略）。
【００４１】
次に、Ｓ３において、ＣＰＵ２が、担当範囲が変更されたカメラ３０３、３０４からの複数の画像データを合成し、表示画像の作成を行なう。
【００４２】
次に、Ｓ４において、ＣＰＵ２が、撮影不能範囲を合成画像上に描画する。
【００４３】
最後に、Ｓ５において、処理された画像をＣＰＵ２が表示器６（図１）に表示する。
【００４４】
以上により、本実施の形態２では、ドア３０２等の開閉体の少なくとも一部が開いた際に、カメラの担当範囲を変更することにより、映像に開閉体の一部が写りこんだ影響を最低限に抑えることができ、また、開閉体が開くことで、あるカメラで撮影不能になった部分を他のカメラでフォローすることができる。その結果、運転者にわかりやすく信頼性の高い周囲画像を表示することができ、安全性を向上することができる。また、開閉体が開いた際に、開閉体が開いたことでカメラの撮影に影響が出た範囲を表示器６の表示画面に明示することにより、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。また、画面を通じて開閉体が開いていることを運転者に明示することにより、従来のように開閉体が開いていることが表示されない画面だけを見て移動することを未然に防ぐことができ、信頼性を向上することができる。
【００４５】
このように、本実施の形態２によれば、ドアが開くなどして、車両形状が変化し、かつ、カメラの一部が移動した場合にも、適切な画像変換・合成を行なうことが可能となり、運転者に最適な映像を表示することができる。
【００４６】
《画像の変換・合成》
既述のように、本発明では、車両に設置した複数のカメラで撮影した複数の画像を、車両の上方に設定した視点位置から見下ろした画像にそれぞれ変換し、これら複数の変換画像を１つの画像に合成して表示６の表示画面に表示する画像合成装置である（図２に表示例を図示）。以下、本発明の画像合成装置および画像合成方法における画像変換、視点変換、ならびに画像の合成について説明する。
【００４７】
本発明では、画像を出力する実カメラ（図１の５ａ〜５ｄ。図３、図４の１０２、１０３。図６、図７の３０３、３０４。後述図１１の１１）で撮影した撮影画像について実カメラの内部への出射角を実カメラの外部からの入射角未満として図１のＣＰＵ２により画像変換を行ない、この画像変換された画像変換画像の視点変換をＣＰＵ２により行なう。視点変換された複数の視点変換画像は、ＣＰＵ２により１つの画像に合成され、その合成された画像が表示器６に表示される。
【００４８】
次に、図９、図１０を用いて画像変換について説明する。図に示すように、実カメラモデル１１ａのカメラ本体２１外の光線２５（図１０）は必ず代表点２２（レンズの焦点位置や中心点を用いることが多い）を通り、カメラ本体２１内の光線２６（図１０）はカメラ本体２１内に設けられた撮像面２３に入る。そして、実カメラモデル１１ａの向きを示すカメラ光軸２４に垂直に撮像面２３が設けられ、また撮像面２３の中心をカメラ光軸２４が通るように、撮像面２３が配置されている。もちろん、シミュレートする対象の実カメラの特性によっては、撮像面２３の中心をカメラ光軸２４が通らなくともよいし、撮像面２３とカメラ光軸２４が垂直でなくともよい場合もある。また、代表点２２と撮像面２３との距離は計算の都合上単位距離（１）とするのがよい。また、ＣＣＤカメラなどをシミュレートする場合には、撮像面２３はシミュレートする対象の実カメラの画素数を再現するように格子状に分割される。最終的には、光線２６が撮像面２３のどの位置（画素）に入射するかのシミュレーションを行なうことになるため、代表点２２と撮像面２３との距離および撮像面２３の縦横の長さの比率だけが問題になり、実距離は問題にならない。
【００４９】
そして、ＣＰＵ２による画像変換は、実カメラで撮影された撮影画像について、実カメラモデル１１ａ（図５）のカメラ本体２１の内部への出射角αＯ、βＯ（出射角αＯはカメラ光軸２４に対する光線２６の角、出射角βＯはカメラ光軸２４に直交する軸に対する光線２６の角）を実カメラモデル１１ａのカメラ本体２１の外部からの入射角αＩ、βＩ（入射角αＩはカメラ光軸２４に対する光線２５の角、入射角βＩはカメラ光軸２４に直交する軸に対する光線２５の角）未満として画像変換する。
【００５０】
すなわち、光線２５は必ず代表点２２を通り光線２６となる。また、極座標系の考え方を用いると、光線２５は代表点２２を原点に入射角αＩ、βＩの２つの角度で示すことができる。そして、光線２５は代表点２２を通過する際に、次式によって定まる出射角αＯ、βＯを有する光線２６となる。
【００５１】
（αＯ，βＯ）＝ｆ(αＩ，βＩ) （１）
このとき、αＯ＜αＩの関係式が常に成立するようにする。この場合、光線２５は代表点２２を通過する際に(１)式によって方向が変えられ、光線２６は撮像面２３と交点２７において交わる。例えば、ＣＣＤカメラをシミュレートしている場合には、交点２７の座標（位置）から撮像面２３上のどの画素に光線２６が入射するかを求めることができる。
【００５２】
なお、撮像面２３の設定によっては光線２６と撮像面２３とが交わらない場合もあるが、この場合には光線２５は実カメラモデル１１ａには映らないということになる。
【００５３】
また、シミュレーションする対象の実カメラの最大画角をＭ（度）とした場合には、カメラ本体２１内部に入射を許される光線２５はαＩ＜(Ｍ／２)を満たす必要がある。この条件を満たさない光線２５は実カメラモデル１１ａに映らないということになる。このときの出射角αＯの最大値はｆ(Ｍ／２)で計算される。また、(１)式の関数ｆ(αＩ，βＩ)を決定した上で、代表点２２と撮像面２３との距離（前述の通り単位距離とするのがよい）と撮像面２３の縦横の長さとを決定し、実カメラモデル１１ａの撮像範囲を規定する。なお、図９に示すように、最大出射角θＯｍａｘの大きさは最大入射角θＩｍａｘの大きさよりも小さい。
【００５４】
以上の手順により、代表点２２に入射した光線２５が実カメラモデル１１ａの撮像面２３上のどの画素（位置）に入射するかを計算することができ、実カメラで撮影された撮影画像すなわち光線２５が代表点２２を通って直進したときの撮影画像について画像変換して、画像変換画像を得ることができる。したがって、(１)式によって実カメラに入射する光線の入射角αＩ、βＩと画像変換画像の画素（位置）との関係を求めることができる。
【００５５】
また、(１)式とともに、次式を用いることによって実カメラモデル１１ａの撮像面２３上の任意の点に入射する光線２６が代表点２２に対してどの方向から入射したかを計算することが可能になる。
【００５６】
（αＩ，βＩ）＝ｆi(αＯ，βＯ) （２）
また、最も簡単な(１)式の例は、次のような入射角αＩ、βＩと出射角αＯ、βＯとが比例関係を持つ式である。
【００５７】
αＯ＝ｋαＩ （３）
βＯ＝βＩ （４）
ここで、ｋは実カメラモデル１１ａのレンズ特性を決定するパラメータであり、ｋ＜１である。仮にｋ＝１の場合には、従来のピンホールカメラモデルと同じ動作となる。実際のレンズの歪曲収差特性はレンズの目的（設計意図）によるが、通常の広角レンズはパラメータｋを、１＜ｋ＜０の範囲で適当に設定することで近似することができ、ピンホールカメラモデルを用いたカメラシミュレーションよりも正確なカメラシミュレーションが可能となる。
【００５８】
また、レンズシミュレーションをより精密に行ないたい場合には、関数ｆ(αＩ，βＩ)を(３)式、(４)式に示すような比例関係ではなく、実カメラのレンズ特性を実際に測定し、実カメラのレンズ特性を示す関数で画像変換する。この場合、もちろん出射角αＯを入射角αＩ未満とする。
【００５９】
以上の画像変換を行なったのちに、視点変換を行なう。最も単純な視点変換は、空間上にカメラモデルと投影面を置き、カメラで撮影した映像を投影面に対して投影することで実現される。
【００６０】
次に、図１１を用いてＣＰＵ２による視点変換について説明する。まず、実空間に合わせて仮想空間を設定し、仮想空間上に位置および向きを合わせて実カメラ１１と仮想カメラ３２とを配置する。次に、投影面を設定する。図１１ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。次に、仮想カメラ３２の画素の１つに注目し、注目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ３２の位置および向きの情報と合わせ、投影面と光線３５との交点３３を求める。次に、交点３３から実カメラ１１への光線３４を考える。光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲内の場合には、光線３４が実カメラ１１のどの画素に入射するかを計算する。この場合、図９、１０で説明した画像変換後の画像変換画像について光線３４が実カメラ１１のどの画素に入射するかを計算する。この光線３４が入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色および輝度を画素Ｒの色および輝度とする。
【００６１】
なお、光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲外の場合や、光線３４が実カメラ１１の撮像面に入射しない場合には、交点３３は実カメラ１１に映っていないので、仮想カメラ３２の画素Ｖには何も映っていないとする。この場合の画素Ｖの色はシステムのデフォルト値（黒など。もちろん黒以外でもよい）を用いるものとする。
【００６２】
また、画素Ｖを代表する座標は上記例では１画素につき１点としたが、代表する代表座標を画素Ｖ内に複数設けてもよい。この場合には、各代表座標それぞれに対して光線３４が実カメラ１１のどの画素に入射するかを計算し、得られた複数の色および輝度をブレンディングし、画素Ｖの色および輝度とする。この場合、ブレンディングの比率は等しくする。また、色および輝度のブレンディンクの手法としてはアルファブレンディングなどの手法があり、コンピュータグラフィックの分野では一般的な手法である。
【００６３】
以上の処理を仮想カメラ３２の画素すべてについて行ない、仮想カメラ３２の各画素の色および輝度を確定することで仮想カメラ３２の画像すなわち視点変換画像を作成することができ、空間上の実カメラ１１の画像すなわち画像変換画像を視点変換画像へと視点変換することができる。
【００６４】
この手法は撮影画像を投影面に対して単純に投影する方法に比べ、仮想カメラ３２の特性や位置が自由に設定でき、かつ仮想カメラ３２の特性や位置の変化にも容易に対応できる。
【００６５】
なお、仮想カメラ３２の各画素は基本的に実カメラ１１の画素との対応になり、その対応は仮想カメラ３２および実カメラ１１の位置および向きおよび投影面の設定が変わらない限り変わらないので、計算能力に余裕のない処理装置を用いる場合には、対応関係を変換テーブルとして保存し、実行時に参照してもよい。また、仮想カメラ３２の画素数が増加するにつれ、変換テーブルの容量も比例して増加するので、仮想カメラ３２の画素数が多い場合には、大容量のメモリを持つ処理装置（コンピュータ）を用いるよりも、視点変換の計算を高速に行なうことができる処理装置を用いた方がコスト的に有利になる。
【００６６】
このような視点変換装置においては、出射角αＯの変化に対する撮像面２３上の位置の変化は、撮像面２３の中心部と輪郭部とでほぼ同じであるから、輪郭部付近の画像や、画角の大きなカメラで撮影した画像についても、歪みの少ない視点変換画像を得ることができ、しかも補正関数を算出するためにパターン画像を撮影する必要がないから、容易に視点変換することができる。また、出射角αＯと入射角αＩとが比例する関数で画像変換したときには、画像変換された画像変換画像の中心部と輪郭部では同倍率となるから、歪みの少ない視点変換画像を得ることができる。また、実カメラ１１のレンズ特性を示す関数で画像変換したときには、実カメラ１１のレンズ（収差）による歪みの少ない視点変換画像を得ることができる。また、視点変換手段１３は視点変換画像の各画素の色および輝度を画像変換画像の各画素の中心点に位置する色および輝度としているから、色および輝度の平均値などの計算を行なう必要がないので、視点変換時の計算量を少なくすることができる。
【００６７】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態１の画像合成装置の構成を示す図である。
【図２】変換・合成後の表示画面の一例を示す図である。
【図３】本実施の形態１におけるドアが閉じた状態の車両を上から見た概略図である。
【図４】本実施の形態１におけるドアが開いた状態の車両を上から見た概略図である。
【図５】本実施の形態１におけるフローを示す図である。
【図６】本実施の形態２におけるドアが閉じた状態の車両を上から見た概略図である。
【図７】本実施の形態２におけるドアが開いた状態の車両を上から見た概略図である。
【図８】本実施の形態２におけるフローを示す図である。
【図９】図１に示した画像合成装置のＣＰＵによる画像変換についての説明図である。
【図１０】図１に示した画像合成装置のＣＰＵによる画像変換についての説明図である。
【図１１】図１に示した画像合成装置のＣＰＵによる視点変換についての説明図である。
【符号の説明】
５ａ〜５ｄ…カメラ
１…ＥＣＵ（エレクトロニック・コントロール・ユニット）
２…ＣＰＵ（中央演算処理装置）
３…ＲＯＭ
４…ＲＡＭ
６…表示器
７…開閉検知センサ
１１…実カメラ
１１ａ…実カメラモデル
１２…画像変換手段
１３…視点変換手段
１４…表示手段
２１…カメラ本体
２２…代表点
２３…撮像面
２４…カメラ光軸
２５…光線
２６…光線
２７…交点
３２…仮想カメラ
３３…交点
３４…光線
３５…光線
１０１、３０１…車両
１０２、１０３、３０３、３０４…カメラ
１０４、１０５、３０５、３０６、４０１…撮影の範囲
１０６、３０７…分割線
２０１、３０２…ドア
２０２、２０３、４０２…ドアが開いたことにより撮影できない範囲
２０４、２０５…ドアが開いたことによりどのカメラにも映らなくなる範囲
Claims (4)
- 車両に設置した複数の撮影手段と、
前記撮影手段によって撮影された複数の画像データを合成する合成手段と、
前記合成されたデータを表示する表示手段と、
前記車両の開閉体の開閉により前記撮影手段の撮影範囲に死角が生じる場合、前記合成のための前記撮影手段の担当範囲を変更する変更手段と
を有することを特徴とする画像合成装置。 - 車両の開閉体の開閉を検出する工程と、
車両に設置した複数の撮影手段によって撮影された複数の画像データを合成する工程と、
前記合成されたデータを表示する工程と、
前記車両の開閉体の開閉により前記撮影手段の撮影範囲に死角が生じる場合、前記合成のための前記撮影手段の担当範囲を変更する工程と
を有することを特徴とする画像合成方法。 - 前記開閉体が開いた際に、前記開閉体が開いたことにより前記撮影手段の撮影に影響が出た範囲を表示することを特徴とする請求項２記載の画像合成方法。
- 前記開閉体が開いた際に、前記開閉体が開いていることを表示することを特徴とする請求項２記載の画像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002206484A JP3928509B2 (ja) | 2002-07-16 | 2002-07-16 | 画像合成装置および画像合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002206484A JP3928509B2 (ja) | 2002-07-16 | 2002-07-16 | 画像合成装置および画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004048621A JP2004048621A (ja) | 2004-02-12 |
| JP3928509B2 true JP3928509B2 (ja) | 2007-06-13 |
Family
ID=31711455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002206484A Expired - Lifetime JP3928509B2 (ja) | 2002-07-16 | 2002-07-16 | 画像合成装置および画像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3928509B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4956915B2 (ja) | 2005-05-20 | 2012-06-20 | 日産自動車株式会社 | 映像表示装置及び映像表示方法 |
| JP2006341641A (ja) | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
| KR102373159B1 (ko) * | 2016-10-24 | 2022-03-10 | 현대자동차주식회사 | 듀얼 카메라 기반 버스차량 사각지대 모니터링 시스템 |
| JP7077131B2 (ja) * | 2018-05-16 | 2022-05-30 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
| JP2021110631A (ja) * | 2020-01-10 | 2021-08-02 | 株式会社デンソー | 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法 |
-
2002
- 2002-07-16 JP JP2002206484A patent/JP3928509B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004048621A (ja) | 2004-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160098815A1 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| JP3855814B2 (ja) | 車両用画像処理装置 | |
| CN103770706B (zh) | 动态后视镜显示特征 | |
| US9098928B2 (en) | Image-processing system and image-processing method | |
| CN101489117B (zh) | 图像显示装置和方法 | |
| US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
| JP5884439B2 (ja) | 車両周辺監視用画像生成装置 | |
| JP3960092B2 (ja) | 車両用画像処理装置 | |
| JP2002019556A (ja) | 監視システム | |
| JP2009524171A (ja) | 複数の画像を結合して鳥瞰図画像にする方法 | |
| CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
| JP2009151524A (ja) | 画像表示方法および画像表示装置 | |
| JP2007311970A (ja) | 車両周辺画像生成装置および撮像装置の測光調整方法 | |
| US20100149333A1 (en) | Obstacle sensing apparatus | |
| JP2013110712A5 (ja) | ||
| WO2010119734A1 (ja) | 画像処理装置 | |
| CN110796711B (zh) | 全景系统标定方法、装置、计算机可读存储介质及车辆 | |
| JP2010183265A (ja) | 画像表示装置及びそのカメラ取り付け角度算出方法 | |
| JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
| KR20180123302A (ko) | 볼의 궤적을 시각화하는 방법 및 장치 | |
| JP2007027948A (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
| JP3928509B2 (ja) | 画像合成装置および画像合成方法 | |
| JP3695377B2 (ja) | 画像合成装置および画像合成方法 | |
| US11190757B2 (en) | Camera projection technique system and method | |
| JP2010258691A (ja) | 操縦支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3928509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |