JP4860835B2

JP4860835B2 - Panorama image display method and panorama image display apparatus

Info

Publication number: JP4860835B2
Application number: JP2001176066A
Authority: JP
Inventors: 博隆岩野; 亮太河内; 透大木; 徳行佐藤
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2001-06-11
Filing date: 2001-06-11
Publication date: 2012-01-25
Anticipated expiration: 2021-06-11
Also published as: JP2002369187A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラにより撮影された映像を合成してパノラマ画像をモニタに表示するパノラマ画像の表示方法及び表示装置に関する。
【０００２】
【従来の技術】
例えば車載カメラにより撮影された映像をパノラマ画像（本明細書では、「パノラマ画像」とは主に１８０°前後の超広角の画角を持つ半周囲画像をいうものとする。）としてモニタに表示する方法としては、出願人が特願２００１−２１６１２号において既に提案したものがある。このパノラマ画像表示方法では、図１７に示すように、モニタ１の全面にパノラマ画像を表示し、パノラマ画像各部の方向（方位）については文字方位情報２、図形方位情報３等をスーパーインポーズすることにより表している。
【０００３】
【発明が解決しようとする課題】
しかしながら、今後車両等に多数のカメラが搭載されるようになった場合に、いまモニタに表示されている画像が画角のさほど大きくない通常のカメラによる撮影映像であるのか、超広角撮影によるパノラマ映像であるのか、複数の方向を撮影可能であるときにはどの方向の撮影映像であるのかをモニタの看者に一瞬で認識させる必要があるが、モニタの全面にパノラマ画像を表示する上記方法ではそのような要求に必ずしも十分に応えることができない可能性もある。
【０００４】
また、映像だけではモニタに映し出された物体がどの方向にあるのかを認識しづらい場合、看者はスーパーインポーズされた文字情報等を読み取らなければならないが、このようにモニタ画面中の文字情報を読み取らなければならないとするのは一瞬の視認性という観点からすると改良の余地があると思われる。一方、その視認性を向上させるために文字情報等の表示を大きくしたとしても、車載用モニタ等は比較的小型であるので表示画面が全体的に煩わしくなりがちであり、適切な解決にはならないおそれがある。
【０００５】
本発明は、上記の事情に鑑みて為されたもので、モニタに表示されたパノラマ画像の内容あるいは方向感を看者が文字情報等に頼らなくても直感的に把握しやすく、一瞬の視認性に優れるパノラマ画像表示方法及びパノラマ画像表示装置を提供することを課題としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、複数のカメラにより撮影された映像を、断面形状が円形、楕円形又は多角形である筒体の一部を切り取ってなる凹状の仮想スクリーンに前記筒体の軸線位置から仮想的に投影し、前記仮想スクリーンに投影した映像を前記軸線位置から所定距離だけ離れた位置に設置した仮想カメラで撮影したときに得られる、中心付近が上下方向に縮んだ合成画像を、パノラマ画像としてモニタに表示するパノラマ画像表示方法において、前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示することを特徴とする。
【０００９】
請求項２に係る発明は、請求項１に記載のパノラマ画像表示方法において、前記複数のカメラ及び前記モニタが車両に搭載されていることを特徴とする。
【００１０】
請求項３に係る発明は、請求項１に記載のパノラマ画像表示方法において、前記複数のカメラ及び前記モニタが車両に搭載され、該車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示することを特徴とする。
【００１１】
請求項４に係る発明は、請求項２又は請求項３に記載のパノラマ画像表示方法において、
前記補助線又は前記イメージ画像の表示方法を、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて切り替えることを特徴とする。
【００１４】
請求項５に係る発明は、複数のカメラにより撮影された画像を、断面形状が円形、楕円形又は多角形である筒体の一部を切り取ってなる凹状の仮想スクリーンに前記筒体の軸線位置から仮想的に投影し、前記仮想スクリーンに投影した映像を前記軸線位置から所定距離だけ離れた位置に設置した仮想カメラで撮影したときに得られる、中心付近が上下方向に縮んだ合成画像を、パノラマ画像としてモニタに表示させるパノラマ画像表示装置であって、前記複数のカメラに接続され、該複数のカメラにより撮影された映像のアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換手段と、該Ａ／Ｄ変換手段に接続され、前記複数のカメラにより撮影された映像と前記合成画像との対応関係に基づいて、前記複数のカメラにより撮影された映像のデジタル画像データを前記合成画像のデジタル画像データに変換する画像合成手段と、該画像合成手段及び前記モニタに接続され、前記合成画像のデジタル画像データをアナログ画像データに変換するとともに該アナログ画像データを前記モニタに出力するＤ／Ａ変換手段とを有するパノラマ画像表示装置において、前記画像合成手段と前記Ｄ／Ａ変換手段との間に又は該Ｄ／Ａ変換手段と前記モニタとの間に補助線重畳手段を有し、該補助線重畳手段が、前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記補助線についての画像データを重畳させることを特徴とする。
【００１５】
請求項６に係る発明は、請求項５に記載のパノラマ画像表示装置において、前記複数のカメラ及び前記モニタとともに車両に搭載されていることを特徴とする。
【００１６】
請求項７に係る発明は、請求項５に記載のパノラマ画像表示装置において、前記複数のカメラ及び前記モニタとともに車両に搭載されるとともに、前記画像合成手段と前記Ｄ／Ａ変換手段との間に又は該Ｄ／Ａ変換手段と前記モニタとの間にイメージ画像重畳手段を有し、該イメージ画像重畳手段が、前記車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記イメージ画像の画像データを重畳させることを特徴とする。
【００１７】
請求項８に係る発明は、請求項６に記載のパノラマ画像表示装置において、前記補助線重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記補助線の表示方法を切り替えることを特徴とする。
【００１８】
請求項９に係る発明は、請求項７に記載のパノラマ画像表示装置において、前記イメージ画像重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記イメージ画像の表示方法を切り替えることを特徴とする。
【００２１】
請求項１、請求項２、請求項５又は請求項６に係る発明によれば、軸線位置から仮想スクリーンに向かって放射状にのびる補助線がパノラマ画像とともにモニタに表示されるので、パノラマ画像の方向感が強調されて看者がその方向感を一層容易に把握することができる。
【００２２】
請求項３又は請求項７に係る発明によれば、複数のカメラ及びモニタが車両に搭載され、この車両のイメージ画像がパノラマ画像とともにモニタに表示されるので、たとえ車両に多数のカメラが搭載されていたとしても、看者がパノラマ画像の内容、すなわち、どのカメラによる撮影映像かを容易に把握することができる。
【００２３】
請求項４、請求項８又は請求項９に係る発明によれば、車両におけるスイッチ操作又は車両の走行状態に応じて補助線又はイメージ画像の表示方法が切り替えられるので、その時々の看者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【００２４】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。
【００２５】
〔パノラマ画像表示装置の全体構成〕
図１は本発明に係るパノラマ画像表示装置の概略構成を示す。このパノラマ画像表示装置４は、車両５の後方の映像を車室内のモニタ６に表示するために車載され（図２参照）、Ａ／Ｄ変換部７と、画像合成部８と、合成パターン演算／メモリ部９と、Ｄ／Ａ変換部１０と、画像重畳装置１１と、重畳パターン演算／メモリ部１２とを備える。
【００２６】
Ａ／Ｄ変換部７は、図２に模式的に示すように車両５の後部に設置された２台のカメラ１３ａ，１３ｂに接続され（同図においてはカメラ１３ａ，１３ｂの存在を明らかにすべくこれらを明示しているが、これらは実際にはレンズ部以外が車体に覆われて外部からは見えないようになっている。また、以下ではそのカメラを後述の仮想カメラと区別するために「実写カメラ」ともいう。）、各カメラにより撮影された映像のアナログ画像データをデジタル画像データに変換する。
【００２７】
画像合成部８はＡ／Ｄ変換部７及び合成パターン演算／メモリ部９に接続され、カメラ１３ａ，１３ｂにより撮影された映像を後述するように合成してパノラマ画像を生成する。この画像合成部８における画像合成は合成パターン演算／メモリ部９の処理に従い行われ、ここでは画像合成部８及び合成パターン演算／メモリ部９が画像合成手段として機能する。
【００２８】
Ｄ／Ａ変換部１０は画像合成部８に接続されるとともに、画像重畳装置１１を介してモニタ６に接続されている。このＤ／Ａ変換部１０は画像合成部８で生成されたパノラマ画像のデジタル画像データをアナログ画像データに変換する。
【００２９】
画像重畳装置１１は、画面の見やすさ等を向上させるためにデザインされたパターンのアナログ画像データをパノラマ画像のアナログ画像データに重畳させる。この画像重畳装置１１における画像の重畳は重畳パターン演算／メモリ部１２の処理に従い行われ、ここでは画像重畳装置１１及び重畳パターン演算／メモリ部１２が補助線重畳手段又はイメージ画像重畳手段として機能する。なお、この実施の形態においては画像重畳装置１１がＤ／Ａ変換部１０とモニタ６との間に設けられているが、画像合成部８とＤ／Ａ変換部１０との間に設けられていても、あるいは、画像合成部８と一体に設けられていてもよく、このとき画像重畳装置１１は上記パターンのデジタル画像データをパノラマ画像のデジタル画像データに重畳させる。
【００３０】
〔画像合成部における画像合成処理〕
図３は、画像合成部８及び合成パターン演算／メモリ部９におけるパノラマ画像の生成手法を説明するためのモデルを示す。同図において、符号Ｓｃは断面円形の筒体（円筒）の一部を切り取ってなる凹状の仮想的な立体スクリーン（円筒型スクリーン）を示し、符号Ｌはその筒体の軸線を示し、符号Ｒａ，Ｒｂはそれぞれ実写カメラ１３ａ，１３ｂによる撮影映像（実写カメライメージ、実写カメラスクリーン）を示す。
【００３１】
画像合成部８及び合成パターン演算／メモリ部９における画像合成の考え方として、まず最初に実写カメラ１３ａ，１３ｂで撮影された映像Ｒａ，Ｒｂを軸線Ｌの位置（軸線Ｌの近傍を含む。）から円筒型スクリーンＳｃ上へ投影し、その撮影映像Ｒａ，Ｒｂに対応する投影映像Ｑａ，Ｑｂを得る。従来は、その投影映像Ｑａ，Ｑｂからなる投影映像Ｑを円筒型スクリーンＳｃを開いて平面状とすることによって図４に示すようなパノラマ画像としていたが、本実施の形態では、軸線Ｌの位置から所定距離だけ離れた位置に仮想カメラを想定し、この仮想カメラで投影映像Ｑを撮影したときに得られる画像をパノラマ画像とする。図３において、符号１４はその仮想カメラのレンズ中心を示し、符号Ｉはその仮想カメラの撮影画像（仮想カメライメージ、仮想カメラスクリーン）を示す。
【００３２】
例えば仮想カメラに単純なピンホールカメラモデルを用いる場合には、仮想カメラのレンズ中心１４から円筒型スクリーンＳｃを覗き、この円筒型スクリーンＳｃ上の投影映像Ｑを仮想カメラスクリーンＩ上に投影することをイメージすればよい。この手法に従うと、仮想カメラスクリーンＩ上の中心付近の点と左右端付近の点とでは円筒型スクリーンＳｃ上の対応する点までの距離が異なるので、結果として仮想カメラスクリーンＩ上へ投影される映像の拡大・縮小率が仮想カメラスクリーンＩ上の左右方向の位置によって異なる。図３からもわかるように、仮想カメラスクリーンＩ上の中心付近の点から円筒型スクリーンＳｃまでの距離が最も長いので、その仮想カメラスクリーンＩ上の中心付近で映像は相対的に縮小される。これにより、仮想カメラスクリーンＩにおいて図５に示すように中心付近が上下方向に縮んだ自然な変形が実現され、看者があたかも立体的なものを見ているかのような視覚効果を奏して画像の内容や方向感の直感的理解に供するパノラマ画像が生成される。
【００３３】
また、仮想カメラを円筒型スクリーンＳｃに対して近づけたり離したりすることによって、仮想カメラスクリーンＩ上の中心付近、左右端付近における拡大・縮小率を自然に調整することができる。これは、仮想カメラスクリーンＩ上の中心付近の点に対応する円筒型スクリーンＳｃ上の点から仮想カメラまでの距離と、仮想カメラスクリーンＩ上の左右端付近の点に対応する円筒型スクリーンＳｃ上の点から仮想カメラまでの距離との比が、仮想カメラの位置が変わることによって連続的に変化するからである。このとき、仮想カメラスクリーンＩ上に形成されるパノラマ画像の全体的な大きさも拡大又は縮小されるが、仮想カメラの焦点距離（仮想カメラのレンズ中心１４と仮想カメラスクリーンＩとの離間距離）ｆ’を併せて調整することにより、その大きさが変化しないようにすることもできる。
【００３４】
ここで、以上の考え方を定式化するために、軸線ＬがＹ軸と一致するようにＸＹＺ直交座標系を設定し、図６に示すように、実写カメラ１３ａ，１３ｂのレンズ中心１５ａ，１５ｂがＸＺ平面内において原点（観察点）Ｏから距離ｒの位置にあるとする。また、円筒型スクリーンＳｃの半径をＰとすると、通常ｒはＰに比べてかなり小さい値を取るが、ここではｒのＰに対する割合を実際よりも大きくして図示している。また、実写カメラ１３ａ，１３ｂは互いに外向きとなるようにＺ軸に関して対称に配置され、これらの視線（LOS：Line of Site）がＺ軸となす角度がそれぞれθ及び−θであるとし、その焦点距離をｆとする。さらに、円筒型スクリーンＳｃ上にＺ軸との交点を原点としてＸ’Ｙ’座標系を設定し、実写カメラスクリーンＲａ，Ｒｂ上にLOSとの交点を原点ｏとしてｘｙ座標系を設定し、仮想カメラスクリーンＩ上にＺ軸との交点を原点ｏ’としてｘ’ｙ’座標系を設定する（Ｙ’，ｙ，ｙ’の各軸はＹ軸に平行とする。）。
【００３５】
いま、カメラ１３ａに着目し、実写カメラスクリーンＲａ上の点（ｘ，ｙ）が円筒型スクリーンＳｃ上の点Ｋ（Ｘ’，Ｙ’）に射影された場合を考える。ＸＺ平面内において線分ＯＫがＺ軸となす角度をαとし、線分ｏＫがカメラ１３ａのLOSとなす角度をθ’とすると、
【００３６】
【数１】

【００３７】
【数２】

【００３８】
あるいは
【００３９】
【数３】

【００４０】
【数４】

【００４１】
となり、このとき
【００４２】
【数５】

【００４３】
あるいは
【００４４】
【数６】

【００４５】
という関係が成り立つ。これらの関係を用いれば、実写カメラスクリーンＲａ上の点（ｘ，ｙ）と円筒型スクリーンＳｃ上の点Ｋ（Ｘ’，Ｙ’）とを互いに変換することができ、各式におけるθを−θとすれば上記関係をカメラ１３ｂについても利用することができる。
【００４６】
さらに、円筒型スクリーンＳｃ上の点Ｋ（Ｘ’，Ｙ’）と仮想カメラスクリーンＩ上の点（ｘ’，ｙ’）との関係を求めると、仮想カメラのレンズ中心１４がＸＺ平面内において原点Ｏから距離ｄの位置にあるとして
【００４７】
【数７】

【００４８】
【数８】

【００４９】
という関係が成り立つ。
【００５０】
上記式（１）〜式（８）を用いることによって、実写カメラスクリーンＲａ，Ｒｂ上の座標（ｘ，ｙ）と仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）とを具体的に対応させることができ、これらの式を用いて画像合成部８及び合成パターン演算／メモリ部９が実際に行う画像合成処理の例をつぎに説明する。
【００５１】
画像合成部８は、カメラ１３ａ，１３ｂの撮影映像の画素ごとのデジタル画像データを記憶する入力画像メモリ８ａを備えるとともに、合成画像（パノラマ画像）の画素ごとのデジタル画像データを記憶する出力画像メモリ８ｂを備え（図１参照）、図７に示すように、その出力画像メモリ８ｂの所定画素に対応する領域についてアドレスを発生させる（ステップ１（図７においてＳ．１と記載。以下同様））。
【００５２】
そのアドレスは図８に示すように合成パターン演算／メモリ部９に受信され（ステップ２）、仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）に変換された後（ステップ３）、式（７），（８）により円筒型スクリーンＳｃ上の対応する座標（Ｘ’，Ｙ’）が演算される（ステップ４）。
【００５３】
続いて、演算されたＸ’座標値等に応じて対応するカメラが選択され（ステップ５）、カメラ１３ａが選択された場合には式（１），（２）等が、カメラ１３ｂが選択された場合にはθを−θに置換した式（１），（２）等が用いられて実写カメラスクリーン上の対応する座標（ｘ，ｙ）が求められる（ステップ６）。
【００５４】
そして、その座標（ｘ，ｙ）に対応する入力画像メモリ８ａの領域のアドレスが演算により求められ（ステップ７）、合成パターン演算／メモリ部９はそのアドレスを画像合成部８に出力する（ステップ８）。
【００５５】
画像合成部８はアドレスを受信すると（ステップ９）、入力画像メモリ８ａの当該アドレスの領域に記憶された画像データを出力画像メモリ８ｂの先に送信したアドレス（ステップ１において送信したアドレス）の領域に移動させる（ステップ１０）。
【００５６】
このステップ１〜ステップ１０の処理を合成画像の全画素について行うことにより、その全画素のデジタル画像データが決定されてパノラマ画像が生成されるが、上述のように単に入力画像メモリ８ａから出力画像メモリ８ｂに画像データを移動させてパノラマ画像を生成するのではなく、カメラ１３ａ，１３ｂの撮影映像が重なる部分の処理や明るさ調整等の種々の演算を適宜行った上で生成してもよい。
【００５７】
また、図８に示すようにステップ４〜ステップ６の処理は仮想カメラについてのパラメータｄ，ｆ、仮想スクリーンについてのパラメータＰ、実写カメラについてのパラメータｒ，ｆ，θに依存することとしてもよく、これらのパラメータを車両５の走行状態等（スイッチ情報、センサ情報）に応じてリアルタイムに変化させることによりその時々の運転者の感覚に合ったパノラマ画像が表示されるが、この点については後述する。ただ、ステップ５については、上述のように仮想スクリーンが円筒面状で実写カメラが２台であれば、ステップ４で求めたＸ’がＸ’≧０を満たせばカメラ１３ａが選択され、Ｘ’＜０を満たせばカメラ１３ｂが選択されるとすれば処理が簡単である。
【００５８】
つぎに、その仮想スクリーンが円筒型ではなく他の形状を有する場合について述べる。
【００５９】
図９乃至図１１は、仮想スクリーンの形状を異ならせた場合のパノラマ画像の生成手法を説明するためのモデルを示し、図９において、符号Ｓｏは断面楕円形の筒体の一部を切り取ってなる仮想スクリーン（楕円筒型スクリーン）を、符号ａ，ｂはその楕円の長軸又は短軸の長さをそれぞれ示す。その他の符号については図６におけると同様であるので説明を省略する。なお、この楕円筒型スクリーンＳｏについて成立する関係式は円筒型スクリーンＳｃについて求めたものに比べて煩雑になるので、ここでは図８のフローで重要となる仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）と楕円筒型スクリーンＳｏ上の座標（Ｘ，Ｙ，Ｚ）との関係、及び、楕円筒型スクリーンＳｏ上の座標（Ｘ，Ｙ，Ｚ）と実写カメラスクリーンＲａ上の座標（ｘ，ｙ）との関係を導くための演算手順を明らかにするに止める。
【００６０】
仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）が楕円筒型スクリーンＳｏ上の点Ｋ（Ｘ，Ｙ，Ｚ）＝（ＸＫ，ＹＫ，ＺＫ）に対応するとした場合、ＸＫ，ＺＫはつぎの連立方程式をＸ，Ｚについて解くことにより求められる。
【００６１】
【数９】

【００６２】
【数１０】

【００６３】
また、ＹＫはＸＫを次式に代入することにより求められる。
【００６４】
【数１１】

【００６５】
続いて、点Ｋに対応する実写カメラスクリーンＲａ上の座標をＸＹＺ空間で求めると、その座標（ＸＣ，ＹＣ，ＺＣ）は点Ｋの位置（ＸＫ，ＹＫ，ＺＫ）とカメラ１３ａの位置（r sinθ，０，r cosθ）とを結ぶ線分の実写カメラスクリーンＲａとの交点の座標に相当するから、ＸＣ，ＺＣはつぎの連立方程式をＸ，Ｚについて解くことにより求められる。
【００６６】
【数１２】

【００６７】
【数１３】

【００６８】
また、ＹＣはＸＣを次式に代入することにより求められる。
【００６９】
【数１４】

【００７０】
Ｋに対応する実写カメラスクリーンＲａ上の座標（ｘ，ｙ）は、そのＸＣ，ＹＣ，ＺＣを用いて次式により与えられる。
【００７１】
【数１５】

【００７２】
【数１６】

【００７３】
以上で得られる関係を図８におけるステップ４、ステップ６で用いることにより、楕円筒型スクリーンＳｏによる画像合成が実現され、この楕円筒型スクリーンＳｏによる画像合成によってパノラマ画像の左右方向の拡大・縮小率も調整することが可能となる。なお、このとき図８における仮想スクリーンのパラメータはａ，ｂとなる。
【００７４】
一方、図１０及び図１１において、符号Ｓｒは断面長方形の筒体の一部を切り取ってなる仮想スクリーン（直方体型スクリーン）を示し、この直方体型スクリーンＳｒは、Ｘ軸を法線としてＸ軸と座標値−ＸＤで交わるスクリーンＳ₁と、Ｚ軸を法線としてＺ軸と座標値ＺＤで交わるスクリーンＳ₂と、Ｘ軸を法線としてＸ軸と座標値ＸＤで交わるスクリーンＳ₃とからなっている。スクリーンＳ₁，Ｓ₂，Ｓ₃には、Ｘ軸との交点を原点Ｏ₁とするＸ₁Ｙ₁座標系、Ｚ軸との交点を原点Ｏ₂とするＸ₂Ｙ₂座標系、Ｘ軸との交点を原点Ｏ₃とするＸ₃Ｙ₃座標系をそれぞれ設定し（Ｙ₁，Ｙ₂，Ｙ₃の各軸はＹ軸に平行とする。）、これらのスクリーンを同時に扱うのは困難であるため各スクリーン上の座標を（Ｘｎ，Ｙｎ）（ｎ＝１，２，３）として別々に扱う。
【００７５】
その直方体型スクリーンＳｒ上の座標（Ｘｎ，Ｙｎ）と実写カメラスクリーンＲａ上の座標（ｘ，ｙ）との関係を求めると
【００７６】
【数１７】

【００７７】
【数１８】

【００７８】
【数１９】

【００７９】
【数２０】

【００８０】
【数２１】

【００８１】
【数２２】

【００８２】
が成立する。したがって、これらの関係式及びその逆関数を用いることによって、実写カメラスクリーンＲａ上の座標（ｘ，ｙ）と長方形型スクリーンＳｒ上の座標（Ｘｎ，Ｙｎ）とを互いに変換することができる。また、長方体型スクリーンＳｒ上の座標（Ｘｎ，Ｙｎ）と仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）との関係を求めると
【００８３】
【数２３】

【００８４】
【数２４】

【００８５】
【数２５】

【００８６】
【数２６】

【００８７】
【数２７】

【００８８】
【数２８】

【００８９】
が成立するので、以上の各式を組み合わせることにより直方体型スクリーンＳｒ上の座標（Ｘｎ，Ｙｎ）を介して実写カメラスクリーンＲａ上の座標（ｘ，ｙ）と仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）とを対応させることができる。そして、その対応関係に基づいた直方体型スクリーンＳｒによる画像合成によって、図１２に示すような三方を囲われている雰囲気のパノラマ画像を生成することができる。
【００９０】
〔画像重畳装置における画像重畳処理〕
画像合成部８及び合成パターン演算／メモリ部９により生成されたパノラマ画像の画像データは、Ｄ／Ａ変換部１０を経た後に画像重畳装置１１において上記パターンの画像データと重畳される。その一例として、図１３は、円筒型スクリーンＳｃを用いて生成されたパノラマ画像にパターンとして補助線が重畳された場合の画像を示す。すなわち、モニタ６の画面下部には円筒の中心部を意識した円弧１６と、その中心部から円筒型スクリーンＳｃに向かって放射状にのびる補助線１７とが描かれ、看者に立体的なパノラマ映像であることを強く意識させるようになっている。その補助線１７は上記中心部から一定の角度間隔ごとに描かれており、これにより看者はパノラマ画像の方向感あるいは方位角度を一層容易に把握することができる。
【００９１】
また、図１４は円筒型スクリーンＳｃを用いて生成されたパノラマ画像にパターンとして自車のイメージ画像が重畳された場合の画像を示す。すなわち、モニタ６の画面下部中央には車両のイメージ画像１８が描かれ、看者に撮影カメラの位置あるいは撮影方向を強く意識させるようになっている。そのイメージ画像１８は、車両５の後部や側部、前部等に複数の実写カメラが取り付けられ、それらのカメラの撮影映像が切り替えてモニタ６に表示される場合には、その切替えに合わせてデザインが変更される。
【００９２】
これらのパターンのデザインは、重畳パターン演算／メモリ部１２において決定され、その決定されたデザインの画像データが画像重畳装置１１に送信されて上記重畳が行われる。
【００９３】
〔スイッチ操作等による画像表示方法の変更〕
図１５は、車両５の運転者の手元にスイッチ装置１９があり、このスイッチ装置１９の操作により画像表示方法が変更される例を示している。例えばスイッチ装置１９の左から一番目のスイッチが選択された場合、合成パターン演算／メモリ部９はそのメモリに記憶されている表示パターンのうち図中上から一番目にあるものを、重畳パターン演算／メモリ部１２はそのメモリに記憶されている表示パターンのうち図中上から一番目にあるものを、それぞれ画像合成部８、画像重畳装置１１に出力する。つまり、画像合成部８及び合成パターン演算／メモリ部９によっては円筒型スクリーンＳｃによるパノラマ画像が生成され、画像重畳装置１１及び重畳パターン演算／メモリ部１２によってはパノラマ画像に対して何ら画像が重畳されず、結局、モニタ６には図５に示すような画像が表示される。
【００９４】
また、スイッチ装置１９の左から二番目のスイッチが選択された場合、合成パターン演算／メモリ部９はそのメモリに記憶されている表示パターンのうち図中上から二番目にあるものを、重畳パターン演算／メモリ部１２はそのメモリに記憶されている表示パターンのうち図中上から二番目にあるものを、それぞれ画像合成部８、画像重畳装置１１に出力する。つまり、画像合成部８及び合成パターン演算／メモリ部９によっては直方体型スクリーンＳｒによるパノラマ画像が生成され、画像重畳装置１１及び重畳パターン演算／メモリ部１２によってはスクリーンＳ₁，Ｓ₂及びスクリーンＳ₂，Ｓ₃の境界を示す画像が重畳され、モニタ６には図１２に示すような画像が表示される。
【００９５】
スイッチ装置１９の左から三番目のスイッチが選択された場合、合成パターン演算／メモリ部９はそのメモリに記憶されている表示パターンのうち図中上から三番目にあるものを、重畳パターン演算／メモリ部１２はそのメモリに記憶されている表示パターンのうち図中上から三番目にあるものを、それぞれ画像合成部８、画像重畳装置１１に出力する。つまり、画像合成部８及び合成パターン演算／メモリ部９によっては円筒型スクリーンＳｃによるパノラマ画像が生成され、画像重畳装置１１及び重畳パターン演算／メモリ部１２によっては円弧１６及び補助線１７が重畳され、モニタ６には図１３に示すような画像が表示される。
【００９６】
スイッチ装置１９の左から四番目のスイッチが選択された場合、合成パターン演算／メモリ部９はそのメモリに記憶されている表示パターンのうち図中上から四番目にあるものを、重畳パターン演算／メモリ部１２はそのメモリに記憶されている表示パターンのうち図中上から四番目にあるものを、それぞれ画像合成部８、画像重畳装置１１に出力する。つまり、画像合成部８及び合成パターン演算／メモリ部９によっては円筒型スクリーンＳｃによるパノラマ画像が生成され、画像重畳装置１１及び重畳パターン演算／メモリ部１２によっては円弧１６、補助線１７及びイメージ画像１８が重畳され、モニタ６には図１４に示すような画像が表示される。
【００９７】
ところで、このように表示方法をパターン化して切り替える場合、リアルタイムでの画像の自動調整を不要とするならば、合成パターン演算／メモリ部９や重畳パターン演算／メモリ部１２が予めいくつかの表示方法を記憶しておきそれを画像合成部８や画像重畳装置１１に機械的に出力するようにしておくことによって、合成パターン演算／メモリ部９や重畳パターン演算／メモリ部１２が演算処理を行わなくてすみ構成が簡略化される。
【００９８】
図１６は、車両５の走行状態を示すパラメータの一つである車速により、画像表示方法が変更される例を示している。車速に応じてモニタ画面の中心付近の映像を周縁部の映像に比べて相対的に拡大又は縮小したい場合には、仮想カメラの位置を規定する距離ｄを大きく又は小さくし、それに略比例するように焦点距離ｆ’も大きく又は小さくすればよい。
【００９９】
詳細には、速度センサ２０により車速が検知されると、その車速に応じて合成パターン演算／メモリ部９において適切な距離ｄ及び焦点距離ｆ’が決定され、それに基づいて画像合成のための座標変換値（ｘ，ｙ等）がリアルタイムに演算されて画像合成部８における画像合成が行われる。例えば駐車時のように車速が小さい場合には、運転者は周囲を広く見渡したいと感じることが多いため、パノラマ画像の中心付近を比較的大きくすべく距離ｄ，焦点距離ｆ’を大きくする。一方、高速走行時のように車速が一定以上である場合には、運転者の窓越しの視界は狭くなるため、それを補うようにパノラマ画像の中心付近をやはり大きくすべく距離ｄ，焦点距離ｆ’を大きくする（このときの表示倍率は上記車速が小さい場合の表示倍率と異なっていても勿論よい。）。さらに、重畳パターン演算／メモリ部１２においてもその距離ｄ，焦点距離ｆ’に基づいて補助線１７の形状等が演算され、画像重畳装置１１における画像重畳が行われる。
【０１００】
以上のように車両５におけるスイッチ操作又は車両５の走行状態に応じて補助線１７やイメージ画像１８等の表示方法が切り替えられることにより、その時々の運転者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【０１０１】
なお、本発明の実施の形態は以上説明したものに限られず、例えば仮想スクリーンとして他の断面形状を有する筒体の一部を切り取ってなるものを用いてもかまわないし、車両の走行状態をギヤ操作や舵角等で判断して画像表示方法を変更してもよい。
【０１０４】
【発明の効果】
請求項１、請求項２、請求項５又は請求項６に係る発明によれば、軸線位置から仮想スクリーンに向かって放射状にのびる補助線がパノラマ画像とともにモニタに表示されるので、パノラマ画像の方向感が強調されて看者がその方向感を一層容易に把握することができる。
【０１０５】
請求項３又は請求項７に係る発明によれば、複数のカメラ及びモニタが車両に搭載され、この車両のイメージ画像がパノラマ画像とともにモニタに表示されるので、たとえ車両に多数のカメラが搭載されていたとしても、看者がパノラマ画像の内容、すなわち、どのカメラによる撮影映像かを容易に把握することができる。
【０１０６】
請求項４、請求項８又は請求項９に係る発明によれば、車両におけるスイッチ操作又は車両の走行状態に応じて補助線又はイメージ画像の表示方法が切り替えられるので、その時々の看者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【図面の簡単な説明】
【図１】本発明に係るパノラマ画像表示装置の概略構成を示す説明図である。
【図２】実写カメラの車両における配置を模式的に示す説明図である。
【図３】円筒型スクリーンを用いた画像合成のモデルを示す斜視図である。
【図４】図３のモデルにおいて仮想カメラを用いなかった場合のパノラマ画像を示す説明図である。
【図５】図３のモデルにおいて仮想カメラを用いた場合のパノラマ画像を示す説明図である。
【図６】図３の円筒型スクリーンを用いた画像合成のモデルを示す平面図である。
【図７】画像合成部における処理のフローを示す説明図である。
【図８】合成パターン演算／メモリ部における処理のフローを示す説明図である。
【図９】楕円筒型スクリーンを用いた画像合成のモデルを示す平面図である。
【図１０】直方体型スクリーンを用いた画像合成のモデルを示す斜視図である。
【図１１】図１０の直方体型スクリーンを用いた画像合成のモデルを示す平面図である。
【図１２】図１１のモデルにより得られるパノラマ画像の例を示す説明図である。
【図１３】図３のモデルにより得られるパノラマ画像に補助線を重畳した例を示す説明図である。
【図１４】図３のモデルにより得られるパノラマ画像に車両のイメージ画像を重畳した例を示す説明図である。
【図１５】スイッチ装置と合成パターン演算／メモリ部及び重畳パターン演算／メモリ部との連係を示す説明図である。
【図１６】速度センサと合成パターン演算／メモリ部及び重畳パターン演算／メモリ部との連係を示す説明図である。
【図１７】従来の方法により表示されたパノラマ画像を示す説明図である。
【符号の説明】
４パノラマ画像表示装置
５車両
６モニタ
７Ａ／Ｄ変換部（Ａ／Ｄ変換手段）
８画像合成部
９合成パターン演算／メモリ部
１０Ｄ／Ａ変換部（Ｄ／Ａ変換手段）
１１画像重畳装置
１２重畳パターン演算／メモリ部
１３ａ，１３ｂカメラ
１７補助線
１８イメージ画像
１９スイッチ装置
２０速度センサ
ｄ所定距離
Ｌ軸線
Ｓｃ円筒型スクリーン（仮想スクリーン）
Ｓｏ楕円筒型スクリーン（仮想スクリーン）
Ｓｒ直方体型スクリーン（仮想スクリーン）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a panoramic image display method and a display device for combining videos taken by a plurality of cameras and displaying a panoramic image on a monitor.
[0002]
[Prior art]
For example, video captured by an in-vehicle camera is displayed on a monitor as a panoramic image (in this specification, “panoramic image” refers to a half-peripheral image having a super-wide angle of view of approximately 180 °). As a method for doing this, there is one already proposed by the applicant in Japanese Patent Application No. 2001-21612. In this panoramic image display method, as shown in FIG. 17, a panoramic image is displayed on the entire surface of the monitor 1, and the direction (direction) of each part of the panoramic image is superimposed with the character direction information 2, the figure direction information 3, and the like. It expresses by.
[0003]
[Problems to be solved by the invention]
However, when a large number of cameras are installed in vehicles in the future, whether the image currently displayed on the monitor is an image taken by a normal camera that is not so large in view angle, or a panorama by super wide angle shooting It is necessary for the monitor viewer to instantly recognize which direction the video is taken when it is a video or when it is possible to shoot in multiple directions. There is a possibility that such a request cannot be sufficiently met.
[0004]
In addition, if it is difficult to recognize in which direction the object projected on the monitor is based on the image alone, the viewer must read the superimposed character information, etc. From the viewpoint of instantaneous visibility, there seems to be room for improvement. On the other hand, even if the display of character information or the like is increased in order to improve the visibility, the in-vehicle monitor or the like is relatively small and the display screen tends to be troublesome as a whole, so it is not an appropriate solution. There is a fear.
[0005]
The present invention has been made in view of the above circumstances, and it is easy for the viewer to intuitively grasp the content or direction of the panoramic image displayed on the monitor without relying on character information or the like, and the visual recognition for a moment. It is an object of the present invention to provide a panoramic image display method and a panoramic image display device that are excellent in performance.
[0008]
[Means for Solving the Problems]
  To solve the above problem,Claim1The invention according toImages projected by a plurality of cameras are virtually projected from the axial position of the cylinder onto a concave virtual screen formed by cutting a part of a cylinder whose cross-sectional shape is circular, elliptical, or polygonal, and A composite image obtained by shooting the image projected on the virtual screen with a virtual camera installed at a predetermined distance from the axis line position and displayed in a panoramic image is displayed on the monitor as a panoramic image.In the panoramic image display method, auxiliary lines extending radially from the axis position toward the virtual screen are displayed on the monitor together with the panoramic image.
[0009]
  Claim2The invention according to claim1In the panoramic image display method described in (1), the plurality of cameras and the monitor are mounted on a vehicle.
[0010]
  Claim3The invention according to claim1In the panoramic image display method described above, the plurality of cameras and the monitor are mounted on a vehicle, and an image image of the vehicle is displayed on the monitor together with the panoramic image.
[0011]
  Claim4The invention according to claim2Or claims3In the panoramic image display method described in
  The display method of the auxiliary line or the image is switched according to a switch operation in the vehicle or a running state of the vehicle.
[0014]
  Claim5The invention according toThe images photographed by a plurality of cameras are virtually projected from the axial position of the cylinder onto a concave virtual screen obtained by cutting a part of a cylinder whose cross-sectional shape is circular, elliptical or polygonal, and A panorama that displays on the monitor as a panoramic image a composite image obtained by shooting the image projected on the virtual screen with a virtual camera installed at a predetermined distance from the axis position, the center of which is shrunk vertically. An image display device connected to the plurality of cameras, A / D conversion means for converting analog image data of video captured by the plurality of cameras into digital image data, and connection to the A / D conversion means And digital image data of the video shot by the plurality of cameras based on the correspondence between the video shot by the plurality of cameras and the composite image. An image composition means for converting the image data into digital image data of the composite image, and connected to the image composition means and the monitor, and converts the digital image data of the composite image into analog image data and converts the analog image data into the monitor D / A conversion means for outputting toIn the panoramic image display device, an auxiliary line superimposing unit is provided between the image synthesizing unit and the D / A converting unit or between the D / A converting unit and the monitor, and the auxiliary line superimposing unit includes: In order to display the auxiliary line extending radially from the axial position toward the virtual screen on the monitor together with the panoramic image, the image data of the auxiliary line is superimposed on the image data of the panoramic image. .
[0015]
  Claim6The invention according to claim5The panoramic image display device according to claim 1, wherein the panoramic image display device is mounted on a vehicle together with the plurality of cameras and the monitor.
[0016]
  Claim7The invention according to claim5The panoramic image display device according to claim 1, wherein the panoramic image display device is mounted on a vehicle together with the plurality of cameras and the monitor, and between the image synthesizing unit and the D / A conversion unit or between the D / A conversion unit and the monitor. In order to display an image image of the vehicle on the monitor together with the panoramic image, the image image superimposing unit adds image data of the image image to the image data of the panoramic image. It is characterized by overlapping.
[0017]
  Claim8The invention according to claim6In the panoramic image display device described in item 3, the auxiliary line superimposing means switches the display method of the auxiliary line according to a switch operation in the vehicle or a traveling state of the vehicle.
[0018]
  Claim9The invention according to claim7In the panoramic image display device described in item 1, the image image superimposing unit switches the display method of the image image according to a switch operation in the vehicle or a running state of the vehicle.
[0021]
  Claim1, Claims2, Claims5Or claims6According to the invention, since the auxiliary line extending radially from the axial position toward the virtual screen is displayed on the monitor together with the panoramic image, the direction feeling of the panoramic image is emphasized, and the viewer can more easily feel the direction feeling. I can grasp it.
[0022]
  Claim3Or claims7According to the invention, since a plurality of cameras and monitors are mounted on the vehicle, and an image of the vehicle is displayed on the monitor together with the panoramic image, even if a large number of cameras are mounted on the vehicle. Can easily grasp the contents of the panoramic image, that is, which camera image is taken.
[0023]
  Claim4, Claims8Or claims9According to the invention, since the display method of the auxiliary line or the image image is switched according to the switch operation in the vehicle or the running state of the vehicle, the panorama image that matches the sense of the viewer at that time is displayed and the panorama image is displayed. Visibility is further improved.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0025]
[Overall configuration of panoramic image display device]
FIG. 1 shows a schematic configuration of a panoramic image display apparatus according to the present invention. The panoramic image display device 4 is mounted on the vehicle (see FIG. 2) to display the video behind the vehicle 5 on the monitor 6 in the passenger compartment, and includes an A / D conversion unit 7, an image synthesis unit 8, and a synthesis pattern calculation. / Memory unit 9, D / A conversion unit 10, image superimposing device 11, and superimposition pattern calculation / memory unit 12.
[0026]
The A / D converter 7 is connected to two

cameras

13a and 13b installed in the rear part of the vehicle 5 as schematically shown in FIG. 2 (in FIG. 2, the existence of the

cameras

13a and 13b is clarified). However, in order to distinguish the camera from the virtual camera described below, the parts other than the lens part are actually covered with the vehicle body so that they cannot be seen from the outside. Also referred to as “real camera”.) Converts analog image data of video captured by each camera into digital image data.
[0027]
The image synthesis unit 8 is connected to the A / D conversion unit 7 and the synthesis pattern calculation / memory unit 9, and generates a panoramic image by synthesizing videos captured by the

cameras

13a and 13b as described later. The image synthesis in the image synthesis unit 8 is performed in accordance with the process of the synthesis pattern calculation / memory unit 9. Here, the image synthesis unit 8 and the synthesis pattern calculation / memory unit 9 function as an image synthesis unit.
[0028]
The D / A conversion unit 10 is connected to the image composition unit 8 and is also connected to the monitor 6 via the image superimposing device 11. The D / A conversion unit 10 converts the digital image data of the panoramic image generated by the image synthesis unit 8 into analog image data.
[0029]
The image superimposing device 11 superimposes analog image data of a pattern designed to improve the visibility of the screen on the analog image data of the panoramic image. The image superimposing in the image superimposing device 11 is performed according to the processing of the superimposing pattern calculation / memory unit 12, and here, the image superimposing device 11 and the superimposing pattern calculation / memory unit 12 function as auxiliary line superimposing means or image image superimposing means. . In this embodiment, the image superimposing device 11 is provided between the D / A conversion unit 10 and the monitor 6, but is provided between the image composition unit 8 and the D / A conversion unit 10. Alternatively, it may be provided integrally with the image composition unit 8, and at this time, the image superimposing device 11 superimposes the digital image data of the above pattern on the digital image data of the panoramic image.
[0030]
[Image composition processing in the image composition unit]
FIG. 3 shows a model for explaining a panoramic image generation method in the image synthesis unit 8 and the synthesis pattern calculation / memory unit 9. In the figure, reference numeral Sc denotes a concave virtual three-dimensional screen (cylindrical screen) formed by cutting a part of a cylindrical body (cylinder) having a circular cross section, reference numeral L denotes an axis of the cylindrical body, reference numeral Ra , Rb respectively indicate images shot by the live-

action cameras

13a and 13b (live-action camera image and live-action camera screen).
[0031]
As a concept of image synthesis in the image synthesis unit 8 and the synthesis pattern calculation / memory unit 9, first, the images Ra and Rb photographed by the live-

action cameras

13a and 13b are taken from the position of the axis L (including the vicinity of the axis L). Projection images Qa and Qb corresponding to the captured images Ra and Rb are obtained by projecting onto the cylindrical screen Sc. Conventionally, the projection image Q composed of the projection images Qa and Qb has been formed into a panoramic image as shown in FIG. 4 by opening the cylindrical screen Sc to form a plane, but in the present embodiment, the position of the axis L A virtual camera is assumed at a position away from the camera by a predetermined distance, and an image obtained when the projected video Q is captured by the virtual camera is defined as a panoramic image. In FIG. 3, reference numeral 14 indicates the lens center of the virtual camera, and reference numeral I indicates a captured image (virtual camera image, virtual camera screen) of the virtual camera.
[0032]
For example, when a simple pinhole camera model is used for the virtual camera, the cylindrical screen Sc is viewed from the lens center 14 of the virtual camera, and the projection image Q on the cylindrical screen Sc is projected onto the virtual camera screen I. Image. According to this method, the distance to the corresponding point on the cylindrical screen Sc differs between the point near the center on the virtual camera screen I and the point near the left and right ends, and as a result, the point is projected onto the virtual camera screen I. The enlargement / reduction rate of the image differs depending on the position in the left-right direction on the virtual camera screen I. As can be seen from FIG. 3, since the distance from the point near the center on the virtual camera screen I to the cylindrical screen Sc is the longest, the image is relatively reduced near the center on the virtual camera screen I. As a result, a natural deformation in which the vicinity of the center of the virtual camera screen I is contracted in the vertical direction as shown in FIG. 5 is realized, and an image is produced with a visual effect as if the viewer is looking at a three-dimensional object. A panoramic image is generated for intuitive understanding of the contents and direction.
[0033]
Further, by moving the virtual camera closer to or away from the cylindrical screen Sc, the enlargement / reduction ratios near the center and near the left and right ends on the virtual camera screen I can be adjusted naturally. This is because the distance from the point on the cylindrical screen Sc corresponding to the point near the center on the virtual camera screen I to the virtual camera and the point on the cylindrical screen Sc corresponding to the point near the left and right ends on the virtual camera screen I. This is because the ratio of the distance from the point to the virtual camera continuously changes as the position of the virtual camera changes. At this time, the overall size of the panoramic image formed on the virtual camera screen I is also enlarged or reduced, but the focal distance of the virtual camera (the distance between the lens center 14 of the virtual camera and the virtual camera screen I) f By adjusting 'together, the size can be kept unchanged.
[0034]
Here, in order to formulate the above concept, an XYZ orthogonal coordinate system is set so that the axis L coincides with the Y axis, and as shown in FIG. 6, the lens centers 15a and 15b of the live-

action cameras

13a and 13b It is assumed that the distance is r from the origin (observation point) O in the XZ plane. If the radius of the cylindrical screen Sc is P, r is usually much smaller than P, but here the ratio of r to P is shown larger than the actual value. Further, the live-

action cameras

13a and 13b are arranged symmetrically with respect to the Z axis so as to face each other, and the angles formed by these lines of sight (LOS) with respect to the Z axis are θ and −θ, respectively. Let the focal length be f. Further, an X'Y 'coordinate system is set on the cylindrical screen Sc with the intersection with the Z axis as the origin, and an xy coordinate system is set on the live-action camera screens Ra and Rb with the intersection with the LOS as the origin o. An x′y ′ coordinate system is set on the camera screen I with the intersection point with the Z axis as the origin o ′ (the Y ′, y, and y ′ axes are parallel to the Y axis).
[0035]
Now, focusing on the camera 13a, consider a case where a point (x, y) on the live-action camera screen Ra is projected onto a point K (X ', Y') on the cylindrical screen Sc. In the XZ plane, if the angle that the line segment OK makes with the Z axis is α, and the angle that the line segment oK makes with the LOS of the camera 13a is θ ′,
[0036]
[Expression 1]

[0037]
[Expression 2]

[0038]
Or
[0039]
[Equation 3]

[0040]
[Expression 4]

[0041]
And this time
[0042]
[Equation 5]

[0043]
Or
[0044]
[Formula 6]

[0045]
This relationship holds. Using these relationships, the point (x, y) on the live-action camera screen Ra and the point K (X ′, Y ′) on the cylindrical screen Sc can be converted into each other, and θ in each equation can be expressed as − If it is set to (theta), the said relationship can be utilized also about the camera 13b.
[0046]
Further, when the relationship between the point K (X ′, Y ′) on the cylindrical screen Sc and the point (x ′, y ′) on the virtual camera screen I is obtained, the lens center 14 of the virtual camera is within the XZ plane. Assuming that it is at a distance d from the origin O
[0047]
[Expression 7]

[0048]
[Equation 8]

[0049]
This relationship holds.
[0050]
By using the above formulas (1) to (8), the coordinates (x, y) on the live-action camera screens Ra and Rb and the coordinates (x ′, y ′) on the virtual camera screen I are specifically associated with each other. An example of image composition processing actually performed by the image composition unit 8 and the composition pattern calculation / memory unit 9 using these equations will be described below.
[0051]
The image composition unit 8 includes an input image memory 8a that stores digital image data for each pixel of the captured images of the

cameras

13a and 13b, and an output image memory that stores digital image data for each pixel of the composite image (panoramic image). 8b (see FIG. 1), as shown in FIG. 7, an address is generated for an area corresponding to a predetermined pixel in the output image memory 8b (step 1 (described as S.1 in FIG. 7; the same applies hereinafter)). .
[0052]
The address is received by the composite pattern calculation / memory unit 9 as shown in FIG. 8 (step 2), converted into coordinates (x ′, y ′) on the virtual camera screen I (step 3), and the expression ( The corresponding coordinates (X ′, Y ′) on the cylindrical screen Sc are calculated by 7) and (8) (step 4).
[0053]
Subsequently, a corresponding camera is selected according to the calculated X ′ coordinate value or the like (step 5), and when the camera 13a is selected, equations (1) and (2) are selected as the camera 13b. In this case, the corresponding coordinates (x, y) on the live-action camera screen are obtained by using equations (1), (2), etc., in which θ is replaced with −θ (step 6).
[0054]
Then, the address of the area of the input image memory 8a corresponding to the coordinates (x, y) is obtained by calculation (step 7), and the combined pattern calculation / memory unit 9 outputs the address to the image combining unit 8 (step 7). 8).
[0055]
When the image composition unit 8 receives the address (step 9), the area of the address (address transmitted in step 1) where the image data stored in the area of the address of the input image memory 8a is transmitted to the destination of the output image memory 8b. (Step 10).
[0056]
By performing the processing from step 1 to step 10 for all the pixels of the composite image, the digital image data of all the pixels is determined and a panoramic image is generated. As described above, the output image is simply output from the input image memory 8a. Rather than moving the image data to the memory 8b and generating a panoramic image, the panoramic image may be generated by appropriately performing various operations such as processing of a portion where the captured images of the

cameras

13a and 13b overlap and brightness adjustment. .
[0057]
Further, as shown in FIG. 8, the processing in steps 4 to 6 may depend on the parameters d and f for the virtual camera, the parameter P for the virtual screen, and the parameters r, f, and θ for the live-action camera. By changing these parameters in real time according to the driving state of the vehicle 5 (switch information, sensor information), a panoramic image that matches the driver's feeling at that time is displayed. This will be described later. . However, in step 5, if the virtual screen is cylindrical and there are two live-action cameras as described above, the camera 13a is selected if X ′ obtained in step 4 satisfies X ′ ≧ 0, and X ′ If <0 is satisfied, the processing is simple if the camera 13b is selected.
[0058]
Next, a case where the virtual screen has another shape instead of a cylindrical shape will be described.
[0059]
9 to 11 show models for explaining a panoramic image generation method when the virtual screens have different shapes. In FIG. 9, reference numeral So denotes a part of a cylinder having an elliptical cross section. In the virtual screen (elliptical cylindrical screen), symbols a and b indicate the length of the major axis or minor axis of the ellipse, respectively. The other symbols are the same as those in FIG. Since the relational expression established for the elliptical cylindrical screen So is more complicated than that obtained for the cylindrical screen Sc, the coordinates (x ′) on the virtual camera screen I which are important in the flow of FIG. , Y ′) and the coordinates (X, Y, Z) on the elliptical cylindrical screen So, and the coordinates (X, Y, Z) on the elliptical cylindrical screen So and the coordinates on the live-action camera screen Ra ( Only the calculation procedure for deriving the relationship with x, y) will be clarified.
[0060]
If the coordinates (x ′, y ′) on the virtual camera screen I correspond to the point K (X, Y, Z) = (XK, YK, ZK) on the elliptical cylindrical screen So, XK, ZK It is obtained by solving simultaneous equations for X and Z.
[0061]
[Equation 9]

[0062]
[Expression 10]

[0063]
YK is obtained by substituting XK into the following equation.
[0064]
[Expression 11]

[0065]
Subsequently, when the coordinates on the live-action camera screen Ra corresponding to the point K are obtained in the XYZ space, the coordinates (XC, YC, ZC) are the position of the point K (XK, YK, ZK) and the position of the camera 13a (r XC and ZC are obtained by solving the following simultaneous equations with respect to X and Z, since they correspond to the coordinates of the intersection with the live-action camera screen Ra connecting the line connecting sin θ, 0, r cos θ).
[0066]
[Expression 12]

[0067]
[Formula 13]

[0068]
YC is obtained by substituting XC into the following equation.
[0069]
[Expression 14]

[0070]
The coordinates (x, y) on the live-action camera screen Ra corresponding to K are given by the following equation using the XC, YC, and ZC.
[0071]
[Expression 15]

[0072]
[Expression 16]

[0073]
By using the relationship obtained above in step 4 and step 6 in FIG. 8, image composition by the elliptical cylindrical screen So is realized, and the panoramic image is enlarged / reduced in the horizontal direction by the image composition by the elliptical cylindrical screen So. The rate can also be adjusted. At this time, the parameters of the virtual screen in FIG. 8 are a and b.
[0074]
On the other hand, in FIG. 10 and FIG. 11, symbol Sr indicates a virtual screen (rectangular screen) obtained by cutting a part of a cylinder having a rectangular cross section, and this rectangular parallelepiped screen Sr has an X axis as a normal line and an X axis. Screen S meeting at coordinate value -XD₁And the screen S that intersects the Z axis and the coordinate value ZD with the Z axis as the normal line₂And the screen S that intersects the X axis and the coordinate value XD with the X axis as the normal line_ThreeIt is made up of. Screen S₁, S₂, S_ThreeThe origin of the intersection with the X axis₁X₁Y₁Coordinate system, intersection point with Z axis is origin O₂X₂Y₂The point of intersection with the coordinate system and the X axis is the origin O_ThreeX_ThreeY_ThreeSet each coordinate system (Y₁, Y₂, Y_ThreeEach axis is parallel to the Y axis. Since these screens are difficult to handle at the same time, the coordinates on each screen are handled separately as (Xn, Yn) (n = 1, 2, 3).
[0075]
When the relationship between the coordinates (Xn, Yn) on the rectangular parallelepiped screen Sr and the coordinates (x, y) on the live-action camera screen Ra is obtained.
[0076]
[Expression 17]

[0077]
[Formula 18]

[0078]
[Equation 19]

[0079]
[Expression 20]

[0080]
[Expression 21]

[0081]
[Expression 22]

[0082]
Is established. Therefore, by using these relational expressions and their inverse functions, the coordinates (x, y) on the live-action camera screen Ra and the coordinates (Xn, Yn) on the rectangular screen Sr can be mutually converted. Further, when the relationship between the coordinates (Xn, Yn) on the rectangular screen Sr and the coordinates (x ′, y ′) on the virtual camera screen I is obtained.
[0083]
[Expression 23]

[0084]
[Expression 24]

[0085]
[Expression 25]

[0086]
[Equation 26]

[0087]
[Expression 27]

[0088]
[Expression 28]

[0089]
Therefore, by combining the above formulas, the coordinates (x, y) on the live-action camera screen Ra and the coordinates (x on the virtual camera screen I) are obtained via the coordinates (Xn, Yn) on the rectangular parallelepiped screen Sr. ', Y'). Then, an image panorama image surrounded by three sides as shown in FIG. 12 can be generated by image synthesis using the rectangular parallelepiped screen Sr based on the correspondence.
[0090]
[Image superimposition processing in the image superimposing apparatus]
The image data of the panoramic image generated by the image synthesis unit 8 and the synthesis pattern calculation / memory unit 9 is superimposed on the image data of the pattern in the image superimposing device 11 after passing through the D / A conversion unit 10. As an example, FIG. 13 shows an image when an auxiliary line is superimposed as a pattern on a panoramic image generated using the cylindrical screen Sc. In other words, an arc 16 conscious of the center of the cylinder and an auxiliary line 17 extending radially from the center toward the cylindrical screen Sc are drawn at the lower part of the screen of the monitor 6, and a stereoscopic panoramic image is displayed to the viewer. I am strongly aware of this. The auxiliary lines 17 are drawn at regular angular intervals from the central portion, so that the viewer can more easily grasp the direction feeling or azimuth angle of the panoramic image.
[0091]
FIG. 14 shows an image when an image of the vehicle is superimposed as a pattern on a panoramic image generated using the cylindrical screen Sc. That is, a vehicle image 18 is drawn at the lower center of the screen of the monitor 6 so that the viewer is strongly aware of the position or shooting direction of the shooting camera. In the case where a plurality of live-action cameras are attached to the rear part, side part, front part, etc. of the vehicle 5 and the captured images of those cameras are switched and displayed on the monitor 6, the image image 18 is adapted to the switching. The design is changed.
[0092]
The design of these patterns is determined in the superimposition pattern calculation / memory unit 12, and image data of the determined design is transmitted to the image superimposing device 11 to perform the above superimposition.
[0093]
[Change of image display method by switch operation, etc.]
FIG. 15 shows an example in which the switch device 19 is in the hands of the driver of the vehicle 5 and the image display method is changed by the operation of the switch device 19. For example, when the first switch from the left of the switch device 19 is selected, the composite pattern calculation / memory unit 9 calculates the superimposition pattern calculation of the display pattern stored in the memory that is first from the top in the figure. The memory unit 12 outputs the display pattern stored in the memory that is first in the figure to the image composition unit 8 and the image superimposing device 11, respectively. That is, a panoramic image is generated by the cylindrical screen Sc by the image synthesizing unit 8 and the synthetic pattern calculation / memory unit 9, and any image is superimposed on the panoramic image by the image superimposing device 11 and the superimposition pattern calculation / memory unit 12. After all, an image as shown in FIG. 5 is displayed on the monitor 6.
[0094]
Further, when the second switch from the left of the switch device 19 is selected, the composite pattern calculation / memory unit 9 selects the display pattern stored in the memory that is second from the top in the figure as a superposition pattern. The arithmetic / memory unit 12 outputs the second display pattern stored in the memory to the image composition unit 8 and the image superimposing device 11 respectively. That is, a panoramic image is generated by the rectangular parallelepiped screen Sr by the image synthesis unit 8 and the synthesis pattern calculation / memory unit 9, and the screen S by the image superimposing device 11 and the superposition pattern calculation / memory unit 12.₁, S₂And screen S₂, S_ThreeAn image showing the boundary is superimposed and an image as shown in FIG. 12 is displayed on the monitor 6.
[0095]
When the third switch from the left of the switch device 19 is selected, the composite pattern calculation / memory unit 9 selects the display pattern stored in the memory that is third from the top in the figure, The memory unit 12 outputs the third display pattern stored in the memory from the top in the figure to the image composition unit 8 and the image superimposing device 11, respectively. That is, a panoramic image by the cylindrical screen Sc is generated by the image synthesis unit 8 and the synthesis pattern calculation / memory unit 9, and the arc 16 and the auxiliary line 17 are superimposed by the image superimposing device 11 and the superposition pattern calculation / memory unit 12. The monitor 6 displays an image as shown in FIG.
[0096]
When the fourth switch from the left of the switch device 19 is selected, the composite pattern calculation / memory unit 9 selects the display pattern stored in the memory that is the fourth from the top in the figure as the superimposed pattern calculation / The memory unit 12 outputs the display pattern stored in the memory that is fourth from the top in the figure to the image composition unit 8 and the image superimposing device 11, respectively. That is, a panoramic image by the cylindrical screen Sc is generated by the image synthesis unit 8 and the synthesis pattern calculation / memory unit 9, and the arc 16, the auxiliary line 17, and the image image are generated by the image superimposing device 11 and the superposition pattern calculation / memory unit 12. 18 is superimposed, and an image as shown in FIG. 14 is displayed on the monitor 6.
[0097]
By the way, when patterning and switching the display method in this way, if it is not necessary to automatically adjust the image in real time, the composite pattern calculation / memory unit 9 and the superimposition pattern calculation / memory unit 12 have some display methods in advance. Is stored and mechanically output to the image synthesizing unit 8 and the image superimposing device 11, so that the synthesis pattern calculation / memory unit 9 and the superimposition pattern calculation / memory unit 12 do not perform arithmetic processing. The corner structure is simplified.
[0098]
FIG. 16 shows an example in which the image display method is changed according to the vehicle speed, which is one of the parameters indicating the running state of the vehicle 5. When it is desired to enlarge or reduce the image near the center of the monitor screen relative to the image at the periphery according to the vehicle speed, the distance d that defines the position of the virtual camera is made larger or smaller and is approximately proportional to it. In addition, the focal length f ′ may be increased or decreased.
[0099]
Specifically, when the vehicle speed is detected by the speed sensor 20, an appropriate distance d and focal length f ′ are determined in the synthesis pattern calculation / memory unit 9 according to the vehicle speed, and coordinates for image synthesis are based on the distance d. The conversion values (x, y, etc.) are calculated in real time, and image composition in the image composition unit 8 is performed. For example, when the vehicle speed is low as in parking, the driver often feels that he / she wants to look around widely, so the distance d and the focal length f ′ are increased so that the vicinity of the center of the panoramic image is relatively large. On the other hand, when the vehicle speed is above a certain level, such as when driving at high speed, the driver's field of view through the window is narrowed. Therefore, the distance d and the focal length are set so as to increase the vicinity of the center of the panoramic image to compensate for this. f ′ is increased (the display magnification at this time may of course be different from the display magnification when the vehicle speed is low). Further, the superimposition pattern calculation / memory unit 12 also calculates the shape of the auxiliary line 17 based on the distance d and the focal length f ′, and the image superimposition device 11 performs image superimposition.
[0100]
As described above, the display method of the auxiliary line 17 and the image image 18 is switched according to the switch operation in the vehicle 5 or the traveling state of the vehicle 5, so that a panoramic image suitable for the driver's sense at that time is displayed. This further improves the visibility of the panoramic image.
[0101]
The embodiment of the present invention is not limited to the above-described embodiment. For example, a virtual screen obtained by cutting a part of a cylinder having another cross-sectional shape may be used. The image display method may be changed based on the operation or the steering angle.
[0104]
【The invention's effect】
  Claim1, Claims2, Claims5Or claims6According to the invention, since the auxiliary line extending radially from the axial position toward the virtual screen is displayed on the monitor together with the panoramic image, the direction feeling of the panoramic image is emphasized, and the viewer can more easily feel the direction feeling. I can grasp it.
[0105]
  Claim3Or claims7According to the invention, since a plurality of cameras and monitors are mounted on the vehicle, and an image of the vehicle is displayed on the monitor together with the panoramic image, even if a large number of cameras are mounted on the vehicle. Can easily grasp the contents of the panoramic image, that is, which camera image is taken.
[0106]
  Claim4, Claims8Or claims9According to the invention, since the display method of the auxiliary line or the image image is switched according to the switch operation in the vehicle or the running state of the vehicle, the panorama image that matches the sense of the viewer at that time is displayed and the panorama image is displayed. Visibility is further improved.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a schematic configuration of a panoramic image display apparatus according to the present invention.
FIG. 2 is an explanatory view schematically showing the arrangement of a live-action camera in a vehicle.
FIG. 3 is a perspective view showing a model of image composition using a cylindrical screen.
4 is an explanatory diagram showing a panoramic image when a virtual camera is not used in the model of FIG. 3;
FIG. 5 is an explanatory diagram showing a panoramic image when a virtual camera is used in the model of FIG. 3;
6 is a plan view showing a model of image synthesis using the cylindrical screen of FIG. 3. FIG.
FIG. 7 is an explanatory diagram showing a flow of processing in an image composition unit.
FIG. 8 is an explanatory diagram showing a flow of processing in a composite pattern calculation / memory unit;
FIG. 9 is a plan view showing a model of image composition using an elliptical cylindrical screen.
FIG. 10 is a perspective view showing a model of image composition using a rectangular parallelepiped screen.
11 is a plan view showing a model of image composition using the rectangular parallelepiped screen of FIG.
12 is an explanatory diagram showing an example of a panoramic image obtained by the model of FIG.
13 is an explanatory diagram showing an example in which auxiliary lines are superimposed on a panoramic image obtained by the model of FIG. 3;
14 is an explanatory diagram showing an example in which an image of a vehicle is superimposed on a panoramic image obtained by the model of FIG.
FIG. 15 is an explanatory diagram showing a linkage between a switch device and a combined pattern calculation / memory unit and a superimposed pattern calculation / memory unit;
FIG. 16 is an explanatory diagram showing a linkage between a speed sensor, a combined pattern calculation / memory unit, and a superimposition pattern calculation / memory unit.
FIG. 17 is an explanatory diagram showing a panoramic image displayed by a conventional method.
[Explanation of symbols]
4 Panorama image display device
5 Vehicle
6 Monitor
7 A / D converter (A / D converter)
8 Image composition part
9 Composite pattern calculation / memory section
10 D / A converter (D / A converter)
11 Image superposition device
12 Superimposition pattern calculation / memory unit
13a, 13b camera
17 Auxiliary line
18 images
19 Switch device
20 Speed sensor
d Predetermined distance
L axis
Sc Cylindrical screen (virtual screen)
So Oval cylindrical screen (virtual screen)
Sr rectangular parallelepiped screen (virtual screen)

Claims

Images projected by a plurality of cameras are virtually projected from the axial position of the cylinder onto a concave virtual screen formed by cutting a part of a cylinder whose cross-sectional shape is circular, elliptical, or polygonal , and obtained when an image is projected onto the virtual screen taken by a virtual camera placed in a position spaced a predetermined distance from said axis position, near the center of the composite image is contracted in the vertical direction, that displays on the monitor as a panoramic image in the panorama image display method,
A panoramic image display method, wherein auxiliary lines extending radially from the axis position toward the virtual screen are displayed on the monitor together with the panoramic image.

The panoramic image display method according to claim 1 ,
A panoramic image display method, wherein the plurality of cameras and the monitor are mounted on a vehicle.

The panoramic image display method according to claim 1 ,
A panoramic image display method, wherein the plurality of cameras and the monitor are mounted on a vehicle, and an image of the vehicle is displayed on the monitor together with the panoramic image.

In the panoramic image display method according to claim 2 or 3 ,
A method of displaying a panoramic image, wherein the display method of the auxiliary line or the image image is switched according to a switch operation in the vehicle or a traveling state of the vehicle.

The images photographed by a plurality of cameras are virtually projected from the axial position of the cylinder onto a concave virtual screen obtained by cutting a part of a cylinder whose cross-sectional shape is circular, elliptical or polygonal, and A panorama that displays on the monitor as a panoramic image a composite image obtained by shooting the image projected on the virtual screen with a virtual camera installed at a predetermined distance from the axis position, the center of which is shrunk vertically. An image display device,
A / D conversion means connected to the plurality of cameras and for converting analog image data of video captured by the plurality of cameras into digital image data;
The digital image data of the video captured by the plurality of cameras is converted into the digital image of the composite image based on the correspondence between the video captured by the plurality of cameras and the composite image connected to the A / D conversion means. Image composition means for converting to image data;
A panoramic image display device connected to the image synthesizing unit and the monitor, and having a D / A conversion unit which converts the digital image data of the synthesized image into analog image data and outputs the analog image data to the monitor;
An auxiliary line superimposing unit is provided between the image synthesizing unit and the D / A converting unit or between the D / A converting unit and the monitor. an auxiliary line extending radially toward the screen to be displayed on the monitor together with the panoramic image, the panoramic image display apparatus characterized by Ru is superimposed image data for said auxiliary line image data of the panoramic image.

The panoramic image display device according to claim 5 ,
A panoramic image display device mounted on a vehicle together with the plurality of cameras and the monitor.

The panoramic image display device according to claim 5 ,
It is mounted on a vehicle together with the plurality of cameras and the monitor, and an image image superimposing unit is provided between the image synthesizing unit and the D / A conversion unit or between the D / A conversion unit and the monitor. The image image superimposing means superimposes the image data of the image image on the image data of the panorama image so that the image image of the vehicle is displayed on the monitor together with the panorama image. Display device.

The panoramic image display device according to claim 6 ,
The panoramic image display device, wherein the auxiliary line superimposing means switches a display method of the auxiliary line according to a switch operation in the vehicle or a traveling state of the vehicle.

The panoramic image display device according to claim 7 ,
The panoramic image display device, wherein the image image superimposing means switches a display method of the image image according to a switch operation in the vehicle or a running state of the vehicle.