JP4980617B2 - 二次元図面と映像の合成表示装置 - Google Patents
二次元図面と映像の合成表示装置 Download PDFInfo
- Publication number
- JP4980617B2 JP4980617B2 JP2005368695A JP2005368695A JP4980617B2 JP 4980617 B2 JP4980617 B2 JP 4980617B2 JP 2005368695 A JP2005368695 A JP 2005368695A JP 2005368695 A JP2005368695 A JP 2005368695A JP 4980617 B2 JP4980617 B2 JP 4980617B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- map
- camera
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000203 mixture Substances 0.000 title claims description 28
- 239000002131 composite material Substances 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000010354 integration Effects 0.000 claims description 15
- 230000007547 defect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract 2
- 239000013598 vector Substances 0.000 description 80
- 238000004364 calculation method Methods 0.000 description 70
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010047555 Visual field defect Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
Description
ところが、従来のカーナビゲーション装置においては、グラフィクスデータからなる地図を画像表示のベースとしているため、その地図上に表示されるマーカによって自車位置を認識することはできるものの、実際の風景についてはその地図データに予め記述されているものしか表示されない。このため、例えば見過ごしやすい交差点などの周囲の状況を通過前の早い時期に的確に把握することは困難であった。また、通常地図データには交差点名、店などのデータは特定の物しか入っておらず、利用者にとって必ずしも使いやすいものではなかった。
このようなナビゲーション装置によれば、従来からのカーナビゲーション装置にDVDビデオフォーマットのビデオデータを扱う機能を設け、撮影した風景映像を自車の位置などに対応させて表示できるようにしたことにより、実際の周囲の状況を通過前の早い時期にリアルな映像で利用者に提示できるようになり、利用者にとってより使いやすい画像を提供することが可能となった。
しかしながら、二次元の地図と遠近法で表示される三次元映像とを同一の画面上に分割して表示するだけでは、対応する位置や建物,方位等について両者の関係を直ちに理解することは困難であった。
また、同時表示される映像の視点方向と地図の方位、その位置関係の関連性の表現も十分ではなかったため、映像と地図の相互関係を明確に理解するにはいまだ問題があった。
さらに、同一画面上に地図と映像を同時に表示すると、単独表示では十分の大きさであった画像が、同時に表示されることでそれぞれが小さなものとなってしまい、映像,地図ともに十分な解像度で表示することが困難となるという問題も生じた。
これにより、映像と地図とを、両者の関係が直感的に理解できる滑らかな合成画像として同一画面に表示することができ、また、地図と映像それぞれを十分な大きさと解像度をもって表示させることができる。
本発明において、二次元地図をはめ込む三次元映像としては、車輌等の全周囲を示す全周囲映像を用いることが好ましい。ところが、全周囲映像を表示した場合には、カメラの原理から、視界の一部にカメラ自身が写り込んでしまうことが避けられず、カメラ部分が抜けた不完全な全周映像となる。
そこで、本発明では、カメラ部分又は映像の抜けた部分に、二次元画像をはめ込むことで、穴の無い完全な全周映像を生成・表示することができる。
ここで、以下に示す本発明の二次元図面と映像の合成表示装置は、プログラム(ソフトウェア)の命令によりコンピュータで実行される処理,手段,機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの特徴点の自動抽出,抽出した特徴点の自動追跡,特徴点の三次元座標の算出,カメラベクトルの演算,オルソ面変換,映像と二次元図面の合成等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク,光ディスク,半導体メモリ,その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
まず、本発明に係る二次元図面と映像の合成表示装置の基本概念について説明する。
本発明の二次元図面と映像の合成表示装置(図1〜2参照)は、カーナビ装置や歩行者ナビ装置等に備えられ表示装置であって、表示画像(図7〜11参照)として地図と映像を同一画面にオルソ面、又は指定の平面を一致させ、方位も一致させて表示するための装置である。
映像と二次元図面としての地図とを同一画面に表示するには、単に両者を並べるだけでは、直感的に理解しやすい単一の画像とはならない。すなわち、映像と地図を滑らかな単一画像とするためには、地図と映像で表示している場所及び視点方向を、三次元的に合致させて表現する必要がある。
また、地図と映像は、それぞれが十分な大きさと解像度をもって表示されなければ、ナビゲーション用の地図や映像として機能させることができない。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので(図5参照)、これを平面展開表示することで、通常の遠近法映像に変換表示できるからである。
なお、地図と合成する映像として、三次元CGから生成した二次元の平面画像(3DCGを画面に表示するときには既に二次元の平面画像となっている)を使用することもでき、二次元の地図を合成表示する場合にも、全周映像の場合と同様にして同一画面での合成表示が可能である。
また、映像と合成する二次元図面として、CG化された地図でも合成表示が可能である。カーナビゲーション装置ではデジタル地図が用いられるが、デジタル地図は二次元図面であり、そしてCG地図であり、合成表示が可能である。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
一方、映像と合成する地図としては、例えば、既存のカーナビゲーション装置に備えられる二次元の地図が相当する。
そして、このような全周映像から生成される遠近法映像のオルソ面に二次元地図を埋め込む形で合成する(図7〜11参照)。地図は二次元CGとして扱えば、CGと映像の合成として合成処理が行える。
そして、このオルソ面は、後述するように、例えばCV(カメラベクトル)値を用いて、全周映像から「オルソ面に平行な道路近傍平面」を直接求めることができる。
なお、道路面は必ずしも水平ではないから、道路面と「オルソ面に平行な道路近傍平面」とは常には一致しないが、道路面で代用することは十分可能であり、道路面を正確に指定するか、又はオルソ面と道路面を同一視しても近似的には十分である。
このオルソ面と道路面,オルソ面に平行な道路近傍平面,地図面との関係を図6に示す。
また、特殊な場合として、動画のあるフレームの道路面映像から、異なるフレームの道路面映像を生成して、欠けている映像部分にはめ込むことができるが(本発明の第二実施形態)、この場合には、オルソ面ではなく、ある道路平面を同一の道路平面に変換することになり、オルソ面を意識せずに、道路面を主体と考えればよい。
次に、本発明に係る二次元図面と映像の合成表示装置の第一実施形態について、図面を参照しつつ具体的に説明する。
図1は、本発明の第一実施形態に係る二次元図面と映像の合成表示装置の基本構成を示すブロック図である。また、図2は、図1に示す二次元図面と映像の合成表示装置の詳細を示すブロック図である。
これらの図に示す本実施形態の二次元図面と映像の合成表示装置1は、映像と地図(画像を含む)を合成する装置であって、具体的には、空間情報取得部10と、データ生成部20と、合成映像表示部30を備えている。
なお、空間情報取得部10には、その位置座標を取得する目的で、位置計測機器部12を備えることができる(図2参照)。位置計測器基部12としては、本出願人が先に提案しているCV演算(特願2004−291353号公報参照)による方法や、絶対座標を取得するGPS機器単独やIMU機器を付加したもの等により構成することができる。
なお、図3,図4に示す例では、移動体2に搭載される全周ビデオカメラ機器部11として、走行する移動体2の周辺の広範囲映像を撮影可能な全周カメラ11aを備えている。広範囲映像を撮影,取得するカメラとしては、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、360度周囲に回転可能なカメラ等があり、車輌に複数のカメラが一体的に固定され、移動体2の移動に伴って広範囲映像を撮影する全周カメラ11aを使用することができる。
ここで、全周カメラは、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。また、画角が制限された通常のカメラの場合でも、CV演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
図5(a)は球面画像が貼り付けられる仮想球面の外観イメージであり、同図(b)は仮想球面に貼り付けられた球面画像の一例である。また、同図(c)は、(b)の球面画像をメルカトール図法に従って平面展開した画像例を示す。
さらに、データ生成部20は、映像と合成される二次元地図を格納した二次元地図部22を備えるとともに、座標統合部23,方位統合部24,映像オルソ変換部25,はめ込み部26の各部を備えている。
全周ビデオ映像記録部21は、空間情報取得部10の全周ビデオカメラ機器部11によって得られた全周ビデオ映像と位置計測機器部12による位置座標を任意の記録媒体に記録する記録手段である。
二次元地図部22は、地図上に記載された各地点の二次元座標が既知として与えられた地図を格納している。
なお、後述する第二実施形態で示すように、穴の無い完全全周映像を生成する場合には、二次元地図部22の地図を他フレーム映像から切り取った路面画像とすればよい(図22〜図24参照)。
方位統合部24は、座標統合後に方位を合致させて統合する。
映像オルソ変換部25は、全周ビデオ映像から得られた画像をオルソ面に平面展開して、地図の方位と合致させる。
ここで、「オルソ面」とは、地上の三次元形状を海抜0メートル面に投影した二次元の面をいい、それはまさに地図面そのものである。
また、一般に道路には多少の傾斜があるので、道路面そのものがオルソ面に平行でない場合もあるが、ナビゲーション装置で表示される映像は、測量等で要求される程の精度は必要ないので、近似的には道路面を地図面として扱ってもよい。
映像のオルソ面を検出するには、全周映像を鉛直真下方向に平面変換して、地図と合成することで得られる。ここで映像の真下映像を検出する必要があるが、一般には真下は道路に垂直な方向で近似できるが、正確に真下を検出するには、全周映像に後述するCV演算処理を施し、カメラの3軸回転姿勢を検出し、その後に鉛直真下への平面変換を行うと精度が高く有利である。
オルソ面と道路面,オルソ面に平行な道路近傍平面,地図面との関係を図6に示す。
また、全周映像は方位と仰角を持っているが地図は方位のみを持っている。
そこで、それぞれの方位を等しくして表示することで、直感的に理解しやすい映像と地図との合成ができることになる。
換言すれば、地図は仰角がないが、地図の仰角を付加して映像の仰角と合致させることで、直感的に理解しやすい映像と地図の合成ができるものである。
なお、この段階では、映像と地図は位置関係が決定されただけであり、未だ映像と地図との二種類のデータである。
ここでは、路面の地図平面と、データ生成部20で得られた映像の「オルソ面に平行な道路近傍平面」とを合致させ、それぞれの方位をも合致させて合成表示する。この場合、ナビゲーションという目的から、映像の道路部分に地図を貼り付けることで、視覚的に有効な合成画像を生成・表示することができる。
また、ナビゲーションに用いる目的に応じて、当然の事ながら現地点よりも多少先の地点や、途中通過地点、目的地点等の映像を合成表示することも可能である。
図7は、合成画像の標準位置を示す図であり、三次元映像は移動体等の進行方向に対して正面向いて、所謂「あおり」のない位置となっている。
そして、このとき地図は、遠近法で表示されスケールの直線性は無いが、俯瞰図となり、図7に示すように、直感的に遠近が理解できる映像となる。この標準位置では映像と地図がどちらも適切に観察できる。
本実施形態では、三次元映像で「あおり」がつかないものを標準位置とし、「あおり」がついたものを標準位置からのバリエーションとして説明する。
地図を優先的に観察したい場合は、例えば回転ボール操作により画像を下側に回転させると、画像は更に下向きの映像になり、図9に示すように、地図がそのままリニアスケールで表示される場所まで回転することができる。
また、ポインティング・デバイスの入力操作で画像を横向きに回転させることで、図10に示すように、横向きの映像と地図との合成画像が得られる。
この時、映像と地図の方位は合致しているので、見やすい合成画像となる。
映像に合成される地図は、従来のナビゲーション地図と現地点を示す印そのものであり、本実施形態における映像と地図の合成は、全周映像と従来ナビゲーション地図の合成ということになる。なお、地図縮尺は映像に関係なく設定でき、関係づけることもできる。
一般に、全周映像には、どうしても死角による映像の抜けが生じるが、地図をこの抜けに合わせて合成することで、抜けを隠す目的も果たすことができる。
すなわち、記録・撮影された映像中の他の車輌の映像はナビゲーションには必要ないものであり、また、近くの車輌のナンバープレートも地図で隠されることになり、結果的に肖像権等の問題も生じない。
なお、道路面の大半が隠されることになり、車線等の道路表示も同時に隠されることになるが、ナビゲーションに道路表示が必要な場合は、ディスプレイ上の道路映像面以外の表示面に表示するか、3DCG化した道路表示を映像に重ねて表示することができる。また、合成した地図を拡大表示して、地図側の道路面に道路表示を表示することがより適切である。
ナビゲーションにおいて必要な情報は、道路面映像ではなく、場所の特定に大きく係わる周囲のビル・建物等の背景映像であるから、路面が地図で隠されることは却って好都合となる。
このようにして、本実施形態の二次元図面と映像の合成表示装置1によれば、映像と地図とのオルソ面一致合成法によって、多くの相乗効果が期待できる。
図11にメルカトール図法により展開された画像に二次元地図を合成した場合の画像例を示す。
ここで、上述のように、地図平面と映像の「オルソ面に平行な道路近傍平面」とは同一とし、方位も合致させるとしたが、高縮尺での方位は常に進行方向を示すのが適切な場合には、操作機器の入力に応じて、映像のみ方位が変更され、地図はそのままの方位を示すことも可能である。
但し、図11における映像部分と地図部分の比率は、地図と映像の情報の比率でもあるが、記録する場合を除いて、地図をメルカトールに展開する必然性はない。
なお、以上説明したような本実施形態に係る映像と地図の合成表示は、カーナビや歩行者ナビ,携帯ナビ,PC上でのナビ等に好適に利用できるが、これらの用途に限定されるものではなく、地図と映像を同時に映し出す様々なディスプレイ上で、利用可能であることは当然のことである。
次に、以上のような二次元図面と映像の合成表示装置1における地図と映像の合成処理において、高い精度でオルソ面を生成する場合に用いられるCV演算の詳細について図12〜図21を参照しつつ説明する。
ここで、CV演算とはCV値を求めることを意味し、求められた結果をCV値,CVデータと呼ぶ。CVという表記は、カメラベクトル:Camera Vectorの略記であり、カメラベクトルとは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と3軸回転姿勢を示す値である。
CV演算は、動画像(ビデオ映像)を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの3軸回転姿勢を求めるものである。
また、動画像から演算で求められるCV値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してCV値が求められる特性は、CV演算でしか実現し得ない、優れた特徴である。
例えば、他の方法による計測手段(GPSやIMU等)では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。
また、CVデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したCV値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその3軸回転姿勢を求めることができるCV演算は画像内計測や画像内測量に好適となる。
そして、本実施形態の二次元図面と映像の合成表示装置1では、このCV値データに基づいて三次元映像と二次元地図の合成表示処理を行うものである。
CVデータ演算部23は、図12に示すように、特徴点抽出部23aと、特徴点対応処理部23bと、カメラベクトル演算部23cと、誤差最小化部23dと、三次元情報追跡部23eと、高精度カメラベクトル演算部23fを備えている。
特徴点対応処理部23bは、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
高精度カメラベクトル演算部23fは、三次元情報追跡部23eで得られた追跡データに基づいて、カメラベクトル演算部23cで得られるカメラベクトルより、さらに高精度なカメラベクトルを生成,出力する。
そして、以上のようにして得られたカメラベクトルから精度の高い鉛直方向および方位が求められ、上述したデータ生成部20の位統合部24に入力され、オルソ変換を含む映像と地図の合成処理に利用されることになる。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
一般に、静止した三次元物体は、位置座標(X,Y,Z)と、それぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標(X,Y,Z)とそれぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
まず、上述した空間情報取得部10の全周ビデオカメラ機器部11で取得された画像データは、ビデオ映像記録部21を経て(又は直接)、CVデータ演算部23の特徴点抽出部23aに入力され、特徴点抽出部23aで、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部23bで、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図13〜図15に示す。図中「+」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される(図15に示す対応点1〜4参照)。
ここで、特徴点の抽出は、図16に示すように、各画像中に充分に多くの特徴点を指定,抽出することが望ましく(図16の○印参照)、例えば、100点程度の特徴点を抽出する。
本実施形態では、例えば、360度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動(カメラ位置とカメラ回転)を計算するようになっている。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてt及びRを計算することができる。この演算を対応する複数フレームに適用し演算する。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図15に示す360度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、CV演算に360度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図15は、CVデータ演算部23における処理を理解し易くするために、1台又は複数台のカメラで撮影した画像を合成した360度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のCV演算では、必ずしもメルカトール図法による展開画像である必要はない。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
図17では、図15の画像1,2に示した特徴点1〜4の三次元座標と、画像1と画像2の間で移動するカメラベクトル(X,Y,Z)が示されている。
図18及び図19は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
具体的には、CVデータ演算部23は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、nとmを適切に設定した単位演算を繰り返す。
mはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどmが大きくなるように設定し、カメラから特徴点までの距離が近いほどmが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
このようにして、フレーム画像FnとFn+mに着目した単位演算を行うことにより、m枚毎にサンプリングした各フレーム間(フレーム間は駒落ちしている)では、長時間かけて精密カメラベクトルを演算し、フレーム画像FnとFn+mの間のm枚のフレーム(最小単位フレーム)では、短時間処理で行える簡易演算とすることができる。
このようにして、画像の進行とともにnが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
具体的には、まず、三次元情報追跡部23eで、カメラベクトル演算部23c,誤差最小化部23dを経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報(三次元形状)に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部23eで得られた三次元情報の追跡結果から、高精度カメラベクトル演算部においてより高精度なカメラベクトルが求められる。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報(三次元形状)を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部23cにより概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
例えば、図21に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。CVデータは、その三次元位置と3軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでCV値を同時に観察できる。CVデータをビデオ映像に重ねた表示した画像例を図21に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、CV値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのCV値が重なって表示されてしまうので、例えば図21に示すように、敢えてカメラ位置から真下に1メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにCV値を表示するのがより適切である。
次に、本発明の第二実施形態として、本発明に係る二次元図面と映像の合成表示装置において、抜けのない完全な全周映像を生成する完全全周映像生成装置について、図22〜図24を参照して説明する。
これらの図に示す本実施形態の二次元図面と映像の合成表示装置(完全全周映像生成装置)では、映像に合成すべき二次元図面を、映像の他フレームから切り取った画像(例えば路面画像)とし、全周映像におけるカメラ部分の抜けに他フレームからの画像をはめ込むことで、抜けのない完全全周映像を生成するようにしたものである。
カーナビゲーションシステムとしての利用を考えた場合、表示すべき映像としては、(1)従来技術の地図のみの表示、(2)上述した本発明の第一実施形態に係る全周映像の展開映像と地図のオルソ面合成の表示に加えて、(3)カメラ部分の抜けのない完全全周映像の表示が考えられる。
このとき、仮に抜けのない完全全周囲を撮影するカメラが存在したとしても、上記のカメラの死角部分に写るのは、カメラの一部と車輌部分であり、ナビゲーション映像としてはその部分は意味のない映像となる。
そこで、本実施形態では、上述した(3)の抜けのない完全全周映像を生成・表示するために、上記のような死角部分を利用して、車輌やカメラの映り込みではなく、ナビゲーションとして意味のある、抜けている路面そのものが映り込むような映像を生成し、さらに、全仰角全方位に対して抜けのない完全全周映像を生成するようにしたものである。
すなわち、路面映像のはめ込みによる完全な全周映像の生成は、第一実施形態で示した映像への二次元地図合成の特殊な場合と捉えることができ、車輌等に積載して移動しながら撮影した全周映像から、その一部を切り取って加工し、フレームをずらせた映像と位置あわせをし、全周映像のカメラ部分及び抜けた部分に位置合わせ、平面合わせをしてはめ込むことにより、完全な全周映像とすることが可能となる。
また、完全に全周囲を映し出すカメラが存在したとしても、カメラ及び周囲の機器、及び積載する車輌が映り込んで、目的の全周映像を取得することはできない。
このため、本実施形態では、完全な全周囲映像が取得できていない不完全な全周映像を元画像とし、第一実施形態で示したはめ込み画像となる二次元図面を、全周映像の欠損部分に相当する映像とする。そして、欠損部分の映像を他フレーム映像から取得して、第一実施形態における二次元地図と同様に処理することで、欠損部分を無くした完全全周映像を生成することができる。
なお、本実施形態では、欠損部分を道路面映像として説明するが、道路面以外であっても同様に完全全周映像として生成することができることは言うまでもない。
図22において、空間情報取得部11と合成表示部30については、上述した第一実施形態の合成表示装置と同様である(図2参照)。
データ生成部20は、第一実施形態の構成に加えて、他フレーム路面切り取り部27を備えるとともに、映像オルソ変換部25に代えて映像路面変換部28を備えている。
ここで、合成平面は、全周映像の欠損部分の道路面に合致する平面とする。
また、第一実施形態における指示地点は、他のフレーム映像から生成した現地映像(欠損部分の映像)を全周映像の平面と方位と座標とを自動的に合致させることで対応させるようにする。
全周映像を取得した地点の欠損部分の面、方位、座標を他のフレーム映像から生成した欠損部分に対応する映像は、全周囲映像上の現地点の道路面、方向、座標と一致させて、それぞれを同一ビュア内に円滑に結合して合成して表示する。
これにより、それぞれを面と方向と座標との関係を保ったまま合成された欠損のない全周映像の視点方向を自由に変更表示することができる。
但し、映像オルソ変換部25により、そのままオルソ面に投影しても、やや正確さに欠け多少のずれが生じることになるが、それなりの映像は取得できる。従って、本実施形態においても、第一実施形態と同様に、映像オルソ変換部25を備えるようにしてもよい。
なお、本実施形態における他フレームの路面画像の合成処理は、第一実施形態で示した二次元地図の場合とまったく同様に行えるので説明は割愛し、第一実施形態と異なる他フレーム路面切り取り部27における路面切り取り処理について図23,図24を参照して説明する。
上述したように、路面を走行して得られた全周映像を鉛直下方向に転回して得られた映像は、図23で示すような映像101になる。
この映像101中、死角部分は102の部分となる。また、鉛直下方も撮影できるカメラを用いたとしても、103(106)に示すように、車輌全体が写り混むことになり、いずれの場合にも道路面の一部が欠けた映像となる。
従って、この映像101においては、映像抜けの部分102と写り込んだ車輌の一部106が欠けた部分(無効部分)となり、これら102,106を除いた部分が有効部分となるが、本実施形態では、無効部分102,106を含む更に一回り大きな調整領域107を、他フレームからの切り取り映像のはめ込み領域としている。
そこで、時間経緯と無効部分、及びその部分の切り取り及びはめ込みについて、一般化した任意の映像フレームNを例にとって、図24を参照しつつ説明する。
図24(a)〜(c)は、任意の映像フレームNの切り取り部分を、映像フレームMの無効部分にはめ込む場合の処理を模式的に示した説明図であり、図24(d)〜(f)は、その実際の画像例である。
図24(a)に示す映像200aの時点では、カメラは201の位置に有るが、車輌の進行とともにカメラは移動し、同図(b)に示す映像200bの時点では202の位置に移動している。
従って、200aと200bの映像は、Mフレーム分のズレがある。
そこで、フレームN+Mの映像200bにおいて、死角を含む調整領域220に対応する部分として、フレームNの映像200a中の対応領域210を映像200aから切り取る。
このとき、映像200aと映像200bの路面は同一平面であることが望ましく、そのためには、映像は揺れ止めされていることが望ましい。映像の揺れ止め方法としては、例えば、それぞれの映像路面の三次元位置及び姿勢の関係を計測して既知としておくことができる。この場合、絶対座標校正である必要はなく、相対的に関係が求められていればよい。
そして、これをすべてのフレームについて作業することにより、抜けのない完全全周映像が得られる。
図24(d)〜(f)に、図24(a)〜(c)にそれぞれ対応した実際の映像例を示す。
なお、図23及び図24で示した車輌の一部の写り込みは、カメラの高さの調整で写り込まないようにすることも可能であるが、その場合でも、映像には同じ大きさの抜けが生じるため、本実施形態に係る他フレーム映像のはめ込み処理は有効である。
すなわち、一般の映像の任意の一部を、他の重複する映像から切り取ってはめ込むことも、上述した道路面の場合と同様に行える。
例えば、ビルが新しく建て替えられた場合、旧映像のビル面を切り取り、対応する新映像の新しいビル面映像を切り取って、旧映像にはめ込むことも、路面のはめ込みとまったく同じと考えることができる。この場合は、路面又はオルソ面に対応する面としては、ビル面に一致する平面を指定すればよい。
また、最終の合成映像が完全な全周映像でなく、通常の映像の欠損部分を他のフレーム画像で埋めることも同様に行える。
なお、全周ビデオ映像を取得するカメラは、車輌に積載しない場合でも、カメラを移動させることで同様の効果を得ることができる。また、カメラを積載しているのが、車輌ではなく、航空機や船舶等であっても同様であることは言うまでもない。
例えば、上述した実施形態においては、本発明の二次元図面と映像の合成表示装置の適用対象として、カーナビゲーション装置や歩行者ナビげーション装置,PC等を想定して説明したが、本発明に係る地図と映像の合成表示は、どのような装置やディスプレイにも応用できるものであり、その用途・使用方法等も特に限定されるものでないことは言うまでもない。
また、合成表示として、ビュア面を分割して表示したり、重複合成して表示できることは言うまでもない。
10 空間情報取得部
11 全周ビデオカメラ機器部
20 データ生成部
21 全周ビデオ映像記録部
22 二次元地図部
23 座標統合部(CVデータ演算部)
24 方位統合部
25 映像オルソ変換部
26 はめ込み部
30 合成映像表示部
31 合成表示部
Claims (3)
- 映像と二次元図面とを同一画面に合成表示する合成表示装置であって、
表示される映像を記録するとともに、記録された映像の位置座標を位置データとして記録する映像記録部と、
前記映像に合成される二次元図面として、地図上に記載された各地点の二次元座標が与えられた地図を格納する二次元地図部と、
前記映像記録部に記録された映像と、前記二次元地図部に格納された地図の座標統合を行う座標統合部と、
前記座標統合された映像と地図の方位とを合致させて統合する方位統合部と、
前記統合された映像及び地図のデータを合成して、同一の合体した画像として表示する合成表示部と、
を備えることを特徴とする二次元図面と映像の合成表示装置。 - 前記映像が、予め記録された動画映像又は連続静止画像で、場所を特定する広角背景映像からなり、
前記二次元図面が、前記映像を取得したカメラ位置を示す現地点を含み、当該現地点と進行方向を示す表示を含む地図からなり、
前記合成平面が、前記映像から求められるオルソ面に平行な道路面近傍の平面からなり、
前記映像から得られた画像をオルソ面に平面展開して、前記地図の方位と合致させる映像オルソ変換部と、
前記オルソ変換された映像の所定の位置に地図をはめ込むはめ込み部と、を備え、
前記合成表示部が、前記オルソ面と前記地図面とを合致させた合成画像を表示する
ことを特徴とする請求項1記載の二次元図面と映像の合成表示装置。 - 前記映像が、道路上を走行する車輌に積載されたカメラによって撮影される全周映像であって、道路面を含む視野の一部に欠損がある不完全な全周映像からなり、
前記二次元図面が、前記全周映像の欠損部分に相当する他フレーム映像による道路面の路面映像を含み、
前記合成平面が、前記全周映像の欠損部分の道路面に合致する平面からなり、
前記全周映像から、前記他フレームの路面映像を切り取る他フレーム路面切り取り部と、
切り取られた前記他フレームの路面映像を、前記映像と合成する地図データとして、前記全周映像と合成する路面映像に変換する映像路面変換部と、を備え、
前記合成表示部が、前記全周映像の欠損部分に対応する前記他フレームの路面映像を前記全周映像の道路面に一致させた合成映像を表示する
ことを特徴とする請求項1記載の二次元図面と映像の合成表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005368695A JP4980617B2 (ja) | 2005-08-26 | 2005-12-21 | 二次元図面と映像の合成表示装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005245345 | 2005-08-26 | ||
JP2005245345 | 2005-08-26 | ||
JP2005368695A JP4980617B2 (ja) | 2005-08-26 | 2005-12-21 | 二次元図面と映像の合成表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007089111A JP2007089111A (ja) | 2007-04-05 |
JP4980617B2 true JP4980617B2 (ja) | 2012-07-18 |
Family
ID=37975603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005368695A Active JP4980617B2 (ja) | 2005-08-26 | 2005-12-21 | 二次元図面と映像の合成表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4980617B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4874280B2 (ja) * | 2008-03-19 | 2012-02-15 | 三洋電機株式会社 | 画像処理装置及び方法、運転支援システム、車両 |
US8611647B2 (en) | 2008-08-11 | 2013-12-17 | M. Soft Co., Ltd. | Method for generating background image and system for generating background image |
JP2011086111A (ja) * | 2009-10-15 | 2011-04-28 | Mitsubishi Electric Corp | 撮像装置校正方法及び画像合成装置 |
JP5665608B2 (ja) * | 2011-03-04 | 2015-02-04 | 三菱電機株式会社 | 画像表示装置 |
KR101272257B1 (ko) * | 2011-08-30 | 2013-06-19 | 에스엘 주식회사 | 차량의 주변 영상 보정 장치 및 방법 |
KR101278654B1 (ko) * | 2011-08-31 | 2013-06-25 | 에스엘 주식회사 | 차량의 주변 영상 디스플레이 장치 및 방법 |
WO2016163342A1 (ja) * | 2015-04-06 | 2016-10-13 | 株式会社リコー | 情報処理装置、情報処理方法、および情報処理プログラム |
JP6351663B2 (ja) * | 2016-06-23 | 2018-07-04 | 株式会社つくばマルチメディア | 全天球映像撮影装置、全天球映像撮影システム、全天球映像撮影プログラム、それを記録した記録媒体、及び全天球映像撮影方法 |
CN109741245B (zh) * | 2018-12-28 | 2023-03-17 | 杭州睿琪软件有限公司 | 平面信息的插入方法及装置 |
CN111385603B (zh) * | 2020-03-27 | 2022-06-28 | 宜宾中星技术智能系统有限公司 | 用于嵌入视频到二维地图的方法 |
CN114449336B (zh) * | 2022-01-20 | 2023-11-21 | 杭州海康威视数字技术股份有限公司 | 一种车辆轨迹动画播放方法、装置及设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09120255A (ja) * | 1995-10-24 | 1997-05-06 | Toshio Yamazaki | 景観画像の表示方法 |
JP3718579B2 (ja) * | 1996-11-19 | 2005-11-24 | 住友電気工業株式会社 | 映像監視システム |
US6515597B1 (en) * | 2000-01-31 | 2003-02-04 | Matsushita Electric Industrial Co. Ltd. | Vicinity display for car |
JP4272966B2 (ja) * | 2003-10-14 | 2009-06-03 | 和郎 岩根 | 3dcg合成装置 |
-
2005
- 2005-12-21 JP JP2005368695A patent/JP4980617B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007089111A (ja) | 2007-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4980617B2 (ja) | 二次元図面と映像の合成表示装置 | |
US11054258B2 (en) | Surveying system | |
JP6775776B2 (ja) | 自由視点移動表示装置 | |
JP4767578B2 (ja) | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 | |
JP4511147B2 (ja) | 三次元形状生成装置 | |
US8963943B2 (en) | Three-dimensional urban modeling apparatus and method | |
JP4273119B2 (ja) | ナビゲーション装置 | |
US9171225B2 (en) | Device, method, and recording medium for detecting and removing mistracked points in visual odometry systems | |
US7750926B2 (en) | Method and apparatus for producing composite images which contain virtual objects | |
JP6821154B2 (ja) | 基準映像地図を用いた自己位置姿勢標定装置 | |
WO2010052558A2 (en) | System and method for the precise integration of virtual objects to interactive panoramic walk-through applications | |
JP2006503379A (ja) | 拡張仮想環境 | |
JP2012118666A (ja) | 三次元地図自動生成装置 | |
US20110249095A1 (en) | Image composition apparatus and method thereof | |
JP2007218705A (ja) | 白線モデル計測システム、計測台車および白線モデル計測装置 | |
JP4272966B2 (ja) | 3dcg合成装置 | |
JP4545093B2 (ja) | 3d自動測量装置 | |
JP4773794B2 (ja) | 新旧映像座標統合装置 | |
JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
JP6723533B2 (ja) | ドライビングシミュレーター | |
JP5669438B2 (ja) | 対象管理画像生成装置及び対象管理画像生成プログラム | |
JP2000074669A (ja) | 三次元地図データベースの作成方法及び装置 | |
JP2011090047A (ja) | 移動軌跡図作成装置およびコンピュータプログラム | |
KR20200122967A (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
Tianen et al. | A method of generating panoramic street strip image map with mobile mapping system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081112 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090616 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090824 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4980617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |