JP4273074B2 - 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 - Google Patents

Description

技術分野
本発明は、通常のカメラで撮影した場合、画面が遠近法で撮影されるがそれを地図の画面のように平面に展開する道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像処理装置に関するものである。
具体的には、通常のカメラで撮影した映像を展開し、例えばバスの周りの画像を複数のカメラで撮影し、夫々を路面上の平面路面として展開し、バスの周りの道路面を、バスの上方から路面を地図で見たようにそれらの展開画像を結合して一枚の平面路面として表示されるようにし、この平面画像展開により、リニアスケールとなることで画像の結合が可能となり、また、展開した平面画像内で対象物についての画像認識や計測処理が可能となり、さらにこの画像変換原理を逆に使って道路面を平面に展開した後、視点を移動して、再度、遠近法画像に戻すことにより、最初の遠近法画像とは視点を変えた映像を得ることを可能とし、さらにこの画像展開の原理を道路面だけではなく画像内の任意平面について施すようにしたものである。
また、平面展開された画像にオプティカルフロー（又は視差、マッチング等）処理を施すことで任意平面を他の平面から抽出するのであり、さらに平面の凹凸を検出し、その凹凸の平面からのずれを求め、また、オプティカルフローを用いることにより、移動距離速度方向を抽出したり、平面展開された画像にＣＧ（コンピュータグラフィックス）画像からなる物体を置き、それに対応するテクスチャーを貼り付け、平面としてあるいは遠近法画像として表示したり、遠近法画像を平面展開するときに画面内の平行線となるべき線成分が平行になるようにすることで、カメラの伏角θを求め、あるいは遠近法画像の中から画面内の平行線となるべき線成分が交差する点即ち消失点を求めることにより、カメラの伏角θを求めたり、その伏角θを一定にするように画像を移動することでカメラのぶれを補正したりすることを可能にする平面に展開する方法とその装置さらにはその応用に関するものである。
さらに、平面展開された画像情報とカメラの位置情報を送受信することで所望の動画像を再構成することができ、データ伝送量を可能な限り小さくしながら動画像データを高速に送受信できるようにするものである。
背景技術
従来、ＣＣＴＶ（Ｃｌｏｓｅｄ Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）カメラ、あるいは各種モニタカメラではレンズの性質から、遠近法で撮影されてしまうのが当然であった。例えば、バスの後部に着いているバスの後方の状況を撮影するカメラでは、カメラを垂直下向きに取り付けない限り、当然遠近法による映像が撮影され、道路面を真上から見た映像を得ることはできなかった。ましてや、バスの両側の側方、前方、後方を含めてバックミラー等により見て、部分的に見えたり、死角があったり、ゆがんだ像として見えているのが現実であった。つまり、通常のカメラで撮影したのみでは、遠近法で撮影されてしまい、地図のように平面に展開した映像を描くことはできなかった。
また、映像の結合技術としては、斜め映像を結合する技術は存在するが、それは原理的に同一の撮影位置から視点を変えて撮影した複数の画像の結合であり、カメラ位置を任意に変えて撮影した複数の映像を展開し、結合し、現実の対象物と相似形に表示する技術は存在していない。そればかりでなく、ビデオ画像から視点を変えた映像を得る方法や装置は過去にはなく、さらに、複数の遠近法画像から画像処理技術で平面の凹凸を検出する手法もその凹凸の平面からのずれを求める方法も存在しなかった。
そしてまた、ビデオの遠近法画像から平面展開した画像を用いて移動距離速度方向を抽出する方法も装置も存在しないし、さらに、平面展開された画像から目的以外の画像を削除してＣＧ画像にテクスチャーを貼り付け、平面としてあるいは遠近法画像として表示する方法も装置も存在しないし、また、画像内から平面展開に必要な方程式の変数を抽出して演算する的確な方法と方程式も存在しないものであった。
しかも、平面展開の数学的解を求めようとしても、現実の座標と対応付けするために、６点から１２点以上の実測された対応点が必要であり、特に動画においてはその条件を満たすことは実質不可能である。
さらに、ビデオ映像等の動画像は、複数の装置間等においてデータを伝送しようとする場合、伝送データの圧縮が行われるが、従来の圧縮方法は、動画像中の静止背景上にある動きのある部分のみを分離・圧縮する方法が採られており（例えばＭＰＥＧ２方式）、このような圧縮方法では、カメラ自体が移動して画像全体が動き成分をもつ動画像については十分な圧縮効果が得られず、結果としてデータ伝送を行うことができなかった。
そこで本発明は叙上のような従来存した諸事情に鑑み創出されたもので、各画像毎に現実の対象物の複数の実測点を用いることなく、カメラの遠近法で得られた映像を、カメラの撮影条件と撮影された画像内の情報のみで平面展開しようとするのであり、さらに、それを結合して地図で表現したような平面図に展開して表示しようとするものである。
例えば、バス等から外部の状況を見るときに、前面から見た映像、側方から見た映像、後方から見た映像を使用して、それを展開し、つなぎ合わせ、バスの上方から見たその周りの道路面を、地図のように表示し、自車両の位置を平面図の中に表示し、運転をより安全にしようとするものである。
即ち、各種モニタカメラの遠近法で得られた斜め画像を変換することにより、地図で表現したような平面図に展開し表示しようとするもので、例えばバス等から外部の状況を見るときに、前面から見た映像、側方から見た映像、後方から見た映像を使用して、それを展開し、つなぎ合わせ、バスの上方から見たその周りの道路面を地図のように表示しようとするのであり、このような平面画像展開により、リニアスケールとなることで画像の結合、さらには画像内での計測が可能となるようにする道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像処理装置を提供することを目的とするものである。
また、上記原理の応用として、道路面を平面に展開した後、視点を移動して、再度、遠近法画像に戻すことにより、最初の遠近法画像とは視点を変えた映像を得ることができるものとしたり、道路以外の任意平面を抽出する際にオプティカルフロー（又は視差、マッチング等）を用いることで障害画像を削除して目的の画像のみを抽出したり、複数の遠近法画像から平面の凹凸を検出する手法、その凹凸の平面からのずれを求められるようにしたり、複数の遠近法画像からオプティカルフローを用いることにより、移動距離速度方向を抽出したり、さらに平面展開された画像にＣＧ画像からなる物体を置き、それに対応するテクスチャーを貼り付け、平面としてあるいは遠近法画像として表示したり、遠近法画像を平面展開するときに実測値をできるだけ用いなくて済むように画面内の平行線となるべき線成分が平行になるようにすることで、カメラの伏角θを求めたり、あるいは遠近法画像の中から画面内の平行線となるべき線成分が交差する点、即ち消失点を求めることにより、カメラの伏角θを求めたり、また、その伏角θを一定にするように画像を移動することでカメラのぶれを補正したりすることができる道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像処理装置を提供することを目的とするものである。
そして、遠近法画像を平面展開した複数の画像とカメラの位置情報から所望の三次元画像を再構成できることから、平面展開画像とカメラ位置情報のみを送信することで、受信側で元の動画像を再現することが可能となり、伝送データを可能な限り小さくすることができ、帯域の狭い回線等であっても所望の対象物の動画像をデータ通信できる道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像処理装置を提供することを目的とするものである。
発明の開示
上述した目的を達成するため、本発明にあっては、通常のカメラから得られた遠近法の映像から平面展開に必要な情報を読みとり、数式により地図のような平面図に展開し、それを組み合わせ、つなぎ合わせ、一枚の大きな路面展開図にするというものである。例えば通常のビデオ映像撮影カメラをバスの周りに取り付け、全ての視野を構成するように、複数のビデオカメラで、バスの外側の道路面をある角度、即ち伏角をもって撮影し、それを計算により、路面の映像を地図の映像のように展開し、その地図のように展開できた映像と、ビルの壁面の映像に関して同様の処理をし、つなぎ合わせ、バスの周りの路面とビルの映像として生成しようというものである。あるいは、建築物内部の床面、壁面の画像を撮影し、斜めに撮影された画像を平面に展開し、例えば部屋の壁を開いて、部屋をちょうど展開したような図面にするものである。これを数式を用いて計算により求めるのである。
そして、平面展開した複数の画像データと、カメラの位置情報データから所望の三次元の動画像を再構成することができる。これによって、例えば、撮影用のカメラとモニタ用の表示部とが離れている場合でも、カメラ側から平面展開画像とカメラ位置情報を送信することで、モニタ側で元の動画像を再現することが可能となる。平面画像は静止画像であり、斜め画像の動画像と比較してデータ量が格段に小さいため、帯域の狭い回線等で接続された装置間であっても自由にデータ伝送でき、それを受信側で再構成することで、所望の対象物の動画像をデータ通信できることになる。
具体的には、リアルタイム処理としての斜め画像平面展開装置は、例えば映像入力装置としてのＣＣＴＶカメラ又はデジタルスチルカメラ、映像再生部、画像補正部、球面収差補正部、映像展開平面処理部、展開画像結合部、表示部、記録部からなるものである。
また、オフライン処理としての斜め画像平面展開装置は、斜め画像記録済みの映像再生装置、画像補正部、映像展開平面処理部、展開画像結合部、表示部からなるものである。
平面展開として、平面を含む現実場面の対象を斜めから撮影した画像に関して、数学的演算により、元々が平面で構成されている面を、現実場面の平面と比例関係に（相似形に）となる平面画像として、平面に展開して表示するのである。
その平面展開の結合として、上記の方法で得られた、複数の平面展開画像を結合して、一枚の大きな平面展開画像として表現するのである。
また、複数のＣＣＴＶ映像による全方位表示とダイレクト表示としては、複数のＣＣＴＶ映像を上記装置で平面展開し、夫々画像を結合して、一枚の画像とし、目的領域の全域を表示し、必要に応じて、その表示された場所に対応したＣＣＴＶの斜め映像をも同時に表示させるのである。
移動方向の連続結合としては、移動する車両や航空機や船舶等にカメラを積載して撮影することで得られた移動方向の映像を平面展開して、連続結合して一枚の画像とするのである。
また、重複する対象物を一部含む複数の画像を結合する際に、移動物体が写っている場合は、その移動物体の映像を避けて画像結合させることで、静止物体のみの結合画像を生成するのである。
いわばθ方式として、ＣＣＴＶ等で得られた斜め映像を、平面画像に展開するにあたり、斜め映像から光軸位置θを読みとり、カメラ高さｈ、撮影レンズのｆ値、あるいはモニタ上の仮想ｆ値を読みとり、目的の場所の座標を以下の式
ｙ＝ｖ・２^1/2・ｈ・ｃｏｓ（π／４−θ）・ｃｏｓ（β−θ）／（ｆ・ｓｉｎβ） ………（１）
ｘ＝ｕ・ｈ・ｃｏｓ（β−θ）／（ｆ・ｓｉｎβ） ………（２）
のように表現する式、及び同じ意味を持つ式を用いることで、現実の世界の対象物の位置座標や大きさを既知の情報として与えることなく、撮影された映像内から読みとれる情報とθ、ｈ、ｒ等の撮影条件の情報を与えることで、現実の世界の座標系と、画像モニタ上の座標系を関連させて座標変換を行うのである。
ただし、θはカメラの光軸と道路面のなす角度、ｆはカメラの焦点距離、ｈはカメラの高さ、βはカメラの真下からｈ＋ｙの距離にある点と、カメラを結ぶ線分と道路面のなす角度、ｖはカメラにおける映写面であるＣＣＤ（取得映像）面上の原点から縦方向の座標、ｕはＣＣＤ（取得映像）面上の原点から横方向の座標である。また、ｙは道路面におけるカメラの真下からｈ進んだ点を原点として、そこからさらに光軸方向に進んだ距離即ち座標、ｘは道路面における横方向の距離即ち座標である。また、垂直壁面を平面展開する場合は、座標を九十度傾けて処理すればよいのである。なお、数式はこの式のみではなく、他の同様な遠近法と平面とを関係づける数式であっても良い。
ここで、計算に必要な数値、即ち目的の平面と光軸の成す角度θと、画像内の任意の点に対応する現実点とカメラ等のなす角β、及び（β−θ）等の値は現実世界（実写映像）の中にある物理量であるので、当然実測することで得られる。ただ実際問題として、実測しながら複数の場所で、しかもカメラが移動する動画一枚一枚についてそれらを計測することは事実上不可能であるので、この変換式の性質から以下のようにすれば画像内から求めることができる。
光軸の画像内位置を決める多くの場合、画像の幾何学的中央が光軸位置であるが、正確に求めるにはカメラ等の撮影機材の光学中心をコリメータ等で求めておくことで実現でき、一度計測すれば、その位置はレンズを含むカメラ系に固有の値としてその光軸位置を画像内の一点として得られる。
次に、前記変換式における最も重要なθの画像内計測の一例を述べると、現実世界での平行線の部分を画像内から経験的に探し出し、その平行線の延長は画像内では交点（消失点、即ち遠近法で図面を書いたときの遠くの点で交わる点であり、パース図等でのＶａｎｉｓｈｉｎｇ Ｐｏｉｎｔである。例えば、直線道路を遠近法で書いたとき、遠くで道路は一点になるのであり、その点が消失点である。）として表示されるから、その光軸点を含む目的平面に平行な面である平面ａと、その交点を含む目的平面に平行な面である平面ｂとの距離をｄとし、このｄと仮想焦点距離ｆとの比（ａｒｃＴａｎ ｄ／ｆ）としてθを求めることができる。
ここで、仮想焦点距離を求める一例を示すと、前もって現実空間における任意の対象物を見込む角と、表示された画像内の同一対象物を見込む角が同じになるような光軸上の距離を表示画像上で求めておけばよく、このときの単位をピクセルで表せば、レンズを含むカメラ系に固有の値となり、一度求めておけばよいことになる。さらには現実世界の対象物の平行線部分を探し、それが画像内では延長線上で交点を持つ交差線として表現されているから、この交差線が平面展開したときに、平行となるようにθを選択することでθを求め、あるいはθの微調整をすることができる。
なお、θは実測によって求めることもでき、例えば、移動体である自動車等に取り付けたカメラが伏角としてどの程度の角度で下方を向いているかを、単純な方法である分度器によって、また、もし正確性を期すのであれば専用の角度計測装置によって測定することで得ることができる。
また、取得した平面画像中において、消失点を求める過程で、各画像の消失点の位置を固定するように映像を移動して表示することで、手ぶれ等で揺れる映像を安定化することができる。即ち、これは画像内の目的平面内の平行線成分の部分を延長し、交点を求め、それが前記消失点となるとき、その消失点の位置がカメラの移動や揺れにともなって変動することになって、ブレを生じるが、その消失点の位置を一定に固定するように、映像全体を移動させて表示することにより、手ぶれ等で揺れる画像が安定化するのである。
平面展開によって得られた、異なる複数の平面から構成される動画像の、その中の微小領域の単位時間移動量をオプティカルフロー（本明細書・図面において、「Ｏｐｔ．Ｆ」と省略することもある）手法により必要な範囲で求め、その成分分布図から同一成分を抽出することにより、夫々単独の平面画像を分離することができる。このオプティカルフロー手法を使用するに際し、遠近法画像のオプティカルフローは、一般に同一平面内であっても、移動方向でも同一値とはならずに距離により異なる値をとるが、平面変換された平面内のオプティカルフローは同一の値をとるという性質を利用したものである。つまり平面展開により得られた異なる複数の平面が重なる画像であっても、オプティカルフローの成分分布全体図から、同一成分を抽出することにより、夫々単独の平面画像を分離することができ、例えば平面展開した画像においては、平行な平面を構成するビル等の建物の壁面と、道路のガードレール面や街灯面をオプティカルフローの値で分離することができるというものである。
なお、オプティカルフローは、複数の画像の中で対応する夫々の点がどのように動いたかを示す流れのことであり、複数の画像の中で動きがあればオプティカルフローの流れがあり、その動きを線で表示でき、動きがなければオプティカルフローの流れは線で表されなくなるのであり、対応する点が複数の画像内で移動したかどうかを知ることが重要である。
さらに、平面変換された動画像から得られた平面動画像において、オプティカルフローの分布図を生成し、その微小差から平面からのズレとして平面の凹凸を検出し、若しくは前記平面動画像において異なる画角から得られた平面画像を比較演算することにより視差を検出して、その成分分布から平面内の凹凸成分を検出し、この検出した凹凸値で元平面図の各点の平面からのズレを含めた修正平面図を生成するのであり、複数の平面図に展開された複数の平面画像を相関法若しくはマッチング法等の手法によって比較演算することにより、道路面等の複数の平面画像上の夫々の小領域毎に、夫々が対応する小領域の移動量を視差方式若しくはオプティカルフロー方式等により求め、その成分の分布から道路面等の凹凸等の三次元データを検出し、若しくは検出した三次元凹凸値で元平面図の各点の平面からのズレを含めた修正平面図を生成することができる。つまり、オプティカルフローの分布図を生成し、上記の原理を使ってその微小差から平面からのズレとして平面の凹凸等を検出し、異なる画角から得られた平面画像を比較演算することによって視差を検出し、その成分分布から平面内の凹凸成分を検出し、若しくは検出した凹凸値で元平面図の各点の平面からのズレを含めた修正平面図を生成するのである。また、平面に起伏や凹凸がある場合等において、変換された平面画像のオプティカルフローの微小差を検出することができれば、それは平面からのズレを意味しているので凹凸の分布図を生成することができるのである。また、動画あるは複数のカメラで取得した画像による異なる方向から観察した道路面の平面図に展開された画像が複数あることから、それらを相関法あるいはマッチング等の手法を用いて比較演算し、道路面等の複数の平面画像状の夫々の微小領域毎に、視差を求めること等により、その微小領域の成分の差から移動量を求め、対応する点を組み合わせ計算することにより、道路面の凹凸を検出するというものである。
このことは、視野の重複する動画像から平面展開画像を取得し、それらから視差若しくはオプティカルフローを求めることで、道路面の凹凸に限らず、平面展開した画像内で重複する全ての対象物について、三次元データを検出することができることを意味している。
なお、オプティカルフローによる作業は、すべて視差によっても代行することができ、また、マッチングによって代行することができる。従って、本発明において「オプティカルフロー」という場合には、オプティカルフロー、視差又はマッチング等のいずれの処理であっても良いことを意味する。
そしてまた、平面展開した連続画像の平均的オプティカルフロー値、若しくはマッチング対応位置の移動距離を求め、その値から対象平面の移動距離・移動速度・移動方向、若しくは撮影したカメラの移動距離・移動速度・移動方向を求めることができる。即ち、平面展開された同一平面のオプティカルフローは一定値をとるという性質から、目的の平面のオプティカルフローからカメラの移動速度を求めることができるのであり、これはカメラと対象平面との相対位置、相対速度であることから、静止系と移動系が逆転しても同じである。また、ここで視差は幾何学的にはオプティカルフローと同じ意味を持つのであり、平面展開した連続画像の広い領域のオプティカルフロー又は視差を求め、それを用いて、対象となる平面の移動距離、移動速度、移動方向あるいは撮影したカメラの移動距離、移動速度、移動方向を求めることができる。
分離され平面展開された単独平面内の対象物平面のテクスチャーを、場所の対応するＣＧ（コンピュータグラフィックス）画像若しくは地図画像内の対象物平面に貼り付けることで、ＣＧ画像若しくは地図画像に実写画像を取り込み、平面として、若しくは逆変換して遠近法画像として表示することができる。即ち、平面展開された同一平面は同じオプティカルフローを持つという性質から、混在する複数の平面の中から、目的平面のテクスチャーのみを切り出すことが可能である。分離された平面展開された単独平面内の対象物平面のテクスチャーを、対応するＣＧ画像あるいは地図画像内の対象物平面に貼り付けることにより、ＣＧ画像あるいは地図画像に実写画像を取り込み、平面として、あるいは逆変換して遠近法画像として表示するのである。
また、前記の式（１）及び（２）において、先ずｆとｈを与え、さらに対象物の平行線が画像内で持つ交点を形成する交差線であるとき、この交差線が平面展開したときに平行となるようにθを選択することで、θを求めることができ、選択するθは微調整することができる。これは、道路等の特定の対象物においては、その対象物自体は多くの場合平行線となる部分を持っているという性質を利用するのであり、対象物若しくは対象物群が作る平行線は、遠近法の画像内では、その延長線分が交点を作り、この交点において交差する線分が平面変換された平面画像内で平行線となるようにθを選択することにより、θを求めることができるのである。
実写映像中の平行線の部分を画像内から抽出し、その交点のつくる目的平面に平行な面である平面ａと、光軸点を含む目的平面に平行な面である平面ｂとの距離をｄとし、仮想焦点距離をｆとし、これらのｄとｆとの比から、θ＝ａｒｃＴａｎ（ｄ／ｆ）として、θを求めることができる。即ち、目的の平面と光軸の成す角θは現実世界（実写映像）の中にある物理量であるので実測するべき量であるが、それを画像、及び動画像内の各フレーム画像の中から求めるために、現実世界（実写映像）での平行線の部分を画像内から経験的に探し出し、その交点のつくる目的平面に平行な面を平面ａとし、光軸点を含む目的平面に平行な面を平面ｂとし、また平面ａと平面ｂとの距離をｄとし、仮想焦点距離をｆとし、このｄとｆとの比から、θ＝ａｒｃＴａｎ（ｄ／ｆ）としてθを求めるのである。これは、道路面等の目的の平面とカメラの光軸のなす角度θを求めるために、現実世界での平行線の部分を画像内から経験的に探し出し、その交点と平行線部分の作る道路面等の目的平面と、光軸の画像内の位置とを前もって計測し、あるいは画像の幾何学的中心を近似的な光軸とし、その光軸点を含む道路等の目的平面に平行な面との距離を仮想焦点距離との比を求め、そのアークタンジェントを求めることによりθを求めるのである。
また、異なる設置場所に設置した複数の通常のカメラによって同一地点の同時映像を複数取得し、その複数の同一地点同時映像の平面展開画像を比較演算することで視差を検出し、この視差から対象物の三次元形状を生成することができる。これは上述の例においては、一台のカメラからの映像を平面展開することで、あるいは視点の異なる複数のカメラの結合による平面展開画像を得るものであったが、視点を重複させた複数のカメラ等を用いることで、同一地点の映像を異なる地点から撮影した映像を、平面展開画像として取得した後に重複部分の平面展開画像内で視差を検出するのである。つまり、これまで視差の検出による三次元データの検出は常に原画像、即ち遠近法の画像そのものから得られていたが、ここでは平面展開画像処理をしてから視差を検出するという新しい方法により、位置精度のよい三次元データを得ることができるようになり、これによって従来より更に精度のよい直接三次元形状のデータを簡単に取得可能である。ここで、視野の重複する複数の映像から得られる視差は、動画内の静止座標系においてはオプティカルフローとしばしば同一の意味を持つが、対象物が時間変化する場合や、三次元座標の精度を上げる場合にはこのような複数のカメラによって同一地点の同時映像を複数取得することが有効である。
一方、はじめから地図や平面図を用意して、それらのあらゆる平面図や平面写真やＣＧ（コンピュータグラフィックス）画像等を元にして、先の変換とは反対の逆変換を行い、結果的に先の視点の映像とは異なる任意の視点からの遠近法の映像を生成することができる。また、ビデオ画像の各フレーム画像を連続的に逆変換をすることで、視点移動を繰り返し、実際には撮影していない、仮想の移動するカメラ視点によるビデオ動画像を生成することができる。
具体的には、平面映像を含む遠近法的に表現された映像を平面図に変換して生成した平面展開図、若しくは複数の方向から撮影された複数の平面映像を含む映像を平面図に展開した後に対応点を重ねることで結合して生成した一枚の大画面平面展開図、又は平面図状のＣＧ（コンピュータグラフィックス）画像や地図を元として、前記記載の式（１）及び（２）に対する逆変換式によって任意の視点から見た仮想の遠近法画像を生成し、若しくは連続的に処理をすることで仮想の移動するカメラ視点による動画を生成することができ、視点を変えた後に、逆変換をする方法による具体的な逆変換式は、下記の式（３）及び（４）によるものとする。
ｖ＝ｙ・ｆ・ｓｉｎβ／（２^1/2・ｈ・ｃｏｓ（π／４−θ）・ｃｏｓ（β−θ）） …………………（３）
ｕ＝ｘ・ｆ・ｓｉｎβ／（ｈ・ｃｏｓ（β−θ）） …………………（４）
ただし、ｈはカメラの道路面からの高さ、θはカメラの光軸と道路面のなす角度、ｆはカメラの焦点距離、βはカメラの真下からｈ進んだ点からｙだけ先へ進んだ点とカメラのレンズとを結ぶ線分と、道路面との成す角度、ｘはカメラの光軸を道路面に正射影して得られる線分から垂直方向すなわちカメラから見て横方向の座標、ｙはカメラの真下からｈ進んだ点を原点としたときの光軸方向の座標、ｖはカメラにおける映写面であるＣＣＤ面上の縦方向の座標、ｕはカメラの映写面であるＣＣＤ面上の横方向の座標である。なお、数式はこの式のみではなく、他の同様な遠近法と平面とを関連づける数式であっても良い。
また、平面展開された画像によって、画像上での計測処理、画像認識処理等の各種の認識処理を可能にするのであり、平面展開された画像のスケールはリニアスケールとなり、画像上で計測や、画像処理、画像認識等が非常に容易に行なわれる。そして、オプティカルフローもカメラとの相対速度に比例する形で得られることから、対象物の相対速度も距離に依存せずにリニアスケールで表現されるため、計測のみならず、画像処理認識においても極めて単純化されるのである。
応用平面としての一例は、平面展開面として、道路面・海上面・湖水面・河川面・地上面・垂直壁面・同一平面に配列された対象物が作る垂直仮想平面・建築壁面床面・船の甲板面・滑走路誘導路等空港施設面等を扱うことができる。
応用機器としての乗り物の一例は、バス等の陸上乗り物における周辺道路面、ビル面、電柱の配列面、街路樹の配列面、ガードレールの配列面等、船舶等海上の乗り物の海上面等、船舶の甲板、壁面等、航空機等の滑走路、地上面等の全方位全面表示、あるいは目的領域面表示とすることができる。
さらに、他の応用例としての建築構造物では、建築物の床面、壁面等の平面部分を平面展開表示、及び平面結合表示するものである。
また、応用例としての立体地図作製は、複数のカメラで、移動する車両、航空機、船舶等で路面や地上面や水上面を連続撮影するのみならず、ビル壁面等のような垂直面、あるいは複数の電柱、ガードレール等が規則的に平面的に配列されている仮想垂直平面を持つ対象をも連続撮影することで、前記平面展開した画像を移動方向に結合延長させながら、同時に垂直面を含むより広範囲の平面垂直面展開図をつくることで、立体地図を作製するのである。
一方、上述した道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法に直接に使用される平面展開画像処理装置、逆展開画像処理装置は、遠近法画像を取得する映像入力部と、この映像入力部によって撮影された斜めの映像を再生する映像再生部と、映像入力装置による撮影回転角等を補正する画像補正部と、映像入力装置における球面収差等を補正する球面収差補正部と、遠近法画像を平面展開図に変換する映像展開平面処理部と、映像展開処理を行った映像を結合する展開画像結合部と、結合画像を表示する表示部とからなるものである。
また、展開された映像のオプティカルフローを生成して図示するオプティカルフローマップ生成部と、オプティカルフローマップから目的のオプティカルフローのみを抽出するオプティカルフロー抽出部とを備え、また、異なる位置からの同一地点の映像から視差を検出する視差抽出部を備え、また、複数の同一地点の展開画像を比較する展開画像比較部を備え、また、演算により路面凹凸を抽出する画像比較部と、その凹凸を考慮した修正平面生成部とを備えて構成することができる。
さらに、ＣＣＴＶカメラ又はデジタルスチルカメラ等のカメラにより映像を生成する映像入力部と、入力画像を安定化して表示する入力画像表示部と、入力映像を記録する映像記録部と、記録画像を再生する映像再生部と、球面収差等のレンズによる画像のゆがみを補正すめための座標変換を施し、カメラ回転角を補正するために、目的の平面映像を画像内の平面に方向を合わせる画像補正部と、数学的演算により遠近法映像から平面図を生成する映像展開平面処理部と、展開された映像のオプティカルフローを生成して図示するオプティカルフローマップ生成部と、それらのオプティカルフローマップから目的のオプティカルフローのみを抽出する、オプティカルフロー抽出部と、異なる位置からの同一地点の映像から視差を検出する視差抽出部と、必要な対象物を残し不必要な画像を削除し、さらには新しい映像を挿入する対象物画像処理部と、平面展開された処理された個々の画像を結合して一枚の連続した画像を生成する展開画像結合部と、それらを表示する展開画像表示部と、それらを記録する記録部と、任意視点に逆変換して表示する任意視点画像生成部と、その画像を表示する任意視点画像表示部と、複数の同一地点の展開画像を比較する展開画像比較部と、演算により路面凹凸を抽出する画像比較部、その凹凸を考慮した修正平面生成部とを適宜に組合せて構成したものである。
また、同様に道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法に直接に使用される逆展開画像処理装置は、任意視点に逆変換して表示する任意視点画像生成部と、その画像を表示する任意視点画像表示部とを備えて構成することができる。
さらに、平面展開画像処理装置、逆展開画像処理装置は、遠近法画像を取得する映像入力部と、この映像入力部によって撮影された遠近法画像を三次元空間を構成する一又は二以上の平面画像に分解する平面分解部と、映像入力部の三次元的位置を検出する位置検出部と、平面分解部で分解された平面画像と位置検出部で検出された映像入力部の三次元的位置から三次元画像を再構成して表示する表示部とを備える構成とすることができる。位置検出部で検出された映像入力部の三次元的位置を、平面分解部で分解された平面画像中に表記する位置表記部を備える構成とすることができる。また、映像入力部が移動する場合に、位置表記部は、移動する映像入力部の三次元的位置を、平面分解部で分解された平面画像中に連続的に表記する構成とすることができる。
そして、三次元画像を再構成する表示部が、平面分解部及び位置検出部と離間して配設される場合には、平面分解部及び位置検出部から表示部に一又は二以上の平面画像信号及び映像入力部の三次元的位置信号を送信する送受信手段を備える構成とすることができる。
以上のように構成された本発明に係る道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像処理装置において、映像入力装置によって取得された斜め映像である遠近法画像は、式（１）及び（２）によって平面展開図に変換され、実際的な地図様の画像として表示させられる。
取得生成された平面展開図の結合は一枚の大きな展開画像として、例えば、取得地・場所周囲の状況を含めて地図様に表示させ、目的領域の全域の全面表示、特定域のダイレクト表示等を選択させ、入力映像の同時のダイレクト表示によって周囲状況と容易に対比させる。
また、動画あるいは複数のカメラで取得した画像による異なる方向から観察した道路面の平面図に展開された画像が複数あるとき、それらを、相関法あるいはマッチング等の手法を用いて比較演算し、道路面等の複数の平面画像状の夫々の小領域毎に、視差方式あるいはオプティカルフローの手法等により、その小領域の成分の差から移動量を求め、対応する点を組み合わせ計算することは、道路面の凹凸を検出させ、平面に起伏や凹凸がある場合等において、検出した凹凸値を平面からのズレを含めた修正平面図を生成させる。
このことは視野の重複する動画像から平面展開画像を取得し、それらから視差若しくはオプティカルフローを求めることで、道路面の凹凸に限らず、平面展開した画像内で重複するすべての対象物について、三次元データを検出させる。
視点を重複させた複数のカメラによって同一地点の映像を異なる地点から撮影した複数の映像によって生成された平面展開画像は、重複部分の平面展開画像内で視差を検出させる。
生成される平面展開図は陸上、海上、空港施設面等、さらには建築構造物等における平面表示等の各種のものを展開させ、そして移動による平面展開図の生成取得で、移動方向による平面展開、垂直展開の結合延長で立体地図をも作製させる。
また、映像入力部、入力画像表示部、映像記録部、映像再生部、画像補正部、映像展開平面処理部、オプティカルフローマップ生成部、オプティカルフロー抽出部、視差抽出部、対象物画像処理部、展開画像結合部、典型画像表示部、記録部、任意視点画像生成部、任意視点画像表示部、展開画像比較部、画像比較部、修正平面生成部等を適宜に組合せて構成することは、夫々目的の応じた、例えば遠近法画像道路面を平面画像に展開したり、遠近法で表示されたビル壁面画像を平面画像に展開したり、ビル壁面とガードレール画像とを分離したり、平面画像に変換した後に視点を変えて再度遠近法画像に逆変換したり、テクスチャーを貼り付けた道路面あるいはビル面を表示したり、あるいは逆変換により遠近法画像に変換したり、さらには異なる視点からの画像を組み合わせた視差画像を得たり、それから道路面の凹凸を計算したり等の広範囲な応用を可能にさせる。
そして、平面展開した複数の画像データとカメラの位置情報データから、所望の三次元画像や立体地図等を再構成することができるので、撮影用のカメラとモニタ用の表示部とが離れて設置されているような場合でも、映像取得側（カメラ側）から平面展開画像とカメラ位置情報を送信することで、受信側（モニタ側）で元の動画像を再現することが可能となる。平面展開された画像データは静止画像であり、斜め画像の動画像と比較して格段にデータ量は小さい。従って、平面展開画像とそれを再構成するためのカメラ位置情報データを送受信することによって、データ移送量を可能な限り小さくした動画像のデータ通信が可能となる。
【図面の簡単な説明】
第１図は、本発明の一実施の形態を示す道路面等の平面対象物映像の平面展開装置のブロック図である。
第２図は、同じく本発明装置における他の実施の形態を示すブロック図である。
第３図は、同じく本発明装置における他の実施の形態を示すブロック図である。
第４図は、同じく映像の平面展開装置を示すブロック図である。
第５図は、同じく道路における凹凸検出装置を示すブロック図である。
第６図は、同じく道路面展開法によって視点移動と、テクスチャー貼り付けとを行う視点移動・テクスチャー貼り付け装置を示すブロック図である。
第７図は、同じくオプティカルフロー方式によって画像を平面展開する実施の形態においてのブロック図である。
第８図は、同じく取得画像から平面展開画像を生成し、さらに視点を移動した斜め画像を形成する場合の概略説明図である。
第９図は、同じく道路面における凹凸を検出する場合を示す概略説明図である。
第１０図は、同じく消失点からθを求めるときの概略図である。
第１１図は、同じく平面展開したときの異なるθ値であったときの平面展開図例であり、その（Ａ）は遠近法そのままの平面展開する前、（Ｂ）はθ値が実際と異なっている場合、（Ｃ）はθの値が実際の値と同じ場合つまりθが正しく求められた場合である。
第１２図は、同じく立体図生成装置におけるブロック図である。
第１３図は、同じくオプティカルフローによって抽出される平面のイメージ図である。
第１４図は、同じくオプティカルフローによって抽出される平面と、三次元変換されて生成された立体地図のイメージを示す。
第１５図は、同じく立体地図上にカメラ位置の軌跡を記述した状態のイメージ図である。
第１６図は、同じく移動体検出立体生成装置におけるブロック図である。
第１７図は、同じく立体図生成装置におけるテクスチャー貼り付け装置のブロック図である。
第１８図は、同じく対象物認識装置のブロック図である。
第１９図は、第１８図の対象物認識装置の一例として、交通量監視ビデオカメラで得られる映像の具体例であり、（ａ）は監視ビデオカメラ画像（遠近画像）、（ｂ）は本発明により変換される平面展開画像、（ｃ）は本発明により認識された対象物を示す領域分析表示である。
第２０図は、第１８図の対象物認識装置の一例として、交通量監視ビデオカメラにおける対象物認識の処理ステップを示すフローチャートである。
第２１図は、第２０図に示す対象物認識処理により得られた結果を集計した一覧表である。
第２２図は、同じく例えばバスの周りの道路を撮影する複数台のカメラを配置する状況図である。
第２３図は、同じく地図のように路面展開された映像図である。
第２４図は、同じく道路の斜め画像を撮影した例えば（１）…（９）の９枚の道路画像図夫々である。
第２５図は、同じく道路画像図を元に処理して得られた地図のような平面画像図である。
第２６図は、他の実施の形態を示すもので、建築構造物の床面、壁面等の平面部分を斜め画像として撮影した例えば（１）…（１６）の１６枚の室内画像図夫々である。
第２７図は、第２６図に示された画像図夫々を平面結合した合成画像図夫々である。
発明を実施するための最良の形態
以下、図面を参照して本発明の実施の形態を説明する。
第１図に示されるように、入力装置としてのＣＣＴＶカメラ又はデジタルスチルカメラ等のカメラ１、これらのカメラ１によって撮影された斜めの映像を再生する映像再生部２、画像補正部３、球面収差補正部４、また後述する式（１）および式（２）により斜め映像を平面図に展開する映像展開平面処理部５、夫々の展開した映像を適切な方法でつなぎ合わせる展開画像結合部６、そのつなぎ合わせた映像を表示する展開画像表示部７、そしてつなぎ合わせた映像を記録媒体に記録する記録部８から成るのであり、リアルタイム処理として斜め画像を平面展開するのである。即ち、リアルタイム処理としての斜め画像平面展開装置として構成されるよう、カメラ１より画像を入力し、リアルタイムで映像を再生しながら、画像補正部３でカメラ１の回転角等を補正し、球面収差補正部４で、カメラ１の球面収差及び目的にあったように補正し、映像展開平面処理部５で、遠近法画像を地図のような平面展開図に変換して展開画像表示部７で表示する。さらに必要があれば、それらの得られた画像を展開画像結合部６で、複数のカメラ１からの映像展開処理を行った映像を結合し、それを表示し、記録部８に記録するものである。
また、第２図に示すように、オフライン処理とする斜め画像平面展開装置では、斜め画像記録済みの斜め映像再生部１１、画像補正部１２、映像展開平面処理部１３、展開画像結合部１４、展開画像表示部１５から成り、通常のカメラ１で撮影した映像を記録してある斜め映像再生部１１からの映像を再生し、画像補正部１２で球面収差及びカメラ回転角等を目的にあったように補正し、映像展開平面処理部１３で地図のような平面画像に展開して展開画像表示部１５で表示し、さらに必要があれば、その後展開画像結合部１４により展開した複数の画像を適切な方法でつなぎ合わせ、展開画像表示部１５でつなぎ合わせた画像を表示するのである。
さらに、第３図に示すように、斜め画像平面展開装置は、映像取得用のカメラ側（送信側）と、斜め画像から分解・展開された平面画像を表示・記録し再構成するモニタ側（受信側）とを分離して設置することができる。この場合、第３図に示すように、カメラ側（送信側）には、入力装置としてのカメラ１、映像再生部２、画像補正部３、球面収差補正部４、映像展開平面処理部５が備えられ、モニタ側（受信側）には、展開画像結合部６、展開画像表示部７、記録部８が備えられる。また、カメラ側には展開、分解された平面画像信号をモニタ側に送信する送信部５ａが備えられ、モニタ側にはカメラ側から送信された平面画像信号を受信する受信部６ａが備えられ、これら送受信部５ａ、６ａが通信回線を介してデータ通信可能に接続されている。これによって、カメラ側で得られた動画像の平面展開画像とカメラ位置情報等の所定情報を、通信回線を介してモニタ側に送信することで、モニタ側では受信した平面展開画像に基づいて動画像を再構成することができ、伝送データ量を可能な限り小さくしつつ所望の動画像を送信、再現することが可能となる。
なお、第３図は、第１図に示したリアルタイム処理の斜め画像平面展開装置を分離設置したものであるが、リアルタイム処理であるとオフライン処理であるとにかかわらず分離設置することができることは勿論である。
平面展開形態としては、平面を含む現実場面の対象を斜めから撮影した画像に関して、数学的演算により、元々が平面で構成されている面を、現実場面の平面と比例関係（相似形）となる平面画像として平面に展開して表示する。これは平面を含む場面を通常のカメラで撮影した画像、即ち斜めから撮影した画像を、数学的演算により、元々が平面で構成されている面を現実平面と相似関係となる平面画像に変換するのであり、例えば、道路面であれば平面に展開して地図の画面のように展開するというものである。
さらに、これを結合するに際し、上記の方法で得られた複数の平面展開画像を結合して、一枚の大きな平面展開画像として表現するのであり、これは通常のカメラで撮影した画像を平面に展開し、その複数の平面展開画像を適切な方法により結合して、一枚の大きな平面展開画像として表現することを意味する。即ち道路面を複数展開し、地図のような平面展開図にしたときそれらをつなぎ合わせ一枚の大きな平面展開画像にするというものである。もちろん平面展開した画像であるため、いくらでも自由に結合できるのであり、遠近法のままの映像ではカメラ位置を同一とした場合を除いては、結合できないのである。
さらに、複数のＣＣＴＶカメラで取得した映像による全方位表示とダイレクト表示とを可能にすることもでき、複数のＣＣＴＶカメラの映像を上記装置で平面展開し、夫々画像を結合して、一枚の画像とし、目的領域の全域を表示し、必要に応じて、その表示された場所に対応したＣＣＴＶカメラの斜め映像をも同時に表示させることができるようにしてある。
即ち、複数のＣＣＴＶカメラの映像を上記装置で平面画像に展開し、夫々の画像を対応点を合わせることで結合して、一枚の画像とし、目的領域の全域を表示する。さらに、必要に応じて、その表示された場所に対応したＣＣＴＶカメラのそのままの映像即ち斜め映像をも表示させることで、監視等の目的の効果を上げることができるのである。
第４図には映像を平面に展開するときの処理ブロック図を示す。まずビデオ映像２１あるいは静止画映像２２が、入力画像として装置に入力されると、その入力時には球面収差補正、回転補正等が補正部２３によって行なわれる。ついで映像平面展開処理部２４によって、下記の式（１）および式（２）で、映像平面展開処理が行なわれる。
即ち、ビデオ映像２１あるいは静止画映像２２によって得られた斜め映像を平面画像に変換するに際し、本発明ではθ方式と称する方法によって得るものとしており、例えばＣＣＴＶカメラ等で得られた斜め映像を、平面画像に展開するにあたり、斜め映像から光軸位置θを読みとり、カメラ高さｈ、撮影レンズのｆ値、あるいはモニタ上の仮想ｆ値を読みとり、目的の場所の座標を以下の式（１）、（２）によって得るものとするのである。
ｙ＝ｖ・２^1/2・ｈ・ｃｏｓ（π／４−θ）・ｃｏｓ（β−θ）／（ｆ・ｓｉｎβ） ………………………（１）
ｘ＝ｕ・ｈ・ｃｏｓ（β−θ）／（ｆ・ｓｉｎβ）………………………（２）
このような式（１）、（２）によって表現される数式、及び同じ意味を持つ数式を用いることで、現実の世界の対象物の位置座標や大きさを既知の情報として与えることなく、撮影された映像内から読みとれる情報とθ、ｈ、ｒ等の撮影条件の情報を与えることで、現実の世界の座標系と画像モニタ上の座標系とを関連させて座標変換を行うこととするのである。
ただし、平面展開座標をｘ、ｙ、画像内座標をｕ、ｖとし、θはカメラの光軸と道路面のなす角度、ｆはカメラの焦点距離、ｈはカメラの高さ、βはカメラの真下からｈ＋ｙの距離にある点と、カメラを結ぶ線分と道路面のなす角度、ｖはカメラの映写面であるＣＣＤ面上の原点から縦方向の座標、ｕはＣＣＤ面上の原点から横方向の座標である。また、ｙは道路面におけるカメラの真下からｈ進んだ点を原点としてそこからさらに光軸方向に進んだ距離即ち座標、ｘは道路面における横方向の距離即ち座標である。
したがって、上記の式（１）、（２）なる数式を用いて、道路面を撮影した遠近法の映像を、地図のような平面画像に変換し展開するのである。
このようにして変換展開された平面画像は、平面展開画像表示・記録部２５で表示、記録される。次に遠近法の画像を平面に展開し、その平面展開画像をいくつかつなぐのが展開画像結合部２６であり、この展開画像結合部２６によって大画面の平面展開画像が得られる。これを表示し記録するのが結合展開画像表示・記録部２７である。
次に、展開した映像から、逆に任意視点を指定し、任意視点を生成するため、これを任意視点生成部２８で行なう。そして逆展開変換処理部２９では、上記の式（１）及び式（２）の逆変換式である下記の式（３）及び式（４）により、もとの視点とは視点を変えた遠近法映像を得ることができるようにしてあり、これを表示、記録するのが逆展開画像表示・記録部３０である。
即ち逆変換する式は以下の通りである。
ｖ＝ｙ・ｆ・ｓｉｎβ／（２^1/2・ｈ・ｃｏｓ（π／４−θ）・ｃｏｓ（β−θ）） …………………（３）
ｕ＝ｘ・ｆ・ｓｉｎβ／（ｈ・ｃｏｓ（β−θ）） …………………（４）
ただし、ｈはカメラの道路面からの高さ、θはカメラの光軸と道路面のなす角度、ｆはカメラの焦点距離、βはカメラの真下からｈ進んだ点からｙだけ先へ進んだ点とカメラのレンズとを結ぶ線分と、道路面との成す角度、ｘはカメラの光軸を道路面に正射影して得られる線分から垂直方向すなわちカメラから見て横方向の座標、ｙはカメラの真下からｈ進んだ点を原点としたときの光軸方向の座標、ｖはカメラにおける映写面であるＣＣＤ面上の縦方向の座標、ｕはＣＣＤ面上の横方向の座標である。
なお、逆変換式はこれらの式（３）及び（４）のみでなく、他の同様な遠近法と平面とを関係づける数式であっても良いものである。
第５図には、第４図の一部のブロック図に新たなブロック図を付加している。
即ち、ビデオ映像２１及び静止画映像２２を入力し、式（１）及び式（２）により、遠近法画像を平面画像に展開するのであり、これを映像平面展開処理部２４で行なう。展開した画像を比較するのが展開画像比較部３１であり、この展開画像比較部３１では、異なった視点からの映像を比較することにより、道路面の凹凸を求めるのであり、凹凸面生成部３２によって処理するようになっている。
第６図においては、道路面展開を行なうのみならず、道路脇の建物や街路樹、ガードレール等も平面に夫々展開し、任意視点画像に変換し、あるいは建物にテクスチャーを貼り付けたり、さらには実写テクスチャーを用いた３ＤＣＧを作ったりするよう、道路面展開法による視点移動と、テクスチャー貼り付けとを行う構成が示されている。
即ち、まず、ビデオ映像入力部４１より入力した画像から道路面平面展開部４２で道路面の平面展開図を得る一方、横立面平面展開部４３ではビルの壁面等の道路脇の部分を平面図に展開する。その後オプティカルフローマップ生成部４４でオプティカルフローマップを生成し、次のオプティカルフローマップ選択抽出部４５で目的の部分を選択抽出する。それにより、縁石面抽出部４６では道路の縁石を抽出し、ビル面抽出部４７ではビル壁面等を抽出する。また歩道面展開部４８により歩道面展開を行ない、前述の道路面平面展開部４２からのデータと突き合わせ、道路水平面統合部４９により歩道部分と車道部分とが組み合わされる。
一方、オプティカルフローマップ選択抽出部４５からは街路樹等平面抽出部５０により街路樹の抽出を行ない、ビル面抽出、歩道面展開部からのデータと道路垂直面統合部５１であわせることにより、道路脇にある垂直成分の面の構成ができる。なお、道路水平面統合部４９、道路垂直面統合部５１においての画像の形成に際し、目的に沿った部分画像の削除、挿入等が画像処理部５８を通過することで行われるのであり、所定の必要とする各種の画像が統合的に作成、表示されるのである。
次いで、３ＤＣＧ位置あわせ部５２により位置あわせを行ない、ビル等垂直面テクスチャー貼り付け部５３で垂直面のテクスチャーを貼り付け、実写テクスチャーを貼り付けた３ＤＣＧが実写テクスチャー３ＤＣＧ生成部５４で構成される。また、道路水平面統合部４９からのデータと道路垂直面統合部５１からのデータとを道路垂直水平面統合部５５で組み合わせ、統合し構成することにより、水平面と垂直面をもった立体図（立体地図）が得られる。それを任意視点遠近法表示部５６で、任意視点からの画像に変換し、視点を変えた任意視点からの遠近法画像の表示がなされる。
なお、オプティカルフローマップ生成部４４、オプティカルフローマップ選択抽出部４５によって、移動速度方向検出部５７で物体（対象平面）の移動方向や移動速度・移動距離、また、撮影カメラの移動方向や移動速度・移動距離を検出するようにしてある。
第７図には本発明装置を構成する一例を示してあり、映像入力部６１はＣＣＴＶカメラのデジタルスチルカメラ等のカメラによって取得した実写の映像を入力する部分である。
映像記録部６２は入力した映像を記録する部分、映像再生部６３は記録した画像を再生する部分、画像補正部６４は球面収差等のレンズによる画像のゆがみを補正するための座標変換を行ない、カメラ回転角を補正するために、目的の平面映像を画像内の平面に方向を合わせる部分、映像展開平面処理部６５は前記した式（１）及び（２）を元に数学的演算により遠近法映像から平面図に展開して生成する部分、オプティカルフローマップ生成部６６は展開された映像のオプティカルフローを生成してそれを図示する部分、オプティカルフロー選択抽出部６７はオプティカルフローマップから目的のオプティカルフローのみを抽出する部分、画像処理部６８では画像の中から必要な対象物だけを残し不必要な対象物画像を削除し、さらに新しい映像を挿入する部分である。そして、展開画像結合部６９は展開され処理された個々の画像を結合して一枚の連続した画像を生成する部分、生成された展開画像は、表示部７０によって表示され、記録部７１によって記録される。さらに任意視点画像生成部７２は任意視点に逆変換して遠近法画像として表示する部分、展開画像比較部７３は複数の同一地点の展開画像を比較する部分、画像比較部７４は演算により路面凹凸を抽出する部分である。
これらにより、夫々の目的に応じた例えば遠近法画像道路面を平面画像に展開したり、遠近法で表示されたビル壁面画像を平面画像に展開したり、さらにはビル壁面画像とガードレール画像とを分離したり、平面画像に変換した後に視点を変えて再度遠近法画像に逆変換したり、あるいはテクスチャーを貼り付けた道路面、ビル面等を表示したり、あるいは逆変換により遠近法画像に変換したり、さらには異なる視点からの画像を組み合わせた視差画像を得て、それから道路面の凹凸を計算する等の処理を行なうことができるようにしてある。
第８図においては視点移動、移動体削除等を行うときの手順を示してあり、図において、最上部に示してあるのが、ある視点から見た道路面の遠近法映像である。それを平面展開する三種類の矢印で表してあるように、左から順番に、左面平面展開、道路面平面展開、右面平面展開を行なう。その下に四角がいくつも重ねて書かれているが、これは多数の画面について、上述してように、遠近法映像を三種類の平面に展開するものである。
そして、多数の画像について、三つの平面に展開した後、道路面にある移動体、例えば遠近法ではその先が見えなくなってしまう前方車を取り除く処理を行なって、道路面画像からは車の画像が除去された平面図を得ることができる。結合合成の矢印の下方には、夫々三つの平面に展開された、左面平面展開画像、道路面平面展開画像、右面平面展開画像が得られる。左面平面展開画像、右面平面展開画像においてはオプティカルフローの計算により、街路樹、ガードレール、ビルの壁面等を分離する。
これにより、道路面は地図のように、またはその両脇の面は壁を開いたような平面として、この第８図に示すように表示される。
最後にθ方式逆変換によってこれの矢印に示すように、視点を変えた後に逆変換をすることにより、この第８図の最下部に書いた図のように最初とは視点を変えた遠近法の画像が得られることになる。この際の逆変換の式は、前記の式（３）及び（４）に示されているものである。
第９図においては道路面における凹凸面の検出の手順を示してある。
即ち、映像Ａでは右車線前遠方の道路面上に穴があいており、映像Ｂでは同様に右車線前近方に穴があいているが、映像上でカメラが移動しているために、映像Ｂでの穴の方がカメラに近い。それを路面展開すると、視点変更１、視点変更２の矢印で示した先の画像のように穴の位置が異なって現れる。この二つの画像から視差を利用して、この穴の立体的様子を合成するのである。カメラを前後に２台取り付けて、夫々の映像の対応点の視差又はオプティカルフローを取り出しても同じことである。
このようにして道路面の凹凸部分を検出でるのであり、この第９図における最下図に描いてあるように、穴の深さ等を計測することができる。
この第９図では例えば穴の深さの例をあげているが、穴の深さの他に道路工事後のアスファルトの盛り上がり部分、あるいは車の走行により生じたわだち等を測定することができる。
なお、現状で世の中にある道路面の凹凸を測定する装置は、レーザを用いて測定するものが例としてあげられるが、その価格は相当に高価である。本発明方式では以上のようにソフトウェアで映像処理をすることにより、道路面の凹凸を廉価な方法で測定することができる。
第１０図においては、θを求める際の具体的な方法が示されている。現実世界（実写映像）での平行線の部分を画像内から経験的に探し出し、その平行線の延長は画像内では交点として表示されるから、その交点のつくる目的平面に平行な面である平面ａと、光軸点を含む目的平面に平行な面である平面ｂとの距離をｄとし、仮想焦点距離をｆとし、これらのｄとｆとの比から、θ＝ａｒｃＴａｎ（ｄ／ｆ）として、θを求めるものである。
ここで、仮想焦点距離を求める一例を示すと、前もって現実空間における任意の対象物を見込む角と、表示された画像内の同一対象物を見込む角が同じになるような光軸上の距離を表示画像上で求めておけば良く、このときの単位をピクセルで表せば、レンズを含むカメラ系に固有の値となり、一度求めておけば良いことになる。さらには現実世界の対象物の平行線部分を探し、それが画像内では延長線上で交点を持つ交差線として表現されているから、この交差線が平面展開したときに、平行となるようにθを選択することでθを求め、さらにθの微調整をすることもできる。
第１１図においては遠近法の画像を平面展開することにより、θの実際の値を測定する方法を示してある。
この第１１図においての（Ａ）図は遠近法の画像そのままを表示し、（Ｂ）図ではθをある一定値にして平面展開を行なったときの様子である。このとき現実世界の平行線即ち道路面は（Ａ）図のように遠近法では平行線とはならずに交点を持つ線分となっている。さらに平面展開をしたときに、θの値が実際の値と異なるときには、（Ｂ）図のように、平行線となるべき道路の両側の線分が平行線とはならない。それに対して、θが正しく求められた時には（Ｃ）図のように、道路の両側の線分が辺面展開図上で平行線となるから、このときが正しくθが求められたときなので、これによってθを求めることができる。
次に、第１２図乃至第１８図を参照して立体地図を作成する場合について説明する。ここでは、道路を走行する車両に積載したビデオカメラからほぼ進行方向に向けて撮影した映像から立体地図を生成する場合を例として説明する。
第１２図において、動画映像入力部８１は道路を走行する車両に積載したビデオカメラからほぼ進行方向に向けて撮影した映像を入力するのであり、取得された動画像を複数平面の画像に複数平面分解部８２によって分解する。そして、基準平面指定部８３では、映像は複数の平面から構成されていると解釈し、映像の中に複数の平面を設定するのであり、道路を走行している場合では、道路面を基準平面と設定する。
一方、任意目的平面指定部８４は、例えば複数の街路灯等は規則的に設置されていることから一つの平面内にあると考えて街路灯平面を設定し、同様に縁石平面、街路樹平面、ビル全面平面等の複数の平面を設定できるようにしてある。
第１３図に、オプティカルフローによって抽出される平面のイメージを示す。
同図に示すように、カメラの標準位置から各対象物が属する平面の垂直距離をＤとすると、複数の並行平面群としてすべての平面を分離、抽出することができる。このとき、同図に示す街路樹のように、曲面状の対象物については、一つの対象物であっても一つの平面には乗らない点や面を有する曲面状の対象物については、曲面を複数の平面の集まりとして扱い、基準となる平面（同図では街路樹▲１▼）からの距離を与えることで、その平面に属する一つの対象物の情報として捉えることができる。
また、θ、ｈの検出部８５は、道路面と光軸のなす角度θとカメラ系光学中心と道路面の距離ｈとを画像中から読みとるのであり、これを自動的に読みとるには前記の式（１）及び（２）におけるｆとｈとを与えることでの交差線が平面展開されたときに平行となるように設定されたり、前記の平面ａ，ｂに関係するｄ，ｆの比から求められたりするθによるものであり、このθは実測可能な場合は実測で読みとってもよいものである。座標変換部８６は、θとｈとを前記の式（１）及び（２）による平面展開変換式に代入して演算し、画像の平面展開部８７によって平面展開画像を取得するのである。
Ｏｐｔ．Ｆ（オプティカルフロー）値の演算部８８は、映像が動画であることから画像を小領域に分割し、その移動をマッチングや相関法によって画像各部のオプティカルフローを演算によって求めるのであり、Ｏｐｔ．Ｆ（オプティカルフロー）マップ生成部８９は、上記演算結果を画像マップとして表示するのである。
基準平面画像抽出部９０は、道路面を示す固有のオプティカルフロー値のみによる基準平面画像を抽出することでそれを得るようになっている。即ち平面展開された道路面においては、同じ平面内の相対速度は常に一定であるからオプティカルフローは同一であり、簡単に道路面が抽出できるのである。なお、一般の遠近法的に撮影された映像では、距離によって画像内での同一平面であっても相対速度が変化するので、固有のオプティカルフロー値では基準面を抽出できないだけでなく、距離によって大きさも変化するので比較も単純ではないのである。
平行平面抽出部９１は、上記基準平面を抽出すると同様に、基準平面とは異なるオプティカルフロー値として得られるようにしてある。基準平面に平行な平面は、基準平面とその固有値を異にするだけなので、平行平面を基準平面から分離して得ることができるものである。
平面画像構成部９２は、夫々得られた平面をそのまま画像平面として扱い、設定された平面内での画像を取得できるようにしてある。立体地図の生成部９３は、夫々の平行平面を三次元座標で組み立てることで、基準平面とそれに平行な平面の構成による三次元地図を生成するものである。ただし、基準平面とそれに平行な平面だけでは全ての対象物を表現できないので、基準平面とは異なる別の平面をも同じように平面画像構成する必要がある。
また、最初に設定した複数の平面の一つを、基準平面と同じように扱い、同じプロセスで立体地図化して生成することができる。ここでθとｈについては夫々の平面に変換しなければならないので、得られた基準平面の三次元座標からθとｈを夫々の任意平面に変換する必要がある。即ち、指定平面におけるθ、ｈ値の変換及び指定部９５によって、得られた基準平面の三次元画像から任意平面の位置を算出するのであり、その算出は簡易的には手動で変換することも可能である。同様にして目的とする画像を、θ、ｒ指定部（θ、ｈ指定部）９６を経て同様な処理を行って、目的平面画像抽出部９７を介して立体地図をその生成部９３によって生成するのである。
第１４図に、オプティカルフローによって抽出される平面と、三次元変換されて生成された立体地図のイメージを示す。
さらに、上述したθ、ｈの検出部８５、座標変換部８６、画像の平面展開部８７の処理により、映像を取得するカメラの位置や方向を検出し、再構成された立体地図上に記述しプロットすることができる。即ち、θ、ｈの検出部８５、座標変換部８６、画像の平面展開部８７の処理により、カメラの光軸と道路面等の目的平面とのなす角を与え、画像内に座標原点を指定し、変換式により平面展開された画像の中に、又は目的平面の座標の中に、演算で求められたカメラ位置とカメラ方向又はその何れかを記述することができる。前記の式（１）及び（２）は、カメラ光軸と道路面等の目的平面に、カメラの焦点距離と、道路面とカメラの光軸がなす角と、座標原点を与えることで、演算してカメラで取得した道路画像の平面展開画像を得ることができ、その際に、変換式の条件からカメラ位置とカメラ方向が演算で求められる。これにより、変換画像内にカメラ位置やカメラ方向を検出し、立体地図上などにプロットすることができ。
また、移動するカメラにより撮影された平面展開された複数の画像を結合して一枚の画像を生成し、表現されたその結合画像を新たな共通座標系として、その新たな座標系の中に、前記の式（１）及び（２）で求められたカメラ位置とカメラ方向を、次々に記述することもできる。例えば、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動又は手動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。そして、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。
第１５図に、立体地図上にカメラ位置の軌跡を記述した状態のイメージを示す。
このようにして、カメラ位置や方向を検出することにより、複数画像のカメラ位置から対象物の位置を特定することができ、平面展開画像から立体地図や三次元画像を再構成できる。従って、車載カメラ等で撮影するだけで走行した範囲の立体地図を自動的に生成することができる。また、このようにカメラ位置や方向を検出できることにより、平面展開画像から再構成された立体地図や三次元画像上でカメラが移動する位置や方向をプロットして記述することができる。
そして、以上のようにして立体地図が生成できることにより、遠近法画像を平面分解した複数の画像とカメラの位置情報を生成し、当該情報から所望の三次元画像を再構成することができることから、平面分解画像とカメラ位置情報を送信することにより、受信側でそれを再構成して元の動画像を再現することが可能となる。
従来、動画像の圧縮方法としては、ＭＰＥＧ２方式に代表されるように、動画中の動きのある部分を分離し、その動きを予測して、信号の冗長をなくすことを主とした圧縮方法が知られている。しかし、この種の従来方法は、静止背景上に移動する物体がある場合のような、部分的に動きに関しては効果的であったが、カメラ自体が移動するような動画像の場合には、画像全体が動き成分を持ち、かつ、移動速度も同一でないため、動画のすべてを更新しなければならなくなり、圧縮効果は著しく低下する。
上述したように、本発明に係る立体地図生成では、動画像を解析し、三次元的平面から構成される画像として取り扱われる。画像の一般的性質として、画像空間は複数の平面によって囲まれていることから、本装置によりそれぞれの平面を抽出し、それらの平面を再構成することで、画像を再構築することができる。そして、平面は三次元的に定義されるので、再構成された平面は三次元空間内に配置されるので、最終画像は三次元画像となる。従って、カメラが一定方向に移動する限りカメラと平面との相対速度は一定となり、各平面毎に移動速読が固有に求められることになる。カメラが等速運動する範囲では各平面は固有の速度成分となり、平面の数だけの速度を定義すればよい。
このようにすることで、画像は圧縮され、受信側では各平面を定義された速度で移動させることで、元の動画像を再現できる。しかも、画像は三次元情報を含むことになるので、三次元的に表現することもできる。
以上により、本発明では、カメラ自体が移動することにより画像全体が動き成分を持ち、かつ画像内の各部分で異なる動き速度成分を持つ画像に関しても十分な圧縮効果を持たせることが可能となり、しかも、画像圧縮時に画像を三次元的に解析するため、結果として動画画像から三次元画像を抽出できるようになる。
第１６図には別の実施の形態が示されており、第１２図に示した実施の形態におけると同一部分は同一の符号を付すことでその詳細な説明は省略してある。
ここで、入力画像に先行車両や対向車両等の移動体が入っている場合は、基準平面のオプティカルフローが基準平面ともそれと平行なＯｐｔ．Ｆ値とも異なる値をとる。従ってＯｐｔ．Ｆ（オプティカルフロー）マップ生成部８９によって形成されたＯｐｔ．Ｆマップにおいて、道路面（基準面）上に存在している異常値であるＯｐｔ．Ｆ値を検出すればその部分は道路面上にある移動体の領域であることになる。もし移動体を削除する目的であれば、この移動体領域を移動体Ｏｐｔ．Ｆ（オプティカルフロー）抽出部１０１、移動体部分抽出部１０２によって抽出削除し、その削除領域を前後の重複する展開画像から補完すればよい。なお、図中符号１０３は、移動体の相対速度を簡易に抽出する簡易移動体相対速度抽出部である。
さらにまた、移動体自身を抽出してその三次元形状を再現し、速度を計測する目的であれば、移動体平面指定部１０５を経て第１６図の右側のプロセス処理を行うのである。ただし、平面展開された基準平面上で求めた移動体領域のＯｐｔ．Ｆ値全体がそのまま車両等の移動体固有のＯｐｔ．Ｆ値を意味するものではないのであり、移動体の三次元形状とＯｐｔ．Ｆ値を求めるには、さらに移動体各面Ｏｐｔ．Ｆ（オプティカルフロー）抽出部１０６、移動体各平面抽出部１０７等で移動体を複数の平面に分解し、移動体を構成する夫々の平面の平面展開を同じプロセスで演算することで、移動体平面画像構成部１０８によって移動体の三次元形状を求めることができ、また、移動体速度ベクトル抽出部１０９によって移動体の速度ベクトルを求めることができる。さらには、それを移動体を含む立体地図の生成部１１０によって、立体地図の中に取り込むことができるようにしてある。
次に、第１７図を参照して、立体地図生成の応用例における実施の形態としての取得された画像のテクスチャーをＣＧ（コンピュータグラフィックス）画像等に貼り付ける方法について説明する。
即ち、平面展開された画像が三次元座標を取得したこと、さらに目的の平面内の画像のみが抽出されたことで、撮影時には例えば一部が街路樹の陰となっているビル壁面のテクスチャーが、街路樹の画像を削除した形で取得できること等から、道路面のテクスチャーはもちろんのこと、目的のビル壁面を構成する平面画像をＣＧ画像と位置あわせして貼り付けることで、他の平面画像と重なることなく、ＣＧ画像にビデオ画像のビル壁面のテクスチャーや街路樹や、ガードレール等を貼り付けることできる。
第１７図において、図１２図に示された実施の形態における同一部分は同一符号によって示されることでその詳細な説明は省略されている。Ｏｐｔ．Ｆ（オプティカルフロー）マップ生成部８９から平行平面画像抽出部１１１によって平行平面画像を抽出する一方、目的平面画像抽出部９７からの抽出された目的とする平面画像をテクスチャー信号発生部１１２を経てテクスチャー信号を取得しておく。また、前記平面画像構成部９２から三次元座標取得部１１３によって三次元座標を取得して、ＣＧ画像との座標を合致させるようにＣＧ座標合わせ部１１４にて合わせ、テクスチャー信号発生部１１２からの信号と共にＣＧへの貼り付け部１１５によってテクスチャーを貼り付けた合成画像を得るようにするのである。
第１８図においては、立体地図を認識された部品によって構成する場合における実施の形態につき示されており、第１２図乃至第１７図によって示された実施の形態における同一構成については、同一符号が付されることでその詳細な説明は省略されている。
即ち、夫々の平面展開された平面及び仮想平面上での対象物に着目すれば、画像内の対象物のオプティカルフローはカメラと対象物との相対速度にのみ依存するので、容易に対象物の追跡が可能となるのであり、また，移動体であっても速度が抽出できるのでそれの追跡が容易となっているのである。
対象物の追跡ができれば、対象物の時間変化に対する位置や形状変化を認識の手がかりとして、画像認識が容易となり、また追跡によらずとも、画像内の対象物を直接比較によって三次元ＣＧモデルに置き換えることができる。そのため、前記平面画像構成部９２によって形成された画像中から、対象物選択追跡部１２１によってその画面中に存する特定のある対象物を選択抽出し、それを追跡するのであり、対象物の属性その他の各種情報を認識する対象物の認識部１２２を経て、対象物の属性を付加する属性付加部１２３に入力されるのである。
一方、前記移動体平面画像構成部１０８、移動体速度ベクトル抽出部１０９によって形成された画像中から、移動体選択追跡部１２４によってその画面中に存する特定のある移動体を選択抽出し、それを追跡するのであり、移動体の属性その他の各種情報を認識する移動体対象物の認識部１２５を経て、対象物の属性を付加する属性付加部１２６に入力されるのである。夫々の属性付加部１２３，１２６から認識対象物で構成する立体地図の生成部１２７によって立体地図を生成するのである。
以下、平面展開画像を利用した対象物の認識、追跡処理を交通量監視ビデオカメラの画像解析に適用した具体例を、第１９図乃至第２１図を参照しつつ説明する。
第１９図は、交通量監視ビデオカメラで得られる映像の具体例であり、同図（ａ）は監視ビデオカメラ画像（遠近画像）、（ｂ）は本発明により変換される平面展開画像、（ｃ）は本発明により認識された対象物を示す領域分析表示である。
第２０図は、交通量監視ビデオカメラにおける対象物認識の処理ステップを示すフローチャートである。また、第２１図は、対象物認識により得られた結果を集計した一覧表である。
これらの図に示す例では、交通量監視ビデオカメラ画像から、画像認識により通過車両の車種、車の色、交通量、速度、加速度、監視ビデオカメラ画像内の車両の通行軌跡を求める場合となっている。
まず、交通量監視ビデオカメラで得られる監視ビデオカメラ画像は、第１９図（ａ）に示すように、遠近画像（斜め画像）であり、対象となる車両の大きさや速度は均一ではない。
この遠近画像をデジタル化し、平面展開して本発明の平面展開画像を得る。得られた平面展開図は第１９図（ｂ）に示すようになる。この平面展開画像では、道路面を平面に展開するようパラメータｆ、θを決定しているので、道路面では、車両の幅、長さ等、車両の高さ方向を除けば画像内のどの位置でもスケールは、均一であり、計測可能である。従って、この平面展開画像によって、交通量監視のための画像認識を行うことができる。
従来は、遠近画像（第１９図（ａ）参照）で車両認識認識を行い、車両認識エリアを画面内の一部の範囲に限定しそこを通過する車両を検出、計測することが一般的であった。本発明では、遠近画像を平面展開できるので、平面展開画像（第１９図（ｂ）参照）を利用することで、画像の道路面全体が車両認識範囲として利用できるようになる。
第１９図（ｂ）に示す例では、平面展開画像の上部（上側）で捉えられた移動体（車両）は、進行方向である画像下部（下側）へ移動する。このとき、平面展開画像内では車両画像の大きさは変わらないので、同一車両に対して複数の画像を取得することができる。例えば、平面展開画像の上部から下部へ移動する移動体画像が約３０コマ分の画像データとして取得できる。
そして、この複数の画像を利用することで、詳細な画像分析（領域分析）が行え、例えば、車種の特定精度を向上させることができ、正確な画像認識が可能となる。第１９図（ｃ）に領域分析表示を示す。
平面展開画像では、例えば、認識精度を上げるために、画像の加算平均や画像処理した輪郭画像の加算平均等の処理が可能になり、画像処理上非常に効果的である。また、平面展開画像上では、道路面のどの部分でもスケールが同一であるため位置情報が容易に取得でき、認識と併せて移動体の移動軌跡を追跡できる。また、このようにスケールが同一であることから、車両の位置と移動速度（一秒間のビデオコマ数から計算）は、道路面のどこでも計測可能であり、加速度、時速は容易に計測可能である。
第２０図を参照して、以上の平面展開技術を利用した交通量認識の処理の流れを、より詳細に説明する。
まず、撮影された遠近画像がデジタル化され（第２０図の２０１）、遠近画像から平面展開画像が作成される（同２０２）。
そして、平面展開画像内で移動体領域が検出され、候補領域を背景画像と現在画像の比較演算が行われて候補領域が作成される（同２０３）。候補領域は、背景画像との画像演算で画像処理され、車両の検出上、独立した面積の小さな領域が除去され、残った領域の膨張結合により車両候補の画像領域が特定される。また、背景画像は、カルマンフィルタ等を用いて更新が行われる（同２０３）。
特定された候補領域は、画像処理の閾値を変える等の処理が行われ、詳細に分析される（同２０４）。また、車両候補領域は、平面展開により移動量の予測が可能であるので、車両存在領域画像を取得する際に、車両の存在領域を予測し、画像の大きさ、位置ずれ等の形状修正、調整が行われ、使用する対応領域が分析、決定される（同２０５）。
決定された対応領域は、その位置情報とともにデータベースに登録される（同２０６）。その後、データベースに登録された画像を利用して、加算平均画像が作成される（同２０７）。
そして、この加算平均画像を利用して、車種判定が行われ（同２０８）、認識結果とともにデータベースに登録される（同２０９）。
データベースに登録される情報としては種々のものがあり、例えば、第２１図に示すように、車両ＩＤ、通過時刻（Passed Time）、平均時速（Speed）、加速度（Acc）、車種（Type）、色（Color）など、車両認識に必要となる各種項目の情報が登録される。勿論、第２１図に示した項目に限定されず、他の情報を登録することもでき、例えば、上記項目に加えて、車両加算平均画像や車両の移動軌跡などを登録することもできる。
なお、画像内の対象物を直接比較により三次元ＣＧモデルに置き換えるには、例えば特願平１１−９７５６２号，特願２０００−１９０７２５，特願２００２−１４６８７４等の出願で明らかにされている方法、装置等によるのであり、例えば、対象物を認識し、特定し、固定し、追跡が可能となり、対象物を三次元ＣＧモデルに置き換えることが可能となる。その方法、装置の概略は、対象物に関して取得した対象物情報をこの対象物に対応して予め登録されている情報コードに変換し、その情報コードを送信あるいは出力する情報コード変換装置と、この情報コード変換装置からの情報コードが受信あるいは入力されることで、この情報コードに対応して予め登録されている再現対象物情報に変換する再現変換装置とを備えたものである。また、所要の対象物に関する情報を入力する情報入力手段と、予め作成した各種対象物ないしその部分およびそれらの属性等に関する情報と、それらの情報を夫々コード化したデータとを蓄積してデータベースを形成した第１の部品庫と、前記情報入力手段に入力された情報と前記第１の部品庫に蓄積された情報とを比較対照して対応する情報に関するデータを選択して出力する情報コード変換装置と、前記第１の部品庫と同様にデータベースを形成した第２の部品庫と、前記情報コード変換装置から出力されたデータを前記第２の部品庫に蓄積されたデータと比較対照して対応する対象物を再現する情報を選択すると共に、この対象物を再現する情報に基づいて所要の出力手段により対象物を再現出力する情報再現変換装置とから構成したものである。さらには、外界を一又は複数のカメラで撮影したビデオ映像の画像表示上において任意の位置の一又は複数の対象物を名称や属性で指定するか、あるいはマウスで四角く囲うか、一点位置をクリックするか、若しくはライトペンやタッチパネルで指定することで、当該対象物周囲の存在を除外しつつ上記カメラと当該対象物との相対角度や方向の変化、及び距離の変化を含めて当該対象物を追跡しながら当該対象物の各画像フレームの特徴、若しくは当該対象物の各構成部品の特徴を時系列的に順次に検出し、かつ各種複数の特徴に関する画像データが豊富に保存されたデータベースから当該対象物の各画像フレームの特徴、若しくは各構成部品の特徴の連続的な変化にも対応関係のある画像フレーム、乃至特徴の画像データを順次に検索し、この検索結果に対応してパターンマッチングのとれた当該対象物に対応する２次元乃至３次元形状を含む再現画像を時系列的な変化毎に順次に構成するとともに、当該再現画像を含む各画像フレーム、若しくは当該特徴の画像データを上記画像表示上、若しくは通信回線等を介し他の画像表示上の所要の領域上に所要の大きさ基準の設定に符合させ動画若しくは連続的な静止画の一群として対比的に順次に表示し、かつ必要に応じ当該再現画像に付随乃至生成した名称や属性データをも所要の領域に表示することである。
こうすることで、夫々の対象物に前もって用意していた属性を三次元ＣＧモデルに付加することで、置き換えた対象物の三次元ＣＧモデルを結合集積することによって立体地図を構成することができ、さらに上記テクスチャー貼り付けによって、対象物の三次元ＣＧモデルに実写テクスチャーを貼り付けることが可能となるのである。
また、第２２図乃至第２７図に示す実施の形態にあっては、例えば各種の乗り物等の移動体における周囲画像を取得できるように、移動方向の連続結合を可能とするものである。即ち移動する車両や航空機や船舶等にカメラを積載して撮影することで得られた移動方法の映像を平面展開して、連続結合して一枚の画像とするのである。これは移動する車両や航空機や船舶等にカメラを搭載して、それから斜め画像を順次撮影し、例えば道路に沿って道路映像を撮影し、それを平面展開し、つなぎ合わせ一枚の道路映像を得るというものである。
具体的に、第２２図に示すように例えば乗り物としてのバス２０１の周りの道路を撮影するカメラの状況を説明すると、この場合には６台のカメラが用いてあるが、必要によってはさらに台数を増やしても良い。バス２０１の前方を撮影する第１カメラ２０１Ａをバス２０１前部に、後方を撮影する第２カメラ２０１Ｂをバス２０１後部に、バス２０１の右側前方を撮影する第３カメラ２０１Ｃをバス右側後部に、バス２０１の左側前方を撮影する第４カメラ２０１Ｄをバス２０１左側後部に、バス２０１の右側後方を撮影する第５カメラ２０１Ｅをバス２０１右側前部に、バス２０１の左側後方を撮影する第６カメラ２０１Ｆをバス２０１左側前部に備え、それらのカメラ２０１Ａ…の撮影する範囲を扇形の図で示してある。このようにして６種類の道路面の映像が遠近法で撮影されるが、それを前記の式（１）及び（２）により、地図のような平面画像に展開するのであり、その際、映像上の座標（ｕ，ｖ）は、地図上に変換した座標（ｘ，ｙ）に変換される。
このようにして、バス２０１の周りを撮影して得られた遠近法での映像は、地図のような道路面の映像に変換され、第２３図に示すようになり、バス２０１の周りの地図のような道路面を表示することができるわけである。さらにこれらの平面展開画像をバス２０１の進行方向にどこまでも結合すれば、地図ができあがることになる。
その具体的な例を第２４図及び第２５図に示すと、第２４図にはその（１）…（９）までの９枚の道路の斜め画像がある。これを前記の式（１）及び（２）により、地図のような平面画像に展開し、そしてそれをつなぎ合わせ一本の道路として地図のように表示したのが第２５図である。これが通常のカメラで撮影した画像即ち斜め画像の平面展開の例、及び平面展開画像の結合の例である。
このとき、画像形成に不要な移動体画像があれば、それを削除することもでき、重複する対象物を一部含む複数の画像を結合する際に、移動体が写っている場合にはその移動体の映像を避けて画像結合させることで、静止物体のみの結合画像を生成するのである。例えば道路上に車両等が写っている場合に、その車両等を避けて平面展開する画像を組み合わせ、つなぎ合わせることにより、道路のみの写っている長い道路の写真が得られるのである。
次に、本発明のよる応用例の幾つかを説明すると次のようである。
即ち平面展開画像として、道路面・海上面・湖水面・河川面・地上面・垂直壁面・同一平面に配列された対象物が作る垂直仮想平面・建築壁面床面・船の甲板面・滑走路誘導路等空港施設面等を扱うことができる。これは、通常のカメラで撮影した画像を平面に展開するとき、その平面展開面の対象物として、道路面・海上面・湖水面・河川面・垂直壁面・同一平面に配列された対象物が作る垂直仮想平面・地上面・建築壁面床面・船の甲板面・滑走路誘導路等空港施設面等を扱うというものである。
また、応用機器例として乗り物とすることもでき、例えばバス等の陸上乗り物における周辺道路面、ビル面、電柱の配列面、街路樹の配列面、ガードレールの配列面等であり、船舶等海上の乗り物の海上面等、船舶の甲板、壁面等であり、航空機等の滑走路、地上面等であり、これによって全方位全面表示、あるいは目的領域面表示を可能とするのである。
即ち、第２２図乃至第２５図に示すように、バス２０１等の陸上乗り物に取り付けた通常のカメラ２０１Ａ…からの周辺道路面、ビル面、電柱の配列面、街路樹の配列面、ガードレールの配列面等、船舶等海上の乗り物の海上面等、船舶の甲板、壁面等、航空機等の滑走路、地上面等の映像を平面図に展開し、その夫々の周りにおける周辺道路面、ビル面、電柱の配列面、街路樹の配列面、ガードレールの配列面等の全方位全面表示を可能にするのである。あるいは図示を省略したが、船舶等海上の乗り物の海上の全方位全面表示、及び船舶の甲板、壁面等、の全面全方位表示、さらには航空機等の滑走路及び海上面の全方位全面表示を行なうこととができるのである。
さらには、他の応用例として、建築構造物に適用することができ、第２６図、第２７図に示すように例えば建築物の床面、壁面等の平面部分を平面展開表示、及び平面結合表示を可能にするのであり、建築物の内部の撮影を通常のカメラで行ない、床面、壁面等の平面部分を平面展開表示、及び平面結合表示を行なうというものである。
即ち、第２６図に示したのが通常のカメラで撮影した室内の斜め画像であり、例えばこれらの（１）…（１６）の１６枚の画像に対して前記の式（１）、（２）により平面画像に変換し、それらをつなぎ合わせたのが第２７図に示す通りである。このように実際には撮影することのできない画像を、建物の部屋の中の床面、壁面を展開した画像として得ることができ、床面に対しての周囲の壁面を展開した画像として生成できるのである。
さらには、立体地図作製をも可能にするのであり、複数のカメラで、移動する車両、航空機、船舶等で路面や地上面や水上面を連続撮影するのみならず、ビル壁面等のような垂直面、あるいは複数の電柱、ガードレール等が規則的に平面的に配列されている仮想垂直平面を持つ対象をも連続撮影することで、前記平面展開した画像を移動方向に結合延長させながら、同時に垂直面を含むより広範囲の平面垂直面展開図をつくることで、立体地図を作製するのである。
即ち、移動する車両等例えば、車両、航空機、船舶等に積載したビデオカメラで撮影した路面や地上面や水上面の画像を平面図に展開し、それらを適切な方法で結合させ、結合平面展開図を作り、さらに移動方向にも結合延長させることで地図を作製するというものである。あるいはビル壁面等のような垂直面、あるいは複数の電柱、ガードレール等が規則的に平面的に配列されている仮想垂直平面を持つ対象をも連続撮影することで、前記平面展開した画像を移動方向に結合延長させながら、同時に垂直面を含むより広範囲の平面垂直面展開図をつくることで、立体地図を作製するのである。
産業上の利用可能性
本発明は以上のように構成されているために、実際には撮影することのできない画像を、本方法、装置を用いることにより、方程式（１）および方程式（２）を用いて変換することにより、斜め画像を平面画像にすることができるのでその応用範囲も広いものである。
また、視点を重複させた複数のカメラによって同一地点の映像を異なる地点から撮影した複数の映像によって平面展開画像を生成することで、重複部分の平面展開画像内で視差を検出することができる。即ち、従来であれば、視差の検出による三次元データの検出は常に原画像、即ち遠近法の画像そのものから得られていたが、本発明では平面展開画像処理をしてから視差を検出するという新しい方法によるから、位置精度のよい三次元データを得ることができるのである。
しかもこれによって、従来よりさらに精度のよい直接三次元形状のデータを簡単に取得することができ、視野の重複する複数の映像から得られる視差は、動画内の静止座標形においてはオプティカルフローとしばしば同一の意味を持つが、対象物が時間変化する場合や、三次元座標の精度を上げる場合には特に有効なものである。
そして、平面展開された画像情報とカメラの位置情報を送受信することで所望の動画像を再構成することができ、データ伝送量を可能な限り小さくしながら動画像データを高速に送受信することができ、特に、帯域の狭い電話回線、インターネット回線等を使用した動画伝送に有効なものとなる。

Claims (23)

1. 通常のカメラから得られた遠近法の映像から平面展開に必要な情報を読みとって平面図に展開し、それを組み合わせ、つなぎ合わせ、一枚の大きな展開図にする道路面等の平面対象物映像の平面展開画像処理方法であって、
   通常のカメラから得られた遠近法の映像から平面展開に必要な下記θ、ｆ、ｈ、β、ｖ、ｕの情報を読みとり、下記の式（１）及び（２）により平面図に展開し、それを組み合わせ、つなぎ合わせ、一枚の大きな展開図にすることを特徴とした道路面等の平面対象物映像の平面展開画像処理方法。
   ｙ＝ｖ・２^１／２・ｈ・ｃｏｓ（π／４−θ）・ｃｏｓ（β−θ）／（ｆ・ｓｉｎβ） …………………（１）
   ｘ＝ｕ・ｈ・ｃｏｓ（β−θ）／（ｆ・ｓｉｎβ）…………………（２）
   ただし、θはカメラの光軸と道路面のなす角度、ｆはカメラの焦点距離、ｈはカメラの高さ、βはカメラの真下からｈ＋ｙの距離にある点と、カメラを結ぶ線分と道路面のなす角度、ｖはカメラにおける映写面であるＣＣＤ面上の原点から縦方向の座標、ｕはＣＣＤ面上の原点から横方向の座標、ｙは道路面におけるカメラの真下からｈ進んだ点を原点としてそこからさらに光軸方向に進んだ距離即ち座標、ｘは道路面における横方向の距離即ち座標とする。
2. 平面を含む現実場面の対象を斜めから撮影した画像に関して、数学的演算により、元々が平面で構成されている面を、現実場面の平面と比例関係となる平面画像として、平面に展開して表示する請求項１に記載の道路面等の平面対象物映像の平面展開画像処理方法。
3. 複数の平面展開画像を結合して、一枚の大きな平面展開画像として表現する請求項１又は２に記載の道路面等の平面対象物映像の平面展開画像処理方法。
4. 複数の入力映像を平面展開し、夫々画像を結合して、一枚の画像とし、目的領域の全域を表示し、また必要に応じて、その表示された場所に対応した入力映像をもダイレクトに同時に表示させる請求項１乃至３のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
5. 移動物体による移動方向の映像を平面展開して、連続結合して一枚の画像とする請求項１乃至４のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
6. 画像形成に不要な移動体画像を削除し、その移動体画像を避けて画像結合させて静止物体のみの結合画像を生成する請求項１乃至５のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
7. 取得した平面画像中において、消失点を求める過程で、各画像の消失点の位置を固定するように映像を移動して表示することで、手ぶれ等で揺れる映像を安定化する請求項１乃至６のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
8. 平面展開によって得られた異なる複数の平面から構成される動画像の、その中の微小領域の単位時間移動量をオプティカルフロー手法により必要な範囲で求め、その成分分布図から同一成分を抽出することにより、夫々単独の平面画像を分離する請求項１乃至７のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
9. 平面変換された動画像から得られた平面動画像において、オプティカルフローの分布図を生成し、その微小差から平面からのズレとして平面の凹凸を検出し、若しくは前記平面動画像において異なる画角から得られた平面画像を比較演算することにより視差を検出して、その成分分布から平面内の凹凸成分を検出し、この検出した凹凸値で元平面図の各点の平面からのズレを含めた修正平面図を生成する請求項１乃至８のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
10. 複数の平面図に展開された複数の平面画像を相関法若しくはマッチング法等の手法によって比較演算することにより、道路面等の複数の平面画像上の夫々の小領域毎に、夫々が対応する小領域の移動量を視差方式若しくはオプティカルフロー方式等により求め、その成分の分布から道路面等の凹凸等の三次元データを検出し若しくは検出した三次元凹凸値で、元平面図の各点の平面からのズレを含めた修正平面図を生成する請求項１乃至８のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
11. 平面展開した連続画像の平均的オプティカルフロー値、若しくはマッチング対応位置の移動距離を求め、その値から対象平面の移動距離・移動速度・移動方向、若しくは撮影したカメラの移動距離・移動速度・移動方向を求める請求項９又は１０に記載の道路面等の平面対象物映像の平面展開画像処理方法。
12. 分離された平面展開された単独平面内の対象物平面のテクスチャーを、場所の対応するＣＧ（コンピュータグラフィックス）画像若しくは地図画像内の対象物平面に貼り付けることで、ＣＧ画像若しくは地図画像に実写画像を取り込み、平面として、若しくは逆変換して遠近法画像として表示する請求項１乃至１１のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
13. 請求項１に記載の式（１）及び（２）において、先ずｆとｈを与え、さらに対象物の平行線が画像内で持つ交点を形成する交差線であるとき、この交差線が平面展開したときに平行となるようにθを選択することで、θを求める請求項１乃至１２のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
14. 請求項１３において、選択するθを微調整する請求項１３に記載の道路面等の平面対象物映像の平面展開画像処理方法。
15. 実写映像中の平行線の部分を画像内から抽出し、その交点のつくる目的平面に平行な面である平面ａと、光軸点を含む目的平面に平行な面である平面ｂとの距離をｄとし、仮想焦点距離をｆとし、これらのｄとｆとの比から、θ＝ａｒｃＴａｎ（ｄ／ｆ）として、θを求める請求項１乃至１４のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
16. 異なる設置場所に設置した複数の通常のカメラによって同一地点の同時映像を複数取得し、その複数の同一地点同時映像の平面展開画像を比較演算することで視差を検出し、この視差から対象物の三次元形状を生成する請求項１乃至１５のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
17. 平面映像を含む遠近法的に表現された映像を平面図に変換して生成した平面展開図、若しくは複数の方向から撮影された複数の平面映像を含む映像を平面図に展開した後に対応点を重ねることで結合して生成した一枚の大画面平面展開図、または平面図状のＣＧ（コンピュータグラフィックス）画像や地図を元として、請求の範囲２に記載の式（１）及び（２）に対する逆変換式によって任意の視点から見た仮想の遠近法画像を生成し、若しくは連続的に処理をすることで仮想の移動するカメラ視点による動画を生成する請求項１乃至１６のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
18. 逆変換式は、下記の式（３）及び（４）である請求項１７に記載の道路面等の平面対象物映像の平面展開画像処理方法。
    ｖ＝ｙ・ｆ・ｓｉｎβ／（２^１／２・ｈ・ｃｏｓ（π／４−θ）・ｃｏｓ（β−θ））…………………（３）
    ｕ＝ｘ・ｆ・ｓｉｎβ／（ｈ・ｃｏｓ（β−θ）） …………………（４）
    ただし、ｈはカメラの道路面からの高さ、θはカメラの光軸と道路面のなす角度、ｆはカメラの焦点距離、βはカメラの真下からｈ進んだ点からｙだけ先へ進んだ点とカメラのレンズとを結ぶ線分と、道路面との成す角度、ｘはカメラの光軸を道路面に正射影して得られる線分から垂直方向すなわちカメラから見て横方向の座標、ｙはカメラの真下からｈ進んだ点を原点としたときの光軸方向の座標、ｖはカメラにおける映写面であるＣＣＤ面上の縦方向の座標、ｕはＣＣＤ面上の横方向の座標である。
19. 平面展開された画像によって、画像上での計測処理、画像認識処理等の各種の認識処理を可能にする請求項１乃至１８のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
20. 平面展開画像は、道路面・海上面・湖水面・河川面・地上面・垂直壁面・同一平面に配列された対象物が作る垂直仮想平面・建築壁面床面・船の甲板面・滑走路誘導路等空港施設面等である請求項１乃至１９のいずれかに記載の道路等の平面展開画像処理方法。
21. 移動物体にて取得する平面展開画像は、陸上移動物体自身における周辺道路面、ビル面、電柱の配列面、街路樹の配列面、ガードレールの配列面等であり、海上移動物体自身における周囲の海上面、船舶の甲板、壁面等であり、空中移動物体自身における滑走路、地上面等である請求項１乃至２０のいずれかに記載の道路等の平面展開画像処理方法。
22. 平面展開画像は、建築物の床面、壁面等の平面部分の平面展開表示、及び平面結合表示である請求項１乃至２１のいずれかに記載の道路等の平面展開画像処理方法。
23. 複数の映像入力装置で、移動する路面や地上面や水上面を連続撮影し、ビル壁面等のような垂直面、あるいは複数の電柱、ガードレール等が規則的に平面的に配列されている仮想垂直平面を持つ対象をも連続撮影することで、平面展開した画像を移動方向に結合延長させながら、同時に垂直面を含む広範囲の平面垂直面展開図をつくることで、立体地図を作製する請求項１乃至２２のいずれかに記載の道路等の平面展開画像処理方法。

Images