JP4355535B2

JP4355535B2 - ３６０度画像変換処理装置

Info

Publication number: JP4355535B2
Application number: JP2003288448A
Authority: JP
Inventors: 和郎岩根
Original assignee: IWANE LABORATORIES, LTD.
Current assignee: IWANE LABORATORIES, LTD.
Priority date: 2003-08-07
Filing date: 2003-08-07
Publication date: 2009-11-04
Anticipated expiration: 2023-08-07
Also published as: JP2005056295A

Description

本発明は、通常のカメラで撮影される映像より広い範囲を示す広範囲映像を、特殊な三次元処理ボード等を必要とすることなく、ソフトウェア処理のみで高速に所望の平面画像に変換して表示する画像変換処理装置に関する。
特に、本発明は、仮想球面に貼り付けられた広範囲球面画像の極点を回転させることで、高速座標変換演算による平面変換が行え、仮想球面上の任意の点で所望の球面画像を自由に平面変換でき、動画像であっても、高速かつ大画面に変換して表示することが可能となり、しかも、隣接する複数の平面変換画像を結合した状態で同時に表示することができる３６０度画像変換処理装置に関する。

一般に、広角レンズや魚眼レンズ付きカメラや複数台のカメラ、あるいは回転カメラなどで撮影されるパノラマ映像や全方位映像，３６０度全周囲映像は、通常のカメラで撮影される映像より広い範囲を示す広範囲映像である。このような広範囲映像では、一つの画像においてより広範な領域を示すことができることから、例えば、交通や河川等の監視システムや室内外の防犯システム、あるいは映画やゲームの立体映像等に利用されている。
従来、この種の広範囲映像は、例えば３６０度の球面画像の一部（又は全部）を球面スクリーン等に投影してそのまま表示，観察するか、あるいは、球面画像の一部を所定の平面に投影，変換した平面画像として表示，観察するようになっていた（例えば、特許文献１−５参照。）。

特開平０９−０６２８６１号公報（第７頁、第２図）特開平１１−０１８００７号公報（第４頁、第４図）特開２０００−０６７２２７号公報（第５頁、第４−５図）特開２００３−１４１５６２号公報（第１２頁、第８図）特開２００３−１８９２８９号公報（第６頁、第６図）

しかしながら、以上のような従来の広範囲画像処理技術では、球面画像をそのまま観察するか、所定の平面に投影して観察されるようになっていたが、画像を動画で表示すると、演算が間に合わず、非常に遅く表示されてしまい、そのままでは実用に耐えないという問題があった。
このため、３６０度画像は、静止画像として観察するか、又は専用の三次元処理ボードを用いて、バードウェアによる処理をすることで対処してきたが、それでも処理速度が遅く、画面の面積をかなり小さくすることで、平面に投影した狭小な動画像を表示することで対処しているのが実情であった。

従って、このような従来技術においては、専用の三次元処理ボードを用いない限り動画再生は不可能であり、そのようなハードウェアを用いたとしても、実用的にかなりの制約があり、現実には実用の段階には至っていない。
ましてや、複数の球面画像を同時に平面変換し、その大面積画像を動画像として表示するようなことは不可能であった。また、動画像として表示できないことから、動画像に基づいてカメラの傾斜や回転を補正するようなことは一切できなかった。
さらに、このような従来技術では、静止画像を除いては、視点を高速で自由に変更することも不可能であった。

本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、特別の三次元処理ボード等を必要とすることなく、ソフトウェアによる二次元処理によって、高速な画像変換・再生・表示を実現し、動画像であっても高速処理が可能となる３６０度画像変換処理装置の提供を目的とする。
そして、本発明は、仮想球面に貼り付けられた広範囲な球面画像の極点を回転させることで、高速座標変換演算による平面変換が行え、仮想球面上の任意の点で所望の球面画像を自由に平面変換でき、動画像であっても、高速かつ大画面に平面変換して表示することが可能となり、隣接する複数の平面変換画像を結合した状態で同時に表示することができる３６０度画像変換処理装置の提供を目的とする。
さらに、このような球面画像からの平面変換を実現することで、動画像の傾き回転修正やカメラ位置演算、路面抽出、対象物の抽出、画像全体の三次元抽出演算等をも可能となる３６０度画像変換処理装置の提供を目的とする。

上記目的を達成するため、本発明の３６０度画像変換処理装置は、球面画像出力装置と、分割平面変換画像生成装置と、表示装置を備え、球面画像出力装置は、通常のカメラで撮影される映像よりは広い範囲の映像を取得する手段と、取得した画像データを変換して全球面画像の一部として仮想球面に貼り付ける手段と、仮想球面に貼り付けた状態の球面画像データとして出力する手段と、を有し、分割平面変換画像生成装置は、仮想球面上の任意点を指定する手段と、球面画像出力装置から出力された球面画像データを、指定された仮想球面上の任意点に接する目的平面に投影変換して一又は二以上の平面画像を生成する手段と、を有し、表示装置は、分割平面変換画像生成装置で生成された一又は二以上の平面画像を、一又は二以上の表示機器に表示する手段と、を有する構成としてある。

そして、本発明の３６０度画像変換処理装置では、分割平面変換画像生成装置は、球面画像データから一つの平面画像を生成する場合には、仮想球面の任意の一点に接する一つの平面画像をそのまま生成し、球面画像データから複数の平面画像を生成する場合には、仮想球面の複数の任意点に接する複数の平面画像をそれぞれ単独で、又は、複数の平面画像が連続するような連続して生成し、表示装置は、分割平面変換画像生成装置で生成された一つの平面画像を単独で、又は、複数の平面画像を同時に表示する構成としてある。

より具体的には、本発明の３６０度画像変換処理装置は、分割平面変換画像生成装置は、カメラで取得された映像から生成された球面画像出力データ、コンピュータグラフィックスから生成された球面画像出力データ、記憶装置に保存されている動画像から再生された球面画像データの少なくともいずれかを取得する球面画像データ取得部と、球面画像データが記録されている仮想球面上で、元となる地球座標系上の任意の緯度経度で指定した目的点を含む経線が、変換した新たな地球座標系上の緯度０度の赤道となるように、元となる地球座標系上の極点を９０度回転させるように座標変換して新たな地球座標系を生成する極移動座標変換演算部と、元となる地球座標系上の任意の緯度経度で指定した目的点を、新たな地球座標系上における赤道上での目的点に置き換え、次に変換すべき平面を赤道に接する平面として置き換え、また、必要が有ればその新しい赤道上の接点を中心に画像を９０度回転座標変換して画像の上下左右の向きを変更し、任意の緯度経度における任意の画像回転方向の任意の画角を持つ平面変換画像を生成する部分赤道平面画像生成部と、極移動座標変換部及び部分赤道変換画像生成部における座標変換に関する、次回以降の画像の座標変換の演算に再利用可能なテーブルを生成し、演算を効率化して演算時間を短縮する変換テーブル再利用演算部と、置き換えられた新しい赤道上において複数の経度点で同様の平面変換画像を生成することで、球面画像データの一部又は全部から、球面に接する一つ又は複数の目的平面に同時に投影変換した一つ又は複数の分割平面変換画像を生成する分割平面画像生成部と、さらに、必要に応じて、隣接する平面変換画像の隣接する両画像端で、連続する画像を生成する分割平面変換画像データを生成する分割平面結合画像生成部と、を有し、表示装置は、分割平面変換画像生成装置で生成された平面変換画像の一部又は全部を、同一の表示機器に表示し、又は複数の表示機器に同期して表示する構成としてある。

また、本発明の３６０度画像変換処理装置は、画像傾斜回転補正装置をさらに備え、この画像傾斜回転補正装置は、分割平面変換画像生成装置により生成された複数の平面変換画像のいずれか一又は二以上の画像を選択する手段と、選択された画像中に映し出されている対象物の一部、又は複数の対象物を関連づけて得られる共通の図形に着目した着目点を抽出する手段と、複数のフレームに渡って、抽出した着目点の変動量を検出することにより、カメラの傾斜や道路の傾斜、撮影車両の揺れ等に起因する画像の傾斜角と回転量を検出する手段と、検出された画像の傾斜角と回転量の補正量を検出して補正信号を生成する手段と、補正信号に基づき又は直接的により傾斜回転を補正した平面画像を生成する手段と、を有する構成としてある。

また、本発明の３６０度画像変換処理装置は、画像傾斜回転補正装置は、仮想球面の赤道上の複数の点を指定点とする目的面に適合した複数平面を生成するとともに、仮想球面の南北両極点を指定点とする目的面に適合した複数平面を生成し、生成された複数平面の平面変換画像データの一部又は全部を解析して画像中の直線を抽出する直線抽出部と、抽出された直線から、直線間の平行線を検出する平行線群計測部と、抽出された直線から、直線の交点が作る消失点群を検出する消失点群計測部と、生成された直線データ，平行線データ及び消失点群データから、カメラの傾斜や道路の傾斜、撮影車両の揺れ等に起因する画像の傾斜角と回転量を計測する傾斜回転検出部と、計測された傾斜角と回転量から、画像の補正信号を生成する補正信号生成部と、元画像となる地球座標の画像データを、補正信号で修正して新たな地球座標を持つ画像データに変換して補正分割平面変換画像を生成する補正球面画像生成部、及び／又は、元画像から分割平面変換画像に変換する際に、球面画像データを補正せずに、補正信号を付加することで分割平面変換画像に直接補正しつつ変換することで、補正分割平面変換画像を生成する補正分割平面変換画像生成部と、を有する構成としてある。

また、本発明の３６０度画像変換処理装置は、三次元ベクトル計測装置をさらに備え、この三次元ベクトル計測装置は、球面画像出力装置から球面画像又は球面画像から変換された変換平面画像の動画を取得する動画取得部と、動画から適切なフレームを連続してサンプリングして取得する動画サンプリング指定部と、適切にサンプリングした複数のフレーム画像間の、基準となる複数の対応点を検出して、その中から演算に適切な所定数の点を選択して指定する対応点検出指定部と、連続する各フレーム間に存在する、前記所定数の対応点の位置と、移動するカメラ間の位置ベクトル、カメラの回転ベクトル、各カメラ位置と対応点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する三次元ベクトル演算部と、各フレームに対応する複数のカメラ位置と複数の対応点の数により、複数通り生じる演算方程式により、前記各点のベクトルを複数通り演算して求めて、各点の誤差を最小にするように統計処理をして精度の高い各点のベクトルを求める誤差収束演算部と、得られた相対ベクトル値に既知の値を導入することで、絶対ベクトル値に変換する絶対ベクトル値変換部と、その演算結果を目的にあった形式で表示するための信号を出力する各種信号出力部と、を有する構成としてある。

また、本発明の３６０度画像変換処理装置は、対象物ベクトル計測装置をさらに備え、この対象物ベクトル計測装置は、対象物が面数Ｎの多面体の組み合わせから構成されていると仮定し、分割平面変換画像装置における分割数を多面体の面数Ｎと同じ面数とし、それぞれの面が多面体を構成するＮ個の平面変換画像として、分割平面変換画像を表示する直交分割平面変換結合画像生成部と、分割平面を回転させることで、対象物を構成する多面体の一つの面と、分割画像表示した多面体のいずれかの面が平行になる位置を検出する回転多面体平行検出部と、検出された位置で、各変換画像の三次元オプティカルフローを演算で求める三次元オプティカルフロー演算部と、変換平面に平行なすべての平面を、同一の三次元オプティカルフローを持つ集合毎に分類して、複数の集合として選択する、各同一オプティカルフロー分類集合選択部と、選択された画素集合から、さらに各同一オプティカルフロー値毎に画素を分類し、各平行平面毎に分類して、カメラからの距離別に平行平面を選択する単一平行平面選択部と、選択された平行平面は同一オプティカルフロー値群がすべて変換平面に平行な平面であり、また、そのオプティカルフロー値の違いが各平行平面のカメラからの距離の違いを示すことにより、その値から平行平面の方向と位置と大きさを決定し、対象物を構成する平面の三次元座標を決定する選択平面三次元座標取得部と、前記各部の処理を繰り返すことで、対象物のすべての平行平面の三次元座標を取得し、三次元的に既知となった対象物の三次元形状を、既知となった複数の平面から構成される多面体として表現する対象物平面形状取得部と、各面のテクスチャーを画像から取り込む対象物テクスチャー取得部と、を有する構成としてある。

また、本発明の３６０度画像変換処理装置は、対象物ベクトル計測装置は、対象物が六面体から、又は複数の異なる六面体から構成されると仮定し、分割平面変換画像装置における分割数を六とし、それぞれの面が直角に交差する六面体を構成する六個の平面変換画像として、分割平面変換画像を表示する直交分割平面変換結合画像生成部と、分割平面を、直角を保ったまま同時に回転させることで、対象物を構成する六面体の一つと、分割画像表示した六面体の一面が平行になる位置を検出する回転六面体平行検出部と、検出された位置で、各変換画像のオプティカルフローを演算で求めるオプティカルフロー演算部と、変換平面に平行なすべての平面を同一のオプティカルフローを持つ集合毎に複数の集合として選択する、各同一オプティカルフロー集合選択部と、選択された画素集合から、さらに各同一値毎に画素を分類し、各平行平面毎に分類して、カメラからの距離別に平行平面を選択する単一平行平面選択部と、選択された平行平面は同一オプティカルフロー値群がすべて変換平面に等しい平面であり、また、そのオプティカルフロー値の違いが各平行平面のカメラからの距離の違いを示すことにより、その値から平行平面の方向と位置と大きさを決定し、対象物を構成する平面の三次元座標を決定する選択平面三次元座標取得部と、前記各部の処理を繰り返すことで、対象物のすべての平行平面の三次元座標を取得し、三次元的に既知となった対象物の三次元形状を、既知となった複数の平面から構成される六面体として表現する対象物六面体取得部と、各面のテクスチャーを画像から取り込む対象物テクスチャー取得部と、を有する構成としてある。

また、本発明の３６０度画像変換処理装置は、三次元地図生成装置をさらに備え、この三次元地図生成装置は、対象物ベクトル計測装置で得られた対象物の形状取得とテクスチャー取得とをすべての対象物について繰り返すことで、全空間の対象物を平面で構成する平面構成空間生成部と、路面を走行するカメラの移動にともなって、前記対象物の形状取得とテクスチャー取得の処理を繰り返すことで、三次元地図を生成する全空間対象物画像構成部と、を有する構成としてある。

また、本発明の３６０度画像変換処理装置は、視点コントロール画像生成装置をさらに備え、この視点コントロール画像生成装置は、球面画像の動画像又は静止画像のデータを送信する球面画像画伝送部と、球面画像伝送部のデータ送信と同時に、又は前もって、分割平面画像変換生成装置のプログラムを伝送する展開プログラム伝送部と、画像の視点，視角，回転，スクロール等の機能を予め決められた態様でコントロールするための視点プログラムを生成する視点プログラム生成部と、生成された視点プログラムを送信する視点プログラム伝送部と、球面画像の動画像又は静止画像のデータ，分割平面画像変換生成装置のプログラム及び視点プログラムを受信する受信部と、分割平面画像変換生成装置で生成される平面変換画像を、視点プログラムによって視点，視角，回転，スクロール等の機能を予め決められた態様で平面展開する視点コントロール部と、を有する構成としてある。

さらに、本発明の３６０度画像変換処理装置は、目的平面凹凸検出装置をさらに備え、この目的平面凹凸検出装置は、複数のフレーム画像，複数のカメラによる複数の画像，分割平面変換画像装置で生成される平面変換画像，又は他の装置で生成される平面画像の少なくともいずれかから、目的平面に平行な面で平面変換画像を取得する目的平面変換画像取得部と、三次元ベクトル計測装置によりカメラ位置を連続して取得するカメラ位置方位計測部と、連続する各平面変換画像において、精度から決まる目的の面積域にまで絞って、各目的平面画像上の小領域の対応点を検出する目的平面小領域対応点検出部と、取得された対応点の位置と座標上の距離を画像から抽出する対応点座標抽出部と、抽出された対応点の目的平面から垂直方向の距離を演算で求める対応点凹凸演算部と、目的平面上の必要な範囲で対応点の凹凸を演算する目的平面凹凸演算部と、を有する構成としてある。

以上のような構成からなる本発明の３６０度画像変換処理装置によれば、まず、ゆがみのない平面画像を表示することができる。
一般に、仮想球面に貼り付けられた３６０度画像は、単にそのまま表示したのでは、ゆがんでしまい直線部分が曲線として表示されてしまう。そこで、本発明の画像変換処理装置では、ゆがみのない画像を表示するために、球面画像を複数の領域に分割し、それぞれが結合された状況で平面変換し、それを表示するようにしてあり、これによって、球面の一部又は全部を、直線が直線として表示される、ゆがまない画像を表示できる。

また、本発明の３６０度画像変換処理装置によれば、仮想球面上に指定した任意点を通る経線を、最初に極移動して得られる新しい座標系の赤道となるように座標変換し、次に赤道面上で指定点の平面展開に置換するという、二度の座標変換に置き換えるようにしてある。
こうすることで、極移動座標変換は常に９０度回転の座標変換となり、これは常に同じ演算形式の座標変換となり、前に計算した変換テーブルを用いて、単なる加算減算の座標移動として扱うことができるので、演算時間は短縮される。
そして、指定点は常に赤道上を移動することになるので、その座標変換も、常に同じ演算の形式の座標変換の繰り返しとなり、前に計算した変換テーブルを用いて、単なる定数の加算減算による座標移動とすることができる。
このように、二つの座標変換を以前の演算結果を用いることができるので、平面変換の演算時間は大幅に短縮され、球面画像から所望の平面画像への変換処理が高速で行えるようになり、従来技術では困難であった動画像であっても問題なく平面変換することができるようになる。

また、本発明の３６０度画像変換処理装置によれば、移動する３６０度動画像を解析して、画像の傾斜や回転を取り出し、動画像を補正して、車両の揺れやカメラの傾斜に起因する揺れが補正された動画像を表示することができる。
また、本発明の３６０度画像変換処理装置によれば、動画像を解析して、カメラ位置を画像から計測して、動画像各フレーム画像の撮影位置を演算で生成することができる。
また、本発明の３６０度画像変換処理装置によれば、ゆがまない映像を任意に又は予めプログラムして、視点移動する画像を生成して、疑似動画として表示することができる。
さらに、本発明の３６０度画像変換処理装置によれば、画像解析を組み合わせて、画像内の対象物を三次元計測し、それらを組み立てることにより三次元地図を生成することができる。

そして、以上のような本発明の３６０度画像変換処理装置の機能は、ソフトウェアによる二次元処理によって実現することができ、特別の三次元処理ボード等を必要とすることなく、ソフトウェアのみで、高速な画像変換・再生・表示を実現し、動画像であっても高速処理が可能となる。このため、複雑で高価なハードウェア構成が不要となり、低コストかつ汎用性，拡張性に優れた３６０度画像変換処理装置を実現することができる。

以下、本発明に係る３６０度画像変換処理装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の３６０度画像変換処理装置の各実施形態における装置の処理及び手段は、コンピュータによりプログラム（ソフトウェア）が実行されることによって実現される。プログラムは、コンピュータの各構成要素に指令を送り、所定の処理を行わせる。すなわち、本発明における各処理，手段は、プログラムとコンピュータとが協働した具体的手段によって実現することができる。
このように、本発明の３６０度画像変換処理装置が、プログラム（ソフトウェア）によって実現されることで、以下に示す各実施形態における装置の処理及び手段は、特別の三次元処理ボード等を必要とすることなく、ソフトウェアのみで実現できるようになっている。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、通信回線を介してコンピュータに直接ロードすることもできる。

［第一実施形態］
まず、図１〜図１２を参照して、本発明に係る３６０度画像変換処理装置の第一実施形態について説明する。
図１は、本発明の第一実施形態に係る３６０度画像変換処理装置の基本的構成を示すブロック図である。図２は、図１に示す３６０度画像変換処理装置の基本的動作を示す機能ブロック図である。
これらの図に示すように、３６０度画像変換処理装置１は、球面画像出力装置１０と、分割平面変換画像生成装置２０と、表示装置３０を備えている。

球面画像出力装置１０は、まず、通常のカメラで撮影される映像よりは広い範囲の映像を撮影，取得する（図２のＳ１０１）。
ここで、通常のカメラで撮影される映像よりは広い範囲の映像とは、３６０度カメラのような全空間に近い画像データを取得することをいう。なお、３６０度カメラといっても４π全空間を含む必要はなく、３６０度の全球画像の一部分として扱うことができる画像であれば、すべて本発明にいう広い範囲の映像に該当する。また、通常のカメラで撮影される映像についても、本発明による効果は少ないが本質的に差異はなく、広範囲映像と同様に扱うことはできる。

広範囲映像を撮影，取得するカメラとしては、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等があり、また、車両に複数のカメラを固定し、移動しながら広範囲映像を撮影するカメラであっても良い（図３参照）。さらに、ＣＧ（コンピュータグラフィックス）で作った広範囲の映像を広範囲映像として使用することもできる。
図３に、車両１ａに複数のカメラ部を有するカメラを搭載して撮影される映像の具体例を示す。同図に示すカメラは、車両１ａの天井部に設置され、カメラの３６０度全周囲の映像を複数撮影できるようになっている。そして、車両１ａが移動することで、広範囲映像を動画データとして取得できるようになっている。

そして、球面画像出力装置１０は、広範囲映像を貼り付けるための仮想球面を設定するとともに（図２のＳ１０２）、取得された画像を仮想球面の一部として扱い、各画像を球面に変換して仮想球面に貼り付ける（図２のＳ１０３〜１０４）。
ここで、一枚の画像の場合、撮影時の画角に一致する仮想球面に貼り付けることができる。複数の画像の場合は、撮影時の画角に一致する複数の仮想球面に貼り付ける。また、仮想平面が共通であれば、結合して貼り付けることもでき、さらに、結合せずにオーバーラップした状態で独立した球面に貼り付けることもできる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存され、分割平面変換画像生成装置２０に出力される（図２のＳ１０５）。
なお、仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる（図３参照）。
図４（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例である。

分割平面変換画像生成装置２０は、球面画像出力装置１０から出力された球面画像データを元として、上述した仮想球面上の任意の点を指定し（図２のＳ２０１）、この任意点に接する目的平面に投影変換した平面画像を一つ又は複数生成する（図２のＳ２０２，Ｓ２０３）。
図５に、仮想球面と仮想球面上の任意点に接する平面画像との関係を示す。
ここで、生成される平面画像が、一つの平面画像の場合は、そのまま仮想球面の任意の一点に接する平面画像を生成する（図２のＳ２０２）。一方、生成される平面画像が、複数の場合は、仮想球面の複数の任意点に接する複数の平面画像を生成することができ（図２のＳ２０３）、また、それらの複数の平面画像が連続するような連続平面画像を生成することもできる（図２のＳ２０４）。
そして、平面画像は、一つの平面画像を単独で生成することもでき、また、複数の平面画像を同時に生成することもできる。そして、生成された一又は複数の平面画像が、表示装置３０によって表示される。

表示装置３０は、分割平面変換画像生成装置２０から出力される平面画像データを表示する表示手段であり、一つの表示機器に一つの平面画像を表示し（図２のＳ３０２）、又は複数画像のそれぞれに適合した複数の表示機器に、それぞれの平面画像を同期して表示する（図２のＳ３０３）ようになっている。
表示装置３０では、（１）一つの表示画面に一つの平面を表示する場合、（２）一つの表示機器に複数の平面変換画像を表示する場合、（３）複数の表示機器を配置して、それぞれに対応した平面変換画像を表示する場合、の３通りが考えられ、いずれかの表示態様が選択されるようになっている（図２のＳ３０１）。
表示装置３０による平面画像の表示例を、後述する図７〜図１２に示す。

次に、図６を参照しつつ、本実施形態の３６０度画像変換処理装置における分割平面変換画像生成装置２０についてのより具体的な構成を示す。
図６は、本実施形態に係る３６０度画像変換処理装置の具体的構成を示すブロック図である。
なお、以下に示す説明では、球面画像データを、緯度、緯線、経度、経線、北極、南極、赤道等の地球座標系の用語で記述している。
まず、球面画像出力装置１０は、上述したように、カメラ部１１で所望の広範囲映像を撮影，取得し、その画像データを画像データ記録部１２で記録，保存するとともに、球面画像生成部１３において所定の仮想球面に貼り付けられた球面画像データを生成する。

分割平面変換画像生成装置２０は、図６に示すように、まず、球面画像データ取得部２１において、球面画像出力装置１０のカメラ部１１で取得された映像から生成された球面画像出力データと、必要に応じて、コンピュータグラフィックス（ＣＧ）等から生成された球面画像出力データ、また、その他の記憶装置に保存されている動画像から再生された球面画像データ等が取得される。
取得された球面画像データは、極移動座標変換演算部２２で処理される。
極移動座標変換演算部２２では、球面画像データが記録されている仮想球面上で、元となる地球座標系上の任意の緯度経度で指定した目的点を含む経線が、変換した新たな地球座標系上の緯度０度の赤道となるように、元となる地球座標系上の極点を９０度回転させるように座標変換して、新たな地球座標系を生成する。

次いで、部分赤道平面画像生成部２３で、仮想球面上で元となる地球座標系上の任意の緯度経度で指定した目的点を、新たな地球座標系上における赤道上での目的点に置き換え、次に変換すべき平面を赤道に接する平面として置き換える。また、必要が有れば、その新しい赤道上の接点を中心に画像を９０度回転座標変換して画像の上下左右の向きを変更し、任意の緯度経度における任意の画像回転方向の任意の画角を持つ平面変換画像を生成する。
次に、変換テーブル再利用演算部２４において、極移動座標変換部２２や部分赤道変換画像生成部等における座標変換に関して、次回以降の画像の座標変換の演算に再利用できるテーブルを生成する。これによって、演算を効率化することで演算時間を短縮することができる。

また、分割平面画像生成部２５では、新しい赤道上において複数の経度点で同様の平面変換画像を生成することで、球面画像データの一部又は全部から、球面に接する一つ又は複数の目的平面に同時に投影変換した一つ又は複数の分割平面変換画像を生成する。
さらに、必要に応じて、分割平面結合画像生成部２６において、隣接する平面変換画像の隣接する両画像端で、連続している画像を生成する分割平面変換画像データを生成する。
そして、以上のように変換処理された平面変換画像の一部若しくは全部が、表示装置３０により、同一の表示機器に、あるいは複数の表示機器に、同期して表示される。

以上のような構成からなる分割平面変換画像生成装置２０を備えることにより、本実施形態に係る３６０度画像変換処理装置では、球面画像から所望の平面画像への変換処理が高速で行えるようになり、従来技術では困難であった動画像であっても問題なく平面変換することができるようになる。
仮想球面上の任意点に接する平面を目的平面として平面画像変換を施せば、目的平面は演算によって得られるが、指定する目的平面の仮想平面との接点は任意点であり、任意点が変更されるたびに、複雑な演算を繰り返さなければならないことになる。
そこで、本発明では、指定した任意点を通る経線を、最初に極移動して得られる新しい座標系の赤道となるように座標変換し、次に赤道面上で指定点の平面展開に置換するという、二度の座標変換に置き換えるようにしてある。

こうすることで、極移動座標変換は常に９０度回転の座標変換となり、これは常に同じ演算形式の座標変換となり、前に計算した変換テーブルを用いて、単なる加算減算の座標移動として扱うことができるので、演算時間は短縮される。
そして、指定点は常に赤道上を移動することになるので、その座標変換も、常に同じ演算の形式の座標変換の繰り返しとなり、前に計算した変換テーブルを用いて、単なる定数の加算減算による座標移動とすることができる。
このように、二つの座標変換を以前の演算結果を用いることができるので、平面変換の演算時間は大幅に短縮される。

さらに、必要が有れば、上記と同様の考えにより、表示機器の画素配列から、対応する元画像の座標を求めるように、逆変換で座標とその点の色を求める方法をとることもできる。
なお、その時は、表示機器の画素が元画像の画素位置に一般には完全に一致しないので、元画像の画素座標との対応点を内挿によって求めることも有効である。この場合も、やはり変換テーブルを用いて計算することができる。このようにすることで、演算時間を短縮し、画像の表示時間を高速化することができる。

［ビューア表示例］
図７〜図１２に、本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す。
これらの画像は、図３で示したような車両に搭載されたカメラで撮影された映像を本発明の画像変換処理装置で変換し、コンピュータ画面上に表示したものである。
図７は、カメラで撮影された３６０度全周囲の球面画像をメルカトール図法に従って平面展開した画像を表示したものであり、車載カメラの前後左右及び上方と下方の３６０度の映像が撮影されていることがわかる。

図８ａは、図７に示す平面展開画像の車両進行方向の正面方向側を拡大表示したものである。
図８ｂは、図８ａに示す平面展開画像を、車両進行方向の正面に接する目的平面（赤道平面）に投影変換した平面画像である。
これらの図から、球面画像が複数の領域に分割され、それぞれが結合された状況で平面変換し、それを表示することで、球面画像ではゆがんで表示される直線が、直線として表示される、ゆがみのない画像が表示されていることがわかる。

図９ａは、図７に示す平面展開画像の車両進行方向に向かって右側面方向側を拡大表示したものである。図９ｂは、図９ａに示す平面展開画像を、車両進行方向の右側面に接する目的平面（赤道平面）に投影変換した平面画像であり、図８ｂの場合と同様に、ゆがみのない平面画像が表示されている。
同様に、図１０ａは、図７に示す平面展開画像の車両進行方向に向かって左側面方向側を拡大表示したものであり、図１０ｂは、図１０ａに示す平面展開画像を、車両進行方向の左側面に接する目的平面（赤道平面）に投影変換した平面画像で、ゆがみのない平面画像が表示されている。
同様に、図１１ａは、図７に示す平面展開画像の車両進行方向の背面方向側を拡大表示したもので、図１１ｂは、図１１ａに示す平面展開画像を、車両進行方向の背面に接する目的平面（赤道平面）に投影変換した平面画像で、ゆがみのない平面画像が表示されている。

図１２ａは、図７に示す平面展開画像を六面の目的平面に投影変換して結合した平面画像を表示したものであり、車載カメラの前後左右の映像が連続して結合されていることがわかる。
図１２ｂ〜図１２ｄは、図１２ａから連続する動画表示の例であり、図１２ａに示す六面の平面画像が、それぞれ正面側方向に移動していることがわかる。
以上の表示例で示すように、本実施形態の３６０度画像変換処理装置によれば、球面画像に接する所望の目的平面上に自由に平面画像を変換することができ、また、視点を自由に変更，移動，回転することができ、また、複数の平面画像を連続的に結合して表示することができ、さらに、各平面画像を動画として連続的に表示することもできる。

［第二実施形態］
次に、本発明に係る３６０度画像変換処理装置の第二実施形態について、図１３〜図１６を参照しつつ説明する。
図１３は、本発明の３６０度画像変換処理装置の第二実施形態の構成を示すブロック図である。
同図に示すように、本実施形態の３６０度画像変換処理装置１ａは、第一実施形態と同様の球面画像出力装置１０、分割平面変換画像生成装置２０、表示装置３０を備えるとともに、さらに、画像傾斜回転補正装置４０を備えている。

図１４は、図１３に示す画像傾斜回転補正装置４０を備えた３６０度画像変換処理装置１ａの基本的動作を示す機能ブロック図である。
同図において、まず、第一実施形態で示したように、球面画像出力装置１０から出力された球面画像に基づいて（図１４のＳ１００−１）、分割平面変換画像生成装置２０において複数の平面変換画像が生成される（図１４のＳ１００−２）。
そして、画像傾斜回転補正装置４０では、まず、分割平面変換画像生成装置２０により生成された複数の平面変換画像のいずれか一つの画像、又は、生成された複数の平面変換画像のうちのいくつかの画像を選択し（図１４のＳ１００−３及びＳ１００−４）、その画像中に映し出されている対象物の一部、又は複数の対象物を関連づけて得られる共通の図形に着目し、着目点を抽出する（図１４のＳ１００−５）。

これらの着目点の変動量を、複数のフレームに渡って検出することにより、カメラの傾斜や道路の傾斜、撮影車両の揺れ等に起因する画像の傾斜角と回転量等を検出して、そこから傾斜回転等の補正量を検出する（図１４のＳ１００−６）。
検出された補正量から補正信号が生成される（図１４のＳ１００−７）。
この補正信号により、傾斜回転等を補正した球面画像を生成することができ（図１４のＳ１００−８及びＳ１００−９）、また、この補正信号を用いて、直接的に傾斜回転等を補正した平面画像を生成することもできる。

次に、図１５及び図１６を参照しつつ、本実施形態の３６０度画像変換処理装置における画像傾斜回転補正装置２０についてのより具体的な構成を示す。
図１５は、本実施形態に係る３６０度画像変換処理装置における画像傾斜回転補正装置の具体的構成を示すブロック図であり、（ａ）は球面画像について補正する構成、（ｂ）は平面変換画像を直接的に補正する構成である。

これらの図に示すように、画像傾斜回転補正装置４０は、まず、直線抽出部４１（４１ａ，４１ｂ）において、仮想球面の赤道上の複数点を指定点とする目的に適合した複数平面を生成するとともに、南北両極点を指定点とする目的に適合した複数平面を生成し、それら平面変換画像データの一部又は全部を解析して、画像中の直線を検出，抽出する。
図１６に、直線抽出部４１で抽出される直線成分の一例を示す。同図（ａ）は仮想球面の赤道上及び南北両極点に適合した６平面の配列例であり、（ｂ）は６平面中で抽出される直線成分を示している。

次に、平行線計測部４２（４２ａ，４２ｂ）において、抽出された直線から、直線間の平行線を検出する。さらに、消失点群計測部４３（４３ａ，４３ｂ）において、直線の交点が作る消失点群を検出する。
そして、これら生成されたデータから、傾斜回転検出部４４（４４ａ，４４ｂ）により、カメラの傾斜や道路の傾斜、撮影車両の揺れ等に起因する画像の傾斜角と回転量を計測することができ、計測された傾斜角と回転量から、補正信号生成部４５（４５ａ，４５ｂ）において画像の補正信号を生成することができる。

具体的には、平面変換された複数の画像で特徴的な平面を選択する。例えばカメラを水平に設置して撮影した画像に関して、北極点に接する画像を選択すれば、ビルの谷間を走行する車両から撮影した画像はビルの頂点が北極点を消失点とするような画像に平面変換される。
また、進行方向を含む赤道面に接する画像を選択すれば、画像内の建造物は道路の延長上の消失点に向かうような画像に平面変換される。
そこで、消失点を求めるために、画像内の直線成分をハフ変換等により演算で求めることができる。次いで、それらの直線の交点を求めることで消失点が求められる。
そして、その消失点の位置が、北極を含む変換平面であれば画像中心にくるように補正すれば、カメラの傾斜を補正することができる。また、消失点の位置が赤道に接する変換平面であれば、その消失点の位置がいつも画像の決まった位置にくるように補正すれば、カメラの回転を補正することができる。

補正信号は、画像内の消失点の理論位置と計測によって求めた消失点の位置とのベクトル差から生成し、球面画像に直接補正を加え、球面画像の極点を移動する座標変換によって、補正を実現できる。一度球面画像を補正すればその後はどのように平面変換を実施しても、カメラの傾斜と回転が補正された平面変換画像を取得することができる。
具体的には、図１５（ａ）に示すように、球面画像を補正する傾斜回転補正球面画像生成部４６ａは、元画像となる地球座標の画像データを、補正信号で修正して新たな地球座標を持つ画像データに変換し、そこから分割平面変換画像に変換して出力する。

もちろん、平面変換時に平面変換と同時に傾斜と回転補正を加えることができる。この場合は毎回補正の演算が必要となる。
具体的には、図１５（ｂ）に示すように、平面変換画像を直接補正する補正分割平面画像生成部４７ｂは、元画像から分割平面変換画像に変換する際に、球面画像データを補正せずに、補正信号を付加することで分割平面変換画像に直接補正しつつ変換することで、補正分割平面変換画像を生成する。
なお、図１５（ａ）に示すように、球面画像を補正する傾斜回転補正球面画像生成部４６ａと、平面変換画像を直接補正する補正分割平面画像生成部４７ａの双方を同時に備えることも勿論可能であり、このようにすると、いずれの補正処理も行うことができ、より汎用性に優れた補正装置とすることができる。

以上説明したように、本実施形態の３６０度画像変換処理装置では、画像傾斜回転補正装置４０を備えることにより、カメラの傾斜や道路の傾斜、撮影車両の揺れ等に起因する画像の傾斜角と回転量を補正することができる。
仮想球面に貼り付けられる広範囲画像は一般の画像よりも広い視野をもっているため、画像内にカメラの傾きを検出する手がかりとなる対象物が多い。
また、対象物の位置関係から得られる対象物を関連づける図形等を手がかりとして、画像の傾きを求めたり、映像の水平や垂直面を探し出すことが可能となる。
これによって、本実施形態では、より精度の高い球面画像と平面変換画像を得ることができる。

［第三実施形態］
次に、本発明に係る３６０度画像変換処理装置の第三実施形態について、図１７〜図２０を参照しつつ説明する。
図１７は、本発明の３６０度画像変換処理装置の第三実施形態の構成を示すブロック図である。図１８は、図１７に示す３６０度画像変換処理装置で三次元ベクトルを計測する場合の画像中の対応点の例を示す説明図である。
図１７に示すように、本実施形態の３６０度画像変換処理装置は、第一実施形態と同様の球面画像出力装置１０から動画データを取得して三次元ベクトルを計測する三次元ベクトル計測装置５０を備えている。

上述した第二実施形態においては、消失点、平行線等を画像内から求め、それらから補正信号を生成したが、本実施形態では、複数のフレーム間の対応点から、画像間の傾斜回転補正信号だけではなく、画像には写っていないカメラに関する三次元ベクトルやカメラ位置ベクトル，速度ベクトル等を検出し、さらには傾斜回転等の補正信号等、着目点の三次元オプティカルフロー等の各種三次元ベクトルを演算によって求めて出力するものである。
なお、実測値がまったくない場合には、相対値として三次元ベクトルが算出され、一カ所以上の実測値が与えられることで、原寸の三次元ベクトルが算出されることになる。

具体的には、三次元ベクトル計測装置５０は、まず、動画取得部５１において、球面画像出力装置１０の球面画像生成部１３（図６参照）から、球面画像又は球面画像から変換された変換平面画像の動画を取得する。
動画サンプリング指定部５２では、取得された動画から適切なフレームを連続的にサンプリングして取得する。ここでは、できるだけ対応点が写っている範囲のフレーム間の複数画像を動画サンプリング指定部５２でサンプリングする（図１８参照）。
次いで、対応点検出指定部５３で、適切にサンプリングした複数フレーム画像間の対応点を所定数求める。具体的には、三次元ベクトルの基準となる、十分に必要な数以上の対応点を求める。画像間の対応点の一例を図１８の画像１、画像２に示す。

続いて、三次元ベクトル演算部５４で、求められた対応点から三次元ベクトルが演算により求められる。具体的には、三次元ベクトル演算部５４は、連続する各フレーム間に存在する、前記十分な数の対応点の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と対応点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する
本実施形態では、三次元ベクトル演算部５４は、３６０度画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。
図１８に示す画像１，２は、メルカトール展開画像であり、緯度φ、経度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の対応点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。三次元ベクトル演算部５４では、前記演算を対応する複数フレームに適用し演算する。

次に、誤差収束演算部５５では、各フレームに対応する複数のカメラ位置と複数の対応点の数により、複数通り生じる演算方程式により、前記各点のベクトルを複数通り演算して求めて、各点の誤差を最小にするような各点のベクトルを求める。本実施形態では、誤差収束演算部５５は、複数フレームのカメラ位置、カメラ回転及び複数の対応点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、対応点の座標を求める。
さらに、絶対ベクトル値変換部５６において、得られた相対ベクトル値に対応する実測値を対応づけ絶対ベクトルに変換する。
最後に、各種計測信号出力部５７で、演算結果を目的にあった形式で表示するための信号を出力する。

以下、図１９及び図２０を参照して、三次元ベクトル計測装置５０により得られた、カメラ移動ベクトル及び回転行列を用いた３次元ベクトル計測の例を説明する。
図１９は、本実施形態の三次元ベクトルの計測方法を示す説明図であり、移動するカメラによって取得された（ａ）に示す画像１と（ｂ）に示す画像２との間で三次元ベクトルを計測する場合を示している。図２０は、図１９に示す二画像間でのカメラ及び対象物の相対的な位置関係を示すグラフ図である。
なお、図１９には、三次元ベクトル計測装置５０における動作を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが（図４及び図７と同様）、実際の三次元ベクトル計測装置５０では、メルカトール図法による展開画像は必ずしも必要ではない。

まず、球面画像出力装置１０で動画像として得られた３６０度球面画像の任意の複数画像を取り出す。図１９に示す例では、メルカトール展開図の画像１（図１９（ａ）），同画像２（図１９（ｂ））の二画像を取り出している。
カメラを搭載した車両は、図１９の画像１から画像２へ移動している。画像１中に画像２におけるカメラ位置を示した。
次に、あらかじめ三次元ベクトル計測装置５０により得られた、画像１，２における対応点（同一の位置）オペレータ等の入力操作又は画像処理によりを決定する。図１９及び図２０には、対応点１〜４を示している。
そして、十分な数の対応点を与えることにより、カメラ移動ベクトル及び回転行列を求め、所望の三次元位置ベクトルを求める。
以上のようにして三次元空間ベクトルを求めることができる。
その結果を、図２０に三次元グラフで図示する。図１９で示した対応点１，２，３，４及びカメラ位置の関係は図２０に図示する通りである。

以上のように、本実施形態に係る３６０度画像変換処理装置によれば、三次元ベクトル計測装置５０を備えることにより、カメラ位置を入力しなくても良いという点が特徴である。
すなわち、画像とカメラ位置の相対的な関係がわかれば、各対応点からその対応点の三次元ベクトルは当然に求められることになる。但し、カメラ位置も含めて対応点から求めることもでき、また、対応点が必ずしも計測点ではないことも特徴といえる。
着目点の緯度経度は、カメラから見た方位と仰角を示しているので、動画の各フレームの対応点はカメラから見た緯度と経度の変化を示している。従って、この情報を元にして、複数のフレーム間画像で対応点を取ることで、対応点の三次元画像が取得できるのである。

また、水平に対する路面の傾斜や、対応点の演算の過程でカメラ位置やカメラ速度等のカメラに関する三次元ベクトルを求めることができる。さらに、基準画像からの傾斜や回転をベクトルとして求められるので、第二実施形態で示した傾斜回転補正信号を求めることもできる。
球面画像は各画素が地球座標の緯度経度で表現されているため、緯度経度がそのままカメラから見た方位と仰角を示しており、直接的にカメラからみた各画素の方位、仰角を求めることができる。
なお、対応点の決定を自動的に行うためには画像認識が必要であるが、対応点を人間が決定することで、画像認識は必要なくなる。
また、移動するカメラの代わりに、複数のカメラを同時に設置することで、演算上移動するカメラと同等に扱うことができるので、複数のカメラから前記演算を実施できる。さらに、複数の固定カメラを移動することでも、同じように演算を実施できる。

［第四実施形態］
次に、本発明に係る３６０度画像変換処理装置の第四実施形態について、図２１及び図２２を参照しつつ説明する。
図２１及び図２２は、本発明の３６０度画像変換処理装置の第四実施形態の構成を示すブロック図である。
これらの図に示すように、本実施形態の３６０度画像変換処理装置は、第一実施形態と同様の分割平面変換画像装置２０から平面変換画像データを取得して所望の対象物ベクトルを計測する対象物ベクトル計測装置６０を備えている。

上述した第三実施形態では対象物の三次元ベクトルを求めることができたが、画像中のある対象物を構成する多面体の一面が、分割平面変換画像装置２０で生成される分割変換平面の一面と完全に平行になれば、三次元ベクトルではなく、二次元ベクトルとして扱うこともできる。ただ、一般には、画像中の対象物を構成する多面体の各面は平行からはずれるものも存在する。そこで、この場合、三次元オプティカルフローを求めることで精度を上げることができる。
三次元のオプティカルフローは、フレーム間の画像間で、対象物の微少領域での対応点が画像認識により求められれば、演算で求めることができる。
本実施形態では、変換平面の一つと対象物の面が平行平面であれば、そのオプティカルフローは車両の移動に比例して、車両からの距離に反比例して得られるという性質を利用することにより、オプティカルフローによる平面の連続抽出を実現している。

具体的には、図２１に示す対象物ベクトル計測装置６０ａは、まず、直交分割平面変換結合画像生成部６１ａにおいて、対象物は面数Ｎの多面体の組み合わせから構成されていると仮定し、一方、分割平面変換画像装置２０において、分割数を多面体の面数Ｎと同じ面数とし、それぞれの面が多面体を構成するＮ個の平面変換画像として、分割平面変換画像を生成する。
回転多面体平行検出部６２ａでは、分割平面を回転させることで、対象物を構成する多面体の一つの面と、分割画像表示した多面体のいずれかの面が平行になる位置を検索，検出する。
三次元オプティカルフロー演算部６３ａでは、検出された平行面の位置で、各変換画像の三次元オプティカルフローを演算で求める。

各同一オプティカルフロー分類集合選択部６４ａでは、変換平面に平行なすべての平面を、同一の三次元オプティカルフローを持つ集団毎に分類して、複数の集合として選択する。
単一平行平面選択部６５ａは、各同一オプティカルフロー分類集合選択部６４ａで選択された画素集合から、さらに各同一オプティカルフロー値毎に画素を分類することで、各平行平面毎に分類し、カメラからの距離別に平行平面を選択する。
選択平面三次元座標取得部６６ａは、分類された同一オプティカルフロー値群はすべて変換平面に平行な平面であり、また、そのオプティカルフロー値の違いは各平行平面のカメラからの距離の違いを示していることから、その値から平行平面の方向と位置と大きさを決めることで、対象物を構成する平面の三次元座標を決定する。
対象物平面形状取得部６７ａは、上記の各処理を繰り返すことで、対象物のすべての平行平面について三次元座標を取得して、三次元的に既知となった対象物の三次元形状を、既知となった複数の平面から構成される多面体として表現する。
そして、対象物テクスチャー取得部６８ａは、各面のテクスチャーを画像から取り込むようになっている。

以上のような図２１に示した対象物ベクトル計測装置６０ａでは、対象物は面数Ｎの多面体の組み合わせから構成されていると仮定しているが、第一実施形態の図１２ａ〜図１２ｄ、第二実施形態の図１６で示したように、分割平面変換画像装置２０で得られる平面展開画像は、六面に分割された目的平面に投影変換して結合することができる。
従って、対象物を六面体モデルの組み合わせで構成されると仮定すれば、直角な面で構成される六面体と六面の変換平面でオプティカルフローを演算で求めることになる。

そこで、図２２に示す対象物ベクトル計測装置６０ｂでは、対象物を六面体又は大きさの異なる様々な六面体の集合体と仮定して、直角で交差する六個の平面から構成される分割平面でオプティカルフローを求め、対象物の六面体と分割平面の六面とが平行となる面を探索して、対象物の中の一個の六面体の三次元位置と面を決定していくようにしてある。
実質的に、直角六面体を構成する平面は、つねに平行な面と対になっているので、三面で構成される分割平面で対象物の六面と対応させることができる。
同様な作業を繰り返すことで、最終の複数の六面体を決定し、対象物そのものを決定することができる。

具体的には、図２２に示す対象物ベクトル計測装置６０ｂは、まず、直交分割平面変換結合画像生成部６１ｂにおいて、対象物は六面体から、又は複数の異なる六面体から構成されると仮定し、一方、分割平面変換画像装置２０において、分割数を六とし、それぞれの面が六面体を構成する六個の平面変換画像として、分割平面変換画像を生成する。
回転六面体平行検出部６２ｂでは、分割平面を、直角を保ったまま同時に回転させることで、対象物を構成する六面体の一つと、分割画像表示した六面体の一面が平行になる位置を検索，検出する。
オプティカルフロー演算部６３ｂでは、検出された平行面その位置で、各変換画像のオプティカルフローを演算で求める。

各同一オプティカルフロー分類集合選択部６４ｂでは、変換平面に平行なすべての平面を、同一のオプティカルフローを持つ集団毎に複数の集合として選択する。
単一平行平面選択部６５ｂは、各同一オプティカルフロー分類集合選択部６４ｂで選択された画素集合から、さらに各同一値毎に画素を分類することで、各平行平面毎に、分類し、カメラから距離別に平行平面を選択する。
選択平面三次元座標取得部６６ｂは、分類された同一オプティカルフロー値群はすべて変換平面に等しい平面であり、また、その値の違いは各平行平面のカメラからの距離の違いを示していることから、その値から平行平面の方向と位置と大きさを決めることで、対象物を構成する平面の三次元座標を決定する。
対象物六面体取得部６７ｂは、上記の各処理を繰り返すことで、対象物のすべての平行平面について三次元座標を取得して、三次元的に既知となった対象物の三次元形状を、既知となった複数の平面から構成される六面体として表現する。
そして、対象物テクスチャー取得部６８ｂが、各面のテクスチャーを画像から取り込む。

以上のように、本実施形態に係る３６０度画像変換処理装置によれば、対象物ベクトル計測装置６０を備えることにより、変換平面と平行な対象物の平面についてオプティカルフローを求めることにより、その平面を抽出することができ、これによって、所望の対象物について、実測値やカメラ位置等のデータを必要とすることなく、その平面を抽出，認識することができる。
なお、オプティカルフローによる作業は、すべて視差によっても代行することができ、また、マッチングによって代行することができる。従って、本発明において「オプティカルフロー」という場合には、オプティカルフロー、視差又はマッチング等のいずれの処理であっても良いことを意味する。

［第五実施形態］
次に、本発明に係る３６０度画像変換処理装置の第五実施形態について、図２３〜図２５を参照しつつ説明する。
図２３は、本発明の３６０度画像変換処理装置の第五実施形態の構成を示すブロック図である。
同図に示すように、本実施形態の３６０度画像変換処理装置は、第四実施形態で示した対象物ベクトル計測装置６０で得られる対象物データを元に三次元地図を生成する三次元地図生成装置７０を備えている。

具体的には、三次元地図生成装置７０は、対象物ベクトル計測装置６０において得られる対象物の形状取得とテクスチャー取得を、すべての対象物に繰り返すことで、全空間の対象物を平面で構成する平面構成空間生成部７１と、さらに、路面を走行するカメラの移動にともなって、前記の処理を繰り返すことで、三次元地図を生成する全空間対象物画像構成部７２と、を有している。
このような構成からなる三次元地図生成装置７０によれば、対象物ベクトル計測装置６０で得られる対象物の形状取得と、テクスチャー取得を繰り返すことで、必要な対象物すべての面を決定することができる。

これにより、本実施形態の３６０度画像変換処理装置では、画像内の必要な対象物すべての平面から三次元画像を構成することができ、すなわち、三次元画像を複数の平面の集合として再構成することができ、所望の三次元地図を得ることができる。
図２４は、対象物ベクトル計測装置６０でオプティカルフローによって抽出された対象物の平面のイメージ図であり、図２５は、対象物の形状取得とテクスチャー取得により三次元地図生成装置７０で生成される立体地図の一例である。
図２４に示すように、カメラの標準位置から各対象物が属する平面の垂直距離をＤ（Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４）とすると、複数の並行平面群としてすべての平面を分離、抽出することができる（同図に示すビル壁面，街路樹面，縁石）。このとき、同図に示す街路樹のように、曲面状の対象物については、一つの対象物であっても一つの平面には乗らない点や面を有する曲面状の対象物については、曲面を複数の平面の集まりとして扱い、基準となる平面（同図では街路樹面（１））からの距離を与えることで、その平面に属する一つの対象物の情報として捉えることができる（同図に示す街路樹面（１）〜（３））。
このようにして、カメラ位置や方向を検出することにより、複数画像のカメラ位置から対象物の位置を特定することができ、平面展開画像から立体地図や三次元画像を再構成できる（図２５参照）。従って、車載カメラ等で撮影するだけで走行した範囲の立体地図を自動的に生成することができるようになる。

［第六実施形態］
次に、本発明に係る３６０度画像変換処理装置の第六実施形態について、図２６を参照しつつ説明する。
図２６は、本発明の３６０度画像変換処理装置の第六実施形態の構成を示すブロック図である。
同図に示すように、本実施形態の３６０度画像変換処理装置は、球面画像出力装置１０からの球面画像データと所定の視点プログラムを表示装置３０に伝送する視点コントロール画像生成装置８０を備えている。

具体的には、視点コントロール画像生成装置８０は、まず、球面画像伝送部８１が、球面画像出力装置１０からの球面画像の動画像又は静止画像のデータを受信部８５に送信する。
また、展開プログラム伝送部８２は、球面画像伝送部８１によるデータ送信と同時に、又はあらかじめ前もって、分割平面画像変換生成装置２０のプログラムを受信部８５に伝送する。
また、視点プログラム生成部８３は、画像の視点，視角，回転，スクロール等の機能を予め決められた態様でコントロールするための視点プログラムを生成する。そして、生成された視点プログラムは、視点プログラム伝送部８４が受信部８５に伝送する。

受信部８５は、球面画像の動画像又は静止画像のデータと、分割平面画像変換生成装置２０のプログラムと、視点プログラムを受信する。
そして、受信部８５で受信されたデータに基づき、視点コントロール部８６は、分割平面画像変換生成装置２０で生成された平面変換画像を、視点プログラムによって視点，視角，回転，スクロール等の機能を予め決められた態様で平面展開する。
視点コントロール部８６で平面展開された画像は、視点コントロール画像生成部８７を経て表示装置３０で表示される。

以上のような視点コントロール画像生成装置８０を備えることにより、画像データと送り手側と受け手側で送受信し、送り手側で設定した視点プログラムに従って画像が再生，表示されることになる。
３６０度画像は、本来様々な視点を自由に選択して見ることができることを特徴とするが、本実施形態では、視点プログラムを送り手側で用意し、それを受け手側に伝送することにより、受け手側は送り手側の決めた視点視角で見ることになり、これによって、送り手側の意志を受け手側に伝えて反映できるという特徴を有している。

また、このような本実施形態の視点コントロール画像生成装置８０では、画像データの伝送量を大幅に削減できるというもう一つの重要な特徴もある。
３６０度画像の球面画像データ画像は、データ量が莫大になるため、特に動画の場合、データ送信が困難となる。この場合に、静止画を間欠的に送信し、あるいは静止画のみを一回送り、その視点を色々変化させて表示することで、受け手側に対してあたかも動画を見ているように感じさせることができる。ある意味でこれも動画であり、このようにすることで、次の静止画像が送られてくるまでの変化する映像を観察し、次に送られてくる静止画像につないでいくことで、受け手側は擬似的に動画を観察していると感じることができる。また、複数の静止画像が蓄積すれば、それらを組み合わせて様々な視点、視角が表現できるので、静止画像をいつまでも見ているのとは全く違う動画と錯覚する映像表現ができる。
従って、本実施形態の視点コントロール画像生成装置８０によって静止画データと視点プログラムデータを伝送することで、伝送データ量を大幅に削減しつつ、受けて側では動画と同様の画像を表示，再生することが可能となる。

さらに、本実施形態の視点コントロール画像生成装置８０は、動画データを伝送することにより、送ったすべての動画像を送り手が編集した形で見ることができるという、従来には存在しない、優れた特徴をも有している。
例えば、所望の映像素材を受け手側にあらかじめ先に送信しておき、あるいは必要に応じてその都度送信し、受け手側では、送られた映像が視点プログラムに従って編集されて表示，観察されることになる。
視点プログラムは何種類用意することも可能であり、複数種類の視点プログラムを備えることにより、同じ映像素材であっても様々な映像作品を観察できるようになる。これは従来には存在しない全く新しい映像表現技術である。
なお、これは、動画に限らず、もちろん静止画であっても同様に行うことができる。

［第七実施形態］
次に、本発明に係る３６０度画像変換処理装置の第七実施形態について、図２７及び図２８を参照しつつ説明する。
図２７は、本発明の３６０度画像変換処理装置の第七実施形態の構成を示すブロック図である。
同図に示すように、本実施形態の３６０度画像変換処理装置は、分割平面変換画像装置２０の平面画像データと、三次元ベクトル計測装置６０の三次元ベクトルに基づいて所望の目的平面における凹凸を求めることができる目的平面凹凸計測装置９０を備えている。

具体的には、目的平面凹凸計測装置９０は、まず、目的平面変換画像取得部９１が、複数のフレーム画像、若しくは複数のカメラによる複数の画像から、また、分割平面変換画像装置２０における分割平面変換画像生成部２６（図６参照）から、若しくは平面変換画像生成部から、若しくは他の方法から、目的平面に平行な面で平面変換画像を取得する。
カメラ位置方位計測部９２は、第三実施形態で示した三次元ベクトル計測装置５０（図１７参照）により、若しくは他の方法により、カメラ位置を連続して取得する。
目的平面小領域対応点検出部９３は、連続する各平面変換画像において、精度から決まる目的の面積域にまで絞って、各目的平面画像上の小領域の対応点を検出する。

対応点座標抽出部９４は、取得された対応点の位置と座標上の距離を画像から抽出する。
対応点凹凸演算部９５は、取得された対応点の目的平面から垂直方向の距離を演算で求める。
そして、目的平面凹凸演算部９６は、目的平面上の必要な範囲で対応点の凹凸を演算する。
目的平面凹凸演算部９６における演算結果は、表示装置３０で表示される。

図２８に、本実施形態における目的平面の凹凸の演算式を求める図と関係式を具体的に示す。
図２８（Ａ）において、ｆは路面の凹凸部であり、ａ，ｂはカメラの垂直位置である。
ａ＝ｂのときｃ＝ｄである。また、ｃとｔは三角形の性質により平行である。
平面展開画像から計測できるパラメータは（ｇ，ｈ，Ｐ，Ｑ）であり、マッチングで計測できるパラメータは（ｔ，ｕ，ｖ）である。

ｆ点の位置のｘ，ｙ座標は、次の連立方程式を解くことで求められる。
Ｉ：ｍ・ｓｉｎα＋ｍ・ｓｉｎβ＝ｃ
II：α＋β＝２π−（Ｐ＋Ｑ）
これを解くと、
ｃ＝ｍ（ｓｉｎα＋ｓｉｎβ）
ｃ＝ｍ（ｓｉｎα＋ｓｉｎ｛２π−（Ｐ＋Ｑ）−α｝）
図２８（Ｂ）より、α＝（π／２）−Ｐ、β＝（π／２）−Ｑを代入すると、
ｃ＝ｍ（ｓｉｎ（（π／２）−Ｐ）＋ｓｉｎ｛２π−（Ｐ＋Ｑ）−（π／２）−Ｐ｝）
これを変形すると、
ｍ＝ｃ／｛ｓｉｎ（（π／２）−Ｐ）＋ｓｉｎ｛２π−（Ｐ＋Ｑ）−（π／２）−Ｐ｝｝
ｍが、求めるｙ座標となる。

次に、ｘ座標を求める。
ｗ＝ｍ・ｔａｎα
ｗ＝ｍ・ｔａｎ（π／２）−Ｐ
ｗが、求めるｘ座標となる。
ｃ：ｔ＝ｍ：ｎで、上記よりｎ以外はすべて既知である。
ｎ＝ｔ・ｍ／ｃ
一方、ｚ座標に関しては、図２８（Ｃ）より
ｆ＝ａ・ｎ／（ｍ＋ｎ）
これが、路面の凹凸量を示すことになる。

以上のようにして、本実施形態の目的平面凹凸計測装置９０によれば、例えば、路面やビル壁面など、既に平面として抽出された目的平面の凹凸や壁面の凹凸の計測を行うことができる。また、それ以外にも、平面変換した画像として取り出された目的の対象物の平面上の凹凸を求めることもできる。
原理的には、平面変換しない遠近法状の画像を呈する元画像からでも、目的平面の対応点さえ決定できれば凹凸は計測できるのであるが、実質問題としては、画像内の対象の位置によって比較する領域を均一にできないなどの理由により、精度のよい対応点検出が困難である。
本実施形態の目的平面凹凸計測装置９０によれば、いったん平面展開した目的平面画像では、線形計測可能な平面となり、比較する領域は距離に関係なく、しかも常に同じ形で、同じ面積の領域で比較することができることになるので、極めて精度良く対応点が検出でき、また、リニアスケールの平面上に、目的平面凹凸を表示することが可能である。

［第八実施形態］
さらに、図２９を参照して、本発明に係る３６０度画像変換処理装置の第八実施形態について説明する。
図２９は、本発明の３６０度画像変換処理装置の第八実施形態の構成を示すブロック図である。
同図に示すように、本実施形態では、上述した第一乃至第七実施形態で示した各装置をすべて備えるようにしてある。

すなわち、本発明に係る３６０度画像変換処理装置は、球面画像出力装置１０と分割平面画像生成装置２０及び表示装置３０を基本的構成としており、第二実施形態以下で示した画像傾斜回転補正装置４０，三次元ベクトル計数装置５０，対象物ベクトル計数装置６０，三次元地図生成装置７０，視点コントロール画像生成装置８０及び目的平面凹凸検出装置９０は、適宜選択的に設けることができ、すべての装置を同時に備えることもできるようになっている。
このように、本発明の３６０度画像変換処理装置は、装置の用途や機能、使用目的や使用対象に応じて、各装置を選択的に備えることができ、汎用性，柔軟性，拡張性等に優れた画像変換処理装置が実現できるようになっている。

以上、本発明の３６０度画像変換処理装置について、好ましい実施形態を示して説明したが、本発明に係る３６０度画像変換処理装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。

以上のように、本発明の３６０度画像変換処理装置は、通常のカメラで撮影される映像より広い範囲を示す広範囲映像を、高速で所望の平面画像に変換して表示することができ、また、隣接する複数の平面変換画像を結合して表示することができる。
このため、広角レンズや魚眼レンズ付きカメラや複数台のカメラ、あるいは回転カメラなどで撮影されるパノラマ映像や全方位映像，３６０度全周囲映像を用いた各種システム、例えば、交通や河川等の監視システム、室内外の防犯システム、あるいは映画やゲームの立体映像等に好適に利用することができる。

本発明の３６０度画像変換処理装置の第一実施形態の基本的構成を示すブロック図である。図１に示す３６０度画像変換処理装置の基本的動作を示す機能ブロック図である。本発明の３６０度画像変換処理装置の第一実施形態のカメラ部で撮影される映像と仮想球面の関係を示す説明図であり、（ａ）は車載カメラの正面図、（ｂ）は同じく平面図を示している。本発明の３６０度画像変換処理装置の第一実施形態で撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を、それぞれ示している。本発明の３６０度画像変換処理装置の第一実施形態で得られる仮想球面と仮想球面上の任意の点に接する平面画像の関係を示す説明図である。図１に示す３６０度画像変換処理装置の具体的構成を示すブロック図である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、球面画像をメルカトール図法に従って平面展開した画像を表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図７に示す平面展開画像の正面方向側を拡大表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図８ａに示す平面展開画像を目的平面に投影変換した平面画像を表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図７に示す平面展開画像の右側面方向側を拡大表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図９ａに示す平面展開画像を目的平面に投影変換した平面画像を表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図７に示す平面展開画像の左側面方向側を拡大表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図１０ａに示す平面展開画像を目的平面に投影変換した平面画像を表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図７に示す平面展開画像の背面方向側を拡大表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図１１ａに示す平面展開画像を目的平面に投影変換した平面画像を表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図７に示す平面展開画像を六面の目的平面に投影変換して結合した平面画像を表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図１２ａに示す平面画像が正面側方向に移動する動画像を表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図１２ａ〜図１２ｂに示す平面画像が正面側方向に移動する動画像を表示した場合である。本発明の３６０度画像変換処理装置の第一実施形態で得られる画像を表示したビューアの一例を示す図であり、図１２ａ〜図１２ｃに示す平面画像が正面側方向に移動する動画像を表示した場合である。本発明の３６０度画像変換処理装置の第二実施形態の構成を示すブロック図である。図１３に示す３６０度画像変換処理装置の動作を示す機能ブロック図である。図１３に示す３６０度画像変換処理装置の具体的構成を示すブロック図であり、（ａ）は球面画像について補正する構成、（ｂ）は平面変換画像を直接的に補正する構成である。図１５に示す３６０度画像変換処理装置で六面に変換処理される画像例を示す説明図であり、（ａ）は画像配列の例、（ｂ）は各画像の直線成分の例を示している。本発明の３６０度画像変換処理装置の第三実施形態の構成を示すブロック図である。図１７に示す３６０度画像変換処理装置で三次元ベクトルを計測する場合の画像中の対応点の例を示す説明図である。図１７に示す３６０度画像変換処理装置における三次元ベクトルの計測方法を示す説明図であり、（ａ）に示す画像１と（ｂ）に示す画像２から三次元ベクトルを計測する場合を示している。図１９に示す三次元ベクトルの計測方法を示すグラフ図であり、（ａ）は三次元グラフ、（ｂ）は平面グラフ、（ｃ）は側面グラフを示している。本発明の３６０度画像変換処理装置の第四実施形態の構成を示すブロック図である。図２２に示す３６０度画像変換処理装置の第四実施形態の変更形態の構成を示すブロック図である。本発明の３６０度画像変換処理装置の第五実施形態の構成を示すブロック図である。図２３に示す３６０度画像変換処理装置でオプティカルフローによって抽出される平面のイメージ図である。図２４に示すオプティカルフローによって抽出された平面から三次元変換されて生成される立体地図のイメージ図である。本発明の３６０度画像変換処理装置の第六実施形態の構成を示すブロック図である。本発明の３６０度画像変換処理装置の第七実施形態の構成を示すブロック図である。図２７に示す３６０度画像変換処理装置における目的平面の凹凸検出方法を示すグラフ図であり、（Ａ）は三次元グラフ、（Ｂ）は平面グラフ、（Ｃ）は側面グラフを示している。本発明の３６０度画像変換処理装置の第八実施形態の構成を示すブロック図である。

符号の説明

１３６０度画像変換処理装置
１０球面画像出力装置
２０分割平面画像生成装置
３０表示装置
４０画像傾斜回転補正装置
５０三次元ベクトル計数装置
６０対象物ベクトル計数装置
７０三次元地図生成装置
８０視点コントロール画像生成装置
９０目的平面凹凸検出装置

Claims

球面画像出力装置と、分割平面変換画像生成装置と、表示装置を備え、
球面画像出力装置は、
通常のカメラで撮影される映像よりは広い範囲の映像を取得する手段と、取得した画像データを変換して全球面画像の一部として仮想球面に貼り付ける手段と、仮想球面に貼り付けた状態の球面画像データとして出力する手段と、を有し、
分割平面変換画像生成装置は、
仮想球面上の任意点を指定する手段と、球面画像出力装置から出力された球面画像データを、指定された仮想球面上の任意点に接する目的平面に投影変換して一又は二以上の平面画像を生成する手段と、を有し、
表示装置は、
分割平面変換画像生成装置で生成された一又は二以上の平面画像を、一又は二以上の表示機器に表示する手段と、を有し、
前記分割平面変換画像生成装置は、
カメラで取得された映像から生成された球面画像出力データ、コンピュータグラフィックスから生成された球面画像出力データ、記憶装置に保存されている動画像から再生された球面画像データの少なくともいずれかを取得する球面画像データ取得部と、
球面画像データが記録されている仮想球面上で、元となる地球座標系上の任意の緯度経度で指定した目的点を含む経線が、変換した新たな地球座標系上の緯度０度の赤道となるように、元となる地球座標系上の極点を９０度回転させるように座標変換して新たな地球座標系を生成する極移動座標変換演算部と、
元となる地球座標系上の任意の緯度経度で指定した目的点を、新たな地球座標系上における赤道上での目的点に置き換え、次に変換すべき平面を赤道に接する平面として置き換えて、任意の緯度経度における任意の画像回転方向の任意の画角を持つ平面変換画像を生成する部分赤道平面画像生成部と、
極移動座標変換部及び部分赤道変換画像生成部における座標変換に関する、次回以降の画像の座標変換の演算に再利用可能なテーブルを生成し、演算を効率化して演算時間を短縮する変換テーブル再利用演算部と、
置き換えられた新しい赤道上において複数の経度点で同様の平面変換画像を生成することで、球面画像データの一部又は全部から、球面に接する一つ又は複数の目的平面に同時に投影変換した一つ又は複数の分割平面変換画像を生成する分割平面画像生成部と、を有し、
前記表示装置は、
分割平面変換画像生成装置で生成された平面変換画像の一部又は全部を、同一の表示機器に表示し、又は複数の表示機器に同期して表示する
ことを特徴とする３６０度画像変換処理装置。
請求項１記載の３６０度画像変換処理装置において、
分割平面変換画像生成装置は、
球面画像データから一つの平面画像を生成する場合には、仮想球面の任意の一点に接する一つの平面画像をそのまま生成し、
球面画像データから複数の平面画像を生成する場合には、仮想球面の複数の任意点に接する複数の平面画像をそれぞれ単独で、又は、複数の平面画像が連続するような連続して生成し、
表示装置は、
分割平面変換画像生成装置で生成された一つの平面画像を単独で、又は、複数の平面画像を同時に表示する
ことを特徴とする３６０度画像変換処理装置。
請求項１又は２記載の３６０度画像変換処理装置において、
分割平面変換画像生成装置は、
さらに、隣接する前記平面変換画像の隣接する両画像端で、連続する画像を生成する分割平面変換画像データを生成する分割平面結合画像生成部を有する
ことを特徴とする３６０度画像変換処理装置。
請求項１乃至３記載の３６０度画像変換処理装置において、
画像傾斜回転補正装置をさらに備え、
この画像傾斜回転補正装置は、
分割平面変換画像生成装置により生成された複数の平面変換画像のいずれか一又は二以上の画像を選択する手段と、選択された画像中に映し出されている対象物の一部、又は複数の対象物を関連づけて得られる共通の図形に着目した着目点を抽出する手段と、複数のフレームに渡って、抽出した着目点の変動量を検出することにより、カメラの傾斜や道路の傾斜、撮影車両の揺れに起因する画像の傾斜角と回転量を検出する手段と、検出された画像の傾斜角と回転量の補正量を検出して補正信号を生成する手段と、補正信号に基づき又は直接的により傾斜回転を補正した平面画像を生成する手段と、を有する
ことを特徴とする３６０度画像変換処理装置。
請求項４記載の３６０度画像変換処理装置において、
画像傾斜回転補正装置は、
仮想球面の赤道上の複数の点を指定点とする目的面に適合した複数平面を生成するとともに、仮想球面の南北両極点を指定点とする目的面に適合した複数平面を生成し、生成された複数平面の平面変換画像データの一部又は全部を解析して画像中の直線を抽出する直線抽出部と、
抽出された直線から、直線間の平行線を検出する平行線群計測部と、
抽出された直線から、直線の交点が作る消失点群を検出する消失点群計測部と、
生成された直線データ，平行線データ及び消失点群データから、カメラの傾斜や道路の傾斜、撮影車両の揺れに起因する画像の傾斜角と回転量を計測する傾斜回転検出部と、
計測された傾斜角と回転量から、画像の補正信号を生成する補正信号生成部と、
元画像となる地球座標の画像データを、補正信号で修正して新たな地球座標を持つ画像データに変換して補正分割平面変換画像を生成する補正球面画像生成部、及び／又は、元画像から分割平面変換画像に変換する際に、球面画像データを補正せずに、補正信号を付加することで分割平面変換画像に直接補正しつつ変換することで、補正分割平面変換画像を生成する補正分割平面変換画像生成部と、を有する
ことを特徴とする３６０度画像変換処理装置。
請求項１乃至５記載の３６０度画像変換処理装置において、
三次元ベクトル計測装置をさらに備え、
この三次元ベクトル計測装置は、
球面画像出力装置から球面画像又は球面画像から変換された変換平面画像の動画を取得する動画取得部と、
動画から適切なフレームを連続してサンプリングして取得する動画サンプリング指定部と、
適切にサンプリングした複数のフレーム画像間の、基準となる複数の対応点を検出して、その中から演算に適切な所定数の点を選択して指定する対応点検出指定部と、
連続する各フレーム間に存在する、前記所定数の対応点の位置と、移動するカメラ間の位置ベクトル、カメラの回転ベクトル、各カメラ位置と対応点をそれぞれ結んだベクトルを含む、各種三次元ベクトルの相対値を演算により連続的に算出する三次元ベクトル演算部と、
各フレームに対応する複数のカメラ位置と複数の対応点の数により、複数通り生じる演算方程式により、前記各点のベクトルを複数通り演算して求めて、各点の誤差を最小にするように統計処理をして精度の高い各点のベクトルを求める誤差収束演算部と、
得られた相対ベクトル値に既知の値を導入することで、絶対ベクトル値に変換する絶対ベクトル値変換部と、
その演算結果を目的にあった形式で表示するための信号を出力する各種信号出力部と、を有する
ことを特徴とする３６０度画像変換処理装置。
請求項１乃至６記載の３６０度画像変換処理装置において、
対象物ベクトル計測装置をさらに備え、
この対象物ベクトル計測装置は、
対象物が面数Ｎの多面体の組み合わせから構成されていると仮定し、分割平面変換画像装置における分割数を多面体の面数Ｎと同じ面数とし、それぞれの面が多面体を構成するＮ個の平面変換画像として、分割平面変換画像を表示する直交分割平面変換結合画像生成部と、
分割平面を回転させることで、対象物を構成する多面体の一つの面と、分割画像表示した多面体のいずれかの面が平行になる位置を検出する回転多面体平行検出部と、
検出された位置で、各変換画像の三次元オプティカルフローを演算で求める三次元オプティカルフロー演算部と、
変換平面に平行なすべての平面を、同一の三次元オプティカルフローを持つ集合毎に分類して、複数の集合として選択する、各同一オプティカルフロー分類集合選択部と、
選択された画素集合から、さらに各同一オプティカルフロー値毎に画素を分類し、各平行平面毎に分類して、カメラからの距離別に平行平面を選択する単一平行平面選択部と、
選択された平行平面は同一オプティカルフロー値群がすべて変換平面に平行な平面であり、また、そのオプティカルフロー値の違いが各平行平面のカメラからの距離の違いを示すことにより、その値から平行平面の方向と位置と大きさを決定し、対象物を構成する平面の三次元座標を決定する選択平面三次元座標取得部と、
前記各部の処理を繰り返すことで、対象物のすべての平行平面の三次元座標を取得し、三次元的に既知となった対象物の三次元形状を、既知となった複数の平面から構成される多面体として表現する対象物平面形状取得部と、
各面のテクスチャーを画像から取り込む対象物テクスチャー取得部と、を有する
ことを特徴とする３６０度画像変換処理装置。
請求項７記載の３６０度画像変換処理装置において、
対象物ベクトル計測装置は、
対象物が六面体から、又は複数の異なる六面体から構成されると仮定し、分割平面変換画像装置における分割数を六とし、それぞれの面が直角に交差する六面体を構成する六個の平面変換画像として、分割平面変換画像を表示する直交分割平面変換結合画像生成部と、
分割平面を、直角を保ったまま同時に回転させることで、対象物を構成する六面体の一つと、分割画像表示した六面体の一面が平行になる位置を検出する回転六面体平行検出部と、
検出された位置で、各変換画像のオプティカルフローを演算で求めるオプティカルフロー演算部と、
変換平面に平行なすべての平面を同一のオプティカルフローを持つ集合毎に複数の集合として選択する、各同一オプティカルフロー集合選択部と、
選択された画素集合から、さらに各同一値毎に画素を分類し、各平行平面毎に分類して、カメラからの距離別に平行平面を選択する単一平行平面選択部と、
選択された平行平面は同一オプティカルフロー値群がすべて変換平面に等しい平面であり、また、そのオプティカルフロー値の違いが各平行平面のカメラからの距離の違いを示すことにより、その値から平行平面の方向と位置と大きさを決定し、対象物を構成する平面の三次元座標を決定する選択平面三次元座標取得部と、
前記各部の処理を繰り返すことで、対象物のすべての平行平面の三次元座標を取得し、三次元的に既知となった対象物の三次元形状を、既知となった複数の平面から構成される六面体として表現する対象物六面体取得部と、
各面のテクスチャーを画像から取り込む対象物テクスチャー取得部と、を有する
ことを特徴とする３６０度画像変換処理装置。
請求項７又は８記載の３６０度画像変換処理装置において、
三次元地図生成装置をさらに備え、
この三次元地図生成装置は、
対象物ベクトル計測装置で得られた対象物の形状取得とテクスチャー取得とをすべての対象物について繰り返すことで、全空間の対象物を平面で構成する平面構成空間生成部と、
路面を走行するカメラの移動にともなって、前記対象物の形状取得とテクスチャー取得の処理を繰り返すことで、三次元地図を生成する全空間対象物画像構成部と、を有する
ことを特徴とする３６０度画像変換処理装置。
請求項１乃至９記載の３６０度画像変換処理装置において、
視点コントロール画像生成装置をさらに備え、
この視点コントロール画像生成装置は、
球面画像の動画像又は静止画像のデータを送信する球面画像画伝送部と、
球面画像伝送部のデータ送信と同時に、又は前もって、分割平面画像変換生成装置のプログラムを伝送する展開プログラム伝送部と、
画像の視点，視角，回転，スクロールの機能を予め決められた態様でコントロールするための視点プログラムを生成する視点プログラム生成部と、
生成された視点プログラムを送信する視点プログラム伝送部と、
球面画像の動画像又は静止画像のデータ，分割平面画像変換生成装置のプログラム及び視点プログラムを受信する受信部と、
分割平面画像変換生成装置で生成される平面変換画像を、視点プログラムによって視点，視角，回転，スクロールの機能を予め決められた態様で平面展開する視点コントロール部と、を有する
ことを特徴とする３６０度画像変換処理装置。
請求項６記載の３６０度画像変換処理装置において、
目的平面凹凸検出装置をさらに備え、
この目的平面凹凸検出装置は、
複数のフレーム画像，複数のカメラによる複数の画像，分割平面変換画像装置で生成される平面変換画像，又は他の装置で生成される平面画像の少なくともいずれかから、目的平面に平行な面で平面変換画像を取得する目的平面変換画像取得部と、
三次元ベクトル計測装置によりカメラ位置を連続して取得するカメラ位置方位計測部と、
連続する各平面変換画像において、精度から決まる目的の面積域にまで絞って、各目的平面画像上の小領域の対応点を検出する目的平面小領域対応点検出部と、
取得された対応点の位置と座標上の距離を画像から抽出する対応点座標抽出部と、
抽出された対応点の目的平面から垂直方向の距離を演算で求める対応点凹凸演算部と、
目的平面上の必要な範囲で対応点の凹凸を演算する目的平面凹凸演算部と、を有する
ことを特徴とする３６０度画像変換処理装置。