JP4348468B2 - 画像生成方法 - Google Patents

Description

本発明は、画像生成方法に関するものである。

従来から、移動体にカメラを取り付け、そのカメラで取得された画像を見ながら移動体を操作することが行われている。移動体は、例えば、遠隔地にある自走ロボットである。移動体が遠隔地にある場合は、画像は、通信ネットワークを介して操作者に送られる。

ところで、移動体のカメラで取得された画像は、移動体周辺の環境情報をあまり多くは含んでいないことが多い。これは、解像度を維持しながら画角を広くすると、画像の情報量が増え、通信路や情報処理装置への負担が増えるためである。狭い画角の画像を見ながら移動体を適切に操作することは、多くの場合、かなりの困難を伴う。

一方、移動体の外部に、移動体カメラとは別の外部カメラを設置し、この外部カメラの画像によって環境画像を取得する方法も考えることができる。しかしながら、移動体カメラの画像と外部カメラの画像の両方を用いることは、やはり、画像の情報量を増大させてしまう。画像の情報量が増えると、一般には、画像の解像度やフレームレートを低く設定して、通信や情報処理における時間遅れを防ぐ必要が発生する。すると、画像品質が劣化することになってしまう。逆に画像品質を維持しようとすると、画像が提示されるまでの時間遅れのために、リアルタイムでの移動体操作が難しくなってしまう。もちろん、通信路や情報処理装置の高速化や情報量の圧縮によりこれらの問題が軽減されることはありうるが、いずれにせよ、取得する画像の情報量が増大することは、通信路を含めたシステムの負担を増加させる。

本発明は、前記の事情に鑑みてなされたものである。本発明の目的は、移動体の操作を容易としうる画像の生成方法を提供することである。

本発明に係る画像生成方法は、次のステップを含む：
（１）移動体に取り付けられた一つまたは複数の空間計測センサによって取得された環境情報を受け取るステップ；
（２）前記環境情報を取得した時の時刻と前記空間計測センサ自身のパラメータとを受け取るステップ；
（３）前記環境情報と前記時刻と前記パラメータとを示す過去情報を保存するステップ；
（４）仮想視点の指定を受け取るステップ；
（５）前記仮想視点から見た仮想環境画像を、前記保存された過去情報に基づいて生成するステップ。

この画像生成方法は、さらに以下のステップを含んでも良い：
（６）前記仮想視点から見た前記移動体自身の画像を、前記移動体自身のパラメータに基づいて生成するステップ；
（７）前記仮想環境画像と前記移動体自身の画像とを用いて、前記移動体自身の画像と前記仮想環境画像とを含む複合画像を生成するステップ。

前記環境情報とは、例えば複数の静止画であるが、動画であってもよい。

前記ステップ（６）における前記移動体自身のパラメータとは、「前記仮想視点を指定した時点またはその近傍から、生成された前記複合画像が提示される時点までの間におけるいずれかの時点」におけるものであってもよい。

前記移動体は自走可能であってもよい。

前記仮想視点は、前記移動体の周辺の環境および／または操作者が見たい地点の周辺の環境を見る位置に存在していてもよい。

前記仮想視点は、前記移動体を背後から見る位置に存在していてもよい。

前記ステップ（２）における「空間計測センサ自身のパラメータ」とは、例えば、「空間計測センサ自身の位置および姿勢」および／または、「空間計測センサ自身により得られたデータ空間と実空間との関係を表すデータ、行列もしくはテーブル」を含むものである。

前記ステップ（５）における「過去情報に基づいて生成する」とは、例えば、「前記環境情報に含まれるいずれかの画像を、前記環境情報を取得した時の前記空間計測センサ自身の位置と前記仮想視点との近さに基づいて選択する」ことである。

前記ステップ（５）における「過去情報に基づいて生成する」とは、例えば、「過去情報を用いて新たに生成する」ことである。

前記仮想環境画像は、例えば静止画である。

前記ステップ（７）における前記複合画像に含まれる前記移動体自身の画像は、透明、半透明、またはワイヤフレームの画像であってもよい。

前記移動体自身のパラメータには、前記移動体の位置を含んでいてもよい。

前記移動体自身のパラメータには、前記移動体の姿勢をさらに含んでいてもよい。

本発明に係る提示方法は、前記したいずれかの生成方法により生成された複合画像を提示するものである。

本発明に係る画像生成システムは、移動体と制御部と情報取得部とを備えている。前記移動体は、環境情報を取得する空間計測センサを備えている。前記制御部は、次の機能を実行するものである：
（ａ）前記環境情報と、前記環境情報を取得した時の時刻と、前記環境情報を取得した時の前記空間計測センサ自身のパラメータとを示す過去情報を保存する機能；
（ｂ）指定された仮想視点の情報を受け取る機能；
（ｃ）前記仮想視点から見た仮想環境画像を、前記保存された過去情報に基づいて生成する機能。

前記画像生成システムは、さらに情報取得部を備えてもよい。前記情報取得部は、前記移動体自身のパラメータを取得するものである。この場合、前記制御部は、さらに次の機能を実行する：
（ｄ）前記仮想視点から見た前記移動体自身の画像を、前記移動体自身のパラメータに基づいて生成する機能；
（ｅ）前記仮想環境画像と前記移動体自身の画像とを用いて、前記移動体の画像と前記仮想環境画像とを含んだ複合画像を生成する機能。

本発明に係るコンピュータプログラムは、前記したいずれかの方法におけるステップをコンピュータに実行させるものである。

本発明に係るコンピュータプログラムは、前記システムにおける制御部の機能をコンピュータに実行させるものであってもよい。

本発明に係るデータは、前記したいずれかの生成方法によって生成された前記仮想環境画像または前記複合画像を表す情報を含むものである。
本発明に係る記録媒体は、このデータが記録されたものである。

本発明によれば、移動体の操作を容易としうる画像生成方法を提供することができる。

本発明の一実施形態に係る画像生成方法を、添付の図面を参照しながら説明する。まず、本実施形態の方法に用いる画像生成システムの構成を図１に基づいて説明する。

（システムの説明）
このシステムは、移動体１と、制御部２と、情報取得部３と、画像提示部４とを主要な要素として備えている。

移動体１は、例えば、自走式の遠隔制御ロボットである。移動体１は、カメラ１１（本発明における空間計測センサに対応）と、本体１２と、インタフェース部１３と、カメラ駆動部１４と、姿勢センサ１５と、本体駆動部１６とを備えている。

カメラ１１は、本体１２に取り付けられており、移動体１から見た環境画像（外部画像であり、本発明における環境情報に相当）を取得するようになっている。カメラ１１により取得された環境画像は、インタフェース部１３を介して制御部２に送られるようになっている。カメラ１１は、この実施形態では、静止画を取得するものとなっているが、動画を取得するものであってもよい。さらに、この実施形態では、カメラ１１は、各画像を取得した時の時間情報（タイムスタンプ）を生成する。この時間情報も、インタフェース部１３を介して制御部２へ送られる。この時間情報の生成は、カメラ１１以外の部分で行ってもよい。

カメラ１１としては、通常の可視光カメラの他、赤外線カメラ、紫外線カメラ、超音波カメラなどの各種のカメラを用いることができる。カメラ以外の空間計測センサとしては、例えば、レーダレンジファインダや光学式レンジファインダである。空間計測センサとしては、要するに、対象（外部環境）の２次元または３次元（さらに時間などの次元を取得できても良い）の情報（つまり環境情報）を取得できるものであればよい。レーダレンジファインダや光学式レンジファインダによれば、環境中の対象の３次元位置情報を容易に取得可能である。これらの場合においても、通常は、タイムスタンプを空間計測センサ側で生成して制御部２に送る。

インタフェース部１３は、インターネットなどの通信ネットワーク回線（図示せず）に接続されている。インタフェース部１３は、移動体１で取得した情報を外部に供給し、あるいは、外部からの情報（例えば制御信号）を移動体１で受け取る機能を有する部分である。通信ネットワーク回線としては、インターネットの他、ＬＡＮ、電話回線など、適宜のものが利用可能である。つまり、ネットワーク回線において用いられるプロトコルや回線やノードには、特に制約はない。ネットワーク回線における通信方式としては、回線交換方式でもパケット方式でもよい。

カメラ駆動部１４は、カメラ１１の位置（空間中または平面上の位置）および姿勢（カメラにおける視線の方向ないし光軸の方向）を変化させるものである。カメラ駆動部１４は、制御部２からの指示によりカメラ１１の位置および姿勢を変化させるようになっている。このようなカメラ駆動部１４は、例えば、制御用モータなどを用いて容易に製作できるので、これ以上の説明を省略する。

姿勢センサ１５は、カメラ１１の姿勢を検出するものである。この姿勢の情報（例えば光軸角度や視野角や姿勢情報取得時刻など）は、インタフェース部１３を介して制御部２へ送られる。このような姿勢センサ１５自体は容易に構成できるので、これ以上の説明は省略する。

本体駆動部１６は、制御部２からの指示によって移動体１を自走させるものである。本体駆動部１６は、例えば、本体１２の下部に取り付けられた車輪（無限軌道を含む）と、これを駆動する駆動用モータ（図示せず）とを備えている。

制御部２は、インタフェース部２１と処理部２２と記憶部２３と入力部２４とを備えている。インタフェース部２１は、インタフェース部１３と同様に、通信ネットワーク回線（図示せず）に接続されている。インタフェース部２１は、通信ネットワーク回線を介して、制御部２から外部に情報を供給し、あるいは、外部の情報を制御部２で受け取る機能を有する部分である。例えばインタフェース部２１は、移動体１のインタフェース部１３から制御部２へ送られた各種の情報を取得し、あるいは、インタフェース部１３へ制御信号を送る。

処理部２２は、記憶部２３に格納されたプログラムに従って、下記（ａ）〜（ｅ）の機能を実行するものである。処理部２２は、例えばＣＰＵである。なお、下記（ａ）〜（ｅ）の機能は、後述の画像生成方法の説明において詳しく説明する。
（ａ）環境画像と、この環境画像を取得した時の時刻と、環境画像を取得した時のカメラの位置および姿勢（パラメータに対応）とを示す過去情報を保存する機能；
（ｂ）指定された仮想視点の情報を受け取る機能；
（ｃ）仮想視点から見た仮想環境画像を、保存された過去情報に基づいて生成する機能；
（ｄ）仮想視点から見た移動体自身の画像を、移動体自身の位置または姿勢に基づいて生成する機能；
（ｅ）仮想環境画像と前記移動体自身の画像とを用いて、移動体の画像と仮想環境画像とを含んだ複合画像を生成する機能。

記憶部２３は、制御部２その他の機能要素を動作させるためのコンピュータプログラムや、移動体１の３次元モデル情報や、過去情報（例えば、移動体１またはカメラ１１の位置および姿勢情報、あるいはそれらの情報取得時刻など）を格納しておく部分である。記憶部２３は、例えば、半導体メモリやハードディスクなどの任意の記録媒体である。

入力部２４は、操作者から制御部２への入力（例えば仮想視点情報の入力）を受け付ける部分である。

情報取得部３は、移動体１自身の位置および姿勢（向き）を取得するものである。本実施形態における移動体１の位置および姿勢は、本発明における「移動体自身のパラメータ」に対応する。なお、「移動体自身のパラメータ」としては、移動体１の位置および姿勢以外にも、移動体の速度、加速度、角速度、角加速度などのパラメータを用いることができる。これらのパラメータによっても、移動体の位置変化を検出できるからである。

移動体１の位置および姿勢を得るには、例えばジャイロ、加速度計、車輪回転角速度計、ＧＰＳ、超音波センサなどの機器を用いた、既存の三次元自己位置推定手法を用いることができる。このような手法自体は既存のものを利用できるので、それについての詳しい説明は省略する。

さらに、情報取得部３は、移動体１の位置および姿勢を取得した時の時刻を取得する。ただし、時間情報を取得しない実装も可能である。

なお、カメラ１１の位置は、カメラ１１が移動体１に固定されていれば、移動体１の位置として取得することができる。この実施形態では、情報取得部３により、本体１の位置を取得し、本体１の位置から、これに固定されたカメラ１１の位置を算出している。逆に、カメラ１１の位置を取得して、移動体１の位置を算出することも可能である。

情報取得部３は、制御部２および移動体１と別個のものでも、制御部２または移動体１と一体のものでも良い。また、情報取得部３と姿勢センサ１５とは、一体化された一つの機構または装置として存在していても良い。

画像提示部４は、制御部２の動作により生成された画像（複合画像）を受け取って提示するものである。画像提示部４としては、例えばディスプレイやプリンタである。

なお、本発明における空間計測センサ自身のパラメータとは、例えば、このセンサがカメラであれば、その位置および姿勢であることが一般である。ただし、このパラメータは、位置および姿勢に加えて、またはこれらに代えて、データ空間と実空間との関係を表すデータ、行列あるいはテーブルであってもよい。この「データ、行列あるいはテーブル」は、「カメラの焦点距離、画像中心の座標、画像面における縦および横方向のスケール・ファクタ、せん断係数またはレンズ収差」などの要素により算出される。また、空間計測センサがレンジファインダであれば、それ自身のパラメータとは、例えば、その位置、姿勢、奥行き、解像度および画角（データ取得範囲）である。

（画像生成方法の説明）
つぎに、本実施形態のシステムを用いた画像生成方法を説明する。まず、前提として、移動体１の位置および姿勢を、情報取得部３により常時追跡しておくものとする。もちろん、情報取得部３は、これらの情報を、時間的又は空間的な意味で、離散的に取得しても、連続的に取得しても良い。取得された情報は、制御部２の記憶部２３に格納される。この情報は、この実施形態では、絶対座標系（移動体に依存しない座標系であり、ワールド座標ともいう）上のデータとして、その情報の取得時刻と共に格納されるものとする。

（ステップ２−１）
まず、移動体１に取り付けられたカメラ１１によって環境画像（図３ａ参照）を取得する。さらに、環境画像を取得した時刻（タイムスタンプ）も、カメラ１１で取得する。環境画像を取得する時期は、移動体１の移動速度、カメラ１１の画角、通信路の通信容量などの条件に対応して設定すればよい。例えば、３秒毎に静止画を環境画像として取得する、というような設定ができる。取得された画像および時間情報は、制御部２に送られる。制御部２は、これらの情報を記憶部２３に格納する。以降、制御部２に送られた各情報は、記憶部２３に一旦格納される。環境画像としては、通常は静止画であるが、動画であっても良い。

（ステップ２−２）
さらに、情報取得部３は、環境画像を取得した時点での、移動体１の位置および姿勢に関する情報を取得して制御部２に送る。一方、移動体１の姿勢センサ１５は、カメラ１１の姿勢に関する情報を取得して制御部２に送る。より詳しくは、情報取得部３は、カメラ１１の姿勢データを、その時点で取得した各環境画像に対応させて、制御部２に送る。

この実施形態では、環境画像を取得した時点でのカメラ１１の位置データは、情報取得部３で取得された移動体１の位置情報（画像取得時点での位置）から算出される。画像取得時点での移動体１の位置は、タイムスタンプを用いて検索してもよいし、あるタイムスロット間で得られたデータどうしを対応させる方法で検索してもよい。

（ステップ２−３）
ついで、制御部２は、環境画像および時間情報と、それを取得した時点でのカメラ１１の位置および姿勢を示す情報（本実施形態では、これらをまとめて過去情報と称する）を、記憶部２３に格納する。これらの情報は、同時に格納されても、異なる時期に格納されても良い。具体的には、環境画像のデータと、カメラ１１の位置および姿勢データとを、時間的に対応させてテーブルに格納する。つまり、これらのデータを、時間情報または位置情報を検索キーとして検索できるようにしておく。また、ここで、位置および姿勢を示す情報とは、位置データや姿勢データそのものでなくても良い。例えば、計算によりこれらのデータを算出できるデータ（またはデータ群）であってもよい。

（ステップ２−４）
ついで、仮想視点を指定する。この指定は、通常は、操作者がその必要に応じて、制御部２の入力部２４により行う。また、仮想視点の位置は、絶対座標上で特定されることが好ましいが、現仮想視点からの相対位置で指定することも可能である。仮想視点の位置は、例えば、移動体１の背後から、移動体１を含む画像を見るものとする。または、仮想視点の位置は、移動体１を含まない、操作者が見たい地点の周辺の環境を見るものであってもよい。

（ステップ２−５）
ついで、仮想視点から見た仮想環境画像（図３ｂ参照）を、既に保存されている過去情報に基づいて生成する。仮想環境画像は、通常は静止画であるが、動画とすることも可能である。仮想環境画像の生成手法の例を以下説明する。

（空間的に密に画像が得られる場合）
この場合は、過去情報に含まれる画像（環境情報）のうちで、仮想視点の近くから撮像された画像を選択する。どの程度の距離をもって近いと判断するかは適宜設定すればよい。例えば、この判断は、当該画像が撮影された時の位置および姿勢（角度）あるいは焦点距離などの情報を用いて行うことができる。要するに、操作者が見やすく判りやすい画像を選択できるように設定することが好ましい。前記の通り、過去の画像を撮像した時のカメラ１１の位置および姿勢は記録されている。

（空間的に疎に画像が得られる場合）
この場合も、実際にカメラで撮像した画像を用いることは可能である。しかしながら、画像品質を向上させるためには、仮想視点からの画像を、実際に得られている画像を基に新たに生成することが好ましい。このような画像生成手法には、既存のコンピュータビジョン技術を用いることができる。この実施形態では、実時間性を考慮して、環境モデルを構築せずに、画像ベースでの任意視点画像を生成する手法を説明する。この場合のアルゴリズムの一例は以下のようになる。
（ａ）仮想視点の近傍における複数の画像を過去情報から選択する。この「近傍」の判断は、「空間的に密に画像が得られる場合」と同様にして行うことができる。
（ｂ）その内の二つの画像間における対応点を求める。
（ｃ）画像間での密な対応点が得られるように、対応点の伝搬を画像間で行う。
（ｄ）対応点を基に、画像間のトライフォーカルテンソル（trifocal tensor）を求める。
（ｅ）トライフォーカルテンソルを使って、二つの原画像で対応のとれた全てのピクセルを、任意視点から見た仮想環境画像へマッピングする。これにより、仮想環境画像を生成することができる。
（ｆ）さらに好ましくは、前記操作を、仮想視点の近傍における他の画像に対しても行う。そのようにすれば、それらの画像も利用することで、より正確な、そして視野の広い仮想環境画像を生成することができる。

もちろん、環境画像から３次元環境モデルを一旦生成し、そのモデルに基づいて、任意視点から見える仮想環境画像を生成する手法も可能である。しかし、この場合は、モデル構築のために、多数の環境画像を取得したり、長い計算時間を費やさなければならないという問題がある。

（ステップ２−６）
ついで、仮想視点から見た移動体１の画像を、移動体１の位置および姿勢の情報に基づいて生成する。移動体１の位置および姿勢の情報は、情報取得部３により常に追跡されて取得されている（図３ｃ参照）ので、この情報から把握することができる。この位置および姿勢の情報は、単なる座標データなので、通信路に対する負担は、画像データに比較してはるかに小さい。この位置および姿勢情報を基に、絶対座標系において仮想視点から見た移動体１の画像を生成する。

ここで生成される移動体１の画像は、通常は、現在時点にある移動体１の画像であるが、予測により生成した、将来の位置にある移動体１の画像であってもよく、また、過去のある時点の位置における移動体１の画像であってもよい。

（ステップ２−７）
このようにして生成した仮想環境画像と移動体１の画像とを用いて、移動体１の画像と仮想環境画像とを含む複合画像を生成することができる（図３ｄ参照）。この画像は、操作者の必要に応じて、画像提示部４において提示される。また、複合画像データを適宜な記録媒体（例えばＦＤ、ＣＤ、ＭＯ、ＨＤなど）に記録することができる。

移動体１の位置または姿勢が変化すると、情報取得部３により、変化後の移動体１の位置および姿勢データが取得され、取得時刻と共に制御部２の記憶部２３に送られて、データの更新がされる。また、移動後の位置における環境画像を、時間情報（タイムスタンプ）とともに、カメラ１１により取得する。その後、ステップ２−２以降の動作が繰り返される。

本実施形態の方法では、このように、移動体１を含む仮想環境画像を生成および提示することができる。すると、移動体１を見ながら移動体の操作をすることができるので、操作の容易性を向上させることができるという利点がある。

また、この実施形態では、過去に取得した環境画像に基づいて、仮想視点から見た仮想環境画像を生成しているので、外部に環境画像取得用のカメラを設ける必要がなく、装置の小型化や低コスト化を図ることができるという利点がある。

また、外部に環境画像取得用のカメラを設けたり、カメラの画角を広げた場合には、データ量が増大するために、通信路への負担が大きくなり、しばしば、フレームレートの低下などの問題を生じる。すると、実時間での操作が難しくなる。この実施形態によれば、過去の画像を用いて仮想環境画像を生成しているので、画像情報の取得に時間遅れがあったとしても、実時間操作に対する支障にならないという利点がある。さらに、過去の画像から３次元環境モデルを生成せずに仮想環境画像を生成するアルゴリズムを用いれば、仮想環境画像の生成時間が短くなるので、操作の実時間性はさらに向上する。

さらに、この実施形態では、過去の画像の取得における時間遅れを許容できるので、画像解像度を高くすることができる。このため、得られる仮想環境画像の解像度を高めることができるという利点がある。

なお、仮想環境画像を用いると却って操作がしづらい場合は、移動体１のカメラ１１からの画像に適宜切り替えて操作者に提示すればよい。

前記した生成方法についての実施例を図４〜図６に基づいて説明する。移動体１から連続的に取得される環境画像は、例えば図４（ａ）〜（ｄ）のようになる。これらから生成される仮想環境画像の例を図５（ａ）〜（ｃ）に示す。実時間において図４（ｂ）の画像をカメラ１１で見ている移動体１を、それ自体を含む画像として提示しているものが図５（ａ）である。図５（ａ）では、図４（ｂ）よりも過去の画像である図４（ａ）の画像を仮想環境画像として選んでいる。そして、この仮想環境画像に、移動体１の画像を複合させている。これにより、現在位置にある移動体１を背後（仮想視点）から見ている画像を生成し、提示することができる。これによって、移動体１自身を見ながら、移動体１を操作することができる。

移動体１の移動に伴って仮想視点も前進させると、図５（ｂ）や（ｃ）に示される画像を得ることができる。これらの画像の生成手法は、前記と基本的に同様である。これらの画像では、仮想視点の変化に伴い、仮想環境画像を図４（ｂ）、図４（ｃ）と切り替えている。図４（ｄ）の画像は、図５（ｃ）の画像に含まれている移動体１のカメラ１１からの画像である。

もし、通信路の状況が悪く、フレームレートが低くて、図５（ｂ）や（ｃ）のような環境画像を生成するための過去画像すら得られないときは、移動体１自体を移動させた画像とすればよい（図６ａ〜ｄ参照）。つまり、これは、仮想視点を固定させて、移動体１の画像を変化させていることになる。この実施形態の方法では、移動体１の位置および姿勢を把握しているため、位置および姿勢に対応した移動体１の画像を生成して、仮想環境画像に複合させることができる。したがって、この実施形態の方法は、回線速度が非常に低い場合（例えば月探査ロボットから地球への無線信号など）でも、実時間での移動体１の操作が容易となるという利点がある。

なお、仮想環境画像に複合させる移動体１の画像を半透明とすることもできる。このようにすれば、仮想視点からの画像において、移動体１の背後が死角になることを防止でき、移動体１の操作をより一層容易とすることができる。また、移動体１の画像を透明とし、非透明の画像と交互に表示することによっても、同様の利点を得ることができる。半透明に代えて、移動体１をワイヤフレーム画像としても、これらと同様の利点を得ることができる。さらに、複合画像内に移動体１の影を付加することにより、よりリアリティを増すこともできる。

さらに、通常、移動体１に搭載されたカメラ１１からの映像を直接用いる遠隔操作では、移動体１自身の揺れが画像の揺れに直接つながる。このように揺れている画像を用いて移動体１の操作を行う操作者は、自分自身が振動を直接受けていないのにもかかわらず揺れ画像を用いて移動体１の操作を行っているため、酔ってしまうことがある。前記した本実施形態の方法では、移動体１が振動を受けて、カメラ１１での取得画像自体が揺れていたとしても、操作者には、固定された環境（仮想環境画像）のなかで移動体１のみが揺れている複合画像を提示することができる。したがって、この方法によれば、操作者のカメラ酔いを防止することができる。

前記した各実施形態の実行は、当業者にはコンピュータを用いて容易に実行可能である。そのためのプログラムは、コンピュータで読み取り可能な記録媒体、例えばＨＤ、ＦＤ、ＣＤ、ＭＯなど、任意のものに格納できる。

なお、前記各実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。

例えば、前記実施形態では、移動体として自走式ロボットとしたが、これに限らず、遠隔操作されたあるいは操作者が搭乗する移動体（自動車やヘリコプターなど）でもよい。さらには、移動体は、自走式に限らず、外部からの力で移動させられるものでもよい。そのようなものの例としては、内視鏡手術における内視鏡の先端部分や、根元が固定されたマニピュレータの先端部が挙げられる。

さらに、移動体としては、人間や動物であってもよい。例えば、人間や動物自身にカメラを搭載して、自身の背後からの映像を取得するためには、相当に大がかりな装置を必要とする。これに対して、本実施形態の方法では、人間等にカメラを搭載して複合画像を生成することにより、自身の背後からの映像を簡単に得ることができる。このため、この方法を、例えばスポーツのトレーニングに活用することもできる。さらには、自身の背後からの画像を撮影すること自体が困難なであるような活動（例えばスキーやサーフィン）においても、環境内での自身の状態を実時間に（またはデータを蓄積した上でオンデマンドで）確認することが可能となる。

また、空間計測センサとして超音波カメラを使った場合には、これを水中移動体や内視鏡へ搭載することにより、水中や体内等での環境情報を取得し、これに基づく仮想環境画像を生成することが可能となる。

さらに、前記実施形態では、移動体画像を有する複合画像を提示するものとしたが、移動体画像を複合させずに、仮想環境画像を提示する方法ないしシステムとしてもよい。この場合も、過去情報を用いて広視野の画像を提示できるので、移動体１の操作の容易性を向上させることができる。

また、移動体に対する空間計測センサ（例えばカメラ）の配置位置は、移動体の先端に限らず、後部、周縁部など、どこであってもよい。

さらに、前記実施形態では、移動体を一つとしたが、移動体は複数であってもよい。この場合、複数の移動体は、前記した移動体の構成を備えているものとする。このようにすれば、環境情報、および、空間計測センサのパラメータを統一的なフォーマットで保存しておく限り、複数の移動体間、あるいは、同種または異種の空間計測センサ間の情報を共有できる。

これにより、当該移動体自身では行ったことがない環境情報を利用することができ、例えば、他の移動体が取得した画像を用いて、障害物の裏側を透視した仮想環境画像を提示できるなどの利点がある。

なお、現時点では空間計測センサの死角に入ってしまっている障害物に関しては、単一の移動体自身が過去に取得した環境画像を利用して、このような障害物を含んだ仮想環境画像を提示することが可能である。

さらに、提示される仮想環境画像または移動体画像は、予測により生成されたものであってもよい。予測は、例えば、移動体１の速度や加速度に基づいて行うことができる。このようにすると、将来の状況を操作者に提示できるので、移動体の操作性を一層向上させることが可能となる。

また、前記実施形態のステップ２−６では、仮想視点から見た移動体１の画像を、移動体１の位置および姿勢の情報に基づいて生成している。しかしながら、移動体の姿勢が重要でない場合は、移動体１の位置に基づいて移動体１の画像を生成する場合もありうる。
また、前記実施形態を実現するための各部（機能ブロックを含む）の具体的手段は、ハードウエア（例えばコンピュータやセンサ）、コンピュータソフトウエア、ネットワーク、これらの組み合わせ、その他の任意の手段を用いることができる。
さらに、機能ブロックどうしが複合して一つの機能ブロックまたは装置に集約されても良い。また、一つの機能ブロックの機能が複数の機能ブロックまたは装置の協働により実現されても良い。

本発明の一実施形態に係る画像生成システムの概略を示すブロック図である。 本発明の一実施形態に係る画像生成方法を説明するためのフローチャートである。 本発明の一実施形態に係る画像生成方法において用いられる画像の例を示す説明図である。 本発明の実施例に係る画像生成方法において用いられる画像の例を示す説明図である。 本発明の実施例に係る画像生成方法において用いられる画像の例を示す説明図である。 本発明の実施例に係る画像生成方法において用いられる画像の例を示す説明図である。

符号の説明

１ 移動体
１１ カメラ（空間計測センサ）
１２ 移動体の本体
１３ インタフェース部
１４ カメラ駆動部
１５ 姿勢センサ
１６ 本体駆動部
２ 制御部
２１ インタフェース部
２２ 処理部
２３ 記憶部
２４ 入力部
３ 情報取得部
４ 画像提示部

Claims (22)

1. 遠隔地にあり、かつ、未知の環境中を進む移動体の周辺環境を表す仮想環境画像を生成して、前記移動体の操作者に提示するための画像生成方法であって、さらに、次のステップを含むことを特徴とする画像生成方法：
   （１）前記移動体に取り付けられた一つまたは複数の空間計測センサによって取得された環境情報を受け取るステップ；
   （２）前記環境情報を取得した時の時刻と前記空間計測センサ自身のパラメータとを受け取るステップ；
   （３）前記環境情報と前記時刻と前記パラメータとを示す過去情報を保存するステップ；
   （４）前記遠隔地にある前記移動体を見る位置における仮想視点の指定を受け取るステップ、ここで、前記遠隔地にある前記移動体に取り付けられた前記空間計測センサは、新たな前記環境情報の取得を継続しており；
   （５）前記仮想視点から見た仮想環境画像を、前記保存された過去情報に基づいて生成するステップ。
2. さらに以下のステップを含むことを特徴とする請求項１記載の画像生成方法：
   （６）前記仮想視点から見た前記移動体自身の画像を、前記移動体自身のパラメータに基づいて生成するステップ；
   （７）前記仮想環境画像と前記移動体自身の画像とを用いて、前記移動体自身の画像と前記仮想環境画像とを含む複合画像を生成するステップ；
   （８）前記仮想環境画像の更新が困難な場合には、前記仮想環境画像における前記移動体の大きさを変更することで、前記移動体の現在位置を表すステップ。
3. 前記環境情報は複数の静止画であることを特徴とする請求項１または２に記載の生成方法。
4. 前記環境情報は動画であることを特徴とする請求項１〜３のいずれか１項に記載の生成方法。
5. 前記ステップ（６）における前記移動体自身のパラメータは、「前記仮想視点を指定した時点またはその近傍から、生成された前記複合画像が提示される時点までの間におけるいずれかの時点」におけるものであることを特徴とする請求項２〜４のいずれか１項に記載の生成方法。
6. 前記移動体は自走可能であることを特徴とする請求項１〜５のいずれか１項に記載の生成方法。
7. 前記仮想視点は、前記移動体の周辺の環境および／または操作者が見たい地点の周辺の環境を見る位置に存在していることを特徴とする請求項１〜６のいずれか１項に記載の生成方法。
8. 前記仮想視点は、前記移動体を背後から見る位置に存在していることを特徴とする請求項１〜７のいずれか１項に記載の生成方法。
9. 前記ステップ（２）における「空間計測センサ自身のパラメータ」とは、「空間計測センサ自身の位置および姿勢」および／または、「空間計測センサ自身により得られたデータ空間と実空間との関係を表すデータ、行列もしくはテーブル」を含むものであることを特徴とする請求項１〜８のいずれか１項記載の生成方法。
10. 前記ステップ（５）における「過去情報に基づいて生成する」とは、「前記環境情報に含まれるいずれかの画像を、前記環境情報を取得した時の前記空間計測センサ自身の位置と前記仮想視点との近さに基づいて選択する」ことである請求項１〜９のいずれか１項に記載の生成方法。
11. 前記ステップ（５）における「過去情報に基づいて生成する」とは、「過去情報を用いて新たに生成する」ことである請求項１〜９のいずれか１項に記載の生成方法。
12. 前記仮想環境画像は静止画であることを特徴とする請求項１〜１１のいずれか１項に記載の生成方法。
13. 前記ステップ（７）における前記複合画像に含まれる前記移動体自身の画像は透明、半透明、またはワイヤフレームの画像であることを特徴とする請求項２〜１２のいずれか１項に記載の生成方法。
14. 前記移動体自身のパラメータには、前記移動体の位置を含むことを特徴とする請求項２〜１３のいずれか１項に記載の生成方法。
15. 前記移動体自身のパラメータには、前記移動体の姿勢をさらに含むことを特徴とする請求項１４に記載の生成方法。
16. 請求項２〜１５のいずれか１項の方法により生成された複合画像を提示する提示方法。
17. 遠隔地にあり、かつ、未知の環境中を進む移動体の周辺環境を表す仮想環境画像を生成して、前記移動体の操作者に提示するための画像生成システムであって、さらに、制御部と情報取得部とを備えており、
    前記移動体は、環境情報を取得する空間計測センサを備えており、
    前記制御部は、次の機能を実行するものであることを特徴とする画像生成システム：
    （ａ）前記環境情報と、前記環境情報を取得した時の時刻と、前記環境情報を取得した時の前記空間計測センサ自身のパラメータとを示す過去情報を保存する機能；
    （ｂ）前記遠隔地にある前記移動体を見る位置における、指定された仮想視点の情報を受け取る機能、ここで、前記遠隔地にある前記移動体に備えられた前記空間計測センサは、新たな前記環境情報の取得を継続しており；
    （ｃ）前記仮想視点から見た仮想環境画像を、前記保存された過去情報に基づいて生成する機能。
18. さらに情報取得部を備え、前記情報取得部は、前記移動体自身のパラメータを取得するものであり、前記制御部は、さらに次の機能を実行するものであることを特徴とする請求項１７記載の画像生成システム：
    （ｄ）前記仮想視点から見た前記移動体自身の画像を、前記移動体自身のパラメータに基づいて生成する機能；
    （ｅ）前記仮想環境画像と前記移動体自身の画像とを用いて、前記移動体の画像と前記仮想環境画像とを含んだ複合画像を生成する機能。
19. 前記遠隔地にある前記移動体で取得された環境情報と、前記環境情報を取得した時の時刻と、前記空間計測センサ自身のパラメータとを、通信ネットワーク回線を介して受け取る構成となっている
    請求項１に記載の画像生成方法。
20. さらに以下のステップを含むことを特徴とする請求項１記載の画像生成方法：
    （６）前記仮想視点から見た前記移動体自身の画像を、前記移動体自身のパラメータに基づいて生成するステップ；
    （７）前記仮想環境画像と前記移動体自身の画像とを用いて、前記移動体自身の画像と前記仮想環境画像とを含む複合画像を生成するステップ；
    （８）前記移動体自身が揺れている場合には、前記仮想環境画像を揺らさず、前記移動体を前記仮想環境画像の中で揺らすことで、前記移動体の揺れを表すステップ。
21. 請求項１〜１６、請求項１９および請求項２０のいずれか１項記載の方法におけるステップをコンピュータに実行させるコンピュータプログラム。
22. 請求項１７または１８における前記制御部の機能をコンピュータに実行させるコンピュータプログラム。