JP3918518B2 - 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置 - Google Patents
情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置 Download PDFInfo
- Publication number
- JP3918518B2 JP3918518B2 JP2001343981A JP2001343981A JP3918518B2 JP 3918518 B2 JP3918518 B2 JP 3918518B2 JP 2001343981 A JP2001343981 A JP 2001343981A JP 2001343981 A JP2001343981 A JP 2001343981A JP 3918518 B2 JP3918518 B2 JP 3918518B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- imaging
- moving body
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置に関し、特に、例えば、複数の移動体それぞれから、被写体の検知結果を受信して処理することにより、その被写体について、付加価値のある情報を得ることができるようにする情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置に関する。
【０００２】
【従来の技術】
近年においては、ハードウェアの高速化、低価格化、小規模化が進み、例えば、小型のＣＣＤ(Charged Coupled Device)カメラ等の撮像装置を備えた携帯電話機やＰＨＳ(Personal Handyphone System)等の携帯通信端末が実現されている。
【０００３】
このような携帯通信端末では、所望の被写体を撮像（撮影）し、他の携帯通信端末に送信することができる。従って、あるユーザは、他のユーザに連絡をして、画像を送ってもらうことにより、他のユーザがいる場所まで行かなくても、その場所にある被写体の画像を見ることができる。
【０００４】
【発明が解決しようとする課題】
ところで、あるユーザが、所望の被写体の画像を得るには、自身の携帯通信端末によって、所望の被写体がある場所にいる他のユーザの携帯通信端末に連絡をし、さらに、その、他のユーザに、その携帯通信端末によって、所望の被写体を撮影してもらう必要がある。そして、他のユーザの携帯通信端末から送信されてくる画像は、他のユーザのいる位置を視点として、被写体を見たものとなる。
【０００５】
従って、ユーザは、所望の被写体の全体を把握することが困難な場合があった。
【０００６】
そこで、他のユーザに、所望の被写体の周囲を移動しながら、その被写体を撮像してもらう方法があるが、この方法では、他のユーザに煩わしさを感じさせることとなるし、また、被写体が、巨大な建造物等である場合には、その周囲を移動することは容易ではない。さらに、この方法では、他のユーザが所望の被写体を撮像して送信するまでに、多大な時間を要することとなる。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、例えば、被写体を、その周囲を移動しながら撮像したような付加価値のある画像等を、容易に得ることができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の情報処理システムは、複数のユーザの操作に応じて移動する複数の移動体と、複数の移動体に設けられた、被写体を撮像する複数の撮像手段と、複数の移動体のうちの少なくとも１の移動体に設けられ、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信手段と、複数の移動体のうちの少なくとも１の移動体に設けられ、リクエスト信号に応じて、他の移動体で撮像された被写体の画像を、他の移動体から受信する受信手段と、受信手段により受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成手段とを備えることを特徴とする。
【０００９】
本発明の第１の情報処理方法は、複数の移動体のうちの少なくとも１の移動体が、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、複数の移動体のうちの少なくとも１の移動体が、リクエスト信号に応じて、他の移動体で撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１０】
本発明の第１のプログラムは、複数の移動体のうちの少なくとも１の移動体が、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、複数の移動体のうちの少なくとも１の移動体が、リクエスト信号に応じて、他の移動体で撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１１】
本発明の第１の記録媒体は、複数の移動体のうちの少なくとも１の移動体が、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、複数の移動体のうちの少なくとも１の移動体が、リクエスト信号に応じて、他の移動体で撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００１２】
本発明の移動体は、被写体を撮像する撮像手段と、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出手段と、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信手段と、リクエスト信号に応じて、他の移動体の撮像手段によって撮像された被写体の画像を、他の移動体から受信する受信手段と、受信手段により受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成手段とを備えることを特徴とする。
【００１３】
本発明の第２の情報処理方法は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、他の移動体の撮像手段によって撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１４】
本発明の第２のプログラムは、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、他の移動体の撮像手段によって撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１５】
本発明の第２の記録媒体は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、他の移動体の撮像手段によって撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００１６】
本発明の情報処理装置は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出手段と、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信手段と、リクエスト信号に応じて、複数の移動体に設けられた、被写体を撮像する撮像手段によって撮像された被写体の画像を、複数の移動体から受信する受信手段と、受信手段により受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成手段とを備えることを特徴とする。
【００１７】
本発明の第３の情報処理方法は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、複数の移動体に設けられた、被写体を撮像する撮像手段によって撮像された被写体の画像を、複数の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１８】
本発明の第３のプログラムは、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、複数の移動体に設けられた、被写体を撮像する撮像手段によって撮像された被写体の画像を、複数の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１９】
本発明の第３の記録媒体は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、複数の移動体に設けられた、被写体を撮像する撮像手段によって撮像された被写体の画像を、複数の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えるプログラムが記録されていることを特徴とする。
【００２０】
本発明の情報処理システムおよび第１の情報処理方法、並びに第１のプログラムにおいては、複数の移動体それぞれが、複数のユーザそれぞれの操作に応じて移動し、また、その複数の移動体それぞれには、被写体を撮像する複数の撮像手段それぞれが設けられている。また、複数の移動体のうちの少なくとも１の移動体では、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、その撮像位置とともに、被写体の画像を要求するリクエスト信号が、他の移動体に対して送信される。さらに、複数の移動体のうちの少なくとも１の移動体では、他の移動体から送信されてくる、リクエスト信号に応じて他の移動体で撮像された被写体の画像が受信される。そして、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。
【００２１】
本発明の移動体および第２の情報処理方法、並びに第２のプログラムにおいては、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号が送信される。また、他の移動体から送信されてくる、リクエスト信号に応じて他の移動体の撮像手段によって撮像された被写体の画像が受信される。さらに、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。
【００２２】
本発明の情報処理装置および第３の情報処理方法、並びに第３のプログラムにおいては、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号が送信される。また、複数の移動体から送信されてくる、複数の移動体に設けられた、リクエスト信号に応じて被写体を撮像する撮像手段によって撮像された被写体の画像が受信され、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。
【００２３】
【発明の実施の形態】
図１は、本発明を適用した移動体システムの一実施の形態の構成例を示している。
【００２４】
この移動体システムは、多数の移動体（例えば、自動車など）１０１1，１０１2，・・・，１０１k、各移動体１０１kに設けられた全方位カメラ１０２k、およびネットワーク１０４から構成されている。なお、図１の実施の形態では、４台の移動体１０１1乃至１０１4を図示してある。
【００２５】
移動体１０１kとしての自動車は、それを運転操作するユーザＵkによる操作に応じて作動することにより、道路上等を移動する。移動体１０１kに設けられた全方位カメラ１０２kは、自身を中心とする全方位の画像を撮像（検知）する。従って、ある被写体１０３を見通すことのできる位置にある移動体１０１kの全方位カメラ１０２kにおいては、特に、被写体１０３が存在する方向を意識しなくても、被写体１０３を含む画像を撮像することができる。ネットワーク１０４は、任意の移動体１０１kと１０１k'の間の無線通信を可能とするネットワークである。
【００２６】
ここで、以下、適宜、全方位カメラ１０２kにおいて得られる、自身を中心とする全方位の画像を、全方位画像という。
【００２７】
移動体１０１kは、ネットワーク１０４を介して、他の移動体１０１k'と通信する。そして、移動体１０１kは、他の移動体１０１k'で撮像された画像データを、ネットワーク１０４を介して受信し、その画像データを処理することによって、付加価値を付けた画像データを生成する。
【００２８】
なお、移動体１０１k'との通信は、移動体１０１kだけでなく、固定局としての情報処理装置１０５も行うことができるようになっている。そして、固定局である情報処理装置１０５でも、移動体１０１kにおける場合と同様に、他の移動体１０１k'で撮像された画像データを、ネットワーク１０４を介して受信し、その画像データを処理することによって、付加価値を付けた画像データを生成することができる。
【００２９】
次に、図２を参照して、図１の移動体システムの機能について概説する。なお、図２では、８台の移動体１０１1乃至１０１8を図示してある。
【００３０】
移動体システムでは、第１の機能として、ある図示しない移動体１０１kは、所望の移動体である、例えば、移動体１０１8を指定し、その移動体１０１8の現在地から全方位カメラ１０２8によって撮像された全方位画像データを、ネットワーク１０４を介して取得することができる。
【００３１】
また、第２の機能として、移動体１０１kは、ある被写体１０３について、所望の視点方向ｖ上に位置する移動体（図２においては、移動体１０１7）を指定し、その移動体１０１7の現在地から全方位カメラ１０２7によって撮像された全方位画像データを、ネットワーク１０４を介して取得することができる。この場合、その全方位画像データには、被写体１０３を所定の視点方向ｖから見た画像が含まれることになる。
【００３２】
さらに、第３の機能として、移動体１０１kは、複数の移動体（図２においては、被写体１０３を囲む点線の円上に位置する移動体１０１1，１０１2，１０１3，１０１4，１０１5，１０１6）それぞれによって撮像された、被写体１０３を多数の視点方向から見た画像を含む全方位画像データを、ネットワーク１０４を介して取得し、その複数の全方位画像データを処理することによって、被写体１０３を、視点を変えながら見た画像（被写体１０３を、その周囲を一周しながら撮像したような画像）（以下、適宜、視点可変画像という）を、即座に得ることができる。
【００３３】
ここで、第３の機能は、複数の移動体１０１k、並びに１０１1，１０１2，１０１3，１０１4，１０１5、および１０１6が、視点可変画像を得るための処理を協調しながら分担することで実現されるが、この点についての詳細は、後述する。
【００３４】
次に、図３は、移動体１０１kの構成例を示している。
【００３５】
全方位カメラ１０２kは、撮像装置１１１とＡ／Ｄ(Analog/Digital)変換部１１２で構成されている。
【００３６】
撮像装置１１１は、バスBus1を介して制御部１１８から供給される制御信号にしたがって、全方位画像を撮像（撮影）し、その結果得られるアナログの画像信号を、Ａ／Ｄ変換部１１２に供給する。また、撮像装置１１１は、全方位画像を撮像したときのズームに関するズーム情報等を、スケール加工部１１３に供給する。
【００３７】
Ａ／Ｄ変換部１１２は、撮像装置１１１からのアナログの画像信号をＡ／Ｄ変換し、これにより、ディジタルの全方位画像データを得て、スケール加工部１１３に供給する。
【００３８】
スケール加工部１１３は、全方位カメラ１１２k（のＡ／Ｄ変換部１１２）から供給される全方位画像データのスケールを、同じく全方位カメラ１１２k（の撮像装置１１１）から供給されるズーム情報に基づいて変換する。
【００３９】
即ち、スケール加工部１１３は、全方位カメラ１０２kにおいて、任意のズーム倍率で撮像された全方位画像データを、所定のズーム倍率で撮像されたものに変換する。
【００４０】
スケール加工部１１３で処理された全方位画像データは、画像データベース１１４に供給され、画像データベース１１４は、スケール加工部１１３からの全方位画像データを、必要な情報と対応付けて記憶する。また、画像データベース１１４は、後述するようにして、制御部１１８からバスBus1を介して供給される画像データ等も記憶（登録）する。
【００４１】
操作部１１５は、所定の情報（例えば、撮像装置１１１のズーム倍率など）やコマンドを入力するときに操作され、その入力は、バスBus1を介して制御部１１８に供給されて処理される。また、操作部１１５は、移動体１０１kを制御するためのハンドルや、アクセル、ブレーキ等も含んでいる。
【００４２】
送信部１１６は、バスBus1を介して供給される情報を、ネットワーク１０４（図１）を介して送信する。受信部１１７は、ネットワーク１０４を介して送信されてくる情報を受信し、バスBus1上に出力する。
【００４３】
制御部１１８は、バスBus1とBus2に接続されており、そのバスBus1とBus2に接続されている各ブロックを制御する。
【００４４】
表示画像加工部１１９は、バスBus2を介して供給される画像データから、表示部１２２に表示させる画像を生成するための加工処理を行い、バスbus2上に出力する。
【００４５】
比較部１２０は、バスBus2を介して、記憶部１２１と位置検出部１２３を参照することにより、記憶部１２１に記憶された情報と、位置検出部１２３が出力する情報とを比較し、その比較結果を、バスBus2を介して、制御部１１８に通知する。
【００４６】
記憶部１２１は、バスBus2を介して制御部１１８から供給される情報等を一時記憶する。
【００４７】
表示部１２２は、例えば、ＬＣＤ(Liquid Crystal Display)やＣＲＴ(Cathod Ray Tube)等で構成され、バスBus2を介して供給される画像データにしたがって、画像を表示する。
【００４８】
位置検出部１２３は、例えば、ＧＰＳ(Global Positioning System)等で構成され、移動体１０１kの現在地を検出し、バスBus2上に出力する。
【００４９】
地図データベース１２４は、地図を電子化したデータである地図データを記憶しており、バスBus2を介して、他のブロックから参照される。
【００５０】
座標演算部１２５は、バスBus2を介して制御部１１８から供給される制御信号にしたがって、所定の座標等を演算する。
【００５１】
切り出し部１２６は、制御部１１８の制御の下、バスBus2を介して供給される画像データから所定の領域を切り出し、バスBus2上に出力する。
【００５２】
画像変換部１２７は、制御部１１８の制御の下、バスBus2を介して供給される画像データを、後述する歪みを除去した画像データに変換し、バスbus2上に出力する。
【００５３】
次に、図４は、図３の撮像装置１１１の構成例を示している。
【００５４】
撮像装置１１１は、集光部２０２が、撮像部２０３の上部に配置された支持体２０１によって支持されることによって構成されており、集光部２０２の周囲３６０度の方向を撮像することができるようになっている。
【００５５】
支持体２０１は、ガラスなどの反射率の低い透明材料からなり、ガラス面での光の屈折を最小化するために、入射光がガラス面と直交するように、集光部２０２の後述する焦点を中心とした球面になっている。
【００５６】
集光部２０２には、双曲面形状をしており、支持体２０１を介して入射する周囲の光を、撮像部２０３の方向に反射する。
【００５７】
撮像部２０３は、例えば、ＣＣＤ等の光電変換素子で構成され、そこに入射する光を電気信号としての画像信号に変換する。この撮像部２０３で得られる画像信号が、撮像装置１１１の出力として、図３のＡ／Ｄ変換部１１２に供給される。
【００５８】
ここで、全方位カメラ１０２kを構成する撮像装置１１１の構成や集光の原理については、例えば、「移動ロボット用全方位視覚センサの開発」、自動化技術第２９巻第６号（１９９７年）（以下、適宜、文献１という）に開示されているため、ここでは、簡単に説明する。
【００５９】
図５は、図４の撮像装置１１１によって撮像された全方位画像データの例を示している。
【００６０】
全方位画像データは、中心点Ｃ１を中心とする２つの円の円周Ｆ１とＦ２によって区分される。なお、図５では、円周Ｆ１の方が、円周Ｆ２よりも半径が大きいものとなっている。
【００６１】
即ち、全方位画像データは、大きい円周Ｆ１の内側で、かつ小さい円周Ｆ２の外側になっている領域Ｒ１、大きい円周Ｆ１の外側の領域Ｒ２、小さい円周Ｒ２に囲まれた領域（内側の領域）Ｒ３から構成される。
【００６２】
以上の３つの領域Ｒ１乃至Ｒ３のうち、領域Ｒ１においては、集光部２０２で反射された、周囲からの光に対応する画像データが撮像されており、領域Ｒ２においては、集光部２０２の外側の部分（集光部２０２で反射されずに、撮像部２０３に直接入射する光）が撮像されている。また、領域Ｒ３には、撮像部２０３自身が撮像されている。
【００６３】
さらに、図５の実施の形態では、領域Ｒ１には、複数の建物が撮像されているが、大きい円周Ｆ１に近い方向に、建物の上部が撮像され、小さい円周Ｆ２に近い方向に、建物の下部が撮像されている。
【００６４】
次に、図６を参照して、図４の集光部２０２を構成する双曲面について説明する。
【００６５】
集光部２０２は、双曲面の一部により構成されており、双曲面の軸に対して垂直する面により、双曲面を切断して得られた双曲面の凸型先頭部の凸状面に、鏡面を形成したものとなっている
【００６６】
集光部２０２には、双曲面の１つである二葉双曲面を用いることができ、二葉双曲面は、図６に示すように、双曲線を軸（Ｚ軸）回りに回転して得られる曲面であり、Ｚ＞０の領域に存在する下に凸の双曲面Ｈ１と、Ｚ＜０の領域に存在する上に凸の双曲面Ｈ２から構成される。
【００６７】
集光部２０２には、二葉の双曲面Ｈ１とＨ２のうち、Ｚ＞０の領域にある双曲面Ｈ１を利用する。なお、以下、適宜、Ｚ軸を、双曲線の中心軸または単に軸ともいう。
【００６８】
図６に示したＸ，Ｙ，Ｚの３次元直交座標系において、二葉双曲面Ｈ１とＨ２は、式（１）で示される。
【００６９】
【数１】
【００７０】
ここで、式（１）において、定数ａとｂは、双曲面Ｈ１およびＨ２の形状を定義する定数である。即ち、定数ｂは、原点Ｏから、双曲面Ｈ１（Ｈ２）とＺ軸との交点までの距離を表す。また、定数ａは、その交点を通る、ＸＹ平面と平行な平面と、双曲面Ｈ１（Ｈ２）の漸近面Ａ１との交線が描く円の半径を表す。
【００７１】
さらに、式（１）において、定数ｃは、双曲面Ｈ１およびＨ２の焦点の位置を定義する定数である。即ち、Ｚ軸上の＋ｃの位置（０，０，＋ｃ）が、双曲面Ｈ２の焦点ｆ１となり、Ｚ軸上の−ｃの位置（０，０，−ｃ）が、双曲面Ｈ１の焦点ｆ２となる。
【００７２】
なお、定数ａ，ｂ，ｃは、次式で示される関係を有する。
【００７３】
【数２】
【００７４】
集光部２０２が、図６で説明したような双曲面Ｈ１で構成されるとした場合、撮像部２０３は、図７に示すように、そのレンズの中心軸がＺ軸に一致し、かつ、レンズ中心が、双曲面Ｈ１の焦点ｆ２に一致するように配置される。
【００７５】
次に、撮像部２０３が出力する全方位画像データは、上述の図５に示したようなものとなるが、いま、この全方位画像データについて、図８に示すように、その左上の点を原点Ｏとするとともに、左から右方向にｘ軸をとり、上から下方向にｙ軸をとった２次元直交座標系を定義する。
【００７６】
この場合、円周Ｆ１の円および円周Ｆ２の円の中心点Ｃ１の座標を（Ｘ0 、Ｙ0 ）とするとともに、円周Ｆ１の円の半径をｒF1とし、円周Ｆ２の円の半径をｒF2とすると、円周Ｆ１の外側の領域Ｒ２を構成する点（ｘ，ｙ）は、式（３）により表され、円周Ｆ２の内側の領域Ｒ３を構成する点（ｘ，ｙ）は、式（４）により表される。
【００７７】
【数３】
【００７８】
【数４】
【００７９】
図３のスケール加工部１１３は、全方位画像データのスケールを変換する前に、式（３）で表される領域Ｒ２を構成する画素値と、式（４）で表される領域Ｒ３を構成する画素値を、例えば、０に変換する。
【００８０】
ここで、この画素値の変換にあたっては、中心点Ｃ１の座標（Ｘ0 、Ｙ0 ）、並びに半径ｒF1およびｒF2が必要となるが、これらの情報は、撮像装置１１１からスケール加工部１１３に対して、ズーム情報とともに供給されるようになっている。なお、撮像装置１１１（図３）は、ズーム情報や、中心点Ｃ１の座標（Ｘ0 、Ｙ0 ）、並びに半径ｒF1およびｒF2の他、撮像時の露出時間や、絞り等の、撮像装置１１１の設定に関する情報を、撮像情報として、スケール加工部１１３に出力するようになっている。
【００８１】
なお、ここでは、説明を簡単にするため、露出時間や絞りは、固定であるとする。
【００８２】
ところで、図５や図８に示した領域Ｒ１の画像データである全方位画像データについては、所望の被写体が表示されている部分等の、全方位画像データの一部分だけが必要な場合がある。
【００８３】
図３の切り出し部１２６は、全方位画像データの一部分を切り出すようになっているが、その切り出しは、図９に示すように行われる。
【００８４】
即ち、切り出し部１２６は、中心点Ｃ１を通る半径方向の２つの直線Ｌc1とＬc2に囲まれ、かつ中心点Ｃ１を中心とする２つの円の円周Ｆc1とＦc2に囲まれる略扇形の領域Ｒ１１の画像データを切り出すようになっている。
【００８５】
次に、全方位画像データは、図５や図８に示したように、中心点Ｃ１に近づくほど狭まったものとなり、逆に、中心点Ｃ１から遠ざかるほど広がったものとなるような歪みを有する。このことは、切り出し部１２６が全方位画像データから切り出す略扇形の領域Ｒ１１の画像データについても同様であり、このようは歪みのある画像データは、図３の表示部１２２で表示等するにあたって、歪みのないものに変換する必要がある。
【００８６】
全方位カメラ１０２が出力する、上述のような全方位画像データの歪みは、中心点Ｃ１を通る円の円周方向の歪みと、半径方向の歪みとに分けて考えることができる。
【００８７】
そこで、まず円周方向の歪みを考えてみると、図５や図８の全方位画像データの、中心点Ｃ１を中心とするある円の円周上においては、スケールが一定であり、従って、歪みはない。
【００８８】
即ち、図１０は、Ｚ軸方向から見た集光部２０２としての双曲面Ｈ１を示している。
【００８９】
図１０では、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、Ｚ軸に向かい、Ｘ軸（ＸＺ平面）と角度θをつくるように、光線ｒが入射している。この光線ｒは、双曲面Ｈ１で反射され、後述する図１１に図示してある撮像部２０３の受光面（画像面）Ａ３上の点ｐ（ｘ，ｙ）に到達する。そして、この場合、点ｐ（ｘ，ｙ）は、Ｘ軸（ＸＺ平面）との間で、光線ｒがＸ軸との間でつくるのと同一の角度θをつくる。
【００９０】
また、Ｚ軸に向かい、Ｘ軸と角度θ’をつくるように入射する光線ｒ’を考えた場合、この光線ｒ’も、双曲面Ｈ１で反射され、受光面（画像面）Ａ３上の点ｐ’（ｘ’，ｙ’）に到達する。そして、この場合も、点ｐ’（ｘ’，ｙ’）は、Ｘ軸との間で、光線ｒ’がＸ軸との間でつくるのと同一の角度θ’をつくる。
【００９１】
また、光線ｒとｒ’の、Ｚ軸に対する仰角（後述する）が同一であれば、光線ｒおよびｒ’は、受光面Ａ３上の、位置は異なるが、Ｚ軸から同一の距離ｒpだけ離れた点で受光される。
【００９２】
以上から、Ｚ軸に対する仰角が同一の複数の光線それぞれは、受光面Ａ３上の、Ｚ軸から同一の距離にある点であって、Ｘ軸との間で、光線とＸ軸とがつくるのと同一の角度をつくる点で受光される。
【００９３】
従って、仰角が同一で、Ｘ軸との角度が等角度の複数の光線は、受光面Ａ３の、Ｚ軸を中心とする円周上に、等間隔で入射することになるから、全方位画像データにおいて、受光面Ａ３とＺ軸との交点にあたる中心点Ｃ１を中心とする円の円周方向には、歪みは生じない。
【００９４】
一方、図５や図８の全方位画像データの、中心点Ｃ１を通る半径方向の直線上においては、中心点Ｃ１に近づくほど、スケールが小さくなり、中心点Ｃ１から離れるほど、スケールが大きくなることから、全方位画像データは、半径方向の歪みを有する。
【００９５】
即ち、図１１は、Ｘ軸方向から見た集光部２０２としての双曲面Ｈ１を示している。
【００９６】
図１１において、Ｚ軸に対して仰角０度で、焦点ｆ１に向かって入射する光線ｒ１は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、撮像部２０３の受光面（画像面）Ａ３で受光される。
【００９７】
ここで、Ｚ軸に対する仰角とは、Ｚ軸上の焦点ｆ１を通り、ＸＹ面に平行な面と、焦点ｆ１に向かって入射する光線とがつくる角度を意味する。また、撮像部２０３の受光面Ａ３は、撮像装置１１１の焦点距離をｆとすると、焦点ｆ２から、Ｚ軸に沿って、ｆだけ離れた原点Ｏ方向に位置する。
【００９８】
Ｚ軸に対して仰角△ｄ度で、焦点ｆ１に向かって入射する光線ｒ２は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。Ｚ軸に対して仰角２△ｄ度で、焦点ｆ１に向かって入射する光線ｒ３は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。以下、仰角がΔｄ度ずつ大きくなっていく光線ｒ４，ｒ５，ｒ６も同様にして、受光面Ａ３で受光される。
【００９９】
このように、仰角が△ｄ度ずつ異なる光線ｒ１乃至ｒ６それぞれが、受光面Ａ３で受光される点どうしの間隔は、図１１の拡大図に示すように、等間隔にはならず、Ｚ軸に近い点どうしの間隔ほど狭くなる（Ｚ軸から離れた点どうしの間隔ほど広くなる）。即ち、仰角が大きい光線どうしの間隔ほど狭くなる（仰角が小さい光線どうしの間隔ほど広くなる）。
【０１００】
そして、仰角が等角度の光線について、受光面Ａ３上で受光される点どうしの間隔が、上述のように、等間隔にならないことから、全方位画像データには、半径方向の歪みが生じる。
【０１０１】
従って、全方位画像データの半径方向の歪みを除去するには、仰角が等角度の光線の、受光面Ａ３上での受光点どうしの間隔が、等間隔になるようにすれば良い。
【０１０２】
そこで、いま、図１２に示すように、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、焦点ｆ１に向かって、仰角α度で入射する光線ｒを考える。
【０１０３】
この光線ｒは、図１１で説明した場合と同様に、集光部２０２としての双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。
【０１０４】
この場合において、焦点ｆ２に向かう光線ｒが、焦点ｆ２を通り、ＸＹ平面に平行な平面とつくる角度をγ度とする。さらに、Ｘ軸とＹ軸とで定義される２次元直交座標系において、光線ｒが受光面Ａ３で受光された点（受光点）ｐの座標を（ｘ，ｙ）で表し、その点ｐ（ｘ，ｙ）とＺ軸との距離をＲと表す。
【０１０５】
図１２における角度αは、式（１）で表される双曲面Ｈ１において、光線ｒが反射される点の座標を求めることにより、次式で表すことができる。
【０１０６】
【数５】
【０１０７】
式（５）から、ｔａｎαは、次式で求めることができる。
【０１０８】
【数６】
【０１０９】
ここで、ｃｏｓγを、次式のようにおく。
【０１１０】
【数７】
【０１１１】
式（６）に、式（７）を代入すると、次式が求められる。
【０１１２】
【数８】
【０１１３】
式（８）を変形して、式（９）が得られる。
【０１１４】
【数９】
【０１１５】
一方、ＡとＢを、それぞれ式（１０）と（１１）に示すように定義する。
【０１１６】
【数１０】
【０１１７】
【数１１】
【０１１８】
式（９）に、式（１０）および（１１）を代入することにより、式（１２）が求められる。
【０１１９】
【数１２】
【０１２０】
式（１２）は、次のような、Ｘについての２次方程式とすることができる。
【０１２１】
【数１３】
【０１２２】
式（１３）の２次方程式を解くと、次式が得られる。
【０１２３】
【数１４】
【０１２４】
従って、式（７）より、角度γは、次式によって求めることができる。
【０１２５】
【数１５】
【０１２６】
但し、式（１５）において、Ｘは、式（１４）で定義されるものであり、また、式（１４）中のＡとＢは、それぞれ、式（１０）と（１１）で定義されるものである。
【０１２７】
また、図１２における点ｐの座標から、角度γは、次式で求めることができる。
【０１２８】
【数１６】
【０１２９】
一方、図１２におけるＺ軸と点ｐ（ｘ，ｙ）との距離Ｒは、√（ｘ2＋ｙ2）で表されるから、式（１６）は、次式のように変形することができる。
【０１３０】
【数１７】
【０１３１】
以上から、式（１５）によって、角度γを求め、その角度γを用いて、式（１７）を計算することにより、Ｚ軸に対して仰角α度で、焦点ｆ１に向かって入射する光線ｒが、受光面Ａ３において受光される点ｐ（ｘ，ｙ）のＺ軸からの距離Ｒを算出することができる。
【０１３２】
従って、Ｚ軸に対する仰角の所定の範囲（例えば、０度乃至８０度など）を等角度△ｄに分割し、各仰角△ｄ，２△ｄ，３△ｄ，・・・で入射する光線が、受光面Ａ３上で受光される各点ｐ１，ｐ２，ｐ３・・・について、Ｚ軸からの距離Ｒp1，Ｒp2，Ｐp3・・・を求めておき、隣接する点どうしの距離の差｜Ｒp1−Ｒp2｜，｜Ｒp2−Ｐp3｜，・・・が、一定値になるように、撮像装置１１１が出力する全方位画像データを変換することにより、その半径方向の歪みを除去した全方位画像データを得ることができることになる。
【０１３３】
なお、この歪み除去のための全方位画像データの変換は、図３の画像変換部１２７が行う。
【０１３４】
即ち、画像変換部１２７は、図１３に示すように、制御部１１８から、上述した半径方向の歪みがある全方位画像データ（以下、適宜、歪み全方位画像データという）とともに、中心点Ｃ１、円周Ｆ１の円の半径ｒF1、および円周Ｆ２の半径ｒF2を受信する。
【０１３５】
そして、画像変換部１２７は、中心点Ｃ１を中心とする半径ｒF1の円の円周Ｆ１と、中心点Ｃ１を中心とする半径ｒF2の円の円周Ｆ２とで囲まれる領域Ｒ１内において、中心点Ｃ１を中心とする、上述のＲp1，Ｒp2，Ｐp3・・・を半径とする複数の同心円を描く。さらに、画像変換部１２７は、その複数の同心円の円周を等分する、中心点Ｃ１を通る複数の直線を描く。これにより、画像変換部１２７は、領域Ｒ１において、複数の同心円と、複数の直線とで形成される多数の交点を得る。
【０１３６】
ここで、上述の複数の同心円と、複数の直線とで形成される多数の交点を、以下、適宜、変換対象点という。
【０１３７】
上述したことから、変換対象点を、その隣接するものどうしが等間隔になるように配置することで、歪みのある全方位画像データを、その歪みを除去した画像データに変換することができる。
【０１３８】
そこで、いま、図１３における、図９に示したのと同一の略扇形の領域Ｒ１１の画像データを、歪みのないものに変換することを考える。
【０１３９】
この領域Ｒ１１内には、図１４（Ａ）に示すように、中心点Ｃ１を中心とする複数の同心円の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれと、中心点Ｃ１を通る複数の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれとの交点である多数の変換対象点が存在する。
【０１４０】
画像変換部１２７は、領域Ｒ１１内に存在する多数の変換対象点を、図１４（Ｂ）に示すように、隣接するものどうしが等間隔になるように配置する。
【０１４１】
即ち、画像変換部１２７は、図１４（Ａ）の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれに対応する、等間隔に配置された横方向の直線Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｌ２６と、図１４（Ａ）の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれに対応する、等間隔に配置された縦方向の直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｌ１５，Ｌ１６を想定し、その横方向の直線Ｌ２１乃至Ｌ２６それぞれと、縦方向の直線Ｌ１１乃至Ｌ１６それぞれとの交点上に、対応する変換対象点を変換する（割り当てる）。
【０１４２】
これにより、例えば、図１４（Ａ）において、円弧Ｆ１４と、直線Ｌ５との交点である変換対象点ｐ１１は、図１４（Ｂ）の、円弧Ｆ１４に対応する直線Ｌ２４と、直線Ｌ５に対応する直線Ｌ１５との交点ｐ１２に変換される。
【０１４３】
ところで、画像変換部１２７は、上述のように、変換対象点の位置を変換（変更）することによって、半径方向の歪みを有する画像データを、その歪みを除去した画像データに変換するが、変換対象点は、上述したように、中心点Ｃ１を中心とする円と、中心点Ｃ１を通る直線との交点である。従って、変換対象点は、撮像部２０３（図４）の受光面Ａ３（図１１、図１２）を構成する画素の画素中心に一致するとは限らず、むしろ、一般には、一致しないことが多い。
【０１４４】
このように、変換対象点は、画素中心からずれているのが一般的であるから、画像変換部１２７において、変換対象点の位置を変換する前に、その変換対象点における画素値を求める必要がある。
【０１４５】
そこで、画像変換部１２７は、変換対象点における画素値を、例えば、次のようにして求めるようになっている。
【０１４６】
即ち、いま、図１４の変換対象点ｐ１１が、図１５に示すように、受光面Ａ３上の隣接する２×２の４画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素中心ＣP1，ＣP2，ＣP3，ＣP4を頂点とする長方形（正方形）の範囲内にあるとする。なお、図１５の実施の形態においては、上下、または左右方向に隣接する画素中心どうしの距離が１であるとしてある。
【０１４７】
そして、変換対象点ｐ１１が、画素中心ＣP1よりも距離αだけ右方向の、距離βだけ下方向の点である場合、画像変換部１２７は、例えば、次式で求められる画素値Ｓsを、変換対象点ｐ１１の画素値とする。
【０１４８】
【数１８】
【０１４９】
但し、式（１８）において、Ｓa，Ｓb，Ｓc，Ｓdは、画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素値を表す。また、式（１８）において、αおよびβは、０以上１以下の範囲の値で、変換対象点ｐ１１の位置に対応するものである。
【０１５０】
次に、図３のスケール加工部１１３は、上述したように、全方位カメラ１０２kにおいて、任意のズーム倍率で撮像された全方位画像データを、所定のズーム倍率で撮像されたものに変換する。このズーム倍率の変換は、単純な画素の補間や間引きと、ローパスフィルタによる必要なフィルタリング等によって実現することも可能であるが、倍率を向上させる場合には、単純な画素の補間ではなく、例えば、本件出願人が先に提案しているクラス分類適応処理を利用することができる。
【０１５１】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【０１５２】
ここで、適応処理について、低倍率の画像（以下、適宜、低倍率画像という）を、高倍率の画像（以下、適宜、高倍率画像という）に変換する場合を例に説明する。
【０１５３】
この場合、適応処理では、低倍率画像を構成する画素（以下、適宜、低倍率画素という）と、所定のタップ係数との線形結合により、その低倍率画像の空間解像度を向上させた高倍率画像の画素の予測値を求めることで、その低倍率画像の倍率を高くした画像が得られる。
【０１５４】
具体的には、例えば、いま、ある高倍率画像を教師データとするとともに、その高倍率画像の解像度を劣化させた低倍率画像を生徒データとして、高倍率画像を構成する画素（以下、適宜、高倍率画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低倍率画素（低倍率画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１５５】
【０１５６】
式（１９）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１９】
で定義すると、次のような観測方程式が成立する。
【０１５７】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１９）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１９）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０１５８】
式（２０）の観測方程式に最小自乗法を適用して、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる高倍率画素の真の画素値ｙの集合でなる行列Ｙ、および高倍率画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２０】
で定義すると、式（２０）から、次のような残差方程式が成立する。
【０１５９】
【０１６０】
この場合、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数２１】
を最小にすることで求めることができる。
【０１６１】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１６２】
【数２２】
【０１６３】
そこで、まず、式（２１）を、タップ係数ｗjで微分することにより、次式が成立する。
【０１６４】
【数２３】
【０１６５】
式（２２）および（２３）より、式（２４）が得られる。
【０１６６】
【数２４】
【０１６７】
さらに、式（２１）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（２４）から、次のような正規方程式を得ることができる。
【０１６８】
【数２５】
【０１６９】
なお、式（２５）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数２６】
で定義するとともに、ベクトルＷを、数１９で示したように定義すると、式
で表すことができる。
【０１７０】
式（２５）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（２６）を、ベクトルＷについて解くことで（但し、式（２６）を解くには、式（２６）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（２６）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０１７１】
以上のように、生徒データと教師データを用いて、最適なタップ係数ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（１９）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１７２】
なお、適応処理は、低倍率画像には含まれていないが、高倍率画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（１９）だけを見る限りは、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、高倍率画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【０１７３】
次に、図１６は、上述のようなクラス分類適応処理を行うクラス分類適応処理回路によって実現されるスケール加工部１１３の構成例を示している。なお、ここでは、スケール加工部１１３は、全方位画像データを、所定の固定倍率の画像データに変換するが、全方位画像データの倍率が所定の固定倍率よりも低い場合には、クラス分類適応処理によって、全方位画像データを、その倍率よりも高い固定倍率の画像データに変換し、逆に、全方位画像データの倍率が所定の固定倍率よりも高い場合には、間引き等を行って、全方位画像データを、その倍率よりも低い固定倍率の画像データに変換するようになっており、図１６は、全方位画像データを、その倍率よりも高い固定倍率の画像データに変換する部分を構成するクラス分類適応処理回路を示している。
【０１７４】
全方位カメラ１０２kが出力する画像データ（全方位画像データ）である低倍率画像データは、バッファ２３１に供給され、バッファ２３１は、そこに供給される低倍率画像データを一時記憶する。
【０１７５】
予測タップ抽出回路２３２は、後述する積和演算回路２３６において求めようとする固定倍率の画像データの画素（以下、適宜、固定倍率画素という）を、順次、注目画素とし、さらに、その注目画素を予測するのに用いる低倍率画像データの画素を、バッファ２３１から抽出し、予測タップとする。
【０１７６】
即ち、予測タップ抽出回路２３２は、例えば、注目画素としての固定倍率画素に対応する位置に対して近い位置にある低倍率画素の幾つかを、予測タップとして、バッファ２３１から読み出す。
【０１７７】
そして、予測タップ抽出回路２３２は、注目画素について、予測タップを得ると、その注目画素についての予測タップを、積和演算回路２３６に供給する。
【０１７８】
ここで、予測タップ抽出回路２３２には、制御回路２３７から制御信号が供給されるようになっており、予測タップ抽出回路２３２は、制御回路２３７からの制御信号にしたがって、予測タップを構成する低倍率画素、即ち、予測タップの構造を決定する。
【０１７９】
即ち、制御回路２３７には、全方位カメラ１０２kの撮像装置１１１が出力する撮像情報が供給されるようになっており、制御回路２３７は、その撮像情報のうちの、例えば、ズーム情報に基づいて、そのズーム情報が表す倍率に適した処理が行われるようにするための制御信号を生成し、予測タップ抽出回路２３２、クラスタップ抽出回路２３３、および係数記憶部２３５に供給する。
【０１８０】
具体的には、制御回路２３７は、例えば、ズーム情報が表すズーム倍率が小さいほど、注目画素に対応する位置からより近い位置にある低倍率画素を用いて予測タップを構成することを指示する制御信号（ズーム倍率が大きいほど、注目画素に対応する位置からより遠い位置にある低倍率画素を用いて予測タップを構成することを指示する制御信号）を生成し、予測タップ抽出回路２３２に供給する。
【０１８１】
従って、予測タップ抽出回路２３２は、このような制御信号にしたがい、低倍率画像のズーム倍率によって異なる構造の予測タップを構成する。
【０１８２】
一方、クラスタップ抽出回路２３３は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる低倍率画素を、バッファ２３１から抽出し、クラスタップとする。
【０１８３】
ここで、クラスタップ抽出回路２３３も、制御回路２３７から供給される制御信号にしたがい、クラスタップを構成させる低倍率画素、即ち、クラスタップの構造を決定する。
【０１８４】
即ち、制御回路２３７は、例えば、クラスタップ抽出回路２３３に対して、予測タップ抽出回路２３２に対するのと同様の制御信号を供給するようになっており、従って、クラスタップ抽出回路２３３は、ズーム情報が表すズーム倍率が小さいほど、注目画素に対応する位置からより近い位置にある低倍率画素を用いてクラスタップを構成する（ズーム倍率が大きいほど、注目画素に対応する位置からより遠い位置にある低倍率画素を用いてクラスタップを構成する）。
【０１８５】
なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出回路２３２で得られる予測タップと、クラスタップ抽出回路２３３で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、勿論、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。
【０１８６】
クラスタップ抽出回路２３３において得られる、注目画素についてのクラスタップは、クラス分類回路２３４に供給される。クラス分類回路２３４は、クラスタップ抽出回路２３３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【０１８７】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１８８】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０１８９】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１９０】
なお、クラス分類回路２３４には、例えば、クラスタップを構成する画素のレベル分布（画素値分布）のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の画素で構成され、各画素に、Ｋビットが割り当てられているとすると、クラス分類回路２３４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素のビット数Ｋに指数的に比例した膨大な数となる。
【０１９１】
従って、クラス分類回路２３４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【０１９２】
また、ここでは、低倍率画素だけを用いてクラス分類を行うようにしが、クラス分類は、低倍率画素とともに（または、低倍率画素ではなく）、撮像情報に含まれるズーム情報や露出時間等を、クラスタップとして行うことが可能である。
【０１９３】
クラス分類回路２３４が出力するクラスコードは、係数記憶部２３５に、アドレスとして与えられる。
【０１９４】
係数記憶部２３５は、学習処理が行われることにより得られるタップ係数を記憶しており、クラス分類回路２３４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算回路２３６に出力する。
【０１９５】
なお、係数記憶部２３５には、後述するように、複数セットの教師データと生徒データを用いた学習を行うことにより得られる複数セットのタップ係数が記憶されている。係数記憶部２３５において、複数セットのタップ係数のうち、どのセットのタップ係数を用いるかは、制御回路２３７からの制御信号にしたがって決定される。
【０１９６】
即ち、係数記憶部２３５は、例えば、複数バンクで構成されており、各バンクには、複数のズーム倍率の範囲ごとに学習を行うことにより得られた複数セットのタップ係数のうちの対応するセットが記憶されている。制御回路２３７は、撮像情報におけるズーム情報に基づいて、そのズーム情報が表すズーム倍率に対応するバンクを指示する制御信号を生成し、係数記憶部２３５に供給する。係数記憶部２３５は、制御回路２３７からの制御信号にしたがってバンク切り換えを行うことにより、使用するバンクを選択し、その選択したバンクに記憶されているタップ係数のセットの中から、クラス分類回路２３４より供給されるクラスコードに対応するタップ係数を、積和演算回路２３６に出力する。
【０１９７】
積和演算回路２３６は、予測タップ抽出回路２３２が出力する予測タップと、係数記憶部２３５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１９）に示した線形予測演算（積和演算）を行い、その演算結果を、注目画素となっている固定倍率画素の画素値として出力する。
【０１９８】
次に、図１７は、図１６の係数記憶部２３５に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１９９】
教師データメモリ２４２には、学習に用いられる学習用データが供給される。ここで、学習用データとしては、固定倍率の画像データ（以下、適宜、固定倍率画像データという）が用いられる。
【０２００】
教師データメモリ２４２は、そこに供給される、学習用データとしての固定倍率画像データを、学習の教師となる教師データとして記憶する。そして、生徒データ生成回路２４３は、制御回路２５１から供給される制御信号にしたがい、教師データメモリ２４２に記憶された教師データから、学習の生徒となる生徒データを生成する。
【０２０１】
即ち、制御回路２５１には、複数のズーム倍率の範囲が設定されており、制御回路２５１は、その複数のズーム倍率の範囲のうちの、ある範囲を、注目範囲として選択する。そして、制御回路２５１は、その注目範囲のズーム倍率の代表値（例えば、注目範囲内のズーム倍率の中心値）を決定し、そのズーム倍率の代表値に基づいて、制御信号を生成して、生徒データ生成回路２４３、予測タップ抽出回路２４５、およびクラスタップ抽出回路２４６に供給する。
【０２０２】
具体的には、制御回路２５１は、教師データメモリ２４２に記憶された教師データとしての固定倍率画像データを、代表値のズーム倍率の画像データとするための間引き率を計算し、その間引き率で、教師データを間引くことを指示する制御信号を、生徒データ生成回路２４３に供給する。
【０２０３】
生徒データ生成回路２４３は、上述のような制御信号にしたがい、教師データメモリ２４２に記憶された教師データを間引き、これにより、代表値のズーム倍率の画像データを、生徒データとして生成する。この生徒データは、生徒データ生成回路２４３から生徒データメモリ２４４に供給されて記憶される。
【０２０４】
教師データメモリ２４２に記憶された教師データについて、生徒データが求められ、生徒データメモリ２４４に記憶されると、予測タップ抽出回路２４５は、教師データメモリ２４２に記憶された教師データを、順次、注目画素とし、さらに、その注目画素を予測するのに用いる生徒データを、生徒データメモリ２４４から抽出し、予測タップとする。
【０２０５】
ここで、制御回路２５１は、代表値のズーム倍率に基づいて、図１６の制御回路２３７と同様の制御信号を生成し、予測タップ抽出回路２４５に供給するようになっている。そして、予測タップ抽出回路２４５は、制御回路２５１から供給される制御信号にしたがい、図１６の予測タップ抽出回路２３２における場合と同一の予測タップを構成する。
【０２０６】
以上のようにして、予測タップ抽出回路２４５で得られた予測タップは、正規方程式加算回路２４８に供給される。
【０２０７】
一方、クラスタップ抽出回路２４６は、注目画素のクラス分類に用いる生徒データを、生徒データメモリ２４４から抽出し、クラスタップとして、クラス分類回路２４７に供給する。
【０２０８】
ここで、制御回路２５１は、代表値のズーム倍率に基づいて、図１６の制御回路２３７と同様の制御信号を生成し、クラスタップ抽出回路２４６に供給するようになっている。そして、クラスタップ抽出回路２４６は、制御回路２５１から供給される制御信号にしたがい、図１６のクラスタップ抽出回路２３３における場合と同一のクラスタップを構成する。
【０２０９】
クラス分類回路２４７は、クラスタップ抽出回路２４６から、注目画素についてのクラスタップが供給されると、そのクラスタップを用い、図１６のクラス分類回路２３４と同一のクラス分類を行い、注目画素のクラスを表すクラスコードを、正規方程式加算回路２４８に供給する。
【０２１０】
正規方程式加算回路２４８は、教師データメモリ２４２から、注目画素となっている教師データを読み出し、予測タップ抽出回路２４５からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、クラス分類回路２４７から供給されるクラスごとに行う。
【０２１１】
即ち、正規方程式加算回路２４８は、クラス分類回路２４７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（２６）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０２１２】
さらに、正規方程式加算回路２４８は、やはり、クラス分類回路２４７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（２６）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０２１３】
正規方程式加算回路２４８は、以上の足し込みを、教師データメモリ２４２に記憶された教師データすべてを注目画素として行い、これにより、各クラスについて、式（２６）に示した正規方程式をたてる。
【０２１４】
その後、タップ係数決定回路２４９は、正規方程式加算回路２４８においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ２５０の、各クラスに対応するアドレスに供給する。これにより、係数メモリ２５０では、タップ係数決定回路２４９から供給されるクラスごとのタップ係数が記憶される。
【０２１５】
なお、学習用データとして用意する画像データによっては、正規方程式加算回路２４８において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路２４９は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０２１６】
以上のようにして、注目範囲のズーム倍率について、タップ係数のセットが求められると、制御回路２５１は、注目範囲を、他のズーム倍率の範囲に変更し、図１７の学習装置では、以下、同様の処理が繰り返される。これにより、制御回路２５１に設定されている複数のズーム倍率の範囲それぞれに対応するタップ係数のセットが求められる。
【０２１７】
次に、図１８は、図３の座標演算部１２５の構成例を示している。
【０２１８】
座標演算部１２５は、検索部２６１および撮像ポイント算出部２６２から構成されており、制御部１１８（図３）からの要求に応じて、所望の被写体を撮像する位置（座標）（例えば、緯度と経度など）としての撮像ポイントを計算する。
【０２１９】
即ち、検索部２６１には、被写体情報が供給されるようになっている。この被写体情報は、例えば、操作部１１５が、ユーザによって操作されることにより入力され、制御部１１８を介して、検索部２６１に供給される。ここで、被写体情報は、所望の被写体を特定するための情報で、被写体の名前（例えば、「東京タワー」や「国会議事堂」など）や、住所などを用いることができる。
【０２２０】
検索部２６１は、被写体情報を受信すると、地図データベース１２４に記憶された地図データを参照し、その被写体情報によって特定される被写体の位置（座標）（例えば、緯度と経度など）を検索する。そして、検索部２６１は、被写体の位置（以下、適宜、被写体ポイントという）を、撮像ポイント算出部２６２に供給する。
【０２２１】
ここで、図２で説明したように、図１の移動体システムにおいては、第１乃至第３の３つの機能が実現される。この第１乃至第３の機能のうち、第１の機能については、撮像ポイントを決定する必要がなく、撮像ポイントを決定する必要があるのは、第２および第３の機能を実現する場合だけである。
【０２２２】
第２の機能を実現する場合、即ち、所望の被写体を、所望の視点方向ｖから見た画像を得る場合には、次のようにして、撮像ポイントが求められる。
【０２２３】
即ち、この場合、所望の被写体について、所望の視点方向ｖを表す視点情報が、ユーザが操作部１１５を操作することによって入力される。
【０２２４】
この視点情報は、制御部１１８を介して、撮像ポイント算出部２６２に供給される。
【０２２５】
撮像ポイント算出部２６２は、第２の機能を実現する場合、検索部２６１からの被写体ポイントの位置にある被写体を、視点情報が表す視点方向ｖから見た画像を撮像するのに適した位置としての撮像ポイントを算出する。
【０２２６】
即ち、撮像ポイント算出部２６２は、地図データベース１２４に記憶された地図データを参照することにより、例えば、図１９に示すように、被写体を撮像するのに適した場所の範囲として、被写体ポイントから距離Ｒp2以上離れており、かつ、距離Ｒp1より近い、いわゆるドーナツ状の範囲（以下、適宜、適切範囲という）を設定する。
【０２２７】
さらに、撮像ポイント算出部２６２は、被写体ポイントに対して、視点情報が表す視点方向ｖから向かう線分と、移動体１０１kが移動することのできる道路等との交点のうち、適切範囲内にあるものすべてを、撮像ポイントの候補として検出する。
【０２２８】
そして、撮像ポイント算出部２６２は、撮像ポイントの候補から、例えば、任意の１つを選択し、その選択した撮像ポイントを、制御部１１８に供給する。
【０２２９】
なお、ここでは、説明を簡単にするため、第２の機能を実現するにあたって、視点方向ｖ上の１つの位置だけを撮像ポイントとするようにしたが、視点方向ｖ上の複数の位置を撮像ポイントとすることも可能である。また、複数の撮像ポイントの候補から、１つの撮像ポイントを選択する方法としては、例えば、被写体ポイントから最も近いまたは遠いものを選択する方法等がある。
【０２３０】
第３の機能を実現する場合、即ち、所望の被写体を、視点を変えながら見渡した視点可変画像を得る場合には、次のようにして、撮像ポイントが求められる。
【０２３１】
即ち、撮像ポイント算出部２６２は、第３の機能を実現する場合、地図データベース１２４に記憶された地図データを参照することにより、例えば、図２０（Ａ）に示すように、検索部２６１から供給される被写体ポイントを中心とし、被写体を撮像するのに適した距離Ｒ（例えば、図１９における距離Ｒp1とＲp2の平均値など）を半径とする円を求め、その円（円周）と、移動体１０１kが移動することのできる道路等との交点を求める。そして、撮像ポイント算出部２６２は、その交点のすべてを撮像ポイントとして求め、制御部１１８に供給する。
【０２３２】
ここで、被写体を、視点を変えながら見渡した視点可変画像を得るには、理想的には、その被写体を、その３６０度の各方向から、いわば万遍なく撮像した画像が必要となる。
【０２３３】
しかしながら、被写体を、その３６０度の各方向から見ることのできるすべての位置が、被写体ポイントを中心とした、距離Ｒを半径とする円と、移動体１０１kが移動することのできる道路等との交点として、必ずしも得られるとは限らない。
【０２３４】
即ち、被写体ポイントを中心とした、距離Ｒを半径とする円と、移動体１０１kが移動することのできる道路等との交点を、撮像ポイントとするのでは、被写体ポイントから同一距離にある撮像ポイントを得ることはできるが、道路の存在状況によっては、被写体を、特定の方向から見ることのできる撮像ポイントが得られない場合がある。
【０２３５】
そこで、撮像ポイント算出部２６２では、第３の機能を実現する場合、例えば、図２０（Ｂ）に示すようにして、撮像ポイントを求めるようにすることができる。
【０２３６】
即ち、この場合、撮像ポイント算出部２６２は、被写体ポイントを中心とする３６０度の方向を、幾つかの方向に等分する。ここで、図２０（Ｂ）の実施の形態では、被写体ポイントの中心とする３６０度の方向が、４５度ずつ異なる８つの方向に等分されている。
【０２３７】
そして、撮像ポイント算出部２６２は、その８つの方向それぞれが視点情報であるとして、その８つの方向それぞれについて、図１９で説明した場合と同様に、撮像ポイントを求める。この場合、被写体を、４５度ずつ異なる方向から見ることのできる８つの撮像ポイントが得られることになる。即ち、この場合、被写体ポイントから各撮像ポイントまでの距離は、一般に同一にならないが、被写体を、その３６０度の各方向から万遍なく見ることのできる撮像ポイントを得ることができる。
【０２３８】
次に、図２１は、図３の画像データベース１１４に、全方位画像データが記憶されるときのフォーマットを示している。
【０２３９】
画像データベース１１４においては、例えば、１枚の全方位画像データが、図２１に示すように、ヘッダ部とデータ部を設けて管理される。
【０２４０】
ヘッダ部には、画像ID(Identification)、属性情報、撮像情報等が配置され、データ部には、画像データ（全方位画像データ）が配置される。
【０２４１】
なお、画像IDは、例えば、そのデータ部に配置される全方位画像データについての固有のIDであり、制御部１１８が、画像データベース１１４に登録する。画像IDとしては、例えば、対応する全方位画像データを撮像した移動体１０１kの移動体ID、その撮像を行った年月日、その年月日における何枚目の撮像であるか、などの情報を組み合わせたものを用いることが可能である。ここで、移動体１０１kの移動体IDは、移動体１０１kごとにユニークなIDで、例えば、制御部１１８が記憶しているものとする。
【０２４２】
属性情報は、データ部に配置された全方位画像データの各種の属性の情報を表す。属性情報としては、例えば、全方位画像データに含まれる被写体を特定する被写体情報や、被写体ポイント、全方位画像データを撮像した撮像ポイント、その撮像ポイントから見た被写体の方向（視点方向）を表す視点情報等がある。なお、属性情報は、制御部１１８によって、画像データベース１１４に登録される。
【０２４３】
撮像情報は、上述したように、撮像装置１１１が出力する、その撮像装置１１１の設定に関する情報であり、スケール加工部１１３によって、全方位画像データとともに、画像データベース１１４に登録される。
【０２４４】
なお、移動体１０１kは、他の移動体１０１k'の全方位カメラ１０２kで撮像された画像データや、他の移動体１０１k'が、さらに他の移動体１０１k''から受信して、その画像データベース１１４（移動体１０１k'の画像データベース１１４）に記憶した画像データを受信することができるようになっており、移動体１０１kの画像データベース１１４には、自身の全方位カメラ１０２kで撮像された画像データの他、上述したようして、他の移動体１０１k'から受信した画像データも記憶されるようになっている。
【０２４５】
次に、図２２は、図３の表示画像加工部１１９の構成例を示している。
【０２４６】
画像メモリ２７１には、制御部１１８から画像データ（全方位画像データ、または全方位画像データの一部を切り出して得られる画像データ）が供給されるようになっており、画像メモリ２７１は、その画像データを記憶する。
【０２４７】
なお、画像メモリ２７１には、画像データとともに、その画像データについての、図２１に示したヘッダ部に配置された情報（以下、適宜、ヘッダ情報という）も供給されるようになっており、画像メモリ２７１は、画像データを、そのヘッダ情報とともに記憶する。
【０２４８】
また、画像メモリ２７１は、複数枚の全方位画像データ（ヘッダ情報も含む）を記憶することのできる記憶容量を有している。
【０２４９】
スケール加工部２７２は、例えば、図３のスケール加工部１１３と同様に構成されており、制御部１１８からの制御にしたがい、画像メモリ２７１に記憶された画像データを、拡大または縮小する。
【０２５０】
即ち、例えば、ユーザが操作部１１５を操作することによって、画像の拡大または縮小を指示した場合には、制御部１１８は、その指示にしたがって、スケール加工部２７２を制御することにより、画像メモリ２７１に記憶された画像データを拡大または縮小する。
【０２５１】
また、スケール加工部２７２は、画像メモリ２７１に複数の画像データが記憶された場合に、必要に応じて、その複数の画像データを、その画像データに表示されている被写体の大きさを一定にするように拡大または縮小する。
【０２５２】
即ち、第３の機能では、所望の被写体を、視点を変えながら見渡した視点可変画像を生成するため、画像メモリ２７１には、図２０で説明したような、同一の被写体を、複数の方向から撮像した複数の画像データが、画像メモリ２７１に記憶される。
【０２５３】
この同一の被写体を、複数の方向から撮像した複数の画像データ（以下、適宜、異方向画像データという）が、図２０（Ａ）に示したように、被写体ポイントから同一の距離だけ離れた撮像ポイントで撮像されたものである場合には、各撮像ポイントにおける撮像時のズーム倍率が異なっていても、スケール加工部１１３において、同一のズーム倍率（固定倍率）の画像データに変換されるから、各異方向画像データに写っている被写体の大きさ（スケール）は、同一になる。
【０２５４】
しかしながら、複数の異方向画像データが、図２０（Ｂ）に示したように、被写体ポイントからの距離が異なる複数の撮像ポイントで撮像されたものである場合には、スケール加工部１１３において、その複数の異方向画像データのズーム倍率を同一に変換しても、各異方向画像データに写っている被写体の大きさは同一にならない。即ち、各異方向画像データに写っている被写体の大きさは、その異方向画像データを撮像した撮像ポイントが、被写体ポイントから、どれだけ離れているかによって異なるものとなる。
【０２５５】
そこで、スケール加工部２７２は、画像メモリ２７１に、複数の異方向画像データが記憶された場合には、その複数の異方向画像データに写っている同一の被写体の大きさ（スケール）をあわせるために、画像メモリ２７１に記憶された異方向画像データを拡大または縮小する。
【０２５６】
なお、この場合、各異方向画像データの拡大率または縮小率は、そのヘッダ情報に含まれる撮像ポイントと被写体ポイントとの間の距離に基づき、画像メモリ２７１に記憶された複数の異方向画像データに写っている同一の被写体の大きさ（スケール）を同一にするように決定される。
【０２５７】
スケール加工部２７２は、以上のようにして、画像メモリ２７１に記憶された画像データを拡大または縮小すると、その拡大または縮小後の画像データを、例えば、画像メモリ２７１の、元の画像データに上書きする形で書き込む。
【０２５８】
対応画素演算部２７３は、制御部１１８からの制御にしたがい、第３の機能を実現する場合において、画像メモリ２７１に記憶された複数枚の異方向画像データにおける、対応する画素どうしを検出する。
【０２５９】
即ち、対応画素演算部２７３は、画像メモリ２７１に記憶された複数の異方向画像データそれぞれのヘッダ情報の中の視点情報を参照することにより、視点情報が表す視点方向が、ある方向を基準方向として、時計回りまたは反時計回り方向になる順番（以下、適宜、視点方向順という）を認識する。さらに、対応画素演算部２７３は、視点方向順で、ｉ＋１番目の異方向画像データに写っている被写体部分の各画素が、ｉ番目の異方向画像データに写っている被写体部分のどの画素に対応するかを検出する。
【０２６０】
なお、この対応する画素の検出は、例えば、いわゆるブロックマッチングなどを用いて行うことが可能である。
【０２６１】
対応画素演算部２７３は、画像メモリ２７１に記憶された複数の異方向画像データすべてについて、上述したような画素の対応関係を検出すると、その画素の対応関係を、画像生成部２７４に供給する。
【０２６２】
画像生成部２７４は、第１の機能または第２の機能を実現する場合には、画像メモリ２７１に記憶された画像データを読み出し、表示メモリ２７６に供給する。
【０２６３】
また、画像生成部２７４は、第３の機能を実現する場合には、画像メモリ２７１に記憶された複数の異方向画像データを用いて、視点を時計回りまたは反時計回り方向に変えながら、被写体を見渡した視点可変画像データを生成する。
【０２６４】
即ち、画像生成部２７４は、視点方向順の異方向画像データを、対応画素演算部２７３から供給される画素の対応関係に基づいて、対応する画素どうしを対応させるように空間方向の位置あわせをしながら、動画のフレームとして並べることにより、視点を時計回りまたは反時計回り方向に変えながら被写体を撮像したならば得られるであろう動画データとしての視点可変画像データを生成する。
【０２６５】
なお、画像メモリ２７１に記憶された複数の異方向画像データを、視点方向順に、順次、第１フレーム、第２フレーム、・・・として配置して、動画データとしての視点可変画像データを生成した場合には、異方向画像データの枚数や、撮像ポイントの粗密によって、視点可変画像データが、滑らかな動画にならないことがある。
【０２６６】
そこで、画像生成部２７４は、画像メモリ２７１に記憶された複数の異方向画像データを、その視点方向に対応した順番のフレームに配置するようになっている。
【０２６７】
即ち、例えば、フレームレートを３０フレーム／秒として、３秒間で、被写体の周囲を１周する（３６０度回転する）ような視点可変画像データを生成するとした場合、視点可変画像データは、９０フレーム（＝３０フレーム／秒×３秒）で構成する必要があり、さらに、その視点可変画像データの隣接フレーム間における視点方向の変化は、４度（＝３６０度／９０フレーム）とする必要がある。
【０２６８】
従って、この場合、画像生成部２７４は、視点方向が４×（ｉ−１）度に最も近い異方向画像データを、第ｉフレームに配置する。
【０２６９】
但し、この場合、異方向画像データが配置されないフレームが生ずることがある。そこで、画像生成部２７４は、異方向画像データが配置されないフレーム（以下、適宜、未配置フレームという）については、補間フレーム生成部２７５を制御することにより、異方向画像データが配置されるフレーム（以下、適宜、既配置フレームという）を用いて補間を行わせ、未配置フレームに配置する画像データを生成させる。即ち、補間フレーム生成部２７５は、例えば、未配置フレームから最も近い位置にある、時間的に先行する既配置フレームと、時間的に後行する既配置フレームとを用いて補間を行い、未配置フレームの画像データを生成する。なお、この未配置フレームの補間は、その未配置フレームから、その補間に用いられる、時間的に先行または後行する既配置フレームそれぞれまでの時間的距離を考慮して行われる。
【０２７０】
ここで、補間フレーム生成部２７５では、既配置フレームの画像データを用いて、単なる補間を行うことにより、未配置フレームの画像データを生成する他、例えば、既配置フレームの画像データを用いて、上述のクラス分類適応処理を行うことにより、未配置フレームの画像データを生成するようにすることが可能である。
【０２７１】
画像生成部２７４は、上述のようにして必要な補間等を行い、動画データとしての視点可変画像データを最終的に完成すると、その視点可変画像データを、表示メモリ２７６に供給して記憶させる。
【０２７２】
表示メモリ２７６に記憶された画像データは、表示部１２２（図３）に供給されて表示される。
【０２７３】
次に、図３の移動体１０１kが行う処理について説明する。
【０２７４】
なお、移動体１０１kが行う処理は、その移動体１０１kが、いわば主の移動体（以下、主移動体という）となり、他の移動体１０１k'が、いわば従の移動体（以下、従移動体という）となって、その従移動体としての移動体１０１k'に対して各種の要求を行う処理と、他の移動体１０１k'が主移動体となった場合に、その主移動体の要求に応じて行う処理とに、大きく分けることができる。
【０２７５】
そこで、以下では、移動体１０１kを主移動体とするとともに、移動体１０１k'を従移動体として、主移動体としての移動体１０１kが行う処理（主移動体の処理）と、従移動体としての移動体１０１k'が行う処理（従移動体の処理）について説明する。
【０２７６】
まず、図２３のフローチャートを参照して、主移動体の処理について説明する。
【０２７７】
まず最初に、ステップＳ２０１において、制御部１１８は、ユーザＵkが操作部１１５を操作することにより、何らかの入力を行ったかどうかを判定する。ステップＳ２０１において、何らの入力も行われていないと判定された場合、ステップＳ２０１に戻る。
【０２７８】
また、ステップＳ２０１において、ユーザＵkによって、何らかの入力が行われたと判定された場合、ステップＳ２０２に進み、制御部１１８は、そのユーザＵkからの入力が、何を要求するものであるかを判定する。
【０２７９】
ステップＳ２０２において、ユーザＵkからの入力が、全方位画像データを要求するものであると判定された場合、ステップＳ２０３に進み、後述する全方位画像取得処理が行われ、ステップＳ２０１に戻る。
【０２８０】
また、ステップＳ２０２において、ユーザＵkからの入力が、所望の被写体を、所望の視点方向から撮像した画像データ（以下、適宜、視点指定画像データという）を要求するものであると判定された場合、ステップＳ２０４に進み、後述する視点指定画像取得処理が行われ、ステップＳ２０１に戻る。
【０２８１】
さらに、ステップＳ２０２において、ユーザＵkからの入力が、視点可変画像データを要求するものであると判定された場合、ステップＳ２０５に進み、後述する視点可変画像取得処理が行われ、ステップＳ２０１に戻る。
【０２８２】
なお、上述の第１乃至第３の機能は、ステップＳ２０３における全方位画像取得処理、ステップＳ２０４における視点指定画像取得処理、ステップＳ２０５における視点可変画像取得処理に、それぞれ対応する。
【０２８３】
次に、図２４のフローチャートを参照して、図２３のステップＳ２０３における全方位画像取得処理について説明する。
【０２８４】
全方位画像取得処理では、まず最初に、ステップＳ２１１において、制御部１１８は、ユーザＵkが操作部１１５を操作することにより、他の移動体（従移動体）を特定する移動体IDの入力があったかどうかを判定する。
【０２８５】
ステップＳ２１１において、ユーザＵkによる移動体IDの入力がなかったと判定された場合、ステップＳ２１２に進み、制御部１１８は、全方位カメラ１０２kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０２８６】
スケール加工部１１３は、全方位カメラ１０２kから、全方位画像データが供給されると、ステップＳ２１３において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２１４に進み、画像データベース１１４に供給して登録する。
【０２８７】
その後、ステップＳ２１５に進み、制御部１１８は、直前のステップＳ２１４で画像データベース１１４に登録された全方位画像データを読み出し、画像変換部１２７に供給して、その全方位画像データの歪みを除去する画像変換を行わせる。
【０２８８】
そして、ステップＳ２１６に進み、制御部１１８は、画像変換後（歪み除去後）の全方位画像データを、表示画像加工部１１９に供給し、表示部１２２に表示させる画像データ（以下、適宜、表示データという）を生成させる。
【０２８９】
即ち、この場合、表示画像加工部１１９（図２２）では、画像メモリ２７１において、制御部１１８からの全方位画像データが記憶される。この画像メモリ２７１に記憶された全方位画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整され、画像生成部２７４を介して、表示メモリ２７６に供給される。
【０２９０】
表示メモリ２７６は、画像生成部２７４を介して供給される全方位画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２１６では、表示部１２２において、全方位画像データが表示され、全方位画像取得処理を終了する。
【０２９１】
従って、この場合、表示部１２２では、主移動体が、現在地で撮像した全方位画像データ（静止画）が表示される。
【０２９２】
一方、ステップＳ２１１において、ユーザＵkによる移動体IDの入力があったと判定された場合、ステップＳ２１７に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、ユーザＵkが入力した移動体IDを含めて送信させる。
【０２９３】
この場合、後述するように、リクエスト信号に含まれる移動体IDによって特定される移動体（従移動体）は、現在地における全方位画像データを撮像して、主移動体である移動体１０１kに送信してくるので、ステップＳ２１８において、受信部１１７が、その全方位画像データが送信されてくるのを待って受信する。なお、従移動体は、全方位画像データを、図２１に示した画像データベース１１４の記憶フォーマットと同様のフォーマットで送信してくるようになっている。
【０２９４】
その後、ステップＳ２１４に進み、受信部１１７で受信された全方位画像データは、画像データベース１１４に供給されて登録される。そして、以後、ステップＳ２１５，Ｓ２１６において、上述した場合と同様の処理が行われ、全方位画像取得処理を終了する。
【０２９５】
従って、この場合、表示部１２２では、ユーザＵkが入力した移動体IDによって特定される従移動体が、現在地で撮像した全方位画像データ（静止画）が表示される。
【０２９６】
次に、図２５のフローチャートを参照して、図２３のステップＳ２０４における視点指定画像取得処理について説明する。
【０２９７】
まず最初に、ステップＳ２１１において、制御部１１８は、表示部１２２を制御することにより、被写体情報と視点情報の入力を要求するメッセージを表示させ、ステップＳ２２２に進み、制御部１１８は、ユーザＵkが操作部１１５を操作することにより、被写体情報と視点情報を入力したかどうかを判定する。
【０２９８】
ステップＳ２２２において、被写体情報および視点情報の入力が行われていないと判定された場合、ステップＳ２１１に戻り、再度、ユーザに対して、被写体情報および視点情報の入力が要求される。
【０２９９】
また、ステップＳ２２２において、被写体情報および視点情報の入力があったと判定された場合、ステップＳ２２３に進み、制御部１１８は、その被写体情報および視点情報を、座標演算部１２５に供給し、撮像ポイントを計算させる。即ち、この場合、座標演算部１２５は、図１９で説明したようにして、１つの撮像ポイントを求め、制御部１１８に供給する。
【０３００】
制御部１１８は、座標演算部１２５からの撮像ポイントを、記憶部１２１に供給して記憶させ、ステップＳ２２４に進み、画像データベース１１４を参照することにより、ステップＳ２２３で得られた撮像ポイントから、ユーザＵkが入力した被写体情報によって特定される被写体が写った全方位画像データが、既に登録されているかどうかを判定する。なお、この判定は、画像データベース１１４におけるヘッダ部（図２１）の情報（ヘッダ情報）を参照することによって行うことができる。
【０３０１】
ステップＳ２２４において、ステップＳ２２３で得られた撮像ポイントから、ユーザＵkが入力した被写体情報によって特定される被写体が写った全方位画像データが、画像データベース１１４に、既に登録されていると判定された場合、即ち、ユーザＵkが入力した視点情報が表す視点方向から、同じくユーザＵkが入力した被写体情報によって特定される被写体を見た場合の全方位画像データを、過去に、自身で撮像したか、または、他の移動体から受信したことがあり、その全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２２５に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２３２に進む。
【０３０２】
また、ステップＳ２２４において、ステップＳ２２３で得られた撮像ポイントから、ユーザＵkが入力した被写体情報によって特定される被写体が写った全方位画像データが、画像データベース１１４に登録されていないと判定された場合、ステップＳ２２６に進み、比較部１２０は、現在地が、記憶部１２１に記憶された撮像ポイントと一致するかどうかを判定する。
【０３０３】
即ち、ステップＳ２２６では、比較部１２０において、位置検出部１２３で検出されている現在地が、ステップＳ２２３で記憶部１２１に記憶された撮像ポイントと一致するかどうかが判定される。
【０３０４】
ステップＳ２２６において、現在地が、記憶部１２１に記憶された撮像ポイントと一致すると判定された場合、即ち、主移動体自身が、撮像ポイントに位置している場合、ステップＳ２２７に進み、制御部１１８は、全方位カメラ１０２kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０３０５】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２２８において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２２９に進み、画像データベース１１４に供給して登録する。そして、制御部１１８は、ステップＳ２２９で画像データベース１１４に登録された全方位画像データを読み出し、ステップＳ２３２に進む。
【０３０６】
一方、ステップＳ２２６において、現在地が、記憶部１２１に記憶された撮像ポイントと一致しないと判定された場合、ステップＳ２３０に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、ステップＳ２２３で求められた撮像ポイントを含めて送信させる。
【０３０７】
この場合、後述するように、リクエスト信号に含まれる撮像ポイントを現在地とする移動体（従移動体）は、現在地（従って、撮像ポイント）における全方位画像データを撮像等して、主移動体である移動体１０１kに送信してくるので、ステップＳ２３１において、受信部１１７が、その全方位画像データが送信されてくるのを待って受信する。
【０３０８】
なお、この場合、複数の従移動体それぞれにおいて、後述する図２７の従移動体の処理が行われることにより、リクエスト信号に含まれる撮像ポイントから撮像した同一の全方位画像データが送信されてくることが考えられるが、このように、同一の全方位画像データが、複数の従移動体から送信されてきた場合は、受信部１１７は、例えば、その複数の同一の全方位画像データのうちの１つを選択するようになっている。後述する図２６のステップＳ２５０においても同様である。
【０３０９】
その後、ステップＳ２２９に進み、受信部１１７で受信された全方位画像データは、画像データベース１１４に供給されて登録される。そして、制御部１１８は、ステップＳ２２９で画像データベース１１４に登録した全方位画像データを読み出し、ステップＳ２３２に進む。
【０３１０】
ステップＳ２３２では、制御部１１８は、画像データベース１１４から読み出した全方位画像データ、即ち、ユーザＵkが入力した視点情報が表す視点方向から、同じくユーザＵkが入力した被写体情報によって特定される被写体を見た場合の全方位画像データである視点指定画像データを、そのヘッダ情報とともに、切り出し部１２６に供給し、その視点指定画像データから、ユーザＵkが入力した被写体情報によって特定される被写体が写っている部分を切り出させる。
【０３１１】
即ち、視点指定画像データである全方位画像データにおいて、被写体が写っている部分は、そのヘッダ情報の中の被写体ポイントと撮像ポイントとから認識することができる。そこで、切り出し部１２６は、視点指定画像データである全方位画像データから、被写体が写っている部分を含む、図９に示したような、中心点Ｃ１を中心とする円の円弧ＦC1およびＦC2、並びに中心点Ｃ１を通る直線ＬC1およびＬC2で囲まれる領域を切り出し、その切り出した領域の画像データ（以下、適宜、切り出し画像データという）を、制御部１１８に供給する。
【０３１２】
制御部１１８は、切り出し画像データを受信すると、ステップＳ２３３に進み、その切り出し画像データを、画像変換部１２７に供給して、その歪みを除去する画像変換を行わせる。
【０３１３】
そして、ステップＳ２３４に進み、制御部１１８は、画像変換後（歪み除去後）の切り出し画像データを、表示画像加工部１１９に供給し、表示データを生成させる。
【０３１４】
即ち、この場合、表示画像加工部１１９（図２２）では、画像メモリ２７１において、制御部１１８からの切り出し画像データが記憶される。この画像メモリ２７１に記憶された切り出し画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整され、画像生成部２７４を介して、表示メモリ２７６に供給される。
【０３１５】
表示メモリ２７６は、画像生成部２７４を介して供給される切り出し画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２３４では、表示部１２２において、切り出し画像データが表示され、視点指定画像取得処理を終了する。
【０３１６】
従って、この場合、表示部１２２では、ユーザが所望する被写体を、ユーザが所望する視点方向から撮像した画像（静止画）が表示される。
【０３１７】
次に、図２６のフローチャートを参照して、図２３のステップＳ２０５における視点可変画像取得処理について説明する。
【０３１８】
まず最初に、ステップＳ２４１において、制御部１１８は、表示部１２２を制御することにより、被写体情報の入力を要求するメッセージを表示させ、ステップＳ２４２に進み、制御部１１８は、ユーザＵkが操作部１１５を操作することにより、被写体情報を入力したかどうかを判定する。
【０３１９】
ステップＳ２４２において、被写体情報の入力が行われていないと判定された場合、ステップＳ２４１に戻り、再度、ユーザに対して、被写体情報の入力が要求される。
【０３２０】
また、ステップＳ２４２において、被写体情報の入力があったと判定された場合、ステップＳ２４３に進み、制御部１１８は、その被写体情報を、座標演算部１２５に供給し、撮像ポイントを計算させる。即ち、この場合、座標演算部１２５は、図２０で説明したようにして、被写体情報によって特定される被写体を撮像する複数の撮像ポイントを求め、制御部１１８に供給する。
【０３２１】
制御部１１８は、座標演算部１２５からの複数の撮像ポイントを、記憶部１２１に供給して記憶させ、ステップＳ２４４に進み、画像データベース１１４を参照することにより、記憶部１２１に記憶された複数の撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に、既に登録されているものがあるかどうかを判定する。
【０３２２】
ステップＳ２４４において、記憶部１２１に記憶された撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に既に登録されているものがあると判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから、被写体情報によって特定される被写体を撮像した全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２４５に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２４６に進む。
【０３２３】
ステップＳ２４６では、制御部１１８は、画像データベース１１４から読み出した全方位画像データを、そのヘッダ情報とともに、切り出し部１２６に供給し、その全方位画像データから、ユーザＵkが入力した被写体情報によって特定される被写体が写っている部分を切り出させる。
【０３２４】
即ち、上述したように、全方位画像データにおいて、被写体が写っている部分は、そのヘッダ情報の中の被写体ポイントと撮像ポイントとから認識することができるので、切り出し部１２６は、全方位画像データから、被写体が写っている部分を含む画像データを切り出し、その結果得られる切り出し画像データ（ヘッダ情報を含む）を、制御部１１８に供給する。
【０３２５】
制御部１１８は、このようにして、切り出し部１２６から供給される切り出し画像データを、その内蔵するメモリ（図示せず）に一時記憶し、ステップＳ２４７に進む。
【０３２６】
ステップＳ２４７では、制御部１１８は、記憶部１２１に記憶された複数の撮像ポイントのうち、ステップＳ２４５で画像データベース１１４から読み出した全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２４８に進む。
【０３２７】
即ち、これにより、記憶部１２１は、ユーザＵkが入力した被写体情報によって特定される被写体についての全方位画像データが得られていない視点方向にある撮像ポイントだけが記憶された状態となる。
【０３２８】
なお、記憶部１２１に記憶された複数の撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に、既に登録されているものが２以上ある場合には、上述のステップＳ２４５乃至Ｓ２４７の処理は、その既に登録されている２以上の撮像ポイントそれぞれについて行われる。
【０３２９】
一方、ステップＳ２４４において、記憶部１２１に記憶された撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に登録されているものがないと判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから、被写体情報によって特定される被写体を撮像した全方位画像データが、画像データベース１１４に登録されていない場合、ステップＳ２４８に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、記憶部１２１に記憶されている撮像ポイントを含めて送信させ、ステップＳ２４９に進む。
【０３３０】
ステップＳ２４９では、受信部１１７は、ステップＳ２４８で送信したリクエスト信号に対応して、移動体（従移動体）から、そのリクエスト信号に含まれるいずれかの撮像ポイントで撮像された全方位画像データが送信されてきたかどうかを判定し、送信されてきたと判定した場合、ステップＳ２５０に進み、受信部１１７は、その全方位画像データを受信する。そして、受信部１１７は、ステップＳ２５４に進み、ステップＳ２５０で受信した全方位画像データを、画像データベース１１４に供給して登録し、ステップＳ２５５に進む。
【０３３１】
一方、ステップＳ２４９において、移動体（従移動体）から、全方位画像データが送信されてきていないと判定された場合、ステップＳ２５１に進み、比較部１２０は、図２５のステップＳ２２６における場合と同様にして、現在地が、記憶部１２１に記憶されたいずれかの撮像ポイントと一致するかどうかを判定する。
【０３３２】
ステップＳ２５１において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれとも一致しないと判定された場合、ステップＳ２５２乃至Ｓ２５６をスキップして、ステップＳ２５７に進む。
【０３３３】
また、ステップＳ２５１において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれかと一致すると判定された場合、即ち、主移動体自身が、撮像ポイントに位置している場合、ステップＳ２５２に進み、制御部１１８は、全方位カメラ１０２kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０３３４】
スケール加工部１１３は、上述のようにして、全方位画像データが供給されると、ステップＳ２５３において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２５４に進み、画像データベース１１４に供給して登録し、ステップＳ２５５に進む。
【０３３５】
ステップＳ２５５では、制御部１１８が、記憶部１２１に記憶された撮像ポイントのうち、ステップＳ２５４で画像データベース１１４に記憶された全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２５６に進む。
【０３３６】
ステップＳ２５６では、制御部１１８は、ステップＳ２５４で画像データベース１１４に登録した全方位画像データを読み出し、ステップＳ２４６における場合と同様に、そのヘッダ情報とともに、切り出し部１２６に供給する。これにより、切り出し部１２６は、制御部１１８からのヘッダ情報に基づき、同じく制御部１１８からの全方位画像データから、ユーザＵkが入力した被写体情報によって特定される被写体が写っている部分を切り出す。そして、切り出し部１２６は、その結果得られる切り出し画像データを、制御部１１８に供給し、制御部１１８は、切り出し部１２６から供給される切り出し画像データを、その内蔵するメモリに一時記憶して、ステップＳ２５７に進む。
【０３３７】
ステップＳ２５７では、制御部１１８は、記憶部１２１に撮像ポイントが記憶されていないか、または、ステップＳ２４８でリクエスト信号を送信してから所定の時間が経過したかどうかを判定する。ステップＳ２５７において、記憶部１２１に撮像ポイントが記憶されており、かつリクエスト信号を送信してから所定の時間が経過していないと判定された場合、ステップＳ２４９に戻り、以下、同様の処理が繰り返される。
【０３３８】
また、ステップＳ２５７において、記憶部１２１に撮像ポイントが記憶されていないか、またはリクエスト信号を送信してから所定の時間が経過したと判定された場合、即ち、ユーザＵkが入力した被写体情報によって特定される被写体を、ステップＳ２４３で求められた複数の撮像ポイントすべてから撮像した全方位画像データが得られるか、または、そのような全方位画像データが、リクエスト信号を送信してから所定の時間が経過しても得られなかった場合、ステップＳ２５８に進み、制御部１１８は、記憶部１２１の記憶内容をクリアし、ステップＳ２５９に進む。
【０３３９】
ステップＳ２５９では、制御部１１８は、その内蔵するメモリに記憶されている切り出し画像データすべてを、画像変換部１２７に供給し、その歪みを除去する画像変換を行わせる。
【０３４０】
そして、ステップＳ２６０に進み、制御部１１８は、画像変換後（歪み除去後）の切り出し画像データを、表示画像加工部１１９に供給し、表示データを生成させる。
【０３４１】
即ち、この場合、表示画像加工部１１９（図２２）では、画像メモリ２７１において、制御部１１８から供給される切り出し画像データが、上述の異方向画像データとして記憶される。この画像メモリ２７１に記憶された異方向画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整される。
【０３４２】
そして、対応画素演算部２７３は、画像メモリ２７１に記憶された異方向画像データについて、上述したようにして、画素の対応関係を検出し、画像生成部２７４に供給する。
【０３４３】
画像生成部２７４は、画像メモリ２７１に記憶された異方向画像データを用い、対応画素演算部２７３からの画素の対応関係を参照しながら、視点可変画像データ、即ち、視点を時計回りまたは反時計回り方向に変えながら、ユーザＵkが入力した被写体情報によって特定される被写体を撮像した画像データを生成し、表示データとして、表示メモリ２７６に供給される。
【０３４４】
表示メモリ２７６は、画像生成部２７４を介して供給される視点可変画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２６０では、表示部１２２において、動画データである視点可変画像データが表示され、視点可変画像取得処理を終了する。
【０３４５】
従って、この場合、表示部１２２では、ユーザが所望する被写体を、その周囲を一周しながら撮像したような動画が表示される。
【０３４６】
なお、表示画像加工部１１９（図２２）の画像生成部２７４において、画像メモリ２７１に記憶された異方向画像データを用いて、視点可変画像データが生成される場合には、図２２で説明したように、視点可変画像としての動画を構成するフレームのうち、画像メモリ２７１に記憶された異方向画像データが配置されないもの（未配置フレーム）については、その未配置フレームに配置する画像データが、補間フレーム生成部２７５において生成される。
【０３４７】
従って、視点可変画像は、未配置フレームが少ないほど動きが滑らかなもの（時間方向の解像度が高いもの）となるが、このことは、異方向画像データが多数集まるほど、視点可変画像の画質が向上することを意味する。
【０３４８】
次に、図２７を参照して、従移動体の処理について説明する。
【０３４９】
従移動体の処理では、ステップＳ２７１において、受信部１１７が、他の移動体である主移動体からリクエスト信号が送信されてきたかどうかを判定し、送信されてきていないと判定した場合、ステップＳ２７１に戻る。
【０３５０】
そして、ステップＳ２７１において、リクエスト信号が送信されてきたと判定された場合、受信部１１７は、そのリクエスト信号を受信して、制御部１１８に供給し、ステップＳ２７２に進む。
【０３５１】
ステップＳ２７２では、制御部１１８は、受信部１１７からのリクエスト信号に、移動体IDが含まれるかどうかを判定し、含まれると判定した場合、ステップＳ２７３に進む。
【０３５２】
ステップＳ２７３では、制御部１１８は、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致するかどうかを判定する。ここで、制御部１１８は、自身の移動体IDを、例えば、その内蔵するメモリに記憶している。
【０３５３】
ステップＳ２７３において、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致しないと判定された場合、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０３５４】
また、ステップＳ２７３において、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致すると判定された場合、ステップＳ２７４に進み、制御部１１８は、撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０３５５】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２７５において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２７６に進み、画像データベース１１４に供給して登録し、ステップＳ２７７に進む。
【０３５６】
ステップＳ２７７では、制御部１１８は、ステップＳ２７６で画像データベース１１４に登録した全方位画像データを、ヘッダ情報とともに読み出し、送信部１１６に供給して、リクエスト信号を送信してきた主移動体に送信させる。そして、ステップＳ２７１に戻り、以下、同様の処理が繰り返される。なお、リクエスト信号には、そのリクエスト信号を送信してきた移動体の移動体IDが含められており、ステップＳ２７７（後述するステップＳ２８２およびＳ２８８においても同様）では、その移動体ＩＤを宛先として、全方位画像データが送信される。
【０３５７】
一方、ステップＳ２７２において、リクエスト信号に、移動体IDが含まれていないと判定された場合、ステップＳ２７８に進み、制御部１１８は、リクエスト信号に、１以上の撮像ポイントが含まれているかどうかを判定する。ステップＳ２７８において、リクエスト信号に、撮像ポイントが含まれていないと判定された場合、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０３５８】
一方、ステップＳ２７８において、リクエスト信号に、１以上の撮像ポイントが含まれていると判定された場合、ステップＳ２７９に進み、制御部１１８は、リクエスト信号に含まれている１以上の撮像ポイントを、記憶部１２１に供給して記憶させる。
【０３５９】
ここで、主移動体において、図２５の視点指定画像取得処理が行われる場合には、リクエスト信号には、１つの撮影ポイントだけが含まれ、図２６の視点可変画像取得処理が行われる場合には、リクエスト信号には、１以上の撮影ポイントが含まれる。
【０３６０】
その後、ステップＳ２８０に進み、制御部１１８は、画像データベース１１４を参照することにより、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがあるかどうかを判定する。
【０３６１】
ステップＳ２８０において、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがあると判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから撮像した全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２８２に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２８２に進む。
【０３６２】
ステップＳ２８２では、制御部１１８は、画像データベース１１４から読み出した全方位画像データを、そのヘッダ情報とともに、送信部１１６に供給し、リクエスト信号を送信してきた主移動体に送信させる。そして、ステップＳ２８３に進み、制御部１１８は、記憶部１２１に記憶された１以上の撮像ポイントのうち、ステップＳ２８１で画像データベース１１４から読み出した全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２８４に進む。
【０３６３】
なお、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものが複数ある場合には、上述のステップＳ２８１乃至Ｓ２８３の処理は、その複数の撮像ポイントそれぞれについて行われる。
【０３６４】
一方、ステップＳ２８０において、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがないと判定された場合、即ち、主移動体が要求する全方位画像データが、従移動体の画像データベース１１４には登録されていない場合、ステップＳ２８４に進み、比較部１２０が、図２５のステップＳ２２６にで説明したようにして、現在地が、記憶部１２１に記憶されたいずれかの撮像ポイントと一致するかどうかを判定する。
【０３６５】
ステップＳ２８４において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれかと一致すると判定された場合、即ち、従移動体が、リクエスト信号に含まれている撮像ポイントのうちのいずれかに位置している場合、ステップＳ２８５に進み、制御部１１８は、撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０３６６】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２８６において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２８７に進み、画像データベース１１４に供給して登録し、ステップＳ２８８に進む。
【０３６７】
ステップＳ２８８では、制御部１１８は、ステップＳ２８７で画像データベース１１４に登録した全方位画像データを、ヘッダ情報とともに読み出し、送信部１１６に供給して、リクエスト信号を送信してきた主移動体に送信させる。
【０３６８】
その後、ステップＳ２８９に進み、制御部１１８が、記憶部１２１に記憶された１以上の撮像ポイントのうち、ステップＳ２８７で画像データベース１１４に記憶された全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２８４に戻る。
【０３６９】
一方、ステップＳ２８４において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれとも一致しないと判定された場合、ステップＳ２９０に進み、制御部１１８は、記憶部１２１に撮像ポイントが記憶されていないか、または、主移動体からのリクエスト信号を受信してから所定の時間が経過したかどうかを判定する。ステップＳ２９０において、記憶部１２１に撮像ポイントが記憶されており、かつリクエスト信号を受信してから所定の時間が経過していないと判定された場合、ステップＳ２８４に戻り、以下、同様の処理が繰り返される。
【０３７０】
また、ステップＳ２９０において、記憶部１２１に撮像ポイントが記憶されていないか、またはリクエスト信号を送信してから所定の時間が経過したと判定された場合、即ち、リクエスト信号に含まれる１以上の撮像ポイントそれぞれから撮像した全方位画像データすべてを主移動体に送信したか、または、リクエスト信号を受信してから所定の時間が経過しても、そのリクエスト信号に含まれる１以上の撮像ポイントそれぞれから撮像した全方位画像データの一部もしくは全部が得られなかった場合、ステップＳ２９１に進み、制御部１１８は、記憶部１２１の記憶内容をクリアする。そして、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０３７１】
以上のように、従移動体は、リクエスト信号に、自身の移動体IDが含まれている場合には、現在地を撮像ポイントとして、全方位画像データを撮像し、主移動体に送信する。また、従移動体は、リクエスト信号に、１以上の撮像ポイントが含まれており、その撮像ポイントの全方位画像データが画像データベース１１４に記憶されている場合には、その全方位画像データを、主移動体に送信し、記憶されていない場合において、自身の現在地が撮像ポイントに一致するときには、その撮像ポイントである現在地で全方位画像データを撮像し、主移動体に送信する。
【０３７２】
従って、主移動体は、リクエスト信号に移動体IDを含めて送信した場合には、その移動体IDの従移動体から、その従移動体が現在地において撮像した全方位画像データを得ることができる（第１の機能）。
【０３７３】
また、主移動体は、リクエスト信号に、１つの撮像ポイントを含めて送信した場合には、その撮像ポイントを現在地とする従移動体から、その従移動体が現在地で撮像した全方位画像データを得ることができる。あるいは、また、主移動体は、リクエスト信号に含まれる撮像ポイントの全方位画像データを有している従移動体から、その全方位画像データを得ることができる。その結果、主移動体は、所望の視点方向から、所望の被写体を見た姿が写っている全方位画像データを得ることができる（第２の機能）。
【０３７４】
さらに、主移動体は、リクエスト信号に、複数の撮像ポイントを含めて送信した場合には、その複数の撮像ポイントをそれぞれ現在地とする複数の従移動体から、各従移動体が現在地で撮像した全方位画像データを得ることができる。あるいは、また、主移動体は、リクエスト信号に含まれる各撮像ポイントの全方位画像データを有している各従移動体から、その全方位画像データを得ることができる。その結果、主移動体は、所望の被写体を、複数の視点方向から見た姿が映っている複数の全方位画像データを得ることができ、さらには、そのような複数の全方位画像データから、所望の被写体を、その周りから見渡したような動画である視点可変画像を得ることができる。
【０３７５】
即ち、移動体１０１1，１０１2，・・・，１０１Kそれぞれの全方位カメラ１０２1，１０２2，・・・，１０２Kにおいて、それ単独で、視点可変画像を得ようとすると、被写体の周りを移動し、複数の視点方向から被写体を撮像することにより、複数の全方位画像データを得る必要があるから、即座に、視点可変画像を得ることはできない。
【０３７６】
そこで、図１の移動体システムでは、複数の移動体どうしが協調して（協力しあって）、複数の撮像ポイントそれぞれから撮像した全方位画像データを取得する。即ち、主移動体が、複数の撮像ポイントそれぞれから撮像した全方位画像データを、従移動体に要求し、その全方位画像データを有する従移動体、またはその全方位画像データを撮像しうる従移動体は、その全方位画像データを、主移動体に提供する。
【０３７７】
このように、主移動体は、必要な全方位画像データを有する従移動体、または必要な全方位画像データを撮像しうる従移動体の協力によって、必要な全方位画像データを得て、自身の全方位カメラだけでは得られなかった視点可変画像、即ち、所望の被写体が単に写っているのではなく、その周囲を移動しながら撮像したような姿が映っているという付加価値が付いた動画像を得ることができる。
【０３７８】
従って、主移動体においては、その全方位カメラだけでは困難であった、視点可変画像を生成（撮像）するという高機能が実現されているということができるが、これは、主移動体と、１以上の従移動体とが、図２８において点線で囲むように、まるで１つの装置であるかのようになって、従移動体が、主移動体が要求する撮像ポイントの全方位画像データを提供し、主移動体が、そのようにして従移動体から提供される全方位画像データを用いて視点可変画像データを生成することにより、結果として、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担することとなっているからである。
【０３７９】
これに対して、従移動体が、任意に撮像した全方位画像データを、主移動体に提供するというだけでは、従移動体が、全方位画像データを集めるという処理を、単に分担しているだけとなり、主移動体において、視点可変画像の生成に必要な画像を得られず、従って、視点可変画像を生成するという高機能を実現することはできない。
【０３８０】
なお、移動体システムにおいて、上述のように、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担する場合には、視点可変画像データを、即座に得ることができるから、この点に注目すれば、いわばリアルタイムの協調分担が行われているということができる。
【０３８１】
一方、移動体システムでは、上述のようなリアルタイムの協調分担が行われることにより、主移動体となった移動体の画像データベース１１４には、所定の被写体について視点可変画像を生成するのに必要な複数の撮像ポイントから撮像された全方位画像データが蓄積される。その結果、所定の被写体について、視点可変画像の生成の要求が多い場合には、その要求回数に応じて時間解像度の高い視点可変画像が生成されるようになる。
【０３８２】
即ち、例えば、上述したように、フレームレートを３０フレーム／秒として、３秒間で、被写体の周囲を１周するような視点可変画像を生成する場合には、理想的には、その被写体を、４度ずつ異なる視点方向から撮像した９０枚の画像（異方向画像）が必要であり、この９０枚の異方向画像が集まれば、フレームレートが３０フレーム／秒で、３秒間の間に被写体の周囲を１周するという条件下において、最も時間解像度の高い視点可変画像を得ることができる。
【０３８３】
この場合、９０カ所の撮像ポイントで撮像された全方位画像（９０枚の異方向画像となる全方位画像）を得る必要があるが、いま、説明を簡単にするために、いずれの移動体の画像データベース１１４にも全方位画像データが記憶されていないと仮定すると、ある１つの移動体Ａが、視点可変画像取得処理（図２６）において、所定の被写体についての９０カ所の撮像ポイントを含むリクエスト信号を送信しても、その９０カ所のそれぞれに、他の移動体が存在するとは限らず、従って、９０カ所の撮像ポイントそれぞれで撮像された全方位画像すべては、一般には、集まらない。
【０３８４】
しかしながら、例えば、いま、移動体Ａによる視点可変画像取得処理によって、９０カ所の撮像ポイントのうちの、例えば１／３の３０カ所の撮像ポイントの全方位画像が集まり、その画像データベース１１４に登録されたとすると、その後、他の移動体Ｂが、視点可変画像取得処理（図２６）において、所定の被写体についての９０カ所の撮像ポイントを含むリクエスト信号を送信した場合には、移動体Ｂは、少なくとも、移動体Ａの画像データベース１１４に記憶されている３０カ所の全方位画像を得ることができる。さらに、この場合、残りの６０カ所の撮像ポイントのうちのいずれかに、他の移動体が位置している可能性が高く、移動体Ｂは、そのような他の移動体から、残りの６０カ所のうちのいずれかの撮像ポイントの全方位画像を得ることができる。
【０３８５】
従って、所定の被写体について、多数の移動体から、視点可変画像の生成の要求があると、その要求回数に応じて、多数の撮像ポイントの全方位画像が得られることとなり、その結果、時間解像度の高い視点可変画像が生成されるようになる。
【０３８６】
このように、視点可変画像の生成の要求が多い所定の被写体については、その要求回数に応じて、時間解像度の高いという付加価値が付いた視点可変画像が生成されるようになるが、これも、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担することとなっているからである。但し、時間解像度の高いという付加価値が付いた視点可変画像が生成されることに注目すると、時間解像度が高くなるのは、所定の被写体についての視点可変画像の生成の要求が何度も行われることによるものであるから、ある程度の時間の経過が必要であり、従って、上述のリアルタイムの協調分担に対して、長期的な協調分担が行われているということができる。
【０３８７】
なお、上述の場合には、移動体１０１kにおいて、全方位カメラ１０２kにより撮像を行うようにしたが、移動体１０１kでは、通常のカメラで撮像を行うようにすることも可能である。
【０３８８】
また、移動体１０１kとしては、自動車の他、船舶や航空機等を採用することも可能である。
【０３８９】
さらに、上述の場合には、移動体システムにおいて、付加価値のある画像として、被写体を、その周囲を移動しながら撮像したような視点可変画像を生成するようにしたが、付加価値のある画像としては、その他、例えば、いわゆる三角測量を利用して、３次元画像を生成するようにすることも可能である。
【０３９０】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３９１】
そこで、図２９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３９２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２１０５やＲＯＭ２１０３に予め記録しておくことができる。
【０３９３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３９４】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２１０８で受信し、内蔵するハードディスク２１０５にインストールすることができる。
【０３９５】
コンピュータは、CPU(Central Processing Unit)２１０２を内蔵している。CPU２１０２には、バス２１０１を介して、入出力インタフェース２１１０が接続されており、CPU２１０２は、入出力インタフェース２１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２１０３に格納されているプログラムを実行する。あるいは、また、CPU２１０２は、ハードディスク２１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２１０８で受信されてハードディスク２１０５にインストールされたプログラム、またはドライブ２１０９に装着されたリムーバブル記録媒体２１１１から読み出されてハードディスク２１０５にインストールされたプログラムを、RAM(Random Access Memory)２１０４にロードして実行する。これにより、CPU２１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２１０６から出力、あるいは、通信部２１０８から送信、さらには、ハードディスク２１０５に記録等させる。
【０３９６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３９７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３９８】
【発明の効果】
本発明の情報処理システムおよび第１の情報処理方法、並びに第１のプログラムによれば、複数の移動体それぞれが、複数のユーザそれぞれの操作に応じて移動し、また、その複数の移動体それぞれには、被写体を撮像する複数の撮像手段それぞれが設けられている。また、複数の移動体のうちの少なくとも１の移動体では、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、その撮像位置とともに、被写体の画像を要求するリクエスト信号が、他の移動体に対して送信される。さらに、複数の移動体のうちの少なくとも１の移動体では、他の移動体から送信されてくる、リクエスト信号に応じて他の移動体で撮像された被写体の画像が受信される。そして、受信された複数の被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。従って、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を、容易に得ることが可能となる。
【０３９９】
本発明の移動体および第２の情報処理方法、並びに第２のプログラムによれば、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号が送信される。また、他の移動体から送信されてくる、リクエスト信号に応じて他の移動体の撮像手段によって撮像された被写体の画像が受信される。さらに、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。従って、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を、容易に得ることが可能となる。
【０４００】
本発明の情報処理装置および第３の情報処理方法、並びに第３のプログラムによれば、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号が送信される。また、複数の移動体から送信されてくる、複数の移動体に設けられた、リクエスト信号に応じて被写体を撮像する撮像手段によって撮像された被写体の画像が受信され、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。従って、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を、容易に得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した移動体システムの一実施の形態の構成例を示す図である。
【図２】移動体システムの機能の概略を説明するための図である。
【図３】移動体１０１kの電気的構成例を示すブロック図である。
【図４】撮像装置１１１の構成例を示す斜視図である。
【図５】全方位画像データを示す図である。
【図６】集光部２０２を構成する双曲面を説明する図である。
【図７】集光部２０２と撮像部２０３との位置関係を説明するための図である。
【図８】全方位画像データを示す図である。
【図９】全方位画像データからの切り出しを説明するための図である。
【図１０】円周方向の歪みを説明するための図である。
【図１１】半径方向の歪みを説明するための図である。
【図１２】半径方向の歪みを除去する方法を説明するための図である。
【図１３】半径方向の歪みを除去する方法を説明するための図である。
【図１４】半径方向の歪みを除去する全方位画像データの変換を説明するための図である。
【図１５】変換対象点における画素値の求め方を説明するための図である。
【図１６】スケール加工部１１３の電気的構成例を示すブロック図である。
【図１７】タップ係数を学習する学習装置の電気的構成例を示すブロック図である。
【図１８】座標演算部１２５の電気的構成例を示すブロック図である。
【図１９】撮像ポイントの求め方を説明するための図である。
【図２０】撮像ポイントの求め方を説明するための図である。
【図２１】画像データベース１１４の記憶フォーマットを示す図である。
【図２２】表示画像加工部１１９の電気的構成例を示すブロック図である。
【図２３】主移動体の処理を説明するフローチャートである。
【図２４】全方位画像取得処理を説明するフローチャートである。
【図２５】視点指定画像取得処理を説明するフローチャートである。
【図２６】視点可変画像取得処理を説明するフローチャートである。
【図２７】従移動体の処理を説明するフローチャートである。
【図２８】移動体システムにおける協調分担を説明するための図である。
【図２９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１０１1乃至１０１K 移動体， １０２1乃至１０２K 全方位カメラ， １０３ 被写体， １０４ ネットワーク， １０５ 情報処理装置， １１１ 撮像装置， １１２ Ａ／Ｄ変換部， １１３ スケール加工部， １１４ 画像データベース， １１５ 操作部， １１６ 送信部， １１７ 受信部， １１８ 制御部， １１９ 表示画像加工部， １２０ 比較部， １２１ 記憶部， １２２ 表示部， １２３ 位置検出部， １２４ 地図データベース，１２５ 座標演算部， １２６ 切り出し部， １２７ 画像変換部， ２０１ 支持体， ２０２ 集光部， ２０３ 撮像部， ２３１ バッファ， ２３２ 予測タップ抽出回路， ２３３ クラスタップ抽出回路， ２３４ クラス分類回路， ２３５ 係数記憶部， ２３６ 積和演算回路， ２３７ 制御回路， ２４２ 教師データメモリ， ２４３ 生徒データ生成回路， ２４４生徒データメモリ， ２４５ 予測タップ抽出回路， ２４６ クラスタップ抽出回路， ２４７ クラス分類回路， ２４８ 正規方程式加算回路， ２４９ タップ係数決定回路， ２５０ 係数メモリ， ２５１ 制御回路， ２６１ 検索部， ２６２ 撮像ポイント算出部， ２７１ 画像メモリ， ２７２スケール加工部， ２７３ 対応画素演算部， ２７４ 画像生成部， ２７５ 補間フレーム生成部， ２７６ 表示メモリ， １００１ ネットワーク，１００２ 合成／統合部， １００３1乃至１００３K 操作部， １００４ 駆動制御部， １００５1乃至１００５M アクチュエータ， １００６ 信号処理部， １００７1乃至１００７N センサ， ２１０１ バス， ２１０２ CPU， ２１０３ ROM， ２１０４ RAM， ２１０５ ハードディスク， ２１０６ 出力部， ２１０７ 入力部， ２１０８ 通信部， ２１０９ ドライブ， ２１１０ 入出力インタフェース， ２１１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置に関し、特に、例えば、複数の移動体それぞれから、被写体の検知結果を受信して処理することにより、その被写体について、付加価値のある情報を得ることができるようにする情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置に関する。
【０００２】
【従来の技術】
近年においては、ハードウェアの高速化、低価格化、小規模化が進み、例えば、小型のＣＣＤ(Charged Coupled Device)カメラ等の撮像装置を備えた携帯電話機やＰＨＳ(Personal Handyphone System)等の携帯通信端末が実現されている。
【０００３】
このような携帯通信端末では、所望の被写体を撮像（撮影）し、他の携帯通信端末に送信することができる。従って、あるユーザは、他のユーザに連絡をして、画像を送ってもらうことにより、他のユーザがいる場所まで行かなくても、その場所にある被写体の画像を見ることができる。
【０００４】
【発明が解決しようとする課題】
ところで、あるユーザが、所望の被写体の画像を得るには、自身の携帯通信端末によって、所望の被写体がある場所にいる他のユーザの携帯通信端末に連絡をし、さらに、その、他のユーザに、その携帯通信端末によって、所望の被写体を撮影してもらう必要がある。そして、他のユーザの携帯通信端末から送信されてくる画像は、他のユーザのいる位置を視点として、被写体を見たものとなる。
【０００５】
従って、ユーザは、所望の被写体の全体を把握することが困難な場合があった。
【０００６】
そこで、他のユーザに、所望の被写体の周囲を移動しながら、その被写体を撮像してもらう方法があるが、この方法では、他のユーザに煩わしさを感じさせることとなるし、また、被写体が、巨大な建造物等である場合には、その周囲を移動することは容易ではない。さらに、この方法では、他のユーザが所望の被写体を撮像して送信するまでに、多大な時間を要することとなる。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、例えば、被写体を、その周囲を移動しながら撮像したような付加価値のある画像等を、容易に得ることができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の情報処理システムは、複数のユーザの操作に応じて移動する複数の移動体と、複数の移動体に設けられた、被写体を撮像する複数の撮像手段と、複数の移動体のうちの少なくとも１の移動体に設けられ、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信手段と、複数の移動体のうちの少なくとも１の移動体に設けられ、リクエスト信号に応じて、他の移動体で撮像された被写体の画像を、他の移動体から受信する受信手段と、受信手段により受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成手段とを備えることを特徴とする。
【０００９】
本発明の第１の情報処理方法は、複数の移動体のうちの少なくとも１の移動体が、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、複数の移動体のうちの少なくとも１の移動体が、リクエスト信号に応じて、他の移動体で撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１０】
本発明の第１のプログラムは、複数の移動体のうちの少なくとも１の移動体が、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、複数の移動体のうちの少なくとも１の移動体が、リクエスト信号に応じて、他の移動体で撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１１】
本発明の第１の記録媒体は、複数の移動体のうちの少なくとも１の移動体が、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、複数の移動体のうちの少なくとも１の移動体が、リクエスト信号に応じて、他の移動体で撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００１２】
本発明の移動体は、被写体を撮像する撮像手段と、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出手段と、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信手段と、リクエスト信号に応じて、他の移動体の撮像手段によって撮像された被写体の画像を、他の移動体から受信する受信手段と、受信手段により受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成手段とを備えることを特徴とする。
【００１３】
本発明の第２の情報処理方法は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、他の移動体の撮像手段によって撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１４】
本発明の第２のプログラムは、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、他の移動体の撮像手段によって撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１５】
本発明の第２の記録媒体は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、他の移動体の撮像手段によって撮像された被写体の画像を、他の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００１６】
本発明の情報処理装置は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出手段と、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信手段と、リクエスト信号に応じて、複数の移動体に設けられた、被写体を撮像する撮像手段によって撮像された被写体の画像を、複数の移動体から受信する受信手段と、受信手段により受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成手段とを備えることを特徴とする。
【００１７】
本発明の第３の情報処理方法は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、複数の移動体に設けられた、被写体を撮像する撮像手段によって撮像された被写体の画像を、複数の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１８】
本発明の第３のプログラムは、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、複数の移動体に設けられた、被写体を撮像する撮像手段によって撮像された被写体の画像を、複数の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えることを特徴とする。
【００１９】
本発明の第３の記録媒体は、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置を算出する算出ステップと、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号を送信する送信ステップと、リクエスト信号に応じて、複数の移動体に設けられた、被写体を撮像する撮像手段によって撮像された被写体の画像を、複数の移動体から受信する受信ステップと、受信ステップにより受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を生成する生成ステップとを備えるプログラムが記録されていることを特徴とする。
【００２０】
本発明の情報処理システムおよび第１の情報処理方法、並びに第１のプログラムにおいては、複数の移動体それぞれが、複数のユーザそれぞれの操作に応じて移動し、また、その複数の移動体それぞれには、被写体を撮像する複数の撮像手段それぞれが設けられている。また、複数の移動体のうちの少なくとも１の移動体では、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、その撮像位置とともに、被写体の画像を要求するリクエスト信号が、他の移動体に対して送信される。さらに、複数の移動体のうちの少なくとも１の移動体では、他の移動体から送信されてくる、リクエスト信号に応じて他の移動体で撮像された被写体の画像が受信される。そして、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。
【００２１】
本発明の移動体および第２の情報処理方法、並びに第２のプログラムにおいては、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号が送信される。また、他の移動体から送信されてくる、リクエスト信号に応じて他の移動体の撮像手段によって撮像された被写体の画像が受信される。さらに、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。
【００２２】
本発明の情報処理装置および第３の情報処理方法、並びに第３のプログラムにおいては、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号が送信される。また、複数の移動体から送信されてくる、複数の移動体に設けられた、リクエスト信号に応じて被写体を撮像する撮像手段によって撮像された被写体の画像が受信され、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。
【００２３】
【発明の実施の形態】
図１は、本発明を適用した移動体システムの一実施の形態の構成例を示している。
【００２４】
この移動体システムは、多数の移動体（例えば、自動車など）１０１1，１０１2，・・・，１０１k、各移動体１０１kに設けられた全方位カメラ１０２k、およびネットワーク１０４から構成されている。なお、図１の実施の形態では、４台の移動体１０１1乃至１０１4を図示してある。
【００２５】
移動体１０１kとしての自動車は、それを運転操作するユーザＵkによる操作に応じて作動することにより、道路上等を移動する。移動体１０１kに設けられた全方位カメラ１０２kは、自身を中心とする全方位の画像を撮像（検知）する。従って、ある被写体１０３を見通すことのできる位置にある移動体１０１kの全方位カメラ１０２kにおいては、特に、被写体１０３が存在する方向を意識しなくても、被写体１０３を含む画像を撮像することができる。ネットワーク１０４は、任意の移動体１０１kと１０１k'の間の無線通信を可能とするネットワークである。
【００２６】
ここで、以下、適宜、全方位カメラ１０２kにおいて得られる、自身を中心とする全方位の画像を、全方位画像という。
【００２７】
移動体１０１kは、ネットワーク１０４を介して、他の移動体１０１k'と通信する。そして、移動体１０１kは、他の移動体１０１k'で撮像された画像データを、ネットワーク１０４を介して受信し、その画像データを処理することによって、付加価値を付けた画像データを生成する。
【００２８】
なお、移動体１０１k'との通信は、移動体１０１kだけでなく、固定局としての情報処理装置１０５も行うことができるようになっている。そして、固定局である情報処理装置１０５でも、移動体１０１kにおける場合と同様に、他の移動体１０１k'で撮像された画像データを、ネットワーク１０４を介して受信し、その画像データを処理することによって、付加価値を付けた画像データを生成することができる。
【００２９】
次に、図２を参照して、図１の移動体システムの機能について概説する。なお、図２では、８台の移動体１０１1乃至１０１8を図示してある。
【００３０】
移動体システムでは、第１の機能として、ある図示しない移動体１０１kは、所望の移動体である、例えば、移動体１０１8を指定し、その移動体１０１8の現在地から全方位カメラ１０２8によって撮像された全方位画像データを、ネットワーク１０４を介して取得することができる。
【００３１】
また、第２の機能として、移動体１０１kは、ある被写体１０３について、所望の視点方向ｖ上に位置する移動体（図２においては、移動体１０１7）を指定し、その移動体１０１7の現在地から全方位カメラ１０２7によって撮像された全方位画像データを、ネットワーク１０４を介して取得することができる。この場合、その全方位画像データには、被写体１０３を所定の視点方向ｖから見た画像が含まれることになる。
【００３２】
さらに、第３の機能として、移動体１０１kは、複数の移動体（図２においては、被写体１０３を囲む点線の円上に位置する移動体１０１1，１０１2，１０１3，１０１4，１０１5，１０１6）それぞれによって撮像された、被写体１０３を多数の視点方向から見た画像を含む全方位画像データを、ネットワーク１０４を介して取得し、その複数の全方位画像データを処理することによって、被写体１０３を、視点を変えながら見た画像（被写体１０３を、その周囲を一周しながら撮像したような画像）（以下、適宜、視点可変画像という）を、即座に得ることができる。
【００３３】
ここで、第３の機能は、複数の移動体１０１k、並びに１０１1，１０１2，１０１3，１０１4，１０１5、および１０１6が、視点可変画像を得るための処理を協調しながら分担することで実現されるが、この点についての詳細は、後述する。
【００３４】
次に、図３は、移動体１０１kの構成例を示している。
【００３５】
全方位カメラ１０２kは、撮像装置１１１とＡ／Ｄ(Analog/Digital)変換部１１２で構成されている。
【００３６】
撮像装置１１１は、バスBus1を介して制御部１１８から供給される制御信号にしたがって、全方位画像を撮像（撮影）し、その結果得られるアナログの画像信号を、Ａ／Ｄ変換部１１２に供給する。また、撮像装置１１１は、全方位画像を撮像したときのズームに関するズーム情報等を、スケール加工部１１３に供給する。
【００３７】
Ａ／Ｄ変換部１１２は、撮像装置１１１からのアナログの画像信号をＡ／Ｄ変換し、これにより、ディジタルの全方位画像データを得て、スケール加工部１１３に供給する。
【００３８】
スケール加工部１１３は、全方位カメラ１１２k（のＡ／Ｄ変換部１１２）から供給される全方位画像データのスケールを、同じく全方位カメラ１１２k（の撮像装置１１１）から供給されるズーム情報に基づいて変換する。
【００３９】
即ち、スケール加工部１１３は、全方位カメラ１０２kにおいて、任意のズーム倍率で撮像された全方位画像データを、所定のズーム倍率で撮像されたものに変換する。
【００４０】
スケール加工部１１３で処理された全方位画像データは、画像データベース１１４に供給され、画像データベース１１４は、スケール加工部１１３からの全方位画像データを、必要な情報と対応付けて記憶する。また、画像データベース１１４は、後述するようにして、制御部１１８からバスBus1を介して供給される画像データ等も記憶（登録）する。
【００４１】
操作部１１５は、所定の情報（例えば、撮像装置１１１のズーム倍率など）やコマンドを入力するときに操作され、その入力は、バスBus1を介して制御部１１８に供給されて処理される。また、操作部１１５は、移動体１０１kを制御するためのハンドルや、アクセル、ブレーキ等も含んでいる。
【００４２】
送信部１１６は、バスBus1を介して供給される情報を、ネットワーク１０４（図１）を介して送信する。受信部１１７は、ネットワーク１０４を介して送信されてくる情報を受信し、バスBus1上に出力する。
【００４３】
制御部１１８は、バスBus1とBus2に接続されており、そのバスBus1とBus2に接続されている各ブロックを制御する。
【００４４】
表示画像加工部１１９は、バスBus2を介して供給される画像データから、表示部１２２に表示させる画像を生成するための加工処理を行い、バスbus2上に出力する。
【００４５】
比較部１２０は、バスBus2を介して、記憶部１２１と位置検出部１２３を参照することにより、記憶部１２１に記憶された情報と、位置検出部１２３が出力する情報とを比較し、その比較結果を、バスBus2を介して、制御部１１８に通知する。
【００４６】
記憶部１２１は、バスBus2を介して制御部１１８から供給される情報等を一時記憶する。
【００４７】
表示部１２２は、例えば、ＬＣＤ(Liquid Crystal Display)やＣＲＴ(Cathod Ray Tube)等で構成され、バスBus2を介して供給される画像データにしたがって、画像を表示する。
【００４８】
位置検出部１２３は、例えば、ＧＰＳ(Global Positioning System)等で構成され、移動体１０１kの現在地を検出し、バスBus2上に出力する。
【００４９】
地図データベース１２４は、地図を電子化したデータである地図データを記憶しており、バスBus2を介して、他のブロックから参照される。
【００５０】
座標演算部１２５は、バスBus2を介して制御部１１８から供給される制御信号にしたがって、所定の座標等を演算する。
【００５１】
切り出し部１２６は、制御部１１８の制御の下、バスBus2を介して供給される画像データから所定の領域を切り出し、バスBus2上に出力する。
【００５２】
画像変換部１２７は、制御部１１８の制御の下、バスBus2を介して供給される画像データを、後述する歪みを除去した画像データに変換し、バスbus2上に出力する。
【００５３】
次に、図４は、図３の撮像装置１１１の構成例を示している。
【００５４】
撮像装置１１１は、集光部２０２が、撮像部２０３の上部に配置された支持体２０１によって支持されることによって構成されており、集光部２０２の周囲３６０度の方向を撮像することができるようになっている。
【００５５】
支持体２０１は、ガラスなどの反射率の低い透明材料からなり、ガラス面での光の屈折を最小化するために、入射光がガラス面と直交するように、集光部２０２の後述する焦点を中心とした球面になっている。
【００５６】
集光部２０２には、双曲面形状をしており、支持体２０１を介して入射する周囲の光を、撮像部２０３の方向に反射する。
【００５７】
撮像部２０３は、例えば、ＣＣＤ等の光電変換素子で構成され、そこに入射する光を電気信号としての画像信号に変換する。この撮像部２０３で得られる画像信号が、撮像装置１１１の出力として、図３のＡ／Ｄ変換部１１２に供給される。
【００５８】
ここで、全方位カメラ１０２kを構成する撮像装置１１１の構成や集光の原理については、例えば、「移動ロボット用全方位視覚センサの開発」、自動化技術第２９巻第６号（１９９７年）（以下、適宜、文献１という）に開示されているため、ここでは、簡単に説明する。
【００５９】
図５は、図４の撮像装置１１１によって撮像された全方位画像データの例を示している。
【００６０】
全方位画像データは、中心点Ｃ１を中心とする２つの円の円周Ｆ１とＦ２によって区分される。なお、図５では、円周Ｆ１の方が、円周Ｆ２よりも半径が大きいものとなっている。
【００６１】
即ち、全方位画像データは、大きい円周Ｆ１の内側で、かつ小さい円周Ｆ２の外側になっている領域Ｒ１、大きい円周Ｆ１の外側の領域Ｒ２、小さい円周Ｒ２に囲まれた領域（内側の領域）Ｒ３から構成される。
【００６２】
以上の３つの領域Ｒ１乃至Ｒ３のうち、領域Ｒ１においては、集光部２０２で反射された、周囲からの光に対応する画像データが撮像されており、領域Ｒ２においては、集光部２０２の外側の部分（集光部２０２で反射されずに、撮像部２０３に直接入射する光）が撮像されている。また、領域Ｒ３には、撮像部２０３自身が撮像されている。
【００６３】
さらに、図５の実施の形態では、領域Ｒ１には、複数の建物が撮像されているが、大きい円周Ｆ１に近い方向に、建物の上部が撮像され、小さい円周Ｆ２に近い方向に、建物の下部が撮像されている。
【００６４】
次に、図６を参照して、図４の集光部２０２を構成する双曲面について説明する。
【００６５】
集光部２０２は、双曲面の一部により構成されており、双曲面の軸に対して垂直する面により、双曲面を切断して得られた双曲面の凸型先頭部の凸状面に、鏡面を形成したものとなっている
【００６６】
集光部２０２には、双曲面の１つである二葉双曲面を用いることができ、二葉双曲面は、図６に示すように、双曲線を軸（Ｚ軸）回りに回転して得られる曲面であり、Ｚ＞０の領域に存在する下に凸の双曲面Ｈ１と、Ｚ＜０の領域に存在する上に凸の双曲面Ｈ２から構成される。
【００６７】
集光部２０２には、二葉の双曲面Ｈ１とＨ２のうち、Ｚ＞０の領域にある双曲面Ｈ１を利用する。なお、以下、適宜、Ｚ軸を、双曲線の中心軸または単に軸ともいう。
【００６８】
図６に示したＸ，Ｙ，Ｚの３次元直交座標系において、二葉双曲面Ｈ１とＨ２は、式（１）で示される。
【００６９】
【数１】
ここで、式（１）において、定数ａとｂは、双曲面Ｈ１およびＨ２の形状を定義する定数である。即ち、定数ｂは、原点Ｏから、双曲面Ｈ１（Ｈ２）とＺ軸との交点までの距離を表す。また、定数ａは、その交点を通る、ＸＹ平面と平行な平面と、双曲面Ｈ１（Ｈ２）の漸近面Ａ１との交線が描く円の半径を表す。
【００７１】
さらに、式（１）において、定数ｃは、双曲面Ｈ１およびＨ２の焦点の位置を定義する定数である。即ち、Ｚ軸上の＋ｃの位置（０，０，＋ｃ）が、双曲面Ｈ２の焦点ｆ１となり、Ｚ軸上の−ｃの位置（０，０，−ｃ）が、双曲面Ｈ１の焦点ｆ２となる。
【００７２】
なお、定数ａ，ｂ，ｃは、次式で示される関係を有する。
【００７３】
【数２】
集光部２０２が、図６で説明したような双曲面Ｈ１で構成されるとした場合、撮像部２０３は、図７に示すように、そのレンズの中心軸がＺ軸に一致し、かつ、レンズ中心が、双曲面Ｈ１の焦点ｆ２に一致するように配置される。
【００７５】
次に、撮像部２０３が出力する全方位画像データは、上述の図５に示したようなものとなるが、いま、この全方位画像データについて、図８に示すように、その左上の点を原点Ｏとするとともに、左から右方向にｘ軸をとり、上から下方向にｙ軸をとった２次元直交座標系を定義する。
【００７６】
この場合、円周Ｆ１の円および円周Ｆ２の円の中心点Ｃ１の座標を（Ｘ0 、Ｙ0 ）とするとともに、円周Ｆ１の円の半径をｒF1とし、円周Ｆ２の円の半径をｒF2とすると、円周Ｆ１の外側の領域Ｒ２を構成する点（ｘ，ｙ）は、式（３）により表され、円周Ｆ２の内側の領域Ｒ３を構成する点（ｘ，ｙ）は、式（４）により表される。
【００７７】
【数３】
【数４】
図３のスケール加工部１１３は、全方位画像データのスケールを変換する前に、式（３）で表される領域Ｒ２を構成する画素値と、式（４）で表される領域Ｒ３を構成する画素値を、例えば、０に変換する。
【００８０】
ここで、この画素値の変換にあたっては、中心点Ｃ１の座標（Ｘ0 、Ｙ0 ）、並びに半径ｒF1およびｒF2が必要となるが、これらの情報は、撮像装置１１１からスケール加工部１１３に対して、ズーム情報とともに供給されるようになっている。なお、撮像装置１１１（図３）は、ズーム情報や、中心点Ｃ１の座標（Ｘ0 、Ｙ0 ）、並びに半径ｒF1およびｒF2の他、撮像時の露出時間や、絞り等の、撮像装置１１１の設定に関する情報を、撮像情報として、スケール加工部１１３に出力するようになっている。
【００８１】
なお、ここでは、説明を簡単にするため、露出時間や絞りは、固定であるとする。
【００８２】
ところで、図５や図８に示した領域Ｒ１の画像データである全方位画像データについては、所望の被写体が表示されている部分等の、全方位画像データの一部分だけが必要な場合がある。
【００８３】
図３の切り出し部１２６は、全方位画像データの一部分を切り出すようになっているが、その切り出しは、図９に示すように行われる。
【００８４】
即ち、切り出し部１２６は、中心点Ｃ１を通る半径方向の２つの直線Ｌc1とＬc2に囲まれ、かつ中心点Ｃ１を中心とする２つの円の円周Ｆc1とＦc2に囲まれる略扇形の領域Ｒ１１の画像データを切り出すようになっている。
【００８５】
次に、全方位画像データは、図５や図８に示したように、中心点Ｃ１に近づくほど狭まったものとなり、逆に、中心点Ｃ１から遠ざかるほど広がったものとなるような歪みを有する。このことは、切り出し部１２６が全方位画像データから切り出す略扇形の領域Ｒ１１の画像データについても同様であり、このようは歪みのある画像データは、図３の表示部１２２で表示等するにあたって、歪みのないものに変換する必要がある。
【００８６】
全方位カメラ１０２が出力する、上述のような全方位画像データの歪みは、中心点Ｃ１を通る円の円周方向の歪みと、半径方向の歪みとに分けて考えることができる。
【００８７】
そこで、まず円周方向の歪みを考えてみると、図５や図８の全方位画像データの、中心点Ｃ１を中心とするある円の円周上においては、スケールが一定であり、従って、歪みはない。
【００８８】
即ち、図１０は、Ｚ軸方向から見た集光部２０２としての双曲面Ｈ１を示している。
【００８９】
図１０では、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、Ｚ軸に向かい、Ｘ軸（ＸＺ平面）と角度θをつくるように、光線ｒが入射している。この光線ｒは、双曲面Ｈ１で反射され、後述する図１１に図示してある撮像部２０３の受光面（画像面）Ａ３上の点ｐ（ｘ，ｙ）に到達する。そして、この場合、点ｐ（ｘ，ｙ）は、Ｘ軸（ＸＺ平面）との間で、光線ｒがＸ軸との間でつくるのと同一の角度θをつくる。
【００９０】
また、Ｚ軸に向かい、Ｘ軸と角度θ’をつくるように入射する光線ｒ’を考えた場合、この光線ｒ’も、双曲面Ｈ１で反射され、受光面（画像面）Ａ３上の点ｐ’（ｘ’，ｙ’）に到達する。そして、この場合も、点ｐ’（ｘ’，ｙ’）は、Ｘ軸との間で、光線ｒ’がＸ軸との間でつくるのと同一の角度θ’をつくる。
【００９１】
また、光線ｒとｒ’の、Ｚ軸に対する仰角（後述する）が同一であれば、光線ｒおよびｒ’は、受光面Ａ３上の、位置は異なるが、Ｚ軸から同一の距離ｒpだけ離れた点で受光される。
【００９２】
以上から、Ｚ軸に対する仰角が同一の複数の光線それぞれは、受光面Ａ３上の、Ｚ軸から同一の距離にある点であって、Ｘ軸との間で、光線とＸ軸とがつくるのと同一の角度をつくる点で受光される。
【００９３】
従って、仰角が同一で、Ｘ軸との角度が等角度の複数の光線は、受光面Ａ３の、Ｚ軸を中心とする円周上に、等間隔で入射することになるから、全方位画像データにおいて、受光面Ａ３とＺ軸との交点にあたる中心点Ｃ１を中心とする円の円周方向には、歪みは生じない。
【００９４】
一方、図５や図８の全方位画像データの、中心点Ｃ１を通る半径方向の直線上においては、中心点Ｃ１に近づくほど、スケールが小さくなり、中心点Ｃ１から離れるほど、スケールが大きくなることから、全方位画像データは、半径方向の歪みを有する。
【００９５】
即ち、図１１は、Ｘ軸方向から見た集光部２０２としての双曲面Ｈ１を示している。
【００９６】
図１１において、Ｚ軸に対して仰角０度で、焦点ｆ１に向かって入射する光線ｒ１は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、撮像部２０３の受光面（画像面）Ａ３で受光される。
【００９７】
ここで、Ｚ軸に対する仰角とは、Ｚ軸上の焦点ｆ１を通り、ＸＹ面に平行な面と、焦点ｆ１に向かって入射する光線とがつくる角度を意味する。また、撮像部２０３の受光面Ａ３は、撮像装置１１１の焦点距離をｆとすると、焦点ｆ２から、Ｚ軸に沿って、ｆだけ離れた原点Ｏ方向に位置する。
【００９８】
Ｚ軸に対して仰角△ｄ度で、焦点ｆ１に向かって入射する光線ｒ２は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。Ｚ軸に対して仰角２△ｄ度で、焦点ｆ１に向かって入射する光線ｒ３は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。以下、仰角がΔｄ度ずつ大きくなっていく光線ｒ４，ｒ５，ｒ６も同様にして、受光面Ａ３で受光される。
【００９９】
このように、仰角が△ｄ度ずつ異なる光線ｒ１乃至ｒ６それぞれが、受光面Ａ３で受光される点どうしの間隔は、図１１の拡大図に示すように、等間隔にはならず、Ｚ軸に近い点どうしの間隔ほど狭くなる（Ｚ軸から離れた点どうしの間隔ほど広くなる）。即ち、仰角が大きい光線どうしの間隔ほど狭くなる（仰角が小さい光線どうしの間隔ほど広くなる）。
【０１００】
そして、仰角が等角度の光線について、受光面Ａ３上で受光される点どうしの間隔が、上述のように、等間隔にならないことから、全方位画像データには、半径方向の歪みが生じる。
【０１０１】
従って、全方位画像データの半径方向の歪みを除去するには、仰角が等角度の光線の、受光面Ａ３上での受光点どうしの間隔が、等間隔になるようにすれば良い。
【０１０２】
そこで、いま、図１２に示すように、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、焦点ｆ１に向かって、仰角α度で入射する光線ｒを考える。
【０１０３】
この光線ｒは、図１１で説明した場合と同様に、集光部２０２としての双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。
【０１０４】
この場合において、焦点ｆ２に向かう光線ｒが、焦点ｆ２を通り、ＸＹ平面に平行な平面とつくる角度をγ度とする。さらに、Ｘ軸とＹ軸とで定義される２次元直交座標系において、光線ｒが受光面Ａ３で受光された点（受光点）ｐの座標を（ｘ，ｙ）で表し、その点ｐ（ｘ，ｙ）とＺ軸との距離をＲと表す。
【０１０５】
図１２における角度αは、式（１）で表される双曲面Ｈ１において、光線ｒが反射される点の座標を求めることにより、次式で表すことができる。
【０１０６】
【数５】
式（５）から、ｔａｎαは、次式で求めることができる。
【０１０８】
【数６】
ここで、ｃｏｓγを、次式のようにおく。
【０１１０】
【数７】
式（６）に、式（７）を代入すると、次式が求められる。
【０１１２】
【数８】
式（８）を変形して、式（９）が得られる。
【０１１４】
【数９】
一方、ＡとＢを、それぞれ式（１０）と（１１）に示すように定義する。
【０１１６】
【数１０】
【数１１】
式（９）に、式（１０）および（１１）を代入することにより、式（１２）が求められる。
【０１１９】
【数１２】
式（１２）は、次のような、Ｘについての２次方程式とすることができる。
【０１２１】
【数１３】
式（１３）の２次方程式を解くと、次式が得られる。
【０１２３】
【数１４】
従って、式（７）より、角度γは、次式によって求めることができる。
【０１２５】
【数１５】
但し、式（１５）において、Ｘは、式（１４）で定義されるものであり、また、式（１４）中のＡとＢは、それぞれ、式（１０）と（１１）で定義されるものである。
【０１２７】
また、図１２における点ｐの座標から、角度γは、次式で求めることができる。
【０１２８】
【数１６】
一方、図１２におけるＺ軸と点ｐ（ｘ，ｙ）との距離Ｒは、√（ｘ2＋ｙ2）で表されるから、式（１６）は、次式のように変形することができる。
【０１３０】
【数１７】
以上から、式（１５）によって、角度γを求め、その角度γを用いて、式（１７）を計算することにより、Ｚ軸に対して仰角α度で、焦点ｆ１に向かって入射する光線ｒが、受光面Ａ３において受光される点ｐ（ｘ，ｙ）のＺ軸からの距離Ｒを算出することができる。
【０１３２】
従って、Ｚ軸に対する仰角の所定の範囲（例えば、０度乃至８０度など）を等角度△ｄに分割し、各仰角△ｄ，２△ｄ，３△ｄ，・・・で入射する光線が、受光面Ａ３上で受光される各点ｐ１，ｐ２，ｐ３・・・について、Ｚ軸からの距離Ｒp1，Ｒp2，Ｐp3・・・を求めておき、隣接する点どうしの距離の差｜Ｒp1−Ｒp2｜，｜Ｒp2−Ｐp3｜，・・・が、一定値になるように、撮像装置１１１が出力する全方位画像データを変換することにより、その半径方向の歪みを除去した全方位画像データを得ることができることになる。
【０１３３】
なお、この歪み除去のための全方位画像データの変換は、図３の画像変換部１２７が行う。
【０１３４】
即ち、画像変換部１２７は、図１３に示すように、制御部１１８から、上述した半径方向の歪みがある全方位画像データ（以下、適宜、歪み全方位画像データという）とともに、中心点Ｃ１、円周Ｆ１の円の半径ｒF1、および円周Ｆ２の半径ｒF2を受信する。
【０１３５】
そして、画像変換部１２７は、中心点Ｃ１を中心とする半径ｒF1の円の円周Ｆ１と、中心点Ｃ１を中心とする半径ｒF2の円の円周Ｆ２とで囲まれる領域Ｒ１内において、中心点Ｃ１を中心とする、上述のＲp1，Ｒp2，Ｐp3・・・を半径とする複数の同心円を描く。さらに、画像変換部１２７は、その複数の同心円の円周を等分する、中心点Ｃ１を通る複数の直線を描く。これにより、画像変換部１２７は、領域Ｒ１において、複数の同心円と、複数の直線とで形成される多数の交点を得る。
【０１３６】
ここで、上述の複数の同心円と、複数の直線とで形成される多数の交点を、以下、適宜、変換対象点という。
【０１３７】
上述したことから、変換対象点を、その隣接するものどうしが等間隔になるように配置することで、歪みのある全方位画像データを、その歪みを除去した画像データに変換することができる。
【０１３８】
そこで、いま、図１３における、図９に示したのと同一の略扇形の領域Ｒ１１の画像データを、歪みのないものに変換することを考える。
【０１３９】
この領域Ｒ１１内には、図１４（Ａ）に示すように、中心点Ｃ１を中心とする複数の同心円の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれと、中心点Ｃ１を通る複数の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれとの交点である多数の変換対象点が存在する。
【０１４０】
画像変換部１２７は、領域Ｒ１１内に存在する多数の変換対象点を、図１４（Ｂ）に示すように、隣接するものどうしが等間隔になるように配置する。
【０１４１】
即ち、画像変換部１２７は、図１４（Ａ）の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれに対応する、等間隔に配置された横方向の直線Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｌ２６と、図１４（Ａ）の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれに対応する、等間隔に配置された縦方向の直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｌ１５，Ｌ１６を想定し、その横方向の直線Ｌ２１乃至Ｌ２６それぞれと、縦方向の直線Ｌ１１乃至Ｌ１６それぞれとの交点上に、対応する変換対象点を変換する（割り当てる）。
【０１４２】
これにより、例えば、図１４（Ａ）において、円弧Ｆ１４と、直線Ｌ５との交点である変換対象点ｐ１１は、図１４（Ｂ）の、円弧Ｆ１４に対応する直線Ｌ２４と、直線Ｌ５に対応する直線Ｌ１５との交点ｐ１２に変換される。
【０１４３】
ところで、画像変換部１２７は、上述のように、変換対象点の位置を変換（変更）することによって、半径方向の歪みを有する画像データを、その歪みを除去した画像データに変換するが、変換対象点は、上述したように、中心点Ｃ１を中心とする円と、中心点Ｃ１を通る直線との交点である。従って、変換対象点は、撮像部２０３（図４）の受光面Ａ３（図１１、図１２）を構成する画素の画素中心に一致するとは限らず、むしろ、一般には、一致しないことが多い。
【０１４４】
このように、変換対象点は、画素中心からずれているのが一般的であるから、画像変換部１２７において、変換対象点の位置を変換する前に、その変換対象点における画素値を求める必要がある。
【０１４５】
そこで、画像変換部１２７は、変換対象点における画素値を、例えば、次のようにして求めるようになっている。
【０１４６】
即ち、いま、図１４の変換対象点ｐ１１が、図１５に示すように、受光面Ａ３上の隣接する２×２の４画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素中心ＣP1，ＣP2，ＣP3，ＣP4を頂点とする長方形（正方形）の範囲内にあるとする。なお、図１５の実施の形態においては、上下、または左右方向に隣接する画素中心どうしの距離が１であるとしてある。
【０１４７】
そして、変換対象点ｐ１１が、画素中心ＣP1よりも距離αだけ右方向の、距離βだけ下方向の点である場合、画像変換部１２７は、例えば、次式で求められる画素値Ｓsを、変換対象点ｐ１１の画素値とする。
【０１４８】
【数１８】
但し、式（１８）において、Ｓa，Ｓb，Ｓc，Ｓdは、画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素値を表す。また、式（１８）において、αおよびβは、０以上１以下の範囲の値で、変換対象点ｐ１１の位置に対応するものである。
【０１５０】
次に、図３のスケール加工部１１３は、上述したように、全方位カメラ１０２kにおいて、任意のズーム倍率で撮像された全方位画像データを、所定のズーム倍率で撮像されたものに変換する。このズーム倍率の変換は、単純な画素の補間や間引きと、ローパスフィルタによる必要なフィルタリング等によって実現することも可能であるが、倍率を向上させる場合には、単純な画素の補間ではなく、例えば、本件出願人が先に提案しているクラス分類適応処理を利用することができる。
【０１５１】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【０１５２】
ここで、適応処理について、低倍率の画像（以下、適宜、低倍率画像という）を、高倍率の画像（以下、適宜、高倍率画像という）に変換する場合を例に説明する。
【０１５３】
この場合、適応処理では、低倍率画像を構成する画素（以下、適宜、低倍率画素という）と、所定のタップ係数との線形結合により、その低倍率画像の空間解像度を向上させた高倍率画像の画素の予測値を求めることで、その低倍率画像の倍率を高くした画像が得られる。
【０１５４】
具体的には、例えば、いま、ある高倍率画像を教師データとするとともに、その高倍率画像の解像度を劣化させた低倍率画像を生徒データとして、高倍率画像を構成する画素（以下、適宜、高倍率画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低倍率画素（低倍率画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１５５】
式（１９）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１９】
【０１５７】
【０１５８】
式（２０）の観測方程式に最小自乗法を適用して、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる高倍率画素の真の画素値ｙの集合でなる行列Ｙ、および高倍率画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２０】
【０１５９】
この場合、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数２１】
【０１６１】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１６２】
【数２２】
そこで、まず、式（２１）を、タップ係数ｗjで微分することにより、次式が成立する。
【０１６４】
【数２３】
式（２２）および（２３）より、式（２４）が得られる。
【０１６６】
【数２４】
さらに、式（２１）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（２４）から、次のような正規方程式を得ることができる。
【０１６８】
【数２５】
なお、式（２５）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数２６】
【０１７０】
式（２５）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（２６）を、ベクトルＷについて解くことで（但し、式（２６）を解くには、式（２６）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（２６）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０１７１】
以上のように、生徒データと教師データを用いて、最適なタップ係数ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（１９）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１７２】
なお、適応処理は、低倍率画像には含まれていないが、高倍率画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（１９）だけを見る限りは、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、高倍率画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【０１７３】
次に、図１６は、上述のようなクラス分類適応処理を行うクラス分類適応処理回路によって実現されるスケール加工部１１３の構成例を示している。なお、ここでは、スケール加工部１１３は、全方位画像データを、所定の固定倍率の画像データに変換するが、全方位画像データの倍率が所定の固定倍率よりも低い場合には、クラス分類適応処理によって、全方位画像データを、その倍率よりも高い固定倍率の画像データに変換し、逆に、全方位画像データの倍率が所定の固定倍率よりも高い場合には、間引き等を行って、全方位画像データを、その倍率よりも低い固定倍率の画像データに変換するようになっており、図１６は、全方位画像データを、その倍率よりも高い固定倍率の画像データに変換する部分を構成するクラス分類適応処理回路を示している。
【０１７４】
全方位カメラ１０２kが出力する画像データ（全方位画像データ）である低倍率画像データは、バッファ２３１に供給され、バッファ２３１は、そこに供給される低倍率画像データを一時記憶する。
【０１７５】
予測タップ抽出回路２３２は、後述する積和演算回路２３６において求めようとする固定倍率の画像データの画素（以下、適宜、固定倍率画素という）を、順次、注目画素とし、さらに、その注目画素を予測するのに用いる低倍率画像データの画素を、バッファ２３１から抽出し、予測タップとする。
【０１７６】
即ち、予測タップ抽出回路２３２は、例えば、注目画素としての固定倍率画素に対応する位置に対して近い位置にある低倍率画素の幾つかを、予測タップとして、バッファ２３１から読み出す。
【０１７７】
そして、予測タップ抽出回路２３２は、注目画素について、予測タップを得ると、その注目画素についての予測タップを、積和演算回路２３６に供給する。
【０１７８】
ここで、予測タップ抽出回路２３２には、制御回路２３７から制御信号が供給されるようになっており、予測タップ抽出回路２３２は、制御回路２３７からの制御信号にしたがって、予測タップを構成する低倍率画素、即ち、予測タップの構造を決定する。
【０１７９】
即ち、制御回路２３７には、全方位カメラ１０２kの撮像装置１１１が出力する撮像情報が供給されるようになっており、制御回路２３７は、その撮像情報のうちの、例えば、ズーム情報に基づいて、そのズーム情報が表す倍率に適した処理が行われるようにするための制御信号を生成し、予測タップ抽出回路２３２、クラスタップ抽出回路２３３、および係数記憶部２３５に供給する。
【０１８０】
具体的には、制御回路２３７は、例えば、ズーム情報が表すズーム倍率が小さいほど、注目画素に対応する位置からより近い位置にある低倍率画素を用いて予測タップを構成することを指示する制御信号（ズーム倍率が大きいほど、注目画素に対応する位置からより遠い位置にある低倍率画素を用いて予測タップを構成することを指示する制御信号）を生成し、予測タップ抽出回路２３２に供給する。
【０１８１】
従って、予測タップ抽出回路２３２は、このような制御信号にしたがい、低倍率画像のズーム倍率によって異なる構造の予測タップを構成する。
【０１８２】
一方、クラスタップ抽出回路２３３は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる低倍率画素を、バッファ２３１から抽出し、クラスタップとする。
【０１８３】
ここで、クラスタップ抽出回路２３３も、制御回路２３７から供給される制御信号にしたがい、クラスタップを構成させる低倍率画素、即ち、クラスタップの構造を決定する。
【０１８４】
即ち、制御回路２３７は、例えば、クラスタップ抽出回路２３３に対して、予測タップ抽出回路２３２に対するのと同様の制御信号を供給するようになっており、従って、クラスタップ抽出回路２３３は、ズーム情報が表すズーム倍率が小さいほど、注目画素に対応する位置からより近い位置にある低倍率画素を用いてクラスタップを構成する（ズーム倍率が大きいほど、注目画素に対応する位置からより遠い位置にある低倍率画素を用いてクラスタップを構成する）。
【０１８５】
なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出回路２３２で得られる予測タップと、クラスタップ抽出回路２３３で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、勿論、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。
【０１８６】
クラスタップ抽出回路２３３において得られる、注目画素についてのクラスタップは、クラス分類回路２３４に供給される。クラス分類回路２３４は、クラスタップ抽出回路２３３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【０１８７】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１８８】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０１８９】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１９０】
なお、クラス分類回路２３４には、例えば、クラスタップを構成する画素のレベル分布（画素値分布）のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の画素で構成され、各画素に、Ｋビットが割り当てられているとすると、クラス分類回路２３４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素のビット数Ｋに指数的に比例した膨大な数となる。
【０１９１】
従って、クラス分類回路２３４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【０１９２】
また、ここでは、低倍率画素だけを用いてクラス分類を行うようにしが、クラス分類は、低倍率画素とともに（または、低倍率画素ではなく）、撮像情報に含まれるズーム情報や露出時間等を、クラスタップとして行うことが可能である。
【０１９３】
クラス分類回路２３４が出力するクラスコードは、係数記憶部２３５に、アドレスとして与えられる。
【０１９４】
係数記憶部２３５は、学習処理が行われることにより得られるタップ係数を記憶しており、クラス分類回路２３４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算回路２３６に出力する。
【０１９５】
なお、係数記憶部２３５には、後述するように、複数セットの教師データと生徒データを用いた学習を行うことにより得られる複数セットのタップ係数が記憶されている。係数記憶部２３５において、複数セットのタップ係数のうち、どのセットのタップ係数を用いるかは、制御回路２３７からの制御信号にしたがって決定される。
【０１９６】
即ち、係数記憶部２３５は、例えば、複数バンクで構成されており、各バンクには、複数のズーム倍率の範囲ごとに学習を行うことにより得られた複数セットのタップ係数のうちの対応するセットが記憶されている。制御回路２３７は、撮像情報におけるズーム情報に基づいて、そのズーム情報が表すズーム倍率に対応するバンクを指示する制御信号を生成し、係数記憶部２３５に供給する。係数記憶部２３５は、制御回路２３７からの制御信号にしたがってバンク切り換えを行うことにより、使用するバンクを選択し、その選択したバンクに記憶されているタップ係数のセットの中から、クラス分類回路２３４より供給されるクラスコードに対応するタップ係数を、積和演算回路２３６に出力する。
【０１９７】
積和演算回路２３６は、予測タップ抽出回路２３２が出力する予測タップと、係数記憶部２３５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１９）に示した線形予測演算（積和演算）を行い、その演算結果を、注目画素となっている固定倍率画素の画素値として出力する。
【０１９８】
次に、図１７は、図１６の係数記憶部２３５に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１９９】
教師データメモリ２４２には、学習に用いられる学習用データが供給される。ここで、学習用データとしては、固定倍率の画像データ（以下、適宜、固定倍率画像データという）が用いられる。
【０２００】
教師データメモリ２４２は、そこに供給される、学習用データとしての固定倍率画像データを、学習の教師となる教師データとして記憶する。そして、生徒データ生成回路２４３は、制御回路２５１から供給される制御信号にしたがい、教師データメモリ２４２に記憶された教師データから、学習の生徒となる生徒データを生成する。
【０２０１】
即ち、制御回路２５１には、複数のズーム倍率の範囲が設定されており、制御回路２５１は、その複数のズーム倍率の範囲のうちの、ある範囲を、注目範囲として選択する。そして、制御回路２５１は、その注目範囲のズーム倍率の代表値（例えば、注目範囲内のズーム倍率の中心値）を決定し、そのズーム倍率の代表値に基づいて、制御信号を生成して、生徒データ生成回路２４３、予測タップ抽出回路２４５、およびクラスタップ抽出回路２４６に供給する。
【０２０２】
具体的には、制御回路２５１は、教師データメモリ２４２に記憶された教師データとしての固定倍率画像データを、代表値のズーム倍率の画像データとするための間引き率を計算し、その間引き率で、教師データを間引くことを指示する制御信号を、生徒データ生成回路２４３に供給する。
【０２０３】
生徒データ生成回路２４３は、上述のような制御信号にしたがい、教師データメモリ２４２に記憶された教師データを間引き、これにより、代表値のズーム倍率の画像データを、生徒データとして生成する。この生徒データは、生徒データ生成回路２４３から生徒データメモリ２４４に供給されて記憶される。
【０２０４】
教師データメモリ２４２に記憶された教師データについて、生徒データが求められ、生徒データメモリ２４４に記憶されると、予測タップ抽出回路２４５は、教師データメモリ２４２に記憶された教師データを、順次、注目画素とし、さらに、その注目画素を予測するのに用いる生徒データを、生徒データメモリ２４４から抽出し、予測タップとする。
【０２０５】
ここで、制御回路２５１は、代表値のズーム倍率に基づいて、図１６の制御回路２３７と同様の制御信号を生成し、予測タップ抽出回路２４５に供給するようになっている。そして、予測タップ抽出回路２４５は、制御回路２５１から供給される制御信号にしたがい、図１６の予測タップ抽出回路２３２における場合と同一の予測タップを構成する。
【０２０６】
以上のようにして、予測タップ抽出回路２４５で得られた予測タップは、正規方程式加算回路２４８に供給される。
【０２０７】
一方、クラスタップ抽出回路２４６は、注目画素のクラス分類に用いる生徒データを、生徒データメモリ２４４から抽出し、クラスタップとして、クラス分類回路２４７に供給する。
【０２０８】
ここで、制御回路２５１は、代表値のズーム倍率に基づいて、図１６の制御回路２３７と同様の制御信号を生成し、クラスタップ抽出回路２４６に供給するようになっている。そして、クラスタップ抽出回路２４６は、制御回路２５１から供給される制御信号にしたがい、図１６のクラスタップ抽出回路２３３における場合と同一のクラスタップを構成する。
【０２０９】
クラス分類回路２４７は、クラスタップ抽出回路２４６から、注目画素についてのクラスタップが供給されると、そのクラスタップを用い、図１６のクラス分類回路２３４と同一のクラス分類を行い、注目画素のクラスを表すクラスコードを、正規方程式加算回路２４８に供給する。
【０２１０】
正規方程式加算回路２４８は、教師データメモリ２４２から、注目画素となっている教師データを読み出し、予測タップ抽出回路２４５からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、クラス分類回路２４７から供給されるクラスごとに行う。
【０２１１】
即ち、正規方程式加算回路２４８は、クラス分類回路２４７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（２６）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０２１２】
さらに、正規方程式加算回路２４８は、やはり、クラス分類回路２４７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（２６）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０２１３】
正規方程式加算回路２４８は、以上の足し込みを、教師データメモリ２４２に記憶された教師データすべてを注目画素として行い、これにより、各クラスについて、式（２６）に示した正規方程式をたてる。
【０２１４】
その後、タップ係数決定回路２４９は、正規方程式加算回路２４８においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ２５０の、各クラスに対応するアドレスに供給する。これにより、係数メモリ２５０では、タップ係数決定回路２４９から供給されるクラスごとのタップ係数が記憶される。
【０２１５】
なお、学習用データとして用意する画像データによっては、正規方程式加算回路２４８において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路２４９は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０２１６】
以上のようにして、注目範囲のズーム倍率について、タップ係数のセットが求められると、制御回路２５１は、注目範囲を、他のズーム倍率の範囲に変更し、図１７の学習装置では、以下、同様の処理が繰り返される。これにより、制御回路２５１に設定されている複数のズーム倍率の範囲それぞれに対応するタップ係数のセットが求められる。
【０２１７】
次に、図１８は、図３の座標演算部１２５の構成例を示している。
【０２１８】
座標演算部１２５は、検索部２６１および撮像ポイント算出部２６２から構成されており、制御部１１８（図３）からの要求に応じて、所望の被写体を撮像する位置（座標）（例えば、緯度と経度など）としての撮像ポイントを計算する。
【０２１９】
即ち、検索部２６１には、被写体情報が供給されるようになっている。この被写体情報は、例えば、操作部１１５が、ユーザによって操作されることにより入力され、制御部１１８を介して、検索部２６１に供給される。ここで、被写体情報は、所望の被写体を特定するための情報で、被写体の名前（例えば、「東京タワー」や「国会議事堂」など）や、住所などを用いることができる。
【０２２０】
検索部２６１は、被写体情報を受信すると、地図データベース１２４に記憶された地図データを参照し、その被写体情報によって特定される被写体の位置（座標）（例えば、緯度と経度など）を検索する。そして、検索部２６１は、被写体の位置（以下、適宜、被写体ポイントという）を、撮像ポイント算出部２６２に供給する。
【０２２１】
ここで、図２で説明したように、図１の移動体システムにおいては、第１乃至第３の３つの機能が実現される。この第１乃至第３の機能のうち、第１の機能については、撮像ポイントを決定する必要がなく、撮像ポイントを決定する必要があるのは、第２および第３の機能を実現する場合だけである。
【０２２２】
第２の機能を実現する場合、即ち、所望の被写体を、所望の視点方向ｖから見た画像を得る場合には、次のようにして、撮像ポイントが求められる。
【０２２３】
即ち、この場合、所望の被写体について、所望の視点方向ｖを表す視点情報が、ユーザが操作部１１５を操作することによって入力される。
【０２２４】
この視点情報は、制御部１１８を介して、撮像ポイント算出部２６２に供給される。
【０２２５】
撮像ポイント算出部２６２は、第２の機能を実現する場合、検索部２６１からの被写体ポイントの位置にある被写体を、視点情報が表す視点方向ｖから見た画像を撮像するのに適した位置としての撮像ポイントを算出する。
【０２２６】
即ち、撮像ポイント算出部２６２は、地図データベース１２４に記憶された地図データを参照することにより、例えば、図１９に示すように、被写体を撮像するのに適した場所の範囲として、被写体ポイントから距離Ｒp2以上離れており、かつ、距離Ｒp1より近い、いわゆるドーナツ状の範囲（以下、適宜、適切範囲という）を設定する。
【０２２７】
さらに、撮像ポイント算出部２６２は、被写体ポイントに対して、視点情報が表す視点方向ｖから向かう線分と、移動体１０１kが移動することのできる道路等との交点のうち、適切範囲内にあるものすべてを、撮像ポイントの候補として検出する。
【０２２８】
そして、撮像ポイント算出部２６２は、撮像ポイントの候補から、例えば、任意の１つを選択し、その選択した撮像ポイントを、制御部１１８に供給する。
【０２２９】
なお、ここでは、説明を簡単にするため、第２の機能を実現するにあたって、視点方向ｖ上の１つの位置だけを撮像ポイントとするようにしたが、視点方向ｖ上の複数の位置を撮像ポイントとすることも可能である。また、複数の撮像ポイントの候補から、１つの撮像ポイントを選択する方法としては、例えば、被写体ポイントから最も近いまたは遠いものを選択する方法等がある。
【０２３０】
第３の機能を実現する場合、即ち、所望の被写体を、視点を変えながら見渡した視点可変画像を得る場合には、次のようにして、撮像ポイントが求められる。
【０２３１】
即ち、撮像ポイント算出部２６２は、第３の機能を実現する場合、地図データベース１２４に記憶された地図データを参照することにより、例えば、図２０（Ａ）に示すように、検索部２６１から供給される被写体ポイントを中心とし、被写体を撮像するのに適した距離Ｒ（例えば、図１９における距離Ｒp1とＲp2の平均値など）を半径とする円を求め、その円（円周）と、移動体１０１kが移動することのできる道路等との交点を求める。そして、撮像ポイント算出部２６２は、その交点のすべてを撮像ポイントとして求め、制御部１１８に供給する。
【０２３２】
ここで、被写体を、視点を変えながら見渡した視点可変画像を得るには、理想的には、その被写体を、その３６０度の各方向から、いわば万遍なく撮像した画像が必要となる。
【０２３３】
しかしながら、被写体を、その３６０度の各方向から見ることのできるすべての位置が、被写体ポイントを中心とした、距離Ｒを半径とする円と、移動体１０１kが移動することのできる道路等との交点として、必ずしも得られるとは限らない。
【０２３４】
即ち、被写体ポイントを中心とした、距離Ｒを半径とする円と、移動体１０１kが移動することのできる道路等との交点を、撮像ポイントとするのでは、被写体ポイントから同一距離にある撮像ポイントを得ることはできるが、道路の存在状況によっては、被写体を、特定の方向から見ることのできる撮像ポイントが得られない場合がある。
【０２３５】
そこで、撮像ポイント算出部２６２では、第３の機能を実現する場合、例えば、図２０（Ｂ）に示すようにして、撮像ポイントを求めるようにすることができる。
【０２３６】
即ち、この場合、撮像ポイント算出部２６２は、被写体ポイントを中心とする３６０度の方向を、幾つかの方向に等分する。ここで、図２０（Ｂ）の実施の形態では、被写体ポイントの中心とする３６０度の方向が、４５度ずつ異なる８つの方向に等分されている。
【０２３７】
そして、撮像ポイント算出部２６２は、その８つの方向それぞれが視点情報であるとして、その８つの方向それぞれについて、図１９で説明した場合と同様に、撮像ポイントを求める。この場合、被写体を、４５度ずつ異なる方向から見ることのできる８つの撮像ポイントが得られることになる。即ち、この場合、被写体ポイントから各撮像ポイントまでの距離は、一般に同一にならないが、被写体を、その３６０度の各方向から万遍なく見ることのできる撮像ポイントを得ることができる。
【０２３８】
次に、図２１は、図３の画像データベース１１４に、全方位画像データが記憶されるときのフォーマットを示している。
【０２３９】
画像データベース１１４においては、例えば、１枚の全方位画像データが、図２１に示すように、ヘッダ部とデータ部を設けて管理される。
【０２４０】
ヘッダ部には、画像ID(Identification)、属性情報、撮像情報等が配置され、データ部には、画像データ（全方位画像データ）が配置される。
【０２４１】
なお、画像IDは、例えば、そのデータ部に配置される全方位画像データについての固有のIDであり、制御部１１８が、画像データベース１１４に登録する。画像IDとしては、例えば、対応する全方位画像データを撮像した移動体１０１kの移動体ID、その撮像を行った年月日、その年月日における何枚目の撮像であるか、などの情報を組み合わせたものを用いることが可能である。ここで、移動体１０１kの移動体IDは、移動体１０１kごとにユニークなIDで、例えば、制御部１１８が記憶しているものとする。
【０２４２】
属性情報は、データ部に配置された全方位画像データの各種の属性の情報を表す。属性情報としては、例えば、全方位画像データに含まれる被写体を特定する被写体情報や、被写体ポイント、全方位画像データを撮像した撮像ポイント、その撮像ポイントから見た被写体の方向（視点方向）を表す視点情報等がある。なお、属性情報は、制御部１１８によって、画像データベース１１４に登録される。
【０２４３】
撮像情報は、上述したように、撮像装置１１１が出力する、その撮像装置１１１の設定に関する情報であり、スケール加工部１１３によって、全方位画像データとともに、画像データベース１１４に登録される。
【０２４４】
なお、移動体１０１kは、他の移動体１０１k'の全方位カメラ１０２kで撮像された画像データや、他の移動体１０１k'が、さらに他の移動体１０１k''から受信して、その画像データベース１１４（移動体１０１k'の画像データベース１１４）に記憶した画像データを受信することができるようになっており、移動体１０１kの画像データベース１１４には、自身の全方位カメラ１０２kで撮像された画像データの他、上述したようして、他の移動体１０１k'から受信した画像データも記憶されるようになっている。
【０２４５】
次に、図２２は、図３の表示画像加工部１１９の構成例を示している。
【０２４６】
画像メモリ２７１には、制御部１１８から画像データ（全方位画像データ、または全方位画像データの一部を切り出して得られる画像データ）が供給されるようになっており、画像メモリ２７１は、その画像データを記憶する。
【０２４７】
なお、画像メモリ２７１には、画像データとともに、その画像データについての、図２１に示したヘッダ部に配置された情報（以下、適宜、ヘッダ情報という）も供給されるようになっており、画像メモリ２７１は、画像データを、そのヘッダ情報とともに記憶する。
【０２４８】
また、画像メモリ２７１は、複数枚の全方位画像データ（ヘッダ情報も含む）を記憶することのできる記憶容量を有している。
【０２４９】
スケール加工部２７２は、例えば、図３のスケール加工部１１３と同様に構成されており、制御部１１８からの制御にしたがい、画像メモリ２７１に記憶された画像データを、拡大または縮小する。
【０２５０】
即ち、例えば、ユーザが操作部１１５を操作することによって、画像の拡大または縮小を指示した場合には、制御部１１８は、その指示にしたがって、スケール加工部２７２を制御することにより、画像メモリ２７１に記憶された画像データを拡大または縮小する。
【０２５１】
また、スケール加工部２７２は、画像メモリ２７１に複数の画像データが記憶された場合に、必要に応じて、その複数の画像データを、その画像データに表示されている被写体の大きさを一定にするように拡大または縮小する。
【０２５２】
即ち、第３の機能では、所望の被写体を、視点を変えながら見渡した視点可変画像を生成するため、画像メモリ２７１には、図２０で説明したような、同一の被写体を、複数の方向から撮像した複数の画像データが、画像メモリ２７１に記憶される。
【０２５３】
この同一の被写体を、複数の方向から撮像した複数の画像データ（以下、適宜、異方向画像データという）が、図２０（Ａ）に示したように、被写体ポイントから同一の距離だけ離れた撮像ポイントで撮像されたものである場合には、各撮像ポイントにおける撮像時のズーム倍率が異なっていても、スケール加工部１１３において、同一のズーム倍率（固定倍率）の画像データに変換されるから、各異方向画像データに写っている被写体の大きさ（スケール）は、同一になる。
【０２５４】
しかしながら、複数の異方向画像データが、図２０（Ｂ）に示したように、被写体ポイントからの距離が異なる複数の撮像ポイントで撮像されたものである場合には、スケール加工部１１３において、その複数の異方向画像データのズーム倍率を同一に変換しても、各異方向画像データに写っている被写体の大きさは同一にならない。即ち、各異方向画像データに写っている被写体の大きさは、その異方向画像データを撮像した撮像ポイントが、被写体ポイントから、どれだけ離れているかによって異なるものとなる。
【０２５５】
そこで、スケール加工部２７２は、画像メモリ２７１に、複数の異方向画像データが記憶された場合には、その複数の異方向画像データに写っている同一の被写体の大きさ（スケール）をあわせるために、画像メモリ２７１に記憶された異方向画像データを拡大または縮小する。
【０２５６】
なお、この場合、各異方向画像データの拡大率または縮小率は、そのヘッダ情報に含まれる撮像ポイントと被写体ポイントとの間の距離に基づき、画像メモリ２７１に記憶された複数の異方向画像データに写っている同一の被写体の大きさ（スケール）を同一にするように決定される。
【０２５７】
スケール加工部２７２は、以上のようにして、画像メモリ２７１に記憶された画像データを拡大または縮小すると、その拡大または縮小後の画像データを、例えば、画像メモリ２７１の、元の画像データに上書きする形で書き込む。
【０２５８】
対応画素演算部２７３は、制御部１１８からの制御にしたがい、第３の機能を実現する場合において、画像メモリ２７１に記憶された複数枚の異方向画像データにおける、対応する画素どうしを検出する。
【０２５９】
即ち、対応画素演算部２７３は、画像メモリ２７１に記憶された複数の異方向画像データそれぞれのヘッダ情報の中の視点情報を参照することにより、視点情報が表す視点方向が、ある方向を基準方向として、時計回りまたは反時計回り方向になる順番（以下、適宜、視点方向順という）を認識する。さらに、対応画素演算部２７３は、視点方向順で、ｉ＋１番目の異方向画像データに写っている被写体部分の各画素が、ｉ番目の異方向画像データに写っている被写体部分のどの画素に対応するかを検出する。
【０２６０】
なお、この対応する画素の検出は、例えば、いわゆるブロックマッチングなどを用いて行うことが可能である。
【０２６１】
対応画素演算部２７３は、画像メモリ２７１に記憶された複数の異方向画像データすべてについて、上述したような画素の対応関係を検出すると、その画素の対応関係を、画像生成部２７４に供給する。
【０２６２】
画像生成部２７４は、第１の機能または第２の機能を実現する場合には、画像メモリ２７１に記憶された画像データを読み出し、表示メモリ２７６に供給する。
【０２６３】
また、画像生成部２７４は、第３の機能を実現する場合には、画像メモリ２７１に記憶された複数の異方向画像データを用いて、視点を時計回りまたは反時計回り方向に変えながら、被写体を見渡した視点可変画像データを生成する。
【０２６４】
即ち、画像生成部２７４は、視点方向順の異方向画像データを、対応画素演算部２７３から供給される画素の対応関係に基づいて、対応する画素どうしを対応させるように空間方向の位置あわせをしながら、動画のフレームとして並べることにより、視点を時計回りまたは反時計回り方向に変えながら被写体を撮像したならば得られるであろう動画データとしての視点可変画像データを生成する。
【０２６５】
なお、画像メモリ２７１に記憶された複数の異方向画像データを、視点方向順に、順次、第１フレーム、第２フレーム、・・・として配置して、動画データとしての視点可変画像データを生成した場合には、異方向画像データの枚数や、撮像ポイントの粗密によって、視点可変画像データが、滑らかな動画にならないことがある。
【０２６６】
そこで、画像生成部２７４は、画像メモリ２７１に記憶された複数の異方向画像データを、その視点方向に対応した順番のフレームに配置するようになっている。
【０２６７】
即ち、例えば、フレームレートを３０フレーム／秒として、３秒間で、被写体の周囲を１周する（３６０度回転する）ような視点可変画像データを生成するとした場合、視点可変画像データは、９０フレーム（＝３０フレーム／秒×３秒）で構成する必要があり、さらに、その視点可変画像データの隣接フレーム間における視点方向の変化は、４度（＝３６０度／９０フレーム）とする必要がある。
【０２６８】
従って、この場合、画像生成部２７４は、視点方向が４×（ｉ−１）度に最も近い異方向画像データを、第ｉフレームに配置する。
【０２６９】
但し、この場合、異方向画像データが配置されないフレームが生ずることがある。そこで、画像生成部２７４は、異方向画像データが配置されないフレーム（以下、適宜、未配置フレームという）については、補間フレーム生成部２７５を制御することにより、異方向画像データが配置されるフレーム（以下、適宜、既配置フレームという）を用いて補間を行わせ、未配置フレームに配置する画像データを生成させる。即ち、補間フレーム生成部２７５は、例えば、未配置フレームから最も近い位置にある、時間的に先行する既配置フレームと、時間的に後行する既配置フレームとを用いて補間を行い、未配置フレームの画像データを生成する。なお、この未配置フレームの補間は、その未配置フレームから、その補間に用いられる、時間的に先行または後行する既配置フレームそれぞれまでの時間的距離を考慮して行われる。
【０２７０】
ここで、補間フレーム生成部２７５では、既配置フレームの画像データを用いて、単なる補間を行うことにより、未配置フレームの画像データを生成する他、例えば、既配置フレームの画像データを用いて、上述のクラス分類適応処理を行うことにより、未配置フレームの画像データを生成するようにすることが可能である。
【０２７１】
画像生成部２７４は、上述のようにして必要な補間等を行い、動画データとしての視点可変画像データを最終的に完成すると、その視点可変画像データを、表示メモリ２７６に供給して記憶させる。
【０２７２】
表示メモリ２７６に記憶された画像データは、表示部１２２（図３）に供給されて表示される。
【０２７３】
次に、図３の移動体１０１kが行う処理について説明する。
【０２７４】
なお、移動体１０１kが行う処理は、その移動体１０１kが、いわば主の移動体（以下、主移動体という）となり、他の移動体１０１k'が、いわば従の移動体（以下、従移動体という）となって、その従移動体としての移動体１０１k'に対して各種の要求を行う処理と、他の移動体１０１k'が主移動体となった場合に、その主移動体の要求に応じて行う処理とに、大きく分けることができる。
【０２７５】
そこで、以下では、移動体１０１kを主移動体とするとともに、移動体１０１k'を従移動体として、主移動体としての移動体１０１kが行う処理（主移動体の処理）と、従移動体としての移動体１０１k'が行う処理（従移動体の処理）について説明する。
【０２７６】
まず、図２３のフローチャートを参照して、主移動体の処理について説明する。
【０２７７】
まず最初に、ステップＳ２０１において、制御部１１８は、ユーザＵkが操作部１１５を操作することにより、何らかの入力を行ったかどうかを判定する。ステップＳ２０１において、何らの入力も行われていないと判定された場合、ステップＳ２０１に戻る。
【０２７８】
また、ステップＳ２０１において、ユーザＵkによって、何らかの入力が行われたと判定された場合、ステップＳ２０２に進み、制御部１１８は、そのユーザＵkからの入力が、何を要求するものであるかを判定する。
【０２７９】
ステップＳ２０２において、ユーザＵkからの入力が、全方位画像データを要求するものであると判定された場合、ステップＳ２０３に進み、後述する全方位画像取得処理が行われ、ステップＳ２０１に戻る。
【０２８０】
また、ステップＳ２０２において、ユーザＵkからの入力が、所望の被写体を、所望の視点方向から撮像した画像データ（以下、適宜、視点指定画像データという）を要求するものであると判定された場合、ステップＳ２０４に進み、後述する視点指定画像取得処理が行われ、ステップＳ２０１に戻る。
【０２８１】
さらに、ステップＳ２０２において、ユーザＵkからの入力が、視点可変画像データを要求するものであると判定された場合、ステップＳ２０５に進み、後述する視点可変画像取得処理が行われ、ステップＳ２０１に戻る。
【０２８２】
なお、上述の第１乃至第３の機能は、ステップＳ２０３における全方位画像取得処理、ステップＳ２０４における視点指定画像取得処理、ステップＳ２０５における視点可変画像取得処理に、それぞれ対応する。
【０２８３】
次に、図２４のフローチャートを参照して、図２３のステップＳ２０３における全方位画像取得処理について説明する。
【０２８４】
全方位画像取得処理では、まず最初に、ステップＳ２１１において、制御部１１８は、ユーザＵkが操作部１１５を操作することにより、他の移動体（従移動体）を特定する移動体IDの入力があったかどうかを判定する。
【０２８５】
ステップＳ２１１において、ユーザＵkによる移動体IDの入力がなかったと判定された場合、ステップＳ２１２に進み、制御部１１８は、全方位カメラ１０２kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０２８６】
スケール加工部１１３は、全方位カメラ１０２kから、全方位画像データが供給されると、ステップＳ２１３において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２１４に進み、画像データベース１１４に供給して登録する。
【０２８７】
その後、ステップＳ２１５に進み、制御部１１８は、直前のステップＳ２１４で画像データベース１１４に登録された全方位画像データを読み出し、画像変換部１２７に供給して、その全方位画像データの歪みを除去する画像変換を行わせる。
【０２８８】
そして、ステップＳ２１６に進み、制御部１１８は、画像変換後（歪み除去後）の全方位画像データを、表示画像加工部１１９に供給し、表示部１２２に表示させる画像データ（以下、適宜、表示データという）を生成させる。
【０２８９】
即ち、この場合、表示画像加工部１１９（図２２）では、画像メモリ２７１において、制御部１１８からの全方位画像データが記憶される。この画像メモリ２７１に記憶された全方位画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整され、画像生成部２７４を介して、表示メモリ２７６に供給される。
【０２９０】
表示メモリ２７６は、画像生成部２７４を介して供給される全方位画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２１６では、表示部１２２において、全方位画像データが表示され、全方位画像取得処理を終了する。
【０２９１】
従って、この場合、表示部１２２では、主移動体が、現在地で撮像した全方位画像データ（静止画）が表示される。
【０２９２】
一方、ステップＳ２１１において、ユーザＵkによる移動体IDの入力があったと判定された場合、ステップＳ２１７に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、ユーザＵkが入力した移動体IDを含めて送信させる。
【０２９３】
この場合、後述するように、リクエスト信号に含まれる移動体IDによって特定される移動体（従移動体）は、現在地における全方位画像データを撮像して、主移動体である移動体１０１kに送信してくるので、ステップＳ２１８において、受信部１１７が、その全方位画像データが送信されてくるのを待って受信する。なお、従移動体は、全方位画像データを、図２１に示した画像データベース１１４の記憶フォーマットと同様のフォーマットで送信してくるようになっている。
【０２９４】
その後、ステップＳ２１４に進み、受信部１１７で受信された全方位画像データは、画像データベース１１４に供給されて登録される。そして、以後、ステップＳ２１５，Ｓ２１６において、上述した場合と同様の処理が行われ、全方位画像取得処理を終了する。
【０２９５】
従って、この場合、表示部１２２では、ユーザＵkが入力した移動体IDによって特定される従移動体が、現在地で撮像した全方位画像データ（静止画）が表示される。
【０２９６】
次に、図２５のフローチャートを参照して、図２３のステップＳ２０４における視点指定画像取得処理について説明する。
【０２９７】
まず最初に、ステップＳ２１１において、制御部１１８は、表示部１２２を制御することにより、被写体情報と視点情報の入力を要求するメッセージを表示させ、ステップＳ２２２に進み、制御部１１８は、ユーザＵkが操作部１１５を操作することにより、被写体情報と視点情報を入力したかどうかを判定する。
【０２９８】
ステップＳ２２２において、被写体情報および視点情報の入力が行われていないと判定された場合、ステップＳ２１１に戻り、再度、ユーザに対して、被写体情報および視点情報の入力が要求される。
【０２９９】
また、ステップＳ２２２において、被写体情報および視点情報の入力があったと判定された場合、ステップＳ２２３に進み、制御部１１８は、その被写体情報および視点情報を、座標演算部１２５に供給し、撮像ポイントを計算させる。即ち、この場合、座標演算部１２５は、図１９で説明したようにして、１つの撮像ポイントを求め、制御部１１８に供給する。
【０３００】
制御部１１８は、座標演算部１２５からの撮像ポイントを、記憶部１２１に供給して記憶させ、ステップＳ２２４に進み、画像データベース１１４を参照することにより、ステップＳ２２３で得られた撮像ポイントから、ユーザＵkが入力した被写体情報によって特定される被写体が写った全方位画像データが、既に登録されているかどうかを判定する。なお、この判定は、画像データベース１１４におけるヘッダ部（図２１）の情報（ヘッダ情報）を参照することによって行うことができる。
【０３０１】
ステップＳ２２４において、ステップＳ２２３で得られた撮像ポイントから、ユーザＵkが入力した被写体情報によって特定される被写体が写った全方位画像データが、画像データベース１１４に、既に登録されていると判定された場合、即ち、ユーザＵkが入力した視点情報が表す視点方向から、同じくユーザＵkが入力した被写体情報によって特定される被写体を見た場合の全方位画像データを、過去に、自身で撮像したか、または、他の移動体から受信したことがあり、その全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２２５に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２３２に進む。
【０３０２】
また、ステップＳ２２４において、ステップＳ２２３で得られた撮像ポイントから、ユーザＵkが入力した被写体情報によって特定される被写体が写った全方位画像データが、画像データベース１１４に登録されていないと判定された場合、ステップＳ２２６に進み、比較部１２０は、現在地が、記憶部１２１に記憶された撮像ポイントと一致するかどうかを判定する。
【０３０３】
即ち、ステップＳ２２６では、比較部１２０において、位置検出部１２３で検出されている現在地が、ステップＳ２２３で記憶部１２１に記憶された撮像ポイントと一致するかどうかが判定される。
【０３０４】
ステップＳ２２６において、現在地が、記憶部１２１に記憶された撮像ポイントと一致すると判定された場合、即ち、主移動体自身が、撮像ポイントに位置している場合、ステップＳ２２７に進み、制御部１１８は、全方位カメラ１０２kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０３０５】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２２８において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２２９に進み、画像データベース１１４に供給して登録する。そして、制御部１１８は、ステップＳ２２９で画像データベース１１４に登録された全方位画像データを読み出し、ステップＳ２３２に進む。
【０３０６】
一方、ステップＳ２２６において、現在地が、記憶部１２１に記憶された撮像ポイントと一致しないと判定された場合、ステップＳ２３０に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、ステップＳ２２３で求められた撮像ポイントを含めて送信させる。
【０３０７】
この場合、後述するように、リクエスト信号に含まれる撮像ポイントを現在地とする移動体（従移動体）は、現在地（従って、撮像ポイント）における全方位画像データを撮像等して、主移動体である移動体１０１kに送信してくるので、ステップＳ２３１において、受信部１１７が、その全方位画像データが送信されてくるのを待って受信する。
【０３０８】
なお、この場合、複数の従移動体それぞれにおいて、後述する図２７の従移動体の処理が行われることにより、リクエスト信号に含まれる撮像ポイントから撮像した同一の全方位画像データが送信されてくることが考えられるが、このように、同一の全方位画像データが、複数の従移動体から送信されてきた場合は、受信部１１７は、例えば、その複数の同一の全方位画像データのうちの１つを選択するようになっている。後述する図２６のステップＳ２５０においても同様である。
【０３０９】
その後、ステップＳ２２９に進み、受信部１１７で受信された全方位画像データは、画像データベース１１４に供給されて登録される。そして、制御部１１８は、ステップＳ２２９で画像データベース１１４に登録した全方位画像データを読み出し、ステップＳ２３２に進む。
【０３１０】
ステップＳ２３２では、制御部１１８は、画像データベース１１４から読み出した全方位画像データ、即ち、ユーザＵkが入力した視点情報が表す視点方向から、同じくユーザＵkが入力した被写体情報によって特定される被写体を見た場合の全方位画像データである視点指定画像データを、そのヘッダ情報とともに、切り出し部１２６に供給し、その視点指定画像データから、ユーザＵkが入力した被写体情報によって特定される被写体が写っている部分を切り出させる。
【０３１１】
即ち、視点指定画像データである全方位画像データにおいて、被写体が写っている部分は、そのヘッダ情報の中の被写体ポイントと撮像ポイントとから認識することができる。そこで、切り出し部１２６は、視点指定画像データである全方位画像データから、被写体が写っている部分を含む、図９に示したような、中心点Ｃ１を中心とする円の円弧ＦC1およびＦC2、並びに中心点Ｃ１を通る直線ＬC1およびＬC2で囲まれる領域を切り出し、その切り出した領域の画像データ（以下、適宜、切り出し画像データという）を、制御部１１８に供給する。
【０３１２】
制御部１１８は、切り出し画像データを受信すると、ステップＳ２３３に進み、その切り出し画像データを、画像変換部１２７に供給して、その歪みを除去する画像変換を行わせる。
【０３１３】
そして、ステップＳ２３４に進み、制御部１１８は、画像変換後（歪み除去後）の切り出し画像データを、表示画像加工部１１９に供給し、表示データを生成させる。
【０３１４】
即ち、この場合、表示画像加工部１１９（図２２）では、画像メモリ２７１において、制御部１１８からの切り出し画像データが記憶される。この画像メモリ２７１に記憶された切り出し画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整され、画像生成部２７４を介して、表示メモリ２７６に供給される。
【０３１５】
表示メモリ２７６は、画像生成部２７４を介して供給される切り出し画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２３４では、表示部１２２において、切り出し画像データが表示され、視点指定画像取得処理を終了する。
【０３１６】
従って、この場合、表示部１２２では、ユーザが所望する被写体を、ユーザが所望する視点方向から撮像した画像（静止画）が表示される。
【０３１７】
次に、図２６のフローチャートを参照して、図２３のステップＳ２０５における視点可変画像取得処理について説明する。
【０３１８】
まず最初に、ステップＳ２４１において、制御部１１８は、表示部１２２を制御することにより、被写体情報の入力を要求するメッセージを表示させ、ステップＳ２４２に進み、制御部１１８は、ユーザＵkが操作部１１５を操作することにより、被写体情報を入力したかどうかを判定する。
【０３１９】
ステップＳ２４２において、被写体情報の入力が行われていないと判定された場合、ステップＳ２４１に戻り、再度、ユーザに対して、被写体情報の入力が要求される。
【０３２０】
また、ステップＳ２４２において、被写体情報の入力があったと判定された場合、ステップＳ２４３に進み、制御部１１８は、その被写体情報を、座標演算部１２５に供給し、撮像ポイントを計算させる。即ち、この場合、座標演算部１２５は、図２０で説明したようにして、被写体情報によって特定される被写体を撮像する複数の撮像ポイントを求め、制御部１１８に供給する。
【０３２１】
制御部１１８は、座標演算部１２５からの複数の撮像ポイントを、記憶部１２１に供給して記憶させ、ステップＳ２４４に進み、画像データベース１１４を参照することにより、記憶部１２１に記憶された複数の撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に、既に登録されているものがあるかどうかを判定する。
【０３２２】
ステップＳ２４４において、記憶部１２１に記憶された撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に既に登録されているものがあると判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから、被写体情報によって特定される被写体を撮像した全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２４５に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２４６に進む。
【０３２３】
ステップＳ２４６では、制御部１１８は、画像データベース１１４から読み出した全方位画像データを、そのヘッダ情報とともに、切り出し部１２６に供給し、その全方位画像データから、ユーザＵkが入力した被写体情報によって特定される被写体が写っている部分を切り出させる。
【０３２４】
即ち、上述したように、全方位画像データにおいて、被写体が写っている部分は、そのヘッダ情報の中の被写体ポイントと撮像ポイントとから認識することができるので、切り出し部１２６は、全方位画像データから、被写体が写っている部分を含む画像データを切り出し、その結果得られる切り出し画像データ（ヘッダ情報を含む）を、制御部１１８に供給する。
【０３２５】
制御部１１８は、このようにして、切り出し部１２６から供給される切り出し画像データを、その内蔵するメモリ（図示せず）に一時記憶し、ステップＳ２４７に進む。
【０３２６】
ステップＳ２４７では、制御部１１８は、記憶部１２１に記憶された複数の撮像ポイントのうち、ステップＳ２４５で画像データベース１１４から読み出した全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２４８に進む。
【０３２７】
即ち、これにより、記憶部１２１は、ユーザＵkが入力した被写体情報によって特定される被写体についての全方位画像データが得られていない視点方向にある撮像ポイントだけが記憶された状態となる。
【０３２８】
なお、記憶部１２１に記憶された複数の撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に、既に登録されているものが２以上ある場合には、上述のステップＳ２４５乃至Ｓ２４７の処理は、その既に登録されている２以上の撮像ポイントそれぞれについて行われる。
【０３２９】
一方、ステップＳ２４４において、記憶部１２１に記憶された撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に登録されているものがないと判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから、被写体情報によって特定される被写体を撮像した全方位画像データが、画像データベース１１４に登録されていない場合、ステップＳ２４８に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、記憶部１２１に記憶されている撮像ポイントを含めて送信させ、ステップＳ２４９に進む。
【０３３０】
ステップＳ２４９では、受信部１１７は、ステップＳ２４８で送信したリクエスト信号に対応して、移動体（従移動体）から、そのリクエスト信号に含まれるいずれかの撮像ポイントで撮像された全方位画像データが送信されてきたかどうかを判定し、送信されてきたと判定した場合、ステップＳ２５０に進み、受信部１１７は、その全方位画像データを受信する。そして、受信部１１７は、ステップＳ２５４に進み、ステップＳ２５０で受信した全方位画像データを、画像データベース１１４に供給して登録し、ステップＳ２５５に進む。
【０３３１】
一方、ステップＳ２４９において、移動体（従移動体）から、全方位画像データが送信されてきていないと判定された場合、ステップＳ２５１に進み、比較部１２０は、図２５のステップＳ２２６における場合と同様にして、現在地が、記憶部１２１に記憶されたいずれかの撮像ポイントと一致するかどうかを判定する。
【０３３２】
ステップＳ２５１において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれとも一致しないと判定された場合、ステップＳ２５２乃至Ｓ２５６をスキップして、ステップＳ２５７に進む。
【０３３３】
また、ステップＳ２５１において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれかと一致すると判定された場合、即ち、主移動体自身が、撮像ポイントに位置している場合、ステップＳ２５２に進み、制御部１１８は、全方位カメラ１０２kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０３３４】
スケール加工部１１３は、上述のようにして、全方位画像データが供給されると、ステップＳ２５３において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２５４に進み、画像データベース１１４に供給して登録し、ステップＳ２５５に進む。
【０３３５】
ステップＳ２５５では、制御部１１８が、記憶部１２１に記憶された撮像ポイントのうち、ステップＳ２５４で画像データベース１１４に記憶された全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２５６に進む。
【０３３６】
ステップＳ２５６では、制御部１１８は、ステップＳ２５４で画像データベース１１４に登録した全方位画像データを読み出し、ステップＳ２４６における場合と同様に、そのヘッダ情報とともに、切り出し部１２６に供給する。これにより、切り出し部１２６は、制御部１１８からのヘッダ情報に基づき、同じく制御部１１８からの全方位画像データから、ユーザＵkが入力した被写体情報によって特定される被写体が写っている部分を切り出す。そして、切り出し部１２６は、その結果得られる切り出し画像データを、制御部１１８に供給し、制御部１１８は、切り出し部１２６から供給される切り出し画像データを、その内蔵するメモリに一時記憶して、ステップＳ２５７に進む。
【０３３７】
ステップＳ２５７では、制御部１１８は、記憶部１２１に撮像ポイントが記憶されていないか、または、ステップＳ２４８でリクエスト信号を送信してから所定の時間が経過したかどうかを判定する。ステップＳ２５７において、記憶部１２１に撮像ポイントが記憶されており、かつリクエスト信号を送信してから所定の時間が経過していないと判定された場合、ステップＳ２４９に戻り、以下、同様の処理が繰り返される。
【０３３８】
また、ステップＳ２５７において、記憶部１２１に撮像ポイントが記憶されていないか、またはリクエスト信号を送信してから所定の時間が経過したと判定された場合、即ち、ユーザＵkが入力した被写体情報によって特定される被写体を、ステップＳ２４３で求められた複数の撮像ポイントすべてから撮像した全方位画像データが得られるか、または、そのような全方位画像データが、リクエスト信号を送信してから所定の時間が経過しても得られなかった場合、ステップＳ２５８に進み、制御部１１８は、記憶部１２１の記憶内容をクリアし、ステップＳ２５９に進む。
【０３３９】
ステップＳ２５９では、制御部１１８は、その内蔵するメモリに記憶されている切り出し画像データすべてを、画像変換部１２７に供給し、その歪みを除去する画像変換を行わせる。
【０３４０】
そして、ステップＳ２６０に進み、制御部１１８は、画像変換後（歪み除去後）の切り出し画像データを、表示画像加工部１１９に供給し、表示データを生成させる。
【０３４１】
即ち、この場合、表示画像加工部１１９（図２２）では、画像メモリ２７１において、制御部１１８から供給される切り出し画像データが、上述の異方向画像データとして記憶される。この画像メモリ２７１に記憶された異方向画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整される。
【０３４２】
そして、対応画素演算部２７３は、画像メモリ２７１に記憶された異方向画像データについて、上述したようにして、画素の対応関係を検出し、画像生成部２７４に供給する。
【０３４３】
画像生成部２７４は、画像メモリ２７１に記憶された異方向画像データを用い、対応画素演算部２７３からの画素の対応関係を参照しながら、視点可変画像データ、即ち、視点を時計回りまたは反時計回り方向に変えながら、ユーザＵkが入力した被写体情報によって特定される被写体を撮像した画像データを生成し、表示データとして、表示メモリ２７６に供給される。
【０３４４】
表示メモリ２７６は、画像生成部２７４を介して供給される視点可変画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２６０では、表示部１２２において、動画データである視点可変画像データが表示され、視点可変画像取得処理を終了する。
【０３４５】
従って、この場合、表示部１２２では、ユーザが所望する被写体を、その周囲を一周しながら撮像したような動画が表示される。
【０３４６】
なお、表示画像加工部１１９（図２２）の画像生成部２７４において、画像メモリ２７１に記憶された異方向画像データを用いて、視点可変画像データが生成される場合には、図２２で説明したように、視点可変画像としての動画を構成するフレームのうち、画像メモリ２７１に記憶された異方向画像データが配置されないもの（未配置フレーム）については、その未配置フレームに配置する画像データが、補間フレーム生成部２７５において生成される。
【０３４７】
従って、視点可変画像は、未配置フレームが少ないほど動きが滑らかなもの（時間方向の解像度が高いもの）となるが、このことは、異方向画像データが多数集まるほど、視点可変画像の画質が向上することを意味する。
【０３４８】
次に、図２７を参照して、従移動体の処理について説明する。
【０３４９】
従移動体の処理では、ステップＳ２７１において、受信部１１７が、他の移動体である主移動体からリクエスト信号が送信されてきたかどうかを判定し、送信されてきていないと判定した場合、ステップＳ２７１に戻る。
【０３５０】
そして、ステップＳ２７１において、リクエスト信号が送信されてきたと判定された場合、受信部１１７は、そのリクエスト信号を受信して、制御部１１８に供給し、ステップＳ２７２に進む。
【０３５１】
ステップＳ２７２では、制御部１１８は、受信部１１７からのリクエスト信号に、移動体IDが含まれるかどうかを判定し、含まれると判定した場合、ステップＳ２７３に進む。
【０３５２】
ステップＳ２７３では、制御部１１８は、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致するかどうかを判定する。ここで、制御部１１８は、自身の移動体IDを、例えば、その内蔵するメモリに記憶している。
【０３５３】
ステップＳ２７３において、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致しないと判定された場合、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０３５４】
また、ステップＳ２７３において、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致すると判定された場合、ステップＳ２７４に進み、制御部１１８は、撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０３５５】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２７５において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２７６に進み、画像データベース１１４に供給して登録し、ステップＳ２７７に進む。
【０３５６】
ステップＳ２７７では、制御部１１８は、ステップＳ２７６で画像データベース１１４に登録した全方位画像データを、ヘッダ情報とともに読み出し、送信部１１６に供給して、リクエスト信号を送信してきた主移動体に送信させる。そして、ステップＳ２７１に戻り、以下、同様の処理が繰り返される。なお、リクエスト信号には、そのリクエスト信号を送信してきた移動体の移動体IDが含められており、ステップＳ２７７（後述するステップＳ２８２およびＳ２８８においても同様）では、その移動体ＩＤを宛先として、全方位画像データが送信される。
【０３５７】
一方、ステップＳ２７２において、リクエスト信号に、移動体IDが含まれていないと判定された場合、ステップＳ２７８に進み、制御部１１８は、リクエスト信号に、１以上の撮像ポイントが含まれているかどうかを判定する。ステップＳ２７８において、リクエスト信号に、撮像ポイントが含まれていないと判定された場合、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０３５８】
一方、ステップＳ２７８において、リクエスト信号に、１以上の撮像ポイントが含まれていると判定された場合、ステップＳ２７９に進み、制御部１１８は、リクエスト信号に含まれている１以上の撮像ポイントを、記憶部１２１に供給して記憶させる。
【０３５９】
ここで、主移動体において、図２５の視点指定画像取得処理が行われる場合には、リクエスト信号には、１つの撮影ポイントだけが含まれ、図２６の視点可変画像取得処理が行われる場合には、リクエスト信号には、１以上の撮影ポイントが含まれる。
【０３６０】
その後、ステップＳ２８０に進み、制御部１１８は、画像データベース１１４を参照することにより、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがあるかどうかを判定する。
【０３６１】
ステップＳ２８０において、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがあると判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから撮像した全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２８２に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２８２に進む。
【０３６２】
ステップＳ２８２では、制御部１１８は、画像データベース１１４から読み出した全方位画像データを、そのヘッダ情報とともに、送信部１１６に供給し、リクエスト信号を送信してきた主移動体に送信させる。そして、ステップＳ２８３に進み、制御部１１８は、記憶部１２１に記憶された１以上の撮像ポイントのうち、ステップＳ２８１で画像データベース１１４から読み出した全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２８４に進む。
【０３６３】
なお、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものが複数ある場合には、上述のステップＳ２８１乃至Ｓ２８３の処理は、その複数の撮像ポイントそれぞれについて行われる。
【０３６４】
一方、ステップＳ２８０において、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがないと判定された場合、即ち、主移動体が要求する全方位画像データが、従移動体の画像データベース１１４には登録されていない場合、ステップＳ２８４に進み、比較部１２０が、図２５のステップＳ２２６にで説明したようにして、現在地が、記憶部１２１に記憶されたいずれかの撮像ポイントと一致するかどうかを判定する。
【０３６５】
ステップＳ２８４において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれかと一致すると判定された場合、即ち、従移動体が、リクエスト信号に含まれている撮像ポイントのうちのいずれかに位置している場合、ステップＳ２８５に進み、制御部１１８は、撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０３６６】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２８６において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２８７に進み、画像データベース１１４に供給して登録し、ステップＳ２８８に進む。
【０３６７】
ステップＳ２８８では、制御部１１８は、ステップＳ２８７で画像データベース１１４に登録した全方位画像データを、ヘッダ情報とともに読み出し、送信部１１６に供給して、リクエスト信号を送信してきた主移動体に送信させる。
【０３６８】
その後、ステップＳ２８９に進み、制御部１１８が、記憶部１２１に記憶された１以上の撮像ポイントのうち、ステップＳ２８７で画像データベース１１４に記憶された全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２８４に戻る。
【０３６９】
一方、ステップＳ２８４において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれとも一致しないと判定された場合、ステップＳ２９０に進み、制御部１１８は、記憶部１２１に撮像ポイントが記憶されていないか、または、主移動体からのリクエスト信号を受信してから所定の時間が経過したかどうかを判定する。ステップＳ２９０において、記憶部１２１に撮像ポイントが記憶されており、かつリクエスト信号を受信してから所定の時間が経過していないと判定された場合、ステップＳ２８４に戻り、以下、同様の処理が繰り返される。
【０３７０】
また、ステップＳ２９０において、記憶部１２１に撮像ポイントが記憶されていないか、またはリクエスト信号を送信してから所定の時間が経過したと判定された場合、即ち、リクエスト信号に含まれる１以上の撮像ポイントそれぞれから撮像した全方位画像データすべてを主移動体に送信したか、または、リクエスト信号を受信してから所定の時間が経過しても、そのリクエスト信号に含まれる１以上の撮像ポイントそれぞれから撮像した全方位画像データの一部もしくは全部が得られなかった場合、ステップＳ２９１に進み、制御部１１８は、記憶部１２１の記憶内容をクリアする。そして、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０３７１】
以上のように、従移動体は、リクエスト信号に、自身の移動体IDが含まれている場合には、現在地を撮像ポイントとして、全方位画像データを撮像し、主移動体に送信する。また、従移動体は、リクエスト信号に、１以上の撮像ポイントが含まれており、その撮像ポイントの全方位画像データが画像データベース１１４に記憶されている場合には、その全方位画像データを、主移動体に送信し、記憶されていない場合において、自身の現在地が撮像ポイントに一致するときには、その撮像ポイントである現在地で全方位画像データを撮像し、主移動体に送信する。
【０３７２】
従って、主移動体は、リクエスト信号に移動体IDを含めて送信した場合には、その移動体IDの従移動体から、その従移動体が現在地において撮像した全方位画像データを得ることができる（第１の機能）。
【０３７３】
また、主移動体は、リクエスト信号に、１つの撮像ポイントを含めて送信した場合には、その撮像ポイントを現在地とする従移動体から、その従移動体が現在地で撮像した全方位画像データを得ることができる。あるいは、また、主移動体は、リクエスト信号に含まれる撮像ポイントの全方位画像データを有している従移動体から、その全方位画像データを得ることができる。その結果、主移動体は、所望の視点方向から、所望の被写体を見た姿が写っている全方位画像データを得ることができる（第２の機能）。
【０３７４】
さらに、主移動体は、リクエスト信号に、複数の撮像ポイントを含めて送信した場合には、その複数の撮像ポイントをそれぞれ現在地とする複数の従移動体から、各従移動体が現在地で撮像した全方位画像データを得ることができる。あるいは、また、主移動体は、リクエスト信号に含まれる各撮像ポイントの全方位画像データを有している各従移動体から、その全方位画像データを得ることができる。その結果、主移動体は、所望の被写体を、複数の視点方向から見た姿が映っている複数の全方位画像データを得ることができ、さらには、そのような複数の全方位画像データから、所望の被写体を、その周りから見渡したような動画である視点可変画像を得ることができる。
【０３７５】
即ち、移動体１０１1，１０１2，・・・，１０１Kそれぞれの全方位カメラ１０２1，１０２2，・・・，１０２Kにおいて、それ単独で、視点可変画像を得ようとすると、被写体の周りを移動し、複数の視点方向から被写体を撮像することにより、複数の全方位画像データを得る必要があるから、即座に、視点可変画像を得ることはできない。
【０３７６】
そこで、図１の移動体システムでは、複数の移動体どうしが協調して（協力しあって）、複数の撮像ポイントそれぞれから撮像した全方位画像データを取得する。即ち、主移動体が、複数の撮像ポイントそれぞれから撮像した全方位画像データを、従移動体に要求し、その全方位画像データを有する従移動体、またはその全方位画像データを撮像しうる従移動体は、その全方位画像データを、主移動体に提供する。
【０３７７】
このように、主移動体は、必要な全方位画像データを有する従移動体、または必要な全方位画像データを撮像しうる従移動体の協力によって、必要な全方位画像データを得て、自身の全方位カメラだけでは得られなかった視点可変画像、即ち、所望の被写体が単に写っているのではなく、その周囲を移動しながら撮像したような姿が映っているという付加価値が付いた動画像を得ることができる。
【０３７８】
従って、主移動体においては、その全方位カメラだけでは困難であった、視点可変画像を生成（撮像）するという高機能が実現されているということができるが、これは、主移動体と、１以上の従移動体とが、図２８において点線で囲むように、まるで１つの装置であるかのようになって、従移動体が、主移動体が要求する撮像ポイントの全方位画像データを提供し、主移動体が、そのようにして従移動体から提供される全方位画像データを用いて視点可変画像データを生成することにより、結果として、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担することとなっているからである。
【０３７９】
これに対して、従移動体が、任意に撮像した全方位画像データを、主移動体に提供するというだけでは、従移動体が、全方位画像データを集めるという処理を、単に分担しているだけとなり、主移動体において、視点可変画像の生成に必要な画像を得られず、従って、視点可変画像を生成するという高機能を実現することはできない。
【０３８０】
なお、移動体システムにおいて、上述のように、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担する場合には、視点可変画像データを、即座に得ることができるから、この点に注目すれば、いわばリアルタイムの協調分担が行われているということができる。
【０３８１】
一方、移動体システムでは、上述のようなリアルタイムの協調分担が行われることにより、主移動体となった移動体の画像データベース１１４には、所定の被写体について視点可変画像を生成するのに必要な複数の撮像ポイントから撮像された全方位画像データが蓄積される。その結果、所定の被写体について、視点可変画像の生成の要求が多い場合には、その要求回数に応じて時間解像度の高い視点可変画像が生成されるようになる。
【０３８２】
即ち、例えば、上述したように、フレームレートを３０フレーム／秒として、３秒間で、被写体の周囲を１周するような視点可変画像を生成する場合には、理想的には、その被写体を、４度ずつ異なる視点方向から撮像した９０枚の画像（異方向画像）が必要であり、この９０枚の異方向画像が集まれば、フレームレートが３０フレーム／秒で、３秒間の間に被写体の周囲を１周するという条件下において、最も時間解像度の高い視点可変画像を得ることができる。
【０３８３】
この場合、９０カ所の撮像ポイントで撮像された全方位画像（９０枚の異方向画像となる全方位画像）を得る必要があるが、いま、説明を簡単にするために、いずれの移動体の画像データベース１１４にも全方位画像データが記憶されていないと仮定すると、ある１つの移動体Ａが、視点可変画像取得処理（図２６）において、所定の被写体についての９０カ所の撮像ポイントを含むリクエスト信号を送信しても、その９０カ所のそれぞれに、他の移動体が存在するとは限らず、従って、９０カ所の撮像ポイントそれぞれで撮像された全方位画像すべては、一般には、集まらない。
【０３８４】
しかしながら、例えば、いま、移動体Ａによる視点可変画像取得処理によって、９０カ所の撮像ポイントのうちの、例えば１／３の３０カ所の撮像ポイントの全方位画像が集まり、その画像データベース１１４に登録されたとすると、その後、他の移動体Ｂが、視点可変画像取得処理（図２６）において、所定の被写体についての９０カ所の撮像ポイントを含むリクエスト信号を送信した場合には、移動体Ｂは、少なくとも、移動体Ａの画像データベース１１４に記憶されている３０カ所の全方位画像を得ることができる。さらに、この場合、残りの６０カ所の撮像ポイントのうちのいずれかに、他の移動体が位置している可能性が高く、移動体Ｂは、そのような他の移動体から、残りの６０カ所のうちのいずれかの撮像ポイントの全方位画像を得ることができる。
【０３８５】
従って、所定の被写体について、多数の移動体から、視点可変画像の生成の要求があると、その要求回数に応じて、多数の撮像ポイントの全方位画像が得られることとなり、その結果、時間解像度の高い視点可変画像が生成されるようになる。
【０３８６】
このように、視点可変画像の生成の要求が多い所定の被写体については、その要求回数に応じて、時間解像度の高いという付加価値が付いた視点可変画像が生成されるようになるが、これも、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担することとなっているからである。但し、時間解像度の高いという付加価値が付いた視点可変画像が生成されることに注目すると、時間解像度が高くなるのは、所定の被写体についての視点可変画像の生成の要求が何度も行われることによるものであるから、ある程度の時間の経過が必要であり、従って、上述のリアルタイムの協調分担に対して、長期的な協調分担が行われているということができる。
【０３８７】
なお、上述の場合には、移動体１０１kにおいて、全方位カメラ１０２kにより撮像を行うようにしたが、移動体１０１kでは、通常のカメラで撮像を行うようにすることも可能である。
【０３８８】
また、移動体１０１kとしては、自動車の他、船舶や航空機等を採用することも可能である。
【０３８９】
さらに、上述の場合には、移動体システムにおいて、付加価値のある画像として、被写体を、その周囲を移動しながら撮像したような視点可変画像を生成するようにしたが、付加価値のある画像としては、その他、例えば、いわゆる三角測量を利用して、３次元画像を生成するようにすることも可能である。
【０３９０】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３９１】
そこで、図２９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３９２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２１０５やＲＯＭ２１０３に予め記録しておくことができる。
【０３９３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３９４】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２１０８で受信し、内蔵するハードディスク２１０５にインストールすることができる。
【０３９５】
コンピュータは、CPU(Central Processing Unit)２１０２を内蔵している。CPU２１０２には、バス２１０１を介して、入出力インタフェース２１１０が接続されており、CPU２１０２は、入出力インタフェース２１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２１０３に格納されているプログラムを実行する。あるいは、また、CPU２１０２は、ハードディスク２１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２１０８で受信されてハードディスク２１０５にインストールされたプログラム、またはドライブ２１０９に装着されたリムーバブル記録媒体２１１１から読み出されてハードディスク２１０５にインストールされたプログラムを、RAM(Random Access Memory)２１０４にロードして実行する。これにより、CPU２１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２１０６から出力、あるいは、通信部２１０８から送信、さらには、ハードディスク２１０５に記録等させる。
【０３９６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３９７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３９８】
【発明の効果】
本発明の情報処理システムおよび第１の情報処理方法、並びに第１のプログラムによれば、複数の移動体それぞれが、複数のユーザそれぞれの操作に応じて移動し、また、その複数の移動体それぞれには、被写体を撮像する複数の撮像手段それぞれが設けられている。また、複数の移動体のうちの少なくとも１の移動体では、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、その撮像位置とともに、被写体の画像を要求するリクエスト信号が、他の移動体に対して送信される。さらに、複数の移動体のうちの少なくとも１の移動体では、他の移動体から送信されてくる、リクエスト信号に応じて他の移動体で撮像された被写体の画像が受信される。そして、受信された複数の被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。従って、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を、容易に得ることが可能となる。
【０３９９】
本発明の移動体および第２の情報処理方法、並びに第２のプログラムによれば、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、他の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号が送信される。また、他の移動体から送信されてくる、リクエスト信号に応じて他の移動体の撮像手段によって撮像された被写体の画像が受信される。さらに、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。従って、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を、容易に得ることが可能となる。
【０４００】
本発明の情報処理装置および第３の情報処理方法、並びに第３のプログラムによれば、被写体の位置と、被写体の撮像方向とに基づいて、被写体を撮像すべき撮像位置が算出され、ユーザの操作に応じて移動する複数の移動体に対して、撮像位置とともに、被写体の画像を要求するリクエスト信号が送信される。また、複数の移動体から送信されてくる、複数の移動体に設けられた、リクエスト信号に応じて被写体を撮像する撮像手段によって撮像された被写体の画像が受信され、受信された被写体の画像を処理することにより、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像が生成される。従って、撮像位置に対応した全方位画像、被写体を指定方向から撮像した画像、または、被写体の周囲から見た画像を、容易に得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した移動体システムの一実施の形態の構成例を示す図である。
【図２】移動体システムの機能の概略を説明するための図である。
【図３】移動体１０１kの電気的構成例を示すブロック図である。
【図４】撮像装置１１１の構成例を示す斜視図である。
【図５】全方位画像データを示す図である。
【図６】集光部２０２を構成する双曲面を説明する図である。
【図７】集光部２０２と撮像部２０３との位置関係を説明するための図である。
【図８】全方位画像データを示す図である。
【図９】全方位画像データからの切り出しを説明するための図である。
【図１０】円周方向の歪みを説明するための図である。
【図１１】半径方向の歪みを説明するための図である。
【図１２】半径方向の歪みを除去する方法を説明するための図である。
【図１３】半径方向の歪みを除去する方法を説明するための図である。
【図１４】半径方向の歪みを除去する全方位画像データの変換を説明するための図である。
【図１５】変換対象点における画素値の求め方を説明するための図である。
【図１６】スケール加工部１１３の電気的構成例を示すブロック図である。
【図１７】タップ係数を学習する学習装置の電気的構成例を示すブロック図である。
【図１８】座標演算部１２５の電気的構成例を示すブロック図である。
【図１９】撮像ポイントの求め方を説明するための図である。
【図２０】撮像ポイントの求め方を説明するための図である。
【図２１】画像データベース１１４の記憶フォーマットを示す図である。
【図２２】表示画像加工部１１９の電気的構成例を示すブロック図である。
【図２３】主移動体の処理を説明するフローチャートである。
【図２４】全方位画像取得処理を説明するフローチャートである。
【図２５】視点指定画像取得処理を説明するフローチャートである。
【図２６】視点可変画像取得処理を説明するフローチャートである。
【図２７】従移動体の処理を説明するフローチャートである。
【図２８】移動体システムにおける協調分担を説明するための図である。
【図２９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１０１1乃至１０１K 移動体， １０２1乃至１０２K 全方位カメラ， １０３ 被写体， １０４ ネットワーク， １０５ 情報処理装置， １１１ 撮像装置， １１２ Ａ／Ｄ変換部， １１３ スケール加工部， １１４ 画像データベース， １１５ 操作部， １１６ 送信部， １１７ 受信部， １１８ 制御部， １１９ 表示画像加工部， １２０ 比較部， １２１ 記憶部， １２２ 表示部， １２３ 位置検出部， １２４ 地図データベース，１２５ 座標演算部， １２６ 切り出し部， １２７ 画像変換部， ２０１ 支持体， ２０２ 集光部， ２０３ 撮像部， ２３１ バッファ， ２３２ 予測タップ抽出回路， ２３３ クラスタップ抽出回路， ２３４ クラス分類回路， ２３５ 係数記憶部， ２３６ 積和演算回路， ２３７ 制御回路， ２４２ 教師データメモリ， ２４３ 生徒データ生成回路， ２４４生徒データメモリ， ２４５ 予測タップ抽出回路， ２４６ クラスタップ抽出回路， ２４７ クラス分類回路， ２４８ 正規方程式加算回路， ２４９ タップ係数決定回路， ２５０ 係数メモリ， ２５１ 制御回路， ２６１ 検索部， ２６２ 撮像ポイント算出部， ２７１ 画像メモリ， ２７２スケール加工部， ２７３ 対応画素演算部， ２７４ 画像生成部， ２７５ 補間フレーム生成部， ２７６ 表示メモリ， １００１ ネットワーク，１００２ 合成／統合部， １００３1乃至１００３K 操作部， １００４ 駆動制御部， １００５1乃至１００５M アクチュエータ， １００６ 信号処理部， １００７1乃至１００７N センサ， ２１０１ バス， ２１０２ CPU， ２１０３ ROM， ２１０４ RAM， ２１０５ ハードディスク， ２１０６ 出力部， ２１０７ 入力部， ２１０８ 通信部， ２１０９ ドライブ， ２１１０ 入出力インタフェース， ２１１１ リムーバブル記録媒体
Claims (24)
- 複数のユーザの操作に応じて移動する複数の移動体と、
前記複数の移動体に設けられた、被写体を撮像する複数の撮像手段と、
前記複数の移動体のうちの少なくとも１の移動体に設けられ、前記被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、前記被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信手段と、
前記複数の移動体のうちの少なくとも１の前記移動体に設けられ、前記リクエスト信号に応じて、前記他の移動体で撮像された前記被写体の画像を、前記他の移動体から受信する受信手段と、
前記受信手段により受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成手段と
を備えることを特徴とする情報処理システム。 - 前記生成手段は、前記被写体の画像を処理することにより、前記被写体を多方位から見た画像を生成する
ことを特徴とする請求項１に記載の情報処理システム。 - 前記他の移動体は、現在位置が前記撮像位置に一致したとき、前記撮像手段によって、前記被写体を撮像する
ことを特徴とする請求項１に記載の情報処理システム。 - 前記他の移動体は、前記被写体を撮像した画像とともに、前記撮像位置を、前記複数の移動体のうちの少なくとも１の前記移動体に送信し、
前記複数の移動体のうちの少なくとも１の前記移動体は、前記他の移動体からの前記被写体の画像を、その画像とともに送信されてくる前記撮像位置に基づいて処理し、前記被写体を多方位から見た画像を生成する
ことを特徴とする請求項３に記載の情報処理システム。 - 前記撮像手段は、全方位の撮像が可能な全方位カメラである
ことを特徴とする請求項１に記載の情報処理システム。 - 複数のユーザの操作に応じて移動する複数の移動体と、
前記複数の移動体に設けられた、被写体を撮像する複数の撮像手段と
を備える情報処理システムの情報処理方法であって、
前記複数の移動体のうちの少なくとも１の移動体が、前記被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、前記被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、
前記複数の移動体のうちの少なくとも１の前記移動体が、前記リクエスト信号に応じて、前記他の移動体で撮像された前記被写体の画像を、前記他の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えることを特徴とする情報処理方法。 - 複数のユーザの操作に応じて移動する複数の移動体と、
前記複数の移動体に設けられた、被写体を撮像する複数の撮像手段と
を備える情報処理システム用のプログラムであって、
前記複数の移動体のうちの少なくとも１の移動体が、前記被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、前記被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、
前記複数の移動体のうちの少なくとも１の前記移動体が、前記リクエスト信号に応じて、前記他の移動体で撮像された前記被写体の画像を、前記他の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム。 - 複数のユーザの操作に応じて移動する複数の移動体と、
前記複数の移動体に設けられた、被写体を撮像する複数の撮像手段と
を備える情報処理システム用のプログラムが記録されている記録媒体であって、
前記複数の移動体のうちの少なくとも１の移動体が、前記被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出し、その撮像位置とともに、前記被写体の画像を要求するリクエスト信号を、他の移動体に対して送信する送信ステップと、
前記複数の移動体のうちの少なくとも１の前記移動体が、前記リクエスト信号に応じて、前記他の移動体で撮像された前記被写体の画像を、前記他の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えるコンピュータが読み取り可能なプログラムが記録されている
ことを特徴とする記録媒体。 - ユーザの操作に応じて移動する移動体であって、
被写体を撮像する撮像手段と、
前記被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出する算出手段と、
他の移動体に対して、前記撮像位置とともに、前記被写体の画像を要求するリクエスト信号を送信する送信手段と、
前記リクエスト信号に応じて、前記他の移動体の前記撮像手段によって撮像された前記被写体の画像を、前記他の移動体から受信する受信手段と、
前記受信手段により受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成手段と
を備えることを特徴とする移動体。 - 前記生成手段は、前記被写体の画像を処理することにより、前記被写体を多方位から見た画像を生成する
ことを特徴とする請求項９に記載の移動体。 - 前記受信手段は、前記他の移動体の現在位置が前記撮像位置に一致したときに、前記他の移動体の前記撮像手段によって撮像された前記被写体の画像を受信する
ことを特徴とする請求項９に記載の移動体。 - 前記他の移動体は、前記被写体を撮像した画像とともに、前記撮像位置を送信し、
前記生成手段は、前記他の移動体からの前記被写体の画像を、その画像とともに送信されてくる前記撮像位置に基づいて処理し、前記被写体を多方位から見た画像を生成する
ことを特徴とする請求項１１に記載の移動体。 - 前記撮像手段は、全方位の撮像が可能な全方位カメラである
ことを特徴とする請求項９に記載の移動体。 - 被写体を撮像する撮像手段を備え、ユーザの操作に応じて移動する移動体の情報処理方法であって、
前記被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出する算出ステップと、
他の移動体に対して、前記撮像位置とともに、前記被写体の画像を要求するリクエスト信号を送信する送信ステップと、
前記リクエスト信号に応じて、前記他の移動体の前記撮像手段によって撮像された前記被写体の画像を、前記他の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えることを特徴とする情報処理方法。 - 被写体を撮像する撮像手段を備え、ユーザの操作に応じて移動する移動体用のプログラムであって、
前記被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出する算出ステップと、
他の移動体に対して、前記撮像位置とともに、前記被写体の画像を要求するリクエスト信号を送信する送信ステップと、
前記リクエスト信号に応じて、前記他の移動体の前記撮像手段によって撮像された前記被写体の画像を、前記他の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム。 - 被写体を撮像する撮像手段を備え、ユーザの操作に応じて移動する移動体用のプログラムが記録されている記録媒体であって、
前記被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出する算出ステップと、
他の移動体に対して、前記撮像位置とともに、前記被写体の画像を要求するリクエスト信号を送信する送信ステップと、
前記リクエスト信号に応じて、前記他の移動体の前記撮像手段によって撮像された前記被写体の画像を、前記他の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えるコンピュータが読み取り可能なプログラムが記録されている
ことを特徴とする記録媒体。 - 所定の情報処理を行う情報処理装置であって、
被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出する算出手段と、
ユーザの操作に応じて移動する複数の移動体に対して、前記撮像位置とともに、前記被写体の画像を要求するリクエスト信号を送信する送信手段と、
前記リクエスト信号に応じて、前記複数の移動体に設けられた、前記被写体を撮像する撮像手段によって撮像された前記被写体の画像を、前記複数の移動体から受信する受信手段と、
前記受信手段により受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成手段と
を備えることを特徴とする情報処理装置。 - 前記生成手段は、前記被写体の画像を処理することにより、前記被写体を多方位から見た画像を生成する
ことを特徴とする請求項１７に記載の情報処理装置。 - 前記受信手段は、前記移動体の現在位置が前記撮像位置に一致したときに、その移動体の前記撮像手段によって撮像された前記被写体の画像を受信する
ことを特徴とする請求項１７に記載の情報処理装置。 - 前記複数の移動体は、前記被写体を撮像した画像とともに、前記撮像位置を送信し、
前記生成手段は、前記複数の移動体からの前記被写体の画像を、その画像とともに送信されてくる前記撮像位置に基づいて処理し、前記被写体を多方位から見た画像を生成する
ことを特徴とする請求項１９に記載の情報処理装置。 - 前記撮像手段は、全方位の撮像が可能な全方位カメラである
ことを特徴とする請求項１７に記載の情報処理装置。 - 所定の情報処理を行う情報処理装置の情報処理方法であって、
被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出する算出ステップと、
ユーザの操作に応じて移動する複数の移動体に対して、前記撮像位置とともに、前記被写体の画像を要求するリクエスト信号を送信する送信ステップと、
前記リクエスト信号に応じて、前記複数の移動体に設けられた、前記被写体を撮像する撮像手段によって撮像された前記被写体の画像を、前記複数の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えることを特徴とする情報処理方法。 - 所定の情報処理を、コンピュータに行わせるプログラムであって、
被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出する算出ステップと、
ユーザの操作に応じて移動する複数の移動体に対して、前記撮像位置とともに、前記被写体の画像を要求するリクエスト信号を送信する送信ステップと、
前記リクエスト信号に応じて、前記複数の移動体に設けられた、前記被写体を撮像する撮像手段によって撮像された前記被写体の画像を、前記複数の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えることを特徴とするプログラム。 - 所定の情報処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
被写体の位置と、前記被写体の撮像方向とに基づいて、前記被写体を撮像すべき撮像位置を算出する算出ステップと、
ユーザの操作に応じて移動する複数の移動体に対して、前記撮像位置とともに、前記被写体の画像を要求するリクエスト信号を送信する送信ステップと、
前記リクエスト信号に応じて、前記複数の移動体に設けられた、前記被写体を撮像する撮像手段によって撮像された前記被写体の画像を、前記複数の移動体から受信する受信ステップと、
前記受信ステップにより受信された前記被写体の画像を処理することにより、前記撮像位置に対応した全方位画像、前記被写体を指定方向から撮像した画像、または、前記被写体の周囲から見た画像を生成する生成ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001343981A JP3918518B2 (ja) | 2001-11-09 | 2001-11-09 | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001343981A JP3918518B2 (ja) | 2001-11-09 | 2001-11-09 | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003153253A JP2003153253A (ja) | 2003-05-23 |
| JP3918518B2 true JP3918518B2 (ja) | 2007-05-23 |
Family
ID=19157570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001343981A Expired - Fee Related JP3918518B2 (ja) | 2001-11-09 | 2001-11-09 | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3918518B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5044817B2 (ja) * | 2007-11-22 | 2012-10-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 仮想空間を構築するための画像処理方法、装置 |
| JP5957838B2 (ja) * | 2011-09-30 | 2016-07-27 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6544719B2 (ja) * | 2014-09-16 | 2019-07-17 | 学校法人立命館 | 動画像生成システム、動画像生成装置、動画像生成方法、及びコンピュータプログラム |
-
2001
- 2001-11-09 JP JP2001343981A patent/JP3918518B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003153253A (ja) | 2003-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4032410B2 (ja) | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置 | |
| US7961980B2 (en) | Method for providing output image in either cylindrical mode or perspective mode | |
| US11158056B2 (en) | Surround camera system with seamless stitching for arbitrary viewpoint selection | |
| JP4211292B2 (ja) | 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 | |
| JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
| JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
| US9286720B2 (en) | Locative video for situation awareness | |
| JP6944135B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3922543B2 (ja) | 撮像装置、および画像表示装置 | |
| JP2017528949A (ja) | 全方向視差光照射野圧縮のためのプリプロセッサ | |
| CN101467454A (zh) | 虚拟观测器 | |
| JP2021509946A (ja) | 測量調査標本点の計画方法、測量調査標本点計画装置、制御端末及びコンピュータ記憶媒体 | |
| US20030117675A1 (en) | Curved image conversion method and record medium where this method for converting curved image is recorded | |
| CN114463230A (zh) | 一种图像处理方法及相关设备 | |
| CN113869231A (zh) | 一种用于获取目标对象的实时图像信息的方法与设备 | |
| JP3918518B2 (ja) | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置 | |
| Sahin | Comparison and calibration of mobile phone fisheye lens and regular fisheye lens via equidistant model | |
| EP4293622A1 (en) | Method for training neural network model and method for generating image | |
| CN112329616A (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN114821544B (zh) | 感知信息生成方法、装置、车辆、电子设备及存储介质 | |
| JP2011210232A (ja) | 画像変換装置、画像生成システム、画像変換方法及び画像生成方法 | |
| KR101459004B1 (ko) | 평면기반 3d 시설물을 구면기반 3d 시설물로 변경하는 방법 | |
| Ekpar et al. | Visualizing very large image data sets at interactive rates | |
| KR102329031B1 (ko) | 3D 모델링 가시화 시스템의 최대 Zoom 레벨을 결정 방법 | |
| Bharadwaj et al. | Neural Network Based Modeling of Radial Distortion Through Synthetic Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |