JP4032410B2 - 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置に関し、特に、例えば、複数のユーザの操作に応じて作動する複数の作動手段、またはその複数の作動手段が作用する現実世界を検知する複数の検知手段が協調して処理を分担することにより、高機能な処理を行うことができるようにする情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置に関する。
【０００２】
【従来の技術】
例えば、複数のプロセッサ（ここでは、何らかの処理を行う物であるとする）によれば、ある処理を、並列に分担して行うことにより、１つのプロセッサで処理を行う場合に比較して、単純には、処理速度を、その複数のプロセッサの個数倍にすることができる。
【０００３】
【発明が解決しようとする課題】
ところで、１つのプロセッサだけで処理を行う場合であっても、また、複数のプロセッサで処理を分担して行う場合であっても、得られる処理結果は変わらない。さらに、複数のプロセッサで処理を分担して行う場合における各プロセッサの機能は、１つのプロセッサだけで処理を行う場合と変わらない。
【０００４】
即ち、従来においては、プロセッサがいくつ集まっても、全体としての処理速度が、プロセッサの数に応じて向上するだけであり、各プロセッサの機能は変化しない。
【０００５】
ところで、人間が複数集まって作業を行う場合には、個人個人が互いに協力しあう（協調する）ことによって、各個人が、普段の能力を越える働きをすることが経験的に認められる。
【０００６】
従って、プロセッサが複数集まった場合に、各プロセッサが協調して処理を分担すれば、各プロセッサの機能が高機能化し、全体としては、プロセッサの個数倍を越える処理能力を発揮し、さらに、全体としての処理結果としても、付加価値をつけたものが得られると考えられる。
【０００７】
また、人間が複数集まって作業を行う場合には、同じような性格や、考え方、感性等の属性を有する人間が集まるよりも、異なる属性を有する人間が集まった方が、互いの刺激が強く、より自己啓発が進むと考えられる。
【０００８】
従って、プロセッサについても、同一機能を有するプロセッサを複数集めるよりは、異なる機能を有するプロセッサを複数集めて、各プロセッサに協調して処理を分担させた方が、各プロセッサの機能がより高機能化すると考えられる。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、多数が協調しながら処理を分担することにより、各個の機能を向上させることができるようにするものである。
【００１０】
【課題を解決するための手段】
本発明の情報処理システムは、複数のユーザの操作に応じて作動する複数の作動手段と、複数の作動手段が作用する現実世界を検知する複数の検知手段と、複数の作動手段または複数の検知手段との間で情報を送受信するための通信手段、複数の作動手段による作動結果または複数の検知手段による検知結果を蓄積する蓄積手段と、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較する比較手段と、比較手段による比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する合成手段とを備えることを特徴とする。
【００１１】
本発明の第１の情報処理方法は、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較し、その比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する処理を行う処理ステップを備えることを特徴とする。
【００１２】
本発明の第１のプログラムは、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較し、その比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する処理を行う処理ステップを備えることを特徴とする。
【００１３】
本発明の第１の記録媒体は、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較し、その比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する処理を行う処理ステップを備えるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００１４】
本発明の情報処理装置は、ユーザの操作に応じて作動する作動手段と、作動手段が作用する現実世界を検知する検知手段と、他の情報処理装置との間で情報を送受信するための通信手段と、作動手段による作動結果または検知手段による検知結果を蓄積する蓄積手段と、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較する比較手段と、比較手段による比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する合成手段とを備えることを特徴とする。
【００１５】
本発明の第２の情報処理方法は、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較し、その比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する処理を行う処理ステップを備えることを特徴とする。
【００１６】
本発明の第２のプログラムは、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較し、その比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する処理を行う処理ステップを備えることを特徴とする。
【００１７】
本発明の第２の記録媒体は、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較し、その比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する処理を行う処理ステップを備えるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【００１８】
本発明の情報処理システムおよび第１の情報処理方法、並びに第１のプログラムおよび第１の記録媒体においては、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較し、その比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力することにより、情報処理システムが高機能化される。
【００１９】
本発明の情報処理装置および第２の情報処理方法、並びに第２のプログラムおよび第２の記録媒体においては、蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較し、その比較結果に応じて、過去の作動結果または検知結果と、現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力することにより、情報処理装置が高機能化される。
【００２０】
【発明の実施の形態】
図１は、本発明を適用したＳＨＡＲＮシステムの一実施の形態の構成例を示している。
【００２１】
ここで、ＳＨＡＲＮシステムの「ＳＨＡＲＮ」は、センサ(Sensor)、人間(Human)、アクチュエータ(Actuator)、現実世界（自然）(Real)、ネットワーク(Network)それぞれの頭文字を表している。
【００２２】
図１において、ネットワーク１００１は、合成／統合部１００２、駆動制御部１００４、および信号処理部１００６を相互に接続している広帯域のネットワークで、このネットワーク１００１を介することによって、合成／統合部１００２、駆動制御部１００４、および信号処理部１００６それぞれの間で、信号（情報）のやりとりが行われる。なお、ネットワーク１００１は、有線のものであっても、無線のものであっても、さらには、有線と無線の混合のネットワークであってもかまわない。また、このネットワーク１００１が、「ＳＨＡＲＮ」のＮが表すネットワーク(Network)に対応する。
【００２３】
合成／統合部１００２は、操作部１００３₁乃至１００３_Kそれぞれが出力する操作信号を受信し、それらを合成または統合して、ネットワーク１００１に送信する。ここで、合成とは、複数の操作信号を、例えば、重み付け加算すること等によって、各操作信号を分離することができない状態にすることを意味する。また、統合は、例えば、複数の操作信号を多重化すること等によって、各操作信号の分離が可能な状態で１つの信号にまとめることを意味する。
【００２４】
操作部１００３_k（ｋ＝１，２，・・・，Ｋ）は、ユーザＵ_kによって操作され、その操作に対応した操作信号を、合成／統合部１００２に供給する。なお、図１の実施の形態では（後述する図２においても同様）、複数であるＫ個の操作部１００３₁乃至１００３_Kが設けられている。また、この操作部１００３_kを操作するユーザＵ_kが、「ＳＨＡＲＮ」のＨが表す人間(Human)に対応する。
【００２５】
駆動制御部１００４は、ネットワーク１００１を介して供給される信号を受信し、その信号に基づいて、アクチュエータ１００５₁乃至１００５_Mそれぞれを駆動制御する。
【００２６】
アクチュエータ１００５_m（ｍ＝１，２，・・・，Ｍ）は、駆動制御部１００４からの制御にしたがって作動し、これにより、現実世界にある物体に、所定の作用を与える。なお、図１の実施の形態では（後述する図２においても同様）、複数であるＭ個のアクチュエータ１００５₁乃至１００５_Mが設けられている。また、このアクチュエータ１００５_mが、「ＳＨＡＲＮ」のＡが表すアクチュエータ(actuator)に対応し、さらに、アクチュエータ１００５_mが作用する現実世界が、「ＳＨＡＲＮ」のＲが表す現実世界(Real)に対応する。
【００２７】
信号処理部１００６は、センサ１００７₁乃至１００７_Nそれぞれからの検知信号を受信し、必要な信号処理を施して、ネットワーク１００１に送信する。
【００２８】
センサ１００７_n（ｎ＝１，２，・・・，Ｎ）は、アクチュエータ１００５_mが作用する現実世界の状態を検知し、その検知した状態を表す検知信号を、信号処理部１００６に供給する。なお、図１の実施の形態では（後述する図２においても同様）、複数であるＮ個のセンサ１００７₁乃至１００７_Nが設けられている。また、このセンサ１００７_mが、「ＳＨＡＲＮ」のＳが表すセンサ(Sensor)に対応し、さらに、センサ１００７_mが状態を検知する現実世界が、「ＳＨＡＲＮ」のＲが表す現実世界(Real)に対応する。
【００２９】
ここで、以下、適宜、特に、操作部１００３₁乃至１００３_Kを区別する必要がない限り、操作部１００３と記述する。同様に、アクチュエータ１００５₁乃至１００５_Mについても、アクチュエータ１００５と記述し、センサ１００７₁乃至１００７_Nについても、センサ１００７と記述する。
【００３０】
次に、図２は、本発明を適用したＳＨＡＲＮシステムの他の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００３１】
即ち、図１の実施の形態では、操作部１００３は、合成／統合部１００２を介して、アクチュエータ１００５は、駆動制御部１００４を介して、センサ１００７は、信号処理部１００６を介して、それぞれネットワーク１００１に接続されていたが、図２の実施の形態では、操作部１００３、アクチュエータ１００５、およびセンサ１００７が、ネットワーク１００１に直接接続されている。
【００３２】
従って、図２の実施の形態では、操作部１００３が出力する操作信号は、ネットワーク１００１を介して、合成／統合部１００２に供給される。また、駆動制御部１００４が出力する、アクチュエータ１００５を駆動制御するための信号は、ネットワーク１００１を介して、アクチュエータ１００５に供給され、センサ１００７が出力する検知信号は、ネットワーク１００１を介して、信号処理部１００６に供給される。
【００３３】
以上のように構成されるＳＨＡＲＮシステムでは、操作部１００３、アクチュエータ１００５、センサ１００７それぞれどうしの間で、合成／統合部１００２、駆動制御部１００４、および信号処理部１００６を経由し、ネットワーク１００１を介して、各種の信号（情報）が、必要に応じてやりとりされる。さらに、操作部１００３₁乃至１００３_K相互間では合成統合部１００２を、アクチュエータ１００５₁乃至１００５_M相互間では駆動制御部１００４を、センサ１００７相互間では信号処理部１００６を、それぞれ経由し、ネットワーク１００１を介して、各種の信号がやりとりされる。そして、ＳＨＡＲＮシステムでは、アクチュエータ１００５やセンサ１００７が協調して処理を分担することにより、各アクチュエータ１００５_mや各センサ１００７_nの機能が向上する。さらに、各アクチュエータ１００５_mや各センサ１００７_nの機能が向上する結果、システム全体の処理結果として、付加価値を付けたものが得られる。
【００３４】
なお、図１および図２の実施の形態において、操作部１００３の数であるＫ、アクチュエータ１００５の数であるＭ、およびセンサ１００７の数であるＮは、同一の値であっても良いし、異なる値であっても良い。
【００３５】
次に、図３は、ＳＨＡＲＮシステムを適用した手術システムとしてのＳＨＡＲＮ手術システムの構成例を示している。
【００３６】
このＳＨＡＲＮ手術システムは、手術用のマニピュレータシステムであり、スレーブマニピュレータ６１、マスタマニピュレータ６２₁乃至６２_K、ネットワーク６３、およびスーパドクタデータベース部６４から構成されている。
【００３７】
スレーブマニピュレータ６１は、ネットワーク６３を介して供給される信号に基づいて作動し、手術の対象である、例えば、犬等の動物に対して、径皮的手術等を行う。なお、ここでは、スレーブマニピュレータ６１が、動物に対して、径皮的手術を行うものとしているが、その他、スレーブマニピュレータ６１は、動物に対して、例えばトリミング等を行うものとすることが可能である。
【００３８】
マスタマニピュレータ６２_kは、例えば獣医であるユーザＵ_kの操作と、スーパドクタデータベース部６４からネットワーク６３を介して供給される情報とに応じて作動する。また、マスタマニピュレータ６２_kは、その作動の状態を検知し、その検知結果を、ネットワーク６３を介して、スーパドクタデータベース部６４に送信する。
【００３９】
なお、図３の実施の形態では、Ｋ個のマスタマニピュレータ６２₁乃至６２_Kが設けられているが、以下、適宜、これらを特に区別する必要がない限り、マスタマニピュレータ６２と記載する。
【００４０】
ネットワーク６３は、スレーブマニピュレータ６１、マスタマニピュレータ６２₁乃至６２_K、スーパドクタデータベース部６４それぞれの間での通信を可能とする。
【００４１】
スーパドクタデータベース部６４は、ネットワーク６３を介して供給されるマスタマニピュレータ６２の作動の状態を受信し、その状態に基づいて、手術に関する情報を生成する。さらに、スーパドクタデータベース部６４は、その手術に関する情報と、マスタマニピュレータ６２の状態に基づき、制御信号を生成し、ネットワーク６３を経由して、スレーブマニピュレータ６１に供給することによって、スレーブマニピュレータ６１を制御する。
【００４２】
なお、図３の実施の形態においては、マスタマニピュレータ６２が、図１（および図２）の操作部１００３、アクチュエータ１００５、およびセンサ１００７に対応し、ネットワーク６３が、図１のネットワーク１００１に対応し、スーパドクタデータベース部６４が、図１の合成／統合部１００２、駆動制御部１００４、および信号処理部１００６に対応する。
【００４３】
次に、図４は、図３のスレーブマニピュレータ６１とマスタマニピュレータ６２の外観構成例を示している。
【００４４】
即ち、図４（Ａ）は、スレーブマニピュレータ６１の外観構成例を、図４（Ｂ）は、マスタマニピュレータ６２の外観構成例を、それぞれ示している。
【００４５】
図４（Ａ）のスレーブマニピュレータ６１において、手術台１は、長方形状をしており、そこには、手術の対象となっている患者（図４の例では、犬）が寝かされる。また、手術台１には、スレーブマニピュレータ部３Ｌおよびスレーブマニピュレータ部３Ｒが取り付けられている。
【００４６】
スレーブマニピュレータ部３Ｌおよびスレーブマニピュレータ部３Ｒ（以下、個々に区別する必要がない場合、これらをまとめて、スレーブマニピュレータ部３と称する）は、後述するマスタマニピュレータ部８Ｌおよびマスタマニピュレータ部８Ｒのそれぞれにより遠隔操作され、手術台１に寝かされている患者に対する径皮的手術を行う。
【００４７】
スレーブマニピュレータ部３Ｌは、手術台１の左側（手術台１を上から見た場合の左側）に設置され、その先端には、把持鉗子、メス、縫合器、または注射器等の処置具で構成される先端部４Ｌが取り付けられている。
【００４８】
スレーブマニピュレータ部３Ｒは、手術台１の右側に設置され、その先端には、把持鉗子、メス、縫合器、または注射器等の処置具で構成される先端部４Ｒが取り付けられている。
【００４９】
スレーブマニピュレータ部３は、複数のアームからなる関節構造を有している。さらに、スレーブマニピュレータ部３の各関節部分には、アクチュエータ（図４においては図示せず）が配設されており、このアクチュエータが作動することによって、アームが所定の自由度をもって動き、これにより、スレーブマニピュレータ部３は、各種の姿勢をとることができるようになっている。
【００５０】
また、スレーブマニピュレータ部３の関節部分やアームの必要な部分には、先端部４Ｌや４Ｒその他の部分が外部から受ける力やトルク（いずれも、大きさおよび方向を含む）を検出し、さらには、スレーブマニピュレータ部３の姿勢を検出するセンサ（図４においては図示せず）が取り付けられている。
【００５１】
なお、スレーブマニピュレータ３に取り付けられているセンサとアクチュエータは、後述する図７において、センサ７５とアクチュエータ７６として、それぞれ図示してある。
【００５２】
手術台１には、さらに、患者の腹腔内の様子その他を撮像するＣＣＤ(Charge Coupled Device)カメラ６が先端に取り付けられたカメラ部５が設置されている。また、手術台１には、その四隅に、音を集音するためのマイク２₁乃至２₄が取り付けられている。
【００５３】
なお、図４（Ａ）においては、図が煩雑になるのを避けるため、１つのカメラ部５しか図示していないが、カメラ部５は、患部の状態や、スレーブマニピュレータ部３等を、様々な方向から観察することができるように、複数取り付けられている。
【００５４】
また、カメラ部５は、複数のアームからなる関節構造を有しており、さらに、その各関節部分には、図示せぬアクチュエータが配設されている。そして、このアクチュエータが作動することによって、アームが所定の自由度をもって動き、これにより、カメラ部５に取り付けられたＣＣＤカメラ６が各種の視点から撮影（撮像）を行うことができるようになっている。
【００５５】
一方、図４（Ｂ）のマスタマニピュレータ６２において、操作台７には、ユーザＵにより操作される、マスタマニピュレータ部８Ｌ，８Ｒ（以下、適宜、両方含めて、マスタマニピュレータ部８という）がそれぞれ設置されている。
【００５６】
マスタマニピュレータ部８Ｌは、操作台７の左側（操作台７を背にした場合の左側）に設置され、その先端には、ユーザＵの左手により保持されて操作される操作部９Ｌが取り付けられている。
【００５７】
マスタマニピュレータ部８Ｒは、操作台７の右側に設置され、その先端には、ユーザＵの右手により保持されて操作される操作部９Ｒが取り付けられている。
【００５８】
ここで、操作部９Ｌおよび９Ｒ（以下、適宜、両方まとめた、操作部９という）が、図１の操作部１００３に対応する。
【００５９】
マスタマニピュレータ部８は、スレーブマニピュレータ部３と同様に、複数のアームからなる関節構造を有しており、所定の自由度をもって動くようになっている。これにより、マスタマニピュレータ部８Ｌの操作部９Ｌは、ユーザＵの左手による操作によって３次元的に移動し、また、マスタマニピュレータ部８Ｒの操作部９Ｒも、ユーザＵの右手による操作によって３次元的に移動する。
【００６０】
なお、マスタマニピュレータ部８の各関節部分には、アクチュエータ（図４においては図示せず）が配設されており、このアクチュエータが作動することによって、アームが所定の自由度をもって動き、これにより、マスタマニピュレータ部８は、ユーザＵに対して、所定の反力、あるいは付勢力を与える。ここで、この関節部分に設けられたアクチュエータが、図１のアクチュエータ１００５に対応する。
【００６１】
また、マスタマニピュレータ部８の関節部分やアームの必要な部分には、操作部９Ｌや９Ｒその他の部分が外部から受ける力やトルク、さらには、マスタマニピュレータ部８の姿勢を検出（検知）するセンサ（図４においては図示せず）が取り付けられている。ここで、このセンサが、図１のセンサ１００７に対応する。
【００６２】
なお、マスタマニピュレータ６２に取り付けられているセンサとアクチュエータは、後述する図８において、センサ８５とアクチュエータ８６として、それぞれ図示してある。
【００６３】
操作台７の前方（ユーザＵがマスタマニピュレータ部８を操作するために、操作台７の前に立った場合の、ユーザＵの正面方向）には、ユーザＵが、マスタマニピュレータ部８を操作しながら、そこに表示される画像を見ることができるように、モニタ１０が設けられている。モニタ１０には、カメラ部５のＣＣＤカメラ６により撮像された画像が表示される。
【００６４】
モニタ１０の周辺には、スピーカ１１が設けられており、このスピーカ１１からは、スレーブマニピュレータ６１の手術台１に取り付けられたマイク２₁乃至２₄で集音された音が出力される。
【００６５】
さらに、モニタ１０の周辺には、操作パネル１２が設けられている。操作パネル１２には、各種のスイッチやボタン等が取り付けられており、ユーザによって、必要に応じて操作される。なお、操作パネル１２におけるスイッチ等としては、電源スイッチや、モニタ１０に表示される画像を切り換えるスイッチ等がある。
【００６６】
以上のように構成されるマスタマニピュレータ６２を操作するユーザＵは、操作台７を背にして操作台７とモニタ１０の間に立ち、モニタ１０に映し出されるスレーブマニピュレータ部３の先端部４の様子を見ながら、左手で、マスタマニピュレータ部８Ｌの操作部９Ｌを３次元的に移動するように操作し、また右手で、マスタマニピュレータ部８Ｒの操作部９Ｒを３次元的に移動するように操作する。
【００６７】
この場合、ユーザＵによるマスタマニピュレータ部８の操作に対応する操作信号が、ネットワーク６３を介して、スーパドクタデータベース部６４に供給され、スーパドクタデータベース部６４は、その操作信号を処理し、スレーブマニピュレータ６１を制御する制御信号を生成する。この制御信号は、ネットワーク６３を介して、スーパドクタデータベース部６４からスレーブマニピュレータ６１に供給される。スレーブマニピュレータ６１では、スーパドクタデータベース部６４からの制御信号にしたがい、スレーブマニピュレータ部３が作動する。これにより、スレーブマニピュレータ部３Ｌの先端部４Ｌが、マスタマニピュレータ部８Ｌの操作部９Ｌの動きに同期して動くとともに、スレーブマニピュレータ部３Ｒの先端部４Ｒが、マスタマニピュレータ部８Ｒの操作部９Ｒの動きに同期して動き、患者に対する径皮的手術が行われる。
【００６８】
ここで、あるユーザＵ_kが、マスタマニピュレータ部８の操作部９を、所定の状態としての、例えば、それぞれ所定の角度のロール（roll）回転、ピッチ（pitch）回転、およびヨー（yaw）回転した状態で、操作部９の作用点が所定の位置としての座標（ｘ，ｙ，ｚ）で特定される位置を経由するように操作しようとしても、実際の操作と目標とする操作に、ずれが生じる場合がある。
【００６９】
なお、ヨー回転とは、図５に示すように、Ｘ軸およびＹ軸の、Ｚ軸を回転中心とする回転であり、その回転角度は、図中、θ_yで示されている。ピッチ回転とは、Ｚ軸、およびθ_yだけヨー回転したＸ軸（図中、Ｘ’で示す）の、ヨー回転したＹ軸（図中、Ｙ’で示す）を回転中心とする回転であり、その回転角度は、図中、θ_pで示されている。ロール回転とは、θ_yだけヨー回転したＹ軸（図中、Ｙ’で示す）、およびθ_pだけピッチ回転したＺ軸（図中、Ｚ’で示す）の、θ_yだけヨー回転した後さらにθ_pだけピッチ回転したＸ軸（図中、ｘ軸で示す）を回転中心とする回転であり、その回転角度は、図中、θ_rで示されている。
【００７０】
例えば、図６（Ａ）に示すような、所定の位置Ａから、一定のふくらみをもって位置Ｂに至る軌跡（目標軌跡）を描くように、スレーブマニピュレータ部３の先端部４を移動させたい場合、ユーザＵ₁乃至Ｕ_Kそれぞれは、目標軌跡に対応した軌跡（スレーブマニピュレータ部３およびマスタマニピュレータ部８の大きさ等、その構造の違いにもよるが、ここでは、簡単のために同じ軌跡）を描くように、マスタマニピュレータ部８の操作部９を移動させようとする。しかしながら、実際には、ユーザＵ₁乃至Ｕ_Kのマスタマニピュレータ部８（操作部９）に対する操作技術のレベルにもよるが、図６（Ｂ）の実線で示すように、図６（Ｂ）の点線で示される目標軌跡からずれた軌跡（操作軌跡）を描くように、操作部９を移動させてしまうことがある。
【００７１】
ところで、通常、操作軌跡と目標軌跡とのずれは、無作為に発生するため（一定の傾向をもって発生するものではないため）、複数の操作軌跡（ユーザＵ₁乃至Ｕ_Kそれぞれの操作軌跡（図６（Ｂ）））を平均することにより、目標軌跡により近い軌跡を得ることができる。
【００７２】
そこで、スーパドクタデータベース部６４は、マスタマニピュレータ６２₁乃至６２_Kにおける操作内容を合成し（例えば、平均し）、その合成した（平均した）操作内容に基づいて、スレーブマニピュレータ６１（スレーブマニピュレータ部３）を遠隔操作する。これにより、スレーブマニピュレータ６１において、図６（Ｃ）に示すように、目標軌跡に近い軌跡を描くようにスレーブマニピュレータ部３の先端部４を移動させることができるようになっている。
【００７３】
なお、図６（Ａ）中、点線の矢印は、軌跡の方向を示し、図６（Ｂ）中の点線の矢印は、操作部９の移動方向を示し、図６（Ｃ）中の点線の矢印は、先端部４の移動方向を示している。
【００７４】
また、スーパドクタデータベース部６４は、世界の名医による過去の手術の技術的な情報である手術技術情報を、例えば、症状別に記憶しており、その手術技術情報に基づいて、マスタマニピュレータ６２₁乃至６２_Kにおける操作内容を修正する。即ち、スーパドクタデータベース部６４は、マスタマニピュレータ６２₁乃至６２_Kにおける操作内容の他、記憶している手術技術情報にも基づいて、スレーブマニピュレータ６１を制御する。
【００７５】
従って、ＳＨＡＲＮ手術システムでは、世界各地に分散した獣医としてのユーザＵ₁乃至Ｕ_Kそれぞれがマスタマニピュレータ６２₁乃至６２_Kを操作することによる合同手術が、手術技術情報を参照しながら行われることから、最高レベルの手術の実現が可能となる。
【００７６】
次に、図７は、図３のスレーブマニピュレータ６１の電気的構成例を示している。
【００７７】
スレーブマニピュレータ制御装置５１は、ネットワーク６３に接続されており、スレーブマニピュレータ部３を制御する。
【００７８】
即ち、スレーブマニピュレータ制御装置５１は、制御部７１、姿勢遷移機構部７２、制御機構部７３、および通信部７４で構成されている。
【００７９】
制御部７１は、通信部７４を介して受信した、スーパドクタデータベース部６４によってネットワーク６３上に送出された制御信号としての姿勢パラメータを、姿勢遷移機構部７２に供給するとともに、制御機構部７３を介して供給される、スレーブマニピュレータ部３のセンサ７５の出力に基づいて、スレーブマニピュレータ部３の先端部４の姿勢パラメータを算出し、通信部７４を介して、ネットワーク６３に送出する。
【００８０】
ここで、スレーブマニピュレータ部３の先端部４の姿勢パラメータは、例えば、先端部４（作用点）の位置を特定する、Ｘ軸の値、Ｙ軸の値、およびＺ軸の値からなる座標と、先端部４の角度を特定するヨー角θ_y、ピッチ角θ_p、およびロール角θ_r等から構成される。先端部４の位置は、先端部４が移動可能な空間上の所定の位置を原点として定義されたＸＹＺ直交座標系上の座標であり、また、先端部４の角度は、例えば、先端部４について定義したＸＹＺ直交座標系を基準として、図５に示したように定義されるものである。なお、以下、適宜、これらの位置と角度とを両方含めて、姿勢という。
【００８１】
制御部７１は、また、制御機構部７３を介して供給される、スレーブマニピュレータ部３のセンサ７５の出力に基づいて、スレーブマニピュレータ部３の先端部４が外部から受けた力Ｆ1やトルクＴ1を算出し、通信部７４を介して、ネットワーク６３上に送出する。
【００８２】
姿勢遷移機構部７２は、スレーブマニピュレータ部３の先端部４の姿勢を、現在の姿勢から、制御部７１から供給された姿勢パラメータに対応する姿勢に遷移させるための姿勢遷移情報を生成し、これを制御機構部７３に送出する。
【００８３】
制御機構部７３は、姿勢遷移機構部７２からの姿勢遷移情報に従って、制御信号を生成し、これを、スレーブマニピュレータ部３に供給する。スレーブマニピュレータ３のアクチュエータ７６は、制御機構部７３から供給された制御信号に従って駆動し、これにより、先端部４は、スーパドクタデータベース部６４から送信されてきた姿勢パラメータに対応する姿勢をとる。
【００８４】
制御機構部７３は、また、スレーブマニピュレータ部３のセンサ７５の出力を取得し、制御部７１に供給する。
【００８５】
通信部７４は、ネットワーク６３を介しての通信制御を行い、これにより、ネットワーク６３から送信されてくる情報を受信して、制御部７１に供給するとともに、制御部７１から供給される情報を、ネットワーク６３に送信する。
【００８６】
入出力制御装置５２は、ネットワーク６３に接続されており、マイク２₁乃至２₄それぞれで集音された音声データ、およびカメラ６₁乃至６₅それぞれで撮像された画像データを、ネットワーク６３を介して送信する。
【００８７】
ここで、カメラ６₁乃至６₅は、図４のカメラ６に対応するものである。また、カメラ６₁乃至６₅のうち、カメラ６₁乃至６₄は、患者の患部等を、所定の視点方向から撮像する小型のＣＣＤカメラとなっており、カメラ６₅は、スレーブマニピュレータ部４の周囲全体の撮像が可能な全方位カメラとなっている。なお、全方位カメラの詳細については、後述する。
【００８８】
次に、図８は、図３のマスタマニピュレータ６２の電気的構成例を示している。
【００８９】
マスタマニピュレータ制御装置５３は、ネットワーク６３に接続されており、マスタマニピュレータ部８を制御する。
【００９０】
即ち、マスタマニピュレータ制御装置５３は、制御部８１、姿勢遷移機構部８２、制御機構部８３、および通信部８４で構成されている。
【００９１】
制御部８１は、また、通信部８４を介して取得した、後述する基準姿勢パラメータと、力Ｆ1およびトルクＴ1（スレーブマニピュレータ部３の先端部４が外部から受けた力およびトルク）に基づいて、後述する力ＦoおよびトルクＴoを算出し、制御機構部８３に供給する。
【００９２】
さらに、制御部８１は、制御機構部８３を介して供給される、マスタマニピュレータ部８のセンサ８５の出力に基づいて、マスタマニピュレータ部８の操作部９の姿勢パラメータを算出し、通信部８４を介して、ネットワーク６３に送信する。
【００９３】
ここで、マスタマニピュレータ部８の操作部９の姿勢パラメータは、スレーブマニピュレータ部３の先端部４の姿勢パラメータと同様に、操作部９（作用点）の位置を特定する、Ｘ軸の値、Ｙ軸の値、およびＺ軸の値からなる座標と、操作部９の角度を特定するヨー角θ_y、ピッチ角θ_p、およびロール角θ_r等から構成されている。操作部９の位置は、操作部９が移動可能な空間上の所定の位置を原点として定義されたＸＹＺ直交座標系上の座標であり、また、先端部４の角度は、例えば、操作部９について定義したＸＹＺ直交座標系を基準として、図５に示したように定義されるものである。
【００９４】
なお、マスタマニピュレータ部８の操作部９の姿勢パラメータと、上述のスレーブマニピュレータ部３の先端部４の姿勢パラメータとは、同一のＸＹＺ直交座標系において定義しても良いし、異なるＸＹＺ直交座標系において定義しても良い。但し、先端部４と操作部９の姿勢パラメータを、異なるＸＹＺ直交座標系において定義する場合には、スーパドクタデータベース部６４が、その異なるＸＹＺ直交座標系どうしの対応関係を認識している必要がある。
【００９５】
制御機構部８３は、制御部８１から供給された力Ｆ₀とトルクＴ₀に従って、制御信号を生成し、これを、マスタマニピュレータ部８に送出する。マスタマニピュレータ部８のアクチュエータ８６は、この制御信号に従って駆動し、これにより、マスタマニピュレータ部８の操作部９は、制御部８１により算出された力Ｆ₀とトルクＴ₀を、その操作部９を操作しているユーザＵに与える。
【００９６】
制御機構部８３は、また、マスタマニピュレータ部８のセンサ８５の出力を、制御部８１に供給する。
【００９７】
通信部８４は、ネットワーク６３を介しての通信制御を行い、ネットワーク６３から送信されてくる情報を受信して、制御部８１に供給するとともに、制御部８１から供給される情報を、ネットワーク６３に送信する。
【００９８】
入出力制御装置５４は、ネットワーク６３に接続されており、ネットワーク６３から送信されてくる画像データと音声データを受信し、モニタ１０とスピーカ１１にそれぞれ供給する。これにより、モニタ１０では、スレーブマニピュレータ６１のカメラ６₁乃至６₅で撮像された画像が表示され、スピーカ１１では、スレーブマニピュレータ６１のマイク２₁乃至２₄で集音された音声が出力される。
【００９９】
また、入出力制御装置５４は、操作パネル１２が、ユーザＵによって操作されることにより出力する操作信号を受信し、その操作信号に応じて、モニタ１０に表示する画像や、スピーカ１１から出力する音声を切り換える。さらに、入出力制御装置５４は、操作パネル１２からの操作信号を、必要に応じて、ネットワーク６３に送信する。
【０１００】
次に、図９は、図３のスーパドクタデータベース部６４の構成例を示している。
【０１０１】
入出力制御装置２１は、ネットワーク６３に接続されており、ネットワーク６３を介しての通信制御を行うことにより、ネットワーク６３から送信されてくる情報を受信して、姿勢パラメータ登録部２２や姿勢パラメータ制御部２８に供給するとともに、姿勢パラメータ制御部２８から供給される情報を、ネットワーク６３に送信する。
【０１０２】
ここで、入出力制御装置２１がネットワーク６３から受信する情報としては、例えば、スレーブマニピュレータ６１が送信する先端部４の姿勢パラメータや、マスタマニピュレータ６２が送信する操作部９の姿勢パラメータ等がある。
【０１０３】
姿勢パラメータ登録部２２は、入出力制御装置２１から供給される、マスタマニピュレータ６２が送信する操作部９の姿勢パラメータに基づき、マスタマニピュレータ６２が、どのような手術内容の操作をしようとしたのかを認識し、その認識した手術内容と姿勢パラメータとを、手術情報として、手術情報データベース２５に登録する。
【０１０４】
手術経過情報データベース２３は、例えば、ＳＨＡＲＮ手術システムにおける手術を含め、世界各国で行われた手術について、その手術後の患者の状態に関する情報である手術経過情報を、例えば手術別に記憶する。
【０１０５】
手術経過情報登録部２４は、手術経過情報を、各手術別に、手術経過情報データベース２３に登録する。なお、手術経過情報登録部２４は、例えば、世界各国の病院（ＳＨＡＲＮ手術システムを含む）におけるカルテ等の内容が記憶されたデータベースから、ネットワーク６３を介して、手術経過情報を収集し、手術経過情報データベース２３に登録する。また、手術経過情報登録部２４には、所定の操作者が操作を行うことによって、手術経過情報を、直接入力することもでき、この場合、手術経過情報登録部２４は、その直接入力された手術経過情報を、手術経過情報データベース２３に登録する。
【０１０６】
手術情報データベース２５は、姿勢パラメータ登録部２２から供給される手術情報を記憶する。
【０１０７】
更新部２６は、手術情報データベース２５に記憶された手術情報が表す手術内容による手術が、成功したかどうかを、手術経過情報データベース２３の手術経過情報を参照することによって判定し、成功した手術については、その手術情報に基づいて、手術技術情報データベース２７を更新する。
【０１０８】
手術技術情報データベース２７は、更新部２６や手術技術情報登録部３０から供給される、手術の技術的な情報である手術技術情報を記憶する。即ち、手術技術情報データベース２７は、各手術について、症状別に、その手術を行うのに最適な操作部９の操作方法や、操作部９の操作として制限すべき操作内容等を、手術技術情報として記憶する。
【０１０９】
姿勢パラメータ制御部２８は、入出力制御装置２１で受信された、マスタマニピュレータ６２の操作部９の姿勢パラメータを受信し、必要に応じて、検索部２９を介して、手術技術情報を参照しながら、その受信した姿勢パラメータを修正等し、基準姿勢パラメータとして、入出力制御装置２１に供給する。
【０１１０】
検索部２９は、姿勢パラメータ制御部２８の制御に従って、手術技術情報データベース２７に記憶された手術技術情報を検索し、その検索結果を、姿勢パラメータ制御部２８に供給する。
【０１１１】
手術技術情報登録部３０は、例えば、所定の操作者によって操作され、その操作に対応する手術技術情報を、手術技術情報データベース２７に登録する。
【０１１２】
次に、図１０のフローチャートを参照して、図７のスレーブマニピュレータ６１の処理について説明する。
【０１１３】
ステップＳ１において、入出力制御装置５２は、マイク２₁乃至２₄、およびカメラ６₁乃至６₅を動作状態にし、マイク２₁乃至２₄それぞれで集音された音声データ、およびカメラ６₁乃至６₅それぞれで撮像された画像データの送信を開始する。
【０１１４】
即ち、入出力制御装置５２は、マイク２₁乃至２₄それぞれで集音された音声データ、およびカメラ６₁乃至６₅それぞれで撮像された画像データを受信し、ネットワーク６３を介して、スーパドクタデータベース部６４に送信する。なお、この画像データと音声データの送信は、その後、例えば、マスタマニピュレータ６２（図８）の操作パネル１２が、その送信を停止するように操作されるまで続行される。
【０１１５】
さらに、ステップＳ１では、スレーブマニピュレータ制御装置５１が、スレーブマニピュレータ部３の先端部４の姿勢パラメータを、スーパドクタデータベース部６４に送信する。
【０１１６】
即ち、スレーブマニピュレータ制御装置５１において、制御機構部７３は、スレーブマニピュレータ部３のセンサ７５を動作状態にし、その出力を受信して、制御部７１に供給する。制御部７１は、制御機構部７３から供給されるセンサ７５の出力に基づいて、スレーブマニピュレータ部３の先端部４の姿勢パラメータを求め、通信部７４に供給する。通信部７４は、制御部７１からの姿勢パラメータを、ネットワーク６３を介して、スーパドクタデータベース部６４に送信する。
【０１１７】
その後、後述するように、スーパドクタデータベース部６４から、ネットワーク６３を介して、姿勢パラメータが送信されてくるので、スレーブマニピュレータ制御装置５１の通信部７４は、スーパドクタデータベース部６４から姿勢パラメータが送信されてくるのを待って、ステップＳ２に進み、その姿勢パラメータを受信する。
【０１１８】
この姿勢パラメータは、通信部７４から制御部７１に供給され、制御部７１は、ステップＳ３において、スレーブマニピュレータ部３の先端部４が、その姿勢パラメータに対応する姿勢をとるように、スレーブマニピュレータ部３を制御する。
【０１１９】
具体的には、スレーブマニピュレータ制御装置５１の制御部７１は、通信部７４からの姿勢パラメータを、姿勢遷移機構部７２に供給する。姿勢遷移機構部７２は、スレーブマニピュレータ部３の先端部４の姿勢を、現在の姿勢から、制御部７１から供給された姿勢パラメータに対応する姿勢に遷移させるための姿勢遷移情報を生成し、制御機構部７３に供給する。
【０１２０】
制御機構部７３は、姿勢遷移機構部７２からの姿勢遷移情報に従って制御信号を生成し、これを、スレーブマニピュレータ部３に送出する。スレーブマニピュレータ部３では、アクチュエータ７６が、制御機構部７３からの制御信号に従って駆動し、これにより、先端部４は、その姿勢を変化させ、通信部７４で受信された姿勢パラメータ、即ち、スーパドクタデータベース部６４から送信されてきた姿勢パラメータに対応する姿勢をとる。
【０１２１】
そして、ステップＳ４に進み、スレーブマニピュレータ制御装置５１は、ステップＳ３での制御で、スレーブマニピュレータ部３の先端部４が姿勢を変化させることで、先端部４が外部（患者の腹腔内）から受けた力Ｆ1とトルクＴ1を、その先端部４の姿勢パラメータとともに、ネットワーク６３を介して、スーパドクタデータベース部６４に送信する。
【０１２２】
即ち、スレーブマニピュレータ制御装置５１において、制御機構部７３は、センサ７５の出力を、制御部７１に供給し、制御部７１は、そのセンサ７５の出力から、先端部４が外部から受けた力Ｆ1とトルクＴ1、および先端部４の姿勢パラメータを算出する。さらに、制御部７１は、この力Ｆ1とトルクＴ1、および姿勢パラメータを、通信部７４に供給し、通信部７４は、その力Ｆ1とトルクＴ1、および姿勢パラメータを、ネットワーク６３を介して、スーパドクタデータベース部６４に送信する。
【０１２３】
その後は、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【０１２４】
従って、スレーブマニピュレータ６１においては、スレーブマニピュレータ部３の先端部４が、スーパドクタデータベース部６４から送信されてくる姿勢パラメータに対応する姿勢に変化していくことによって、患者に対する手術が行われる。
【０１２５】
次に、図１１のフローチャートを参照して、図８のマスタマニピュレータ６２の処理について説明する。
【０１２６】
後述するように、スーパドクタデータベース部６４は、スレーブマニピュレータ６１から送信されてくる画像データと音声データを、ネットワーク６３を介して、マスタマニピュレータ６２に送信してくるので、ステップＳ２１では、その画像データと音声データの受信が開始される。
【０１２７】
即ち、ステップＳ２１では、入出力制御装置５４は、ネットワーク６３を介して、スーパドクタデータベース部６４から送信されてくる画像データと音声データを受信し、画像データを、モニタ１０に供給するとともに、音声データをスピーカ１１に供給する。これにより、モニタ１０には、スレーブマニピュレータ６１（図７）のカメラ６₁乃至６₅で撮像された画像が表示され、また、スピーカ１１からは、スレーブマニピュレータ６１のマイク２₁乃至２₄で集音された音が出力される。
【０１２８】
さらに、後述するように、スーパドクタデータベース部６４は、スレーブマニピュレータ６１から送信されてくる、先端部４の姿勢パラメータを、ネットワーク６３を介して、マスタマニピュレータ６２に送信してくるので、ステップＳ２１では、マスタマニピュレータ制御装置５３は、その姿勢パラメータを受信し、その姿勢パラメータに基づいて、マスタマニピュレータ部８の操作部９の姿勢を制御する。
【０１２９】
即ち、マスタマニピュレータ制御装置５３において、通信部８４は、ネットワーク６３を介して、スーパドクタデータベース部６４から送信されてくる、スレーブマニピュレータ部３の先端部４の姿勢パラメータを受信し、制御部８１に供給する。制御部８１は、通信部８４からの姿勢パラメータを受信し、姿勢遷移機構部８２に供給する。姿勢遷移機構部８２は、マスタマニピュレータ部８の操作部９の姿勢を、現在の姿勢から、制御部８１から供給された姿勢パラメータに対応する姿勢に遷移させるための姿勢遷移情報を生成し、制御機構部８３に供給する。制御機構部８３は、姿勢遷移機構部８２からの姿勢遷移情報に従って制御信号を生成し、これを、マスタマニピュレータ部８に送出する。マスタマニピュレータ部８のアクチュエータ８６は、この制御信号に従って駆動し、これにより、操作部９は、その姿勢を変化させ、スレーブマニピュレータ部３の先端部４の姿勢と同一の姿勢をとる。
【０１３０】
その後、ステップＳ２２において、マスタマニピュレータ部８の操作部９の姿勢パラメータが、ネットワーク６３を介して、スーパドクタデータベース部６４に送信される。
【０１３１】
具体的には、マスタマニピュレータ制御装置５３において、制御機構部８３は、マスタマニピュレータ部８のセンサ８５の出力を受信し、制御部８１に供給する。制御部８１は、センサ８５の出力から、マスタマニピュレータ部８の操作部９の姿勢パラメータを算出し、通信部８４に供給する。通信部８４は、制御部８１からの操作部９の姿勢パラメータを、ネットワーク６３を介して、スーパドクタデータベース部６４に送信する。
【０１３２】
ここで、このステップＳ２２の処理によって、ユーザＵがマスタマニピュレータ部８の操作部９を操作することにより所定の姿勢にされた操作部９について、その姿勢を表す姿勢パラメータが、スーパドクタデータベース部６４に送信される。
【０１３３】
そして、ステップＳ２３に進み、マスタマニピュレータ制御装置５３の通信部８４は、ネットワーク６３を介してスーパドクタデータベース部６４から送信されてくる、スレーブマニピュレータ部３の先端部４の姿勢パラメータを、基準姿勢パラメータとして受信し、ステップＳ２４に進む。ステップＳ２４では、マスタマニピュレータ制御装置５３の通信部８４は、スーパドクタデータベース部６４から、先端部４の姿勢パラメータとともに送信されてくる、先端部４が外部から受けた力Ｆ1とトルクＴ1を受信する。この先端部４についての姿勢パラメータ、および力Ｆ1とトルクＴ1は、通信部８４から制御部８１に供給され、ステップＳ２４からＳ２５に進む。
【０１３４】
ステップＳ２５では、制御部８１は、ステップＳ２２で取得した操作部９の姿勢パラメータと、ステップＳ２３で取得した基準姿勢パラメータの差を算出し、ステップＳ２６に進む。
【０１３５】
ステップＳ２６では、制御部８１は、ステップＳ２５で算出した、操作部９の姿勢パラメータと基準姿勢パラメータとの差（ずれ）の大きさに比例した大きさで、ずれの方向とは逆方向の力Ｆ2とトルクＴ2を算出し、ステップＳ２７に進む。
【０１３６】
ステップＳ２７では、制御部８１は、ステップＳ２６で算出した力Ｆ2とトルクＴ2のそれぞれに、ステップＳ２４で取得した力Ｆ1およびトルクＴ1に比例する力とトルクを加算し、操作部９を操作するユーザＵに知覚させる力ＦoおよびトルクＴoを算出する。すなわち、制御部８１は、例えば、式（１）に従って、力ＦoおよびトルクＴoを算出する。
【０１３７】
【数１】

【０１３８】
なお、例えば、マスタマニピュレータ部８の操作部９を動かすのに、スレーブマニピュレータ部３の先端部４を直接動かす場合に比べ、より大きな力が必要なとき（いわゆる重いとき）、αおよびβは、１より大きい値となり、また、操作部９を動かすのに、先端部４を動かす場合に比べ、小さな力でよい場合（いわゆる軽いとき）、αおよびβは、１より小さい値となる。また、同じ力でそれらを動かす場合、αおよびβは、１となる。
【０１３９】
その後、ステップＳ２８において、マスタマニピュレータ部８の操作部９を操作するユーザＵに、ステップＳ２７で算出された力ＦoとトルクＴoを知覚させるように、マスタマニピュレータ部８が制御される。
【０１４０】
即ち、制御部８１は、ステップＳ２３で得た基準姿勢パラメータと、ステップＳ２６で得た力ＦoおよびトルクＴoを、姿勢遷移機構部８２に供給する。姿勢遷移機構部８２は、マスタマニピュレータ部８の操作部９の姿勢を、現在の姿勢から、制御部８１から供給された基準姿勢パラメータに対応する姿勢に遷移させるための姿勢遷移情報であって、さらに、力ＦoおよびトルクＴoをユーザに知覚させることのできる加速度（角加速度を含む）の情報を含むものを生成し、制御機構部８３に供給する。制御機構部８３は、姿勢遷移機構部８２からの姿勢遷移情報に従って制御信号を生成し、これを、マスタマニピュレータ部８に送出する。マスタマニピュレータ部８のアクチュエータ８６は、この制御信号に従って駆動し、これにより、操作部９は、その姿勢を、所定の加速度で変化させ、ユーザＵに力ＦoおよびトルクＴoを知覚させながら、スレーブマニピュレータ部３の先端部４の姿勢と同一の姿勢をとる。
【０１４１】
その後は、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１４２】
以上のように、ユーザＵに知覚させる力ＦoおよびトルクＴoを、ステップＳ２５で算出されたずれの大きさに比例した大きさで、ずれの方向とは逆方向の力Ｆ2およびトルクＴ2と、スレーブマニピュレータ部３の先端部４が受けたに力Ｆ1とトルクＴ1に比例する力およびトルクとが加算されたものとしたので、ユーザＵに、操作部９の姿勢パラメータと基準姿勢パラメータとのずれ、およびスレーブマニピュレータ部３の先端部４が受ける反力を意識させることができる。
【０１４３】
従って、ユーザＵは、マスタマニピュレータ部８の操作部９を、基準姿勢パラメータに対応する姿勢と異なる姿勢にするように操作した場合には、その姿勢の異なり具合が大きいほど、大きな反力を受けるので、自身の操作が、スレーブマニピュレータ部３の先端部４が実際にとった姿勢とどの程度異なるかを、いわば感覚的に認識することができる。
【０１４４】
なお、ユーザＵには、例えば、力Ｆ2とトルクＴ2のみを知覚させるようにすることもできる。
【０１４５】
次に、図１２のフローチャートを参照して、図９のスーパドクタデータベース部６４の処理について説明する。
【０１４６】
まず最初に、ステップＳ４１において、入出力制御装置２１は、スレーブマニピュレータ６１からの画像データおよび音声データの受信と、その画像データおよび音声データのマスタマニピュレータ６２への送信を開始する。
【０１４７】
即ち、図１０で説明したように、ステップＳ１において、スレーブマニピュレータ６１（図７）は、カメラ６₁乃至６₅で撮像された画像データと、マイク２₁乃至２₄で集音された音声データの、スーパドクタデータベース部６４への送信を開始するので、スーパドクタデータベース部６４の入出力制御装置２１は、そのようにしてスレーブマニピュレータ６１からネットワーク６３を介して送信されてくる画像データと音声データの受信を開始する。
【０１４８】
さらに、入出力制御装置２１は、スレーブマニピュレータ６１から受信した画像データと音声データの、マスタマニピュレータ６２への送信を開始する。ここで、マスタマニピュレータ６２では、このようにして、入出力制御装置２１から送信される画像データと音声データの受信が、上述の図１１のステップＳ２１で開始される。
【０１４９】
また、ステップＳ４１では、入出力制御装置２１は、図１０のステップＳ１においてスレーブマニピュレータ６１から送信されてくる姿勢パラメータ（スレーブマニピュレータ部３の先端部４の姿勢パラメータ）を受信し、その姿勢パラメータを、基準姿勢パラメータとして、マスタマニピュレータ６２に送信する。ここで、この基準姿勢パラメータは、マスタマニピュレータ６２において、上述の図１１のステップＳ２１で受信され、これにより、操作部９（マスタマニピュレータ部８の操作部９）は、その基準パラメータに対応する姿勢、即ち、スレーブマニピュレータ部３の先端部４の姿勢と同一の姿勢をとる。
【０１５０】
その後、ステップＳ４２に進み、入出力制御装置２１は、スレーブマニピュレータ６１から、その先端部４についての姿勢パラメータと、力Ｆ1およびトルクＴ1が、図１０のステップＳ４で送信されてくるのを待って受信し、その姿勢パラメータを基準姿勢パラメータとして、力Ｆ1およびトルクＴ1とともに、マスタマニピュレータ６２に送信する。ここで、マスタマニピュレータ６２では、先端部４について姿勢パラメータは、図１１のステップＳ２３で受信され、先端部４についての力Ｆ1およびトルクＴ1は、図１１のステップＳ２４で受信される。
【０１５１】
そして、ステップＳ４３に進み、入出力制御装置２１は、マスタマニピュレータ６２₁乃至６２_Kそれぞれが図１１のステップＳ２２で送信してくる操作部９の姿勢パラメータを受信し、姿勢パラメータ登録部２２および姿勢パラメータ制御部２８に供給して、ステップＳ４４に進む。
【０１５２】
ステップＳ４４では、姿勢パラメータ登録部２２は、マスタマニピュレータ６２₁乃至６２_Kそれぞれの姿勢パラメータに基づいて、ユーザＵ₁乃至Ｕ_Kが行おうとしている手術内容を認識する。さらに、姿勢パラメータ登録部２２は、その手術内容と対応する姿勢パラメータを、手術情報データベース２５に供給して登録し、ステップＳ４５に進む。
【０１５３】
ステップＳ４５では、姿勢パラメータ制御部２８が、マスタマニピュレータ６２₁乃至６２_Kそれぞれからの操作部９の姿勢パラメータについて分散を計算し、その分散が所定の閾値以上であるかどうかを判定する。
【０１５４】
ステップＳ４５において、マスタマニピュレータ６２₁乃至６２_Kそれぞれからの操作部９の姿勢パラメータの分散が所定の閾値以上でないと判定された場合、即ち、マスタマニピュレータ６２₁乃至６２_KそれぞれのユーザＵ₁乃至Ｕ_Kが、ほぼ同じような操作をした場合、ステップＳ４６に進み、姿勢パラメータ制御部２８は、マスタマニピュレータ６２₁乃至６２_Kそれぞれからの姿勢パラメータの、例えば平均値等の重み付け加算値を求め、ステップＳ４７に進む。
【０１５５】
ここで、複数の姿勢パラメータの重み付け加算値としては、その複数の姿勢パラメータそれぞれに対する重みを同一にした平均値を計算する他、複数の姿勢パラメータそれぞれに対する重みを異なる値にしたものを計算することも可能である。即ち、姿勢パラメータに対する重みは、例えば、その姿勢パラメータを送信してきたマスタマニピュレータ６２_kを操作するユーザＵ_kの熟練度等に基づいて設定することが可能である。なお、熟練度等に基づく重みは、例えば、マスタマニピュレータ６２（図８）の操作パネル１２を操作すること等によって設定することが可能である。
【０１５６】
ステップＳ４７では、姿勢パラメータ制御部２８は、検索部２９に手術技術情報データベース２７を検索させることにより、ステップＳ４６で求められた重み付け加算値としての姿勢パラメータによる手術を制限するような手術技術情報が、手術技術情報データベース２７に登録されているかどうかを判定する。
【０１５７】
ステップＳ４７において、重み付け加算値である姿勢パラメータによる手術を制限するような手術技術情報が、手術技術情報データベース２７に登録されていないと判定された場合、ステップＳ４８をスキップして、ステップＳ４９に進み、姿勢パラメータ制御部２８は、重み付け加算値である姿勢パラメータを、入出力制御装置２１に供給し、入出力制御装置２１は、姿勢パラメータ制御部２８からの姿勢パラメータを、スレーブマニピュレータ６１に送信する。その後、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１５８】
従って、この場合、スレーブマニピュレータ６１の先端部４の動きは、マスタマニピュレータ６２₁乃至６２_KのユーザＵ₁乃至Ｕ_Kそれぞれによる操作を平均化したものに従うことなる。
【０１５９】
また、ステップＳ４７において、重み付け加算値である姿勢パラメータによる手術を制限する手術技術情報が、手術技術データベース２７に登録されていると判定された場合、即ち、重み付け加算値である姿勢パラメータによる手術の内容が、例えば、過去に前例のないものである場合や、あるいは、過去に、良い手術経過が得られなかったものである場合、ステップＳ４８に進み、姿勢パラメータ制御部２８は、重み付け加算値である姿勢パラメータを、その姿勢パラメータによる手術を制限する手術技術情報に基づいて修正し、その手術技術情報による制限の範囲内のものとする。そして、ステップＳ４９に進み、姿勢パラメータ制御部２８は、修正後の姿勢パラメータを、入出力制御装置２１を介して、スレーブマニピュレータ６１に送信して、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０１６０】
従って、この場合、スレーブマニピュレータ６１の先端部４の動きは、マスタマニピュレータ６２₁乃至６２_KのユーザＵ₁乃至Ｕ_Kそれぞれによる操作を平均化したものを手術技術情報に基づいて修正したものに従うことなる。
【０１６１】
一方、ステップＳ４５において、マスタマニピュレータ６２₁乃至６２_Kそれぞれからの操作部９の姿勢パラメータの分散が所定の閾値以上であると判定された場合、即ち、マスタマニピュレータ６２₁乃至６２_KそれぞれのユーザＵ₁乃至Ｕ_Kのうちの１以上が、他のユーザと同じとはいえない程度の異なる操作をした場合、ステップＳ５０に進み、姿勢パラメータ制御部２８は、マスタマニピュレータ６２₁乃至６２_Kそれぞれからの操作部９の姿勢パラメータの中から、他の姿勢パラメータと異なる姿勢パラメータ（分散を大きくしている原因となっている姿勢パラメータ）（以下、適宜、特異パラメータという）を検出する。
【０１６２】
なお、ここでは、説明を簡単にするために、特異パラメータとなる姿勢パラメータは１つとする。
【０１６３】
ステップＳ５０において特異パラメータが検出されると、ステップＳ５１に進み、姿勢パラメータ制御部２８は、更新部２６を制御することにより、手術情報データベース２５に記憶された、特異パラメータに対応する手術情報が表す手術内容による手術が、過去に成功したことがあるかどうかを、手術経過情報データベース２３の手術経過情報を参照させることによって判定させる。
【０１６４】
ステップＳ５１において、特異パラメータに対応する手術情報が表す手術内容による手術が、過去に成功したことがないと判定された場合、ステップＳ５２に進み、姿勢パラメータ制御部２８は、その特異パラメータが、操作部９の誤操作等によるものであるとして、マスタマニピュレータ６２₁乃至６２_Kそれぞれからの操作部９の姿勢パラメータのうちの、特異パラメータを除いたものの、例えば平均値等の重み付け加算値を求め、ステップＳ４７に進む。
【０１６５】
その後、ステップＳ４７乃至Ｓ４９において、マスタマニピュレータ６２₁乃至６２_Kそれぞれからの操作部９の姿勢パラメータのうちの、特異パラメータを除いたものの重み付け加算値を対象に、上述した場合と同様の処理が行われ、ステップＳ４２に戻る。
【０１６６】
従って、この場合、スレーブマニピュレータ６１の先端部４の動きは、マスタマニピュレータ６２₁乃至６２_KのユーザＵ₁乃至Ｕ_Kそれぞれによる操作のうち、特に他の操作と異なった操作を除いたものを平均化したもの（あるいは、その平均化した操作を手術技術情報に基づいて修正したもの）に従うことなる。
【０１６７】
一方、ステップＳ５１において、特異パラメータに対応する手術情報が表す手術内容による手術が、過去に成功したことがあると判定された場合、ステップＳ５３に進み、姿勢パラメータ制御部２８は、更新部２６を制御することにより、手術技術情報データベース２７を更新させる。
【０１６８】
即ち、この場合、更新部２６は、特異パラメータに対応する手術情報が表す手術内容に基づいて、その手術を行うのに最適な操作部９の操作方法（手順）や、操作部９の操作として制限すべき操作内容等を、手術技術情報として生成し、手術技術情報データベース２７に供給して記憶させることにより、手術技術情報データベース２７を更新する。
【０１６９】
そして、ステップＳ５４に進み、姿勢パラメータ制御部２８は、入出力制御装置２１を制御することにより、特異パラメータである姿勢パラメータを、スレーブマニピュレータ６１に送信し、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０１７０】
従って、この場合、スレーブマニピュレータ６１の先端部４の動きは、マスタマニピュレータ６２₁乃至６２_KのユーザＵ₁乃至Ｕ_Kそれぞれによる操作のうち、特に他の操作と異なった操作に従うことになる。
【０１７１】
即ち、マスタマニピュレータ６２₁乃至６２_KのユーザＵ₁乃至Ｕ_Kのうちの一人のユーザが、他のユーザとは異なる操作（ここでは、同一の操作と見なすことができない程度の異なる操作）を行ったが、そのような操作による手術が成功した前例がある場合には、スレーブマニピュレータ６１の先端部４の動きは、他のユーザとは異なる操作を行った一人のユーザによる操作に従うことになる。
【０１７２】
その結果、例えば、ユーザＵ₁乃至Ｕ_Kのうちの一人のユーザが、他のユーザに比較して、手術技術の熟練した、いわば名医である場合において、その名医であるユーザが、最新の手術技術に基づき、他のユーザと異なる操作をしたときには、スレーブマニピュレータ６１の先端部４は、その名医のユーザの操作に対応して動くことになる。
【０１７３】
従って、図３のＳＨＡＲＮ手術システムでは、マスタマニピュレータ６２₁乃至６２_Kそれぞれの操作に基づく姿勢パラメータによって、スーパドクタデータベース部６４における手術技術情報データベース２７の手術技術情報が、より良いものに更新されていく。さらに、スーパドクタデータベース部６４では、マスタマニピュレータ６２₁乃至６２_Kそれぞれの操作に基づく姿勢パラメータと、手術技術情報から、スレーブマニピュレータ６１に提供する姿勢パラメータ（基準姿勢パラメータ）が生成され、スレーブマニピュレータ６１では、その基準姿勢パラメータにしたがって先端部４の姿勢が制御されることによって、患者の手術が行われる一方、マスタマニピュレータ６２₁乃至６２_Kでは、それぞれの操作と、基準姿勢パラメータとのずれを、いわば矯正するように、操作部９を操作するユーザＵ₁乃至Ｕ_Kに負荷がかけられる。
【０１７４】
その結果、スレーブマニピュレータ６１では、多数のユーザとしての医者による技術と、過去の手術によって構築され、さらに更新されていく手術技術情報とに基づく、いわば最高レベルの手術が行われることになる。
【０１７５】
また、マスタマニピュレータ６２では、ユーザである獣医の操作が、実際の手術としての先端部４の動きに一致するように矯正されるので、ユーザである獣医の手術技術の向上を、短時間で図ることができる。
【０１７６】
即ち、図３のＳＨＡＲＮ手術システムでは、図１３に示すように、マスタマニピュレータ６２₁乃至６２_Kそれぞれの操作に基づいて、スーパドクタデータベース部６４の手術技術情報が、より良いものに更新されていき、さらに、マスタマニピュレータ６２₁乃至６２_Kにおいては、手術技術情報の、いわばフィードバックを受け、ユーザの操作が、手術技術情報に適合するように矯正される。
【０１７７】
従って、マスタマニピュレータ６２₁乃至６２_Kそれぞれにおいては、それ単独の場合ではできなかった、ユーザである医者の技術を短時間で向上させるという高機能が実現されているということができるが、これは、マスタマニピュレータ６２₁乃至６２_Kと、スーパドクタデータベース部６４とが、図１３において点線で囲むように、まるで１つの装置であるかのようになって、マスタマニピュレータ６２₁乃至６２_Kそれぞれの操作に基づいて、スーパドクタデータベース部６４の手術技術情報が、より良いものに更新されることにより、結果として、マスタマニピュレータ６２₁乃至６２_Kそれぞれが、手術技術情報を、より良いものに更新するという処理を、互いに協調しながら分担することとなっているからである。
【０１７８】
これに対して、スーパドクタデータベース部６４が、単に、マスタマニピュレータ６２₁乃至６２_Kそれぞれの操作内容を記憶し、マスタマニピュレータ６２₁乃至６２_Kそれぞれにフィードバックするというだけでは、マスタマニピュレータ６２₁乃至６２_Kそれぞれが、ユーザによる操作内容を、スーパドクタデータベース部６４に供給するという処理を、単に分担しているだけとなり、マスタマニピュレータ６２₁乃至６２_Kそれぞれにおいて、ユーザである獣医の技術を向上させるという高機能を実現することはできない。
【０１７９】
次に、図１４は、ＳＨＡＲＮシステムを適用したデザインシステムとしてのＳＨＡＲＮデザインシステムの構成例を示している。
【０１８０】
このＳＨＡＲＮデザインシステムは、デザイン用のマニピュレータシステムであり、擬似スレーブマニピュレータ４１、マスタマニピュレータ４２₁乃至４２_K、ネットワーク４３、およびスーパデザイナデータベース部４４から構成されている。
【０１８１】
擬似スレーブマニピュレータ４１は、ネットワーク４３を介して供給される信号に基づいて作動し、デザインの対象に対して、所定のデザインを施す。なお、ここでは、例えば、ＰＤＡ(Personal Digital Assistant)を、デザインの対象とする。但し、デザインの対象は、ＰＤＡに限定されるものではない。
【０１８２】
マスタマニピュレータ４２_kは、ユーザＵ_kの操作と、スーパデザイナデータベース部４４からネットワーク４３を介して供給される情報とに応じて作動する。また、マスタマニピュレータ４２_kは、その作動の状態を検知し、その検知結果を、ネットワーク４３を介して、スーパデザイナデータベース部４４に送信する。
【０１８３】
なお、図１４の実施の形態では、Ｋ個のマスタマニピュレータ４２₁乃至４２_Kが設けられているが、以下、適宜、これらを特に区別する必要がない限り、マスタマニピュレータ４２と記載する。
【０１８４】
ネットワーク４３は、擬似スレーブマニピュレータ４１、マスタマニピュレータ４２₁乃至４２_K、スーパデザイナデータベース部４４それぞれの間での通信を可能とする。
【０１８５】
スーパデザイナデータベース部４４は、ネットワーク４３を介して供給されるマスタマニピュレータ４２の作動の状態を受信し、その状態に基づいて、デザインに関する情報を生成する。さらに、スーパデザイナデータベース部４４は、そのデザインに関する情報と、マスタマニピュレータ４２の状態に基づき、制御信号を生成し、ネットワーク４３を経由して、擬似スレーブマニピュレータ４１に供給することによって、擬似スレーブマニピュレータ４１を制御する。
【０１８６】
なお、図１４の実施の形態においては、マスタマニピュレータ４２が、図１（および図２）の操作部１００３、アクチュエータ１００５、およびセンサ１００７に対応し、ネットワーク４３が、図１のネットワーク１００１に対応し、スーパデザイナデータベース部４４が、図１の合成／統合部１００２、駆動制御部１００４、および信号処理部１００６に対応する。
【０１８７】
また、図１４の実施の形態においては、擬似スレーブマニピュレータ４１は、実際の作業を行うマニピュレータではなく、マスタマニピュレータ４２にしたがって、仮想的に作業を行うマニピュレータとなっている。但し、擬似スレーブマニピュレータ４１は、実際の作業を行うマニピュレータとして構成することも可能である。
【０１８８】
次に、図１５は、図１４の擬似スレーブマニピュレータ４１の電気的構成例を示している。なお、図中、図７のスレーブマニピュレータ６１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８９】
擬似スレーブマニピュレータ部７７は、図７のスレーブマニピュレータ部３と擬似的に同一の機能を有するもので、例えば、ＣＰＵがプログラムを実行することにより実現される。そして、擬似スレーブマニピュレータ部７７は、スレーブマニピュレータ制御装置５１の制御にしたがい、デザインの対象に対して、各種の作用を仮想的に施す。
【０１９０】
即ち、擬似スレーブマニピュレータ部７７は、デザイン情報データベース７８に記憶されている、ＰＤＡのデザイン用のデータから特定される仮想的なＰＤＡに対して、スレーブマニピュレータ制御装置５１の制御にしたがい、仮想的な先端部（図４（Ａ）のスレーブマニピュレータ６１における先端部４Ｌと４Ｒに相当する）によって各種の処理を施す。
【０１９１】
また、擬似スレーブマニピュレータ部７７は、図７のスレーブマニピュレータ部３と同様に、仮想的なＰＤＡに対し、仮想的な先端部によって操作を施すことにより、その仮想的な先端部が、仮想的なＰＤＡから受ける力Ｆ1やトルクＴ1等に対応する信号、即ち、図７のスレーブマニピュレータ部３のセンサ７５の出力に対応する信号を計算し、制御機構部７３に供給する。
【０１９２】
デザイン情報データベース７８は、仮想的なＰＤＡの外観構成を特定するためのデータとしてのデザイン情報を記憶する。即ち、デザイン情報データベース７８は、マスタマニピュレータ４２₁乃至４２_KのユーザＵ₁乃至Ｕ_Kそれぞれが、マスタマニピュレータ４２₁乃至４２_Kを操作することによってデザインしたＰＤＡのデザイン情報を記憶する。
【０１９３】
画像生成部７９は、擬似スレーブマニピュレータ部７７の内部データに基づいて、仮想的な先端部等の状態を表す画像データを生成する。さらに、画像生成部７９は、デザイン情報データベース７８に記憶されたデザイン情報から、仮想的なＰＤＡの画像データを生成する。そして、画像生成部７９は、仮想的な先端部等の画像データと、仮想的なＰＤＡの画像データとを合成し、これにより、擬似スレーブマニピュレータ部７７が実際のマニピュレータであり、実際のＰＤＡに対して作業を行っていれば、図７のスレーブマニピュレータ６１のカメラ６₁乃至６₅によって撮像されたであろう画像の画像データを生成する。この画像データは、画像生成部７９から入出力制御装置８０に供給される。
【０１９４】
入出力制御装置８０は、ネットワーク４３に接続されており、画像生成部７９から供給される画像データを、ネットワーク４３を介して、スーパデザイナデータベース部４４に送信する。また、入出力制御装置８０は、デザイン情報データベース７８に記憶された、ユーザＵ₁乃至Ｕ_KそれぞれがデザインしたＰＤＡについてのデザイン情報を、ネットワーク４３を介して、スーパデザイナデータベース部４４に送信する。
【０１９５】
次に、図１６は、図１４のマスタマニピュレータ４２の電気的構成例を示している。なお、図中、図８のマスタマニピュレータ６２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１４のマスタマニピュレータ４２は、スピーカ１１が設けられていない他は、図８のマスタマニピュレータ６２と同様に構成されている。従って、図示しないが、マスタマニピュレータ４２の外観構成も、図４（Ｂ）に示したマスタマニピュレータ６２の外観構成と基本的に同一である。
【０１９６】
次に、図１７は、図１４のスーパデザイナデータベース部４４の構成例を示している。なお、図中、図９のスーパドクタデータベース部６４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１９７】
デザイン情報登録部９１は、図１５の擬似スレーブマニピュレータ４１の入出力制御装置８０がネットワーク４３を介して送信してくる、デザイン情報データベース７８に記憶された、ユーザＵ₁乃至Ｕ_KそれぞれがデザインしたＰＤＡについてのデザイン情報を受信し、デザイン情報データベース９２に供給して登録する。なお、ユーザＵ_kがデザインしたＰＤＡについてのデザイン情報の、擬似スレーブマニピュレータ４１からスーパデザイナデータベース部４４への転送は、例えば、ユーザＵ_kが、自身のＰＤＡのデザインを登録するように、マスタマニピュレータ４２の操作部１２を操作することによって行われる。
【０１９８】
デザイン情報データベース９２は、デザイン情報登録部９１からのデザイン情報を記憶する。
【０１９９】
デザイン評価部９３は、デザイン情報データベース９２に記憶されたデザイン情報によって特定されるＰＤＡのデザインを評価する。
【０２００】
即ち、デザイン評価部９３は、例えば、デザイン情報データベース９２に記憶されたデザイン情報によって特定されるＰＤＡの外観構成を、例えば、インターネット上のＷｅｂページに公開して、人気投票を行い、その投票結果に基づいて、ＰＤＡのデザインを評価する。あるいは、また、デザイン評価部９３は、例えば、デザイン情報データベース９２に記憶されたデザイン情報によって特定されるＰＤＡが、既に商品化されて販売されている場合には、ネットワーク４３を介して、そのＰＤＡの販売個数を収集し、その販売個数に基づいて、ＰＤＡのデザインを評価する。
【０２０１】
特異デザイン情報データベース９４は、姿勢パラメータ登録部２２から供給される特異デザイン情報を記憶し、流行デザイン情報データベース９５は、更新部２６から供給される流行デザイン情報を記憶する。
【０２０２】
ここで、流行デザイン情報とは、デザイン情報データベース９２に記憶されたデザイン情報のうち、デザイン評価部９３による評価が高いものを意味し、特異デザイン情報とは、流行デザイン情報から、いわばはずれたデザイン（以下、適宜、特異デザインという）のデザイン情報を意味する。
【０２０３】
次に、図１８は、図１５のデザイン情報データベース７８、図１７のデザイン情報データベース９２、特異デザイン情報データベース９４、流行デザイン情報データベース９５に記憶されるＰＤＡのデザイン情報を示している。
【０２０４】
ＰＤＡのデザイン情報としては、図１８（Ａ）に示すように、ＰＤＡの横の長さｐ１、縦の長さｐ２、ＰＤＡの表示部としてのＬＣＤの横の長さｐ３、その縦の長さｐ４、ＰＤＡの重心の位置ｐ６、ＰＤＡに設けられたボタンの位置ｐ７，ｐ８等を採用することができる。
【０２０５】
また、例えば、図１８（Ｂ）に示すように、ＰＤＡが円弧状の丸みを有する場合には、その円弧の半径ｐ９，ｐ１０，ｐ１１，ｐ１２等を、ＰＤＡのデザイン情報として採用することができる。
【０２０６】
次に、図１９のフローチャートを参照して、図１５の擬似スレーブマニピュレータ４１の処理について説明する。
【０２０７】
ステップＳ６１において、入出力制御装置８０は、画像生成部７９で生成された画像データの送信を開始する。
【０２０８】
即ち、マスタマニピュレータ４２_k（図１６）のユーザＵ_kが、デザインを開始するように、操作パネル１２を操作すると、その操作に対応する操作信号（以下、適宜、開始信号という）が、入出力制御装置５４から、ネットワーク４３を介して、擬似スレーブマニピュレータ４１とスーパデザイナデータベース部４４に送信される。
【０２０９】
マスタマニピュレータ４２_kからの開始信号は、擬似スレーブマニピュレータ４１の入出力制御装置８０で受信され、この場合、入出力制御装置８０は、ユーザＵ_k用の画像データを生成するように、画像生成部７９に供給する。これにより、画像生成部７９は、ユーザＵ_k用に、画像データの生成を開始し、入出力制御装置８０は、そのユーザＵ_k用に生成された画像データ（以下、適宜、ユーザＵ_k用の画像データという）の送信を開始する。なお、この画像データの送信は、その後、例えば、マスタマニピュレータ４２_k（図１６）の操作パネル１２が、その送信を停止するように操作されるまで続行される。
【０２１０】
さらに、ステップＳ６１では、スレーブマニピュレータ制御装置５１が、擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢パラメータを、スーパデザイナデータベース部４４に送信する。
【０２１１】
即ち、スレーブマニピュレータ制御装置５１において、制御機構部７３は、擬似スレーブマニピュレータ部７７が出力する仮想的な先端部等の状態に関する信号（以下、適宜、状態信号という）を受信して、制御部７１に供給する。制御部７１は、制御機構部７３から供給される状態信号に基づいて、擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢パラメータを求め、通信部７４に供給する。通信部７４は、制御部７１からの姿勢パラメータを、ネットワーク４３を介して、スーパデザイナデータベース部４４に送信する。
【０２１２】
その後、後述するように、スーパデザイナデータベース部４４から、ネットワーク４３を介して、姿勢パラメータが送信されてくるので、スレーブマニピュレータ制御装置５１の通信部７４は、スーパドクタデータベース部６４から姿勢パラメータが送信されてくるのを待って、ステップＳ６２に進み、その姿勢パラメータを受信する。
【０２１３】
この姿勢パラメータは、通信部７４から制御部７１に供給され、制御部７１は、ステップＳ６３において、擬似スレーブマニピュレータ部７７の仮想的な先端部が、その姿勢パラメータに対応する姿勢をとるように、擬似スレーブマニピュレータ部７７を制御する。
【０２１４】
具体的には、スレーブマニピュレータ制御装置５１の制御部７１は、通信部７４からの姿勢パラメータを、姿勢遷移機構部７２に供給する。姿勢遷移機構部７２は、擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢を、現在の姿勢から、制御部７１から供給された姿勢パラメータに対応する姿勢に遷移させるための姿勢遷移情報を生成し、制御機構部７３に供給する。
【０２１５】
制御機構部７３は、姿勢遷移機構部７２からの姿勢遷移情報に従って制御信号を生成し、これを、擬似スレーブマニピュレータ部７７に送出する。擬似スレーブマニピュレータ部７７は、制御機構部７３からの制御信号に従って、仮想的な先端部の姿勢を変化させ、通信部７４で受信された姿勢パラメータに対応する姿勢をとらせる。
【０２１６】
そして、ステップＳ６４に進み、スレーブマニピュレータ制御装置５１は、ステップＳ６３での制御で、擬似スレーブマニピュレータ部７７の仮想的な先端部が姿勢を変化させることで、仮想的な先端部が外部（デザインの対象である仮想的なＰＤＡ）から受けた力Ｆ1とトルクＴ1を、その仮想的な先端部の姿勢パラメータとともに、ネットワーク４３を介して、スーパデザイナデータベース部４４に送信する。
【０２１７】
即ち、スレーブマニピュレータ制御装置５１において、制御機構部７３は、擬似スレーブマニピュレータ部７７が出力する状態信号を、制御部７１に供給し、制御部７１は、その状態信号から、仮想的な先端部が外部から受けた力Ｆ1とトルクＴ1、および仮想的な先端部の姿勢パラメータを算出する。さらに、制御部７１は、この力Ｆ1とトルクＴ1、および姿勢パラメータを、通信部７４に供給し、通信部７４は、その力Ｆ1とトルクＴ1、および姿勢パラメータを、ネットワーク４３を介して、スーパデザイナデータベース部４４に送信する。
【０２１８】
その後は、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０２１９】
従って、擬似スレーブマニピュレータ４１においては、擬似スレーブマニピュレータ部７７の仮想的な先端部が、スーパデザイナデータベース部４４から送信されてくる姿勢パラメータに対応する姿勢に変化していくことによって、ＰＤＡに対してデザインが施される。
【０２２０】
なお、ステップＳ６４においては、例えば、ＰＤＡが、模型用の材料として用いられる発泡プラスチックやＡＢＳ(Acrylonitrile Butadiene Styrene)樹脂等で構成されているとして、力Ｆ1とトルクＴ1を計算するようにすることができる。
【０２２１】
次に、図２０のフローチャートを参照して、図１６のマスタマニピュレータ４２の処理について説明する。
【０２２２】
後述するように、スーパデザイナデータベース部４４は、擬似スレーブマニピュレータ４１から送信されてくる画像データを、ネットワーク４３を介して、マスタマニピュレータ４２に送信してくるので、ステップＳ７１では、その画像データの受信が開始される。
【０２２３】
即ち、ステップＳ７１では、入出力制御装置５４は、ネットワーク４３を介して、スーパデザイナデータベース部４４から送信されてくる画像データを受信し、画像データを、モニタ１０に供給する。これにより、モニタ１０には、擬似スレーブマニピュレータ部７７（図１５）がＰＤＡに対して処理を施している様子を表す画像が表示される。
【０２２４】
さらに、後述するように、スーパデザイナデータベース部４４は、擬似スレーブマニピュレータ４１から送信されてくる、仮想的な先端部の姿勢パラメータを、ネットワーク４３を介して、マスタマニピュレータ４２に送信してくるので、ステップＳ７１では、マスタマニピュレータ制御装置５３は、その姿勢パラメータを受信し、その姿勢パラメータに基づいて、マスタマニピュレータ部８の操作部９の姿勢を制御する。
【０２２５】
即ち、マスタマニピュレータ制御装置５３において、通信部８４は、ネットワーク４３を介して、スーパデザイナデータベース部４４から送信されてくる、擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢パラメータを受信し、制御部８１に供給する。制御部８１は、通信部８４からの姿勢パラメータを受信し、姿勢遷移機構部８２に供給する。姿勢遷移機構部８２は、マスタマニピュレータ部８の操作部９の姿勢を、現在の姿勢から、制御部８１から供給された姿勢パラメータに対応する姿勢に遷移させるための姿勢遷移情報を生成し、制御機構部８３に供給する。制御機構部８３は、姿勢遷移機構部８２からの姿勢遷移情報に従って制御信号を生成し、これを、マスタマニピュレータ部８に送出する。マスタマニピュレータ部８のアクチュエータ８６は、この制御信号に従って駆動し、これにより、操作部９は、その姿勢を変化させ、擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢と同一の姿勢をとる。
【０２２６】
その後、ステップＳ７２において、マスタマニピュレータ部８の操作部９の姿勢パラメータが、ネットワーク４３を介して、スーパデザイナデータベース部４４に送信される。
【０２２７】
具体的には、マスタマニピュレータ制御装置５３において、制御機構部８３は、マスタマニピュレータ部８のセンサ８５の出力を受信し、制御部８１に供給する。制御部８１は、センサ８５の出力から、マスタマニピュレータ部８の操作部９の姿勢パラメータを算出し、通信部８４に供給する。通信部８４は、制御部８１からの操作部９の姿勢パラメータを、ネットワーク４３を介して、スーパデザイナデータベース部４４に送信する。
【０２２８】
このステップＳ７２の処理によって、ユーザの操作によって変化したマスタマニピュレータ部８の操作部９の姿勢を表す姿勢パラメータが、スーパデザイナデータベース部４４に送信される。
【０２２９】
そして、ステップＳ７３に進み、マスタマニピュレータ制御装置５３の通信部８４は、ネットワーク４３を介してスーパデザイナデータベース部４４から送信されてくる、擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢パラメータを、基準姿勢パラメータとして受信し、ステップＳ７４に進む。ステップＳ７４では、マスタマニピュレータ制御装置５３の通信部８４は、スーパデザイナデータベース部４４から、仮想的な先端部の姿勢パラメータとともに送信されてくる、仮想的な先端部が外部から受けた力Ｆ1とトルクＴ1を受信する。この仮想的な先端部についての姿勢パラメータ、および力Ｆ1とトルクＴ1は、通信部８４から制御部８１に供給され、ステップＳ７４からＳ７５に進む。
【０２３０】
ステップＳ７５では、制御部８１は、ステップＳ７２で取得した操作部９の姿勢パラメータと、ステップＳ７３で取得した基準姿勢パラメータの差を算出し、ステップＳ７６に進む。
【０２３１】
ステップＳ７６では、制御部８１は、ステップＳ７５で算出した、操作部９の姿勢パラメータと基準姿勢パラメータとの差（ずれ）の大きさに比例した大きさで、ずれの方向とは逆方向の力Ｆ2とトルクＴ2を算出し、ステップＳ７７に進む。
【０２３２】
ステップＳ７７では、制御部８１は、ステップＳ７６で算出した力Ｆ2とトルクＴ2のそれぞれに、ステップＳ７４で取得した力Ｆ1およびトルクＴ1に比例する力とトルクを加算し、操作部９を操作するユーザＵに知覚させる力ＦoおよびトルクＴoを算出する。すなわち、制御部８１は、例えば、上述の式（１）に従って、力ＦoおよびトルクＴoを算出する。
【０２３３】
その後、ステップＳ７８において、マスタマニピュレータ部８の操作部９を操作するユーザＵ_kに、ステップＳ７７で算出された力ＦoとトルクＴoを知覚させるように、マスタマニピュレータ部８が制御される。
【０２３４】
即ち、制御部８１は、ステップＳ７３で得た基準姿勢パラメータと、ステップＳ７６で得た力ＦoおよびトルクＴoを、姿勢遷移機構部８２に供給する。姿勢遷移機構部８２は、マスタマニピュレータ部８の操作部９の姿勢を、現在の姿勢から、制御部８１から供給された基準姿勢パラメータに対応する姿勢に遷移させるための姿勢遷移情報であって、さらに、力ＦoおよびトルクＴoをユーザに知覚させることのできる加速度（上述したように、角加速度を含む）の情報を含むものを生成し、制御機構部８３に供給する。制御機構部８３は、姿勢遷移機構部８２からの姿勢遷移情報に従って制御信号を生成し、これを、マスタマニピュレータ部８に送出する。マスタマニピュレータ部８のアクチュエータ８６は、この制御信号に従って駆動し、これにより、操作部９は、その姿勢を、所定の加速度で変化させ、ユーザＵに力ＦoおよびトルクＴoを知覚させながら、擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢と同一の姿勢をとる。
【０２３５】
その後は、ステップＳ７２に戻り、以下、同様の処理が繰り返される。
【０２３６】
以上のように、ユーザＵに知覚させる力ＦoおよびトルクＴoを、ステップＳ７５で算出されたずれの大きさに比例した大きさで、ずれの方向とは逆方向の力Ｆ2とトルクＴ2と、擬似スレーブマニピュレータ部７７の仮想的な先端部が受けたに力Ｆ1とトルクＴ1に比例する力とトルクとが加算されたものとしたので、ユーザＵに、操作部９の姿勢パラメータと基準姿勢パラメータとのずれ、および擬似スレーブマニピュレータ部７７の仮想的な先端部が受ける反力を意識させることができる。
【０２３７】
従って、ユーザＵ_kは、マスタマニピュレータ部８の操作部９を、基準姿勢パラメータに対応する姿勢と異なる姿勢にするように操作した場合には、その姿勢の異なり具合が大きいほど、大きな反力を受けるので、自身の操作が、擬似スレーブマニピュレータ部７７の仮想的な先端部が実際にとった姿勢とどの程度異なるかを、いわば感覚的に認識することができる。
【０２３８】
次に、図２１のフローチャートを参照して、図１７のスーパデザイナデータベース部４４の処理について説明する。なお、スーパデザイナデータベース部４４は、開始信号を送信してきたマスタマニピュレータ４２_kごとに、そのマスタマニピュレータ４２_kと擬似スレーブマニピュレータ４１を制御する処理として、図１７のフローチャートに従った処理（以下、適宜、制御処理という）を行う。従って、擬似スレーブマニピュレータ４１でも、開始信号を送信したマスタマニピュレータ４２_kごとに対して、上述の処理が行われる。
【０２３９】
まず最初に、ステップＳ９１において、入出力制御装置２１は、擬似スレーブマニピュレータ４１からの画像データの受信と、その画像データのマスタマニピュレータ４２_kへの送信を開始する。
【０２４０】
即ち、図１９で説明したように、ステップＳ６１において、擬似スレーブマニピュレータ４１（図１５）は、画像データの、スーパデザイナデータベース部４４への送信を開始するので、スーパデザイナデータベース部４４の入出力制御装置２１は、そのようにして擬似スレーブマニピュレータ４１からネットワーク４３を介して送信されてくる画像データの受信を開始する。
【０２４１】
さらに、入出力制御装置２１は、擬似スレーブマニピュレータ４１から受信した画像データの、マスタマニピュレータ４２_kへの送信を開始する。ここで、マスタマニピュレータ４２では、このようにして、入出力制御装置２１から送信される画像データの受信が、上述の図２０のステップＳ７１で開始される。
【０２４２】
また、ステップＳ９１では、入出力制御装置２１は、図１９のステップＳ６１において擬似スレーブマニピュレータ４１から送信されてくる姿勢パラメータ（擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢パラメータ）を受信し、その姿勢パラメータを、基準姿勢パラメータとして、マスタマニピュレータ４２_kに送信する。ここで、この基準姿勢パラメータは、マスタマニピュレータ４２_kにおいて、上述の図２０のステップＳ７１で受信され、これにより、操作部９（マスタマニピュレータ部８の操作部９）は、その基準パラメータに対応する姿勢、即ち、擬似スレーブマニピュレータ部７７の仮想的な先端部の姿勢と同一の姿勢をとる。
【０２４３】
その後、ステップＳ９２に進み、入出力制御装置２１は、擬似スレーブマニピュレータ４１から、その仮想的な先端部についての姿勢パラメータと、力Ｆ1およびトルクＴ1が、図１９のステップＳ６４で送信されてくるのを待って受信し、その姿勢パラメータを基準姿勢パラメータとして、力Ｆ1およびトルクＴ1とともに、マスタマニピュレータ４２_kに送信する。ここで、マスタマニピュレータ４２_kでは、仮想的な先端部について姿勢パラメータは、図２０のステップＳ７３で受信され、仮想的な先端部についての力Ｆ1およびトルクＴ1は、図２０のステップＳ７４で受信される。
【０２４４】
そして、ステップＳ９３に進み、入出力制御装置２１は、マスタマニピュレータ４２_kが図２０のステップＳ７２で送信してくる操作部９の姿勢パラメータを受信し、姿勢パラメータ制御部２８に供給して、ステップＳ９４に進む。
【０２４５】
ステップＳ９４では、姿勢パラメータ制御部２８は、検索部２９に流行デザイン情報データベース９５を検索させることにより、ステップＳ９３でマスタマニピュレータ４２_kから受信した姿勢パラメータによるデザインを制限するような流行デザイン情報が、流行デザイン情報データベース９５に登録されているかどうかを判定する。
【０２４６】
ステップＳ９４において、マスタマニピュレータ４２_kからの姿勢パラメータによるデザインを制限するような流行デザイン情報が、流行デザイン情報データベース９５に登録されていないと判定された場合、即ち、姿勢パラメータによるデザインが、流行デザイン情報が表す、流行しているデザインから、それほどはずれるもの（特異デザイン）ではない場合、ステップＳ９９に進み、姿勢パラメータ制御部２８は、マスタマニピュレータ４２_kからの姿勢パラメータを、入出力制御装置２１に供給し、入出力制御装置２１は、姿勢パラメータ制御部２８からの姿勢パラメータを、擬似スレーブマニピュレータ４１に送信する。その後、ステップＳ９２に戻り、以下、同様の処理が繰り返される。
【０２４７】
従って、この場合、擬似スレーブマニピュレータ４１の仮想的な先端部の動きは、マスタマニピュレータ４２_kのユーザＵ_kによる操作に従うことなる。
【０２４８】
一方、ステップＳ９４において、マスタマニピュレータ４２_kからの姿勢パラメータによるデザインを制限するような流行デザイン情報が、流行デザイン情報データベース９５に登録されていると判定された場合、即ち、姿勢パラメータによるデザインが、流行デザイン情報が表す、流行しているデザインからはずれるもの（特異デザイン）である場合（現在の流行からすれば、突飛なデザインである場合）、ステップＳ９５に進み、姿勢パラメータ制御部２８は、姿勢パラメータ登録部２２を制御することにより、マスタマニピュレータ４２_kからの姿勢パラメータによる特異デザインを表す特異デザイン情報を、特異デザイン情報データベース９４に登録させ、ステップＳ９６に進む。
【０２４９】
ステップＳ９６では、更新部２６が、直前のステップＳ９５で特異デザイン情報データベース９４に登録された特異デザイン情報（以下、適宜、直前特異デザイン情報という）の頻度が所定の閾値より大であるかどうかを判定する。
【０２５０】
ステップＳ９６において、直前特異デザイン情報の頻度が所定の閾値より大でないと判定された場合、即ち、直前特異デザイン情報が表す特異デザインを施すような操作が、１以上のユーザによってそれほど行われていない場合、ステップＳ９７に進み、姿勢パラメータ制御部２８は、マスタマニピュレータ４２_kからの姿勢パラメータを、その姿勢パラメータによるデザインを制限する流行デザイン情報に基づいて修正し、その流行デザイン情報による制限の範囲内のものとする。そして、ステップＳ９９に進み、姿勢パラメータ制御部２８は、修正後の姿勢パラメータを、入出力制御装置２１を介して、擬似スレーブマニピュレータ４１に送信して、ステップＳ９２に戻り、以下、同様の処理を繰り返す。
【０２５１】
従って、この場合、擬似スレーブマニピュレータ４１の仮想的な先端部の動きは、マスタマニピュレータ４２_kのユーザＵ_kによる操作を流行デザイン情報に基づいて修正したもの、つまり、ユーザが行おうとした突飛なデザイン（特異デザイン）を、流行のデザインからあまりかけ離れたものとならないように修正したものに従うことなる。
【０２５２】
一方、ステップＳ９６において、直前特異デザイン情報の頻度が大であると判定された場合、即ち、直前特異デザイン情報が表す特異デザインを施すような操作が、１以上のユーザによって多数行われ、その結果、現在の流行が、直前特異デザイン情報が表すデザインに変化してきたと推測される場合、ステップＳ９８に進み、更新部２６は、直前特異デザイン情報を、特異デザイン情報データベース９４から読み出し、流行デザイン情報として、流行デザイン情報データベース９５に転送して追加記憶させる。
【０２５３】
その後は、ステップＳ９９に進み、姿勢パラメータ制御部２８は、マスタマニピュレータ４２_kからの姿勢パラメータを、入出力制御装置２１に供給し、入出力制御装置２１は、姿勢パラメータ制御部２８からの姿勢パラメータを、擬似スレーブマニピュレータ４１に送信する。その後、ステップＳ９２に戻り、以下、同様の処理が繰り返される。
【０２５４】
従って、この場合、擬似スレーブマニピュレータ４１の仮想的な先端部の動きは、マスタマニピュレータ４２_kのユーザＵ_kによる操作に従うことなる。
【０２５５】
即ち、マスタマニピュレータ４２_kからの姿勢パラメータによるデザインが、流行デザイン情報が表す、流行しているデザインからはずれる特異デザインである場合（現在の流行からすれば、突飛なデザインである場合）、最初のうちは、そのような特異デザインを行おうとする操作は、流行デザイン情報に基づいて修正される。しかしながら、最初は、特異デザインであっても、その特異デザインを施すような操作が多数行われた場合には、特異デザインが多数に受け入れられ、現在の流行が、その特異デザインに変化したと推測される。そこで、この場合には、流行デザイン情報データベース９５に、その特異デザイン情報が、流行デザイン情報として追加記憶され、さらに、そのような特異デザインを施そうとするユーザの操作も、流行デザイン情報によって制限（修正）されないようになる。
【０２５６】
その結果、擬似スレーブマニピュレータ４１の仮想的な先端部は、最初は、特異デザインを施すような操作に従わなかったのが、その特異デザインが多数に認知されてくると、その特異デザインを施す操作に従って動くようになる。即ち、例えば、図１８（Ａ）に示したようなＰＤＡのデザインが流行している場合において、図１８（Ｂ）に示したようなＰＤＡのデザインを施すように、マスタマニピュレータ４２を操作しても、最初のうちは、その操作が制限されるが、そのような操作が多数行われていくうちに、その制限がされなくなり、図１８（Ｂ）のＰＤＡのデザインを施すことが可能になっていく。
【０２５７】
以上のように、図１４のＳＨＡＲＮデザインシステムでは、マスタマニピュレータ４２₁乃至４２_Kを操作するユーザＵ₁乃至Ｕ_Kそれぞれによって行われるデザインに基づいて、流行デザイン情報データベース９５の更新（上述の場合には、特異デザイン情報の追加記憶）が行われるが、さらに、このＳＨＡＲＮデザインシステムでは、他の一般ユーザによる評価にも基づいて、流行デザイン情報データベース９５の更新が行われるようになっている。
【０２５８】
そこで、図２２のフローチャートを参照して、他の一般ユーザによる評価に基づく、流行デザイン情報データベース９５の更新処理について説明する。
【０２５９】
まず最初に、ステップＳ１１１において、デザイン評価部９３は、デザイン情報登録部９１によってデザイン情報データベース９２に登録されたデザイン情報によるデザインを評価する評価情報を収集する。
【０２６０】
即ち、デザイン評価部９３は、例えば、デザイン情報データベース９２に記憶されたデザイン情報を公開しているＷｅｂページについて、一般ユーザが行ったデザイン情報の人気投票結果を、評価情報として、ネットワーク４３を介して収集する。また、デザイン評価部９３は、デザイン情報データベース９２に記憶されたデザイン情報によって特定されるＰＤＡの販売個数を、評価情報として、ネットワーク４３を介して収集する。
【０２６１】
そして、ステップＳ１１２に進み、デザイン評価部９３は、デザイン情報データベース９２に記憶されているデザイン情報それぞれに対し、ステップＳ１１１で収集した評価情報に基づき、評価値を計算し、その評価値によって、デザイン情報データベース９２を更新する。
【０２６２】
即ち、デザイン情報データベース９２には、デザイン情報が、前回の更新処理で得られた評価値（以下、適宜、前回の評価値という）と対応付けられて記憶されており、ステップＳ１１２では、デザイン情報について新たに計算された評価値（以下、適宜、今回の評価値という）によって、各デザイン情報に対応付けられている評価値（前回の評価値）が更新される。
【０２６３】
ここで、評価値は、０以上の値で、その値が大きいほど、評価の程度が高いものとする。
【０２６４】
その後、ステップＳ１１３に進み、更新部２６は、評価値が所定の閾値ε₁以上で、かつ評価値の変化の割合が閾値＋ε₂以上のデザイン情報が、デザイン情報データベース９２に登録されているかどうかを判定する。
【０２６５】
ステップＳ１１３において、評価値が所定の閾値ε₁以上で、かつ評価値の変化の割合が＋ε₂以上のデザイン情報が、デザイン情報データベース９２に登録されていると判定された場合、即ち、評価値自体が大きく、さらに、評価値の変化（伸び）も大きいデザイン情報（以下、適宜、人気デザイン情報という）が存在する場合、ステップＳ１１４に進み、更新部２６は、その人気デザイン情報が、流行デザイン情報として、流行デザイン情報データベース９５に既に登録されているかどうかを判定する。
【０２６６】
ステップＳ１１４において、人気デザイン情報が、流行デザイン情報として、流行デザイン情報データベース９５に既に登録されていると判定された場合、ステップＳ１１１に戻り、以下、同様の処理を繰り返す。
【０２６７】
また、ステップＳ１１４において、人気デザイン情報が、流行デザイン情報データベース９５に登録されていないと判定された場合、ステップＳ１１５に進み、更新部２６は、デザイン情報データベース９２から、人気デザイン情報を読み出し、流行デザイン情報として、流行デザイン情報データベース９５に供給して追加記憶させ、これにより、流行デザイン情報データベース９５を更新して、ステップＳ１１１に戻る。
【０２６８】
一方、ステップＳ１１３において、評価値が所定の閾値ε₁以上で、かつ評価値の変化の割合が＋ε₂以上のデザイン情報が、デザイン情報データベース９２に登録されていないと判定された場合、即ち、人気デザイン情報が存在しない場合、ステップＳ１１６に進み、更新部２６は、評価値の変化の割合が所定の閾値ε₃回以上続けて０以下になっているデザイン情報が、デザイン情報データベース９２に登録されているかどうかを判定する。
【０２６９】
ステップＳ１１６において、評価値の変化の割合が所定の閾値ε₃回以上続けて０以下になっているデザイン情報が存在すると判定された場合、即ち、評価値が変化しないか、または下降する一方のデザイン情報（以下、適宜、不人気デザイン情報という）が存在する場合、ステップＳ１１７に進み、更新部２６は、不人気デザイン情報が、流行デザイン情報として、流行デザイン情報データベース９５に登録されているかどうかを判定する。
【０２７０】
ステップＳ１１７において、不人気デザイン情報が、流行デザイン情報として、流行デザイン情報データベース９５に登録されていると判定された場合、ステップＳ１１８に進み、更新部２６は、その流行デザイン情報としての不人気デザイン情報を、流行デザイン情報データベース９５から削除し、これにより、流行デザイン情報データベース９５を更新して、ステップＳ１１１に戻る。
【０２７１】
また、ステップＳ１１７において、不人気デザイン情報が、流行デザイン情報データベース９５に登録されていないと判定された場合、ステップＳ１１８をスキップして、ステップＳ１１１に戻る。
【０２７２】
以上のように、図１４のＳＨＡＲＮデザインシステムでは、マスタマニピュレータ４２₁乃至４２_Kそれぞれの操作に基づく姿勢パラメータによって、スーパデザイナデータベース部４４における流行デザイン情報データベース９５の流行デザイン情報が、より良いもの（現在の流行にあったデザイン）に更新されていく。さらに、スーパデザイナデータベース部４４における流行デザイン情報データベース９５の流行デザイン情報は、一般のユーザによる評価にも基づいて、より良いものに更新されていく。さらに、スーパデザイナデータベース部４４では、マスタマニピュレータ４２_kの操作に基づく姿勢パラメータと、流行デザイン情報から、擬似スレーブマニピュレータ４１に提供する姿勢パラメータ（基準姿勢パラメータ）が生成され、擬似スレーブマニピュレータ４１では、その基準姿勢パラメータにしたがって仮想的な先端部の姿勢が制御されることによって、デザインが施される一方、マスタマニピュレータ４２_kでは、そのユーザＵ_kの操作と、基準姿勢パラメータとのずれを、いわば矯正するように、操作部９を操作するユーザＵ_kに負荷がかけられる。
【０２７３】
その結果、擬似スレーブマニピュレータ４１では、ユーザＵ_kのデザインセンスと、その他の多数のユーザのデザインセンスから構築され、更新されていく流行デザイン情報とに基づく、いわば流行に沿ったデザインが施されることになる。
【０２７４】
また、マスタマニピュレータ４２_kでは、ユーザＵ_kの操作が、流行デザイン情報に基づいて矯正されるので、ユーザＵ_kのデザイン技術の向上を短時間で図ることができる。
【０２７５】
ここで、図１４のＳＨＡＲＮデザインシステムでは、図２３に示すように、マスタマニピュレータ４２₁乃至４２_Kそれぞれの操作に基づいて、スーパデザイナデータベース部４４の流行デザイン情報が、より良いものに更新されていき、さらに、マスタマニピュレータ４２₁乃至４２_Kにおいては、流行デザイン情報の、いわばフィードバックを受け、ユーザの操作が、流行デザイン情報に適合するように矯正される。
【０２７６】
従って、マスタマニピュレータ４２₁乃至４２_Kそれぞれにおいては、それ単独の場合ではできなかった、ユーザＵ₁乃至Ｕ_Kそれぞれのデザイン技術を向上させるという高機能が実現されているということができるが、これは、マスタマニピュレータ４２₁乃至４２_Kと、スーパデザイナデータベース部４４とが、図２３において点線で囲むように、まるで１つの装置であるかのようになって、マスタマニピュレータ４２₁乃至４２_Kそれぞれの操作に基づいて、スーパデザイナデータベース部４４の流行デザイン情報が、より良いものに更新されることにより、結果として、マスタマニピュレータ４２₁乃至４２_Kそれぞれが、流行デザイン情報を、より良いものに更新するという処理を、互いに協調しながら分担することとなっているからである。
【０２７７】
これに対して、スーパデザイナデータベース部４４が、単に、マスタマニピュレータ４２₁乃至４２_Kそれぞれの操作内容を記憶し、マスタマニピュレータ４２₁乃至４２_Kそれぞれにフィードバックするというだけでは、マスタマニピュレータ４２₁乃至４２_Kそれぞれが、ユーザによる操作内容を、スーパデザイナデータベース部４４に供給するという処理を、単に分担しているだけとなり、マスタマニピュレータ４２₁乃至４２_Kそれぞれにおいて、ユーザＵ₁乃至Ｕ_Kのデザイン技術を向上させるという高機能を実現することはできない。
【０２７８】
次に、図２４は、ＳＨＡＲＮシステムを適用した移動体システムとしてのＳＨＡＲＮ移動体システムの構成例を示している。
【０２７９】
このＳＨＡＲＮ移動体システムは、多数の移動体（例えば、自動車など）１０１₁，１０１₂，・・・、各移動体１０１_kに設けられた全方位カメラ１０２_k、およびネットワーク１０４から構成されている。
【０２８０】
移動体１０１_kとしての自動車は、それを運転操作するユーザＵ_kによる操作に応じて作動することにより、道路上等を移動する。移動体１０１_kに設けられた全方位カメラ１０２_kは、自身を中心とする全方位の画像を撮像（検知）する。従って、ある被写体１０３を見通すことのできる位置にある移動体１０１_kの全方位カメラ１０２_kにおいては、特に、被写体１０３が存在する方向を意識しなくても、被写体１０３を含む画像を撮像することができる。ネットワーク１０４は、任意の移動体１０１_kと１０１_k'の間の無線通信を可能とするネットワークである。
【０２８１】
ここで、以下、適宜、全方位カメラ１０２_kにおいて得られる、自身を中心とする全方位の画像を、全方位画像という。
【０２８２】
移動体１０１_kは、ネットワーク１０４を介して、他の移動体１０１_k'と通信する。そして、移動体１０１_kは、他の移動体１０１_k'で撮像された画像データを、ネットワーク１０４を介して受信し、その画像データを処理することによって、付加価値を付けた画像データを生成する。
【０２８３】
ここで、図２４の実施の形態においては、移動体１０１_kが、図１（および図２）の操作部１００３、アクチュエータ１００５、合成／統合部１００２、駆動制御部１００４、および信号処理部１００６に対応し、全方位カメラ１０２_kが、図１のセンサ１００７に対応し、ネットワーク１０４が、図１のネットワーク１００１に対応する。
【０２８４】
なお、移動体１０１_k'との通信は、移動体１０１_kだけでなく、固定局としての情報処理装置１０５も行うことができるようになっている。そして、固定局である情報処理装置１０５でも、移動体１０１_kにおける場合と同様に、他の移動体１０１_k'で撮像された画像データを、ネットワーク１０４を介して受信し、その画像データを処理することによって、付加価値を付けた画像データを生成することができる。
【０２８５】
次に、図２５を参照して、図２４のＳＨＡＲＮ移動体システムの機能について概説する。
【０２８６】
ＳＨＡＲＮ移動体システムでは、第１の機能として、ある図示しない移動体１０１_kは、所望の移動体である、例えば、移動体１０１₈を指定し、その移動体１０１₈の現在地から全方位カメラ１０２₈によって撮像された全方位画像データを、ネットワーク１０４を介して取得することができる。
【０２８７】
また、第２の機能として、移動体１０１_kは、ある被写体１０３について、所望の視点方向ｖ上に位置する移動体（図２５においては、移動体１０１₇）を指定し、その移動体１０１₇の現在地から全方位カメラ１０２₇によって撮像された全方位画像データを、ネットワーク１０４を介して取得することができる。この場合、その全方位画像データには、被写体１０３を所定の視点方向ｖから見た画像が含まれることになる。
【０２８８】
さらに、第３の機能として、移動体１０１_kは、複数の移動体（図２５においては、被写体１０３を囲む点線の円上に位置する移動体１０１₁，１０１₂，１０１₃，１０１₄，１０１₅，１０１₆）それぞれによって撮像された、被写体１０３を多数の視点方向から見た画像を含む全方位画像データを、ネットワーク１０４を介して取得し、その複数の全方位画像データを処理することによって、被写体１０３を、視点を変えながら見た画像（被写体１０３を、その周囲を一周しながら撮像したような画像）（以下、適宜、視点可変画像という）を、即座に得ることができる。
【０２８９】
ここで、第３の機能は、複数の移動体１０１_k、並びに１０１₁，１０１₂，１０１₃，１０１₄，１０１₅、および１０１₆が、視点可変画像を得るための処理を協調しながら分担することで実現されるが、この点についての詳細は、後述する。
【０２９０】
次に、図２６は、移動体１０１_kの構成例を示している。
【０２９１】
全方位カメラ１０２_kは、撮像装置１１１とＡ／Ｄ(Analog/Digital)変換部１１２で構成されている。
【０２９２】
撮像装置１１１は、バスBus1を介して制御部１１８から供給される制御信号にしたがって、全方位画像を撮像（撮影）し、その結果得られるアナログの画像信号を、Ａ／Ｄ変換部１１２に供給する。また、撮像装置１１１は、全方位画像を撮像したときのズームに関するズーム情報等を、スケール加工部１１３に供給する。
【０２９３】
Ａ／Ｄ変換部１１２は、撮像装置１１１からのアナログの画像信号をＡ／Ｄ変換し、これにより、ディジタルの全方位画像データを得て、スケール加工部１１３に供給する。
【０２９４】
スケール加工部１１３は、全方位カメラ１１２_k（のＡ／Ｄ変換部１１２）から供給される全方位画像データのスケールを、同じく全方位カメラ１１２_k（の撮像装置１１１）から供給されるズーム情報に基づいて変換する。
【０２９５】
即ち、スケール加工部１１３は、全方位カメラ１０２_kにおいて、任意のズーム倍率で撮像された全方位画像データを、所定のズーム倍率で撮像されたものに変換する。
【０２９６】
スケール加工部１１３で処理された全方位画像データは、画像データベース１１４に供給され、画像データベース１１４は、スケール加工部１１３からの全方位画像データを、必要な情報と対応付けて記憶する。また、画像データベース１１４は、後述するようにして、制御部１１８からバスBus1を介して供給される画像データ等も記憶（登録）する。
【０２９７】
操作部１１５は、所定の情報（例えば、撮像装置１１１のズーム倍率など）やコマンドを入力するときに操作され、その入力は、バスBus1を介して制御部１１８に供給されて処理される。また、操作部１１５は、移動体１０１_kを制御するためのハンドルや、アクセル、ブレーキ等も含んでいる。
【０２９８】
送信部１１６は、バスBus1を介して供給される情報を、ネットワーク１０４（図２４）を介して送信する。受信部１１７は、ネットワーク１０４を介して送信されてくる情報を受信し、バスBus1上に出力する。
【０２９９】
制御部１１８は、バスBus1とBus2に接続されており、そのバスBus1とBus2に接続されている各ブロックを制御する。
【０３００】
表示画像加工部１１９は、バスBus2を介して供給される画像データから、表示部１２２に表示させる画像を生成するための加工処理を行い、バスbus2上に出力する。
【０３０１】
比較部１２０は、バスBus2を介して、記憶部１２１と位置検出部１２３を参照し、記憶部１２１に記憶された情報と、位置検出部１２３が出力する情報とを比較し、その比較結果を、バスBus2を介して、制御部１１８に通知する。
【０３０２】
記憶部１２１は、バスBus2を介して制御部１１８から供給される情報等を一時記憶する。
【０３０３】
表示部１２２は、例えば、ＬＣＤ(Liquid Crystal Display)やＣＲＴ(Cathod Ray Tube)等で構成され、バスBus2を介して供給される画像データにしたがって、画像を表示する。
【０３０４】
位置検出部１２３は、例えば、ＧＰＳ(Global Positioning System)等で構成され、移動体１０１_kの現在地を検出し、バスBus2上に出力する。
【０３０５】
地図データベース１２４は、地図を電子化したデータである地図データを記憶しており、バスBus2を介して、他のブロックから参照される。
【０３０６】
座標演算部１２５は、バスBus2を介して制御部１１８から供給される制御信号にしたがって、所定の座標等を演算する。
【０３０７】
切り出し部１２６は、制御部１１８の制御の下、バスBus2を介して供給される画像データから所定の領域を切り出し、バスBus2上に出力する。
【０３０８】
画像変換部１２７は、制御部１１８の制御の下、バスBus2を介して供給される画像データを、後述する歪みを除去した画像データに変換し、バスbus2上に出力する。
【０３０９】
次に、図２７は、図２６の撮像装置１１１の構成例を示している。
【０３１０】
撮像装置１１１は、集光部２０２が、撮像部２０３の上部に配置された支持体２０１によって支持されることによって構成されており、集光部２０２の周囲３６０度の方向を撮像することができるようになっている。
【０３１１】
支持体２０１は、ガラスなどの反射率の低い透明材料からなり、ガラス面での光の屈折を最小化するために、入射光がガラス面と直交するように集光部２０２の後述する焦点を中心とした球面になっている。
【０３１２】
集光部２０２には、双曲面形状をしており、支持体２０１を介して入射する周囲の光を、撮像部２０３の方向に反射する。
【０３１３】
撮像部２０３は、例えば、ＣＣＤ等の光電変換素子で構成され、そこに入射する光を電気信号としての画像信号に変換する。この撮像部２０３で得られる画像信号が、撮像装置１１１の出力として、図２６のＡ／Ｄ変換部１１２に供給される。
【０３１４】
ここで、全方位カメラ１０２_kを構成する撮像装置１１１の構成や集光の原理については、例えば、「移動ロボット用全方位視覚センサの開発」、自動化技術第２９巻第６号（１９９７年）（以下、適宜、文献１という）に開示されているため、ここでは、簡単に説明する。
【０３１５】
図２８は、図２７の撮像装置１１１によって撮像された全方位画像データの例を示している。
【０３１６】
全方位画像データは、中心点Ｃ１を中心とする２つの円の円周Ｆ１とＦ２によって区分される。なお、図２８では、円周Ｆ１の方が、円周Ｆ２よりも半径が大きいものとなっている。
【０３１７】
即ち、全方位画像データは、大きい円周Ｆ１の内側で、かつ小さい円周Ｆ２の外側になっている領域Ｒ１、大きい円周Ｆ１の外側の領域Ｒ２、小さい円周Ｒ２に囲まれた領域（内側の領域）Ｒ３から構成される。
【０３１８】
以上の３つの領域Ｒ１乃至Ｒ３のうち、領域Ｒ１においては、集光部２０２で反射された、周囲からの光に対応する画像データが撮像されており、領域Ｒ２においては、集光部２０２の外側の部分が撮像されている。また、領域Ｒ３には、撮像部２０３自身が撮像されている。
【０３１９】
さらに、図２８の実施の形態では、領域Ｒ１には、複数の建物が撮像されているが、円周Ｆ１に近い方向に、建物の上部が撮像され、円周Ｆ２に近い方向に、建物の下部が撮像されている。
【０３２０】
次に、図２９を参照して、図２７の集光部２０２を構成する双曲面について説明する。
【０３２１】
集光部２０２は、双曲面の一部により構成されており、双曲面の軸に対する垂直面により、双曲面を切断して得られた双曲面の凸型先頭部の凸状面に、鏡面を形成したものとなっている。
【０３２２】
集光部２０２には、双曲面の１つである二葉双曲面を用いることができ、二葉双曲面は、図２９に示すように、双曲線を軸（Ｚ軸）回りに回転して得られる曲面であり、Ｚ＞０の領域に存在する下に凸の双曲面Ｈ１と、Ｚ＜０の領域に存在する上に凸の双曲面Ｈ２から構成される。
【０３２３】
集光部２０２には、二葉の双曲面Ｈ１とＨ２のうち、Ｚ＞０の領域にある双曲面Ｈ１を利用する。なお、以下、適宜、Ｚ軸を、双曲線の中心軸または単に軸ともいう。
【０３２４】
図２９に示したＸ，Ｙ，Ｚの３次元直交座標系において、二葉双曲面Ｈ１とＨ２は、式（２）で示される。
【０３２５】
【数２】

【０３２６】
ここで、式（２）において、定数ａとｂは、双曲面Ｈ１およびＨ２の形状を定義する定数である。即ち、定数ｂは、原点Ｏから、双曲面Ｈ１（Ｈ２）とＺ軸との交点までの距離を表す。また、定数ａは、その交点を通る、ＸＹ平面と平行な平面と、双曲面Ｈ１（Ｈ２）の漸近面Ａ１との交線が描く円の半径を表す。
【０３２７】
さらに、式（２）において、定数ｃは、双曲面Ｈ１およびＨ２の焦点の位置を定義する定数である。即ち、Ｚ軸上の＋ｃの位置（０，０，＋ｃ）が、双曲面Ｈ２の焦点ｆ１となり、Ｚ軸上の−ｃの位置（０，０，−ｃ）が、双曲面Ｈ１の焦点ｆ２となる。
【０３２８】
なお、定数ａ，ｂ，ｃは、次式で示される関係を有する。
【０３２９】
【数３】

【０３３０】
集光部２０２が、図２９で説明したような双曲面Ｈ１で構成されるとした場合、撮像部２０３は、図３０に示すように、そのレンズの中心軸がＺ軸に一致し、かつ、レンズ中心が、双曲面Ｈ１の焦点ｆ２に一致するように配置される。
【０３３１】
次に、撮像部２０３が出力する全方位画像データは、上述の図２８に示したようなものとなるが、いま、この全方位画像データについて、図３１に示すように、その左上の点を原点Ｏとするとともに、左から右方向にｘ軸をとり、上から下方向にｙ軸をとった２次元直交座標系を定義する。
【０３３２】
この場合、円周Ｆ１の円および円周Ｆ２の円の中心点Ｃ１の座標を（Ｘ₀ 、Ｙ₀ ）とするとともに、円周Ｆ１の円の半径をｒ_F1とし、円周Ｆ２の円の半径をｒ_F2とすると、円周Ｆ１の外側の領域Ｒ２を構成する点（ｘ，ｙ）は、式（４）により表され、円周Ｆ２の内側の領域Ｒ３を構成する点（ｘ，ｙ）は、式（５）により表される。
【０３３３】
【数４】

【０３３４】
【数５】

【０３３５】
図２６のスケール加工部１１３は、全方位画像データのスケールを変換する前に、式（４）で表される領域Ｒ２を構成する画素値と、式（５）で表される領域Ｒ３を構成する画素値を、例えば、０に変換する。
【０３３６】
ここで、この画素値の変換にあたっては、中心点Ｃ１の座標（Ｘ₀ 、Ｙ₀ ）、並びに半径ｒ_F1およびｒ_F2が必要となるが、これらの情報は、撮像装置１１１からスケール加工部１１３に対して、ズーム情報とともに供給されるようになっている。なお、撮像装置１１１（図２６）は、ズーム情報や、中心点Ｃ１の座標（Ｘ₀ 、Ｙ₀ ）、並びに半径ｒ_F1およびｒ_F2の他、撮像時の露出時間や、絞り等の、撮像装置１１１の設定に関する情報を、撮像情報として、スケール加工部１１３に出力するようになっている。
【０３３７】
なお、ここでは、説明を簡単にするため、露出時間や絞りは、固定であるとする。
【０３３８】
ところで、図２８や図３１に示した領域Ｒ１の画像データである全方位画像データについては、所望の被写体が表示されている部分等の、全方位画像データの一部分だけが必要な場合がある。
【０３３９】
図２６の切り出し部１２６は、全方位画像データの一部分を切り出すようになっているが、その切り出しは、図３２に示すように行われる。
【０３４０】
即ち、切り出し部１２６は、中心点Ｃ１を通る半径方向の２つの直線Ｌ_c1とＬ_c2に囲まれ、かつ中心点Ｃ１を中心とする２つの円の円周Ｆ_c1とＦ_c2に囲まれる略扇形の領域Ｒ１１の画像データを切り出すようになっている。
【０３４１】
次に、全方位画像データは、図２８や図３１に示したように、中心点Ｃ１に近づくほど狭まったものとなり、逆に、中心点Ｃ１から遠ざかるほど広がったものとなるような歪みを有する。このことは、切り出し部１２６が全方位画像データから切り出す略扇形の画像データについても同様であり、このようは歪みのある画像データは、図２６の表示部１２２で表示等するにあたって、歪みのないものに変換する必要がある。
【０３４２】
全方位カメラ１０２が出力する、上述のような全方位画像データの歪みは、中心点Ｃ１を通る円の円周方向の歪みと、半径方向の歪みとに分けて考えることができる。
【０３４３】
そこで、まず円周方向の歪みを考えてみると、図２８や図３１の全方位画像データの、中心点Ｃ１を中心とするある円の円周上においては、スケールが一定であり、従って、歪みはない。
【０３４４】
即ち、図３３は、Ｚ軸方向から見た集光部２０２としての双曲面Ｈ１を示している。
【０３４５】
図３３では、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、Ｚ軸に向かい、Ｘ軸（ＸＺ平面）と角度θをつくるように、光線ｒが入射している。この光線ｒは、双曲面Ｈ１で反射され、後述する図３４に図示してある撮像部２０３の受光面（画像面）Ａ３上の点ｐ（ｘ，ｙ）に到達する。そして、この場合、点ｐ（ｘ，ｙ）は、Ｘ軸（ＸＺ平面）との間で、光線ｒがＸ軸との間でつくるのと同一の角度θをつくる。
【０３４６】
また、Ｚ軸に向かい、Ｘ軸と角度θ’をつくるように入射する光線ｒ’を考えた場合、この光線ｒ’も、双曲面Ｈ１で反射され、受光面（画像面）Ａ３上の点ｐ’（ｘ’，ｙ’）に到達する。そして、この場合も、点ｐ’（ｘ’，ｙ’）は、Ｘ軸との間で、光線ｒ’がＸ軸との間でつくるのと同一の角度θ’をつくる。
【０３４７】
また、光線ｒとｒ’の、Ｚ軸に対する仰角（後述する）が同一であれば、光線ｒおよびｒ’は、受光面Ａ３上の、位置は異なるが、Ｚ軸から同一の距離ｒ_pだけ離れた点で受光される。
【０３４８】
以上から、Ｚ軸に対する仰角が同一の複数の光線それぞれは、受光面Ａ３上の、Ｚ軸から同一の距離にある点であって、Ｘ軸との間で、光線とＸ軸とがつくるのと同一の角度をつくる点で受光される。
【０３４９】
従って、Ｚ軸に対する仰角が同一で、Ｘ軸との角度が等角度の複数の光線は、受光面Ａ３の、Ｚ軸を中心とする円周上に、等間隔で入射することになるから、全方位画像データにおいて、受光面Ａ３とＺ軸との交点にあたる中心点Ｃ１を中心とする円の円周方向には、歪みは生じない。
【０３５０】
一方、図２８や図３１の全方位画像データの、中心点Ｃ１を通る半径方向の直線上においては、中心点Ｃ１に近づくほど、スケールが小さくなり、中心点Ｃ１から離れるほど、スケールが大きくなることから、全方位画像データは、半径方向の歪みを有する。
【０３５１】
即ち、図３４は、Ｘ軸方向から見た集光部２０２としての双曲面Ｈ１を示している。
【０３５２】
図３４において、Ｚ軸に対して仰角０度で、焦点ｆ１に向かって入射する光線ｒ１は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、撮像部２０３の受光面（画像面）Ａ３で受光される。
【０３５３】
ここで、Ｚ軸に対する仰角とは、Ｚ軸上の焦点ｆ１を通り、ＸＹ面に平行な面と、焦点ｆ１に向かって入射する光線とがつくる角度を意味する。また、撮像部２０３の受光面Ａ３は、撮像装置１１１の焦点距離をｆとすると、焦点ｆ２から、Ｚ軸に沿って、ｆだけ離れた原点Ｏ方向に位置する。
【０３５４】
Ｚ軸に対して仰角△ｄ度で、焦点ｆ１に向かって入射する光線ｒ２は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。Ｚ軸に対して仰角２△ｄ度で、焦点ｆ１に向かって入射する光線ｒ３は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。仰角が△ｄ度ずつ大きくなる光線ｒ４，ｒ５，ｒ６も、同様にして、受光面Ａ３で受光される。
【０３５５】
このように、仰角が△ｄ度ずつ異なる光線ｒ１乃至ｒ６それぞれが、受光面Ａ３で受光される点どうしの間隔は、図３４の拡大図に示すように、等間隔にはならず、Ｚ軸に近い点どうしの間隔ほど狭くなる（Ｚ軸から離れた点どうしの間隔ほど広くなる）。即ち、仰角が大きい光線どうしの間隔ほど狭くなる（仰角が小さい光線どうしの間隔ほど広くなる）。
【０３５６】
そして、仰角が等角度の光線について、受光面Ａ３上で受光される点どうしの間隔が、上述のように、等間隔にならないことから、全方位画像データには、半径方向の歪みが生じる。
【０３５７】
従って、全方位画像データの半径方向の歪みを除去するには、仰角が等角度の光線の、受光面Ａ３上での受光点どうしの間隔が、等間隔になるようにすれば良い。
【０３５８】
そこで、いま、図３５に示すように、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、焦点ｆ１に向かって、仰角α度で入射する光線ｒを考える。
【０３５９】
この光線ｒは、図３４で説明した場合と同様に、集光部２０２としての双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。
【０３６０】
この場合において、焦点ｆ２に向かう光線ｒが、焦点ｆ２を通り、ＸＹ平面に平行な平面とつくる角度をγ度とする。さらに、Ｘ軸とＹ軸とで定義される２次元直交座標系において、光線ｒが受光面Ａ３で受光された点（受光点）ｐの座標を（ｘ，ｙ）で表し、その点ｐ（ｘ，ｙ）とＺ軸との距離をＲと表す。
【０３６１】
図３５における角度αは、式（２）で表される双曲面Ｈ１において、光線ｒが反射される点の座標を求めることにより、次式で表すことができる。
【０３６２】
【数６】

【０３６３】
式（６）から、ｔａｎαは、次式で求めることができる。
【０３６４】
【数７】

【０３６５】
ここで、ｃｏｓγを、次式のようにおく。
【０３６６】
【数８】

【０３６７】
式（７）に、式（８）を代入すると、次式が求められる。
【０３６８】
【数９】

【０３６９】
式（９）を変形して、式（１０）が得られる。
【０３７０】
【数１０】

【０３７１】
一方、ＡとＢを、それぞれ式（１１）と（１２）に示すように定義する。
【０３７２】
【数１１】

【０３７３】
【数１２】

【０３７４】
式（１０）に、式（１１）および（１２）を代入することにより、式（１３）が求められる。
【０３７５】
【数１３】

【０３７６】
式（１３）は、次のような、Ｘについての２次方程式とすることができる。
【０３７７】
【数１４】

【０３７８】
式（１４）の２次方程式を解くと、次式が得られる。
【０３７９】
【数１５】

【０３８０】
従って、式（８）より、角度γは、次式によって求めることができる。
【０３８１】
【数１６】

【０３８２】
但し、式（１６）において、Ｘは、式（１５）で定義されるものであり、また、式（１５）中のＡとＢは、それぞれ、式（１１）と（１２）で定義されるものである。
【０３８３】
また、図３５の点ｐの座標から、角度γは、次式で求めることができる。
【０３８４】
【数１７】

【０３８５】
一方、図３５におけるＺ軸と点ｐ（ｘ，ｙ）との距離Ｒは、√（ｘ²＋ｙ²）で表されるから、式（１７）は、次式のように変形することができる。
【０３８６】
【数１８】

【０３８７】
以上から、式（１６）によって、角度γを求め、その角度γを用いて、式（１８）を計算することにより、Ｚ軸に対して仰角α度で、焦点ｆ１に向かって入射する光線ｒが、受光面Ａ３において受光される点ｐ（ｘ，ｙ）のＺ軸からの距離Ｒを算出することができる。
【０３８８】
従って、Ｚ軸に対する仰角の所定の範囲（例えば、０度乃至８０度など）を等角度△ｄに分割し、各仰角△ｄ，２△ｄ，３△ｄ，・・・で入射する光線が、受光面Ａ３上で受光される各点ｐ１，ｐ２，ｐ３・・・について、Ｚ軸からの距離Ｒ_p1，Ｒ_p2，Ｐ_p3・・・を求めておき、隣接する点どうしの距離の差｜Ｒ_p1−Ｒ_p2｜，｜Ｒ_p2−Ｐ_p3｜，・・・が、一定値になるように、撮像装置１１１が出力する全方位画像データを変換することにより、その半径方向の歪みを除去した全方位画像データを得ることができることになる。
【０３８９】
なお、この歪み除去のための全方位画像データの変換は、図２６の画像変換部１２７が行う。
【０３９０】
即ち、画像変換部１２７は、図３６に示すように、制御部１１８から、上述した半径方向の歪みがある全方位画像データ（以下、適宜、歪み全方位画像データという）とともに、中心点Ｃ１、円周Ｆ１の円の半径ｒ_F1、および円周Ｆ２の円の半径ｒ_F2を受信する。
【０３９１】
そして、画像変換部１２７は、中心点Ｃ１を中心とする半径ｒ_F1の円の円周Ｆ１と、中心点Ｃ１を中心とする半径ｒ_F2の円の円周Ｆ２とで囲まれる領域Ｒ１内において、中心点Ｃ１を中心とする、上述のＲ_p1，Ｒ_p2，Ｐ_p3・・・を半径とする複数の同心円を描く。さらに、画像変換部１２７は、その複数の同心円の円周を等分する、中心点Ｃ１を通る複数の直線を描く。これにより、画像変換部１２７は、領域Ｒ１において、複数の同心円と、複数の直線とで形成される多数の交点を得る。
【０３９２】
ここで、上述の複数の同心円と、複数の直線とで形成される多数の交点を、以下、適宜、変換対象点という。
【０３９３】
上述したことから、変換対象点を、その隣接するものどうしが等間隔になるように配置することで、歪みのある全方位画像データを、その歪みを除去した画像データに変換することができる。
【０３９４】
そこで、いま、図３６における、図３２に示したのと同一の略扇形の領域Ｒ１１の画像データを、歪みのないものに変換することを考える。
【０３９５】
この領域Ｒ１１内には、図３７（Ａ）に示すように、中心点Ｃ１を中心とする複数の同心円の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれと、中心点Ｃ１を通る複数の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれとの交点である多数の変換対象点が存在する。
【０３９６】
画像変換部１２７は、領域Ｒ１１内に存在する多数の変換対象点を、図３７（Ｂ）に示すように、隣接するものどうしが等間隔になるように配置する。
【０３９７】
即ち、画像変換部１２７は、図３７（Ａ）の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれに対応する、等間隔に配置された横方向の直線Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｌ２６と、図３７（Ａ）の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれに対応する、等間隔に配置された縦方向の直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｌ１５，Ｌ１６を想定し、その横方向の直線Ｌ２１乃至Ｌ２６それぞれと、縦方向の直線Ｌ１１乃至Ｌ１６それぞれとの交点上に、対応する変換対象点を変換する（割り当てる）。
【０３９８】
これにより、例えば、図３７（Ａ）において、円弧Ｆ１４と、直線Ｌ５との交点である変換対象点ｐ１１は、図３７（Ｂ）の、円弧Ｆ１４に対応する直線Ｌ２４と、直線Ｌ５に対応する直線Ｌ１５との交点ｐ１２に変換される。
【０３９９】
ところで、画像変換部１２７は、上述のように、変換対象点の位置を変換（変更）することによって、半径方向の歪みを有する画像データを、その歪みを除去した画像データに変換するが、変換対象点は、上述したように、中心点Ｃ１を中心とする円と、中心点Ｃ１を通る直線との交点である。従って、変換対象点は、撮像部２０３（図２７）の受光面Ａ３（図３４、図３５）を構成する画素の画素中心に一致するとは限らず、むしろ、一般には、一致しないことが多い。
【０４００】
このように、変換対象点は、画素中心からずれているのが一般的であるから、画像変換部１２７において、変換対象点の位置を変換する前に、その変換対象点における画素値を求める必要がある。
【０４０１】
そこで、画像変換部１２７は、変換対象点における画素値を、例えば、次のようにして求めるようになっている。
【０４０２】
即ち、いま、図３７の変換対象点ｐ１１が、図３８に示すように、受光面Ａ３上の隣接する２×２の４画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素中心Ｃ_P1，Ｃ_P2，Ｃ_P3，Ｃ_P4を頂点とする長方形（正方形）の範囲内にあるとする。なお、図３８の実施の形態においては、上下、または左右方向に隣接する画素中心どうしの距離が１であるとしてある。
【０４０３】
そして、変換対象点ｐ１１が、画素中心Ｃ_P1よりも距離αだけ右方向の、距離βだけ下方向の点である場合、画像変換部１２７は、例えば、次式で求められる画素値Ｓ_sを、変換対象点ｐ１１の画素値とする。
【０４０４】
【数１９】

【０４０５】
但し、式（１９）において、Ｓ_a，Ｓ_b，Ｓ_c，Ｓ_dは、画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素値を表す。また、式（１９）において、αおよびβは、０以上１以下の範囲の値で、変換対象点ｐ１１の位置に対応するものである。
【０４０６】
次に、図２６のスケール加工部１１３は、上述したように、全方位カメラ１０２_kにおいて、任意のズーム倍率で撮像された全方位画像データを、所定のズーム倍率で撮像されたものに変換する。このズーム倍率の変換は、単純な画素の補間や間引きと、ローパスフィルタによる必要なフィルタリング等によって実現することも可能であるが、倍率を向上させる場合には、単純な画素の補間ではなく、例えば、本件出願人が先に提案しているクラス分類適応処理を利用することができる。
【０４０７】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【０４０８】
ここで、適応処理について、低倍率の画像（以下、適宜、低倍率画像という）を、高倍率の画像（以下、適宜、高倍率画像という）に変換する場合を例に説明する。
【０４０９】
この場合、適応処理では、低倍率画像を構成する画素（以下、適宜、低倍率画素という）と、所定のタップ係数との線形結合により、その低倍率画像の空間解像度を向上させた高倍率画像の画素の予測値を求めることで、その低倍率画像の倍率を高くした画像が得られる。
【０４１０】
具体的には、例えば、いま、ある高倍率画像を教師データとするとともに、その高倍率画像の解像度を劣化させた低倍率画像を生徒データとして、高倍率画像を構成する画素（以下、適宜、高倍率画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低倍率画素（低倍率画像を構成する画素）の画素値ｘ₁，ｘ₂，・・・の集合と、所定のタップ係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０４１１】

【０４１２】
式（２０）を一般化するために、タップ係数ｗ_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる行列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’を、
【数２０】

で定義すると、次のような観測方程式が成立する。
【０４１３】

ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙ_iの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗ_jは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙ_iは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ件目の教師データの予測値を表す。なお、式（２０）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを省略したものであり、また、式（２０）の右辺におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉを省略したものである。
【０４１４】
式（２１）の観測方程式に最小自乗法を適用して、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる高倍率画素の真の画素値ｙの集合でなる行列Ｙ、および高倍率画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２１】

で定義すると、式（２１）から、次のような残差方程式が成立する。
【０４１５】

【０４１６】
この場合、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗ_jは、自乗誤差
【数２２】

を最小にすることで求めることができる。
【０４１７】
従って、上述の自乗誤差をタップ係数ｗ_jで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗ_jが、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０４１８】
【数２３】

【０４１９】
そこで、まず、式（２２）を、タップ係数ｗ_jで微分することにより、次式が成立する。
【０４２０】
【数２４】

【０４２１】
式（２３）および（２４）より、式（２５）が得られる。
【０４２２】
【数２５】

【０４２３】
さらに、式（２２）の残差方程式における生徒データｘ_ij、タップ係数ｗ_j、教師データｙ_i、および残差ｅ_iの関係を考慮すると、式（２５）から、次のような正規方程式を得ることができる。
【０４２４】
【数２６】

【０４２５】
なお、式（２６）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数２７】

で定義するとともに、ベクトルＷを、数２０で示したように定義すると、式

で表すことができる。
【０４２６】
式（２６）における各正規方程式は、生徒データｘ_ijおよび教師データｙ_iのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_jの数Ｊと同じ数だけたてることができ、従って、式（２７）を、ベクトルＷについて解くことで（但し、式（２７）を解くには、式（２７）における行列Ａが正則である必要がある）、最適なタップ係数ｗ_jを求めることができる。なお、式（２７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０４２７】
以上のように、生徒データと教師データを用いて、最適なタップ係数ｗ_jを求める学習をしておき、さらに、そのタップ係数ｗ_jを用い、式（２０）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０４２８】
なお、適応処理は、低倍率画像には含まれていないが、高倍率画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（２０）だけを見る限りは、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、高倍率画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【０４２９】
次に、図３９は、上述のようなクラス分類適応処理を行うクラス分類適応処理回路によって実現されるスケール加工部１１３の構成例を示している。なお、ここでは、スケール加工部１１３は、全方位画像データを、所定の固定倍率の画像データに変換するが、全方位画像データの倍率が所定の固定倍率よりも低い場合には、クラス分類適応処理によって、全方位画像データを、その倍率よりも高い固定倍率の画像データに変換し、逆に、全方位画像データの倍率が所定の固定倍率よりも高い場合には、間引き等を行って、全方位画像データを、その倍率よりも低い固定倍率の画像データに変換するようになっており、図３９においては、全方位画像データを、その倍率よりも高い固定倍率の画像データに変換する部分を構成するクラス分類適応処理回路を示している。
【０４３０】
全方位カメラ１０２_kが出力する画像データ（全方位画像データ）である低倍率画像データは、バッファ２３１に供給され、バッファ２３１は、そこに供給される低倍率画像データを一時記憶する。
【０４３１】
予測タップ抽出回路２３２は、後述する積和演算回路２３６において求めようとする固定倍率の画像データの画素（以下、適宜、固定倍率画素という）を、順次、注目画素とし、さらに、その注目画素を予測するのに用いる低倍率画像データの画素を、バッファ２３１から抽出し、予測タップとする。
【０４３２】
即ち、予測タップ抽出回路２３２は、例えば、注目画素としての固定倍率画素に対応する位置に対して近い位置にある低倍率画素の幾つかを、予測タップとして、バッファ２３１から読み出す。
【０４３３】
そして、予測タップ抽出回路２３２は、注目画素について、予測タップを得ると、その注目画素についての予測タップを、積和演算回路２３６に供給する。
【０４３４】
ここで、予測タップ抽出回路２３２には、制御回路２３７から制御信号が供給されるようになっており、予測タップ抽出回路２３２は、制御回路２３７からの制御信号にしたがって、予測タップを構成する低倍率画素、即ち、予測タップの構造を決定する。
【０４３５】
即ち、制御回路２３７には、全方位カメラ１０２_kの撮像装置１１１が出力する撮像情報が供給されるようになっており、制御回路２３７は、その撮像情報のうちの、例えば、ズーム情報に基づいて、そのズーム情報が表す倍率に適した処理が行われるようにするための制御信号を生成し、予測タップ抽出回路２３２、クラスタップ抽出回路２３３、および係数記憶部２３５に供給する。
【０４３６】
具体的には、制御回路２３７は、例えば、ズーム情報が表すズーム倍率が小さいほど、注目画素に対応する位置からより近い位置にある低倍率画素を用いて予測タップを構成することを指示する制御信号（ズーム倍率が大きいほど、注目画素に対応する位置からより遠い位置にある低倍率画素を用いて予測タップを構成することを指示する制御信号）を生成し、予測タップ抽出回路２３２に供給する。
【０４３７】
従って、予測タップ抽出回路２３２は、このような制御信号にしたがい、低倍率画像のズーム倍率によって異なる構造の予測タップを構成する。
【０４３８】
一方、クラスタップ抽出回路２３３は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる低倍率画素を、バッファ２３１から抽出し、クラスタップとする。
【０４３９】
ここで、クラスタップ抽出回路２３３も、制御回路２３７から供給される制御信号にしたがい、クラスタップを構成させる低倍率画素、即ち、クラスタップの構造を決定する。
【０４４０】
即ち、制御回路２３７は、例えば、クラスタップ抽出回路２３３に対して、予測タップ抽出回路２３２に対するのと同様の制御信号を供給するようになっており、従って、クラスタップ抽出回路２３３は、ズーム情報が表すズーム倍率が小さいほど、注目画素に対応する位置からより近い位置にある低倍率画素を用いてクラスタップを構成する（ズーム倍率が大きいほど、注目画素に対応する位置からより遠い位置にある低倍率画素を用いてクラスタップを構成する）。
【０４４１】
なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出回路２３２で得られる予測タップと、クラスタップ抽出回路２３３で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、勿論、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。
【０４４２】
クラスタップ抽出回路２３３において得られる、注目画素についてのクラスタップは、クラス分類回路２３４に供給される。クラス分類回路２３４は、クラスタップ抽出回路２３３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【０４４３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０４４４】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０４４５】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０４４６】
なお、クラス分類回路２３４には、例えば、クラスタップを構成する画素のレベル分布（画素値分布）のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の画素で構成され、各画素に、Ｋビットが割り当てられているとすると、クラス分類回路２３４が出力するクラスコードの場合の数は、（２^N）^K通りとなり、画素のビット数Ｋに指数的に比例した膨大な数となる。
【０４４７】
従って、クラス分類回路２３４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【０４４８】
また、ここでは、低倍率画素だけを用いてクラス分類を行うようにしが、クラス分類は、低倍率画素とともに（または、低倍率画素ではなく）、撮像情報に含まれるズーム情報や露出時間等を、クラスタップとして行うことが可能である。
【０４４９】
【０４５０】
クラス分類回路２３４が出力するクラスコードは、係数記憶部２３５に、アドレスとして与えられる。
【０４５１】
係数記憶部２３５は、学習処理が行われることにより得られるタップ係数を記憶しており、クラス分類回路２３４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算回路２３６に出力する。
【０４５２】
なお、係数記憶部２３５には、後述するように、複数セットの教師データと生徒データを用いた学習を行うことにより得られる複数セットのタップ係数が記憶されている。係数記憶部２３５において、複数セットのタップ係数のうち、どのセットのタップ係数を用いるかは、制御回路２３７からの制御信号にしたがって決定される。
【０４５３】
即ち、係数記憶部２３５は、例えば、複数バンクで構成されており、各バンクには、複数のズーム倍率の範囲ごとに学習を行うことにより得られた複数セットのタップ係数のうちの対応するセットが記憶されている。制御回路２３７は、撮像情報におけるズーム情報に基づいて、そのズーム情報が表すズーム倍率に対応するバンクを指示する制御信号を生成し、係数記憶部２３５に供給する。係数記憶部２３５は、制御回路２３７からの制御信号にしたがってバンク切り換えを行うことにより、使用するバンクを選択し、その選択したバンクに記憶されているタップ係数のセットの中から、クラス分類回路２３４より供給されるクラスコードに対応するものを、積和演算回路２３６に出力する。
【０４５４】
積和演算回路２３６は、予測タップ抽出回路２３２が出力する予測タップと、係数記憶部２３５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（２０）に示した線形予測演算（積和演算）を行い、その演算結果を、注目画素となっている固定倍率画素の画素値として出力する。
【０４５５】
次に、図４０は、図３９の係数記憶部２３５に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０４５６】
教師データメモリ２４２には、学習に用いられる学習用データが供給される。ここで、学習用データとしては、固定倍率の画像データ（以下、適宜、固定倍率画像データという）が用いられる。
【０４５７】
教師データメモリ２４２は、そこに供給される、学習用データとしての固定倍率画像データを、学習の教師となる教師データとして記憶する。そして、生徒データ生成回路２４３は、制御回路２５１から供給される制御信号にしたがい、教師データメモリ２４２に記憶された教師データから、学習の生徒となる生徒データを生成する。
【０４５８】
即ち、制御回路２５１には、複数のズーム倍率の範囲が設定されており、制御回路２５１は、その複数のズーム倍率の範囲のうちの、ある範囲を、注目範囲として選択する。そして、制御回路２５１は、その注目範囲のズーム倍率の代表値（例えば、注目範囲内のズーム倍率の中心値）を決定し、そのズーム倍率の代表値に基づいて、制御信号を生成して、生徒データ生成回路２４３、予測タップ抽出回路２４５、およびクラスタップ抽出回路２４６に供給する。
【０４５９】
具体的には、制御回路２５１は、教師データメモリ２４２に記憶された教師データとしての固定倍率画像データを、代表値のズーム倍率の画像データとするための間引き率を計算し、その間引き率で、教師データを間引くことを指示する制御信号を、生徒データ生成回路２４３に供給する。
【０４６０】
生徒データ生成回路２４３は、上述のような制御信号にしたがい、教師データメモリ２４２に記憶された教師データを間引き、これにより、代表値のズーム倍率の画像データを、生徒データとして生成する。この生徒データは、生徒データ生成回路２４３から生徒データメモリ２４４に供給されて記憶される。
【０４６１】
教師データメモリ２４２に記憶された教師データについて、生徒データが求められ、生徒データメモリ２４４に記憶されると、予測タップ抽出回路２４５は、教師データメモリ２４２に記憶された教師データを、順次、注目画素とし、さらに、その注目画素を予測するのに用いる生徒データを、生徒データメモリ２４４から抽出し、予測タップとする。
【０４６２】
ここで、制御回路２５１は、代表値のズーム倍率に基づいて、図３９の制御回路２３７と同様の制御信号を生成し、予測タップ抽出回路２４５に供給するようになっている。そして、予測タップ抽出回路２４５は、制御回路２５１から供給される制御信号にしたがい、図３９の予測タップ抽出回路２３２における場合と同一の予測タップを構成する。
【０４６３】
以上のようにして、予測タップ抽出回路２４５で得られた予測タップは、正規方程式加算回路２４８に供給される。
【０４６４】
一方、クラスタップ抽出回路２４６は、注目画素のクラス分類に用いる生徒データを、生徒データメモリ２４４から抽出し、クラスタップとして、クラス分類回路２４７に供給する。
【０４６５】
ここで、制御回路２５１は、代表値のズーム倍率に基づいて、図３９の制御回路２３７と同様の制御信号を生成し、クラスタップ抽出回路２４６に供給するようになっている。そして、クラスタップ抽出回路２４６は、制御回路２５１から供給される制御信号にしたがい、図３９のクラスタップ抽出回路２３３における場合と同一のクラスタップを構成する。
【０４６６】
クラス分類回路２４７は、クラスタップ抽出回路２４６から、注目画素についてのクラスタップが供給されると、そのクラスタップを用い、図３９のクラス分類回路２３４と同一のクラス分類を行い、注目画素のクラスを表すクラスコードを、正規方程式加算回路２４８に供給する。
【０４６７】
正規方程式加算回路２４８は、教師データメモリ２４２から、注目画素となっている教師データを読み出し、予測タップ抽出回路２４５からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、クラス分類回路２４７から供給されるクラスごとに行う。
【０４６８】
即ち、正規方程式加算回路２４８は、クラス分類回路２４７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（２７）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘ_inｘ_im）と、サメーション（Σ）に相当する演算を行う。
【０４６９】
さらに、正規方程式加算回路２４８は、やはり、クラス分類回路２４７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（２７）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘ_inｙ_i）と、サメーション（Σ）に相当する演算を行う。
【０４７０】
正規方程式加算回路２４８は、以上の足し込みを、教師データメモリ２４２に記憶された教師データすべてを注目画素として行い、これにより、各クラスについて、式（２７）に示した正規方程式をたてる。
【０４７１】
その後、タップ係数決定回路２４９は、正規方程式加算回路２４８においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ２５０の、各クラスに対応するアドレスに供給する。これにより、係数メモリ２５０では、タップ係数決定回路２４９から供給されるクラスごとのタップ係数が記憶される。
【０４７２】
なお、学習用データとして用意する画像データによっては、正規方程式加算回路２４８において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路２４９は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０４７３】
以上のようにして、注目範囲のズーム倍率について、タップ係数のセットが求められると、制御回路２５１は、注目範囲を、他のズーム倍率の範囲に変更し、図４０の学習装置では、以下、同様の処理が繰り返される。これにより、制御回路２５１に設定されている複数のズーム倍率の範囲それぞれに対応するタップ係数のセットが求められる。
【０４７４】
次に、図４１は、図２６の座標演算部１２５の構成例を示している。
【０４７５】
座標演算部１２５は、検索部２６１および撮像ポイント算出部２６２から構成されており、制御部１１８（図２６）からの要求に応じて、所望の被写体を撮像する位置（座標）（例えば、緯度と経度など）としての撮像ポイントを計算する。
【０４７６】
即ち、検索部２６１には、被写体情報が供給されるようになっている。この被写体情報は、例えば、操作部１１５が、ユーザによって操作されることにより入力され、制御部１１８を介して、検索部２６１に供給される。ここで、被写体情報は、所望の被写体を特定するための情報で、被写体の名前（例えば、「東京タワー」や「国会議事堂」など）や、住所などを用いることができる。
【０４７７】
検索部２６１は、被写体情報を受信すると、地図データベース１２４に記憶された地図データを参照し、その被写体情報によって特定される被写体の位置（座標）（例えば、緯度と経度など）を検索する。そして、検索部２６１は、被写体の位置（以下、適宜、被写体ポイントという）を、撮像ポイント算出部２６２に供給する。
【０４７８】
ここで、図２５で説明したように、ＳＨＡＲＮ移動体システムにおいては、第１乃至第３の３つの機能が実現される。この第１乃至第３の機能のうち、第１の機能については、撮像ポイントを決定する必要がなく、撮像ポイントを決定する必要があるのは、第２および第３の機能を実現する場合だけである。
【０４７９】
第２の機能を実現する場合、即ち、所望の被写体を、所望の視点方向ｖから見た画像を得る場合には、次のようにして、撮像ポイントが求められる。
【０４８０】
即ち、この場合、所望の被写体について、所望の視点方向ｖを表す視点情報が、ユーザが操作部１１５を操作することによって入力される。
【０４８１】
この視点情報は、制御部１１８を介して、撮像ポイント算出部２６２に供給される。
【０４８２】
撮像ポイント算出部２６２は、第２の機能を実現する場合、検索部２６１からの被写体ポイントの位置にある被写体を、視点情報が表す視点方向ｖから見た画像を撮像するのに適した位置としての撮像ポイントを算出する。
【０４８３】
即ち、撮像ポイント算出部２６２は、地図データベース１２４に記憶された地図データを参照することにより、例えば、図４２に示すように、被写体を撮像するのに適した場所の範囲を、被写体ポイントから距離Ｒ_p2以上離れており、かつ、距離Ｒ_p1より近い、いわゆるドーナツ状の範囲（以下、適宜、適切範囲という）に設定する。
【０４８４】
さらに、撮像ポイント算出部２６２は、被写体ポイントに対して、視点情報が表す視点方向ｖから向かう線分と、移動体１０１_kが移動することのできる道路等との交点のうち、適切範囲内にあるものすべてを、撮像ポイントの候補として検出する。
【０４８５】
そして、撮像ポイント算出部２６２は、撮像ポイントの候補から、例えば、任意の１つを選択し、その選択した撮像ポイントを、制御部１１８に供給する。
【０４８６】
なお、ここでは、説明を簡単にするため、第２の機能を実現するにあたって、視点方向ｖ上の１つの位置だけが撮像ポイントとされるが、視点方向ｖ上の複数の位置を撮像ポイントとすることも可能である。また、複数の撮像ポイントの候補から、１つの撮像ポイントを選択する方法としては、例えば、被写体ポイントから最も近いまたは遠いものを選択する方法等がある。
【０４８７】
第３の機能を実現する場合、即ち、所望の被写体を、視点を変えながら見渡した視点可変画像を得る場合には、次のようにして、撮像ポイントが求められる。
【０４８８】
即ち、撮像ポイント算出部２６２は、第３の機能を実現する場合、地図データベース１２４に記憶された地図データを参照することにより、例えば、図４３（Ａ）に示すように、検索部２６１から供給される被写体ポイントを中心とし、被写体を撮像するのに適した距離Ｒ（例えば、図４２における距離Ｒ_p1とＲ_p2の平均値など）を半径とする円を求め、その円（円周）と、移動体１０１_kが移動することのできる道路等との交点を求める。そして、撮像ポイント算出部２６２は、その交点のすべてを撮像ポイントとして求め、制御部１１８に供給する。
【０４８９】
ここで、被写体を、視点を変えながら見渡した視点可変画像を得るには、理想的には、その被写体を、その３６０度の各方向から、いわば万遍なく撮像した画像が必要となる。
【０４９０】
しかしながら、被写体を、その３６０度の各方向から見ることのできるすべての位置が、被写体ポイントを中心とした、距離Ｒを半径とする円と、移動体１０１_kが移動することのできる道路等との交点として、必ずしも得られるとは限らない。
【０４９１】
即ち、被写体ポイントを中心とした、距離Ｒを半径とする円と、移動体１０１_kが移動することのできる道路等との交点を、撮像ポイントとするのでは、被写体ポイントから同一距離にある撮像ポイントを得ることはできるが、道路の存在状況によっては、被写体を、特定の方向から見ることのできる撮像ポイントが得られない場合がある。
【０４９２】
そこで、撮像ポイント算出部２６２では、第３の機能を実現する場合、例えば、図４３（Ｂ）に示すようにして、撮像ポイントを求めるようにすることができる。
【０４９３】
即ち、この場合、撮像ポイント算出部２６２は、被写体ポイントを中心とする３６０度の方向を、幾つかの方向に等分する。ここで、図４３（Ｂ）の実施の形態では、被写体ポイントの中心とする３６０度の方向が、４５度ずつ異なる８つの方向に等分されている。
【０４９４】
そして、撮像ポイント算出部２６２は、その８つの方向それぞれが視点情報であるとして、その８つの方向それぞれについて、図４２で説明した場合と同様に、撮像ポイントを求める。この場合、被写体を、４５度ずつ異なる方向から見ることのできる８つの撮像ポイントが得られることになる。即ち、この場合、被写体ポイントから各撮像ポイントまでの距離は、一般に同一にならないが、被写体を、その３６０度の各方向から万遍なく見ることのできる撮像ポイントを得ることができる。
【０４９５】
次に、図４４は、図２６の画像データベース１１４に、全方位画像データが記憶されるときのフォーマットを示している。
【０４９６】
画像データベース１１４においては、例えば、１枚の全方位画像データが、図４４に示すように、ヘッダ部とデータ部を設けて管理される。
【０４９７】
ヘッダ部には、画像ID(Identification)、属性情報、撮像情報等が配置され、データ部には、画像データ（全方位画像データ）が配置される。
【０４９８】
なお、画像IDは、例えば、そのデータ部に配置される全方位画像データについて固有のIDであり、制御部１１８が、画像データベース１１４に登録する。画像IDとしては、例えば、対応する全方位画像データを撮像した移動体１０１_kの移動体ID、その撮像を行った年月日、その年月日における何枚目の撮像であるか、などの情報を組み合わせたものを用いることが可能である。ここで、移動体１０１_kの移動体IDは、例えば、制御部１１８が記憶しているものとする。
【０４９９】
属性情報は、データ部に配置された全方位画像データの各種の属性の情報を表す。属性情報としては、例えば、全方位画像データに含まれる被写体を特定する被写体情報や、被写体ポイント、全方位画像データを撮像した撮像ポイント、その撮像ポイントから見た被写体の方向（視点方向）を表す視点情報等がある。なお、属性情報は、制御部１１８によって、画像データベース１１４に登録される。
【０５００】
撮像情報は、上述したように、撮像装置１１１が出力する、その撮像装置１１１の設定に関する情報であり、スケール加工部１１３によって、画像データベース１１４に登録される。
【０５０１】
なお、移動体１０１_kは、他の移動体１０１_k'の全方位カメラ１０２_kで撮像された画像データや、他の移動体１０１_k'が、さらに他の移動体１０１_k''から受信して、その画像データベース１１４（移動体１０１_k'の画像データベース１１４）に記憶した画像データを受信することができるようになっており、移動体１０１_kの画像データベース１１４には、自身の全方位カメラ１０２_kで撮像された画像データの他、上述したようして、他の移動体１０１_k'から受信した画像データも記憶されるようになっている。
【０５０２】
次に、図４５は、図２６の表示画像加工部１１９の構成例を示している。
【０５０３】
画像メモリ２７１には、制御部１１８から画像データが供給されるようになっており、画像メモリ２７１は、その画像データを記憶する。
【０５０４】
なお、画像メモリ２７１には、画像データとともに、その画像データについての、図４４に示したヘッダ部に配置された情報（以下、適宜、ヘッダ情報という）も供給されるようになっており、画像メモリ２７１は、画像データを、そのヘッダ情報とともに記憶する。
【０５０５】
また、画像メモリ２７１は、複数枚の全方位画像データ（ヘッダ情報も含む）を記憶することのできる記憶容量を有している。
【０５０６】
スケール加工部２７２は、例えば、図２６のスケール加工部１１３と同様に構成されており、制御部１１８からの制御にしたがい、画像メモリ２７１に記憶された画像データを、拡大または縮小する。
【０５０７】
即ち、例えば、ユーザが操作部１１５を操作することによって、画像の拡大または縮小を指示した場合には、制御部１１８は、その指示にしたがって、スケール加工部２７２を制御することにより、画像メモリ２７１に記憶された画像データを拡大または縮小する。
【０５０８】
また、スケール加工部２７２は、画像メモリ２７１に複数の画像データが記憶された場合に、必要に応じて、その複数の画像データを、その画像データに表示されている被写体の大きさを一定にするように拡大または縮小する。
【０５０９】
即ち、第３の機能では、所望の被写体を、視点を変えながら見渡した視点可変画像を生成するため、画像メモリ２７１には、図４３で説明したような、同一の被写体を、複数の方向から撮像した複数の画像データが、画像メモリ２７１に記憶される。
【０５１０】
この同一の被写体を、複数の方向から撮像した複数の画像データ（以下、適宜、異方向画像データという）が、図４３（Ａ）に示したように、被写体ポイントから同一の距離だけ離れた撮像ポイントで撮像されたものである場合には、各撮像ポイントにおける撮像時のズーム倍率が異なっていても、スケール加工部１１３において、同一のズーム倍率（固定倍率）の画像データに変換されるから、各異方向画像データに写っている被写体の大きさは、同一になる。
【０５１１】
しかしながら、複数の異方向画像データが、図４３（Ｂ）に示したように、被写体ポイントからの距離が異なる複数の撮像ポイントで撮像されたものである場合には、スケール加工部１１３において、その複数の異方向画像データのズーム倍率を同一に変換しても、各異方向画像データに写っている被写体の大きさは同一にならない。即ち、各異方向画像データに写っている被写体の大きさは、その異方向画像データを撮像した撮像ポイントが、被写体ポイントから、どれだけ離れているかによって異なるものとなる。
【０５１２】
そこで、スケール加工部２７２は、画像メモリ２７１に、複数の異方向画像データが記憶された場合には、その複数の異方向画像データに写っている同一の被写体の大きさ（スケール）をあわせるために、画像メモリ２７１に記憶された異方向画像データを拡大または縮小する。
【０５１３】
なお、この場合、各異方向画像データの拡大率または縮小率は、そのヘッダ情報に含まれる撮像ポイントと被写体ポイントとの間の距離に基づき、画像メモリ２７１に記憶された複数の異方向画像データに写っている同一の被写体の大きさ（スケール）を同一にするように決定される。
【０５１４】
スケール加工部２７２は、以上のようにして、画像メモリ２７１に記憶された画像データを拡大または縮小すると、その拡大または縮小後の画像データを、例えば、画像メモリ２７１の、元の画像データに上書きする形で書き込む。
【０５１５】
対応画素演算部２７３は、制御部１１８からの制御にしたがい、第３の機能を実現する場合において、画像メモリ２７１に記憶された複数枚の異方向画像データにおける、対応する画素どうしを検出する。
【０５１６】
即ち、対応画素演算部２７３は、画像メモリ２７１に記憶された複数の異方向画像データそれぞれのヘッダ情報の中の視点情報を参照することにより、視点情報が表す視点方向が、ある方向を基準方向として、時計回りまたは反時計回り方向になる順番（以下、適宜、視点方向順という）を認識する。さらに、対応画素演算部２７３は、視点方向順で、ｉ＋１番目の異方向画像データに写っている被写体部分の各画素が、ｉ番目の異方向画像データに写っている被写体部分のどの画素に対応するかを検出する。
【０５１７】
なお、この対応する画素の検出は、例えば、いわゆるブロックマッチングなどを用いて行うことが可能である。
【０５１８】
対応画素演算部２７３は、画像メモリ２７１に記憶された複数の異方向画像データすべてについて、上述したような画素の対応関係を検出すると、その画素の対応関係を、画像生成部２７４に供給する。
【０５１９】
画像生成部２７４は、第１の機能または第２の機能を実現する場合には、画像メモリ２７１に記憶された画像データを読み出し、表示メモリ２７６に供給する。
【０５２０】
また、画像生成部２７４は、第３の機能を実現する場合には、画像メモリ２７１に記憶された複数の異方向画像データを用いて、視点を時計回りまたは反時計回り方向に変えながら、被写体を見渡した視点可変画像データを生成する。
【０５２１】
即ち、画像生成部２７４は、視点方向順の異方向画像データを、対応画素演算部２７３から供給される画素の対応関係に基づいて、対応する画素どうしを対応させるように空間方向の位置あわせをしながら、動画のフレームとして並べることにより、視点を時計回りまたは反時計回り方向に変えながら被写体を撮像したならば得られるであろう動画データとしての視点可変画像データを生成する。
【０５２２】
なお、画像メモリ２７１に記憶された複数の異方向画像データを、視点方向順に、順次、第１フレーム、第２フレーム、・・・として配置して、動画データとしての視点可変画像データを生成した場合には、異方向画像データの枚数や、撮像ポイントの粗密によって、視点可変画像データが、滑らかな動画にならないことがある。
【０５２３】
そこで、画像生成部２７４は、画像メモリ２７１に記憶された複数の異方向画像データを、その視点方向に対応した順番のフレームに配置するようになっている。
【０５２４】
即ち、例えば、フレームレートを３０フレーム／秒として、３秒間で、被写体の周囲を１周する（３６０度回転する）ような視点可変画像データを生成するとした場合、視点可変画像データは、９０フレーム（＝３０フレーム／秒×３秒）で構成する必要があり、さらに、その視点可変画像データの隣接フレーム間における視点方向の変化は、４度（＝３６０度／９０フレーム）とする必要がある。
【０５２５】
従って、この場合、画像生成部２７４は、視点方向が４×（ｉ−１）度に最も近い異方向画像データを、第ｉフレームに配置する。
【０５２６】
但し、この場合、異方向画像データが配置されないフレームが生ずることがある。そこで、画像生成部２７４は、異方向画像データが配置されないフレーム（以下、適宜、未配置フレームという）については、補間フレーム生成部２７５を制御することにより、異方向画像データが配置されるフレーム（以下、適宜、既配置フレームという）を用いて補間を行わせ、未配置フレームに配置する画像データを生成させる。即ち、補間フレーム生成部２７５は、例えば、未配置フレームから最も近い位置にある、時間的に先行する既配置フレームと、時間的に後行する既配置フレームとを用いて補間を行い、未配置フレームの画像データを生成する。なお、この未配置フレームの補間は、その未配置フレームから、その補間に用いられる、時間的に先行または後行する既配置フレームそれぞれまでの時間的距離を考慮して行われる。
【０５２７】
ここで、補間フレーム生成部２７５では、上述したように、既配置フレームの画像データを用いて、単なる補間を行うことにより、未配置フレームの画像データを生成する他、例えば、既配置フレームの画像データを用いて、クラス分類適応処理を行うことにより、未配置フレームの画像データを生成するようにすることが可能である。
【０５２８】
画像生成部２７４は、上述のようにして必要な補間を行い、動画データとしての視点可変画像データを最終的に完成すると、その視点可変画像データを、表示メモリ２７６に供給して記憶させる。
【０５２９】
表示メモリ２７６に記憶された画像データは、表示部１２２（図２６）に供給されて表示される。
【０５３０】
次に、図２６の移動体１０１_kが行う処理について説明する。
【０５３１】
なお、移動体１０１_kが行う処理は、その移動体１０１_kが、いわば主の移動体（以下、主移動体という）となり、他の移動体１０１_k'が、いわば従の移動体（以下、従移動体という）となって、その従移動体としての移動体１０１_k'に対して各種の要求を行う処理と、他の移動体１０１_k'が主移動体となった場合に、その主移動体の要求に応じて行う処理とに、大きく分けることができる。
【０５３２】
そこで、以下では、移動体１０１_kを主移動体とするとともに、移動体１０１_k'を従移動体として、主移動体としての移動体１０１_kが行う処理（主移動体の処理）と、従移動体としての移動体１０１_k'が行う処理（従移動体の処理）について説明する。
【０５３３】
まず、図４６のフローチャートを参照して、主移動体の処理について説明する。
【０５３４】
まず最初に、ステップＳ２０１において、制御部１１８は、ユーザＵ_kが操作部１１５を操作することにより、何らかの入力を行ったかどうかを判定する。ステップＳ２０１において、何らの入力も行われていないと判定された場合、ステップＳ２０１に戻る。
【０５３５】
また、ステップＳ２０１において、ユーザＵ_kによって、何らかの入力が行われたと判定された場合、ステップＳ２０２に進み、制御部１１８は、そのユーザＵ_kからの入力が、何を要求するものであるかを判定する。
【０５３６】
ステップＳ２０２において、ユーザＵ_kからの入力が、全方位画像データを要求するものであると判定された場合、ステップＳ２０３に進み、後述する全方位画像取得処理が行われ、ステップＳ２０１に戻る。
【０５３７】
また、ステップＳ２０２において、ユーザＵ_kからの入力が、所望の被写体を、所望の視点方向から撮像した画像データ（以下、適宜、視点指定画像データという）を要求するものであると判定された場合、ステップＳ２０４に進み、後述する視点指定画像取得処理が行われ、ステップＳ２０１に戻る。
【０５３８】
さらに、ステップＳ２０２において、ユーザＵ_kからの入力が、視点可変画像データを要求するものであると判定された場合、ステップＳ２０５に進み、後述する視点可変画像取得処理が行われ、ステップＳ２０１に戻る。
【０５３９】
なお、上述の第１乃至第３の機能は、ステップＳ２０３における全方位画像取得処理、ステップＳ２０４における視点指定画像取得処理、ステップＳ２０５における視点可変画像取得処理に、それぞれ対応する。
【０５４０】
次に、図４７のフローチャートを参照して、図４６のステップＳ２０３における全方位画像取得処理について説明する。
【０５４１】
全方位画像取得処理では、まず最初に、ステップＳ２１１において、制御部１１８は、ユーザＵ_kが操作部１１５を操作することにより、他の移動体（従移動体）を特定する移動体IDの入力があったかどうかを判定する。
【０５４２】
ステップＳ２１１において、ユーザＵ_kによる移動体IDの入力がなかったと判定された場合、ステップＳ２１２に進み、制御部１１８は、全方位カメラ１０２_kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０５４３】
スケール加工部１１３は、全方位カメラ１０２_kから、全方位画像データが供給されると、ステップＳ２１３において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２１４に進み、画像データベース１１４に供給して登録する。
【０５４４】
その後、ステップＳ２１５に進み、制御部１１８は、直前のステップＳ２１４で画像データベース１１４に登録された全方位画像データを読み出し、画像変換部１２７に供給して、その全方位画像データの歪みを除去する画像変換を行わせる。
【０５４５】
そして、ステップＳ２１６に進み、制御部１１８は、画像変換後（歪み除去後）の全方位画像データを、表示画像加工部１１９に供給し、表示部１２２に表示させる画像データ（以下、適宜、表示データという）を生成させる。
【０５４６】
即ち、この場合、表示画像加工部１１９（図４５）では、画像メモリ２７１において、制御部１１８からの全方位画像データが記憶される。この画像メモリ２７１に記憶された全方位画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整され、画像生成部２７４を介して、表示メモリ２７６に供給される。
【０５４７】
表示メモリ２７６は、画像生成部２７４を介して供給される全方位画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２１６では、表示部１２２において、全方位画像データが表示され、全方位画像取得処理を終了する。
【０５４８】
従って、この場合、表示部１２２では、主移動体が、現在地で撮像した全方位画像データ（静止画）が表示される。
【０５４９】
一方、ステップＳ２１１において、ユーザＵ_kによる移動体IDの入力があったと判定された場合、ステップＳ２１７に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、ユーザＵ_kが入力した移動体IDを含めて送信させる。
【０５５０】
この場合、後述するように、リクエスト信号に含まれる移動体IDによって特定される移動体（従移動体）は、現在地における全方位画像データを撮像して、主移動体である移動体１０１_kに送信してくるので、ステップＳ２１８において、受信部１１７が、その全方位画像データが送信されてくるのを待って受信する。なお、従移動体は、全方位画像データを、図４４に示した画像データベース１１４の記憶フォーマットと同様のフォーマットで送信してくるようになっている。
【０５５１】
その後、ステップＳ２１４に進み、受信部１１７で受信された全方位画像データは、画像データベース１１４に供給されて登録される。そして、以後、ステップＳ２１５，Ｓ２１６において、上述した場合と同様の処理が行われ、全方位画像取得処理を終了する。
【０５５２】
従って、この場合、表示部１２２では、ユーザＵ_kが入力した移動体IDによって特定される従移動体が、現在地で撮像した全方位画像データ（静止画）が表示される。
【０５５３】
次に、図４８のフローチャートを参照して、図４６のステップＳ２０４における視点指定画像取得処理について説明する。
【０５５４】
まず最初に、ステップＳ２１１において、制御部１１８は、表示部１２２を制御することにより、被写体情報と視点情報の入力を要求するメッセージを表示させ、ステップＳ２２２に進み、制御部１１８は、ユーザＵ_kが操作部１１５を操作することにより、被写体情報と視点情報を入力したかどうかを判定する。
【０５５５】
ステップＳ２２２において、被写体情報および視点情報の入力が行われていないと判定された場合、ステップＳ２１１に戻り、再度、ユーザに対して、被写体情報および視点情報の入力が要求される。
【０５５６】
また、ステップＳ２２２において、被写体情報および視点情報の入力があったと判定された場合、ステップＳ２２３に進み、制御部１１８は、その被写体情報および視点情報を、座標演算部１２５に供給し、撮像ポイントを計算させる。即ち、この場合、座標演算部１２５は、図４２で説明したようにして、１つの撮像ポイントを求め、制御部１１８に供給する。
【０５５７】
制御部１１８は、座標演算部１２５からの撮像ポイントを、記憶部１２１に供給して記憶させ、ステップＳ２２４に進み、画像データベース１１４を参照することにより、ステップＳ２２３で得られた撮像ポイントから、ユーザＵ_kが入力した被写体情報によって特定される被写体が写った全方位画像データが、既に登録されているかどうかを判定する。なお、この判定は、画像データベース１１４におけるヘッダ部（図４４）の情報（ヘッダ情報）を参照することによって行うことができる。
【０５５８】
ステップＳ２２４において、ステップＳ２２３で得られた撮像ポイントから、ユーザＵ_kが入力した被写体情報によって特定される被写体が写った全方位画像データが、画像データベース１１４に、既に登録されていると判定された場合、即ち、ユーザＵ_kが入力した視点情報が表す視点方向から、同じくユーザＵ_kが入力した被写体情報によって特定される被写体を見た場合の全方位画像データを、過去に、自身で撮像したか、または、他の移動体から受信したことがあり、その全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２２５に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２３２に進む。
【０５５９】
また、ステップＳ２２４において、ステップＳ２２３で得られた撮像ポイントから、ユーザＵ_kが入力した被写体情報によって特定される被写体が写った全方位画像データが、画像データベース１１４に登録されていないと判定された場合、ステップＳ２２６に進み、比較部１２０は、現在地が、記憶部１２１に記憶された撮像ポイントと一致するかどうかを判定する。
【０５６０】
即ち、ステップＳ２２６では、比較部１２０において、位置検出部１２３で検出されている現在地が、ステップＳ２２３で記憶部１２１に記憶された撮像ポイントと一致するかどうかが判定される。
【０５６１】
ステップＳ２２６において、現在地が、記憶部１２１に記憶された撮像ポイントと一致すると判定された場合、即ち、主移動体自身が、撮像ポイントに位置している場合、ステップＳ２２７に進み、制御部１１８は、全方位カメラ１０２_kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０５６２】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２２８において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２２９に進み、画像データベース１１４に供給して登録する。そして、制御部１１８は、ステップＳ２２９で画像データベース１１４に登録された全方位画像データを読み出し、ステップＳ２３２に進む。
【０５６３】
一方、ステップＳ２２６において、現在地が、記憶部１２１に記憶された撮像ポイントと一致しないと判定された場合、ステップＳ２３０に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、ステップＳ２３３で求められた撮像ポイントを含めて送信させる。
【０５６４】
この場合、後述するように、リクエスト信号に含まれる撮像ポイントを現在地とする移動体（従移動体）は、現在地（従って、撮像ポイント）における全方位画像データを撮像等して、主移動体である移動体１０１_kに送信してくるので、ステップＳ２３１において、受信部１１７が、その全方位画像データが送信されてくるのを待って受信する。
【０５６５】
なお、この場合、複数の従移動体それぞれにおいて、後述する図５０の従移動体の処理が行われることにより、リクエスト信号に含まれる撮像ポイントから撮像した同一の全方位画像データが送信されてくることが考えられるが、このように、同一の全方位画像データが、複数の従移動体から送信されてきた場合は、受信部１１７は、例えば、その複数の同一の全方位画像データのうちの１つを選択するようになっている。後述する図４９のステップＳ２５０においても同様である。
【０５６６】
その後、ステップＳ２２９に進み、受信部１１７で受信された全方位画像データは、画像データベース１１４に供給されて登録される。そして、制御部１１８は、ステップＳ２２９で画像データベース１１４に登録した全方位画像データを読み出し、ステップＳ２３２に進む。
【０５６７】
ステップＳ２３２では、制御部１１８は、画像データベース１１４から読み出した全方位画像データ、即ち、ユーザＵ_kが入力した視点情報が表す視点方向から、同じくユーザＵ_kが入力した被写体情報によって特定される被写体を見た場合の全方位画像データである視点指定画像データを、そのヘッダ情報とともに、切り出し部１２６に供給し、その視点指定画像データから、ユーザＵ_kが入力した被写体情報によって特定される被写体が写っている部分を切り出させる。
【０５６８】
即ち、視点指定画像データである全方位画像データにおいて、被写体が写っている部分は、そのヘッダ情報の中の被写体ポイントと撮像ポイントとから認識することができる。そこで、切り出し部１２６は、視点指定画像データである全方位画像データから、被写体が写っている部分を含む、図３２に示したような、中心点Ｃ１を中心とする円の円弧Ｆ_C1およびＦ_C2、並びに中心点Ｃ１を通る直線Ｌ_C1およびＬ_C2で囲まれる領域を切り出し、その切り出した領域の画像データ（以下、適宜、切り出し画像データという）を、制御部１１８に供給する。
【０５６９】
制御部１１８は、切り出し画像データを受信すると、ステップＳ２３３に進み、その切り出し画像データを、画像変換部１２７に供給して、その歪みを除去する画像変換を行わせる。
【０５７０】
そして、ステップＳ２３４に進み、制御部１１８は、画像変換後（歪み除去後）の切り出し画像データを、表示画像加工部１１９に供給し、表示データを生成させる。
【０５７１】
即ち、この場合、表示画像加工部１１９（図４５）では、画像メモリ２７１において、制御部１１８からの切り出し画像データが記憶される。この画像メモリ２７１に記憶された切り出し画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整され、画像生成部２７４を介して、表示メモリ２７６に供給される。
【０５７２】
表示メモリ２７６は、画像生成部２７４を介して供給される切り出し画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２３４では、表示部１２２において、切り出し画像データが表示され、視点指定画像取得処理を終了する。
【０５７３】
従って、この場合、表示部１２２では、ユーザが所望する被写体を、ユーザが所望する視点方向から撮像した画像（静止画）が表示される。
【０５７４】
次に、図４９のフローチャートを参照して、図４６のステップＳ２０５における視点可変画像取得処理について説明する。
【０５７５】
まず最初に、ステップＳ２４１において、制御部１１８は、表示部１２２を制御することにより、被写体情報の入力を要求するメッセージを表示させ、ステップＳ２４２に進み、制御部１１８は、ユーザＵ_kが操作部１１５を操作することにより、被写体情報を入力したかどうかを判定する。
【０５７６】
ステップＳ２４２において、被写体情報の入力が行われていないと判定された場合、ステップＳ２４１に戻り、再度、ユーザに対して、被写体情報の入力が要求される。
【０５７７】
また、ステップＳ２４２において、被写体情報の入力があったと判定された場合、ステップＳ２４３に進み、制御部１１８は、その被写体情報を、座標演算部１２５に供給し、撮像ポイントを計算させる。即ち、この場合、座標演算部１２５は、図４３で説明したようにして、被写体情報によって特定される被写体を撮像する複数の撮像ポイントを求め、制御部１１８に供給する。
【０５７８】
制御部１１８は、座標演算部１２５からの複数の撮像ポイントを、記憶部１２１に供給して記憶させ、ステップＳ２４４に進み、画像データベース１１４を参照することにより、記憶部１２１に記憶された複数の撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に、既に登録されているものがあるかどうかを判定する。
【０５７９】
ステップＳ２４４において、記憶部１２１に記憶された撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に既に登録されているものがあると判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから、被写体情報によって特定される被写体を撮像した全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２４５に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２４６に進む。
【０５８０】
ステップＳ２４６では、制御部１１８は、画像データベース１１４から読み出した全方位画像データを、そのヘッダ情報とともに、切り出し部１２６に供給し、その全方位画像データから、ユーザＵ_kが入力した被写体情報によって特定される被写体が写っている部分を切り出させる。
【０５８１】
即ち、上述したように、全方位画像データにおいて、被写体が写っている部分は、そのヘッダ情報の中の被写体ポイントと撮像ポイントとから認識することができるので、切り出し部１２６は、全方位画像データから、被写体が写っている部分を含む画像データを切り出し、その結果得られる切り出し画像データ（ヘッダ情報を含む）を、制御部１１８に供給する。
【０５８２】
制御部１１８は、このようにして、切り出し部１２６から供給される切り出し画像データを、その内蔵するメモリ（図示せず）に一時記憶し、ステップＳ２４７に進む。
【０５８３】
ステップＳ２４７では、制御部１１８は、記憶部１２１に記憶された複数の撮像ポイントのうち、ステップＳ２４５で画像データベース１１４から読み出した全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２４８に進む。
【０５８４】
即ち、これにより、記憶部１２１は、ユーザＵ_kが入力した被写体情報によって特定される被写体についての全方位画像データが得られていない視点方向にある撮像ポイントだけが記憶された状態となる。
【０５８５】
なお、記憶部１２１に記憶された複数の撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に、既に登録されているものが２以上ある場合には、上述のステップＳ２４５乃至Ｓ２４７の処理は、その既に登録されている２以上の撮像ポイントそれぞれについて行われる。
【０５８６】
一方、ステップＳ２４４において、記憶部１２１に記憶された撮像ポイントの中に、被写体情報によって特定される被写体についての撮影ポイントとして、画像データベース１１４に登録されているものがないと判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから、被写体情報によって特定される被写体を撮像した全方位画像データが、画像データベース１１４に登録されていない場合、ステップＳ２４８に進み、制御部１１８は、送信部１１６を制御することにより、画像データを要求するリクエスト信号を、それに、記憶部１２１に記憶されている撮像ポイントを含めて送信させ、ステップＳ２４９に進む。
【０５８７】
ステップＳ２４９では、受信部１１７は、ステップＳ２４８で送信したリクエスト信号に対応して、移動体（従移動体）から、そのリクエスト信号に含まれるいずれかの撮像ポイントで撮像された全方位画像データが送信されてきたかどうかを判定し、送信されてきたと判定した場合、ステップＳ２５０に進み、受信部１１７は、その全方位画像データを受信する。そして、受信部１１７は、ステップＳ２５４に進み、ステップＳ２５０で受信した全方位画像データを、画像データベース１１４に供給して登録し、ステップＳ２５５に進む。
【０５８８】
一方、ステップＳ２４９において、移動体（従移動体）から、全方位画像データが送信されてきていないと判定された場合、ステップＳ２５１に進み、比較部１２０は、図４８のステップＳ２２６における場合と同様にして、現在地が、記憶部１２１に記憶されたいずれかの撮像ポイントと一致するかどうかを判定する。
【０５８９】
ステップＳ２５１において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれとも一致しないと判定された場合、ステップＳ２５２乃至Ｓ２５６をスキップして、ステップＳ２５７に進む。
【０５９０】
また、ステップＳ２５１において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれかと一致すると判定された場合、即ち、主移動体自身が、撮像ポイントに位置している場合、ステップＳ２５２に進み、制御部１１８は、全方位カメラ１０２_kの撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０５９１】
スケール加工部１１３は、上述のようにして、全方位画像データが供給されると、ステップＳ２５３において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２５４に進み、画像データベース１１４に供給して登録し、ステップＳ２５５に進む。
【０５９２】
ステップＳ２５５では、制御部１１８が、記憶部１２１に記憶された撮像ポイントのうち、ステップＳ２５４で画像データベース１１４に記憶された全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２５６に進む。
【０５９３】
ステップＳ２５６では、制御部１１８は、ステップＳ２５４で画像データベース１１４に登録した全方位画像データを読み出し、ステップＳ２４６における場合と同様に、そのヘッダ情報とともに、切り出し部１２６に供給する。これにより、切り出し部１２６は、制御部１１８からのヘッダ情報に基づき、同じく制御部１１８からの全方位画像データから、ユーザＵ_kが入力した被写体情報によって特定される被写体が写っている部分を切り出す。そして、切り出し部１２６は、その結果得られる切り出し画像データを、制御部１１８に供給し、制御部１１８は、切り出し部１２６から供給される切り出し画像データを、その内蔵するメモリに一時記憶して、ステップＳ２５７に進む。
【０５９４】
ステップＳ２５７では、制御部１１８は、記憶部１２１に撮像ポイントが記憶されていないか、または、ステップＳ２４８でリクエスト信号を送信してから所定の時間が経過したかどうかを判定する。ステップＳ２５７において、記憶部１２１に撮像ポイントが記憶されており、かつリクエスト信号を送信してから所定の時間が経過していないと判定された場合、ステップＳ２４９に戻り、以下、同様の処理が繰り返される。
【０５９５】
また、ステップＳ２５７において、記憶部１２１に撮像ポイントが記憶されていないか、またはリクエスト信号を送信してから所定の時間が経過したと判定された場合、即ち、ユーザＵ_kが入力した被写体情報によって特定される被写体を、ステップＳ２４３で求められた複数の撮像ポイントすべてから撮像した全方位画像データが得られるか、または、そのような全方位画像データが、リクエスト信号を送信してから所定の時間が経過しても得られなかった場合、ステップＳ２５８に進み、制御部１１８は、記憶部１２１の記憶内容をクリアし、ステップＳ２５９に進む。
【０５９６】
ステップＳ２５９では、制御部１１８は、その内蔵するメモリに記憶されている切り出し画像データすべてを、画像変換部１２７に供給し、その歪みを除去する画像変換を行わせる。
【０５９７】
そして、ステップＳ２６０に進み、制御部１１８は、画像変換後（歪み除去後）の切り出し画像データを、表示画像加工部１１９に供給し、表示データを生成させる。
【０５９８】
即ち、この場合、表示画像加工部１１９（図４５）では、画像メモリ２７１において、制御部１１８から供給される切り出し画像データが、上述の異方向画像データとして記憶される。この画像メモリ２７１に記憶された異方向画像データは、必要に応じて、スケール加工部２７２において、そのスケールが調整される。
【０５９９】
そして、対応画素演算部２７３は、画像メモリ２７１に記憶された異方向画像データについて、上述したようにして、画素の対応関係を検出し、画像生成部２７４に供給する。
【０６００】
画像生成部２７４は、画像メモリ２７１に記憶された異方向画像データを用い、対応画素演算部２７３からの画素の対応関係を参照しながら、視点可変画像データ、即ち、視点を時計回りまたは反時計回り方向に変えながら、ユーザＵ_kが入力した被写体情報によって特定される被写体を撮像した画像データを生成し、表示データとして、表示メモリ２７６に供給される。
【０６０１】
表示メモリ２７６は、画像生成部２７４を介して供給される視点可変画像データを、表示データとして記憶し、表示部１２２に供給する。これにより、ステップＳ２６０では、表示部１２２において、動画データである視点可変画像データが表示され、視点可変画像取得処理を終了する。
【０６０２】
従って、この場合、表示部１２２では、ユーザが所望する被写体を、その周囲を一周しながら撮像したような動画が表示される。
【０６０３】
なお、表示画像加工部１１９（図４５）の画像生成部２７４において、画像メモリ２７１に記憶された異方向画像データを用いて、視点可変画像データが生成される場合には、図４５で説明したように、視点可変画像としての動画を構成するフレームのうち、画像メモリ２７１に記憶された異方向画像データが配置されないもの（未配置フレーム）については、その未配置フレームに配置する画像データが、補間フレーム生成部２７５において生成される。
【０６０４】
従って、視点可変画像は、未配置フレームが少ないほど動きが滑らかなもの（時間方向の解像度が高いもの）となるが、このことは、異方向画像データが多数集まるほど、視点可変画像の画質が向上することを意味する。
【０６０５】
次に、図５０を参照して、従移動体の処理について説明する。
【０６０６】
従移動体の処理では、ステップＳ２７１において、受信部１１７が、他の移動体である主移動体からリクエスト信号が送信されてきたかどうかを判定し、送信されてきていないと判定した場合、ステップＳ２７１に戻る。
【０６０７】
そして、ステップＳ２７１において、リクエスト信号が送信されてきたと判定された場合、受信部１１７は、そのリクエスト信号を受信して、制御部１１８に供給し、ステップＳ２７２に進む。
【０６０８】
ステップＳ２７２では、制御部１１８は、受信部１１７からのリクエスト信号に、移動体IDが含まれるかどうかを判定し、含まれると判定した場合、ステップＳ２７３に進む。
【０６０９】
ステップＳ２７３では、制御部１１８は、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致するかどうかを判定する。ここで、制御部１１８は、自身の移動体IDを、例えば、その内蔵するメモリに記憶している。
【０６１０】
ステップＳ２７３において、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致しないと判定された場合、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０６１１】
また、ステップＳ２７３において、リクエスト信号に含まれる移動体IDが、自身の移動体IDと一致すると判定された場合、ステップＳ２７４に進み、制御部１１８は、撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０６１２】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２７５において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２７６に進み、画像データベース１１４に供給して登録し、ステップＳ２７７に進む。
【０６１３】
ステップＳ２７７では、制御部１１８は、ステップＳ２７６で画像データベース１１４に登録した全方位画像データを、ヘッダ情報とともに読み出し、送信部１１６に供給して、リクエスト信号を送信してきた主移動体に送信させる。そして、ステップＳ２７１に戻り、以下、同様の処理が繰り返される。なお、リクエスト信号には、そのリクエスト信号を送信してきた移動体の移動体IDが含められており、ステップＳ２７７（後述するステップＳ２８２およびＳ２８８においても同様）では、その移動体ＩＤを宛先として、全方位画像データが送信される。
【０６１４】
一方、ステップＳ２７２において、リクエスト信号に、移動体IDが含まれていないと判定された場合、ステップＳ２７８に進み、制御部１１８は、リクエスト信号に、１以上の撮像ポイントが含まれているかどうかを判定する。ステップＳ２７８において、リクエスト信号に、撮像ポイントが含まれていないと判定された場合、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０６１５】
一方、ステップＳ２７８において、リクエスト信号に、１以上の撮像ポイントが含まれていると判定された場合、ステップＳ２７９に進み、制御部１１８は、リクエスト信号に含まれている１以上の撮像ポイントを、記憶部１２１に供給して記憶させる。
【０６１６】
ここで、主移動体において、図４８の視点指定画像取得処理が行われる場合には、リクエスト信号には、１つの撮影ポイントだけが含まれ、図４９の視点可変画像取得処理が行われる場合には、リクエスト信号には、１以上の撮影ポイントが含まれる。
【０６１７】
その後、ステップＳ２８０に進み、制御部１１８は、画像データベース１１４を参照することにより、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがあるかどうかを判定する。
【０６１８】
ステップＳ２８０において、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがあると判定された場合、即ち、記憶部１２１に記憶された撮像ポイントから撮像した全方位画像データが、画像データベース１１４に既に登録されている場合、ステップＳ２８２に進み、制御部１１８は、その全方位画像データを、画像データベース１１４から読み出し、ステップＳ２８２に進む。
【０６１９】
ステップＳ２８２では、制御部１１８は、画像データベース１１４から読み出した全方位画像データを、そのヘッダ情報とともに、送信部１１６に供給し、リクエスト信号を送信してきた主移動体に送信させる。そして、ステップＳ２８３に進み、制御部１１８は、記憶部１２１に記憶された１以上の撮像ポイントのうち、ステップＳ２８１で画像データベース１１４から読み出した全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２８４に進む。
【０６２０】
なお、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものが複数ある場合には、上述のステップＳ２８１乃至Ｓ２８３の処理は、その複数の撮像ポイントそれぞれについて行われる。
【０６２１】
一方、ステップＳ２８０において、記憶部１２１に記憶された１以上の撮像ポイントの中に、画像データベース１１４に記憶されている全方位画像データの撮影ポイントと一致するものがないと判定された場合、即ち、主移動体が要求する全方位画像データが、従移動体の画像データベース１１４には登録されていない場合、ステップＳ２８４に進み、比較部１２０が、図４８のステップＳ２２６にで説明したようにして、現在地が、記憶部１２１に記憶されたいずれかの撮像ポイントと一致するかどうかを判定する。
【０６２２】
ステップＳ２８４において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれかと一致すると判定された場合、即ち、従移動体が、リクエスト信号に含まれている撮像ポイントのうちのいずれかに位置している場合、ステップＳ２８５に進み、制御部１１８は、撮像装置１１１に対して、撮像の要求を行う。撮像装置１１１は、制御部１１８からの要求に応じて、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加工部１１３に供給する。
【０６２３】
スケール加工部１１３は、全方位画像データが供給されると、ステップＳ２８６において、その全方位画像データを、固定倍率の全方位画像データに変換し（スケール加工し）、ステップＳ２８７に進み、画像データベース１１４に供給して登録し、ステップＳ２８８に進む。
【０６２４】
ステップＳ２８８では、制御部１１８は、ステップＳ２８７で画像データベース１１４に登録した全方位画像データを、ヘッダ情報とともに読み出し、送信部１１６に供給して、リクエスト信号を送信してきた主移動体に送信させる。
【０６２５】
その後、ステップＳ２８９に進み、制御部１１８が、記憶部１２１に記憶された１以上の撮像ポイントのうち、ステップＳ２８７で画像データベース１１４に記憶された全方位画像データの撮像ポイントと一致するものを消去し、ステップＳ２８４に戻る。
【０６２６】
一方、ステップＳ２８４において、現在地が、記憶部１２１に記憶された撮像ポイントのいずれとも一致しないと判定された場合、ステップＳ２９０に進み、制御部１１８は、記憶部１２１に撮像ポイントが記憶されていないか、または、主移動体からのリクエスト信号を受信してから所定の時間が経過したかどうかを判定する。ステップＳ２９０において、記憶部１２１に撮像ポイントが記憶されており、かつリクエスト信号を受信してから所定の時間が経過していないと判定された場合、ステップＳ２８４に戻り、以下、同様の処理が繰り返される。
【０６２７】
また、ステップＳ２９０において、記憶部１２１に撮像ポイントが記憶されていないか、またはリクエスト信号を送信してから所定の時間が経過したと判定された場合、即ち、リクエスト信号に含まれる１以上の撮像ポイントそれぞれから撮像した全方位画像データすべてを主移動体に送信したか、または、リクエスト信号を受信してから所定の時間が経過しても、そのリクエスト信号に含まれる１以上の撮像ポイントそれぞれから撮像した全方位画像データの一部もしくは全部が得られなかった場合、ステップＳ２９１に進み、制御部１１８は、記憶部１２１の記憶内容をクリアする。そして、ステップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０６２８】
以上のように、従移動体は、リクエスト信号に、自身の移動体IDが含まれている場合には、現在地を撮像ポイントとして、全方位画像データを撮像し、主移動体に送信する。また、従移動体は、リクエスト信号に、１以上の撮像ポイントが含まれており、その撮像ポイントの全方位画像データが画像データベース１１４に記憶されている場合には、その全方位画像データを、主移動体に送信し、記憶されていない場合において、自身の現在地が撮像ポイントに一致するときには、その撮像ポイントである現在地で全方位画像データを撮像し、主移動体に送信する。
【０６２９】
従って、主移動体は、リクエスト信号に移動体IDを含めて送信した場合には、その移動体IDの従移動体から、その従移動体が現在地において撮像した全方位画像データを得ることができる（第１の機能）。
【０６３０】
また、主移動体は、リクエスト信号に、１つの撮像ポイントを含めて送信した場合には、その撮像ポイントを現在地とする従移動体から、その従移動体が現在地で撮像した全方位画像データを得ることができる。あるいは、また、主移動体は、リクエスト信号に含まれる撮像ポイントの全方位画像データを有している従移動体から、その全方位画像データを得ることができる。その結果、主移動体は、所望の視点方向から、所望の被写体を見た姿が写っている全方位画像データを得ることができる（第２の機能）。
【０６３１】
さらに、主移動体は、リクエスト信号に、複数の撮像ポイントを含めて送信した場合には、その複数の撮像ポイントをそれぞれ現在地とする複数の従移動体から、各従移動体が現在地で撮像した全方位画像データを得ることができる。あるいは、また、主移動体は、リクエスト信号に含まれる各撮像ポイントの全方位画像データを有している各従移動体から、その全方位画像データを得ることができる。その結果、主移動体は、所望の被写体を、複数の視点方向から見た姿が映っている複数の全方位画像データを得ることができ、さらには、そのような複数の全方位画像データから、所望の被写体を、その周りから見渡したような動画である視点可変画像を得ることができる。
【０６３２】
即ち、移動体１０１₁，１０１₂，・・・，１０１_Kそれぞれの全方位カメラ１０２₁，１０２₂，・・・，１０２_Kにおいては、それ単独で、視点可変画像を得ようとすると、被写体の周りを移動し、複数の視点方向から被写体を撮像することにより、複数の全方位画像データを得る必要があるから、即座に、視点可変画像を得ることはできない。
【０６３３】
そこで、ＳＨＡＲＮ移動体システムでは、複数の移動体どうしが協調して（協力しあって）、複数の撮像ポイントそれぞれから撮像した全方位画像データを取得する。即ち、主移動体が、複数の撮像ポイントそれぞれから撮像した全方位画像データを、従移動体に要求し、その全方位画像データを有する従移動体、またはその全方位画像データを撮像しうる従移動体は、その全方位画像データを、主移動体に提供する。
【０６３４】
このように、主移動体は、必要な全方位画像データを有する従移動体、または必要な全方位画像データを撮像しうる従移動体の協力によって、必要な全方位画像データを得て、自身の全方位カメラだけでは得られなかった視点可変画像、即ち、所望の被写体が単に写っているのではなく、その周囲を移動しながら撮像したような姿が映っているという付加価値が付いた動画像を得ることができる。
【０６３５】
従って、主移動体においては、その全方位カメラだけでは困難であった、視点可変画像を生成（撮像）するという高機能が実現されているということができるが、これは、主移動体と、１以上の従移動体とが、図５１において点線で囲むように、まるで１つの装置であるかのようになって、従移動体が、主移動体が要求する撮像ポイントの全方位画像データを提供し、主移動体が、そのようにして従移動体から提供される全方位画像データを用いて視点可変画像データを生成することにより、結果として、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担することとなっているからである。
【０６３６】
これに対して、従移動体が、任意に撮像した全方位画像データを、主移動体に提供するというだけでは、従移動体が、全方位画像データを集めるという処理を、単に分担しているだけとなり、主移動体において、視点可変画像の生成に必要な画像を得られず、従って、視点可変画像を生成するという高機能を実現することはできない。
【０６３７】
なお、ＳＨＡＲＮ移動体システムにおいて、上述のように、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担する場合には、視点可変画像データを、即座に得ることができるから、この点に注目すれば、いわばリアルタイムの協調分担が行われているということができる。
【０６３８】
一方、ＳＨＡＲＮ移動体システムでは、上述のようなリアルタイムの協調分担が行われることにより、主移動体となった移動体の画像データベース１１４には、所定の被写体について視点可変画像を生成するのに必要な複数の撮像ポイントから撮像された全方位画像データが蓄積される。その結果、所定の被写体について、視点可変画像の生成の要求が多い場合には、その要求回数に応じて時間解像度の高い視点可変画像が生成されるようになる。
【０６３９】
即ち、例えば、上述したように、フレームレートを３０フレーム／秒として、３秒間で、被写体の周囲を１周するような視点可変画像を生成する場合には、理想的には、その被写体を、４度ずつ異なる視点方向から撮像した９０枚の画像（異方向画像）が必要であり、この９０枚の異方向画像が集まれば、フレームレートが３０フレーム／秒で、３秒間の間に被写体の周囲を１周するという条件下において、最も時間解像度の高い視点可変画像を得ることができる。
【０６４０】
この場合、９０カ所の撮像ポイントで撮像された全方位画像（９０枚の異方向画像となる全方位画像）を得る必要があるが、いま、説明を簡単にするために、いずれの移動体の画像データベース１１４にも全方位画像データが記憶されていないと仮定すると、ある１つの移動体Ａが、視点可変画像取得処理（図４９）において、所定の被写体についての９０カ所の撮像ポイントを含むリクエスト信号を送信しても、その９０カ所のそれぞれに、他の移動体が存在するとは限らず、従って、９０カ所の撮像ポイントそれぞれで撮像された全方位画像すべては、一般には、集まらない。
【０６４１】
しかしながら、例えば、いま、移動体Ａによる視点可変画像取得処理によって、９０カ所の撮像ポイントのうちの、例えば１／３の３０カ所の撮像ポイントの全方位画像が集まり、その画像データベース１１４に登録されたとすると、その後、他の移動体Ｂが、視点可変画像取得処理（図４９）において、所定の被写体についての９０カ所の撮像ポイントを含むリクエスト信号を送信した場合には、移動体Ｂは、少なくとも、移動体Ａの画像データベース１１４に記憶されている３０カ所の全方位画像を得ることができる。さらに、この場合、残りの６０カ所の撮像ポイントのうちのいずれかに、他の移動体が位置している可能性が高く、移動体Ｂは、そのような他の移動体から、残りの６０カ所のうちのいずれかの撮像ポイントの全方位画像を得ることができる。
【０６４２】
従って、所定の被写体について、多数の移動体から、視点可変画像の生成の要求があると、その要求回数に応じて、多数の撮像ポイントの全方位画像が得られることとなり、その結果、時間解像度の高い視点可変画像が生成されるようになる。
【０６４３】
このように、視点可変画像の生成の要求が多い所定の被写体については、その要求回数に応じて、時間解像度の高いという付加価値が付いた視点可変画像が生成されるようになるが、これも、複数の移動体の全方位カメラそれぞれが、視点可変画像データを撮像（生成）するという処理を、互いに協調しながら分担することとなっているからである。但し、時間解像度の高いという付加価値が付いた視点可変画像が生成されることに注目すると、時間解像度が高くなるのは、所定の被写体についての視点可変画像の生成の要求が何度も行われることによるものであるから、ある程度の時間の経過が必要であり、従って、上述のリアルタイムの協調分担に対して、長期的な協調分担が行われているということができる。
【０６４４】
なお、上述の場合には、移動体１０１_kにおいて、全方位カメラ１０２_kにより撮像を行うようにしたが、移動体１０１_kでは、通常のカメラで撮像を行うようにすることも可能である。
【０６４５】
また、移動体１０１_kとしては、自動車の他、船舶や航空機等を採用することも可能である。
【０６４６】
さらに、上述の場合には、ＳＨＡＲＮ移動体システムにおいて、付加価値のある画像として、被写体を、その周囲を移動しながら撮像したような視点可変画像を生成するようにしたが、付加価値のある画像としては、その他、例えば、いわゆる三角測量を利用して、３次元画像を生成するようにすることも可能である。
【０６４７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０６４８】
そこで、図５２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０６４９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２１０５やＲＯＭ２１０３に予め記録しておくことができる。
【０６５０】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０６５１】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２１０８で受信し、内蔵するハードディスク２１０５にインストールすることができる。
【０６５２】
コンピュータは、CPU(Central Processing Unit)２１０２を内蔵している。CPU２１０２には、バス２１０１を介して、入出力インタフェース２１１０が接続されており、CPU２１０２は、入出力インタフェース２１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２１０３に格納されているプログラムを実行する。あるいは、また、CPU２１０２は、ハードディスク２１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２１０８で受信されてハードディスク２１０５にインストールされたプログラム、またはドライブ２１０９に装着されたリムーバブル記録媒体２１１１から読み出されてハードディスク２１０５にインストールされたプログラムを、RAM(Random Access Memory)２１０４にロードして実行する。これにより、CPU２１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２１０６から出力、あるいは、通信部２１０８から送信、さらには、ハードディスク２１０５に記録等させる。
【０６５３】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０６５４】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０６５５】
【発明の効果】
本発明の情報処理システムおよび第１の情報処理方法、並びに第１のプログラムおよび第１の記録媒体によれば、複数の作動手段または複数の検知手段が協調して処理を分担するので、情報処理システムが高機能化される。
【０６５６】
本発明の情報処理装置および第２の情報処理方法、並びに第２のプログラムおよび第２の記録媒体によれば、作動手段または検知手段が他の情報処理装置と協調して処理を分担するので、情報処理装置が高機能化される。
【図面の簡単な説明】
【図１】本発明を適用したＳＨＡＲＮシステムの一実施の形態の構成例を示すブロック図である。
【図２】本発明を適用したＳＨＡＲＮシステムの他の一実施の形態の構成例を示すブロック図である。
【図３】ＳＨＡＲＮシステムを適用したＳＨＡＲＮ手術システムの一実施の形態の構成例を示すブロック図である。
【図４】スレーブマニピュレータ６１とマスタマニピュレータ６２の外観構成例を示す斜視図である。
【図５】ロール回転、ピッチ回転、およびヨー回転を説明する図である。
【図６】目標軌跡、操作軌跡、および平均軌跡を示す図である。
【図７】スレーブマニピュレータ６１の電気的構成例を示すブロック図である。
【図８】マスタマニピュレータ６２の電気的構成例を示すブロック図である。
【図９】スーパドクタデータベース部６４の電気的構成例を示すブロック図である。
【図１０】スレーブマニピュレータ６１の処理を説明するフローチャートである。
【図１１】マスタマニピュレータ６２の処理を説明するフローチャートである。
【図１２】スーパドクタデータベース部６４の処理を説明するフローチャートである。
【図１３】ＳＨＡＲＮ手術システムにおける協調分担を説明するための図である。
【図１４】ＳＨＡＲＮシステムを適用したＳＨＡＲＮデザインシステムの一実施の形態の構成例を示すブロック図である。
【図１５】擬似スレーブマニピュレータ４１の電気的構成例を示すブロック図である。
【図１６】マスタマニピュレータ４２の電気的構成例を示すブロック図である。
【図１７】スーパデザイナデータベース部４４の電気的構成例を示すブロック図である。
【図１８】デザイン情報を説明する図である。
【図１９】擬似スレーブマニピュレータ４１の処理を説明するフローチャートである。
【図２０】マスタマニピュレータ４２の処理を説明するフローチャートである。
【図２１】スーパデザイナデータベース部４４の処理（制御処理）を説明するフローチャートである。
【図２２】スーパデザイナデータベース部４４の処理（更新処理）を説明するフローチャートである。
【図２３】ＳＨＡＲＮデザインシステムにおける協調分担を説明するための図である。
【図２４】ＳＨＡＲＮシステムを適用したＳＨＡＲＮ移動体システムの構成例を示す図である。
【図２５】ＳＨＡＲＮ移動体システムの機能の概略を説明するための図である。
【図２６】移動体１０１_kの電気的構成例を示すブロック図である。
【図２７】撮像装置１１１の構成例を示す斜視図である。
【図２８】全方位画像データを示す図である。
【図２９】集光部２０２を構成する双曲面を説明する図である。
【図３０】集光部２０２と撮像部２０３との位置関係を説明するための図である。
【図３１】全方位画像データを示す図である。
【図３２】全方位画像データからの切り出しを説明するための図である。
【図３３】円周方向の歪みを説明するための図である。
【図３４】半径方向の歪みを説明するための図である。
【図３５】半径方向の歪みを除去する方法を説明するための図である。
【図３６】半径方向の歪みを除去する方法を説明するための図である。
【図３７】半径方向の歪みを除去する全方位画像データの変換を説明するための図である。
【図３８】変換対象点における画素値の求め方を説明するための図である。
【図３９】スケール加工部１１３の電気的構成例を示すブロック図である。
【図４０】タップ係数を学習する学習装置の電気的構成例を示すブロック図である。
【図４１】座標演算部１２５の電気的構成例を示すブロック図である。
【図４２】撮像ポイントの求め方を説明するための図である。
【図４３】撮像ポイントの求め方を説明するための図である。
【図４４】画像データベース１１４の記憶フォーマットを示す図である。
【図４５】表示画像加工部１１９の電気的構成例を示すブロック図である。
【図４６】主移動体の処理を説明するフローチャートである。
【図４７】全方位画像取得処理を説明するフローチャートである。
【図４８】視点指定画像取得処理を説明するフローチャートである。
【図４９】視点可変画像取得処理を説明するフローチャートである。
【図５０】従移動体の処理を説明するフローチャートである。
【図５１】ＳＨＡＲＮ移動体システムにおける協調分担を説明するための図である。
【図５２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 手術台， ２₁乃至２₄ マイク， ３Ｌ，３Ｒ スレーブマニピュレータ部， ４Ｌ，４Ｒ 先端部， ５ カメラ部， ６（６₁乃至６₅） カメラ， ８Ｌ，８Ｒ マスタマニピュレータ部， ９Ｌ，９Ｒ 操作部， １０ モニタ， １１ スピーカ， １２ 操作パネル， ２１ 入出力制御装置， ２２ 姿勢パラメータ登録部， ２３ 手術経過情報データベース， ２４ 手術経過情報登録部， ２５ 手術情報データベース， ２６ 更新部， ２７ 手術技術情報データベース， ２８ 姿勢パラメータ制御部， ２９ 検索部， ３０手術技術情報登録部， ４１ 擬似スレーブマニピュレータ， ４２₁乃至４２_K マスタマニピュレータ， ４３ ネットワーク， ４４ スーパデザイナデータベース部， ５１ スレーブマニピュレータ制御装置， ５２ 入出力制御装置， ５３ マスタマニピュレータ制御装置， ５４ 入出力制御装置， ６１ スレーブマニピュレータ， ６２₁乃至６２_K マスタマニピュレータ， ６３ ネットワーク， ６４ スーパドクタデータベース部， ７１ 制御部，７２ 姿勢遷移機構部， ７３ 制御機構部， ７４ 通信部， ７５ センサ， ７６ アクチュエータ， ７７ 擬似スレーブマニピュレータ， ７８ デザイン情報データベース， ７９ 画像生成部， ８０ 入出力制御装置， ８１ 制御部， ８２ 姿勢遷移機構部， ８３ 制御機構部， ８４ 通信部， ８５ センサ， ８６ アクチュエータ， ９１ デザイン情報登録部， ９２ デザイン情報データベース， ９３ デザイン評価部， ９４ 特異デザイン情報データベース， ９５ 流行デザイン情報データベース， ９６ 更新部， １０１₁乃至１０１_K 移動体， １０２₁乃至１０２_K 全方位カメラ， １０３ 被写体， １０４ ネットワーク， １０５ 情報処理装置， １１１撮像装置， １１２ Ａ／Ｄ変換部， １１３ スケール加工部， １１４ 画像データベース， １１５ 操作部， １１６ 送信部， １１７ 受信部，１１８ 制御部， １１９ 表示画像加工部， １２０ 比較部， １２１ 記憶部， １２２ 表示部， １２３ 位置検出部， １２４ 地図データベース， １２５ 座標演算部， １２６ 切り出し部， １２７ 画像変換部， ２０１ 支持体， ２０２ 集光部， ２０３ 撮像部， ２３１ バッファ，２３２ 予測タップ抽出回路， ２３３ クラスタップ抽出回路， ２３４ クラス分類回路， ２３５ 係数記憶部， ２３６ 積和演算回路， ２３７ 制御回路， ２４２ 教師データメモリ， ２４３ 生徒データ生成回路， ２４４ 生徒データメモリ， ２４５ 予測タップ抽出回路， ２４６ クラスタップ抽出回路， ２４７ クラス分類回路， ２４８ 正規方程式加算回路， ２４９ タップ係数決定回路， ２５０ 係数メモリ， ２５１ 制御回路， ２６１ 検索部， ２６２ 撮像ポイント算出部， ２７１ 画像メモリ， ２７２ スケール加工部， ２７３ 対応画素演算部， ２７４ 画像生成部， ２７５ 補間フレーム生成部， ２７６ 表示メモリ， １００１ ネットワーク， １００２ 合成／統合部， １００３₁乃至１００３_K 操作部， １００４ 駆動制御部， １００５₁乃至１００５_M アクチュエータ， １００６ 信号処理部， １００７₁乃至１００７_N センサ， ２１０１ バス， ２１０２ CPU， ２１０３ ROM， ２１０４ RAM， ２１０５ ハードディスク， ２１０６ 出力部， ２１０７ 入力部， ２１０８ 通信部， ２１０９ ドライブ， ２１１０ 入出力インタフェース， ２１１１ リムーバブル記録媒体

Claims (14)

1. 複数のユーザの操作に応じて作動する複数の作動手段と、
   前記複数の作動手段が作用する現実世界を検知する複数の検知手段と、
   前記複数の作動手段または複数の検知手段との間で情報を送受信するための通信手段と、
   前記複数の作動手段による作動結果または前記複数の検知手段による検知結果を蓄積する蓄積手段と、
   前記蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較する比較手段と、
   前記比較手段による比較結果に応じて、前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する合成手段と
   を備えることを特徴とする情報処理システム。
2. 前記合成手段は、前記比較手段による比較結果に応じて、前記現在の作動結果のみを前記合成作動結果として出力し、
   前記複数の作動手段のうちの一の作動手段が、前記合成作動結果に応じて制御される
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記合成手段は、前記比較手段による比較結果に応じて、前記現在の検知結果のみを前記合成検知結果として出力し、
   当該合成検知結果が表示される
   ことを特徴とする請求項１に記載の情報処理システム。
4. 前記蓄積手段には、前記作動手段の操作として制限すべき操作内容の作動結果が蓄積され、
   前記合成手段は、前記制限すべき操作内容の作動結果に応じて、前記合成作動結果を生成する
   ことを特徴とする請求項１に記載の情報処理システム。
5. 複数のユーザの操作に応じて作動する複数の作動手段と、
   前記複数の作動手段が作用する現実世界を検知する複数の検知手段と、
   前記複数の作動手段または複数の検知手段との間で情報を送受信するための通信手段と、
   前記複数の作動手段による作動結果または前記複数の検知手段による検知結果を蓄積する蓄積手段と
   を備える情報処理システムの情報処理方法であって、
   前記蓄積手段に蓄積された前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを比較し、その比較結果に応じて、前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する
   処理を行う処理ステップを備えることを特徴とする情報処理方法。
6. 複数のユーザの操作に応じて作動する複数の作動手段と、
   前記複数の作動手段が作用する現実世界を検知する複数の検知手段と、
   前記複数の作動手段または複数の検知手段との間で情報を送受信するための通信手段と、
   前記複数の作動手段による作動結果または前記複数の検知手段による検知結果を蓄積する蓄積手段と
   を備える情報処理システム用のプログラムであって、
   前記蓄積手段に蓄積された前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを比較し、その比較結果に応じて、前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する
   処理を行う処理ステップを備えることを特徴とするコンピュータが読み取り可能なプログラム。
7. 複数のユーザの操作に応じて作動する複数の作動手段と、
   前記複数の作動手段が作用する現実世界を検知する複数の検知手段と、
   前記複数の作動手段または複数の検知手段との間で情報を送受信するための通信手段と、
   前記複数の作動手段による作動結果または前記複数の検知手段による検知結果を蓄積する蓄積手段と
   を備える情報処理システム用のプログラムが記録されている記録媒体であって、
   前記蓄積手段に蓄積された前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを比較し、その比較結果に応じて、前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する
   処理を行う処理ステップを備えるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする記録媒体。
8. 所定の情報処理を行う情報処理装置であって、
   ユーザの操作に応じて作動する作動手段と、
   前記作動手段が作用する現実世界を検知する検知手段と、
   他の情報処理装置との間で情報を送受信するための通信手段と、
   前記作動手段による作動結果または前記検知手段による検知結果を蓄積する蓄積手段と、
   前記蓄積手段に蓄積された過去の作動結果または検知結果と、現在の作動結果または検知結果とを比較する比較手段と、
   前記比較手段による比較結果に応じて、前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する合成手段と
   を備えることを特徴とする情報処理装置。
9. 前記合成手段は、前記比較手段による比較結果に応じて、前記現在の作動結果のみを前記合成作動結果として出力し、
   前記作動手段が前記合成作動結果に応じて制御される
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記合成手段は、前記比較手段による比較結果に応じて、前記現在の検知結果のみを前記合成検知結果として出力し、
    当該合成検知結果が表示される
    ことを特徴とする請求項８に記載の情報処理装置。
11. 前記蓄積手段には、前記作動手段の操作として制限すべき操作内容の作動結果が蓄積され、
    前記合成手段は、前記制限すべき操作内容の作動結果に応じて、前記合成作動結果を生成する
    ことを特徴とする請求項８に記載の情報処理装置。
12. 所定の情報処理を行う情報処理装置の情報処理方法であって、
    前記情報処理装置は、
    ユーザの操作に応じて作動する作動手段と、
    前記作動手段が作用する現実世界を検知する検知手段と、
    他の情報処理装置との間で情報を送受信するための通信手段と、
    前記作動手段による作動結果または前記検知手段による検知結果を蓄積する蓄積手段と
    を備え、
    前記蓄積手段に蓄積された前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを比較し、その比較結果に応じて、前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する
    処理を行う処理ステップを備えることを特徴とする情報処理方法。
13. 所定の情報処理を行う情報処理装置用のプログラムであって、
    前記情報処理装置は、
    ユーザの操作に応じて作動する作動手段と、
    前記作動手段が作用する現実世界を検知する検知手段と、
    他の情報処理装置との間で情報を送受信する通信手段と、
    前記作動手段による作動結果または前記検知手段による検知結果を蓄積する蓄積手段と
    を備え、
    前記蓄積手段に蓄積された前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを比較し、その比較結果に応じて、前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する
    処理を行う処理ステップを備えることを特徴とするコンピュータが読み取り可能なプログラム。
14. 所定の情報処理を行う情報処理装置用のプログラムが記録されている記録媒体であって、
    前記情報処理装置は、
    ユーザの操作に応じて作動する作動手段と、
    前記作動手段が作用する現実世界を検知する検知手段と、
    他の情報処理装置との間で情報を送受信するための通信手段と、
    前記作動手段による作動結果または前記検知手段による検知結果を蓄積する蓄積手段と
    を備え、
    前記蓄積手段に蓄積された前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを比較し、その比較結果に応じて、前記過去の作動結果または検知結果と、前記現在の作動結果または検知結果とを合成し、合成作動結果または合成検知結果として出力する
    処理を行う処理ステップを備えるコンピュータが読み取り可能なプログラムが記録されている
    ことを特徴とする記録媒体。

Images