JPWO2017104448A1 - 情報処理装置、３次元モデル生成装置、情報処理装置の制御方法、及び、コンピュータープログラム - Google Patents

Abstract

様々な角度から見た対象物画像を容易に生成できる技術を提供する。情報処理装置は、対象物の３次元モデルと、対象物の周囲を含む撮像画像と、を受信する通信部と、受信した３次元モデルから対象物を表す対象物表示画像と、受信した撮像画像から場面表示画像と、を生成する画像生成部と、対象物表示画像と場面表示画像とを表示部に表示させる表示制御部と、対象物表示画像を操作する操作指示を受け付ける入力部と、を備え、画像生成部は、操作指示が対象物表示画像を回転させる回転指示である場合に、３次元モデルから回転指示に応じた対象物表示画像を生成する。

Description

本発明は、３次元モデルについての技術に関する。

従来、撮像側で撮像した画像を表示側で表示するテレビ会議において、撮像側の空間の３次元画像を生成し、３次元画像から表示側の参加者の視点位置に応じた２次元画像を表示装置に表示させる技術が知られている（例えば、特許文献１）。

特開２０１４−７２８８０号公報

従来の技術では、表示側の参加者の視点位置に応じて２次元画像を表示させるため、参加者が意図する任意の方向から見た２次元画像を表示できない場合があった。例えば、表示画面に表示された２次元画像の裏側を見たい場合であっても、視点位置に応じて２次元画像が生成されているため裏側を見ることができない場合がある。また、時系列に生成された３次元モデルから生成された２次元画像が動画像のように順次表示される場合、ある特定の時点における２次元画像を別の角度から見ることが困難となる場合があり、３次元モデルから２次元画像を表示する技術について柔軟性に欠ける場合があった。また、従来の技術では、撮像側において人物に加え人物が位置する空間全体の３次元モデルを生成しているため、高いデータ処理能力が要求される。

すなわち、従来の技術においては、よって、データ処理能力を低減しつつ利用者の意図する方向からの画像を容易に表示できなかった。また、低コスト化、省資源化、製造の容易化、使い勝手の向上等にも課題があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

（１）本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は、対象物の３次元モデルと、前記対象物の周囲含む撮像画像と、を受信する通信部と、受信した前記３次元モデルから前記対象物を表す対象物表示画像と、受信した前記撮像画像から場面表示画像と、を生成する画像生成部と、前記対象物表示画像と前記場面表示画像とを表示部に表示させる表示制御部と、前記対象物表示画像を操作する操作指示を受け付ける入力部と、を備え、前記画像生成部は、前記操作指示が前記対象物表示画像を回転させる回転指示である場合に、前記３次元モデルから前記回転指示に応じた前記対象物表示画像を生成する。この形態によれば、対象物の３次元モデルと、対象物の周囲に位置する人物を含む撮像画像とを受信し、３次元モデルから回転指示に応じた対象物表示画像を生成すると共に撮像画像から人物を含む場面表示画像とを生成し、対象物表示画像と場面表示画像とを表示部に表示できる。なお、ここでいう回転指示とは、別の角度（視点）から見た対象物表示画像を表示すること、すなわち、対象物表示画像を回転した結果を示す画像を表示することを含む。これにより、３次元モデルを用いて別の角度（視点）から見た対象物表示画像を容易に生成できる。また、３次元モデルと撮像画像とを分けて受信しているため、データ処理能力をあげることなく、対象物について様々な角度から見た対象物表示画像を表示部に表示できると共に、人物を含む場面表示画像も表示部に表示できる。

（２）上記形態であって、前記画像生成部は、前記操作指示が前記対象物表示画像の大きさを変更する拡大縮小指示である場合に、前記３次元モデルから前記拡大縮小指示に応じた前記対象物表示画像を生成しても良い。この形態によれば、３次元モデルから拡大縮小指示に応じた対象物表示画像を容易に生成できる。

（３）本発明の他の一形態によれば、３次元モデル生成装置が提供される。この３次元モデル生成装置は、対象物までの距離を検出できる機能を有する、少なくとも２つのカメラモジュールと、前記カメラモジュールが撮像した撮像画像のうち前記対象物の画像である対象物画像と、前記カメラモジュールが検出した前記対象物までの距離を表す深度情報とに基づいて前記対象物の３次元モデルを生成する３次元モデル生成部と、前記３次元モデルを外部に送信する通信部と、を備える。この形態によれば、撮像画像に基づいて対象物の３次元モデルを容易に生成できる。

（４）上記形態であって、さらに、前記少なくとも２つのカメラモジュールのそれぞれに対応して設けられ、前記カメラモジュールを配置する支持部を有し、前記支持部は、前記カメラモジュールの高さ位置を変更する高さ変更機構を有しても良い。この形態によれば、高さ変更機構によってカメラモジュールの高さを容易に変更できる。これにより、対象物をカメラモジュールを用いて容易に撮像できる。

（５）上記形態であって、前記支持部は、前記カメラモジュールを回転させて前記カメラモジュールの光軸方向を変更する回転機構を有しても良い。この形態によれば、回転機構によってカメラモジュールの光軸方向を容易に変更できる。これにより、対象物をカメラモジュールを用いて容易に撮像できる。

（６）上記形態であって、さらに、前記対象物を配置するための配置部を有する基台を有し、前記支持部は、前記基台のうち前記配置部よりも外側の部分から立ち上がるように前記基台に配置されていても良い。この形態によれば、配置部に対象物を配置してカメラモジュールによって対象物を撮像することで、撮像した画像から容易に対象物の３次元モデルを生成できる。

（７）上記形態であって、さらに、キャリブレーションターゲットを用いて前記カメラモジュールの外部パラメーターを決定するパラメーター決定部を有していても良い。この形態によれば、カメラモジュールの外部パラメーターを容易に決定できる。

（８）上記形態であって、さらに、前記キャリブレーションターゲットを有していても良い。この形態によれば、キャリブレーションターゲットを新たに準備する必要がない。

（９）上記形態であって、さらに、前記対象物の周囲に位置する人物を含む領域を撮像する場面用カメラモジュールを有し、前記３次元モデル生成装置は、外部に送信するデータの種類が異なる第１と第２の送信モードを有し、前記第１の送信モードは、前記カメラモジュールによって所定の時点に撮像された前記対象物画像と前記所定の時点に検出された前記深度情報とに基づいて生成された前記３次元モデルと、前記場面用カメラモジュールによって前記所定の時点を含む時系列に撮像された複数の前記撮像画像と、を外部に送信するモードであり、前記第２の送信モードは、前記カメラモジュールによって時系列に撮像された複数の前記対象物画像と時系列の各時点において検出された前記深度情報とに基づいて生成された複数の前記３次元モデルと、前記場面用カメラモジュールによって時系列に撮像された複数の撮像画像とを外部に送信するモードであっても良い。この形態によれば、第１と第２の送信モードを有することで、送信するデータ内容に関する利用者の要求に柔軟に対応できる。

例えば、本発明の一形態において、通信部と、画像生成部と、表示制御部と、入力部との複数の要素の内の１つ以上の要素を備えた装置としても実現可能である。すなわち、この装置は、通信部を有していても良く、有していなくても良い。また、この装置は、画像生成部を有していても良く、有していなくても良い。また、この装置は、表示制御部を有していても良く、有していなくても良い。また、この装置は、入力部を有していても良く、有していなくても良い。また例えば、本発明の他の一形態において、カメラモジュールと、３次元モデル生成部と、通信部とのの複数の要素の内の１つ以上の要素を備えた装置としても実現可能である。すなわち、この装置は、カメラモジュールを有していても良く、有していなくても良い。また、この装置は、３次元モデル生成部を有していても良く、有していなくても良い。また、この装置は、通信部を有していても良く、有していなくても良い。このような各種形態によれば、装置の小型化、低コスト化、省資源化、製造の容易化、使い勝手の向上等の種々の課題の少なくとも１つを解決できる。また前述した情報処理装置の各形態の技術的特徴の一部又は全部は、いずれもこの装置又は方法に適用することが可能である。

なお、本発明は、種々の形態で実現することが可能であり、情報処理装置、３次元モデル生成装置、情報処理装置の制御方法、これらの装置、方法を実現するためのコンピュータープログラム、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

本発明の実施形態としての画像送受信システムを説明するための図である。 ３次元モデル生成装置の外観模式図である。 送信側に配置された情報処理システムの機能を示すブロック図である。 キャリブレーション治具を説明するための図である。 モードテーブルを説明するための図である。 ３次元モデルの生成工程のフロー図である。 受信側の構成を説明するための図である。 受信側に配置された情報処理装置の機能を示すブロック図である。 ３次元モデルから対象物画像を生成する処理フローである。

Ａ．実施形態：
Ａ−１：画像送受信システムの構成：
図１は、本発明の実施形態としての画像送受信システム１０００を説明するための図である。画像送受信システム１０００は、インターネットＩＮＴを介して会議室など異なる場所３０，６０間で相手側の画像と音声を互いに送信するテレビ会議システムである。画像送受信システム１０００は、互いに動画と音声を送受信してリアルタイムに会議を行うシステムである。画像は、例えば、３０フレーム毎秒のフレームレートで相手側の場所に向けて送信されて表示部に表示されても良い。なお、送信されるフレーム画像は、１フレーム前のフレーム画像との差分のみを送信しても良い。ここで、場所３０を送信側３０とも呼び、場所６０を受信側６０とも呼ぶ。

送信側３０では、３人の人物３２Ａ，３２Ｂ，３２Ｃが会議に出席している。３人の人物３２Ａ，３２Ｂ，３２Ｃは机３３を囲んでいる。また、送信側３０には、３次元モデル生成装置２０と、表示装置３４と、場面用カメラモジュールとしてのカメラモジュール１０と、が配置されている。３次元モデル生成装置２０とカメラモジュール１０と表示装置３４とは、情報処理システム１００を構成する。

３次元モデル生成装置２０は、対象物を含む領域の撮像画像に基づいて対象物の３次元モデルＦＭＴを生成するための装置である。生成された３次元モデルＦＭＴは第１外部情報ＤＴ１を構成するデータとして受信側６０に送信される。本実施形態では、対象物の一例としてプリンター３６を用いる。３次元モデル生成装置２０は持ち運び可能である。本実施形態では、３次元モデル生成装置２０は机３３上に配置されている。ここで、人物３２Ａ，３２Ｂ，３２Ｃを区別することなく用いる場合は符号「３２」を用いる。３次元モデル生成装置２０の詳細は後述する。

表示装置３４は、表示部３９と、スピーカー３５とを備える。表示装置３４は、例えば、送信側３０の壁に配置されている。表示部３９は、受信側６０から送信された受信側６０の画像を表示部３９に表示する。また、スピーカー３５は、受信側６０から送信された受信側６０の音声を出力する。

カメラモジュール１０は、カメラ１２とマイクロフォン１４とを備える。カメラ１２は、外部から光を受光して撮像する機能を有する。撮像された撮像画像ＩＭＧＷは動画を構成するフレーム画像として受信側６０の情報処理装置５０に送信される。カメラ１２は、送信側３０のプリンター３６の周囲に位置する人物３２と、３次元モデル生成装置２０と、を含む全体領域を撮像できるように配置されている。マイクロフォン１４は、音声を電気信号に変換する。電気信号としての音声情報ＳＤは撮像画像ＩＭＧＷに同期して受信側６０に送信される。詳細には、撮像画像ＩＭＧＷと音声情報ＳＤとは第２外部情報ＤＴ２を構成するデータとして、３次元モデル生成装置２０の制御装置４０に送信され、制御装置４０を経由して受信側６０に送信される。なお、撮像画像ＩＭＧＷと音声情報ＳＤとは制御装置４０を経由することなくカメラモジュール１０から受信側６０に送信されても良い。ここで、第１外部情報ＤＴ１と第２外部情報ＤＴ２とを併せて外部情報ＤＴと呼ぶ。

受信側６０では、一人の人物５３が会議に出席している。受信側６０には、情報処理装置５０が配置されている。情報処理装置５０は、パーソナルコンピューター（ＰＣ）である。人物５３は情報処理装置５０の表示部５１を見て会議を行っている。情報処理装置５０の表示部５１には、第１外部情報ＤＴ１が有する３次元モデルＦＭＴから生成された対象物を表す対象物表示画像と、第２外部情報ＤＴ２の撮像画像ＩＭＧＷとが表示される。また、情報処理装置５０のスピーカー（図示せず）から、送信側３０から受信した音声情報ＳＤが音声として出力される。また情報処理装置５０は、カメラモジュール５８を有する。カメラモジュール５８は、受信側６０の人物５３を含む領域を撮像するカメラと、音声を電気信号に変換するマイクロフォンを有する。電気信号としての音声情報ＳＤＰは、カメラモジュール５８で取得された撮像画像（フレーム画像）ＩＭＧＶに同期して送信側３０に送信される。ここで、情報処理装置５０はＰＣを例に説明したが、これに限定されるものではない。例えば、情報処理装置５０と表示部５１とが別体であっても良い。具体的には、情報処理装置５０としてＰＣを用い、表示部５１としてプロジェクターを用いても良い。プロジェクターは表示装置として機能し、投写画面が表示部５１として機能する。また、プロジェクターは、投写画面上にペンなどの指示体による指示内容（例えば、文字入力）を表示できるインタラクティブプロジェクターであっても良い。

図２は、３次元モデル生成装置２０の外観模式図である。３次元モデル生成装置２０は、第１〜第４支持部２４Ａ，２４Ｂ，２４Ｃ，２４Ｄと、第１〜第４カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄと、対象物を配置するための基台２９と、基台２９に配置された制御装置４０と、を備える。ここで、第１〜第４支持部２４Ａ，２４Ｂ，２４Ｃ，２４Ｄを区別することなく用いる場合は、「支持部２４」を用いる。また、第１〜第４カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄを区別することなく用いる場合は、「カメラモジュール２８」を用いる。

基台２９は、平板状の部材であり、略直方体形状である。基台２９の４隅には、第１〜第４支持部２４Ａ，２４Ｂ，２４Ｃ，２４Ｄが取り付けられている。基台２９のうち第１〜第４支持部２４Ａ，２４Ｂ，２４Ｃ，２４Ｄで取り囲まれた中央領域は、プリンター３６等の対象物を配置するための配置部２９２を形成する。すなわち、基台２９はプリンター３６等の対象物を配置するための配置部２９２を有し、支持部２４は基台２９のうち配置部２９２よりも外側の部分から立ち上がるように基台２９に配置されている。

支持部２４は、基台２９から鉛直上方向に延びる棒状部材である。支持部２４は、カメラモジュール２８Ａ〜２８Ｄのそれぞれに対応して設けられ、カメラモジュール２８を配置する。支持部２４は、基台２９に接続された本体部２６２と、本体部２６２に対して上下方向にスライド可能な移動部２６１とを備える。移動部２６１にはカメラモジュール２８が配置されている。本体部２６２には、上下方向に沿って複数の貫通孔２６２Ｈが形成されている。この貫通孔２６２Ｈのいずれかに、移動部２６１の外周に形成された突起２６１Ｐを挿通させることで、移動部２６１の位置が固定される。すなわち、移動部２６１の突起２６１Ｐが挿通される複数の貫通孔２６２Ｈのいずれかを選択すること、カメラモジュール２８の高さ位置を変更できる。この突起２６１Ｐと複数の貫通孔２６２Ｈとは、高さ変更機構を構成する。なお、高さ変更機構は上記に限定されるものではなく、例えばガス圧などの圧力によって移動部２６１の高さ位置を変更できる機構であっても良い。高さ変更機構によって変更されたカメラモジュール２８の基台２９からの高さ位置は、制御装置４０によって計測されて記憶される。なお、基台２９は省略しても良い。基台２９を省略した場合、支持部２４は配置面（例えば、机２９）に配置できるよう下側端部が平板状であっても良い。

また、移動部２６１は、カメラモジュール２８を回転させてカメラモジュール２８の光軸方向ＬＤを変更する回転機構２４２を有する。回転機構２４２は、例えば、３軸ジンバル構造によって実現される。なお、回転機構２４２は上記に限定されるものではなく、例えば移動部２６１の途中が自由な角度に折れ曲がる機構を設けることで実現しても良い。

カメラモジュール２８は、配置部に配置された対象物を含む領域を撮像する機能を有する。また、カメラモジュール２８は、対象物までの距離を検出できる機能を有する。この詳細は後述する。

制御装置４０は、基台２９に埋設されている。制御装置４０は、３次元モデル生成装置２０の動作を制御する。制御装置４０の配置位置はこれに限定されるものではない。例えば、制御装置４０は、基台２９上に配置されていても良いし、基台２９とは離れた箇所に配置されていても良い。

図３は、送信側３０に配置された情報処理システム１００の機能を示すブロック図である。情報処理システム１００は、対象物であるプリンター３６を含む領域を撮像するためのカメラモジュール２８と、送信側３０の出席者である人物３２を含む領域、すなわち、全体領域を撮像するカメラモジュール１０と、制御装置４０と、表示装置３４とを備える。

カメラモジュール２８は、カメラ２８２と、深度センサー２８４とを有する。カメラ２８２は、カメラ１２と同様に、外部から光を受光して撮像する機能を有する。深度センサー２８４は、カメラ１２によって撮像される対象物までの距離を検出する。深度センサー２８４を用いた距離の検出方式としては、例えば、光源からの射出した光が対象物によって反射して受光部によって受光される時間に基づいて距離を検出する方式（ＴＯＦ方法）や、光の射出位置と受光位置とに基づいた三角測距方式が用いられる。深度センサー２８４によって検出された対象物までの距離を表す深度情報ＤＤＸは、カメラ２８２の撮像画像ＩＭＧＸに付加情報として付加されて、制御装置４０に送信される。

制御装置４０は、通信部４２と、ＲＯＭ４４と、ＲＡＭ４５と、制御部としてのＣＰＵ４６と、入力部４８と、を備える。通信部４２と、ＲＯＭ４４と、ＲＡＭ４５と、ＣＰＵ４６と、入力部４８とは互いにバスを介して接続されている。

通信部４２は、ＵＳＢ、ＬＡＮ、Ｂｌｌｕｅｔｏｏｔｈ，ＩｒＤＡ等の規格に準拠した入出力インターフェイスを備え、データを送受信する。例えば、通信部４２は、カメラモジュール１０から撮像画像ＩＭＧＷなどのデータを受信したり、受信側６０の情報処理装置５０へ外部情報ＤＴ１，ＤＴ２を送信したりする。

ＲＡＭ４５は、モードテーブル４５２と変換テーブル４５４とを記憶する。モードテーブル４５２は、情報処理装置５０に向けて送信する外部情報ＤＴ１，ＤＴ２の種類と、動作モードとを対応付けたテーブルである。変換テーブル４５４には、各カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄのそれぞれに固有の座標系（カメラ座標系）をワールド座標系に変換するための変換行列式が規定されている。変換テーブル４５４には、カメラモジュール２８が基準状態の場合に用いられる変換行列式（基準変換行列式）が予め規定されている。基準状態とは、カメラモジュール２８の高さ位置が予め定められた基準の位置であり、かつ、光軸方向ＬＤが予め定められた基準の方向である状態である。また、変換テーブル４５４には、カメラモジュール２８の高さ位置と光軸方向ＬＤが基準状態から変更された場合に、後述するパラメーター決定部４６９がカメラキャリブレーションを行うことで導出した新たな変換行列式がデータとして書き加えられる。

入力部４８は、外部からの入力を受け付ける。例えば、入力部４８は、３次元モデル生成装置２０のモードを設定する際の利用者からの入力を受け付ける。入力部４８は、例えば、マウスやキーボードや音声を用いた入力を受け付ける。

ＣＰＵ４６は、ＲＯＭ４４に記憶された各種プログラムをＲＡＭ４５にロードして実行することで、モジュール制御部４６２と、抽出部４６４と、３次元モデル生成部４６５と、モード設定部４６６と、外部情報生成部４６７と、表示制御部４６８と、パラメーター決定部４６９として機能する。なお、各機能は各種プログラムに基づく動作によって実現されるが、各種プログラムの少なくとも一部は、回路などのハード的な構成によって実現しても良い。

モジュール制御部４６２は、カメラモジュール１０，２８を制御する。モジュール制御部４６２は、通信部４２を介してカメラモジュール１０，２８からデータを取得してＲＡＭ４５に記憶させる。

抽出部４６４は、撮像画像ＩＭＧＸから対象物を表す対象物画像と、対象物以外の背景を表す背景画像とを抽出する。例えば、抽出部４６４は、撮像画像ＩＭＧＸから対象物であるプリンター３６のエッジ（特徴部）を検出することでプリンター３６を表す対象物画像を抽出する。また例えば、抽出部６６４は、撮像画像ＩＭＧＸのうち対象物以外の画像を背景画像として抽出する。対象物画像と背景画像とは、ＲＡＭ６５に記憶される。

３次元モデル生成部４６５は、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄが撮像した画像に基づいて、対象物であるプリンター３６の３次元モデルＦＭＴを生成する。すなわち、３次元モデル生成部４６５は、計測点が異なる４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄから取得した深度情報ＤＤＸと、撮像画像ＩＭＧＸ（詳細には、抽出部４６４が抽出したプリンター３６の画像）とに基づいて３次元モデルＦＭＴを生成する。具体的には、３次元モデルＦＭＴは、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄのそれぞれから取得した撮像画像ＩＭＧＸを深度情報ＤＤＸに基づいてつなぎ合わせる（Ｔｒａｉａｎｇｕｌａｔｉｏｎ）。そして、４方向からのデータを合成し、合成した画像にＲＧＢの表面情報を付加する（テクスチャーマッピング）。この３次元モデルＦＭＴの生成工程については後述する。

モード設定部４６６は、モードテーブル４５２を参照して制御装置４０のモードを設定する。モード設定部４６６とモードテーブル４５２との詳細は後述する。

外部情報生成部４６７は、モード設定部４６６によって設定されたモードに応じてカメラモジュール１０，２８から取得したデータＩＭＧＷ，ＳＤ，ＤＤＸ，ＩＭＧＸに基づいて外部情報ＤＴを生成する。

表示制御部４６８は、表示装置３４を制御する。具体的には、受信側６０の情報処理装置５０から受信した音声情報ＳＤＰと撮像画像ＩＭＧＶとを同期させて、音声情報ＳＤＰをスピーカー３５（図１）によって出力させると共に撮像画像ＩＭＧＶを表示部３９（図１）に表示させる。

パラメーター決定部４６９は、キャリブレーションターゲットを用いてカメラモジュール２８の外部パラメーターを決定する。パラメーター決定部４６９は、カメラモジュール２８の高さ位置と光軸方向ＬＤが基準状態から変更された場合に、カメラキャリブレーションによってカメラ２８２の新たに用いる外部パラメーターを決定する。また、パラメーター決定部４６９は、決定した外部パラメーターとＲＡＭ４５に記憶されたカメラ２８２の内部パラメーターとを用いてカメラ座標系をワールド座標系に変換するための変換行列式を導出する。なお、カメラモジュール２８が基準状態から状態を変更できない構成である場合は、予め定められた基準変換行列式を用いてカメラ座標系からワールド座標系への座標変換ができるので、パラメーター決定部４６９の機能は省略しても良い。

カメラキャリブレーションの方法は、種々の公知の手法を採用できる。例えば、各カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄによって撮像された撮像画像ＩＭＧＸから空間点の座標を判別できるキャリブレーションターゲットを用いて外部パラメーターを決定する方法である。キャリブレーションターゲットとしては、例えば、表面に格子模様が形成された複数の平板部材からなる３次元状のキャリブレーションターゲットや、表面に格子模様が形成された平板状のキャリブレーショターゲットや、立方体の部材の表面に縦方向及び横方向に一定間隔を開けて配置された複数の近赤外線ＬＥＤを配置したキャリブレーションターゲットが用いられる。

また、ＰＬＣ（Ｐｏｉｎｔ Ｃｌｏｕｄ ｌｉｂｒａｒｙ）と呼ばれるＯＳＳ（Ｏｐｅｎ Ｓｏｕｒｃｅ ｓｏｆｔｗａｒｅ）が有するＲｅｇｉｓｔｒａｔｉｏｎと呼ばれるモジュールを用いて、複数の深度情報ＤＤＸが付加された撮像画像ＩＭＧＸが表すそれぞれの３次元空間の位置合わせを行う方法もある。すなわち、Ｒｅｇｉｓｔｒａｔｉｏｎと呼ばれるモジュールを用いて、カメラ座標系をワールド座標系に変換するための変換行列式を導出しても良い。

また、ワイヤーフレームの正６面体の各頂点およびその中央の色つきマーカーを配置したものを用いて、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄで正６面体の頂点を計測して、変換行列式を決定しても良い。

図４は、カメラキャリブレーションに用いるキャリブレーション治具８０を説明するための図である。以下では、カメラモジュール２８の深度センサー２８４は、近赤外線を検出できる構成を有することを前提として説明する。

キャリブレーション治具８０は、直方体形状の本体部８４と、本体部８４の上面８４ｆａに配置されたキャリブレーションターゲットとしての複数の近赤外線ＬＥＤ８６と、本体部８４内に配置された制御部８２とを備える。近赤外線ＬＥＤ８６は、縦５個、横５個の合計２５個設けられている。

制御部８２は、複数の近赤外線ＬＥＤ８６の発光状態を制御する。また、制御部８２は、Ｂｌｕｅｔｏｏｈ等の無線通信手段や有線ケーブルを用いた有線通信手段を備え、３次元モデル生成装置２０の制御装置４０から受信したコマンドに応じて、制御部８２は複数の近赤外線ＬＥＤ８６の発光状態を制御する。

カメラキャリブレーションを実行する際には、まず、上面８４ｆａが上側に位置するようにキャリブレーション治具８０を基台２９（詳細には配置部２９２）に設置する。そして、キャリブレーション治具８０の制御部８２と３次元モデル生成装置２０の制御装置４０とをデータ通信可能な状態に設定する。次に、制御装置４０からのコマンドに応じて２５個の近赤外線ＬＥＤ８６を順番に発光させて、発光する各近赤外線ＬＥＤ８６を４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄで順番に撮像する。これにより、各近赤外線ＬＥＤ８６の各カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄのカメラ座標系における位置が制御装置４０のＲＡＭ４５に記憶される。

ここで、ワールド座標系とカメラ座標系の関係は次式となる。

ここで、（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）はワールド座標系で表された空間の位置であり、（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は同じ点をカメラ座標系で表した位置である。また、Ｒは３×３の回転行列であり、ｔは３次元の平行移動ベクトルである。この回転行列Ｒと平行移動ベクトルｔはそれぞれ以下の式（２）によって表すことができる。

回転行列Ｒは、例えば、ある点がＸ軸まわりに角度α、Ｙ軸まわりに角度β、Ｚ軸まわりに角度γと順に回転するとき、以下の式（３）によって表される。

外部パラメーターは、上記のα、β、γ、ｔ_ｘ、ｔ_ｙ、ｔ_ｚの６個のパラメーターであり、この６個のパラメーターをパラメーター決定部４６９によって決定すれば良い。

また、画像平面上に投影される点の座標の関係は以下の式（４．１），式（４．２）によって表される。

従って、カメラ座標と画像平面上の座標との関係式は以下の式（５），式（６）によって表される。

ここで、ｋ_ｘ＝−１／Ｓ_ｘ，ｋ_ｙ＝−１／ｓ_ｙであり、ｓ_ｘ，ｓ_ｙは画素サイズであり、焦点ｆと主点のズレ（ｃｘ，ｃｙ）は内部パラメーターである。カメラの焦点距離や画像中心などの内部パラメーターは、カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄごとに予め導出されてＲＡＭ４５に記憶されている。

以上より、ワールド座標系のオブジェクトを画像平面に投影する式は以下の式（７），式（８）によって表される。

上記の式（８）を用いて、ワールド座標系における各近赤外線ＬＥＤ８６の位置と、各近赤外線ＬＥＤ８６の各カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄのカメラ座標系における位置が特定されると、透視変換行列Ｐを求めることができる。実際には、最小二乗法を利用して透視変換行列Ｐを求めて、カメラ２８２の外部パラメーターを導出する。

図５は、モードテーブル４５２を説明するための図である。モードテーブル４５２は、各モードを識別するためのモード番号と、利用者にモード内容を識別させるためのモード名称と、各モードの内容を対応付けたテーブルである。モード番号とモード名称とは、表示部３９（図１）に表示され人物３２によってモード番号が選択されることで制御装置４０が実行するモードが決定される。

モード番号１は、最小データモードである。最小データモードが設定された場合、制御装置４０は、全体領域の２次元動画を受信側６０の情報処理装置５０に送信にする。つまり、最小データモードでは、制御装置４０は、カメラモジュール１０から取得した全体領域の撮像画像ＩＭＧＷを外部情報ＤＴとして所定のフレームレートで受信側６０の情報処理装置５０に送信する。なお、カメラモジュール１０から取得した音声情報ＳＤは送信される撮像画像ＩＭＧＷに付加されている。最小データモードでは、外部情報生成部４６７は、音声情報ＳＤが付加された撮像画像ＩＭＧＷを第２外部情報ＤＴ２として生成して、通信部４２を介して第２外部情報ＤＴ２を情報処理装置５０に送信する。なお、最小データモードでは、制御装置４０は、カメラモジュール２８からカメラ深度情報ＤＤＸや撮像画像ＩＭＧＸの取得は不要である。つまり、外部情報ＤＴは、第２外部情報ＤＴ２を含み、第１外部情報ＤＴ１を含まない。

モード番号２は、第１対象物送信モードである。第１対象物送信モードが設定された場合、制御装置４０は、全体領域の２次元動画像と対象物の２次元静止画像とを受信側６０の情報処理装置５０に送信する。つまり、第１対象物送信モードでは、外部情報生成部４６７は、カメラモジュール１０から取得した全体領域の撮像画像ＩＭＧＷを第２外部情報ＤＴ２として生成する。この第２外部情報ＤＴ２は、所定のフレームレートで受信側６０の情報処理装置５０に送信される。また、第１対象物送信モードでは、外部情報生成部４６７は、カメラモジュール２８から取得したプリンター３６を含む撮像画像ＩＭＧＸを元にプリンター３６を含む画像を第１外部情報ＤＴ１として生成する。この第１外部情報ＤＴ１は、１フレーム分のデータが受信側６０の情報処理装置５０に送信される。この１フレームのプリンター３６を含む画像は、時系列に撮像された複数フレームの撮像画像ＩＭＧＸの中から人物３２が入力部４８を介して選択した選択情報に基づいたり、所定のタイミングで撮像された撮像画像ＩＭＧＸを元に外部情報生成部４６７が生成する。また、外部情報生成部４６７は、第１外部情報ＤＴ１としてのプリンター３６を含む画像を４つのカメラ２８２によって撮像された４つの撮像画像ＩＭＧＸを合成して生成しても良い。また、外部情報生成部４６７は、４つの撮像画像ＩＭＧＸのいずれか１つの撮像画像ＩＭＧＸを第１外部情報ＤＴ１としてのプリンター３６を含む画像として生成しても良い。

モード番号３は、第２対象物送信モードである。第２対象物送信モードが設定された場合、制御装置４０は、全体領域の２次元動画像と対象物の２次元動画像とを受信側６０の情報処理装置５０に送信する。つまり、第２対象物送信モードでは、外部情報生成部４６７は、カメラモジュール１０から取得した全体領域の撮像画像ＩＭＧＷを第２外部情報ＤＴ２として生成し、カメラモジュール２８から取得した撮像画像ＩＭＧＸを用いて生成したプリンター３６を含む画像を第１外部情報ＤＴとして生成する。この第１外部情報ＤＴ１と第２外部情報ＤＴ２とは外部情報生成部４６７によって同期されて所定のフレームレートで受信側６０の情報処理装置５０に送信される。

モード番号４は、第３対象物送信モードである。第３対象物送信モードが設定された場合、制御装置４０は、全体領域の２次元動画像と対象物の３次元静止画像とを受信側６０の情報処理装置５０に送信する。つまり、第３対象物送信モードでは、外部情報生成部４６７は、第１対象物送信モードと同様に、撮像画像ＩＭＧＷを第２外部情報ＤＴ２として生成し、生成した第２外部情報ＤＴ２を所定のフレームレートで通信部４２を介して受信側６０の情報処理装置５０に送信する。また、第３対象物送信モードでは、外部情報生成部４６７は、３次元モデル生成部４６５が生成したプリンター３６の３次元モデルＦＭＴを第１外部情報ＤＴ１として生成する。１フレーム分の第１外部情報ＤＴ１が、情報処理装置５０に送信される。外部情報生成部４６７は、１フレーム分の３次元モデルＦＭＴを、時系列に撮像された複数フレームの撮像画像ＩＭＧＸに基づいて生成された複数の３次元モデルＦＭＴの中から人物３２が入力部４８を介して選択した選択情報に基づいて生成しても良い。また、外部情報生成部４６７は、所定のタイミングで撮像された撮像画像ＩＭＧＸに基づいて生成された３次元モデルＦＭＴを１フレーム分の３次元モデルＦＭＴとしても良い。

モード番号５は、第４対象物送信モードである。第４対象物送信モードが設定された場合、制御装置４０は、全体領域の２次元動画像と対象物の３次元動画像とを受信側６０の情報処理装置５０に送信する。つまり、第４対象物送信モードでは、外部情報生成部４６７は、カメラモジュール１０から取得した全体領域の撮像画像ＩＭＧＷを第２外部情報ＤＴ２として生成する。また、第４対象物送信モードでは、３次元モデル生成部４６５が生成した３次元モデルＦＭＴを第１外部情報ＤＴ１として生成する。この第１外部情報ＤＴ１と第２外部情報ＤＴ２とは外部情報生成部４６７によって同期されて所定のフレームレートで受信側６０の情報処理装置５０に送信される。

ここで、第３対象物送信モードが課題を解決するための手段に記載の「第１の送信モード」に相当し、第４対象物送信モードが課題を解決するための手段に記載の「第２の送信モード」に相当する。

図６は、３次元モデルＦＭＴの生成工程のフロー図である。はじめにＣＰＵ４６は、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄの位置と方向（姿勢）をワールド座標系で特定する（ステップＳ１０）。３次元モデル生成部４６５が変換テーブル４５４（図３）を参照することで変換行列式を特定することで実行される。ステップＳ１０は、カメラモジュール２８が基準状態にある場合は、ＲＡＭ４５４の変換テーブル４５４に記憶された基準変換行列式を用いる。ここでワールド座標系とは、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄの個々の座標系（カメラ座標系）から独立している３軸直交座標系である。なお、受信側６０の情報処理装置５０において実行される、ワールド座標系から対象物を任意の視点から見るための座標系（視点座標系）への変換は、視野変換によって行われる。また、視点座標系から表示部５１に表示するためのスクリーン座標系への変換は、視点座標系に置かれた対象物に対して透視変換等の射影変換によって行われる。

カメラモジュール２８が基準状態から変更された場合は、上記のカメラキャリブレーションによって変換行列式を導出する。すなわち、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄのそれぞれの位置関係と方向が正確に分かると、適当な原点を定めることにより４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄの位置と方向をワールド座標系で定めることができる。実際には、カメラキャリブレーションを実施することにより定めることができる。例えば、カメラキャリブレーションのための既知のターゲットの周りの予め決められたおよそ位置に予め決められたおよその姿勢で４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄを設置した後に、４つの深度センサー２８４のそれぞれが生成する深度情報ＤＤＸに基づいて導出される既知のターゲットの形状の一部が既知のターゲットの同一領域を表していることを前提として４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄの位置と方向、すなわち撮像位置と撮像方向と深度の計測位置と深度の計測方向を導出する。具体的には、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄが生成する深度情報ＤＤＸに基づいて、実際のカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄの位置と方向を、例えばＩＣＰ（iterative closest point）等のパターンマッチングの手法を用いてワールド座標系で数学的に特定しておけば良い。各４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄの位置を示す座標と方向を示す単位ベクトルがワールド座標系で特定されると、各カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄに固有の座標系（カメラ座標系）をワールド座標系に変換するための変換行列式を導出可能になる。この変換行列式を変換テーブル４５４に記憶しておき、後述する３次元モデルＦＭＴを生成する際に使用する。

ＣＰＵ４６は、モード設定部４６６によってモード番号４とモード番号５のいずれかのモードが設定された場合に、モジュール制御部４６２がカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄから深度情報ＤＤＸと撮像画像ＩＭＧＸとを取得する（ステップＳ１２）。

次に、抽出部４６４は撮像画像ＩＭＧＸから対象物画像と背景画像とを抽出する（ステップＳ１４）。次に、３次元モデル生成部４６５は、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄから取得した４つの深度情報ＤＤＸに基づいて３次元モデルＦＭＴを生成する（ステップＳ１６）。具体的には、３次元モデル生成部４６５は、カメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄから取得した深度情報ＤＤＸ毎に対象であるプリンター３６のポリゴンモデルを上述した変換行列式を用いてワールド座標系で特定する。また３次元モデル生成部４６５は、特定したポリゴンモデルの各ポリゴンと撮像画像ＩＭＧＸとしてのＲＧＢ画像との対応付けをカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄ毎に生成する。すなわち、ポリゴンモデルの各ポリゴンの表面に、ＲＧＢの情報（色情報）をテクスチャとして貼り付けて３次元モデルＦＭＴを生成する。以上のように、３次元モデル生成部４６５は、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄがそれぞれ撮像した撮像画像のうち対象物の画像である対象物画像と、４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄが有するそれぞれの深度センサー２８４が検出した深度情報ＤＤＸとに基づいて３次元モデルＦＭＴを生成する。

図７は、受信側６０の構成を説明するための図である。受信側６０の情報処理装置５０は、キーボード５９Ａやマウス５９Ｂなどの入力装置５９と、表示画面である表示部５１とを備える。表示部５１には、表示画像ＩＭＤが表示されている。表示画像ＩＭＤは、対象物用画面５２１と全体用画面５２２とが重畳した画像である。対象物用画面５２１は、全体用画面５２２の前面に重ねて配置されている。図７は、第３対象物送信モード（図５）で送信された外部情報ＤＴを用いて生成された表示画像ＩＭＤであり、全体用画面５２２には動画像が表示され、対象物用画面５２１には３次元モデルＦＭＴから生成されたプリンター３６の静止画像が表示されている。

全体用画面５２２は、第２外部情報ＤＴ２の撮像画像ＩＭＧＷに基づいて情報処理装置５０が生成した場面表示画像３０Ｉを表示する。本実施形態では、場面表示画像３０Ｉは撮像画像ＩＭＧＷとなる。すなわち、場面表示画像３０Ｉは、送信側３０の人物３２を含む全体領域を表す画像である。なお、画像生成部５６５は、撮像画像ＩＭＧＷの一部（例えば、人物３２Ａ，３２Ｂ，３２Ｃが位置する領域）を切り出して場面表示画像３０Ｉを生成しても良い。図７に示す場面表示画像３０Ｉは、送信側３０の人物３２Ａ，３２Ｂ，３２Ｃを表す人物画像３２ＡＩ，３２ＢＩ，３２ＣＩや背景物である机３３を表す画像３３Ｉを含む。

対象物用画面５２１は、第１外部情報ＤＴ１に基づいて情報処理装置５０が生成した対象物表示画像３６ＤＩを表示するための画面である。本実施形態では、対象物表示画像３６ＤＩはプリンター３６を表す画像である。対象物用画面５２１は、対象物用画面５２１を表示するための表示部５１に表示されたアイコン（図示せず）をマウス５９Ｂなどの入力装置５９によって選択することによって表示部５１に表示される。対象物用画面５２１の表示部５１に対する大きさや位置は入力装置５９からの指示によって変更できる。例えば、対象物用画面５２１は、全画面表示できる。

対象物用画面５２１には、対象物を画面上で操作するための回転受付アイコンＳ１，Ｓ２及び拡大縮小受付アイコンＳ３が表示されている。回転受付アイコンＳ１，Ｓ２は、対象物表示画像３６ＤＩを回転させる回転指示を受け付ける。拡大縮小受付アイコンＳ３は、対象物表示画像３６ＤＩの大きさを変更する拡大縮小指示を受け付ける。なお、以降の説明のために対象物用画面５２１には、スクリーン座標系の座標軸Ｕ，Ｖを図示している。

回転受付アイコンＳ１は、対象物用画面５２１上において座標軸Ｖを中心とした回転指示を受け付ける。回転受付アイコンＳ１は、回転操作バーＢ１と、回転操作ボタンＢＳ１，ＢＳ２とを有する。回転操作バーＢ１を上下方向に移動させると座標軸Ｖを中心に対象物表示画像３６ＤＩが回転する。また、回転操作ボタンＢＳ１，ＢＳ２をクリックすることによっても座標軸Ｖを中心に対象物表示画像３６ＤＩが回転する。

回転受付アイコンＳ２は、対象物用画面５２１上において座標軸Ｕを中心とした回転指示を受け付ける。回転受付アイコンＳ２は、回転操作バーＢ２と、回転操作ボタンＢＴ１，ＢＴとを有する。回転操作バーＢ２を左右方向に移動させると座標軸Ｕを中心に対象物表示画像３６ＤＩが回転する。また、回転操作ボタンＢＴ１，ＢＴ２をクリックすることによっても座標軸Ｖを中心に対象物表示画像３６ＤＩが回転する。

拡大縮小受付アイコンＳ３は、対象物用画面５２１上において対象物表示画像３６ＤＩの拡大縮小指示を受け付ける。拡大縮小受付アイコンＳ３は、拡大アイコンＢＰ１と縮小アイコンＢＰ２とを有する。拡大アイコンＢＰ１をクリックすることによって対象物表示画像３６ＤＩが拡大される。縮小アイコンＢＰ２をクリックすることによって対象物表示画像３６ＤＩが縮小される。

なお、対象物表示画像３６ＤＩの回転指示や拡大縮小指示などの操作指示の受付方法は上記に限定されるものではない。例えば、回転指示や拡大縮小指示などの操作指示は、音声認識や人物５３のジェスチャーを認識することによって受け付けてられても良いし、タッチパネルを採用して人物５３の対象物用画面５２１への直接の操作によって受け付けられても良い。また、回転指示や拡大縮小指示などの操作指示は、表示部５１がインタラクティブプロジェクターの投写画面である場合、投写画面に接触しているペンや指などの指示体による操作によって受け付けられても良い。

図８は、受信側６０に配置された情報処理装置５０の機能を示すブロック図である。情報処理装置５０は、カメラモジュール５８と、入力装置５９と、表示部５１と、制御装置５００とを備える。なお、カメラモジュール５８、入力装置５９、表示部５１と、制御装置５００とは別体であっても良い。この場合、制御装置５００が課題を解決するための手段に記載の「情報処理装置」に相当する。

カメラモジュール５８は、カメラ５８２とマイクロフォン５８４とを有する。カメラ２８２は、外部から光を受光して撮像する機能を有する。マイクロフォン５８４は、音声を電気信号に変換する。電気信号としての音声情報ＳＤＰは撮像画像ＩＭＧＶに同期して通信部５２を介して送信側３０に送信される。入力装置５９は、上述のごとく、キーボード５９Ａやマウス５９Ｂである。

制御装置５００は、通信部５２と、ＲＯＭ５４と、ＲＡＭ５５と、制御部としてのＣＰＵ５６と、入力部５７と、を備える。通信部５２と、ＲＯＭ５４と、ＲＡＭ５５と、ＣＰＵ５６と、入力部５７とは互いにバスを介して接続されている。

通信部５２は、ＵＳＢ、ＬＡＮ、Ｂｌｌｕｅｔｏｏｔｈ，ＩｒＤＡ等の規格に準拠した入出力インターフェイスを備え、データを送受信する。例えば、通信部５２は、制御装置４０から対象物の３次元モデルＦＭＴを含む第１外部情報ＤＴ１や撮像画像ＩＭＧＷを含む第２外部情報ＤＴ２を受信したり、音声情報ＳＤＰや撮像画像ＩＭＧＶなどのデータを送信側３０の制御装置４０へ送信したりする。

ＲＡＭ５５は、変換テーブル５５４を記憶する。変換テーブル５５４は、入力部５７を介して入力装置５９から受け付けた回転指示や拡大縮小指示などの操作指示に応じて、ワールド座標系に置かれた３次元モデルＦＭＴをスクリーン座標系の座標に変換する変換行列式を導出するためのテーブルである。詳細には、変換テーブル５５４は、回転受付アイコンＳ１，Ｓ２や拡大縮小受付アイコンＳ３を用いた操作指示内容と、ワールド座標系からスクリーン座標系への変換行列式とを対応付けたテーブルである。

入力部５７は、対象物表示画像３６ＤＩを回転させる回転指示や対象物表示画像３６ＤＩの大きさを変更する拡大縮小指示などの操作指示を受け付ける。後述する画像生成部５６５は、受け付けた操作指示内容と変換テーブル５５４とを参照することで変換行列式を導出する。

ＣＰＵ５６は、ＲＯＭ５４に記憶された各種プログラムをＲＡＭ５５にロードして実行することで、モジュール制御部５６２と、画像生成部５６５と、表示制御部５６８として機能する。なお、各機能は各種プログラムに基づく動作によって実現されるが、各種プログラムの少なくとも一部は、回路などのハード的な構成によって実現しても良い。

モジュール制御部５６２は、カメラモジュール５８を制御する。モジュール制御部４６２は、カメラモジュール５８からデータを取得してＲＡＭ５５に記憶させる。

画像生成部５６５は、受信した外部情報ＤＴから対象物表示画像３６ＤＩを含む表示画像ＩＭＤを生成する。例えば、画像生成部５６５は、受信した３次元モデルＦＭＴから対象物表示画像３６ＤＩを生成する。また、画像生成部５６５は、入力部５７が受け付けた回転指示や拡大縮小指示などの操作指示と、変換テーブル５５４とを参照することで変換行列式を導出する。そして、画像生成部５６５は、導出した変換行列式を用いて３次元モデルＦＭＴから操作指示に応じた対象物表示画像３６ＤＩを生成する。すなわち、画像生成部５６５は、導出した変換行列式を用いてワールド座標系に配置された３次元モデルＦＭＴの座標を視点座標系に変換し、視点座標系に変換された３次元モデルＦＭＴの座標をスクリーン座標系に変換する。また例えば、画像生成部５６５は、第２外部情報ＤＴ２から場面表示画像３０Ｉを生成する。

表示制御部５６８は、画像生成部５６５で生成した表示画像ＩＭＤを表示部５１に表示させる。

図９は、３次元モデルＦＭＴから対象物画像を生成する処理フローである。まず、入力部５７が操作指示を受け付ける（ステップＳ２０）。この操作指示は、上述の回転指示や拡大縮小指示である。次に、画像生成部５６５は、操作指示に応じて３次元モデルＦＭＴから対象物画像を生成する（ステップＳ２２）。例えば、画像生成部５６５は、操作指示が対象物画像を回転させる回転指示である場合に、変換テーブル５５４を参照して３次元モデルＦＭＴから回転指示に応じた対象物画像を生成する。また例えば、画像生成部５６５は、操作指示が対象物画像の大きさを変更する拡大縮小指示である場合に、変換テーブル５５４を参照して３次元モデルＦＭＴから拡大縮小指示に応じた対象物画像を生成する。

上記実施形態によれば、対象物の３次元モデルＦＭＴと、対象物の周囲に位置する人物３２を含む撮像画像ＩＭＧＷとを受信し、３次元モデルＦＭＴから回転指示に応じた対象物表示画像３６ＤＩを生成すると共に撮像画像ＩＭＧＷから人物３２を含む場面表示画像３０Ｉとを生成し、対象物表示画像３６ＤＩと場面表示画像３０Ｉとを表示部５１に表示できる。これにより、別の角度（視点）から見た対象物表示画像３６ＤＩを３次元モデルＦＭＴを用いて容易に生成できる。また、情報処理装置５０は３次元モデルＦＭＴと撮像画像ＩＭＧＷとを分けて受信しているため、画像送受信システム１０００のデータ処理能力をあげることなく、対象物について様々な角度から見た対象物表示画像３６ＤＩを表示部５１に表示できると共に、人物５３を含む場面表示画像３０Ｉも表示部５１に表示できる。また、上記実施形態によれば、３次元モデルＦＭＴを用いて拡大縮小指示に応じた対象物表示画像３６ＤＩを容易に生成できる。

また上記実施形態によれば、３次元モデル生成装置２０の配置部２９２に対象物を配置してカメラモジュール２８によって撮像することで撮像画像から３次元モデルＦＭＴを容易に生成できる。また、上記実施形態によれば、３次元モデル生成装置２０は、突起２６１Ｐと複数の貫通孔２６２Ｈなどの高さ変更機構によってカメラモジュールの高さを容易に変更できる。また、３次元モデル生成装置２０は、回転機構２４２によってカメラモジュール２８の光軸方向ＬＤを容易に変更できる。すなわち、３次元モデルＦＭＴの元となる対象物の大きさや形状によって、対象物を撮影するための適切な位置にカメラモジュール２８を容易に設定できる。

また上記実施形態によれば、３次元モデル生成装置２０はキャリブレーションターゲットを用いてカメラモジュール２８の外部パラメーターを決定するためのパラメーター決定部４６９を有する。これにより、カメラモジュール２８の高さ位置や光軸方向ＬＤが変更になった場合でも、変更後のカメラモジュール２８の外部パラメーターを容易に決定できる。

また、３次元モデル生成装置２０は、外部に送信するデータの種類が異なるモードを定めたモードテーブル４５２を有する（図５）。これにより、送信するデータ内容に関する利用者の要求に柔軟に対応できる。ここで、３次元モデルＦＭＴを所定のフレームレートで受信側６０に送信する場合、常に大きいデータ量を高速で通信するためのネットワーク基盤を構築する必要があり、データ通信に要するコストが高くなる。しかしながら上記実施形態では、送信するデータ量が異なる複数のモードを有するため、必要なときに必要な量のデータを送信できるので、ネットワーク基盤に関するコストを低減できる。

また、３次元モデル生成装置２０は、第３対象物送信モードと第４対象物送信モードとを有する（図５）。第３対象物送信モードは、カメラモジュール２８を用いて所定の時点に撮像された対象物画像と所定の時点に検出された深度情報ＤＤＸとに基づいて生成された３次元モデルＦＭＴと、カメラモジュール２８を用いて所定の時点を含む時系列に撮像された複数の撮像画像ＩＭＧＷと、を外部に送信するモードである。また、第４対象物送信モードは、カメラモジュール２８を用いて時系列に撮像された複数の対象物画像と時系列の各時点において検出された深度情報ＤＤＸとに基づいて生成された複数の３次元モデルＦＭＴと、カメラモジュール１０を用いて時系列に撮像された複数の撮像画像ＩＭＧＷとを外部に送信するモードである。これにより、送信するデータ内容に関する利用者の要求により柔軟に対応できる。つまり、利用者は、対象物が静止している物体（例えば、動作停止中のプリンター３６）である場合は第３対象物送信モードを選択し、対象物が動いている物体（例えば、動作中のプリンター３６）である場合は第４対象物送信モードを選択することで、そのときの要求に応じたデータを外部に送信できる。

Ｂ．変形例：
Ｂ−１．第１変形例：
上記実施形態では、キャリブレーションターゲットを有するキャリブレーション治具８０が３次元モデル生成装置２０とは別体で設けられていたが、３次元モデル生成装置２０がキャリブレーションターゲットを有していても良い。例えば、基台２９に複数の近赤外線ＬＥＤ８６を埋設しても良いし、キャリブレーション治具８０が埋設されていても良い。キャリブレーション時には、これらの埋設された複数の近赤外線ＬＥＤ８６やキャリブレーション治具８０は、基台２９から上方に出現する。

上記変形例によれば、３次元モデル生成装置２０がキャリブレーションターゲットを有するので、キャリブレーションターゲットを新たに準備する必要がない。

Ｂ−２．第２変形例：
上記実施形態によれば、３次元モデル生成装置２０は４つのカメラモジュール２８Ａ，２８Ｂ，２８Ｃ，２８Ｄを有していたが（図２）、重力方向を中心とした対象物の全周を撮像できればカメラモジュール２８は３以下であっても良いし５つ以上であっても良い。

Ｂ−３．第３変形例：
上記実施形態によれば、カメラモジュール２８は深度センサー２８４を有していたが、対象物までの距離（深度）を検出できればこれに限定されるものではない。例えば、カメラモジュール２８はステレオカメラであっても良い。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…カメラモジュール、１２…カメラ、１４…マイクロフォン、２０…３次元モデル生成装置、２４，２４Ａ，２４Ｂ，２４Ｃ，２４Ｄ…支持部、２８，２８Ａ，２８Ｂ，２８Ｃ，２８Ｄ…カメラモジュール、２９…基台、３０…送信側、３０Ｉ…場面表示画像、３２，３２Ａ，３２Ｂ，３２Ｃ…人物、３２ＡＩ，３２ＢＩ，３２ＣＩ…人物画像、３３…机、３３Ｉ…画像、３４…表示装置、３５…スピーカー、３６…プリンター、３６ＤＩ…対象物表示画像、３９…表示部、４０…制御装置、４２…通信部、４４…ＲＯＭ、４５…ＲＡＭ、４６…ＣＰＵ、４８…入力部、５０…情報処理装置、５１…表示部、５２…通信部、５３…人物、５４…ＲＯＭ、５５…ＲＡＭ、５６…ＣＰＵ、５７…入力部、５８…カメラモジュール、５９…入力装置、５９Ａ…キーボード、５９Ｂ…マウス、６０…受信側、６５…ＲＡＭ、８０…キャリブレーション治具、８２…制御部、８４…本体部、８４ｆａ…上面、８６…近赤外線ＬＥＤ、１００…情報処理システム、２４２…回転機構、２６１…移動部、２６１Ｐ…突起、２６２…本体部、２６２Ｈ…貫通孔、２８２…カメラ、２８４…深度センサー、２９２…配置部、４５２…モードテーブル、４５４…変換テーブル、４６２…モジュール制御部、４６４…抽出部、４６５…３次元モデル生成部、４６６…モード設定部、４６７…外部情報生成部、４６８…表示制御部、４６９…パラメーター決定部、５００…制御装置、５２１…対象物用画面、５２２…全体用画面、５５４…変換テーブル、５６２…モジュール制御部、５６５…画像生成部、５６８…表示制御部、５８２…カメラ、５８４…マイクロフォン、６６４…抽出部、１０００…画像送受信システム、Ｂ２…回転操作バー、ＢＰ１…拡大アイコン、ＢＰ２…縮小アイコン、ＢＴ１…回転操作ボタン、ＤＴ…外部情報、ＤＴ１…第１外部情報、ＤＴ２…第２外部情報、ＦＭＴ…３次元モデル、ＩＭＧＶ，ＩＭＧＷ…撮像画像、ＳＤ，ＳＤＰ…音声情報、Ｕ…座標軸、Ｖ…座標軸

Claims (11)

1. 情報処理装置であって、
   対象物の３次元モデルと、前記対象物の周囲を含む撮像画像と、を受信する通信部と、
   受信した前記３次元モデルから前記対象物を表す対象物表示画像と、受信した前記撮像画像から場面表示画像と、を生成する画像生成部と、
   前記対象物表示画像と前記場面表示画像とを表示部に表示させる表示制御部と、
   前記対象物表示画像を操作する操作指示を受け付ける入力部と、を備え、
   前記画像生成部は、前記操作指示が前記対象物表示画像を回転させる回転指示である場合に、前記３次元モデルから前記回転指示に応じた前記対象物表示画像を生成する、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記画像生成部は、前記操作指示が前記対象物表示画像の大きさを変更する拡大縮小指示である場合に、前記３次元モデルから前記拡大縮小指示に応じた前記対象物表示画像を生成する、情報処理装置。
3. ３次元モデル生成装置であって、
   対象物までの距離を検出できる機能を有する、少なくとも２つのカメラモジュールと、
   前記カメラモジュールが撮像した撮像画像のうち前記対象物の画像である対象物画像と、前記カメラモジュールが検出した前記対象物までの距離を表す深度情報とに基づいて前記対象物の３次元モデルを生成する３次元モデル生成部と、
   前記３次元モデルを外部に送信する通信部と、を備える、３次元モデル生成装置。
4. 請求項３に記載の３次元モデル生成装置であって、さらに、
   前記少なくとも２つのカメラモジュールのそれぞれに対応して設けられ、前記カメラモジュールを配置する支持部を有し、
   前記支持部は、前記カメラモジュールの高さ位置を変更する高さ変更機構を有する、３次元モデル生成装置。
5. 請求項４に記載の３次元モデル生成装置であって、
   前記支持部は、前記カメラモジュールを回転させて前記カメラモジュールの光軸方向を変更する回転機構を有する、３次元モデル生成装置。
6. 請求項４又は請求項５に記載の３次元モデル生成装置であって、さらに、
   前記対象物を配置するための配置部を有する基台を有し、
   前記支持部は、前記基台のうち前記配置部よりも外側の部分から立ち上がるように前記基台に配置されている、３次元モデル生成装置。
7. 請求項３から請求項６までのいずれか一項に記載の３次元モデル生成装置であって、さらに、
   キャリブレーションターゲットを用いて前記カメラモジュールの外部パラメーターを決定するパラメーター決定部を有する、３次元モデル生成装置。
8. 請求項７に記載の３次元モデル生成装置であって、さらに、
   前記キャリブレーションターゲットを有する、３次元モデル生成装置。
9. 請求項３から請求項８までのいずれか一項に記載の３次元モデル生成装置であって、さらに、
   前記対象物の周囲を含む領域を撮像する場面用カメラモジュールを有し、
   前記３次元モデル生成装置は、外部に送信するデータの種類が異なる第１と第２の送信モードを有し、
   前記第１の送信モードは、前記カメラモジュールによって所定の時点に撮像された前記対象物画像と前記所定の時点に検出された前記深度情報とに基づいて生成された前記３次元モデルと、前記場面用カメラモジュールによって前記所定の時点を含む時系列に撮像された複数の前記撮像画像と、を外部に送信するモードであり、
   前記第２の送信モードは、前記カメラモジュールによって時系列に撮像された複数の前記対象物画像と時系列の各時点において検出された前記深度情報とに基づいて生成された複数の前記３次元モデルと、前記場面用カメラモジュールによって時系列に撮像された複数の撮像画像とを外部に送信するモードである、３次元生成装置。
10. 情報処理装置の制御方法であって、
    （ａ）対象物の３次元モデルと、前記対象物の周囲を含む撮像画像と、を受信する工程と、
    （ｂ）受信した前記３次元モデルから前記対象物を表す対象物表示画像と、受信した前記撮像画像から場面表示画像と、を生成する工程と、
    （ｃ）前記対象物表示画像と前記場面表示画像とを表示部に表示させる工程と、
    （ｄ）前記対象物表示画像を操作する操作指示を受け付ける工程と、を備え、
    前記工程（ｂ）は、前記操作指示が前記対象物表示画像を回転させる回転指示である場合に、前記３次元モデルから前記回転指示に応じた前記対象物表示画像を生成する工程を含む、制御方法。
11. コンピュータープログラムであって、
    （ａ）対象物の３次元モデルと、前記対象物の周囲を含む撮像画像と、を受信する機能と、
    （ｂ）受信した前記３次元モデルから前記対象物を表す対象物表示画像と、受信した前記撮像画像から場面表示画像と、を生成する機能と、
    （ｃ）前記対象物表示画像と前記場面表示画像とを表示部に表示させる機能と、
    （ｄ）前記対象物表示画像を操作する操作指示を受け付ける機能と、をコンピューターに実現させ、
    前記機能（ｂ）は、前記操作指示が前記対象物表示画像を回転させる回転指示である場合に、前記３次元モデルから前記回転指示に応じた前記対象物表示画像を生成する機能を含む、コンピュータープログラム。

Images