JP5857946B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、３Ｄモデリングデータの生成や修正を行う、画像処理装置、画像処理方法およびプログラムに関する。

従来から、３Ｄ−ＣＡＤ（３Ｄｉｍｅｎｔｉｏｎ−ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）等で設計された、建物や住宅、施設等の建築物の仮想物体の３Ｄデータに基づいて、建築物やその中のインテリアが配置された仮想空間を疑似体験できるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実感）疑似体験ソフト等がある。これら疑似体験ソフトでは、ユーザが仮想空間の中に入ったときの見かけの様子を、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：（以下、「ＨＭＤ端末１００」と呼ぶ））等にＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）映像表示することにより、仮想現実感が実現される。

例えば、洋服ショップや家具のサイト等では、ユーザは家具や家電等の仮想物体の３Ｄデータをダウンロードして、家具等の仮想物体を擬似的に配置することができる。また、ユーザの実際の部屋の中に家具等の仮想物体を配置した時の大きさや様子等の具合を、仮想ＣＧ映像によるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）映像としてＰＣ（Ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）画面にシミュレーション表示させたりして、疑似体験できるサービスやアプリが提供されている。

また、現実空間に配された指標を撮像画像中で検出し、カメラの位置姿勢と指標と画像中の位置とから、指標を画像面上に投影し、指標の方向性等から、対応する指標を同定する技術が存在する（例えば、特許文献１参照）。

特開２００５−１０７９６４号公報

しかしながら、上述の特許文献１を含む従来の技術では、ユーザは仮想空間において仮想物体の大きさを擬似的に体感することができるものの、ユーザが仮想空間において配置した仮想物体の大きさや長さ等の性状を変更することはできなかった。

本発明は、このような状況に鑑みてなされたものであり、仮想空間における仮想物体の性状を任意に修正することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段と、実空間に対するユーザの視線の位置と方向の変化を逐次検出する検出手段と、前記検出手段により逐次検出される実空間内の前記ユーザの視線の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に逐次変換する変換手段と、前記変換手段により逐次変換されるユーザの視線の位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから生成される画像のデータを逐次更新させ、当該画像を表示部に逐次表示させる表示制御手段と、前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されているユーザの視線の位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段と、を備えることを特徴とする。

本発明によれば、仮想空間における仮想物体の性状を任意に修正することが可能となる。

画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置をユーザが使用している様子の一例を模式的に示す図である。 図１の画像処理装置の機能的構成のうち、３Ｄモデリングデータ生成処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能的構成を有する画像処理装置が実行する３Ｄモデリングデータ生成処理の流れを示すフローチャートである。 図２の機能的構成を有する画像処理装置が実行する３Ｄモデリングデータ生成処理の流れを示すフローチャートである。

以下、本発明の一実施形態について、図面を用いて説明する。
［ハードウェア構成］
図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばＨＭＤ端末１００として構成される。

本実施形態に係る画像処理装置１は、３Ｄモデリングデータからの画像のデータに基づいて画像が表示されている状態で、ユーザからの指示操作が行われることにより、３Ｄモデリングデータの生成や修正を行う。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
ＣＰＵ１１は、例えば、後述する３Ｄモデリングデータ生成処理のためのプログラム等、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２およびＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０およびドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種釦やポインティングデバイス、ソフトウェアキー等で構成され、３Ｄモデリングデータ生成処理における３Ｄモデリングデータの仮想物体を選択する操作、３Ｄモデリングデータの生成を指示する操作等、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介してＨＭＤ端末１００や感覚フィードバック装置１１０との間で行う通信を制御する。ＨＭＤ端末１００や感覚フィードバック装置１１０については、後述の図２を参照して説明する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

［使用例］
次に、図１の画像処理装置１の使用例について説明する。
図２は、図１の画像処理装置１をユーザが使用している様子の一例を模式的に示す図である。
なお、画像処理装置１の撮像部１６は、ユーザの手の動きを示す一連の撮像画像のデータを出力できるものとする。

初めに、ユーザ２００は、仮想空間を体感するために、ＨＭＤ端末１００を身体の頭部に装着する。ＨＭＤ端末１００は、身体に装着できるディスプレイであれば足り、眼鏡型や帽子型等ユーザの身体に合わせた形状により構成される。また、画像の表示形式は、ディスプレイ方式や投影方式等既存の表示形式が採用される。ＨＭＤ端末１００は、画像処理装置１の通信部２０を介してＢｌｕｅｔｏｏｔｈ（登録商標）や赤外線等の近距離無線通信により双方向通信可能に接続されている。

また、同様に、仮想空間を体感するために、ユーザ２００が感覚フィードバック装置１１０を身体の手や腕に装着する。感覚フィードバック装置１１０は、仮想物体に仮想的に接した場合の圧力を、電気的に変換し、人体の感覚器官に伝達（フィードバック）する装置であれば足りる。感覚フィードバック装置１１０は、例えば、手袋型や指サック型等ユーザの身体に合わせた形状により構成される。感覚フィードバック装置１１０から感覚器官への伝達（フィードバック）方式は、モータや圧電素子等を使用する振動、帯電、圧接等既存の感覚フィードバック技術（「触覚フィードバック技術」や「ハプティック」とも呼ばれる）が採用される。感覚フィードバック装置１１０は、画像処理装置１の通信部２０を介してＢｌｕｅｔｏｏｔｈ（登録商標）や赤外線等の近距離無線通信により双方向通信可能に接続されている。

ユーザ２００が、画像処理装置１の入力部１７（図１）を操作して、３Ｄモデリングデータの再生を指示すると、記憶部１９に記憶されている３Ｄモデリングデータから生成される２次元画像がＨＭＤ端末１００に表示される。
より具体的には例えば、図２の例では、ユーザ２００が建築を依頼している「家」についての３Ｄモデリングデータが記憶部１９に記憶されているものとする。この３Ｄモデリングデータは、家を構成する各要素（扉、窓、壁、家具等）を示す仮想物体（以下、「部品」と呼ぶ）が組み合わされて構成されている。図２には、扉の部品３００Ｍが示されている。仮想空間内の各部品の位置や大きさ等は、実空間内の各要素の位置や大きさ等に対応しているものとする。ただし、「家」は設計段階であり実空間上に未だ存在しないため、各部品の位置や大きさ等は自在に可変できるものとする。
ＨＭＤ端末１００に表示される２次元画像は、当該３Ｄモデリングデータを含む仮想空間内に存在する「視点」から眺望した様子（２次元平面に投影した様子）を示している。この視点は、画像処理装置１の入力部１７（図１）に対するユーザ２００の所定の操作や、ユーザ２００の身体に装着したＨＭＤ端末１００の向きに応じて、仮想空間内を自在に移動可能であり、その方向も自在に変更可能である。
これにより、ユーザ２００は、ＨＭＤ端末１００に表示される２次元画像、即ち、仮想空間内の視点から眺望した家の外部または内部を示す２次元画像を、あたかも自身の目で眺めたかのように見ることができる。図２の例では、扉の部品３００Ｍを含む室内の仮想空間において当該扉の部品３００Ｍを眺望可能な位置に視点が配置されており、この視点から眺めた様子の２次元画像、即ち扉の画像３００Ｇを含む２次元画像が、ＨＭＤ端末１００に表示される。そして、ユーザ２００は、入力部１７を操作して視点の位置および方向を自在に変更することで、ＨＭＤ端末１００に表示される２次元画像の内容を、あたかも自身が移動したり自身の目を動かした際に見える風景に変化させることができる。このようにして、ユーザ２００は、視覚的に、仮想空間を擬似的に体感することができる。

更に、この間、撮像部１６は、実空間におけるユーザ２００の手を撮像した様子を示す撮像画像のデータを逐次出力している。画像処理装置１は、逐次出力される撮像画像のデータに対して所定の画像処理を施すことで、ユーザ２００の手の動きを認識する。そして、画像処理装置１は、ユーザ２００の手に対応する仮想オブジェクト（図２の例では、ユーザ２００全体に対応する仮想オブジェクト）を、認識した実際の手の動きに応じて仮想空間内でも移動させる。手に対応する仮想オブジェクトが、扉の部品３００Ｍと接触した場合、感覚フィードバック装置１１０は、実際のユーザ２００の手に対して、実際の扉に接触した場合の触感を伝達（フィードバック）する。このようにして、ユーザ２００は、視覚的のみならず触覚的にも、仮想空間を擬似的に体感することができる。

ユーザが、感覚フィードバック装置１１０を手に装着した状態で、手を動かすことにより３Ｄモデリングデータの仮想物体の位置や大きさを修正する指示をすることができる。この指示の仕方は、ユーザが、実空間内の実物体の位置や大きさを変化させるのと同様に手を動かすだけでよい。
画像処理装置１は、上述したように、ユーザが手を動かしている様子が写る一連の撮像画像のデータから、当該手の動きを認識することで、３Ｄモデリングデータの仮想物体の位置や大きさの修正指示を認識する。そして、画像処理装置１は、認識した手の動き（その位置と方向と姿勢との時間推移）に基づいて３Ｄモデリングデータを修正する。
具体的には例えば図２の例では、ユーザは、ＨＭＤ端末１００に表示される扉の画像３００Ｇをあたかも手で押し広げるように、実空間上で左右の手を所定方向に離していくように動かすことで、３Ｄモデリングデータの扉の部品３００Ｍの寸法を修正する指示をする。この場合、撮像部１６は、実空間におけるユーザ２００の手の動きの様子を逐次撮像し、撮像画像のデータを逐次出力する。画像処理装置１は、撮像部１６から逐次出力される撮像画像のデータから、ユーザ２００の手の位置と方向と姿勢の時間的推移（動き）を検出し、検出された位置と方向と姿勢との時間推移に基づいて、３Ｄモデリングデータの修正を行う部位が扉の部品３００Ｍであることと、その扉の部品３００Ｍの修正後のサイズ等を特定する。そして、画像処理装置１は、特定した内容に基づいて、３Ｄモデリングデータを修正する。

［機能的構成］
図３は、このような画像処理装置１の機能的構成のうち、３Ｄモデリングデータ生成処理を実行するための機能的構成を示す機能ブロック図である。
３Ｄモデリングデータ生成処理とは、実空間内の所定部位の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて変換された仮想空間内の位置と方向と姿勢に対応させて生成された画像を表示する。そして、画像が表示されている状態で、ユーザにより３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、３Ｄモデリングデータの生成や修正を行うまでの一連の処理をいう。

３Ｄモデリングデータ生成処理が実行される場合、ＣＰＵ１１においては、生成部５１と、検出部５２と、変換部５３と、表示制御部５４と、修正部５５と、感覚フィードバック制御部５６と、記憶制御部５７と、が機能する。

生成部５１は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから２次元画像の画像データを生成する。
生成部５１により生成される３Ｄモデリングデータは、仮想物体の他に、この仮想物体が配置される仮想背景の３Ｄデータを含む。生成部５１は、３Ｄモデリングデータに基づいて仮想物体と仮想背景を含む２次元画像の生成を行う。
また、生成部５１により生成される３Ｄモデリングデータで表現される仮想物体は、建物である。また、生成部５１により生成される３Ｄモデリングデータで表現される仮想物体は、家具であり、仮想背景は建物内とすることができる。仮想背景とは、図２の例では、ユーザ２００が建築を依頼している家（建物）の間取りに合わせて３Ｄモデリングデータにより生成される画像であり、建物の内装を含む建物内の背後の光景により構成される。ユーザは、所望の仮想背景に任意の仮想物体を自由に配置することができる。生成部５１は、生成した画像データを変換部５３へ供給する。

検出部５２は、撮像部１６から供給されるユーザの手の位置から位置情報を算出し、算出した位置情報に基づき、実空間に対するユーザの手の位置と方向と姿勢とを検出する。検出部５２は、時系列的に複数検出したユーザの手の位置に基づいて手の移動方向を検出する。検出部５２は、検出したユーザの底の位置と方向と姿勢の情報を変換部５３へ供給する。

また、検出部５２は、身体に装着したＨＭＤ端末１００から供給される各種センサの値に基づき、実空間に対するユーザの視線の位置と方向をリアルタイムに検出する。ＨＭＤ端末１００に設けられているセンサとしては、例えば、加速度センサ、角速度センサおよび磁気センサ等を用いることができる。検出部５２は、時系列的に検出したユーザの視線の位置に基づいてユーザの視線の変化を検出することができる。この場合、検出部５２は、ＨＭＤ端末１００に設けられた各種センサにより、実空間に対するユーザの視線の位置や方向の変化をリアルタイムに検出することができる。

変換部５３は、検出部５２により検出された実空間内の所定部位の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内の位置と方向と姿勢に変換する。この場合、変換部５３は、３Ｄモデリングデータで表現される仮想物体の種類に応じて、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して変換する。変換部５３は、変換した仮想空間内の位置と方向と姿勢の情報を表示制御部５４および感覚フィードバック制御部５６へ供給する。

表示制御部５４は、変換部により変換された位置と方向と姿勢に対応させて、生成部５１により生成された３Ｄモデリングデータから画像のデータを生成させ、当該画像をＨＭＤ端末１００に表示させる制御を実行する。この、ＨＭＤ端末１００は、背景を透過可能な表示装置であり、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケール（相互変換倍率）を同じにする。この場合、表示制御部５４は、修正部５５による３Ｄモデリングデータの生成や修正中において、生成や修正中の３Ｄモデリングデータに基づく２次元画像の生成と表示をリアルタイムに行う。
また、表示制御部５４は、３Ｄモデリングデータから２次元画像を生成する際に、記憶部１９に記憶されているタグ情報を関連付けられた位置に合成して表示する。
また、表示制御部５４は、仮想空間内に、前記仮想空間の座標系と前記実空間の座標系とを対応付けている座標スケール（相互変換倍率）に対応した寸法目盛りを表示させる。表示制御部５４により表示される寸法目盛りとしては、メジャーやものさし等ユーザが仮想物体の大きさを容易に把握するのに便宜なスケールが仮想物体に添えられて表示される。

修正部５５は、表示制御部の制御により画像が表示されている状態で、ユーザによる３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに検出部５２で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成や修正を行う。
また、修正部５５は、表示制御部５４の制御により３Ｄモデリングデータから生成される２次元画像がＨＤＭ端末１００に表示されている状態で、ユーザが手を動かすことにより３Ｄモデリングデータの修正を指示する操作を行った場合に、３Ｄモデリングデータの生成や修正を行う。
具体的には、修正部５５は、感覚フィードバック装置１１０から供給される指示に基づき操作が行われたときに３Ｄモデリングデータの修正を指示する操作を受け付ける。そして、修正部５５は、検出部５２で検出されているユーザの手の位置、方向、姿勢および手の移動方向に基づいて３Ｄモデリングデータにおける修正部位と修正内容を特定する。そして、修正部５５は、特定した３Ｄモデリングデータにおける修正部位と修正内容に基づき、３Ｄモデリングデータの修正を行う。
また、修正部５５は、ユーザが手を動かすことにより３Ｄモデリングデータの生成を指示する操作を行った場合に、その操作が行われたときに検出部で検出されているユーザの手の位置と手の移動方向に基づいて新たな３Ｄモデリングデータを生成する。
具体的には、修正部５５は、感覚フィードバック装置１１０から供給される指示に基づき操作が行われたときに３Ｄモデリングデータの生成を指示する操作を受け付ける。そして、修正部５５は、検出部５２で検出されているユーザの手の位置、方向、姿勢および手の移動方向に基づいて３Ｄモデリングデータにおける生成部位と生成内容を特定する。そして、修正部５５は、特定した３Ｄモデリングデータにおける生成部位と生成内容に基づき、３Ｄモデリングデータの生成を行う。

感覚フィードバック制御部５６は、変換部５３により変換された位置、方向および姿勢と、仮想空間内に配置された仮想物体の位置、方向および姿勢との関係に基づいて、ユーザの手に装着した感覚フィードバック装置１１０の感覚フィードバック機能を制御する。例えば、変換部５３の変換した仮想空間内の位置において、仮想空間内の右手の位置に仮想物体が接触した場合には、感覚フィードバック制御部５６は、ユーザの右手に所定の圧力を加えるように、ユーザの右手側に装着した感覚フィードバック装置１１０を制御する。

記憶制御部５７は、ユーザ操作に基づいて仮想空間内における所望の位置にタグ情報を付加することができ、この仮想空間内に付加されたタグ情報を３Ｄモデリングデータの内外に、３Ｄモデリングデータの座標情報と関連付けて記憶する。

［３Ｄモデリングデータ生成処理］
次に、図２の機能的構成を有する画像処理装置１が実行する、３Ｄモデリングデータ生成処理について説明する。
図４および図５は、図２の機能的構成を有する画像処理装置１が実行する３Ｄモデリングデータ生成処理の流れを示すフローチャートである。
ユーザが入力部１７を操作して、３Ｄモデリングデータの生成または修正を指示する操作が行われた場合に、図４の３Ｄモデリングデータ生成処理が開始される。

ステップＳ１１において、変換部５３は、実空間の座標系と仮想空間の座標系とを対応付けると共に、相互に変換するための座標変換情報を設定する。この場合、変換部５３は、３Ｄモデリングデータで表現される仮想物体の種類に応じて、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して、座標変換情報を設定する。

ステップＳ１２において、生成部５１は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢で仮想的に配置する。

ステップＳ１３において、検出部５２は、身体に装着したＨＭＤ端末１００から供給される各種センサの値に基づき、実空間に対するユーザの視線の位置と方向を検出する。この場合、検出部５２は、時系列的にリアルタイムに検出したユーザの視線の位置に基づいて視線の変化を検出する。

ステップＳ１４において、生成部５１は、仮想空間内に配置された３Ｄモデリングデータの座標を、ステップＳ１１において生成した座標変換情報に基づいて実空間内の座標に変換しながら、ステップＳ１３において検出したユーザの視線の位置と方向に応じた仮想物体の２次元画像のデータを生成する。

ステップＳ１５において、表示制御部５４は、ステップＳ１４において生成した仮想物体の２次元画像を、背景部分を透過した状態でＨＭＤ端末１００に表示する制御を実行する。

ステップＳ１６において、検出部５２は、撮像部１６により撮像された感覚フィードバック装置１１０の実空間に対する位置と移動方向とに基づき、実空間に対するユーザの手の位置と方向と姿勢を検出する。この場合、検出部５２は、時系列的に複数検出したユーザの手の位置に基づいて手の移動方向を検出する。

ステップＳ１７において、変換部５３は、ステップＳ１６において検出したユーザの手の位置と方向と姿勢が仮想物体に対するものであるか否かを判定する。この処理では、変換部５３は、仮想空間内に配置された３Ｄモデリングデータの座標を、ステップＳ１１において設定した座標変換情報に基づいて実空間内の座標に変換しながら、実空間上のユーザの手が仮想空間上の仮想物体に対するものであるか否かを判定する。検出したユーザの手の位置と方向と姿勢が仮想物体に対するものでない場合、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ２１に進む。ステップＳ２１以降の処理については後述する。これに対し、検出したユーザの手の位置と方向と姿勢が仮想物体に対するものである場合、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。

ステップＳ１８において、感覚フィードバック制御部５６は、感覚フィードバック装置１１０に対して操作方向に対応した感覚をフィードバックする。この処理では、感覚フィードバック制御部５６は、ステップＳ１６において検出された、実空間に対するユーザの手の位置と方向と姿勢および、時系列的に複数検出したユーザの手の位置に基づき検出されたユーザの手の移動方向に基づいて、ユーザの操作方向を算出する。そして、感覚フィードバック制御部５６は、算出したユーザの操作方向と対抗する挙動となるよう制御する制御信号を感覚フィードバック装置１１０に送信することで、ユーザの操作方向に対応した感覚を感覚フィードバック装置１１０に対しフィードバックする。

ステップＳ１９において、修正部５５は、仮想物体に対する操作位置と操作方向に応じて、３Ｄモデリングデータに対する修正部位および修正内容を特定する。この処理では、修正部５５は、ステップＳ１６において検出された、実空間に対するユーザの手の位置と方向と姿勢および、ユーザの手の移動方向を、ステップＳ１１において設定した座標変換情報により変換し、仮想物体に対する操作位置と操作方向を算出する。そして、修正部５５は、算出した仮想物体に対する操作位置と操作方向に基づいて３Ｄモデリングデータに対する修正部位および修正内容を特定する。

ステップＳ２０において、修正部５５は、ステップＳ１９において特定された修正部位を特定された修正内容で３Ｄモデリングデータを修正する。

ステップＳ２１において、３Ｄモデリングデータの生成または修正を終了する指示を受けたか否かを判定する。３Ｄモデリングデータの生成または修正を終了する指示を受けていない場合には、ステップＳ２１においてＮＯであると判定されて、処理はステップＳ１３に戻る。即ち、３Ｄモデリングデータの生成または修正を終了する指示を受けるまでの間、ステップＳ１３乃至Ｓ２１の処理が繰り返し行われる。これに対し、３Ｄモデリングデータの生成または修正を終了する指示を受けた場合には、ステップＳ２１においてＹＥＳであると判定されて、処理はステップＳ２２の処理に移る。

ステップＳ２２において、記憶制御部５７は、ステップＳ２０の処理において修正された３Ｄモデリングデータを記憶部１９に記憶する。この処理が終了すると３Ｄモデリングデータ生成処理は終了となる。

以上説明したように、本実施形態の画像処理装置１は、生成部５１と、検出部５２と、変換部５３と、表示制御部５４と、修正部５５と、を備える。
生成部５１は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する。
検出部５２は、実空間に対する所定部位の位置と方向を検出する。
変換部５３は、検出部５２により検出された実空間内の所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内の位置と方向に変換する。
表示制御部５４は、変換部５３により変換された位置と方向に対応させて、生成部５１により３Ｄモデリングデータから画像のデータを生成させ、当該画像をＨＭＤ端末１００に表示させる。
修正部５５は、表示制御部５４の制御により画像が表示されている状態で、ユーザによる３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに検出部５２で検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う。
これにより、ユーザは、ＨＭＤ端末１００により表示される仮想空間において仮想物体の大きさを擬似的に体感しながら、３Ｄモデリングデータの生成や修正を指示する操作を行うことにより、３Ｄモデリングデータの生成や修正を行うことができる。したがって、仮想空間における仮想物体の性状を任意に修正することができる。

また、本実施形態の画像処理装置１の表示制御部５４は、修正部５５による３Ｄモデリングデータの生成または修正中において、生成や修正中の３Ｄモデリングデータに基づく２次元画像の生成と表示をリアルタイムに行う。
これにより、３Ｄモデリングデータの生成や修正を指示する操作を行うと、リアルタイムでその生成や修正された２次元画像がＨＭＤ端末１００により表示される。これにより、ユーザは、３Ｄモデリングデータが生成や修正された状態をリアルタイムで認識することができるため、生成内容や修正内容を容易に把握することができる。

また、本実施形態の画像処理装置１の検出部５２は、実空間に対するユーザの視線または手の位置と方向を検出する。変換部５３は、検出部５２により検出された視線または手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内の視線または手の位置と方向に変換する。
これにより、ユーザは、自身の視線や手の位置に対応した位置に基づいて、３Ｄモデリングデータの生成や修正を行うことができる。したがって、仮想空間における仮想物体の生成や性状の修正を容易に行うことができる。

また、本実施形態の画像処理装置１の検出部５２は、実空間に対するユーザの視線の位置と方向と、ユーザの手の位置と方向を別々に検出する。変換部５３は、検出部５２により検出された実空間におけるユーザの視線の位置と方向およびユーザの手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内のユーザの視線の位置と方向およびユーザの手の位置と方向位置と方向に変換する。表示制御部５４は、変換部５３により変換されたユーザの視線の位置と方向に対応させて、生成部５１により３Ｄモデリングデータから画像のデータを生成させる。修正部５５は、検出部５２で検出され、変換部５３により変換されたユーザの手の位置と方向に基づいて３Ｄモデリングデータの生成または修正を行う部位を特定する。
これにより、ユーザは、自身の視線および手の位置の各々に対応した位置に基づいて、３Ｄモデリングデータの生成や修正を行うことができる。したがって、仮想空間における仮想物体の生成や性状の修正をより正確に行うことができる。

また、本実施形態の画像処理装置１の検出部５２は、実空間に対するユーザの手の位置と手の移動方向を検出する。また、修正部５５は、表示制御部５４の制御により３Ｄモデリングデータから生成される２次元画像が表示されている状態で、ユーザが手を動かすことにより３Ｄモデリングデータの修正を指示する操作を行った場合に、その操作が行われたときに検出部５２で検出されているユーザの手の位置と手の移動方向に基づいて３Ｄモデリングデータにおける修正部位と修正内容を特定して３Ｄモデリングデータの修正を行う。
これにより、ユーザが実空間において手を移動して３Ｄモデリングデータの修正を指示する操作を行うと、その手の位置と移動方向に基づいて３Ｄモデリングデータにおける修正部位と修正内容が特定される。そして、この特定された部位に基づいて３Ｄモデリングデータの修正が行われる。これにより、ユーザは、手を用いて３Ｄモデリングデータの修正を容易に行うことができる。

また、本実施形態の画像処理装置１の検出部５２は、実空間に対するユーザの手の位置と手の移動方向を検出する。そして、修正部５５は、ユーザが手を動かすことにより３Ｄモデリングデータの生成を指示する操作を行った場合に、その操作が行われたときに検出部５２で検出されているユーザの手の位置と手の移動方向に基づいて新たな３Ｄモデリングデータを生成する。
これにより、ユーザが実空間において手を移動して３Ｄモデリングデータの生成を指示する操作を行うと、その手の位置と移動方向に基づいて新たな３Ｄモデリングデータの生成が行われる。これにより、ユーザは、手を用いて３Ｄモデリングデータの生成を容易に行うことができる。

また、本実施形態の画像処理装置１の生成部５１は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢で仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向と姿勢に対応させて、該３Ｄモデリングデータから画像のデータを生成する。
検出部５２は、実空間に対するユーザの視線または手の位置と方向と姿勢を検出する。
変換部５３は、検出部５２により検出された視線または手の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内の視線または手の位置と方向と姿勢に変換する。
修正部５５は、検出部５２で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成または修正を行う部位および生成または修正の内容を特定して３Ｄモデリングデータの生成または修正を行う。
これにより、ユーザが実空間において視線や手を移動して３Ｄモデリングデータの生成や修正を指示する操作を行うと、その視線や手の移動方向に基づいて３Ｄモデリングデータにおける修正内容や生成内容が特定される。そして、この特定された部位に基づいて３Ｄモデリングデータの修正や生成が行われる。これにより、ユーザは、視線や手を用いて３Ｄモデリングデータの修正や生成を容易に行うことができる。

また、本実施形態の画像処理装置１は、感覚フィードバック制御部５６を更に備える。検出部５２は、ユーザの手に装着した感覚フィードバック装置１１０の実空間に対する位置と移動方向を検出する。変換部５３は、検出部５２により検出される実空間内の位置と方向と姿勢を、仮想空間内の位置と方向と姿勢に変換する。そして、感覚フィードバック制御部５６は、変換部５３により変換された位置、方向および姿勢と、仮想空間内に配置された仮想物体の位置、方向および姿勢との関係に基づいて、ユーザの手に装着した感覚フィードバック装置１１０の感覚フィードバック機能を制御する。
これにより、ユーザが実空間において手を移動する操作を行うと、実空間内の手の位置と方向と姿勢と、仮想空間内に配置された仮想物体の位置、方向および姿勢との関係に基づいて感覚フィードバック装置１１０が制御される。したがって、ユーザが手を用いて３Ｄモデリングデータの修正や生成を行う指示を行うと、その手の動きに対応した感覚がユーザにフィードバックされるため、ユーザは、仮想空間上の仮想物体の生成や修正を擬似的に体感することができる。

また、本実施形態の画像処理装置１は、撮像部１６を更に備える。検出部５２は、実空間に対する撮像部１６の位置と撮影方向を検出する。そして、表示制御部５４は、撮像部１６によりリアルタイムに撮影されるライブビュー画像をＨＭＤ端末１００に表示した状態で、このライブビュー画像上に、３Ｄモデリングデータから生成される２次元画像を合成して表示する。
これにより、撮像部１６によりリアルタイムに撮影される実空間のライブビュー画像上に、３Ｄモデリングデータから生成される２次元画像が合成して表示される。したがって、ユーザは、あたかも実空間上に仮想物体があるかのように、３Ｄモデリングデータから生成された仮想物体を実空間上に擬似的に配置して表示することができる。

また、本実施形態の画像処理装置１の検出部５２は、身体に装着したＨＭＤ端末１００により実空間に対する視線の位置や方向の変化をリアルタイムに検出する。
これにより、ユーザの実空間に対する視線の位置や方向に基づいて３Ｄモデリングデータから２次元画像が生成される。したがって、ユーザは、あたかも自身が仮想空間内で視線を動かしているかのように、仮想物体を認識することができる。

また、本実施形態の画像処理装置１のＨＭＤ端末１００は、背景を透過可能な表示装置であり、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケールを同じにする。
これにより、３Ｄモデリングデータから生成される２次元画像がＨＭＤ端末１００を向けた方向を背景画像として、重畳して表示される。したがって、ユーザは、あたかも実空間上に仮想物体があるかのように、３Ｄモデリングデータから生成された仮想物体を実空間上に擬似的に配置して表示することができる。

また、本実施形態の画像処理装置１の３Ｄモデリングデータは、仮想物体の他に、この仮想物体が配置される仮想背景の３Ｄデータを含む。そして、生成部５１は、３Ｄモデリングデータに基づいて仮想物体と仮想背景を含む２次元画像の生成を行う。
これにより、３Ｄデータから生成される仮想背景をバックに仮想物体が配置された２次元画像が表示される。したがって、ユーザは、所望の仮想背景に任意の仮想物体を自由に配置することができる。

また、本実施形態の画像処理装置１の変換部５３は、３Ｄモデリングデータで表現される仮想物体の種類に応じて、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して変換する。
これにより、実空間の寸法が仮想空間の寸法よりも大きい場合には、実空間の座標系の座標スケールを縮小することにより、実空間と仮想空間とのスケールを同じように合わせて表示することができる。これに対し、実空間の寸法が仮想空間の寸法よりも小さい場合には、実空間の座標系の座標スケールを拡大することにより、実空間と仮想空間とのスケールを同じように合わせて表示することができる。したがって、実空間のスケールと仮想空間のスケールとが異なる場合であっても、スケール間の相違を気にすることなく、拡大または縮小された画像を認識することができる。

また、本実施形態の画像処理装置１の３Ｄモデリングデータで表現される仮想物体は建物である。
これにより、ユーザは、３Ｄモデリングデータにより表現される建物を視認することができるともに、当該建物の寸法や大きさを自由に生成および修正することができる。

また、本実施形態の画像処理装置１の３Ｄモデリングデータで表現される仮想物体は家具であり、仮想背景は建物内である。
これにより、ユーザは、３Ｄモデリングデータにより表現される建物内に配置された家具を視認することができるともに、当該建物内の家具の寸法や大きさを自由に生成および修正することができる。

また、本実施形態の画像処理装置１は、記憶制御部５７を更に備える。
記憶制御部５７は、ユーザ操作に基づいて仮想空間内における所望の位置にタグ情報を付加することができ、この仮想空間内に付加されたタグ情報を３Ｄモデリングデータの内外に、３Ｄモデリングデータの座標情報と関連付けて記憶する。そして、表示制御部５４は、３Ｄモデリングデータから２次元画像を生成する際に、記憶されているタグ情報を関連付けられた位置に合成して表示する。
これにより、ユーザにより所望の位置に付加されたタグ情報を３Ｄモデリングデータから生成される２次元画像に合成して表示することができる。これにより、ユーザが所望する位置の情報を２次元画像に反映することができる。

また、本実施形態の画像処理装置１の表示制御部５４は、仮想空間内に、仮想空間の座標系と実空間の座標系とを対応付けている座標スケールに対応した寸法目盛りを表示させる。
これにより、ユーザは、実空間のスケールと仮想空間のスケールとが異なる場合であっても、スケール間の相違を認識することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、生成部５１は、３Ｄモデリングデータから２次元画像の画像データを生成しているがこれに限られるものではなく、例えば、生成部５１は、３Ｄ映像を表示する為の３次元画像の画像データを生成することができる。

また、上述の実施形態では、検出部５２は、身体に装着したＨＭＤ端末１００から供給される各種センサの値に基づき、実空間に対するユーザの視線の位置と方向を検出しているがこれに限られるものではない。例えば、検出部５２は、撮像部１６により撮像されたＨＭＤ端末１００の位置と方向とに基づいてユーザの視線の位置と方向とを検出することができる。

また、上述の実施形態では、ユーザ２００が、３Ｄモデリングデータの再生を指示すると、記憶部１９に記憶されている３Ｄモデリングデータから生成される２次元画像がＨＭＤ端末１００に表示しているがこれに限られるものではない。例えば、画像処理装置１は、撮像部１６によりリアルタイムに撮影されるライブビュー画像をＨＭＤ端末１００に表示する。そして、画像処理装置１は、このライブビュー画像上に、３Ｄモデリングデータから生成される２次元画像を合成して表示することができる。

また、上述の実施形態では、検出部５２は、撮像部１６から供給されるユーザの手の位置から位置情報を算出し、算出した位置情報に基づき、実空間に対するユーザの手の位置と方向と姿勢とを検出しているがこれに限られるものではない。例えば、感覚フィードバック装置１１０から供給される加速度センサの値に基づき、実空間に対するユーザの手の位置と方向と姿勢とを検出することができる。
また、上述の実施形態では、検出部５２は、実空間に対するユーザの視線の位置と方向と、ユーザの手の位置と方向のそれぞれを、異なる方法で個別に検出しているが、いずれか一方のみを検出し、この検出結果で他方の検出結果を代替または推定するようにしてもよい。例えば、ＨＭＤ端末１００から供給される各種センサの値に基づき、実空間に対するユーザの視線の位置と方向だけを検出し、ユーザーがキーボード等の操作、あるいは音声により３Ｄモデリングデータの生成や修正を指示する操作を行った場合、そのときに検出されているユーザの視線の位置と方向に基づいて、３Ｄモデリングデータの生成や修正を行う部位を特定するようにしてもよい。
また、上述の実施形態では、検出部５２は、実空間に対するユーザの視線や手の位置と方向と姿勢を検出したが、姿勢については常に水平であると仮定して検出を省略してもよい。

また、上述の実施形態では、本発明が適用される画像処理装置１は、パーソナルコンピュータを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ブルーレイ（Ｂｌｕ−ｒａｙ）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。上記実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段と、
実空間に対する所定部位の位置と方向を検出する検出手段と、
前記検出手段により検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換手段と、
前記変換手段により変換された位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御手段と、
前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記表示制御手段は、前記修正手段による３Ｄモデリングデータの生成または修正中において、生成や修正中の３Ｄモデリングデータに基づく２次元画像の生成と表示をリアルタイムに行う
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記検出手段は、実空間に対するユーザの視線または手の位置と方向を検出し、
前記変換手段は、前記検出手段により検出された視線または手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の視線または手の位置と方向に変換することを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記検出手段は、実空間に対するユーザの視線の位置と方向と、ユーザの手の位置と方向を別々に検出し、
前記変換手段は、前記検出手段により検出された実空間におけるユーザの視線の位置と方向およびユーザの手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内のユーザの視線の位置と方向およびユーザの手の位置と方向位置と方向に変換し、
前記表示制御手段は、前記変換手段により変換されたユーザの視線の位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、
前記修正手段は、前記検出手段で検出され、前記変換手段により変換されたユーザの手の位置と方向に基づいて３Ｄモデリングデータの生成または修正を行う部位を特定することを特徴とする付記３に記載の画像処理装置。
［付記５］
前記検出手段は、実空間に対するユーザの手の位置と手の移動方向を検出し、
前記修正手段は、前記表示制御手段の制御により前記３Ｄモデリングデータから生成される前記２次元画像が表示されている状態で、ユーザが手を動かすことにより前記３Ｄモデリングデータの修正を指示する操作を行った場合に、その操作が行われたときに前記検出手段で検出されているユーザの手の位置と手の移動方向に基づいて前記３Ｄモデリングデータにおける修正部位と修正内容を特定して前記３Ｄモデリングデータの修正を行う
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記６］
前記検出手段は、実空間に対するユーザの手の位置と手の移動方向を検出し、
前記修正手段は、ユーザが手を動かすことにより前記３Ｄモデリングデータの生成を指示する操作を行った場合に、その操作が行われたときに前記検出手段で検出されているユーザの手の位置と手の移動方向に基づいて新たな３Ｄモデリングデータを生成する
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記７］
前記生成手段は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢で仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向と姿勢に対応させて、該３Ｄモデリングデータから画像のデータを生成し、
前記検出手段は、実空間に対するユーザの視線または手の位置と方向と姿勢を検出し、
前記変換手段は、前記検出手段により検出された視線または手の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の視線または手の位置と方向と姿勢に変換し、
前記修正手段は、前記検出手段で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成または修正を行う部位および生成または修正の内容を特定して３Ｄモデリングデータの生成または修正を行うことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記８］
前記画像処理装置は、感覚フィードバック制御手段を更に備え、
前記検出手段は、ユーザの手に装着した感覚フィードバック機能付きの機器の実空間に対する位置と移動方向を検出し、
前記変換手段は、前記検出手段により検出される実空間内の位置と方向と姿勢を、前記仮想空間内の位置と方向と姿勢に変換し、
感覚フィードバック制御手段は、前記変換手段により変換された位置、方向および姿勢と、仮想空間内に配置された前記仮想物体の位置、方向および姿勢との関係に基づいて、ユーザの手に装着した機器の感覚フィードバック機能を制御する
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記９］
前記画像処理装置は、撮像部を更に備え、
前記検出手段は、実空間に対する前記撮像部の位置と撮影方向を検出し、
前記表示制御手段は、前記撮像部によりリアルタイムに撮影されるライブビュー画像を前記表示部に表示した状態で、このライブビュー画像上に、前記３Ｄモデリングデータから生成される２次元画像を合成して表示する
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記１０］
前記検出手段は、身体に装着したセンサ付表示装置により実空間に対する視線の位置や方向の変化をリアルタイムに検出する
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記１１］
前記センサ付表示装置は、背景を透過可能な表示装置であり、前記仮想空間の座標系と前記実空間の座標系とを対応付ける際の座標スケールを同じにする
ことを特徴とする付記１０に記載の画像処理装置。
［付記１２］
前記３Ｄモデリングデータは、前記仮想物体の他に、この仮想物体が配置される仮想背景の３Ｄデータを含み、前記生成手段は、前記３Ｄモデリングデータに基づいて前記仮想物体と前記仮想背景を含む２次元画像の生成を行う
ことを特徴とする付記１乃至１１のいずれかに記載の画像処理装置。
［付記１３］
前記変換手段は、前記３Ｄモデリングデータで表現される仮想物体の種類に応じて、前記仮想空間の座標系と前記実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して変換する
ことを特徴とする付記１乃至１２のいずれかに記載の画像処理装置。
［付記１４］
前記３Ｄモデリングデータで表現される仮想物体は建物である
ことを特徴とする付記１乃至１３のいずれかに記載の画像処理装置。
［付記１５］
前記３Ｄモデリングデータで表現される仮想物体は家具であり、仮想背景は建物内である
ことを特徴とする付記１乃至１４のいずれかに記載の画像処理装置。
［付記１６］
前記画像処理装置は、記憶制御手段を更に備え、
前記記憶制御手段は、ユーザ操作に基づいて仮想空間内における所望の位置にタグ情報を付加することができ、この仮想空間内に付加されたタグ情報を３Ｄモデリングデータの内外に、３Ｄモデリングデータの座標情報と関連付けて記憶し、
前記表示制御手段は、３Ｄモデリングデータから２次元画像を生成する際に、記憶されているタグ情報を関連付けられた位置に合成して表示する
ことを特徴とする付記１乃至１５のいずれかに記載の画像処理装置。
［付記１７］
前記表示制御手段は、仮想空間内に、前記仮想空間の座標系と前記実空間の座標系とを対応付けている座標スケールに対応した寸法目盛りを表示させる
ことを特徴とする付記１乃至１６のいずれかに記載の画像処理装置。
［付記１８］
３Ｄモデリングデータの生成や修正を行う画像処理装置が実行する画像処理方法であって、
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成ステップと、
実空間に対する所定部位の位置と方向を検出する検出ステップと、
前記検出ステップにより検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換ステップと、
前記変換ステップにより変換された位置と方向に対応させて、前記生成ステップにより前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御ステップと、
前記表示制御ステップの制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出ステップで検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正ステップと、
を含むことを特徴とする画像処理方法。
［付記１９］
３Ｄモデリングデータの生成や修正する制御を実行するコンピュータを、
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段、
実空間に対する所定部位の位置と方向を検出する検出手段、
前記検出手段により検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換手段、
前記変換手段により変換された位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御手段、
前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段、
として機能させることを特徴とするプログラム。

１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、
５１・・・生成部、５２・・・検出部、５３・・・変換部、５４・・・表示制御部、５５・・・修正部、５６・・・感覚フィードバック制御部、５７・・・記憶制御部、１００・・・ＨＭＤ端末、１１０・・・感覚フィードバック装置

Claims (18)

1. ３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段と、
   実空間に対するユーザの視線の位置と方向の変化を逐次検出する検出手段と、
   前記検出手段により逐次検出される実空間内の前記ユーザの視線の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に逐次変換する変換手段と、
   前記変換手段により逐次変換されるユーザの視線の位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから生成される画像のデータを逐次更新させ、当該画像を表示部に逐次表示させる表示制御手段と、
   前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されているユーザの視線の位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記表示制御手段は、前記修正手段による３Ｄモデリングデータの生成または修正中において、生成や修正中の３Ｄモデリングデータに基づく２次元画像の生成と表示をリアルタイムに行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、実空間に対するユーザの視線の位置と方向の変化と、ユーザの手の位置の変化を別々に検出し、
   前記変換手段は、前記検出手段により逐次検出される実空間におけるユーザの視線の位置と方向およびユーザの手の位置を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内のユーザの視線の位置と方向およびユーザの手の位置に逐次変換し、
   前記修正手段は、前記検出手段で逐次検出され、前記変換手段により逐次変換されるユーザの視線の位置と方向およびユーザの手の位置に基づいて３Ｄモデリングデータの生成または修正を行う部位を逐次特定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出手段は、実空間に対するユーザの手の方向と手の移動方向を検出し、
   前記修正手段は、前記表示制御手段の制御により前記３Ｄモデリングデータから生成される前記２次元画像が表示されている状態で、ユーザが手を動かすことにより前記３Ｄモデリングデータの修正を指示する操作を行った場合に、その操作が行われたときに前記検出手段で検出されているユーザの手の方向と手の移動方向に基づいて前記３Ｄモデリングデータにおける修正内容を特定して前記３Ｄモデリングデータの修正を行う
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記検出手段は、実空間に対するユーザの手の方向と手の移動方向を検出し、
   前記修正手段は、ユーザが手を動かすことにより前記３Ｄモデリングデータの生成を指示する操作を行った場合に、その操作が行われたときに前記検出手段で検出されているユーザの手の方向と手の移動方向に基づいて新たな３Ｄモデリングデータを生成する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記生成手段は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢で仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向と姿勢に対応させて、該３Ｄモデリングデータから画像のデータを生成し、
   前記検出手段は、実空間に対するユーザの視線および手の位置と方向と姿勢を検出し、
   前記変換手段は、前記検出手段により検出された視線および手の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の視線および手の位置と方向と姿勢に変換し、
   前記修正手段は、前記検出手段で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成または修正を行う部位および生成または修正の内容を特定して３Ｄモデリングデータの生成または修正を行うことを特徴とする請求項３に記載の画像処理装置。
7. 前記画像処理装置は、感覚フィードバック制御手段を更に備え、
   前記検出手段は、ユーザの手に装着した感覚フィードバック機能付きの機器の実空間に対する位置と移動方向を検出し、
   前記変換手段は、前記検出手段により検出される実空間内の位置と方向と姿勢を、前記仮想空間内の位置と方向と姿勢に変換し、
   感覚フィードバック制御手段は、前記変換手段により変換された位置、方向および姿勢と、仮想空間内に配置された前記仮想物体の位置、方向および姿勢との関係に基づいて、ユーザの手に装着した機器の感覚フィードバック機能を制御する
   ことを特徴とする請求項３乃至６のいずれかに記載の画像処理装置。
8. 前記画像処理装置は、撮像部を更に備え、
   前記検出手段は、実空間に対する前記撮像部の位置と撮影方向を検出し、
   前記表示制御手段は、前記撮像部によりリアルタイムに撮影されるライブビュー画像を前記表示部に表示した状態で、このライブビュー画像上に、前記３Ｄモデリングデータから生成される２次元画像を合成して表示する
   ことを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記検出手段は、身体に装着したセンサ付表示装置により実空間に対する視線の位置や方向の変化をリアルタイムに検出する
   ことを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記センサ付表示装置は、背景を透過可能な表示装置であり、前記仮想空間の座標系と前記実空間の座標系とを対応付ける際の座標スケールを同じにする
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記３Ｄモデリングデータは、前記仮想物体の他に、この仮想物体が配置される仮想背景の３Ｄデータを含み、前記生成手段は、前記３Ｄモデリングデータに基づいて前記仮想物体と前記仮想背景を含む２次元画像の生成を行う
    ことを特徴とする請求項１乃至１０のいずれかに記載の画像処理装置。
12. 前記変換手段は、前記３Ｄモデリングデータで表現される仮想物体の種類に応じて、前記仮想空間の座標系と前記実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して変換する
    ことを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。
13. 前記３Ｄモデリングデータで表現される仮想物体は建物である
    ことを特徴とする請求項１乃至１２のいずれかに記載の画像処理装置。
14. 前記３Ｄモデリングデータで表現される仮想物体は家具であり、仮想背景は建物内である
    ことを特徴とする請求項１乃至１３のいずれかに記載の画像処理装置。
15. 前記画像処理装置は、記憶制御手段を更に備え、
    前記記憶制御手段は、ユーザ操作に基づいて仮想空間内における所望の位置にタグ情報を付加することができ、この仮想空間内に付加されたタグ情報を３Ｄモデリングデータの内外に、３Ｄモデリングデータの座標情報と関連付けて記憶し、
    前記表示制御手段は、３Ｄモデリングデータから２次元画像を生成する際に、記憶されているタグ情報を関連付けられた位置に合成して表示する
    ことを特徴とする請求項１乃至１４のいずれかに記載の画像処理装置。
16. 前記表示制御手段は、仮想空間内に、前記仮想空間の座標系と前記実空間の座標系とを対応付けている座標スケールに対応した寸法目盛りを表示させる
    ことを特徴とする請求項１乃至１５のいずれかに記載の画像処理装置。
17. ３Ｄモデリングデータの生成や修正を行う画像処理装置が実行する画像処理方法であって、
    ３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成ステップと、
    実空間に対するユーザの視線の位置と方向の変化を逐次検出する検出ステップと、
    前記検出ステップにより逐次検出される実空間内の前記ユーザの視線の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に逐次変換する変換ステップと、
    前記変換ステップにより逐次変換されるユーザの視線の位置と方向に対応させて、前記生成ステップにより前記３Ｄモデリングデータから生成される画像のデータを逐次更新させ、当該画像を表示部に逐次表示させる表示制御ステップと、
    前記表示制御ステップの制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出ステップで検出されているユーザの視線の位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正ステップと、
    を含むことを特徴とする画像処理方法。
18. ３Ｄモデリングデータの生成や修正する制御を実行するコンピュータを、
    ３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段、
    実空間に対するユーザの視線の位置と方向の変化を逐次検出する検出手段、
    前記検出手段により逐次検出される実空間内の前記ユーザの視線の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に逐次変換する変換手段、
    前記変換手段により逐次変換されるユーザの視線の位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから生成される画像のデータを逐次更新させ、当該画像を表示部に逐次表示させる表示制御手段、
    前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されているユーザの視線の位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段、
    として機能させることを特徴とするプログラム。

Images