JP4777193B2 - 立体映像合成装置、形状データ生成方法およびそのプログラム - Google Patents

Description

本発明は、立体映像合成装置、形状データ生成方法およびそのプログラムにかかわり、特に立体映像の合成とともに、力覚・触覚提示装置に形状データを出力する立体映像合成装置、形状データ生成方法およびそのプログラムに関する。

従来の立体映像表示装置は、あらかじめ左右の目に対応する２視点から見た映像を用意しておき、バリア方式（例えば、特許文献１、特許文献２参照）や偏光グラスシャッター方式の三次元ディスプレイ上で表示することで、ユーザが立体的に知覚することができる。
また、ペンタイプの操作部を持ち、ペンを操作することで力覚や触覚を体験することができるフォースフィードバック装置や、腕に装着し、腕全体の力覚や手の触感を体験することができるハプティック装置などの力覚・触覚提示装置もある。
特開平８−２４８３５５号公報 特表２００３−５２１１８１号公報

しかしながら、従来の立体映像表示装置にあっては、立体映像を提示するのみであり、立体感があり、物体が浮き出て見えたとしても、それに触れることはできないという問題がある。また、ＣＡＤ（Computer Aided Design）データなどの形状データに基づき、ＣＧ（Computer Graphics）を表示しながら、力覚・触覚提示装置で力覚および触覚を提示することはできたが、予め映像と一致した形状データを用意しなければならず、映像を生成するのに形状データが必要なＣＧには適用できても、ビデオカメラなどで撮影した実写映像には適用できないという問題があった。

本発明は、このような事情に鑑みてなされたもので、その目的は、ビデオカメラなどで撮影した実写映像の立体映像を立体映像表示装置にて提示しつつ、該立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提示可能な立体映像データと形状データとを出力できる立体映像合成装置を提供することにある。

この発明は上述した課題を解決するためになされたもので、本発明の立体映像合成装置は、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置において、前記左画像および前記右画像各々における特定の被写体の位置を算出する画像位置算出部と、前記画像位置算出部が算出した前記左画像および前記右画像各々における位置に基づき、自装置が合成する立体映像の表示空間における前記特定の被写体の位置を算出する立体位置算出部と、前記立体位置算出部が算出した表示空間における位置に、力覚、触覚を提示するためのデータであって、所定の形状データを配置する形状配置部と、前記形状配置部が配置した形状データを、力覚・触覚提示装置に出力する形状出力部とを備えることを特徴とする。

また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、前記立体位置算出部は、前記画像位置算出部が算出した前記左画像における被写体の位置と前記右画像における被写体の位置との横軸方向の差を算出し、さらに前記算出した差の逆数を算出することで、前記画像に対する垂直方向の位置を求めることを特徴とする。

また、本発明の立体映像合成装置は、上述のいずれかの立体映像合成装置であって、前記画像位置算出部は、前記左画像および前記右画像各々について、所定の色範囲にある画素を抽出し、前記抽出した画素の中で接しているもの同士を集めた画素グループのうちで前記左画像および前記右画像各々で最も画素数の多い画素グループを選び、該選んだ画素グループの中心位置を算出することで、前記左画像および前記右画像各々における前記被写体の位置を算出することを特徴とする。

また、本発明の立体映像合成装置は、上述のいずれかの立体映像合成装置であって、自装置が立体映像を合成する前の前記左画像および前記右画像各々について、前記画像位置算出部が算出した前記左画像および前記右画像各々の位置に所定の画像データを挿入する画像配置部を備えることを特徴とする。

また、本発明の形状データ生成方法は、入力された左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置における形状データ生成方法において、前記左画像および前記右画像各々における特定の被写体の位置を算出する第１の過程と、前記第１の過程にて算出した前記左画像および前記右画像各々における前記被写体の位置に基づき、自装置が合成する立体映像の表示空間における前記被写体の位置を算出する第２の過程と、前記第２の過程にて算出した表示空間における位置に、力覚、触覚を提示するためのデータであって、所定の形状データを配置する第３の過程と、前記第３の過程にて配置した形状データを、力覚・触覚提示装置に出力する第４の過程とを備えることを特徴とする。

また、本発明のプログラムは、コンピュータを、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置として機能させるためのプログラムにおいて、前記左画像および前記右画像各々における特定の被写体の位置を算出する画像位置算出部、前記画像位置算出部が算出した前記左画像および前記右画像各々における位置に基づき、自装置が合成する立体映像の表示空間における前記特定の被写体の位置を算出する立体位置算出部、前記立体位置算出部が算出した表示空間における位置に、力覚、触覚を提示するためのデータであって、所定の形状データを配置する形状配置部、前記形状配置部が配置した形状データを力覚・触覚提示装置に出力する形状出力部としても機能させる。

この発明によれば、立体映像合成装置は、特定の被写体の位置にて触感を与えたい形状を所定の形状データとして用意しておき、特定の被写体を左右２つの視点からビデオカメラなどで撮影した実写映像を本装置に入力させることで、立体映像表示装置に表示させた立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提供させる形状データを生成することができる。

本実施形態の立体映像合成装置３００は、図１に示すように、左映像撮影装置１００と右映像撮影装置２００が撮影した左目の視点から見た映像と右目の視点から見た映像とを立体映像合成して、立体映像表示装置４００にて表示する際に、撮影した映像中から所定の色をしたマーカの立体映像の表示空間における３次元位置を抽出し、予め用意しておいた形状データを、この抽出した３次元位置に配置して、力覚・触覚提示装置５００に出力する。これにより、ユーザは立体映像表示装置４００にて表示された立体映像を見ると同時に、表示されている立体映像中の特定の被写体の位置にて力覚・触覚提示装置５００により力覚・触覚を得ることができる。

以下、図面を参照して、本発明の実施の形態について説明する。図２は、この発明の一実施形態による立体映像合成装置３００の構成を示す概略ブロック図である。左映像撮影装置１００は、左目の視点から見た映像を撮影するビデオカメラである。右映像撮影装置２００は、左映像撮影装置１００の右側に平行に設置され、右目の視点から見た映像を撮影するビデオカメラである。立体映像合成装置３００は、左映像撮影装置１００と右映像撮影装置２００とから左目の視点から見た映像および右目の視点から見た映像を受付けて、立体映像を合成して立体映像表示装置４００に出力するとともに、特定の被写体の３次元位置に形状データを配置して、力覚・触覚提示装置５００に出力する。

図３は、本実施形態による立体映像合成装置３００の構成を示す概略ブロック図である。
３１は、左映像撮影装置１００から入力された映像を受付けて、該映像から１フレームずつ抽出した左画像を出力する左映像データ入力部である。
３２は、右映像撮影装置２００から入力された映像を受付けて、該映像から１フレームずつ抽出した右画像を出力する右映像データ入力部である。
３３は、左映像データ入力部３１と右映像データ入力部３２から受けた左画像および右画像それぞれにおけるマーカの位置を算出するマーカ画像位置算出部である。マーカ画像位置算出部３３の詳細については後述する。

３４は、マーカ画像位置算出部３３が算出した左画像および右画像それぞれにおけるマーカの位置に基づき、立体映像合成部４０にて合成する立体映像の表示空間におけるマーカの位置を算出するマーカ立体位置算出部である。マーカ立体位置算出部３４の詳細については後述する。
３５は、予め用意し、立体映像合成装置の記憶部に格納していた形状データ３６に対して、マーカ立体位置算出部３４が算出した位置に平行移動させる変換を施すことにより、形状データ３６の表す立体形状をマーカ立体位置算出部３４が算出した位置に配置した形状データを生成する形状配置部である。なお、形状データのデータ形式は、力覚・触覚提示装置５００に依存するが、３次元空間の特定の位置にある立体形状を表すポリゴンデータなどのデータである。
３７は、形状配置部３５により生成された形状データを力覚・触覚提示装置５００に出力する形状出力部である。

３８は、予め用意し、立体映像合成装置の記憶部に格納していた画像データ３９を、マーカ画像位置算出部３３が算出した左画像および右画像それぞれにおけるマーカの位置に配置する画像配置部である。
これにより、マーカのような単純な被写体だけでなく、複雑な形状や色彩の物体を触感を提示する対象とすることができる。
立体映像合成部４０は、画像配置部３８により画像データ３９が配置された左画像および右画像を合成して、立体映像表示装置４００に合わせた形式の立体映像データを生成する。
４１は、立体映像合成部４０が生成した立体映像データを、立体映像表示装置４００に出力する立体映像出力部である。

図４は、マーカ画像位置算出部３３において、左画像および右画像におけるマーカの位置を算出する方法を説明するフローチャートである。マーカ画像位置算出部３３は、左画像と右画像それぞれについて、図４に示すフローチャートの処理を実施して、マーカの位置を算出する。本実施形態では、各画素の色を表現するための色値を、赤、緑、青成分の値で表す。
まず、マーカを検出するために色の赤、緑、青成分の上限値（Ｒｍａｘ、Ｇｍａｘ、Ｂｍａｘ）および下限値（Ｒｍｉｎ、Ｇｍｉｎ、Ｂｍｉｎ）をユーザ操作により設定し、マーカ画像位置算出部３３は、これらの値を記憶部に格納する（Ｓ１）。このステップＳ１は、左映像撮影装置１００および右映像撮影装置２００にて撮影して、立体映像合成装置３００にて立体映像合成を行う前に、予め行っておく。

次に、マーカ画像位置算出部３３は、左映像データ入力部３１または右映像データ入力部３２から受けた画像を構成するｉ＝０からＩｍａｘ−１までのＩｍａｘ個全ての画素について、ステップＳ３〜Ｓ６の処理を行う（Ｓ２）。ステップＳ３では、マーカ画像位置算出部３３は、ｉ番目（最初は０番目）の画素の赤、緑、青成分値（Ｒｉ、Ｇｉ、Ｂｉ）を取得する。次に、マーカ画像位置算出部３３は、ステップＳ３にて取得した赤、緑、青成分値（Ｒｉ、Ｇｉ、Ｂｉ）が、マーカの色であるか否か、すなわち、ステップＳ１にて記憶部に格納した上限値（Ｒｍａｘ、Ｇｍａｘ、Ｂｍａｘ）および下限値（Ｒｍｉｎ、Ｇｍｉｎ、Ｂｍｉｎ）の範囲内にあるか否かを判定する（Ｓ４）。この判定では、以下の（１）〜（３）の式を全て満たしている場合に、上限値および下限値の範囲内にあると判定する。
Ｒｍｉｎ＜Ｒｉ＜Ｒｍａｘ ・・・・（１）
Ｇｍｉｎ＜Ｇｉ＜Ｇｍａｘ ・・・・（２）
Ｂｍｉｎ＜Ｂｉ＜Ｂｍａｘ ・・・・（３）
ステップＳ４にて、上限値および下限値の範囲内にあると判定されると、ステップＳ５に遷移して、マーカ画像位置算出部３３は、このときのｉ番目の画素について、画像中における位置を記憶した後、ステップＳ６に遷移する。

一方、ステップＳ４にて、上限値および下限値の範囲内にないと判定されると、直接ステップＳ６に遷移する。ステップＳ６では、マーカ画像位置算出部３３は、ｉの値を１増やし、ｉの値がＩｍａｘより小さいときは、ステップＳ３に戻って、前述の処理を繰り返す。このようにして、ｉの値がＩｍａｘとなるまで、すなわち、該画像の全ての画素について、マーカ画像位置算出部３３は、ステップＳ３からＳ６を繰り返す。
ステップＳ６にて、ｉの値がＩｍａｘとなると、ステップＳ７に遷移し、マーカ画像位置算出部３３は、ステップＳ６にて位置を記憶した画素のうち、画像中の位置が縦もしくは横に隣接しあうものをまとめたグループを生成する。ここで、任意の２画素が隣接しあうか否かの判定は、該２画素の横軸方向の位置が同じで縦軸方向の位置が１画素ずれているか、横軸方向の位置が１画素ずれていて縦軸方向の位置が同じであるかのいずれかの条件を満たしている場合は隣接しあうとすることで可能である。次に、マーカ画像位置算出部３３は、ステップＳ７にて生成したグループのうち、面積が最大のもの、すなわち、画素数が最大のものをマーカであると判定して抽出し（Ｓ８）、抽出したマーカの重心の位置を、マーカを構成する画素の座標を平均することで算出して出力する（Ｓ９）。

例えば、ステップＳ６にてマーカ画像位置算出部３３が位置を記憶した画素のＸ，Ｙ座標が、（１０，１０）、（１０，１１）、（１１，１１）、（２５，６０）、（２４，６１）、（２５，６１）、（２６，６１）、（２５，６２）の８画素であったとすると、ステップＳ７では、マーカ画像位置算出部３３は、（１０，１０）、（１０，１１）、（１１，１１）の３つの画素からなるグループ１と、（２５，６０）、（２４，６１）、（２５，６１）、（２６，６１）、（２５，６２）の５つの画素からなるグループ２とを生成する。次にステップＳ８では、マーカ画像位置算出部３３は、３画素のグループ１と５画素のグループ２との画素数を比較し、画素数の多いグループ２をマーカであると判定して抽出する。次にステップＳ９では、マーカ画像位置算出部３３は、抽出したマーカの重心の位置を、（２５，６０）、（２４，６１）、（２５，６１）、（２６，６１）、（２５，６２）の平均を求めることで算出する。すなわち、重心の位置は、（（２５＋２４＋２５＋２６＋２５）／５，（６０＋６１＋６１＋６１＋６２）／５）＝（２５，６１）となる。

図５は、マーカ立体位置算出部３４にて立体映像の表示空間におけるマーカのＺ軸方向すなわち画像に対して垂直な方向（奥行き方向）の位置を算出する方法を説明する図である。座標ＸＬは、マーカ画像位置算出部３３が算出した左画像Ｇ１におけるマーカ画像Ｍ１の重心位置のうち横軸方向の座標であり、左画像Ｇ１の左端を原点としている。座標ＸＲは、マーカ画像位置算出部３３が算出した右画像Ｇ２におけるマーカ画像Ｍ２の重心位置のうち横軸方向の座標であり、右画像Ｇ２の左端を原点としている。画像に対して垂直な方向（Ｚ軸）は、立体映像表示装置４００にて表示している立体映像を見ているユーザの視点を原点としており、マーカ立体位置算出部３４は、画像に対して垂直な方向の座標Ｚを（４）式にて算出する。
Ｚ＝１／（ＸＬ−ＸＲ） ・・・・（４）
また、マーカ立体位置算出部３４は、マーカ画像位置算出部３３が算出した左画像および右画像におけるマーカ画像の重心位置の平均をとることで、立体映像の表示空間におけるマーカのＸ軸方向すなわち画像の横方向の座標およびＹ軸方向すなわち画像の縦方向の座標を算出する。

例えば、マーカ画像位置算出部３３が算出した左画像におけるマーカ画像の重心位置のＸ座標ＸＬ＝８０、Ｙ座標ＹＬ＝４２であり、右画像におけるマーカ画像の重心位置のＸ座標ＸＲ＝５０、Ｙ座標ＹＲ＝４０であるときは、マーカ立体位置算出部３４は、立体映像の表示空間におけるＸ座標を（５）式、Ｙ座標を（６）式、Ｚ座標を（７）式で算出し、（Ｘ，Ｙ，Ｚ）＝（６５，４１，０．０３３）となる。
Ｘ＝（ＸＬ＋ＸＲ）／２＝（８０＋５０）／２＝６５ ・・・（５）
Ｙ＝（ＹＬ＋ＹＲ）／２＝（４２＋４０）／２＝４１ ・・・（６）
Ｚ＝１／（ＸＬ−ＸＲ）＝１／（８０−５０）＝０．０３３ ・・・（７）
ここで、Ｚ座標の値が、Ｘ座標、Ｙ座標の値に比べて非常に小さな値となっているが、これは、（４）式により求められるＺ座標の値が、Ｘ座標、Ｙ座標とは異なる縮尺となっているためであり、所定の定数ＣをＺ座標に乗じることで、これを調整する。また、Ｚ軸方向の位置を強調するように、所定の定数Ｃの大きさを調整してもよい。

これにより、本実施形態の立体映像合成装置３００は、実写の立体映像と同期した形状データを出力し、実写映像を立体映像表示装置４００で表示した際に、誰もが直感的に要求する触感への要望に対して、形状データを受けた力覚・触覚提示装置５００によってそれを実現することができる。従来の実写の立体映像は単に立体物として見るのみであったが、触感が加わることによってより確実な立体物の把握が可能であるとともに新たなメディア、インターフェースの可能性が広がる。
また、本実施形態の立体映像合成装置３００は、特定の被写体としてマーカを用いることで、その場に実際に無い物体であっても立体映像および形状を視覚・力覚・触覚として提示することができるため、遠隔作業やアミューズメントなどの分野で特に効果的な利用が可能である。

なお、立体映像合成装置３００の記憶部は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
また、この立体映像合成装置３００には、周辺機器として入力装置、表示装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置等のことをいう。

また、本実施形態では、特定の被写体を所定の色をしたマーカとし、マーカ画像位置算出部３３にておいて、該色を検出することで左画像および右画像におけるその位置を算出しているが、特定の被写体として任意の形状／色をした被写体が使用できるように、マーカ画像位置算出部３３にておいて、クロマキー処理あるいは背景差分処理により、特定の被写体を抽出して、その位置を算出してもよい。
クロマキー処理では、被写体を撮影する際に背景を特定の色のみとなるようにしておく。このようにして左映像撮影装置１００と右映像撮影装置２００とにて撮影した映像を立体映像合成装置３００に入力する。マーカ画像位置算出部３３においては、撮影する際に背景とした該特定の色を予め記憶しておき、左画像および右画像において該特定の色と色が一致しない画素を特定の被写体として抽出する。
一方、背景差分処理では、予め背景のみを左映像撮影装置１００と右映像撮影装置２００とにて撮影して取り込んだ左目用と右目用の背景画像をマーカ画像位置算出部３３にて記憶しておき、左画像は左目用の背景画像と、右画像は右目用の背景画像と比較し、色が一致しない画素を特定の被写体として抽出する。

また、本実施形態において、マーカは一つであるとして説明したが、複数の色の異なるマーカを撮影し、マーカ画像位置算出部３３では、各マーカの色に対応した各々の上限値および下限値を用意しておくことで、各マーカの位置を算出し、形状配置部３５では、各マーカの形状データ３６を用意しておくことで、各マーカの形状データ３６を立体映像の表示空間に配置し、画像配置部３８では、各マーカの画像データ３９を用意しておくことで、各マーカの画像データ３９を左画像および右画像に配置してもよい。

また、本発明の別の実施形態として、立体映像合成装置３００は画像配置部３８および画像データ３９を備えず、立体映像合成部４０は、左映像データ入力部３１および右映像データ入力部３２が出力した左画像および右画像を合成して、立体映像データを生成してもよい。

また、図３における左映像データ入力部３１、右映像データ入力部３２、マーカ画像位置算出部３３、マーカ立体位置算出部３４、形状配置部３５、形状出力部３７、画像配置部３８、立体映像合成部４０、立体映像出力部４１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより左映像データ入力部３１、右映像データ入力部３２、マーカ画像位置算出部３３、マーカ立体位置算出部３４、形状配置部３５、形状出力部３７、画像配置部３８、立体映像合成部４０、立体映像出力部４１の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の立体映像合成装置は、遠隔作業やアミューズメントなどに用いて好適であるが、これに限られるものではない。

この発明の一実施形態の概略を示すブロック図である。 同実施形態における立体映像合成装置３００を用いたシステムの構成を示す概略ブロック図である。 同実施形態における立体映像合成装置３００の構成を示す概略ブロック図である。 同実施形態におけるマーカ画像位置算出部３３の動作を説明するフローチャートである。 同実施形態におけるマーカ立体位置算出部３４によるマーカのＺ座標算出を説明する図である。

符号の説明

１００…左映像撮影装置
２００…右映像撮影装置
３００…立体映像合成装置
４００…立体映像表示装置
５００…力覚・触覚提示装置
３１…左映像データ入力部
３２…右映像データ入力部
３３…マーカ画像位置算出部
３４…マーカ立体位置算出部
３５…形状配置部
３６…形状データ
３７…形状出力部
３８…画像配置部
３９…画像データ
４０…立体映像合成部
４１…立体映像出力部

Claims (6)

1. 左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置において、
   前記左画像および前記右画像各々における特定の被写体の位置を算出する画像位置算出部と、
   前記画像位置算出部が算出した前記左画像および前記右画像各々における位置に基づき、自装置が合成する立体映像の表示空間における前記特定の被写体の位置を算出する立体位置算出部と、
   前記立体位置算出部が算出した表示空間における位置に、力覚、触覚を提示するためのデータであって、所定の形状データを配置する形状配置部と、
   前記形状配置部が配置した形状データを、力覚・触覚提示装置に出力する形状出力部と
   を備えることを特徴とする立体映像合成装置。
2. 前記立体位置算出部は、前記画像位置算出部が算出した前記左画像における被写体の位置と前記右画像における被写体の位置との横軸方向の差を算出し、さらに前記算出した差の逆数を算出することで、前記画像に対する垂直方向の位置を求めることを特徴とする請求項１に記載の立体映像合成装置。
3. 前記画像位置算出部は、前記左画像および前記右画像各々について、色値が所定の範囲にある画素を抽出し、前記抽出した画素の中で接しているもの同士を集めた画素グループのうちで前記左画像および前記右画像各々で最も画素数の多い画素グループを選び、該選んだ画素グループの中心位置を算出することで、前記左画像および前記右画像各々における前記被写体の位置を算出すること
   を特徴とする請求項１または請求項２に記載の立体映像合成装置。
4. 自装置が立体映像を合成する前の前記左画像および前記右画像各々について、前記画像位置算出部が算出した前記左画像および前記右画像各々の位置に所定の画像データを挿入する画像配置部
   を備えることを特徴とする請求項１から請求項３のいずれかの項に記載の立体映像合成装置。
5. 左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置における形状データ生成方法において、
   前記立体映像合成装置が、前記左画像および前記右画像各々における特定の被写体の位置を算出する第１の過程と、
   前記立体映像合成装置が、前記第１の過程にて算出した前記左画像および前記右画像各々における前記被写体の位置に基づき、自装置が合成する立体映像の表示空間における前記被写体の位置を算出する第２の過程と、
   前記立体映像合成装置が、前記第２の過程にて算出した表示空間における位置に、力覚、触覚を提示するためのデータであって、所定の形状データを配置する第３の過程と、
   前記立体映像合成装置が、前記第３の過程にて配置した形状データを、力覚・触覚提示装置に出力する第４の過程と
   を備えることを特徴とする形状データ生成方法。
6. コンピュータを、入力された左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置として機能させるためのプログラムにおいて、
   前記左画像および前記右画像各々における特定の被写体の位置を算出する画像位置算出部、
   前記画像位置算出部が算出した前記左画像および前記右画像各々における位置に基づき、自装置が合成する立体映像の表示空間における前記特定の被写体の位置を算出する立体位置算出部、
   前記立体位置算出部が算出した表示空間における位置に、力覚、触覚を提示するためのデータであって、所定の形状データを配置する形状配置部、
   前記形状配置部が配置した形状データを力覚・触覚提示装置に出力する形状出力部としても機能させるプログラム。

Images