JP4368748B2 - コンテンツの編集方法、文書ファイル構造、情報処理装置およびシステム並びにプログラム - Google Patents

Description

本発明は、３次元形状情報を有するオブジェクトを画像入力装置で撮影した際に３次元形状情報と撮影したディジタル画像情報（動画若しくは静止画、又はこれらの双方を含む）とのリンク付けを行なうマルチメディア情報等のコンテンツの編集を行なう方法、プログラム、あるいは、画像情報および編集プログラムを一体化した文書ファイル構造（以下、カプセル化文書構造ともいう）、並びにこれらを扱う情報処理装置およびシステムに関する。

近年のコンピュータの発展により、動画情報や３次元形状情報などのマルチメディア情報を利用したコンテンツ（情報サービスされるディジタル情報類）が多くなってきた。この中で、３次元形状情報に動画情報（静止画でも可）のリンク付けを行ない、ユーザのマウス操作に応じて３次元形状情報についての視点の変更やリンク付けした動画情報の再生を実行するメディアミックス型のコンテンツが普及し始めている。

３次元形状情報と動画情報とをメディアミックスさせることで、ユーザは３次元的な位置と関連付けた動画情報の再生選択が可能になる。また、動画情報の再生選択に３次元形状データ表示特有のインタラクティブ性も活用することができる。

代表的なコンテンツの例としては、Web上の商品広告や工場で使用する作業手順書などが挙げられる。

商品広告などでは、商品の外観情報（３次元形状情報）と動作機能情報（動画情報）とを関連付けて表示したいというニーズがあり、例えば特定位置のボタンを押すと動作機能を実行することを表現したい場合に、ボタンの位置を外観情報として３次元Viewer（ビューワー）で表示させ、ユーザが３次元Viewer上のボタン位置をマウス等でクリックすることにより、動作機能を表現する動画情報を再生させることができる。このように、製品の外観情報と動作機能情報を関連付けることによって、ユーザが直感的に商品の利用方法を理解できるコンテンツを作成することができる。

工場で使用する作業手順書なども、作業機械の或る特定部位が故障したときの対処方法を迅速に調べたいというニーズがあるため、故障時の特定部位の表示を３次元Viewerで行ない、特定部位をユーザがマウス等でクリックした際に、対処方法が表現された動画情報の再生や特定部位の拡大静止画像の表示等ができるコンテンツが希求されている。

従来のこの種のコンテンツの編集方法や装置としては、例えば特許文献１（特開2003-115057号公報）に記載のように、撮影時の地理上の位置及び姿勢検出可能な画像入力装置で撮影されたテクスチャ画像情報を地理上の位置情報を保有する３次元形状データへ自動的に貼り付けるテクスチャ編集システムがあり、このシステムでは、地理上の位置及び姿勢情報を使用して３次元形状データと撮影したテクスチャ画像情報との対応付けを行ない、撮影画像情報から自動的に３次元形状データに貼り付けて最適なテクスチャ画像を生成するようになっている（当該公報の段落[0013]〜[0023]、[0101]〜[0118]等参照）。

また、特許文献２（特開2002-247585号公報）には、送信する動画情報から背景画像と主画像を切り分け、主画像と画像入力装置の位置及び姿勢情報だけを送信することによって、動画情報の通信量を低減させる方法等が記載されており、このものでは、受信側において、予め用意された背景画像と位置及び姿勢情報を使用し、画像入力装置が移動した際に変化する背景画像を生成するようになっている（当該公報の段落[0004]〜[0006]、[0010]〜[0011]、[0027]〜[0038]、[0041]〜[0048]等参照）。

特許文献３（特開平10-49706号公報）には、動画情報内の特定オブジェクトを３次元モデルから生成した画像データ形式に変換して３次元モデルにリンク情報を付けることで、動画情報のフレームごとに直接的にリンク情報を付けるよりもリンク情報を大幅に削減するようにしたものが記載されている（当該公報の段落[0010]〜[0014]、[0040]〜[0046]
、[0069]〜[0075]等参照）。

特許文献４（特開2003-015941号公報）には、デジタル情報ファイルと構造ファイルと
動作プログラムファイルとを単一文書に一体化（カプセル化）した文書ファイルを作成することによって、デジタル情報ファイルの表示および編集処理をコンピュータ環境に依存することなく可能にしたものが記載されている（当該公報の段落[0033]〜[0037]、[0146]〜[0156]、[0165]〜[0173]等参照）。

なお、近時、撮影した際の姿勢情報を検出できる画像入力装置が普及し始めている。デジタルカメラやビデオカメラなどには、磁気方位センサ、加速度センサ、ジャイロセンサ、ＧＰＳ（Global Positioning System）等を取り付ける拡張を可能にしたものが販売されている。また、近年では、携帯電話にも画像入力機能とＧＰＳや磁気方位センサなどによる位置及び姿勢検出機能が追加されるようになっており、一般ユーザにとっても撮影した際の位置や姿勢情報を検出できる画像入力装置が簡易に利用できる環境が整ってきた。姿勢検出可能な画像入力装置を用いた従来例としては、特許文献５（特開平11-037736号公報)に記載のものなどが挙げられる。これら画像入力装置の普及に伴い、Eｘif（Exchangeable Image File Format）などの静止画情報形式や、Mpeg-7(エムペグセブン; Multi Content Description Interface)などの動画情報形式には、ヘッダ情報部分に撮影した際の位置や姿勢情報を付加する情報領域が確保されるようになってきた。これより、撮影した際の位置や姿勢情報などが付加された動画・静止画情報が普及してきている。
特開2003-115057号公報 特開2002-247585号公報 特開平10-49706号公報 特開2003-015941号公報 特開平11-037736号公報

上述のような従来のコンテンツ編集方法又は装置等にあっては、メディアミックスされたコンテンツを作成するために、コンテンツ作成者が３次元Viewer上に表示されるＧＵＩ（グラフィカルユーザインタフェース）などを使用して手動作業により３次元形状情報と動画情報とのリンク付けを行なっている。

しかし、多機能な商品広告のコンテンツなどを作成する場合には、動作機能を表現する動画情報の数が多くなるため、複数の動画情報と３次元形状情報とのリンク付け編集作業が煩雑になることが問題点として挙げられていた。

このように多大なリンク付け編集作業が発生するために、現状では一部のユーザだけにしか３次元形状情報と動画情報とのリンク付け編集作業が行われていない。

したがって、一般的なユーザがメディアミックスされたマルチメディア情報を作成・編集・利用できるようにするためには、上記のような作業の煩雑さを除去していく必要がある。

そこで、本発明は、複数の動画情報と３次元形状情報とのリンク付け編集作業を容易にし、作業の煩雑さを除去することで、一般ユーザでも簡易にメディアミックスされたコンテンツを作成・編集・利用できる方法、文書構造、記録媒体、装置、システムを提供するものである。

上記の課題を解決すべく、（１）本発明のコンテンツ編集方法は、３次元形状情報と画像入力装置の撮影時の位置及び姿勢情報が付加された複数の撮影画像情報とをリンク付けするコンテンツ編集方法であって、前記複数の撮影画像情報のうち少なくとも一つ以上の基準となる第１の撮影画像情報と前記３次元形状情報とをリンク付けする基準リンク付けステップと、前記第１の撮影画像情報に付加された位置及び姿勢情報を前記画像入力装置の基準の位置及び姿勢の情報として、前記複数の撮影画像情報のうち前記第１の撮影画像情報を除く第２の撮影画像情報に付加された位置及び姿勢情報に基づき、該第２の撮影画像情報の撮影時における前記画像入力装置の前記基準の位置及び姿勢に対する相対的な位置及び姿勢の情報を相対位置情報として算出する相対位置算出ステップと、前記相対位置算出ステップで算出された前記相対位置情報を使用して、前記３次元形状情報と前記第２の撮影画像情報とをリンク付けする相対リンク付けステップと、を含み、前記基準リンク付けステップと前記相対リンク付けステップとで、前記３次元形状情報で表されるオブジェクトのうち所定の稼動態様で稼動する稼動部の位置情報を基に前記複数の撮影画像情報のリンク付けの位置を特定し、前記３次元形状情報と前記複数の撮影画像情報とのリンク付けを実行するものである。

この構成により、動画や静止画等の撮影画像情報に付加された撮影時の入力装置の位置及び姿勢情報を利用することで、３次元形状情報と動画・静止画等の撮影画像情報とのリンク付け編集作業が容易化される。しかも、３次元形状情報に付加された稼動部の位置情報を利用することで、（撮影されることの多い稼動部へのリンク付けを容易化するとともに）３次元形状情報と撮影画像情報とのリンク位置の精度を向上させることが可能となる。

（２）前記相対リンク付けステップは、前記３次元形状情報と前記第２の撮影画像情報とのリンク付け処理後に、前記３次元形状中のリンク付けした位置を表示するリンク位置表示ステップを有するのが好ましい。

この構成により、３次元形状情報に係る３次元形状に対する撮影画像情報のリンク付け位置が表示されることになり、リンク位置設定の確認作業が容易に実行可能となる。

（３）前記相対リンク付けステップにおいては、前記相対姿勢算出ステップ又は前記相対位置算出ステップで算出した姿勢又は位置情報を基に動画情報のリンク付けのための２次元形状情報を前記３次元形状情報に対する視線方向を特定することで抽出して表示し、動画情報のリンク位置を指定する入力情報を取り込むことが望ましい。

この構成により、撮影画像情報に付加された姿勢又は位置情報を使用して、ユーザがリンク付けしやすいように３次元形状情報から２次元形状情報を抽出して表示することで、ユーザが簡易にリンク付け可能なコンテンツ編集方法となる。ここで、例えば、任意の視線方向で作成される２次元形状情報を順々に表示すると、リンク付け設定作業時の表示内容をよりユーザの好みに合わせることが可能となる。

（４）また、前記基準リンク付けステップと前記相対リンク付けステップにおいて、前記３次元形状情報と動画情報とのリンク付けを実行する際に、動画情報の再生処理と共に前記３次元形状情報の一部を構成する稼動部の稼動態様を表示させるのが好ましい。

この構成により、動画情報の再生と３次元形状情報に係る物品の稼動部の稼動態様とが共に表示され、動画情報表示と稼動部の稼動態様表示とが関連したものとなることから、理解し易いコンテンツが簡易に作成可能となる。

（５）一方、本発明の文書ファイル構造は、上述した課題を解決すべく、３次元形状情報と画像入力装置の撮影時の位置及び姿勢情報が付加された複数の撮影画像情報と、前記複数の撮影画像情報のうち少なくとも一つ以上の基準となる第１の撮影画像情報と前記３次元形状情報とをリンク付けする基準リンク位置情報と、前記第１の撮影画像情報に付加された位置及び姿勢情報を前記画像入力装置の基準の位置及び姿勢の情報として、前記複数の撮影画像情報のうち前記第１の撮影画像情報を除く第２の撮影画像情報に付加された位置及び姿勢情報に基づき、該第２の撮影画像情報の撮影時における前記画像入力装置の前記基準の位置及び姿勢に対する相対的な位置及び姿勢の情報を相対位置情報として算出する相対位置算出プログラムと、前記基準リンク位置および前記相対位置算出プログラムで算出された相対位置情報を基に、前記３次元形状情報と前記第２の撮影画像情報とをリンク付けする相対リンク付けプログラムと、を単一文書に一体化してなり、前記相対位置算出プログラムと前記相対リンク付けプログラムとが、前記３次元形状情報で表されるオブジェクトのうち所定の稼動態様で稼動する稼動部の位置情報を基に前記複数の撮影画像情報のリンク付けの位置を特定し、前記３次元形状情報と前記複数の撮影画像情報とのリンク付けを実行することを特徴とする。

この構成により、基準となる第１の撮影画情報のリンク位置情報と、位置情報が付加された第２の撮影画像情報と、相対位置算出プログラムと、相対リンク付けプログラムとを単一文書に一体化でき、リンク位置情報の情報量を削減可能な文書ファイル構造となる。

（６）上記文書ファイル構造は、前記３次元形状情報を表示する３次元形状表示プログラムと、前記画像情報を表示する画像表示プログラムとを更に含むのが好ましい。

この構成により、文書ファイル構造に含まれる表示プログラムを使って、コンテンツ情報を閲覧するコンピュータ環境に依存せずに、３次元情報や撮影画像静止画情報を閲覧することが可能となる。

（７）本発明のコンテンツ編集プログラムは、上記のいずれかのコンテンツ編集方法の各ステップを実行する機能をコンピュータによって実現させるものである。

このコンテンツ編集プログラムにより、動画や静止画等の撮影画像情報に付加された撮影時の入力装置の位置情報や姿勢情報を利用し、３次元形状情報と撮影画像情報とのリンク付け編集作業をコンピュータ処理により容易に実現できる。

（８）本発明の記録媒体は、上記文書ファイル構造を持つ電子文書情報を記録したものである。

この記録媒体を用いることで、基準となる第１の撮影画情報のリンク位置情報と、位置情報及び姿勢情報が付加された第２の撮影画像情報と、相対位置及び相対姿勢算出プログラムと、相対リンク付けプログラムとを、単一文書に一体化でき、リンク位置情報の情報量を削減可能な文書ファイル構造が容易に得られる。

（９）本発明の情報処理装置は、上記のコンテンツ編集プログラムを実行するものであり、あるいは、（１０）本発明の情報処理装置は、上記のいずれかの文書ファイル構造を持つ電子文書の動作処理を実行するものである。

この情報処理装置を用いることで、基準となる第１の撮影画情報のリンク位置情報と、位置情報及び姿勢情報が付加された第２の撮影画像情報と、相対位置及び相対姿勢算出プログラムと、相対リンク付けプログラムとを、実行でき、３次元形状情報と撮影画像情報とのリンク付け編集作業を容易に実行可能となる。

本発明によれば、撮影時の入力装置の姿勢に関して、第１の撮影画像情報に付加された位置及び姿勢情報を基準として第２の撮影画像情報についての位置及び相対姿勢情報を作成し、３次元形状情報と動画・静止画等の撮影画像情報との相対リンク付けを行なうようにしているので、リンク付け編集作業を容易に実行することができ、メディアミックスされたコンテンツ情報を簡易に作成することができる。しかも、３次元形状情報に付加された稼動部の位置情報を利用して３次元形状情報と撮影画像情報とのリンク位置の精度を向上させることができる。

以下、本発明の好ましい実施の形態について図面を参照しながら説明する。

（第１の実施の形態）
図１〜１６は本発明の第１の実施の形態を示す図であり、図１は本発明の第１の実施形態に係る情報処理システムを示している。

この情報処理システムは、本発明のコンテンツ編集方法を所定のコンテンツ編集プログラムを用いて実行するものである。

図１に示すように、本実施の形態に係る情報処理システムは、画像入力装置１０、コンテンツ編集処理装置２０、次元形状情報作成装置３０、カプセル化文書作成装置４０、操作入力装置５０および表示装置６０を含んで構成されている。

画像入力装置１０は、撮像部１１、位置・姿勢検出部１３、Ａ／Ｄ変換器１４および画像情報生成・出力部１５を有しており、撮像部１１は被写体を撮影入力するデジタルカメラやビデオカメラ等で構成されている。画像変換部１２は、位置・姿勢検出部１３により検出された位置・姿勢情報に基づき、撮像部１１からの撮影画像データの視線（光軸方向）軸回りの回転の影響等を除去するための画像変換を行なう。すなわち、画像変換部１２は、３次元物体を撮影する際の視線の水平方位および垂直方位を特定したとき、視線軸回りの回転姿勢が常時所定の回転位置に固定された画像となるよう画像変換処理を施すようになっており、その変換処理後の動画・静止画等の撮影画像情報は画像情報生成・出力部１５に取り込まれる。

位置・姿勢検出部１３は、画像入力装置１０全体、あるいはその撮像部１１の位置および姿勢情報を検出するよう、例えば撮像部１１に付設された三軸加速度センサ１３ａおよび三軸磁気センサ１３ｂで構成されており、これら三軸加速度センサ１３ａおよび三軸磁気センサ１３ｂの検出信号はそれぞれＡ／Ｄ変換器１４でアナログ信号からディジタル信号に変換されて、画像情報生成・出力部１５に取り込まれる。なお、三軸加速度センサ１３ａの検出情報は撮像部１１の移動とその移動距離を推定するのに利用でき、三軸磁気センサ１３ｂの検出情報は撮像部１１の絶対方位を取得するのに利用できる。位置・姿勢検出部１３は、三軸磁気センサの代わりに角速度センサを用いる構成や、磁気センサと角速度センサを併用する構成などであってもよい。

また、画像情報生成・出力部１５は、撮像部１１により撮影された画像情報と位置・姿勢検出部１３により検出された位置・姿勢情報を基に、例えばEｘif（Exchangeable Image File Format）などの静止画情報形式や、Mpeg-7(エムペグセブン; Multi Content Description Interface)などの動画情報形式と同様に、動画・静止画情報のヘッダ情報部分に、撮影した際の位置や姿勢情報を書き込む情報領域を設けて、そこに位置・姿勢検出部１３からの位置・姿勢情報を付加した撮影画像情報を生成するようになっている。

画像情報生成・出力部１５は、また、例えば半導体メモリ、ハードディスクドライブ（ＨＤＤ）、メモリディスク、書き換え型のＤＶＤドライブ又は磁気テープドライブ等からなる情報記憶部を内蔵しており、画像変換部１２により変換された画像情報や、Ａ／Ｄ変換された位置・姿勢検出部１３側からの位置・姿勢情報といった取り込み情報を、この情報記憶部に所定のデータ形式で記憶するようになっている。なお、画像情報生成・出力部１５は、撮像部１１により撮影された画像情報と位置・姿勢検出部１３により検出された位置・姿勢情報を転送する転送部と、この転送部からの転送情報を記憶する転送部とは別体の出力情報記憶部とで構成することもできる。その場合、転送部から出力情報記憶部への情報の転送方式は、有線方式（例えばＵＳＢ、ＳＣＳＩ、ＳＡＴＡ、ＩＥＥＥ１３９４等）でも、無線方式（例えば無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈ等）でも、メモリディスク等の固体記憶媒体（例えばスマートメディア、メモリスティック、フラッシュメモリ等）を介したものでもよい。

コンテンツ編集処理装置２０は、編集用情報記憶部２１と、コンテンツ編集処理部２２とを有している。

編集用情報記憶部２１は、画像入力装置１０からの位置・姿勢情報付きの撮影画像情報と、３次元形状情報作成装置３０からの特定の３次元物体についての３次元形状データとを、それぞれ入力して蓄積・記憶することができる。この編集用情報記憶部２１は、コンテンツ編集処理部２２と一体化された、あるいは独立したデータベース装置であり、３Ｄグラフィクス装置やＣＡＤ等の３次元形状データ作成装置３０からの３次元形状情報を有線方式又は無線方式で取り込むようになっている。

コンテンツ編集処理部２２は、ＣＰＵ、ＲＯＭ、ＲＡＭおよび入出力インターフェースを含むコンピュータ構成のもので、所定の制御プログラムに従い、操作入力装置５０からの操作入力および編集用情報記憶部２１に記憶された情報データに基づいて、所定のコンテンツ編集作業を実行し、その処理結果を表示装置６０に表示することができる。

このコンテンツ編集処理部２２は、３次元形状・撮影画像情報準備部２３、基準リンク位置取得部２４、相対位置・姿勢情報算出部２５および相対リンク付け処理部２６を含んで構成されており、３次元形状・撮影画像情報準備部２３は、所定の３次元物体に関する３次元形状情報に、画像入力装置１０の撮影時の位置・姿勢情報が付加された複数の撮影画像情報（複数の動画・静止画情報）をリンク付けするためのデータ準備の処理を実行する。すなわち、３次元形状・撮影画像情報準備部２３は、編集対象となる情報データを編集用情報記憶部２１から抽出し、コンテンツ編集作業用の情報データとするデータ準備処理を実行する。

基準リンク位置取得部２４は、３次元形状・撮影画像情報準備部２３で準備された複数の撮影画像情報のうち、少なくとも一つ以上の基準となる第１の撮影画像情報と、３次元形状・撮影画像情報準備部２３で準備された前記所定の３次元物体の３次元形状情報とをリンク付けする基準リンク付け処理を実行することができる（詳細は後述する）。

相対位置・姿勢情報算出部２５は、前記第１の撮影画像情報に付加された姿勢情報を画像入力装置１０の基準姿勢の情報として、前記複数の撮影画像情報のうち第１の撮影画像情報を除く第２の撮影画像情報に付加された姿勢情報に基づいて、この第２の撮影画像情報の撮影時における画像入力装置１０の基準姿勢に対する相対的な姿勢の情報を相対姿勢情報として算出する相対姿勢算出処理を実行するようになっている。

また、相対リンク付け処理部２６は、前記相対姿勢算出処理で算出された相対姿勢情報を使用して、前記３次元形状情報と第２の撮影画像情報とをリンク付けする相対リンク付け処理を実行するようになっている。なお、前記データ準備処理、基準リンク付け処理、相対姿勢算出処理および相対リンク付け処理の詳細については後述する。

コンテンツ編集処理装置２０は、また、カプセル化文書情報入力部２７を有しており、コンテンツ編集処理部２２にはカプセル化文書情報入力部２７からカプセル化文書構造の文書ファイル（以下、カプセル化文書ファイル）の情報を取り込んでその文書中に含まれたデータの抽出やプログラムのセットアップ等を実行するカプセル化文書処理部２８が設けられている。これにより、コンテンツ編集処理装置２０は、カプセル化文書作成装置４０からのカプセル化文書構造の文書ファイルを基に、コンテンツ編集作業を実行することができるようになっている。

カプセル化文書構造の文書ファイルは、本実施の形態においては、便宜上各構成要素にアルファベットの符号を付して説明すると、３次元形状情報と画像入力装置１０又は他の画像入力装置で撮影され、その撮影時の姿勢情報が付加された複数の撮影画像情報ａと、前記複数の撮影画像情報のうち少なくとも一つ以上の基準となる第１の撮影画像情報および前記３次元形状情報をリンク付けする基準リンク位置情報ｂと、前記第１の撮影画像情報に付加された姿勢情報を画像入力装置１０又は他の画像入力装置の基準姿勢の情報として、前記複数の撮影画像情報のうち第１の撮影画像情報を除く第２の撮影画像情報に付加された姿勢情報に基づき、その第２の撮影画像情報の撮影時における前記画像入力装置の基準姿勢に対する相対的な姿勢の情報を相対姿勢情報として算出する相対姿勢算出プログラムｃと、前記基準リンク位置および相対姿勢情報を基に、前記３次元形状情報と第２の撮影画像情報とをリンク付けする相対リンク付けプログラムｄと、を単一文書に一体化したものである。

図２に本実施の形態におけるカプセル化文書ファイルを作成するカプセル化文書作成装置４０の代表的なハードウェア構成図を示す。

カプセル化文書作成装置４０は、カプセル化文書ファイルの動作プログラムファイルを読み込んで各種の制御および処理を行なうＣＰＵ(Central Processing Unit)３１と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ４２と、ＨＤＤ(Hard Disk Drive)４３と、マウス等のポインティングデバイス、キーボード、ボタン等の各種入力インターフェース（以下Ｉ／Ｆと略す）４４と、表示Ｉ／Ｆ４６を介して接続されるＣＲＴ (Cathode Ray Tube)等のディスプレイ４５と、ＣＤ−ＲＷ (Compact Disk Re-Writable )ドライブ等の記録装置４７と、プリンタ等の外部機器やインターネット等の電気通信回線と有線又は無線接続するための外部Ｉ／Ｆ４８とを、バスを介して接続することによって構成されている。

ＲＡＭ４２は、ＣＰＵ４１の作業領域として利用されるとともに、その処理を実行するための複数の動作プログラムや、その他制御プログラムなどの固定情報の記録領域として利用される。前記動作プログラムは、例えば記録装置４７を介してＲＡＭ４２にロードされ、若しくはＨＤＤ４３に一旦保存された後に必要なときにＲＡＭ４２にロードされ、又は外部Ｉ／Ｆ４８に接続された電気通信回線を介してＲＡＭ４２にロードされる。

カプセル化文書作成装置４０は、記憶装置４７に装填された記録媒体やＨＤＤ４３に保存されたカプセル化文書構造情報（コンテンツファイル・動作プログラムファイル・基準リンク位置ファイルの一体化（カプセル化））を複製するプログラムを実行させることで、簡単に実現できる。

図３は本実施の形態におけるカプセル化文書ファイルのファイル構造の一例を示すものであり、この図に示すカプセル化文書ファイル１００は、基準リンク位置ファイル１１０と、コンテンツファイル１２０と、動作プログラムファイル１３０とから構成されている。

基準リンク位置ファイル１１０には、基準となる動画・静止画情報（撮影画像情報、図示していない）と、３次元形状情報をリンク付けした際の基準リンク位置情報１１１が保存されている。基準リンク位置情報１１１の一例としては、図２中に示すように３次元形状情報上の座標点（Ｘ＝73，Ｙ＝52，Ｚ＝23）を指定するものや、一部の座標領域（Ｘ＝60〜80，Ｙ＝40〜70，Ｚ＝20〜30）を指定するものなどが挙げられる。必要に応じて、角度情報（θ＝20°〜50°，φ＝20°〜40°，ψ＝70°〜90°）などを追加してもよい。この基準リンク位置情報１１１は、カプセル化文書ファイルを使用する前に設定しておく。

基準リンク位置情報１１１の設定方法としては、カプセル化文書ファイルの文書作成者が手動でリンク位置の設定を行なってもよいし、特定ルールを指示することで自動的に設定されるようにしてもよい。基準リンク位置情報１１１の設定方法の詳細に関しては後述する。

ここで取り扱うコンテンツファイル１２０は、３次元形状情報１２１と、複数の撮影画像情報のうち基準となる動画・静止画情報（第１の撮影画像情報）１２２と、複数の撮影画像情報のうち基準となる動画・静止画情報を除いたその他複数の動画・静止画情報（第２の撮影画像情報）１２３、１２４、１２５等から構成されている。勿論、動画・静止画情報の他に音声情報やテキスト情報などを必要に応じて追加したものであってもよい。

ここで、基準となる動画・静止画情報およびその他複数の動画・静止画情報は、３次元形状情報を有する３次元物体（オブジェクト）を画像入力装置１０等で撮影した際に取得される動画・静止画情報である。

動作プログラムファイル１３０は、それぞれ相対位置・姿勢情報算出部２５および相対リンク付け処理部２６での処理プログラムとなる、相対姿勢算出プログラム１３１および相対リンク付けプログラム１３２を含んで構成されている。この動作プログラムファイル１３０の動作プログラムとしては、必要に応じて３次元形状情報表示プログラムや動画・静止画情報表示プログラムなどを表示装置６０で表示するための処理を実行するコンテンツ表示プログラム１３３等を追加してもよい。このように、コンテンツファイルを表示する表示プログラムを単一文書に一体化（カプセル化）することによって、カプセル化文書ファイルの利用者はコンピュータ環境に依存せずコンテンツファイルを閲覧できるようになる。

図４は、動画・静止画情報の撮影シーンの一例を示す。

この図は、撮影対象のオブジェクトとして複写機を使用した例である。通常、商品広告や作業手順書などを作成する際には、画像入力装置１０を使用してオブジェクトの稼動部分を撮影する。複写機の例では、用紙トレイ部分、コンタクトガラス部分・複写開始ボタンなどが撮影されることが多い。

図４では、撮影対象となるオブジェクト１を中心に置き、様々な視点から画像入力装置１０を使用して撮影した場合を例示している。ここで撮影に使用する画像入力装置１０には、磁気センサと加速度センサからなる位置・姿勢検出部１３が付いており、撮影した際の画像入力装置１０の姿勢情報が検出可能である。画像入力装置１０の姿勢情報の検出は、ワールド座標系（ＸＹＺ座標）の向きと撮影した際の画像入力装置１０に固有な装置座標系（ｘｙｚ座標）の向きを比較することによって画像入力装置の姿勢情報を検出する。

まず、図５（ａ）を用いて、装置座標系とワールド座標系を以下のように定義する。
装置座標系：ｘｙｚ座標系
ｘ軸：画像面右向きを正
ｙ軸：画像面下向きを正
ｚ軸：光軸方向；対象に向かう向きを正
原点ｏ：画像入力装置１０の光学中心
f：カメラの焦点距離
次に、図５（ｂ）を用い、ＸＹＺ座標系であるワールド座標系について、Ｙ軸は重力加速度ｇの向きを正、Ｚ軸は磁気ｍの向きを正、Ｘ軸はＸＹＺの順に右手直交系をなす向きと設定する。

計算を簡略化するため、画像入力装置１０の移動により生じる運動加速度は無視でき、重力加速度と磁場は直交し、かつ磁場は地磁気以外に存在しないと仮定した例を示す。なお、厳密には地磁気の伏角が存在し、地磁気と重力加速度とは直交しないが、伏角が既知ならば地磁気の向きと重力加速度が直交する場合と同様に計算できる。また、三軸磁気センサで地磁気を検出すれば伏角が未知でも姿勢情報を計算可能である。すなわち、Ｘ軸を東向き、Ｚ軸を北向き正にとる。

ワールド座標系に対する装置座標系の向きを、ワールド座標系を基準とした以下の回転行列Ｒで記述し、

とする。但し、α、β、γは、それぞれワールド座標系を基準とした、Ｘ軸、Ｙ軸、Ｚ軸回りの回転角であり、この時画像入力装置１０を、以下の順に回転させたことに相当する。

ＸＹＺ座標系とｘｙｚ座標系が一致している状態から、
(1) 画像入力装置１０を、Ｚ軸回りにγだけ回転する。
(2) 画像入力装置１０を、Ｘ軸回りにαだけ回転する。
(3) 画像入力装置１０を、Ｙ軸回りにβだけ回転する。

今、重力加速度ベクトルと地磁気ベクトルが、ワールド座標系においてそれぞれ（２）式で表され、

また、三軸加速度センサ、三軸磁気センサにより検出された、装置座標系を基準とした加速度ベクトル、地磁気ベクトルが、それぞれ（３）式で表されるとする。

以上のｇとａ、およびＭとｍの関係は、回転行列Ｒを用いて以下の数式で記述される。

(4)式より、Ｘ軸回りの回転角αとＺ軸回りの回転角γが計算される。

また、Ｚ軸回りの回転角γが既知である場合、（５）式により、地磁気ベクトルmからＸ軸回りの回転角αとＹ軸回りの回転角βが計算される。

但し、加速度ベクトルａで求めたＸ軸回りの回転角αを利用するならば、（８）式の計算は不要である。

以上の計算により、α、β、γおよび回転行列Ｒを、三軸加速度センサと三軸磁気センサの検出情報から把握することができる。

ここで得られたα、β、γ又は回転行列Ｒが、姿勢情報として動画・静止画情報に付加され保存される。動画・静止画情報のファイルフォーマットの一例を図６に記載する。

図６では、動画・静止画情報ファイル１４０のヘッダ情報１４１として、姿勢情報１４１ａの他に、位置情報１４１ｂ、解像度情報１４１ｃ、時間情報１４１ｄが保存されている。位置情報１４１ｂは画像入力装置１０に取り付けられたＧＰＳ（Global Positioning System）レシーバなどから検出される動画・静止画情報撮影時の画像入力装置１０の位置情報であり、解像度情報１４１ｃとしては撮影時の画像解像度情報が、時間情報１４１ｄとしては動画情報の全記録時間の情報が、それぞれ保存されている。動画・静止画情報ファイル１４０の内容情報１４２は、保存された動画・静止画のコンテンツデータである。

図７は図４に示した複写機１における複写開始ボタン１ａの位置付近を異なる視点から撮影した場合の動画情報の一例を示す。

複写開始ボタン１ａの撮影については、複写開始ボタン１ａを押してから複写機１が稼動するまでの一連の動作処理を、図７のように異なる視点から撮影したいという要求が出てくる。撮影中に画像入力装置１０の視点を変更する場合、動画情報の最初の撮影時における画像入力装置１０の姿勢情報を撮影する動画情報に付加するようにしてもよい。これより、動画情報の撮影時に画像入力装置１０を移動させても姿勢情報（姿勢変化の情報）を付加することができる。また上記の説明では、画像入力装置１０で撮影した動画・静止画情報を使用することを前提としているが、画像入力装置１０を使用せずに取得・作成した動画・静止画情報であってもよい。しかし、利用する動画・静止画情報には、動画・静止画情報再生時の視点位置となる姿勢情報が付加されていることが前提となる。

３次元形状情報に関しては、複写機１などの商品や工場で使用する作業機械などは製品作製時の３次元ＣＡＤデータが存在するので、そのデータを利用してもよいし、レーザレンジファインダなどの３次元形状計測装置で計測したデータを使用してもよい。なお、３次元形状情報はワイヤーフレーム（輪郭を表わす複数の線）として表現してもよいし、テクスチャ（図形表面の模様や質感等を表わす描きこみ情報）を貼り付けて表現したものであってもよい。

本実施の形態では、基準リンク位置ファイル１１０、コンテンツファイル１２０および動作プログラムファイル１３０を、単一文書に一体化（カプセル化）したが、当然ながら本発明はカプセル化文書構造のみに限定するものではなく、全てのファイルが分割された状態で提供されるものであってもよい。

また、作成したコンテンツの表示方法としては、３次元形状情報を一つのウィンドウ（Window）に表示し、ユーザがマウス等でリンク位置をクリックすると別ウィンドウにリンク先の動画・静止画情報を表示する、というようにしてもよいし、３次元形状情報を表示しているウィンドウ上に動画・静止画情報を重ねて表示してもよい。

３次元形状情報と動画情報とを別ウィンドウに表示する際には、動画情報を再生する際に３次元形状情報のリンク位置である稼動部分を同時に稼動させて表示してもよい。動画情報の再生と同時に３次元形状情報を稼動させることでユーザにとって、動画情報と３次元形状情報との関連動作が理解しやすいコンテンツ情報を提供することが可能となる。

（基準リンク付け、相対姿勢算出、相対リンク付けの処理内容）
以下に、基準リンク位置情報を求める基準リンク付けステップと、相対姿勢算出および相対リンク付けのプログラムを実行する相対姿勢算出ステップと、基準リンク位置情報および相対姿勢情報を利用した相対リンク付けステップとについて、それぞれの処理内容を説明する。

基準リンク付けステップによる基準リンク位置の設定方法は、ユーザが手動でリンク位置の設定を行なうか、あるいは、特定ルールを指示することで自動的に設定させるものである。手動で基準リンク位置を設定する例を図８に示す。

図８では、コンピュータの画面上に、３次元形状情報ウィンドウ６１と、動画情報ウィンドウ６２とが表示されている。３次元形状情報ウィンドウ６１には、撮影対象となったオブジェクトの３次元形状情報が表示される。動画情報ウィンドウ６２には、画像入力装置１０で撮影された複数の動画・静止画情報が一覧して表示される。そして、ユーザが３次元形状情報ウィンドウ６１上の任意の位置をマウス等でクリックすると、動画・静止画情報のリンク候補位置１ｃが、例えば図８の星印６１ａのような形で指定される。次に、動画情報ウィンドウ６２上で、一覧表示されている動画・静止画情報から基準となる動画・静止画情報を選択すると、選択した動画・静止画情報が図８の四角の太線囲み枠６２ａで示すように強調表示される。

図９は、基準となる動画・静止画情報が選択されたときに表示される、基準リンク付け確認用ダイアログボックス６３を示している。この基準リンク付け確認用ダイアログボックス６３においては、ユーザがＹｅｓボタン６３ａを選択すればリンク候補位置１ｃが基準リンク位置として確定され、基準リンク付けが実行される。Ｎｏボタン６３ｂを選択すればリンク候補位置１ｃが消去され、基準リンク付け処理を中断する。

図１０は、図８に示す３次元形状情報ウィンドウ６１上でユーザがマウス等での選択操作をした場合に設定される位置座標の算出方法を説明する図である。

図１０の下側には、３次元形状表示ウィンドウ６１の視点を移動させ、座標軸を変更して表現した場合を示している。３次元形状情報ウィンドウ６１上でユーザがマウス等で位置座標を指定すると、３次元形状情報ウィンドウ６１上の選択位置からＸ座標値、Ｙ座標値が決定される。Ｚ座標値に関しては、図１０の下側の図のように、ユーザが指定した（Ｘ、Ｙ）座標値からＺ軸方向に水平な直線を投影し、３次元空間上に配置された３次元形状情報オブジェクト１Ａと初めに交差する位置をＺ座標値とする。以上の処理により基準リンク付けが実行される。

上記の例ではユーザの手動作業によって基準リンク付けを行ったが、予め３次元形状情報に基準リンク位置を付加しておき、画像入力装置１０で初めに撮影した動画・静止画情報を基準リンク位置にリンク付けすることで、ユーザの手動作業を介さずに基準リンク付けを実行するようにしてもよい。

相対姿勢算出ステップで実行される相対姿勢算出の方法は、基準リンク付けステップでリンク付けした動画・静止画情報（第１の撮影画像情報）に付加された姿勢情報を基準として、その他複数の動画・静止画情報（第２の撮影画像情報）に付加された姿勢情報の相対的な姿勢情報を算出する。基準となる動画・静止画情報に付加された姿勢情報を回転行列Ｒ_Ａ、その他の動画・静止画情報に付加された姿勢情報を回転行列Ｒ_B とおくと、相対姿勢情報となる回転行列Ｒ_ＡＢは、（１１）式で表わされる。

Ｒ_ＡＢ＝Ｒ^-1 _ＡＲ_Ｂ （11）
上記の計算をその他複数の動画・静止画情報に付加された姿勢情報に適用することで相対姿勢情報を算出できる。

相対リンク付けステップによる相対リンク付け方法では、基準リンク位置情報と相対姿勢情報を利用して、自動的に３次元形状情報へ複数の動画・静止画情報のリンク付けを実行する。

図１１に相対姿勢情報から算出される画像入力装置１０の撮影位置の関係図を示す。この撮影位置関係図では、まず、基準リンク位置情報を使用して、基準となる動画・静止画情報を撮影した際の画像入力装置１０の視点位置Ｐａを設定配置し、次いで、相対姿勢情報を使用して、その他複数の動画・静止画情報を撮影した際の画像入力装置１０の視点位置Ｐｂを設定配置する。ここでは、画像入力装置１０の位置情報が取得されていないが、被写体の３次元形状情報の重心位置を原点とした所定半径の球面ＳＰを描き、その球面ＳＰ上に画像入力装置１０（光学中心）を配置することによって、画像入力装置１０の姿勢情報だけから、画像入力装置１０の視点位置を配置することが可能となる。３次元形状情報の重心位置は、３次元形状情報を構成する点群情報から算出してもよいし、面群情報から３次元形状情報の体積を求めて重心位置を算出してもよい。

次に、画像入力装置１０の撮影位置関係図から、３次元形状情報と動画・静止画情報とのリンク位置を算出する。リンク位置の算出は、図１２に示すように、動画・静止画情報を撮影した際の画像入力装置１０の視点位置から球ＳＰの原点に視線方向である直線Ｌ１、Ｌ２を描いたとき、被写体である３次元形状情報と最初に交差する点（図１２中の黒丸印）の位置を各動画・静止画情報のリンク位置として指定するものである。このように算出したリンク位置に動画・静止画情報のリンク付けを行なうことで相対リンク付けが実行できる。基準となる動画・静止画情報についての基準リンク付けの処理を以上のように行ない、次いで、以上の処理をその他複数の動画・静止画情報にも適用することで、自動的に３次元形状情報と複数の動画・静止画情報のリンク付けが実行され、メディアミックスされたコンテンツ情報を簡易に作成することが可能となる。

（リンク付け編集作業の流れ）
以下に複数の動画・静止画情報と３次元形状情報とのリンク付け編集作業についてフローチャートを用いて説明する。

図１３にリンク付け編集作業の全体フローチャートの一例を示す。

リンク付け編集作業に先立って、３次元形状情報の準備および画像入力装置１０の撮影時の姿勢情報を付加した複数の動画・静止画情報の準備が予めなされる。その準備後に実行されるリンク付け編集作業は、以下に述べる基準リンク位置の取得ステップＳ１、相対姿勢情報の算出ステップＳ２および相対リンク付け処理ステップＳ３の実行というように、大まかに３つのフローから成り立つ。

図１４は、基準リンク位置の取得手順を示すフローチャートである。同図に示すように、基準リンク位置の取得に際しては、まず、撮影対象となるオブジェクトの３次元形状情報と、撮影した動画・静止画情報とを取得して、コンピュータの表示装置６０の画面上に表示する（ステップＳ11）。次いで、３次元形状情報ウィンドウ６１上において、リンク候補位置１ｃの設定操作と、動画・静止画情報ウィンドウ６２上で基準となる動画・静止画情報の選択操作をユーザに実行させる（ステップＳ12、Ｓ13）。次に、リンク付け確認ダイアログボックス６３を表示してリンク付けの要否を問う（ステップＳ14）。ここで、ユーザがＹｅｓを選択した場合には、リンク候補位置１ｃを基準リンク位置に設定し、選択された動画・静止画情報（例えば、同図中の動画'Ｂ'）をリンク付けする（ステップＳ15）。Ｎｏを選択した場合には、リンク候補位置１ｃと動画・静止画情報の選択を解除する（ステップＳ16）。

図１５に相対姿勢情報の算出フローチャートを示す。相対姿勢情報の算出フローチャートでは、まず、基準となる動画・静止画情報に付加された姿勢情報を取得し、基準姿勢情報とする（ステップＳ21）。次いで、その他の動画・静止画情報に付加された姿勢情報を取得し（ステップＳ22）、基準姿勢情報との相対的な姿勢情報を算出する（ステップＳ23）。この処理を、撮影された全ての動画・静止画情報に適用することで、動画・静止画情報ごとの相対姿勢情報を算出することができる。

図１６に相対リンク付け処理の実行フローチャートを示す。相対リンク付け処理の実行フローチャートでは、まず、基準リンク位置の取得フローチャートで取得した基準リンク位置に基準となる動画・静止画情報を撮影した際の画像入力装置１０の視点位置を設定する（ステップＳ31）。次いで、３次元形状情報の重心位置を算出し（ステップＳ32）、重心位置を中心とした球面ＳＰを作成する（ステップＳ33）。次いで、相対姿勢情報の算出フローチャートで算出した相対姿勢情報を使用して、作成した球面ＳＰ上にその他複数の動画・静止画情報を撮影した際の画像入力装置１０の視点位置を設定する（ステップＳ34）。そして、ここで設定した視点位置から球面ＳＰの原点に直線Ｌ１、Ｌ２を投影し、直線と３次元形状情報が初めに交差する位置を算出し（ステップＳ35）、算出した交点をその視点位置で撮影した動画・静止画情報の相対リンク位置とし、３次元形状情報と動画・静止画情報をリンク付けする（ステップＳ36）。以上のリンク位置の取得、すなわち相対リンク付けの処理を、第２の撮影画像情報であるその他複数の動画・静止画情報に適用することで、自動的に３次元形状情報と複数の動画・静止画情報のリンク付けが実行されることになり、メディアミックスされたコンテンツ情報を簡易に作成できることになる。

なお、本実施の形態におけるカプセル化文書ファイルは、コンテンツファイル・動作プログラムファイル・基準リンク位置ファイルが単一ファイルにカプセル化された状態で配布されるものとして説明したが、これらのファイルが物理的に分割された状態で配布されるものであってもよい。ただし、物理的に分割された状態でカプセル化文書ファイルを配布する場合には、コンテンツファイル内にある基準となる動画・静止画情報と、基準リンク位置ファイルとの関連付けができるように、基準リンク位置ファイルにコンテンツファイルの位置情報を追加するなどの工夫が必要となる。また、コンテンツファイルの動作処理を実行する動作プログラムファイルとの関連付けができるように、コンテンツファイルへ動作プログラムファイルの位置情報を追加するなどの工夫も必要となる。上記のカプセル化文書ファイルを使用することで、物理的に分割された状態でカプセル化文書ファイルを配布しても、動画・静止画情報と３次元形状情報とのリンク付け編集作業が簡易に実行できるカプセル化文書ファイルを提供できる。また、カプセル化文書ファイルにすることによって、基準となる動画・静止画情報の基準リンク位置情報を保存するだけで、その他複数の動画・静止画情報のリンク位置情報を表現することができるので、リンク位置情報の情報量が削減されるという利点も享受できる。

（第２の実施の形態）
図１７〜図３０は、本発明の第２の実施の形態を示す図であり、本実施の形態は画像入力装置の撮影時の位置および姿勢情報をその画像データに付加し、その情報を基に、上述の実施の形態と類似する相対リンク付け処理を実行しようとするものである。なお、本実施の形態において、上述の実施の形態同様の構成については上述の実施の形態と同一の符号を付して説明し、その構成の説明は割愛する。

本実施の形態におけるカプセル化文書ファイル構造の一例を図１７に示す。

同図に示すカプセル化文書ファイル２００は、第１の実施の形態と同様に、基準リンク位置ファイル２１０と、コンテンツファイル２２０と、動作プログラムファイル２３０とから構成されている。

図１７では、コンテンツファイル２２０内にある動画・静止画情報２２２に姿勢情報だけではなく位置情報も付加されている。近年、ＧＰＳ部品の小型化などにより、画像入力装置１０の姿勢情報だけではなく位置情報も容易に計測できるようになった。また、図１７では、動作プログラムファイル２３０内に相対姿勢算出プログラムの代わりとして相対位置算出プログラムが追加されている。本実施の形態では、動画・静止画情報を撮影した際の画像入力装置１０の位置及び姿勢情報を利用して３次元形状情報と複数の動画・静止画情報とのリンク付け処理を精度良く実行する。

基準リンク付けステップによる基準リンク位置の設定方法は、上述した第１の実施の形態の場合と同様である。相対位置算出プログラム２３１および相対リンク付けプログラム２３２の処理内容は、以下のような相対位置算出ステップと、相対リンク付けステップを実行するものである。

相対位置算出ステップによる相対位置算出方法では、基準となる動画・静止画情報（第１の撮影画像情報）に付加された位置及び姿勢情報と、その他複数の動画・静止画情報（第２の撮影画像情報）に付加された位置及び姿勢情報との相対的な位置及び姿勢情報を算出する。

基準となる動画・静止画情報に付加された位置情報を並進ベクトルＴ_Ａ、姿勢情報を回転行列Ｒ_Ａとし、その他の動画・静止画情報に付加された位置情報を並進ベクトルＴ_B、姿勢情報を回転行列Ｒ_Bおくと、相対位置情報Ｔ_ABは、（10）式になり、相対姿勢情報となる回転行列Ｒ_ＡＢは、実施の形態１と同様に(11)式になる。

上記の計算をその他複数の動画・静止画情報に付加された位置及び姿勢情報に適用することで相対位置情報を算出できる。
相対リンク付けステップによる相対リンク付け方法では、基準リンク位置情報と相対位置情報を利用して、自動的に３次元形状情報へ複数の動画・静止画情報のリンク付けを実行する。

図１８に相対位置情報から算出される画像入力装置１０の撮影位置関係図を示す。この撮影位置関係図では、まず、基準リンク位置情報を使用して、基準となる動画・静止画情報を撮影した際の画像入力装置１０の視点位置を配置し、次いで、相対位置情報を使用してその他複数の動画・静止画情報を撮影した際の画像入力装置１０の視点位置を配置する。以上より、撮影位置関係図を作成できる。本実施の形態では、画像入力装置１０の位置情報が取得できるため、相対位置情報を使用することで、直接的に画像入力装置１０の視点位置を設定できる。

次に、画像入力装置１０の撮影位置関係図から３次元形状情報と動画・静止画情報とのリンク位置を算出する。リンク位置の算出は、図１９に示すように、動画・静止画情報を撮影した際の画像入力装置１０の視点位置から相対姿勢情報より算出される画像入力装置１０の光軸方向（図５（ａ）のＺ軸方向）に直線を描き、被写体である３次元形状情報と最初に交差する位置を動画・静止画情報のリンク位置と指定する。本実施の形態では位置情報を使用することにより、第１の実施の形態の場合よりも精度良くリンク位置を算出できる。ここで算出したリンク位置に、動画・静止画情報のリンク付けを行なうことで、相対リンク付けが実行される。以上のリンク位置の取得の処理を、その他複数の動画・静止画情報に適用することで、自動的に３次元形状情報と複数の動画・静止画情報のリンク付けが実行され、メディアミックスされたコンテンツ情報を簡易に作成することが可能となる。

以下、本実施の形態における数の動画・静止画情報と３次元形状情報とのリンク付け編集作業の流れをフローチャートを用いて説明する。

図２０にリンク付け編集作業の全体フローチャートの一例を示す。リンク付け編集作業の処理は、基準リンク位置の取得処理（ステップＳ41）、相対位置情報の算出処理（ステップＳ42）および相対リンク付け処理（ステップＳ43）の実行というように、大まかに３つのフローから成り立つ。

基準リンク位置の取得処理は、図１４に示した第１の実施の形態の場合と同様の処理内容となる。

図２１は、相対位置情報の算出処理の流れを説明するフローチャートである。

同図に示すように、相対位置情報の算出処理では、初めに基準となる動画・静止画情報に付加された位置及び姿勢情報を取得し、基準位置情報とする（ステップＳ51）。次に、その他の動画・静止画情報に付加された位置及び姿勢情報を取得し（ステップＳ52）、基準位置情報との相対位置情報を算出する（ステップＳ53）。この処理を撮影された全ての動画・静止画情報に適用することで、動画・静止画情報ごとに相対位置情報を算出できる。

図２２は、相対リンク付け処理の実行手順を示すフローチャートである。

相対リンク付け処理の実行に際しては、基準リンク位置の取得フローチャートで取得した基準リンク位置に、基準となる動画・静止画情報を撮影した際の画像入力装置１０の視点位置を設定する（ステップＳ61）。次に、相対位置情報の算出フローチャートで算出した相対位置情報を使用して、動画・静止画情報を撮影した際の画像入力装置１０の視点位置を設定する（ステップＳ62）。次いで、相対的な姿勢情報を利用して、設定した視点位置から画像入力装置１０の光軸方向に直線を投影し、直線と３次元形状情報が初めに交差する位置を算出する（ステップＳ63）。そして、算出した交点をその視点位置で撮影した動画・静止画情報の相対リンク位置とし、３次元形状情報と動画・静止画情報をリンク付けする（ステップＳ64）。以上の処理を、その他複数の動画・静止画情報に適用することで、自動的に３次元形状情報と複数の動画・静止画情報のリンク付けが実行され、メディアミックスされたコンテンツ情報を簡易に作成できる。

（第３の実施の形態）
図２３〜図２８は、本発明の第４の実施の形態を説明する図である。

３次元ＣＡＤデータなどの３次元形状情報には、稼動部分（稼動部）の位置情報が付加されているものが多い。例えば、複写機の３次元ＣＡＤデータでは、用紙トレイ部分、複写開始ボタン等の稼動部分の位置情報が付加されている。

本実施の形態では、３次元形状情報に付加されたこのような稼動部分の位置情報を使用することで、複数の動画・静止画情報と３次元形状情報との自動リンク付け処理に際するリンク位置設定を精度良く実行させるようにしている。

本実施の形態における相対リンク付けステップでは、まず、第１、第２の実施の形態の場合と同様な方法で、動画・静止画情報に付加された姿勢情報又は位置情報を利用して、動画・静止画情報と３次元形状情報の大まかな仮リンク位置を算出する。

仮リンク位置は、図２３に黒丸印１ｃで示すように選択指定される。同図中の波線部分１ｄ〜１ｆは、それぞれ３次元形状情報に付加された稼動部分の位置又は領域を示している。

仮リンク位置１ｃが３次元形状情報に付加された稼動部分の領域１ｄから１ｆの中に入っていない場合には、仮リンク位置１ｃを中心とした球ＳＰを描き、半径を順々に長くし、初めて交差した稼動部分の領域全体を相対リンク位置と設定する。図２３に例示したケースでは、例えば図２４に示すように、波線部分の領域１ｄが相対リンク位置１ｒとして設定される。一方、仮リンク位置１ｃが３次元形状情報に付加された稼動部分の領域に入っている場合には、その稼動部分の領域全体を相対リンク位置と設定する。以上の処理を実行することにより、複数の動画・静止画情報と３次元形状情報との自動リンク付け処理のリンク位置設定を精度良く実行できる。

また、図２５に示すように、仮リンク位置１ｃの算出精度が低い場合には、ユーザが所望しない稼動部分に自動リンク付けされる可能性がある。そこで、自動リンク付け処理の後に、リンク付け位置をユーザに確認させるために、リンク付けの結果を画面表示させてもよい。

図２６に示すリンク位置表示ウィンドウは、そのようなリンク付け結果の確認のための画面表示の一例である。

同図において、黒丸印１ｒはリンク位置を示しており、図２６に示すようにリンク付けした位置を、複数の撮影画像情報について一覧表示することで、全てのリンク位置を一目で確認することが可能となる。第１の実施の形態では、画像入力装置１０の姿勢情報が三軸方向全て取得可能である場合に関して記載したが、姿勢情報が１軸方向しか取得できない場合においても、３次元形状情報と動画・静止画情報のリンク付け処理を簡易にすることが可能である。

図２７に１軸方向の姿勢情報を取得した場合における画像入力装置１０の撮影位置関係図を示す。この図中では、１軸方向の姿勢情報しか取得されないため、撮影対象である３次元形状情報の重心位置を中心とした円Ｃを描き、姿勢情報を使用して画像入力装置１０を円又は円筒上に配置する。図２８に画像入力装置１０の配置位置関係図と３次元形状情報が撮影される領域の対応を示す。円筒上に画像入力装置１０を配置することで、図２８に示すように、３次元形状情報を撮影した領域を算出することが可能となる。ここで算出した撮影領域をリンク位置に設定し、３次元形状情報と動画・静止画情報の自動リンク付け処理を実行してもよい。また、算出した撮影領域内にある３次元形状情報に付加された稼動部分の領域を、リンク位置に設定して、自動リンク付け処理を実行してもよい。

（第４の実施の形態）
図２９および図３０は、本発明の第４の実施の形態を説明する図である。

本実施の形態では、相対リンク付けを全自動で実行せず、リンク付け編集作業の一部をユーザに実行させることで、リンク付けの間違えを除去し、リンク位置の精度を向上させるものである。

本実施の形態における相対リンク付け処理では、まず、第１、第２の実施の形態と同様な方法で、基準リンク付けを実行し、相対姿勢情報又は相対位置情報を算出して画像入力装置１０の撮影位置関係図を、例えば図２７に示すような形で作成する。次いで、この撮影位置関係図を使用して、３次元形状情報より、画像入力装置１０が配置された位置から撮影される２次元形状情報を抽出する。

次に、抽出した２次元形状情報を使用して、ユーザが容易にリンク位置を指定できるリンク指定ウィンドウ６７（図３０参照）をコンピュータ画面上に表示する。このリンク指定ウィンドウ６７には、動画・静止画情報を表示するウィンドウ７０ａ〜７０ｄと、その動画・静止画情報を撮影した位置から抽出される２次元形状情報の表示ウィンドウ６９ａ〜６９ｄが表示される。そして、ユーザが２次元表示ウィンドウ６９ａ〜６９ｄ上の任意の位置をマウス等で指定すると、指定した位置から相対リンク位置が算出され（算出方法は第１の実施の形態の基準リンク付け方法と同様）、動画・静止画情報が自動的にリンク付けされる。このような処理を実行することにより、ユーザが３次元形状情報を表示する視点位置をマウス等で変更しなくても、比較的面積の広い２次元表示ウィンドウ６９ａ〜６９ｄを利用して簡易にリンク付けを指定を行なうことのできるユーザインターフェースを提供することができる。

以上説明したように、本発明は、３次元形状情報を有するオブジェクトを画像入力装置で撮影した際に、３次元形状情報と撮影した動画・静止画情報とのリンク付けを簡易に実行することができるものであり、マルチメディア情報の編集作業に適用でき、作業手順書の作成ツール、設計業務の支援ツール、カタログ作成ツール、コミュニケーションツール、プレゼンテーションツール、会議システムに等にも応用可能である。

本発明の第１の実施の形態に係る情報処理システムの概略構成を示すブロック構成図である。 本発明の第１の実施の形態に係るカプセル化文書作成装置の概略構成を示すブロック図である。 本発明の第１の実施の形態に係るカプセル化文書構造のファイルの構造説明図である。 本発明の第１の実施の形態における動画・静止画の撮影シーンの説明図である。 本発明の第１の実施の形態における画像入力装置の座標系を示す斜視図（ａ）と、そのワールド座標系を示す斜視図（ｂ）である。 本発明の第１の実施の形態に係る動画・静止画情報のファイルフォーマットの説明図である。 本発明の第１の実施の形態における動画・静止画の撮影シーンの説明図である。 本発明の第１の実施の形態における手作業による基準リンク付け手順を説明する画像選択画面の説明図である。 本発明の第１の実施の形態における手作業による基準リンク付け作業の有無を確認するためのダイアログボックスの説明図である。 本発明の第１の実施の形態における基準リンク付け処理におけるウィンドウ上の指定位置と実際の３次元形状上のリンク指定位置との関係を説明する説明図である。 本発明の第１の実施の形態における相対姿勢情報から画像入力装置の撮影位置が算出される関係を説明する関係図である。 本発明の第１の実施の形態における相対リンク位置の設定方法を説明する図で、複数の撮影画像情報について、相対姿勢情報から撮影時の画像入力装置の位置が設定される関係を示している。 本発明の第１の実施の形態におけるリンク付け編集作業の全体の流れを示すフローチャートである。 本発明の第１の実施の形態における基準リンク位置の取得処理の流れを示すフローチャートである。 本発明の第１の実施の形態における相対姿勢情報の算出処理の流れを示すフローチャートである。 本発明の第１の実施の形態における相対リンク付け処理の流れを示すフローチャートである。 本発明の第２の実施の形態に係るカプセル化文書構造のファイルの構造説明図である。 本発明の第２の実施の形態における相対姿勢情報から画像入力装置の撮影位置が算出される関係を説明する関係図である。 本発明の第２の実施の形態における相対リンク位置の設定方法を説明する図で、複数の撮影画像情報について、相対姿勢情報から撮影時の画像入力装置の位置が設定される関係を示している。 本発明の第２の実施の形態におけるリンク付け編集作業の全体の流れを示すフローチャートである。 本発明の第２の実施の形態における相対姿勢情報の算出処理の流れを示すフローチャートである。 本発明の第２の実施の形態における相対リンク付け処理の流れを示すフローチャートである。 本発明の第３の実施の形態に係る仮リンク位置情報が設定された３次元形状情報の説明図である。 本発明の第３の実施の形態に係る仮リンク位置情報から相対リンク位置を設定する場合の説明図である。 本発明の第３の実施の形態に係る仮リンク位置情報から相対リンク位置を自動設定すると、ユーザが所望する領域から外れたリンク位置が取得され得る場合の説明図である。 本発明の第３の実施の形態に係る仮リンク位置情報から相対リンク位置を設定するに際して、ユーザが所望するリンク位置を選択指定可能にした場合のリンク位置選択画面の説明図である。 本発明の第３の実施の形態において１軸方向の姿勢情報を取得した場合に、相対姿勢情報から画像入力装置の撮影位置が算出される関係を説明する撮影位置係図である。 図２７の撮影位置関係図と撮影領域の対応関係を示す対応図である。 本発明の第４の実施の形態に係る相対姿勢情報から画像入力装置の撮影位置が算出される関係を説明する撮影位置関係図である。 本発明の第４の実施の形態におけるリンク位置直接指定に代わる２次元表示画像選択のための選択画面の説明図である。

符号の説明

１、１Ａ 複写機、３次元形状情報オブジェクト、
１ａ 複写開始ボタン（稼動部）
１ｃ リンク候補位置（仮リンク位置）
１ｄ、１ｅ、１ｆ 位置又は領域（稼動部の位置又は領域）
１ｒ 相対リンク位置
１０ 画像入力装置
１１ 撮像部
１３ 位置・姿勢検出部（姿勢検出手段、位置検出手段）
１５ 画像情報生成・出力部
２０ コンテンツ編集処理装置
２１ 編集用情報記憶部
２２ コンテンツ編集処理部
２３ ３次元形状・撮影画像情報準備部
２４ 基準リンク位置取得部
２５ 相対位置・姿勢情報算出部
２６ 相対リンク付け処理部
２７ カプセル化文書情報入力部
２８ カプセル化文書処理部
３０ ３次元形状情報作成装置
４０ カプセル化文書作成装置
５０ 操作入力装置
６０ 表示装置
６１ ３次元形状情報ウィンドウ（３次元形状表示ウィンドウ）
６２ 動画・静止画情報ウィンドウ
６３ 確認用ダイアログボックス
６７ リンク指定ウィンドウ
１００ カプセル化文書ファイル（文書ファイル構造、電子文書）
１１０ 基準リンク位置ファイル
１２０、２２０ コンテンツファイル
１２１ ３次元形状情報
１２２、２２２ 基準となる動画・静止画情報（第１の撮影画像情報）
１２３、１２４、１２５ その他の動画・静止画情報（第２の撮影画像情報）
１３０、２３０ 動作プログラムファイル
１３１ 相対姿勢算出プログラム
１３２ 相対リンク付けプログラム
１３３ コンテンツ表示プログラム
１４０ 動画・静止画情報ファイル

Claims (10)

1. ３次元形状情報と画像入力装置の撮影時の位置及び姿勢情報が付加された複数の撮影画像情報とをリンク付けするコンテンツ編集方法であって、
   前記複数の撮影画像情報のうち少なくとも一つ以上の基準となる第１の撮影画像情報と前記３次元形状情報とをリンク付けする基準リンク付けステップと、
   前記第１の撮影画像情報に付加された位置及び姿勢情報を前記画像入力装置の基準の位置及び姿勢の情報として、前記複数の撮影画像情報のうち前記第１の撮影画像情報を除く第２の撮影画像情報に付加された位置及び姿勢情報に基づき、該第２の撮影画像情報の撮影時における前記画像入力装置の前記基準の位置及び姿勢に対する相対的な位置及び姿勢の情報を相対位置情報として算出する相対位置算出ステップと、
   前記相対位置算出ステップで算出された前記相対位置情報を使用して、前記３次元形状情報と前記第２の撮影画像情報とをリンク付けする相対リンク付けステップと、を含み、
   前記基準リンク付けステップと前記相対リンク付けステップとで、前記３次元形状情報で表されるオブジェクトのうち所定の稼動態様で稼動する稼動部の位置情報を基に前記複数の撮影画像情報のリンク付けの位置を特定し、前記３次元形状情報と前記複数の撮影画像情報とのリンク付けを実行することを特徴とするコンテンツ編集方法。
2. 前記相対リンク付けステップは、前記３次元形状情報と前記第２の撮影画像情報とのリンク付け処理後に、前記３次元形状中のリンク付けした位置を表示するリンク位置表示ステップを有することを特徴とする請求項１に記載のコンテンツ編集方法。
3. 前記相対リンク付けステップにおいて、前記相対姿勢算出ステップ又は前記相対位置算出ステップで算出した姿勢又は位置情報を基に動画情報のリンク付けのための２次元形状情報を前記３次元形状情報に対する視線方向を特定することで抽出して表示し、動画情報のリンク位置を指定する入力情報を取り込むことを特徴とする請求項１に記載のコンテンツ編集方法。
4. 前記基準リンク付けステップと前記相対リンク付けステップにおいて、前記３次元形状情報と動画情報とのリンク付けを実行する際に、動画情報の再生処理と共に前記３次元形状情報の一部を構成する稼動部の稼動態様を表示させることを特徴とする請求項１に記載のコンテンツ編集方法。
5. ３次元形状情報と、
   画像入力装置の撮影時の位置及び姿勢情報が付加された複数の撮影画像情報と、
   前記複数の撮影画像情報のうち少なくとも一つ以上の基準となる第１の撮影画像情報と前記３次元形状情報とをリンク付けする基準リンク位置情報と、
   前記第１の撮影画像情報に付加された位置及び姿勢情報を前記画像入力装置の基準の位置及び姿勢の情報として、前記複数の撮影画像情報のうち前記第１の撮影画像情報を除く第２の撮影画像情報に付加された位置及び姿勢情報に基づき、該第２の撮影画像情報の撮影時における前記画像入力装置の前記基準の位置及び姿勢に対する相対的な位置及び姿勢の情報を相対位置情報として算出する相対位置算出プログラムと、
   前記基準リンク位置および前記相対位置算出プログラムで算出された相対位置情報を基に、前記３次元形状情報と前記第２の撮影画像情報とをリンク付けする相対リンク付けプログラムと、を単一文書に一体化してなり、
   前記相対位置算出プログラムと前記相対リンク付けプログラムとが、前記３次元形状情報で表されるオブジェクトのうち所定の稼動態様で稼動する稼動部の位置情報を基に前記複数の撮影画像情報のリンク付けの位置を特定し、前記３次元形状情報と前記複数の撮影画像情報とのリンク付けを実行することを特徴とする文書ファイル構造。
6. 前記３次元形状情報を表示する３次元形状表示プログラムと、前記画像情報を表示する画像表示プログラムと、を更に含むことを特徴とする請求項５に記載の文書ファイル構造。
7. 請求項１〜４のいずれかに記載のコンテンツ編集方法の各ステップを実行する機能をコンピュータによって実現させることを特徴とするコンテンツ編集プログラム。
8. 請求項５に記載の文書ファイル構造を持つ電子文書を記録したことを特徴とする記録媒体。
9. 請求項７に記載のコンテンツ編集プログラムを実行することを特徴とする情報処理装置。
10. 請求項５又は６に記載の文書ファイル構造を持つ電子文書の中の各プログラムを実行することを特徴とする情報処理装置。

Images