JP6481354B2 - 情報処理装置、装置を制御する方法、コンピュータープログラム - Google Patents

Description

本発明は、情報処理装置に関する。

利用者に対して一連の動作の手順（以降、単に「動作手順」とも呼ぶ。）を教示する作業支援システムが知られている。例えば、特許文献１には、ビデオ撮影された被写体の動作と、被写体の動作のうち、特に詳細な説明が必要となる部分の模式的な動画像と、を合成して、１つの画面上に表示することで、作業支援を実現する技術が記載されている。

特開２００２−２３００８６号公報

現実世界に実在するオブジェクトである実オブジェクトに対して、コンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。拡張現実感において、実オブジェクトに付加的に表示される情報を「仮想オブジェクト」とも呼ぶ。このような拡張現実感の技術を利用した作業支援を実現すれば、利用者は、眼前に実在する実オブジェクトに対して、仮想オブジェクトを用いて表された動作手順の教示を受けることができるため、非常に有用である。この点、特許文献１に記載された技術では、ビデオ撮影された被写体およびその動作はマニュアル的なものに過ぎず、現実世界とは何ら関係がないという課題があった。

拡張現実感の技術を用いた作業支援を実現するためには、仮想オブジェクトを用いて表された動作手順を事前に準備する必要がある。事前に準備された既存の作業手順は、その一部に不適切な箇所や不適合な箇所がある場合があるという問題があった。このような場合に、既存の作業手順全てを作り直すことは、手間が掛かると共に、専門知識を必要とするという課題がった。従って、既存の動作手順から、新たな動作手順を生成したいという要望があった。

このため、例えば情報処理装置を用いて、仮想オブジェクトを用いて表された既存の動作手順から、新たな動作手順を生成することが求められていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は；現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する取得部と；取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する分割部と；分割された前記分割情報の各々を評価する評価部と；前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する生成部と、を備える。
この形態の情報処理装置によれば、評価部は、取得部によって取得された手順情報を評価し、生成部は、評価の結果に基づいて新たな手順情報を生成することができる。手順情報とは、仮想オブジェクトを用いて一連の動作手順を表した情報である。このため、情報処理装置は、既存の手順情報（既存の動作手順）から、新たな手順情報（新たな動作手順）を生成することができる。また、新たな手順情報は、評価の結果に基づいて生成されるため、利用者への教示に使用される手順情報の信頼性を向上させることができる。

（２）上記形態の情報処理装置において；前記取得部は、複数の前記手順情報を取得し；前記分割部は、取得された前記複数の手順情報のうち、時系列的な情報を含む少なくとも一部を、それぞれ経時的に分割し；前記生成部は；時系列が同じ前記分割情報の集合から、前記評価の結果に応じた１つの前記分割情報を選択し；選択された前記分割情報を組み合わせて、新たな前記手順情報を生成してもよい。
この形態の情報処理装置によれば、生成部は、複数の既存の手順情報のうち、時系列が同じ分割情報の集合から、評価の結果に応じて、例えば最適と判断される１つの分割情報を選択し、選択された分割情報を組み合わせて新たな手順情報を生成する。この結果、生成部は、複数の既存の手順情報から、より優れた１つの新たな手順情報を生成することができる。

（３）上記形態の情報処理装置において；前記生成部は；時系列が同じ前記分割情報の集合を、少なくとも１つ以上の条件に従って分類した下位集合から、前記評価の結果に応じた１つの前記分割情報を選択し；選択された前記分割情報を組み合わせて、新たな前記手順情報を生成してもよい。
この形態の情報処理装置によれば、生成部は、時系列が同じ分割情報の集合を、さらに、少なくとも１つ以上の条件に従って分類した下位集合から、評価の結果に応じて、例えば最適と判断される１つの分割情報を選択することができる。この結果、よりきめ細かく、新たな手順情報の材料とすべき分割情報を選別することができる。

（４）上記形態の情報処理装置では、さらに；模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する模範記憶部を備え；前記取得部は、１つの前記手順情報を取得し；前記生成部は；前記評価の結果に応じて、分割された前記分割情報のうちの少なくとも一部を、対応する前記模範分割情報と入れ替えることで、新たな前記手順情報を生成してもよい。
この形態の情報処理装置によれば、生成部は、１つの既存の手順情報に含まれる少なくとも一部の分割情報を、評価の結果に応じて模範分割情報と入れ替えることで新たな手順情報を生成する。この結果、生成部は、１つの既存の手順情報を、模範的な手順情報を用いて補正することができる。

（５）上記形態の情報処理装置では、さらに；模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する模範記憶部を備え；前記評価部は、前記分割情報を；対応する前記模範分割情報との比較により評価してもよい。
この形態の情報処理装置によれば、評価部は、分割情報を模範分割情報と比較することによって、簡便に評価することができる。

（６）上記形態の情報処理装置では、さらに；標準的な前記動作の照合に用いられる情報である標準情報を、少なくとも１つ記憶する標準記憶部を備え；前記評価部は、前記分割情報を；前記分割情報内に、前記標準記憶部に記憶されている前記標準情報が含まれているか否かによって評価してもよい。
この形態の情報処理装置によれば、評価部は、標準記憶部を用いて、分割情報に標準的な動作が含まれているか否かを評価することができる。

（７）上記形態の情報処理装置において；前記評価部は、前記分割情報を；前記手順情報に沿った前記動作の結果と；前記情報処理装置の利用者による採点結果と；前記仮想オブジェクトの画像認識の結果と；前記手順情報の作成者の自己採点結果と；と、のうちの少なくともいずれか１つを用いて評価してもよい。
この形態の情報処理装置によれば、手順情報に沿った動作の結果を用いた場合、評価部は、一連の動作を終えて得られる最終的な結果を用いて分割情報を評価することができる。情報処理装置の利用者による採点結果を用いた場合、評価部は、利用者の意図に沿って分割情報を評価することができる。仮想オブジェクトの画像認識の結果を用いた場合、評価部は、分割情報を、画像認識によって内部的に評価することができる。手順情報の作成者の自己採点結果を用いた場合、評価部は、手順情報の作成者の意図に沿って分割情報を評価することができる。

（８）上記形態の情報処理装置において；前記評価部は、前記分割情報を；時系列が同じ前記分割情報の集合内における他の前記分割情報との比較結果を用いて評価してもよい。
この形態の情報処理装置によれば、評価部は、分割情報を、他の分割情報との比較によって内部的に評価することができる。

（９）上記形態の情報処理装置では、さらに；模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する模範記憶部を備え；前記分割部は；取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記模範分割情報と比較することによって分割してもよい。
この形態の情報処理装置によれば、分割部は、手順情報を模範分割情報と比較することによって、簡便に分割することができる。

（１０）上記形態の情報処理装置において；前記分割部は；取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記手順情報における前記動作の大きさによって分割してもよい。
一連の動作手順を表した手順情報においては、動作が大きく変化する部分で、１つの手順と、他の手順との区切りが付く場合がある。この形態の情報処理装置によれば、分割部は、このような場合に対応して、動作が大きく変化する部分で手順情報を分割することができる。

（１１）上記形態の情報処理装置において；前記分割部は；取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記手順情報における前記仮想オブジェクトの増減によって分割してもよい。
一連の動作手順を表した手順情報においては、新たなオブジェクトが追加された部分、または、オブジェクトが消えた部分、すなわち、オブジェクトの増減があった部分で、１つの手順と、他の手順との区切りが付く場合がある。この形態の情報処理装置によれば、分割部は、このような場合に対応して、オブジェクトの増減があった部分で手順情報を分割することができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、取得部と、分割部と、評価部と、生成部と、の４つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、取得部を有していてもよく、有していなくてもよい。また、この装置は、分割部を有していてもよく、有していなくてもよい。また、この装置は、評価部を有していてもよく、有していなくてもよい。また、この装置は、生成部を有していてもよく、有していなくてもよい。こうした装置は、例えば情報処理装置として実現できるが、情報処理装置以外の他の装置としても実現可能である。前述した情報処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。例えば、本発明の一形態としての装置は、例えば情報処理装置を用いて、仮想オブジェクトを用いて表された動作手順を評価することを課題としている。しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化、省資源化、製造の容易化、等が望まれている。

なお、本発明は、種々の態様で実現することが可能であり、例えば、情報処理装置および情報処理装置の制御方法、情報処理装置を含むシステム、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム、画像表示装置および画像表示装置の制御方法、画像表示装置を含むシステム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

本発明の一実施形態における情報処理装置の構成を機能的に示すブロック図である。 素材記憶部３２１について説明する図である。 ３Ｄモデルについて説明するための図である。 シナリオ生成処理の手順を表すフローチャートである。 変換部３１６によって生成された帳票の一例を示す図である。 頭部装着型表示装置の外観構成について説明する図である。 第２実施形態におけるシナリオ生成処理の手順を示すフローチャートである。

Ａ．第１実施形態：
Ａ−１．情報処理装置の構成：
図１は、本発明の一実施形態における情報処理装置の構成を機能的に示すブロック図である。本実施形態の情報処理装置３００は、後述のシナリオ生成処理によって、手順情報を評価し、評価の結果に基づいて新たな手順情報を生成することができる。以降、区別のために、シナリオ生成処理前の手順情報を「シナリオ素材」とも呼び、シナリオ生成処理後の新たな手順情報を「シナリオ」とも呼ぶ。

本実施形態の「手順情報」とは、仮想オブジェクトを用いて、利用者に対して一連の動作手順を教示するために用いられる情報である。「仮想オブジェクト」とは、拡張現実感（ＡＲ、Augmented Reality）処理において、現実世界に実在するオブジェクトである「実オブジェクト」に対して付加的に表示される情報を意味する。ここで、オブジェクトとは、任意の人、任意の動植物、任意の物（人工物、自然物等を含む）等を意味する。

本実施形態の「一連の動作手順」には、種々のカテゴリーの動作の手順が広く含まれる。例えば、工場作業における作業員の動作の手順、テニス等のスポーツにおける競技者の動作の手順、料理や裁縫における製作者の動作の手順等が含まれる。また、動作手順には、思考プロセスのような思考の手順、学習プロセスにおける思考の手順といった、利用者の体の動きを伴わない思考動作の手順をも含む。これらの動作の手順は、連続的であってもよいし、一定間隔をおいて不連続的であってもよい。また、動作の手順には、手順を表さない情報（モデル、画像、文字列図形記号等、音声、その他の任意のデーター等）を含んでいてもよい。

情報処理装置３００は、例えば、パーソナルコンピューターによって実現することができる。情報処理装置３００は、ＣＰＵ３１０と、記憶部３２０と、電源３３０と、ＲＯＭ３４０と、ＲＡＭ３５０と、入出力部３６０と、無線通信部３７０と、有線通信部３８０と、を備え、各部は図示しないバスにより相互に接続されている。

ＣＰＵ３１０は、記憶部３２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）３１１、取得部３１２、分割部３１３、評価部３１４、生成部３１５、変換部３１６として機能する。ＯＳ３１１は、情報処理装置３００の各部を制御すると共に、情報処理装置３００の利用者に対してＧＵＩ（Graphical User Interface）を提供する。

取得部３１２は、後述のシナリオ生成処理において、記憶部に格納されているシナリオ素材を取得する。分割部３１３は、後述のシナリオ生成処理において、取得されたシナリオ素材（手順情報）を分割して、パーツを生成する。生成されたパーツは「分割情報」として機能する。

評価部３１４は、後述のシナリオ生成処理において、分割されたパーツの各々を評価する。生成部３１５は、後述のシナリオ生成処理において、評価の結果に基づいて、分割されたパーツからシナリオ（新たな手順情報）を生成する。

変換部３１６は、後述のシナリオ生成処理において帳票データーを生成する。各部の詳細は後述する。

記憶部３２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部３２０には、ＯＳをはじめとする種々のコンピュータープログラムが格納されている。また、記憶部３２０には、素材記憶部３２１と、模範記憶部３２２と、標準記憶部３２３と、シナリオ記憶部３２４と、が記憶されている。

図２は、素材記憶部３２１について説明する図である。素材記憶部３２１には、様々な利用者によって登録された複数のシナリオ素材３２１１〜３２１ｎが予め記憶されている。各シナリオ素材は、図２において破線で囲った部分に記載されているように、以下の要素ｅ１〜ｅ７を含んでいる。

（ｅ１）カテゴリーに関する情報
（ｅ２）実演者に関する情報
（ｅ３）環境に関する情報
（ｅ４）三次元（３Ｄ）モデル
（ｅ５）センサーの値
（ｅ６）付加情報
（ｅ７）結果に関する情報

要素ｅ１の「カテゴリーに関する情報」は、当該シナリオ素材が、どのようなカテゴリーに属するかを表す情報である。カテゴリーに関する情報は、１つ以上のサブカテゴリーを含んでいてもよい。例えば、シナリオ素材３２１１の例では、シナリオ素材３２１１が、「スポーツ」カテゴリーの、「テニス」サブカテゴリーの、「サーブ」サブカテゴリーに属することを表している。なお、要素ｅ１のカテゴリーに関する情報は、シナリオ素材が「工場作業」である場合、品番、品名、工程（モデリング、準備、加工、検査等）名等を含みうる。また、シナリオ素材が「料理」である場合、料理名、調理手順内におけるステップ（準備、下ごしらえ、調理、盛り付け等）等を含みうる。

要素ｅ２の「実演者に関する情報」は、当該シナリオ素材の実演者、具体的には、要素ｅ４の３Ｄモデルの元（モデル）となった人物についての情報である。実演者に関する情報は、１つ以上の任意の項目を含むことができる。例えば、実演者の熟練度、年齢、性別、身長、体重、所属、経験年数等を含むことができる。例えば、シナリオ素材３２１１の例では、シナリオ素材３２１１の実演者は、熟練度が「レベル５」であり、年齢が「２０代」であり、性別が「男性」であり、身長が「１８０ｃｍ」であり、体重が「７５ｋｇ」であることを表している。

要素ｅ３の「環境に関する情報」は、当該シナリオ素材の環境、具体的には、要素ｅ４の３Ｄモデルが実演された際の環境についての情報である。環境に関する情報は、１つ以上の任意の項目を含むことができる。例えば、天候、気温、湿度、地面の状況、使用されている器具、工具、道具等を含むことができる。例えば、シナリオ素材３２１１の例では、シナリオ素材３２１１が実演された際の環境は、天候が「快晴」であり、気温が「２２度」であり、地面の状況が「グラスコート」であることを表している。

図３は、３Ｄモデルについて説明するための図である。図２の要素ｅ４の「３Ｄモデル」は、実演者およびその周囲の実オブジェクト（現実世界に実在するオブジェクト）についての３Ｄモデルのデーターである。３Ｄモデルは、当該シナリオ素材の基幹となる情報であり、実演者の動きについての時系列的な情報を含む。３Ｄモデルは、例えば、図示しない３Ｄモデル生成部によって、以下の手順ａ１〜ａ５によって生成される。

（ａ１）実演者の周囲に、１つ以上の可視光カメラと、１つ以上の測距センサーとを配置する。可視光カメラの撮像範囲と、測距センサーの検出範囲とは、予めキャリブレーションされている。この状態で、実演者は、３Ｄモデルを生成しようとする一連の動作を実演する。なお、可視光カメラは、被写体（実演者）を含む所定の外景を撮像するカメラである。測距センサーは、例えば、無数の赤外線を照射し、照射した赤外線を赤外線カメラ（または赤外線受光部）によって取得することによって、対象までの距離を測定することのできる深度センサーである。可視光カメラと、測距センサーとの個数は、多ければそれだけ精度が向上するため好ましい。なお、測距センサーに代えて、２つ以上の可視光カメラを用いて、対象までの距離を測定してもよい。また、測距センサーと２つ以上の可視光カメラとを、実演時の環境（外光の状況）に応じて使い分けてもよい。

（ａ２）３Ｄモデル生成部は、可視光カメラによる撮像データーと、測距センサーによる測定データーとを取得する。

（ａ３）３Ｄモデル生成部は、取得したデーターに基づいて、少なくとも、実演者およびその周囲の実オブジェクトを表す３Ｄモデルを生成する。具体的には、３Ｄモデル生成部は、測距センサーの測定データーに基づいて、可視光カメラの撮像範囲内のオブジェクトの形状を取得し、オブジェクトの境界線を検出することで、３Ｄモデルの輪郭を生成する。また、３Ｄモデル生成部は、可視光カメラの撮像データー内のＲＧＢ値に基づいて、生成した３Ｄモデルの輪郭内部を着色する。

（ａ４）３Ｄモデル生成部は、手順ａ３で生成した３Ｄモデルと、手順ａ３で検出したオブジェクトの境界線と、を用いて、３Ｄモデル内で、連続した境界を持つオブジェクトを「１つの物体」として関連付ける。また、３Ｄモデル生成部は、予め記憶されている人体のパーツ（例えば、手、足、頭等）のモデルを用いて、パターンマッチングや統計的識別法による比較を行うことで、１つの物体と識別されたオブジェクトの集合を「人体」と認識する。

（ａ５）３Ｄモデル生成部は、手順ａ３で生成した３Ｄモデルのデーターと、手順ａ３で検出したオブジェクトの境界線を表す境界線データーと、手順ａ４による１つの物体であることの関連付けデーターと、手順ａ４による人体であることの関連付けデーターとをセットにして「３Ｄモデルデーター」として記憶部に記憶させる。３Ｄモデルのデーターは、そのまま、または、２Ｄ（二次元）画像に変換されて、拡張現実感処理における「仮想オブジェクト」として機能する。

この結果、要素ｅ４の３Ｄモデルには、３Ｄモデルのデーターと、境界線データーと、物体および人体の関連付けデーターと、が記憶されることとなる。例えば、図３に示すシナリオ素材３２１１の例では、実演者ＵＲが行った「テニスのサーブ」についての連続的な一連の動作（具体的には、ボールトス、バックスイング、インパクト、フォロースルーという一連の動作）についての３Ｄモデルデーターが記憶される。なお、３Ｄモデルデーターには、実演者ＵＲのほかに、テニスラケット、テニスボール、コートといった「実演者の周囲の実オブジェクト」も３Ｄモデル化され、含まれている。なお、要素ｅ４の３Ｄモデルは、３Ｄモデルのデーターと、境界線データーと、物体および人体の関連付けデーターと、のうち、不要な部分（例えば、背景、動きのないオブジェクト等）が削除されていてもよい。また、要素ｅ４の３Ｄモデルは、例えばパラパラ漫画のような、一定間隔を置いて不連続的に表された一連の動作についての３Ｄモデルデーターであってもよい。要素ｅ４の３Ｄモデルには、例えば、時系列的に変化するアイコン画像や、ポップアップ画像や、その他のモデル、画像、文字列図形記号等、音声、その他の任意のデーター等が含まれてもよい。

要素ｅ５（図２）の「センサーの値」は、３Ｄモデル生成時における、換言すれば、実演者が３Ｄモデルを生成しようとする一連の動作を実演した際の、種々のセンサーの検出値である。要素ｅ５は、３Ｄモデルに付随する時系列的な情報である。種々のセンサーとは、例えば、ジャイロセンサー、加速度センサー、地磁気センサー、モーションセンサー（ジャイロ、加速度、地磁気を全て搭載したセンサー）、生体情報取得センサー（筋力を取得するセンサー、脈拍を取得するセンサー、発汗状態を取得するセンサー、血液の流れを取得するセンサー等）、光センサー、赤外線センサー、超音波センサー、ガス検知センサー、イオンセンサー、バイオセンサー、温度センサー、湿度センサー等である。これらのセンサーは、実演者の周囲に予め配置されていてもよい。これらのセンサーは、例えば、頭部装着型表示装置や、時計等、利用者が身に着けることが可能な装置内に配置されていてもよい。

例えば、シナリオ素材３２１１の例では、実演者ＵＲが行った「テニスのサーブ」についての一連の動作の間に、モーションセンサーによって検出された検出データーが記憶されている。なお、シナリオ素材３２１１の例では、１つのセンサーのみを例示したが、要素ｅ５には、複数のセンサーの検出値が記憶されていてもよい。

要素ｅ６の「付加情報」は、実演者による一連の動作に付加するための情報、換言すれば、実演者による一連の動作の解説である。要素ｅ６は、３Ｄモデルに付随する時系列的な情報である。付加情報は、文字データーでもよいし、音声データーでもよいし、画像データーでもよい。付加情報は、例えば、図示しない付加処理部によって、以下の手順ｂ１または手順ｂ２によって生成される。

（ｂ１）実演者がマイク等の入力装置を身に着けて、リアルタイムに付加情報を入力する場合：実演者は、３Ｄモデルを生成しようとする一連の動作を実演している間（上記手順ａ１）、併せて、一連の動作についての解説を口述する。付加処理部は、音声認識した口述の内容を音声データーとして、または音声認識によりテキスト変換した文字データーとして、口述の開始時刻と関連付けて記憶させる。

（ｂ２）実演後に付加情報を入力する場合：実演者は、一連の動作の実演（上記手順ａ１）後、マイクやキーボード等の入力手段を用いて、一連の動作についての解説を入力する。この際、実演者は、可視光カメラの撮像映像または３Ｄモデルデーターを再生しつつ、どの時点の解説を入力するかを都度指定する。付加処理部は、入力された音声データー、文字データー、画像データーを、指定された時刻と関連付けて記憶させる。

この結果、要素ｅ６の付加情報には、付加情報を表示（音声データーの場合には再生）すべき時刻と、付加情報の内容としての音声データー、文字データー、画像データーと、が関連付けて記憶されることとなる。例えば、図２に示すシナリオ素材３２１１の例では、開始直後（時刻０：００）に「グリップは薄く」と表示し、開始１秒後に「聞き手側の肩甲骨を背中側に寄せる」と表示し、開始３秒後に「足で地面をける」と表示し、開始５秒後に「打点に胸を向けて」と表示する旨が記憶される。なお、要素ｅ６の付加情報は、図２のように時間に対応付けられていてもよいし、利用者の動作（体の動き）に対応付けられていてもよいし、実オブジェクトの状態に対応付けられていてもよい。

要素ｅ７の「結果に関する情報」は、実演者による一連の動作の結果に関する情報である。結果に関する情報はどのようなものでもよく、例えば、実演者による自己採点の結果、実演者とは異なる第三者による採点の結果、測定結果（飛距離、寸法、重量等）、試験結果（合格、不合格、歩留まり）等のうちの、少なくとも１つ（複数でもよい）を含むことができる。例えば、シナリオ素材３２１１の例では、実演者による自己採点の結果が７０点であることを示している。

図１の模範記憶部３２２には、素材記憶部３２１の要素ｅ１の各カテゴリーにそれぞれ対応する模範的なシナリオ素材が予め記憶されている。例えば、素材記憶部３２１に１００種類のカテゴリーが存在するとすれば、模範記憶部３２２には、１００種類のカテゴリーにそれぞれ対応する１００個の模範的なシナリオ素材が記憶されている。

模範的なシナリオ素材は、素材記憶部３２１のシナリオ素材と同様に、上述した要素ｅ１〜ｅ７を含んでいる。また、模範的なシナリオ素材のうち、時系列的な情報を含む少なくとも一部、具体的には要素ｅ４の３Ｄモデルは、予め、経時的に分割されている。本実施形態において「時系列的な情報」とは、モデル、画像、文字列図形記号等、音声、その他のデーター等の種々の情報を、連続的に、または一定間隔をおいて不連続的に表したものである。図３が模範的なシナリオ素材の３Ｄモデルを表していると仮定して説明する。模範的なシナリオ素材の３Ｄモデルデーターは、時刻ｔ１の３Ｄモデルデーターと、時刻ｔ２の３Ｄモデルデーターと、時刻ｔ３の３Ｄモデルデーターと、中略、時刻ｔ７の３Ｄモデルデーターと、に経時的に分割されている。分割された各３Ｄモデルは「模範分割情報」として機能する。

ここで、「分割」とは、３Ｄモデルそのものが実際に別々のデーターに分割されていてもよいし、３Ｄモデルに、分割する点（例えば、分割時刻）についての情報が含まれていてもよい。なお、模範的なシナリオ素材では、要素ｅ１〜ｅ３、ｅ５〜ｅ７は省略してもよい。

図１の標準記憶部３２３には、シナリオ素材に含まれている動作が、標準的な動作であるか否かを照合するための情報が予め記憶されている。標準的な動作とは、任意の団体（企業、標準化団体等）や、任意の規格によって「標準」であると定められている動作を意味する。標準記憶部３２３には、例えば、標準であると定められている動作において用いられる器具、工具、道具等のモデルが、少なくとも１つ（複数でもよい）記憶されている。

シナリオ記憶部３２４は、後述のシナリオ生成処理によって生成されたシナリオ（新たな手順情報）が記憶されるための領域である。

Ａ−２．シナリオ生成処理：
図４は、シナリオ生成処理の手順を表すフローチャートである。シナリオ生成処理は、シナリオ素材を評価し、評価の結果に基づいて新たなシナリオを生成する処理である。シナリオ生成処理は、取得部３１２と、分割部３１３と、評価部３１４と、生成部３１５とが協働することで実行される。シナリオ生成処理の開始トリガーは任意に定めることができる。例えば、本実施形態では、ＯＳ３１１または他のアプリケーションを介した利用者からの処理開始要求を、シナリオ生成処理の開始トリガーとする。処理開始要求の際、利用者は、シナリオの生成を所望するサブカテゴリーを指定する。

ステップＳ１０２において取得部３１２は、処理対象とする複数のシナリオ素材を取得する。具体的には、取得部３１２は、素材記憶部３２１を、処理開始要求の際に利用者から指定されたサブカテゴリーで検索し、一致したシナリオ素材を全て取得する。

ステップＳ１０４において分割部３１３は、取得された複数のシナリオ素材のうち、時系列的な情報を含む少なくとも一部、具体的には要素ｅ４の３Ｄモデルを、それぞれ、経時的に分割する。具体的には、分割部３１３は、以下のｃ１〜ｃ３のいずれかに示す方法を用いてシナリオ素材を分割する処理を、取得された全てのシナリオ素材に対して繰り返し実行する。

（ｃ１）模範的なシナリオ素材による分割：
分割部３１３は、模範記憶部３２２を、処理開始要求の際に利用者から指定されたサブカテゴリーで検索し、一致した１つの模範的なシナリオ素材を取得する。上述の通り、模範的なシナリオ素材の３Ｄモデルは、予め経時的に分割されている。分割部３１３は、模範的なシナリオ素材の３Ｄモデル（要素ｅ４）と、分割の対象であるシナリオ素材の３Ｄモデル（要素ｅ４）と、をパターンマッチングや統計的判別法を用いて比較し、模範的なシナリオ素材の３Ｄモデルが分割されている点に合わせて、分割の対象であるシナリオ素材の３Ｄモデルを分割する。

方法ｃ１によれば、分割部３１３は、シナリオ素材（手順情報）を、予め分割された３Ｄモデル（模範分割情報）と比較することによって、簡便に分割することができる。

（ｃ２）動作の大きさによる分割：
分割部３１３は、分割の対象であるシナリオ素材の３Ｄモデル（要素ｅ４）内の人体の動作の大きさの変化量が、所定の閾値以上である時点で、分割の対象であるシナリオ素材の３Ｄモデルを分割する。なお、分割部３１３は、３Ｄモデルに含まれる複数のオブジェクトから「人体」を特定するために、人体であることの関連付けデーターを用いる。

一連の動作手順を表したシナリオ素材（手順情報）においては、動作が大きく変化する部分で、１つの手順と、他の手順との区切りが付く場合がある。方法ｃ２によれば、分割部３１３は、上記のような場合に対応して、動作が大きく変化する部分でシナリオ素材を分割することができる。

（ｃ３）オブジェクトの増減による分割：
分割部３１３は、分割の対象であるシナリオ素材の３Ｄモデル（要素ｅ４）内におけるオブジェクトの増減があった時点で、分割の対象であるシナリオ素材の３Ｄモデルを分割する。なお、分割部３１３は、３Ｄモデルに含まれる「オブジェクト」を特定するために、１つの物体であることの関連付けデーターを用いる。

一連の動作手順を表したシナリオ素材（手順情報）においては、新たなオブジェクトが追加された部分、または、オブジェクトが消えた部分、すなわち、オブジェクトの増減があった部分で、１つの手順と、他の手順との区切りが付く場合がある。方法ｃ３によれば、分割部３１３は、上記のような場合に対応して、オブジェクトの増減があった部分でシナリオ素材を分割することができる。

なお、手順ｃ１〜ｃ３における「分割」とは、３Ｄモデルそのものが実際に別々のデーターに分割されていてもよいし、３Ｄモデルに、分割する点（例えば、分割時刻）についての情報が含まれていてもよい。以降、ステップＳ１０４において分割されたシナリオ素材の３Ｄモデルを、単に「パーツ」、「分割情報」とも呼ぶ。

例えば、ステップＳ１０２で取得されたシナリオ素材が１０個であり、かつ、ステップＳ１０４で各シナリオ素材が７個に分割されたとする。この場合、ステップＳ１０４終了時点で、１０×７＝７０個のパーツが生成される。

図４のステップＳ１０６において評価部３１４は、分割された各パーツをグループ化する。具体的には、まず、評価部３１４は、分割された各パーツを「同じ時系列に属するか否か」という条件でグループ化する。「同じ時系列に属する」とは、各パーツに対して分割された順に番号を付した場合、同じ番号を持つパーツを意味する。この結果、例えば、ステップＳ１０２で取得されたシナリオ素材が１０個であり、かつ、ステップＳ１０４で各シナリオ素材が７個に分割された場合、１０個ずつのパーツが含まれた７個のグループができる。

次に、評価部３１４は、グループ化された各パーツを、１つ以上（複数でもよい）の任意の条件でさらにグループ化して、サブグループを作る。任意の条件とは、例えば、実演者の熟練度、年齢、性別、天候、気温等、要素ｅ２または要素ｅ３を用いてフィルタリングできる条件であれば、何でもよい。この結果、例えば、７個のグループ内にそれぞれ「男性」、「女性」といった２つのサブグループができる。

図４のステップＳ１０８において評価部３１４は、各パーツを評価する。具体的には、評価部３１４は、以下のｄ１〜ｄ７の少なくともいずれか１つを基準として、各パーツを評価する。基準ｄ１〜ｄ７は単独で用いられてもよいし、組み合わせて用いられてもよい。

（ｄ１）模範的なシナリオ素材による評価：
評価部３１４は、模範記憶部３２２を、処理開始要求の際に利用者から指定されたサブカテゴリーで検索し、一致した１つの模範的なシナリオ素材を取得する。評価部３１４は、取得した模範的なシナリオ素材の３Ｄモデル（要素ｅ４）から、評価対象のパーツと対応した、すなわち、同じ時系列に属する３Ｄモデルを抽出する。評価部３１４は、抽出した３Ｄモデルと、評価対象のパーツと、をパターンマッチングや統計的判別法を用いて比較し、両者の一致度を求める。基準ｄ１によれば、一致度が高ければ高いほど、評価が高い。

基準ｄ１によれば、評価部３１４は、パーツ（分割情報）を、模範的なシナリオ素材の予め分割された３Ｄモデル（模範分割情報）と比較することによって、簡便に評価することができる。

（ｄ２）標準的な動作手順であるか否かによる評価：
評価部３１４は、評価対象のパーツと、標準記憶部３２３に記憶されている器具、工具、道具等のモデルの各々と、をパターンマッチングや統計的判別法を用いて比較する。評価部３１４は、評価対象のパーツに分割部３１３に記憶されているモデルが１つでも含まれている場合は、評価対象のパーツは「標準的な動作手順に該当する」と評価し、含まれていない場合は、評価対象のパーツは「標準的な動作手順に該当しない」と評価する。基準ｄ２によれば、評価は、標準／標準外の２つである。

基準ｄ２によれば、評価部３１４は、標準記憶部３２３を用いて、パーツ（分割情報）に標準的な動作が含まれているか否かを評価することができる。基準ｄ２による評価結果は、利用者が、シナリオ生成処理によって標準的なシナリオを生成しようとする場合や、後述する作業標準書の生成において有意である。

（ｄ３）実演結果による評価：
評価部３１４は、評価対象のパーツの元となったシナリオ素材の結果に関する情報（要素ｅ７）から、測定結果と、試験結果とを取得し、基準ｄ３による評価結果とする。基準ｄ３によれば、評価部３１４は、例えば、測定結果や試験結果といった、一連の動作を終えて得られる最終的な結果を用いて、評価対象のパーツ（分割情報）を評価することができる。

（ｄ４）利用者の採点結果による評価：
評価部３１４は、入出力部３６０を介して、利用者から、評価対象のパーツの利用者による採点結果を取得する。評価部３１４は、取得した利用者による採点結果を、基準ｄ４による評価結果とする。基準ｄ４によれば、評価部３１４は、利用者の意図に沿って、評価対象のパーツ（分割情報）を評価することができる。

（ｄ５）画像認識結果による評価：
評価部３１４は、評価対象のパーツ（分割されたシナリオ素材の３Ｄモデル）内の３Ｄモデルデーターを画像認識し、テクスチャを抽出する。評価部３１４は、抽出したテクスチャのパターンを基準ｄ５による評価結果とする。例えば、評価部３１４は、テクスチャが均一であれば評価が高く、テクスチャにムラがあれば評価が低い、とすることができる。基準ｄ５によれば、評価部３１４は、シナリオ素材の結果に関する情報（要素ｅ７）や、利用者による採点結果等を必要とせず、画像認識によって内部的に、評価対象のパーツ（分割情報）を評価することができる。

（ｄ６）実演者の採点結果による評価：
評価部３１４は、評価対象のパーツの元となったシナリオ素材の結果に関する情報（要素ｅ７）から、実演者による自己採点の結果を取得し、基準ｄ６による評価結果とする。基準ｄ６によれば、評価部３１４は、実演者（手順情報の作成者）の意図に沿って、評価対象のパーツ（分割情報）を評価することができる。

（ｄ７）他のパーツによる評価：
評価部３１４は、ステップＳ１０６でグループ化されたパーツから、評価対象のパーツと同じ時系列に属するパーツ（以降、「他のパーツ」とも呼ぶ。）を抽出する。評価部３１４は、抽出した他のパーツを、パターンマッチングや統計的判別法を用いて平均化する。評価部３１４は、他のパーツを平均化したデーターと、評価対象のパーツとを比較し、両者の一致度を求める。基準ｄ７によれば、一致度が高ければ高いほど、評価が高い。

基準ｄ７によれば、評価部３１４は、評価対象のパーツ（分割情報）を、他のパーツ（分割情報）との比較によって内部的に評価することができる。

図４のステップＳ１１０において生成部３１５は、ステップＳ１０８の評価の結果に基づいて、各グループから１つずつ（サブグループが存在する場合は、各サブグループから１つずつ）パーツを選択する。具体的には、生成部３１５は、以下の方法ｆ１〜ｆ３を用いて、パーツを選択することができる。なお、生成部３１５は、ステップＳ１０４の分割により得られたパーツの個数が、他のシナリオ素材と一致しないシナリオ素材のパーツは、選択の対象外とする。

（ｆ１）ステップＳ１０８で評価基準ｄ１またはｄ３〜ｄ７を用いた場合、生成部３１５は、各グループ（またはサブグループ）内で最も評価が高いパーツを１つ選択する。
（ｆ２）ステップＳ１０８で評価基準ｄ２を用いた場合、生成部３１５は、各グループ（またはサブグループ）内で標準であると評価されたパーツを１つ選択する。
（ｆ３）方法ｆ１、ｆ２で複数のパーツが候補となった場合、生成部３１５は、他の基準（ｄ１〜ｄ７）による評価結果を併用して、１つのパーツを選択してもよい。

図４のステップＳ１１２において生成部３１５は、選択されたパーツを時系列に組み合わせて、新たなシナリオを生成する。この際、生成部３１５は、パーツのつなぎ目となる部分を自然に見せるために、３Ｄモデルデーターに対してスムーズ処理を施してもよい。生成部３１５は、一のパーツに含まれる３Ｄモデルデーター内のオブジェクトの大きさや色（色相、彩度、明度）と、他のパーツに含まれる３Ｄモデルデーター内のオブジェクトの大きさや色と、を平均化する処理を施してもよい。また、生成部３１５は、入出力部３６０を介して、利用者から、パーツの組み合わせ順序を変更する旨の指示を取得した場合は、パーツの組み合わせ順序を指示通りに変更する。

図４のステップＳ１１４において生成部３１５は、ステップＳ１１２で生成したシナリオを、シナリオ記憶部３２４に記憶させ、処理を終了する。シナリオ記憶部３２４に記憶されるシナリオには、少なくとも、カテゴリーに関する情報（要素ｅ１）と、３Ｄモデル（要素ｅ４）とが含まれている。その他、シナリオ記憶部３２４に記憶されるシナリオには、センサーの値（要素ｅ５）、付加情報（要素ｅ６）、ステップＳ１０６のサブグループ化の条件、ステップＳ１０８の評価基準、ステップＳ１０８の評価結果等が含まれていてよい。

以上の通り、本実施形態のシナリオ生成処理によれば、生成部３１５は、複数の既存の手順情報（複数のシナリオ素材）のうち、時系列が同じ分割情報（パーツ）の集合（グループ）から、ステップＳ１０８による評価の結果に応じて、例えば最適と判断される１つの分割情報を選択し、選択された分割情報を組み合わせて新たな手順情報（シナリオ）を生成する。この結果、生成部３１５は、複数の既存の手順情報から、より優れた１つの新たな手順情報を生成することができる。

さらに、本実施形態のシナリオ生成処理によれば、生成部３１５は、時系列が同じ分割情報（パーツ）の集合（グループ）を、さらに、少なくとも１つ以上の条件に従って分類（グループ化）した下位集合（サブグループ）から、ステップＳ１０８による評価の結果に応じて、例えば最適と判断される１つの分割情報を選択することができる。この結果、よりきめ細かく、新たな手順情報（シナリオ）の材料とすべき分割情報を選別することができる。

図５は、変換部３１６によって生成された帳票の一例を示す図である。変換部３１６は、シナリオ記憶部３２４に記憶されているシナリオを用いて、図５に例示するような手順書ＭＮを生成することができる。手順書ＭＮは、品番欄と、品名欄と、工程名欄と、作業手順欄と、略図欄と、を含んでいる。

変換部３１６は、品番欄と、品名欄と、工程名欄と、の内容を、シナリオのカテゴリーに関する情報（要素ｅ１）から抽出する。変換部３１６は、作業手順欄の内容を、シナリオの付加情報（要素ｅ６）から抽出する。変換部３１６は、略図欄の画像ＩＭ１〜ＩＭ８を、シナリオの３Ｄモデル（要素ｅ４）から抽出する。

このようにして、変換部３１６は、シナリオ記憶部３２４に記憶されているシナリオから、自動的に、帳票（手順書）を生成することができるため、利用者における利便性が向上する。例えば、シナリオ生成処理（図４）のステップＳ１０８で基準ｄ２（標準的な動作手順であるか否かによる評価）に基づいて評価、選択されたシナリオをベースにした場合、変換部３１６によって生成される帳票は「作業標準書」として利用できる。

Ａ−３．シナリオ表示処理：
上述のようにして生成されたシナリオは、例えば、頭部装着型表示装置によって実行（再生）される。

図６は、頭部装着型表示装置の外観構成について説明する図である。本実施形態の頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。ＨＭＤ１００は、利用者の頭部に装着された状態において利用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０と、を備えている。

画像表示部２０は、利用者の頭部に装着される装着体であり、眼鏡形状を有している。画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。

右光学像表示部２６および左光学像表示部２８は、それぞれ、利用者が画像表示部２０を装着した際に利用者の右および左の眼前に位置するように配置されている。右表示駆動部２２と左表示駆動部２４とは、利用者が画像表示部２０を装着した際の利用者の頭部に対向する側に配置されている。

表示駆動部２２、２４は、液晶ディスプレイで形成されている。光学部材としての光学像表示部２６、２８は、導光板と調光板とを含んでいる。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部２２、２４から出力された画像光を利用者の眼に導く。調光板は、薄板状の光学素子であり、利用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。

カメラ６１は、利用者が画像表示部２０を装着した際の利用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、利用者が画像表示部２０を頭部に装着した状態において、利用者の視線方向の外部の景色である外景を撮像し、撮像した画像である撮像画像を取得する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０の一部は、右イヤホン３２および左イヤホン３４に延伸している。接続部を構成するコードとしては、例えば、金属ケーブルや光ファイバーを採用できる。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、複数のキー１１、１３、１５、１６、１７やトラックパッド１４などによって構成される操作部である。制御部１０の複数のキーは、押下操作を検出して、画像表示部２０へと押下されたキーに対応する制御信号を送信する。制御部１０のトラックパッド１４は、トラックパッド１４の操作面上での利用者の指の操作を検出して、検出内容に応じた信号を出力する。

制御部１０は、画像表示部２０を制御する図示しないＣＰＵを有している。ＣＰＵは、図示しない記憶部に格納されているコンピュータープログラムを読み出して実行することにより、手順ｇ１〜ｇ６からなるシナリオ表示処理を実行する。

（ｇ１）ＣＰＵは、情報処理装置３００から、図示しない無線通信部または有線通信部を介して、実行（再生）対象のシナリオを取得する。
（ｇ２）ＣＰＵは、カメラ６１により撮影された外景画像を取得する。

（ｇ３）ＣＰＵは、手順ｇ２で取得した外景画像に含まれる実オブジェクトの中から、実行対象のシナリオの仮想オブジェクトに対応付けられた実オブジェクト（以降、「対象オブジェクト」とも呼ぶ。）を検出する。この検出のために、ＣＰＵは、実オブジェクトを特定するための情報（例えば名称）と仮想オブジェクトを特定するための情報とを対応付けたテーブルを利用してもよい。このテーブルは、予めＨＭＤ１００の記憶部１２０に記憶されている。このテーブルは、カメラ６１により撮影された外景画像を用いた画像認識によってＣＰＵが自動的に生成してもよい。また、ＨＭＤ１００の利用者によって生成または編集されてもよい。ＣＰＵは、利用者によるテーブルの生成または編集を可能とするために、カメラ６１を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよく、マイクから入力された利用者の発声内容を音声認識してもよい。また、ＣＰＵは、外景画像に含まれる実オブジェクトの中の特定のオブジェクト（例えば、利用者が手に持っている実オブジェクト）に限って、手順ｇ３の検出対象としてもよい。このようにすれば、ＣＰＵは、効率よく実オブジェクトの検出をすることができる。

（ｇ４）ＣＰＵは、対象オブジェクトの位置を取得する。ここで、「位置」とは、利用者からの距離、および、利用者の視界内における水平方向および鉛直方向の位置を含む。この際、ＣＰＵは、ステレオカメラであるカメラ６１によって取得された２枚以上の外景画像を用いて、対象オブジェクトの位置を算出してもよい。また、ＣＰＵは、カメラ６１により取得された１枚以上の外景画像と、図示しない各種のセンサー（例えば、深度センサー、測距センサー等）とを併用して、対象オブジェクトの位置を算出してもよい。

（ｇ５）ＣＰＵは、手順ｇ４で取得した対象オブジェクトの位置に合わせて、実行対象のシナリオの仮想オブジェクト（要素ｅ４）と、付加情報（要素ｅ６）と、を配置した画像データーを生成する。この位置合わせの際、ＣＰＵは、対象オブジェクトの特徴部（エッジ等）を利用してもよいし、対象オブジェクトに付されたマーカー等の目印を利用してもよい。また、ＣＰＵは、仮想オブジェクトを配置する際に、仮想オブジェクトに対して拡大、縮小、回転、色変換等の画像処理を施してもよい。
（ｇ６）ＣＰＵは、生成した画像データーに基づく画像を、画像表示部２０の光学像表示部２６、２８に表示させる。

以上の通り、本実施形態のシナリオ表示処理によれば、ＨＭＤ１００の利用者は、現実世界に存在する実オブジェクトと、光学像表示部２６、２８に虚像として表示されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。また、本実施形態の仮想オブジェクトは、利用者に対して一連の動作手順を教示するために用いられる情報である。このため、本実施形態のシナリオ表示処理によれば、ＨＭＤ１００の利用者に対して、拡張現実感の技術を利用した作業支援を提供することができる。

Ｂ．第２実施形態：
本発明の第２実施形態では、シナリオ生成処理の内容が異なる構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成および動作は先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。すなわち、以下に説明しない構成および動作は、上述した第１実施形態と同じである。

Ｂ−１．情報処理装置の構成：
第２実施形態における情報処理装置の構成は、図１に示した第１実施形態と同様である。ただし、第２実施形態の情報処理装置３００においては、取得部３１２と、分割部３１３と、評価部３１４と、生成部３１５とによって実行されるシナリオ生成処理の処理内容が、図４に示した第１実施形態とは異なる。

Ｂ−２．シナリオ生成処理：
図７は、第２実施形態におけるシナリオ生成処理の手順を示すフローチャートである。第２実施形態のシナリオ生成処理は、基礎となる１つのシナリオ素材を評価し、評価の結果に基づいて、シナリオ素材の一部を置換し、新たなシナリオを生成する処理である。第２実施形態のシナリオ生成処理は、取得部３１２と、分割部３１３と、評価部３１４と、生成部３１５とが協働することで実行される。シナリオ生成処理の開始トリガーは第１実施形態と同様である。第２実施形態では、シナリオ生成処理の処理開始要求の際、利用者は、基礎となる１つのシナリオ素材を指定する。

ステップＳ２０２において取得部３１２は、素材記憶部３２１から、利用者によって指定された１つのシナリオ素材（以降、「基礎シナリオ素材」とも呼ぶ。）を取得する。ステップＳ２０４において分割部３１３は、取得された基礎シナリオ素材のうち、時系列的な情報を含む少なくとも一部を経時的に分割する。具体的な分割方法は、上述の方法ｃ１〜ｃ３と同じである。ステップＳ２０６において評価部３１４は、分割された各パーツを評価する。具体的な評価基準は、上述の基準ｄ１〜ｄ７と同じである。

ステップＳ２０８において生成部３１５は、ステップＳ２０６の評価の結果に基づいて、基礎シナリオ素材の各パーツから、差し替えの対象となる差し替えパーツを選択する。具体的には、生成部３１５は、以下の方法ｈ１、ｈ２を用いて、差し替えパーツを選択することができる。なお、差し替えパーツは、０個選択されてもよいし、複数選択されてもよい。

（ｈ１）ステップＳ２０６で評価基準ｄ１またはｄ３〜ｄ７を用いた場合、生成部３１５は、評価結果が所定の閾値よりも低いパーツを差し替えパーツとする。
（ｈ２）ステップＳ２０６で評価基準ｄ２を用いた場合、生成部３１５は、標準外であると評価されたパーツを差し替えパーツとする。

ステップＳ２１０において生成部３１５は、差し替えパーツの代替となる代替パーツを選択する。具体的には、生成部３１５は、模範記憶部３２２を、基礎シナリオ素材と同じサブカテゴリーで検索し、一致した１つの模範的なシナリオ素材を取得する。生成部３１５は、取得した模範的なシナリオ素材の３Ｄモデル（要素ｅ４）から、差し替えパーツと対応した、すなわち、同じ時系列に属する３Ｄモデルを抽出する。生成部３１５は、抽出した３Ｄモデルを、代替パーツとして選択する。差し替えパーツが複数ある場合、生成部３１５は、この処理を繰り返す。

ステップＳ２１２において生成部３１５は、ステップＳ２０８で選択した差し替えパーツを、ステップＳ２１０で選択した代替パーツと入れ替えて、新たなシナリオを生成する。この際、生成部３１５は、パーツのつなぎ目となる部分を自然に見せるために、３Ｄモデルデーターに対してスムーズ処理を施してもよい。また、生成部３１５は、入出力部３６０を介して、利用者から、パーツの組み合わせ順序を変更する旨の指示を取得した場合は、パーツの組み合わせ順序を指示通りに変更する。

ステップＳ２１４において生成部３１５は、ステップＳ２１２で生成したシナリオを、シナリオ記憶部３２４に記憶させ、処理を終了する。

以上の通り、第２実施形態のシナリオ生成処理によれば、生成部３１５は、１つの既存の手順情報（基礎シナリオ素材）に含まれる少なくとも一部の分割情報（差し替えパーツ）を、ステップＳ２０６による評価の結果に応じて模範分割情報（代替パーツ）と入れ替えることで新たな手順情報（シナリオ）を生成する。この結果、生成部３１５は、１つの既存の手順情報を、模範的な手順情報を用いて補正することができる。

Ｂ−３．シナリオ表示処理：
第２実施形態におけるシナリオ表示処理は、図６に示した第１実施形態と同様である。

以上の通り、上記第１、第２実施形態のシナリオ生成処理によれば、ステップＳ１０８またはステップＳ２０６によって評価部３１４は、取得部によって取得された手順情報（シナリオ素材）を評価し、ステップＳ１１２またはステップＳ２１２によって生成部３１５は、評価の結果に基づいて新たな手順情報（シナリオ）を生成することができる。手順情報とは、仮想オブジェクトを用いて一連の動作手順を表した情報である。このため、情報処理装置３００は、既存の手順情報（既存の動作手順）から、新たな手順情報（新たな動作手順）を生成することができる。また、新たな手順情報は、評価の結果に基づいて生成されるため、利用者への教示に使用される手順情報の信頼性を向上させることができる。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、情報処理装置の構成について例示した。しかし、情報処理装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

例えば、情報処理装置は、パーソナルコンピューター以外の処理装置、例えば、スマートフォン、サーバー装置、プロジェクター等で実現されてもよい。また、例えば、情報処理装置は、その機能の全てが頭部装着型表示装置に組み込まれ、頭部装着型表示装置として実現されてもよい。

例えば、情報処理装置は、シナリオ素材の要素ｅ４の「３Dモデル」を生成可能な３Ｄモデル生成部を備えていてもよい。例えば、情報処理装置は、変換部を備えていなくてもよい。

例えば、情報処理装置が備えるとした各記憶部（素材記憶部、模範記憶部、標準記憶部、シナリオ記憶部）は、少なくとも一部が、情報処理装置にネットワークを介して接続されている外部装置（ＮＡＳ、サーバー等）に記憶されていてもよい。

例えば、情報処理装置が備えるとした各処理部（例えば取得部、分割部、評価部、生成部、変換部）は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

・変形例２：
上記実施形態では、シナリオ生成処理と、シナリオ表示処理と、の一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

例えば、シナリオ生成処理のステップＳ１０４において、分割部は、シナリオ素材のうち、時系列的な情報を含む少なくとも一部を分割することに代えて、他の分割方法を用いてもよい。例えば、分割部は、シナリオ素材を構成する一部のデーター（３Ｄモデルや付加情報に含まれる音声データー、付加情報そのもの、３Ｄモデル内の特定の領域）を分割してもよい。このようにしても、上記実施形態と同様の効果を奏することができる。

例えば、シナリオ生成処理のステップＳ１０６において、サブグループの作成は、省略してもよい。

例えば、シナリオ生成処理のステップＳ１０８において、評価部は、標準記憶部に記憶されている情報を用いずに、標準的な動作手順であるか否かによる評価（基準ｄ２）を行ってもよい。具体的には、評価部は、要素ｅ６の付加情報に「標準」という言葉、またはこれに類似する言葉が記憶されている場合、評価対象のパーツは「標準的な動作手順に該当する」と評価してもよい。

例えば、シナリオ生成処理のステップＳ１１２、Ｓ２１２において、生成部は、選択されたパーツを組み合わせて新たなシナリオを生成する際に、新たなシナリオに対して、編集に関する情報を付加してもよい。編集に関する情報としては、例えば、以下を採用可能である。
・各パーツがどのシナリオ素材から抽出されたものであるかを表す情報（ステップＳ１１２、Ｓ２１２）。
・各パーツが補正対象のシナリオ素材のパーツであるか、代替パーツであるかの区別（ステップＳ２１２）。

例えば、シナリオ生成処理のステップＳ１１４、Ｓ２１４の後において、生成部は、利用者による新たなシナリオの確認機能を提供してもよい。確認機能には、例えば、以下のような機能を含みうる。
・新たなシナリオの再生。
・新たなシナリオに編集に関する情報がある場合、当該情報の表示。
・利用者の指示に基づくシナリオの再生成（ステップＳ１０２〜Ｓ１１４、または、Ｓ２０２〜Ｓ２１４を再び実行。２度目では、１度目と異なる条件が採用されるように制御してもよい）。
・利用者の指示に基づくシナリオ生成処理の中止。

例えば、シナリオ表示処理の手順ｇ５、ｇ６において、ＨＭＤのＣＰＵは、実行対象のシナリオに含まれている仮想オブジェクトの全てを画像表示部に表示させなくてもよい。例えば、ＣＰＵは、ＨＭＤの利用者の熟練度（レベル）に応じて、手順ｇ５、ｇ６を介して表示する仮想オブジェクトの数を変更してもよい。具体的には、ＣＰＵは、ＨＭＤの利用者の熟練度が低いほど、実行対象のシナリオに含まれている仮想オブジェクトを数多く表示させ、熟練度が高いほど、実行対象のシナリオに含まれている仮想オブジェクトを数少なく表示させてもよい。

例えば、シナリオ表示処理において、ＨＭＤのＣＰＵは、カメラにより取得された外景画像を画像認識して、実行対象のシナリオを自動的に選択し、取得してもよい。この際、例えばＣＰＵは、外景画像に含まれる実オブジェクトの中の特定のオブジェクト（例えば、利用者が手に持っている実オブジェクト）に基づいて、実行対象のシナリオを選択してもよい。

・変形例３：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

例えば、画像表示部の左右の光学像表示部は、上記実施形態の光学部材よりも小さく形成されていてもよい。光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。

例えば、ＨＭＤは、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。例えば、利用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよいし、非透過型ＨＭＤにカメラを搭載したビデオシースルーとして構成してもよい。例えば、ＨＭＤは、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等の身体防護具に内蔵された画像表示部といった、他の態様の画像表示部を備えていてもよい。例えば、ＨＭＤは、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。

・変形例４：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１４…トラックパッド
２０…画像表示部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…接続部
６１…カメラ
１００…ＨＭＤ（頭部装着型表示装置）
３００…情報処理装置
３１０…ＣＰＵ
３１２…取得部
３１３…分割部
３１４…評価部
３１５…生成部
３１６…変換部
３２０…記憶部
３２１…素材記憶部
３２２…模範記憶部
３２３…標準記憶部
３２４…シナリオ記憶部
３３０…電源
３４０…ＲＯＭ
３５０…ＲＡＭ
３６０…入出力部
３７０…無線通信部
３８０…有線通信部
３２１１…シナリオ素材
ＭＮ…手順書
ＵＲ…実演者
ＩＭ１…画像

Claims (26)

1. 情報処理装置であって、
   現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する取得部と、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する分割部と、
   分割された前記分割情報の各々を評価する評価部と、
   前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する生成部と、
   を備え、
   前記取得部は、複数の前記手順情報を取得し、
   前記分割部は、取得された前記複数の手順情報のうち、時系列的な情報を含む少なくとも一部を、それぞれ経時的に分割し、
   前記生成部は、
   時系列が同じ前記分割情報の集合から、前記評価の結果に応じた１つの前記分割情報を選択し、
   選択された前記分割情報を組み合わせて、新たな前記手順情報を生成する、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記生成部は、
   時系列が同じ前記分割情報の集合を、少なくとも１つ以上の条件に従って分類した下位集合から、前記評価の結果に応じた１つの前記分割情報を選択し、
   選択された前記分割情報を組み合わせて、新たな前記手順情報を生成する、情報処理装置。
3. 情報処理装置であって、
   現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する取得部と、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する分割部と、
   分割された前記分割情報の各々を評価する評価部と、
   前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する生成部と、
   模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する模範記憶部と、
   を備え、
   前記取得部は、１つの前記手順情報を取得し、
   前記生成部は、
   前記評価の結果に応じて、分割された前記分割情報のうちの少なくとも一部を、対応する前記模範分割情報と入れ替えることで、新たな前記手順情報を生成する、情報処理装置。
4. 情報処理装置であって、
   現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する取得部と、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する分割部と、
   分割された前記分割情報の各々を評価する評価部と、
   前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する生成部と、
   標準的な前記動作の照合に用いられる情報である標準情報を、少なくとも１つ記憶する標準記憶部と、
   を備え、
   前記評価部は、前記分割情報を、
   前記分割情報内に、前記標準記憶部に記憶されている前記標準情報が含まれているか否かによって評価する、情報処理装置。
5. 請求項１または請求項２に記載の情報処理装置であって、
   前記評価部は、前記分割情報を、
   時系列が同じ前記分割情報の集合内における他の前記分割情報との比較結果を用いて評価する、情報処理装置。
6. 情報処理装置であって、
   現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する取得部と、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する分割部と、
   分割された前記分割情報の各々を評価する評価部と、
   前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する生成部と、
   模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する模範記憶部と、
   を備え、
   前記分割部は、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記模範分割情報と比較することによって分割する、情報処理装置。
7. 情報処理装置であって、
   現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する取得部と、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する分割部と、
   分割された前記分割情報の各々を評価する評価部と、
   前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する生成部と、
   を備え、
   前記分割部は、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記手順情報における前記動作の大きさによって分割する、情報処理装置。
8. 情報処理装置であって、
   現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する取得部と、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する分割部と、
   分割された前記分割情報の各々を評価する評価部と、
   前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する生成部と、
   を備え、
   前記分割部は、
   取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記手順情報における前記仮想オブジェクトの増減によって分割する、情報処理装置。
9. 請求項１から請求項８のいずれか一項に記載の情報処理装置であって、さらに、
   模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する模範記憶部を備え、
   前記評価部は、前記分割情報を、
   対応する前記模範分割情報との比較により評価する、情報処理装置。
10. 請求項１から請求項９のいずれか一項に記載の情報処理装置であって、
    前記評価部は、前記分割情報を、
    前記手順情報に沿った前記動作の結果と、
    前記情報処理装置の利用者による採点結果と、
    前記仮想オブジェクトの画像認識の結果と、
    前記手順情報の作成者の自己採点結果と、
    と、のうちの少なくともいずれか１つを用いて評価する、情報処理装置。
11. 装置を制御する方法であって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１工程と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２工程と、
    分割された前記分割情報の各々を評価する第３工程と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４工程と、
    を備え、
    前記第１工程は、複数の前記手順情報を取得し、
    前記第２工程は、取得された前記複数の手順情報のうち、時系列的な情報を含む少なくとも一部を、それぞれ経時的に分割し、
    前記第４工程は、
    時系列が同じ前記分割情報の集合から、前記評価の結果に応じた１つの前記分割情報を選択し、
    選択された前記分割情報を組み合わせて、新たな前記手順情報を生成する、方法。
12. 請求項１１に記載の方法であって、
    前記第４工程は、
    時系列が同じ前記分割情報の集合を、少なくとも１つ以上の条件に従って分類した下位集合から、前記評価の結果に応じた１つの前記分割情報を選択し、
    選択された前記分割情報を組み合わせて、新たな前記手順情報を生成する、方法。
13. 装置を制御する方法であって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１工程と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２工程と、
    分割された前記分割情報の各々を評価する第３工程と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４工程と、
    模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する第５工程と、
    を備え、
    前記第１工程は、１つの前記手順情報を取得し、
    前記第４工程は、
    前記評価の結果に応じて、分割された前記分割情報のうちの少なくとも一部を、対応する前記模範分割情報と入れ替えることで、新たな前記手順情報を生成する、方法。
14. 装置を制御する方法であって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１工程と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２工程と、
    分割された前記分割情報の各々を評価する第３工程と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４工程と、
    標準的な前記動作の照合に用いられる情報である標準情報を、少なくとも１つ記憶する第６工程と、
    を備え、
    前記第３工程は、前記分割情報を、
    前記分割情報内に、前記第６工程で記憶された前記標準情報が含まれているか否かによって評価する、方法。
15. 請求項１１または請求項１２に記載の方法であって、
    前記第３工程は、前記分割情報を、
    時系列が同じ前記分割情報の集合内における他の前記分割情報との比較結果を用いて評価する、方法。
16. 装置を制御する方法であって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１工程と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２工程と、
    分割された前記分割情報の各々を評価する第３工程と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４工程と、
    模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する第５工程と、
    を備え、
    前記第２工程は、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記模範分割情報と比較することによって分割する、方法。
17. 装置を制御する方法であって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１工程と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２工程と、
    分割された前記分割情報の各々を評価する第３工程と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４工程と、
    を備え、
    前記第２工程は、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記手順情報における前記動作の大きさによって分割する、方法。
18. 装置を制御する方法であって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１工程と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２工程と、
    分割された前記分割情報の各々を評価する第３工程と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４工程と、
    を備え、
    前記第２工程は、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記手順情報における前記仮想オブジェクトの増減によって分割する、方法。
19. コンピュータープログラムであって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１機能と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２機能と、
    分割された前記分割情報の各々を評価する第３機能と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４機能と、
    をコンピューターに実現させるためのコンピュータープログラムであり、
    前記第１機能は、複数の前記手順情報を取得し、
    前記第２機能は、取得された前記複数の手順情報のうち、時系列的な情報を含む少なくとも一部を、それぞれ経時的に分割し、
    前記第４機能は、
    時系列が同じ前記分割情報の集合から、前記評価の結果に応じた１つの前記分割情報を選択し、
    選択された前記分割情報を組み合わせて、新たな前記手順情報を生成する、コンピュータープログラム。
20. 請求項１９に記載のコンピュータープログラムであって、
    前記第４機能は、
    時系列が同じ前記分割情報の集合を、少なくとも１つ以上の条件に従って分類した下位集合から、前記評価の結果に応じた１つの前記分割情報を選択し、
    選択された前記分割情報を組み合わせて、新たな前記手順情報を生成する、コンピュータープログラム。
21. コンピュータープログラムであって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１機能と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２機能と、
    分割された前記分割情報の各々を評価する第３機能と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４機能と、
    模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する第５機能と、
    をコンピューターに実現させるためのコンピュータープログラムであり、
    前記第１機能は、１つの前記手順情報を取得し、
    前記第４機能は、
    前記評価の結果に応じて、分割された前記分割情報のうちの少なくとも一部を、対応する前記模範分割情報と入れ替えることで、新たな前記手順情報を生成する、コンピュータープログラム。
22. コンピュータープログラムであって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１機能と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２機能と、
    分割された前記分割情報の各々を評価する第３機能と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４機能と、
    標準的な前記動作の照合に用いられる情報である標準情報を、少なくとも１つ記憶する第６機能と、
    をコンピューターに実現させるためのコンピュータープログラムであり、
    前記第３機能は、前記分割情報を、
    前記分割情報内に、前記第６機能により記憶されている前記標準情報が含まれているか否かによって評価する、コンピュータープログラム。
23. 請求項１９または請求項２０に記載のコンピュータープログラムであって、
    前記第３機能は、前記分割情報を、
    時系列が同じ前記分割情報の集合内における他の前記分割情報との比較結果を用いて評価する、コンピュータープログラム。
24. コンピュータープログラムであって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１機能と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２機能と、
    分割された前記分割情報の各々を評価する第３機能と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４機能と、
    模範的な前記手順情報のうち、時系列的な情報を含む少なくとも一部が経時的に分割された情報である模範分割情報を記憶する第５機能と、
    をコンピューターに実現させるためのコンピュータープログラムであり、
    前記第２機能は、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記模範分割情報と比較することによって分割する、コンピュータープログラム。
25. コンピュータープログラムであって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１機能と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２機能と、
    分割された前記分割情報の各々を評価する第３機能と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４機能と、
    をコンピューターに実現させるためのコンピュータープログラムであり、
    前記第２機能は、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記手順情報における前記動作の大きさによって分割する、コンピュータープログラム。
26. コンピュータープログラムであって、
    現実世界に付加して表示するための仮想オブジェクトを用いて、一連の動作手順を表した情報である手順情報を取得する第１機能と、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を経時的に分割した情報である分割情報を生成する第２機能と、
    分割された前記分割情報の各々を評価する第３機能と、
    前記評価の結果に基づいて、分割された前記分割情報から新たな前記手順情報を生成する第４機能と、
    をコンピューターに実現させるためのコンピュータープログラムであり、
    前記第２機能は、
    取得された前記手順情報のうち、時系列的な情報を含む少なくとも一部を、前記手順情報における前記仮想オブジェクトの増減によって分割する、コンピュータープログラム。

Images