JP7177175B2 - テキスト・コンテンツからのリッチ・コンテンツの作成 - Google Patents

Description

本開示は、テキスト・コンテンツからリッチ・コンテンツを作成するための装置および方法に関する。例えば、装置および方法は、電子書籍リーダー環境での出力に適したテキスト・データからのビデオおよび／またはオーディオコンテンツのレンダリングに関することがある。

いわゆる電子書籍などのデジタル出版物は、非常に人気があり、そのようなコンテンツは、専用の電子読取装置、スマートフォン、タブレット・コンピュータ、およびディスプレイを有する仮想アシスタント装置を含む広範囲のデジタル装置を使用して表示およびナビゲートすることができる。電子書籍は、実質的に表示可能なテキストからなるファイルから構成される。

１つの実施形態は、電子書籍リーダー環境で出力するためのテキスト・コンテンツを提供する手段と、テキスト・コンテンツの１つ以上の部分に関連するメタデータを受信する手段であって、該メタデータはテキスト・コンテンツの関連する１つ以上の部分のレンダリング指示を規定する手段と、メタデータ内の少なくともレンダリング指示を使用して、１つ以上のテキスト・コンテンツ部分のレンダリングをリッチ・コンテンツ形式にするための手段と、を備える装置を提供する。

この装置は、レンダリングを引き起こすために手段によって使用されるメタデータのうちの少なくともいくつかに対応する１つ以上のリッチ・コンテンツ・モデルをリモートソースから取り出すための手段をさらに備えることができる。

テキスト・コンテンツは、ドキュメント、書籍、または他の出版物に対応することができる。

電子書籍リーダー環境で表示すると、テキスト・データでメタデータを表示できない場合がある。

メタデータはテキスト・データの中で言及されている１つ以上の特徴の属性を記述することができ、特徴属性はテキスト・データの中で言及されていないが、そのような特徴はレンダリングされたとき、その属性を有する。

メタデータは、テキスト・データに言及されているキャラクタ、物、場所、風景、天気、背景、行動の１つ以上の特徴属性を記述することができる。

この装置はメタデータに基づいてテキスト・コンテンツ内の複数のシーンを自動的に決定するための手段をさらに備えることができ、レンダリングを引き起こすための手段は、装置のディスプレイに提示するための１つ以上のシーンのレンダリングを引き起こす。

この装置は、ユーザ入力の手段によって、決定されたシーンのうちの１つ以上のためのメタデータのユーザ修正を可能にするように構成された手段をさらに備えることができる。

ユーザ修正手段は、装置ディスプレイ上にユーザ・インタフェースを提示するように構成されてもよく、インタフェースはテキスト・データに言及されている１つ以上の特徴のユーザ選択を受信することによって修正を可能にし、対応するメタデータの少なくとも一部をパーソナライズされたメタデータで修正して、レンダリングされるときにシーンにパーソナライズされたリッチ・コンテンツを提供するようにする。

ユーザ・インタフェースは、各シーンについてレンダリングされたリッチ・コンテンツの表示中に装置ディスプレイ上に提示されることができる。

この装置は、キャプチャされたデータからリッチ・コンテンツ・フォーマットモデルを生成し、対応するパーソナライズされたメタデータを生成するために、キャプチャされたビデオおよび／またはオーディオデータを手段に提供することによって、１つ以上の選択可能な文字または記述子を作成する手段をさらに備えてもよい。１つ以上のリッチ・コンテンツ・フォーマットモデルは、ビデオコンテンツおよびオーディオコンテンツの一方または両方を備えることができる。ビデオおよびオーディオコンテンツの一方または両方は、仮想現実デバイスに出力するための仮想現実コンテンツであることができる。

この装置は、さらに、テキスト・コンテンツの１つ以上の部分に関連するメタデータを自動的に生成する手段と、電子書籍リーダー環境を有する装置によってリッチ・コンテンツ・フォーマットでレンダリングされる関連部分のレンダリング指示を規定するメタデータとを含むことができる。

メタデータを自動生成するための手段は、テキスト・データを複数の場面部分に分割するように配置することができる。

メタデータを自動生成するための手段はテキスト・データを複数のシーン部分に分割するように、以下の規則の１つ以上の手段によって配置されることができる。異なる段落は異なるシーンを表し、テキスト・データに言及された時間または日付の変化は新しいシーンの開始を表し、テキスト・データに言及された文字の変化は新しいシーンの開始を表し、テキスト・データに言及された位置の変化は新しいシーンの開始を表す。

この装置はさらに、メタデータをユーザが追加することによって、または自動的に生成されたメタデータを修正することによって、自動的に生成されたメタデータを充実させることを可能にするように配置された手段を含むことができる。

メタデータの少なくとも一部は、テキスト・コンテンツのリッチ・コンテンツ・フォーマットバージョンを生成する際にレンダリング装置によって使用される１つ以上のリッチ・コンテンツ・フォーマットモデルに対応することができる。

上記の手段は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つの記憶装置とを備え、少なくとも１つの記憶装置およびコンピュータプログラムコードは少なくとも１つのプロセッサと共に、装置の性能を引き起こすように構成されている。手段は代替的に、または追加的に、他のハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを含むことができる。

別の実施形態は、電子書籍リーダー環境で出力するためのテキスト・コンテンツを提供することと、テキスト・コンテンツの１つ以上の部分に関連するメタデータを受信することと、ここで、該メタデータは、テキスト・コンテンツの１つ以上の関連部分のレンダリング指示を規定するものであり、メタデータ内のレンダリング指示を使用して１つ以上のテキスト・コンテンツ部分をリッチ・コンテンツ・フォーマットにレンダリングすることと、を含む方法を提供する。

別の実施形態は、データ処理装置の１つ以上のプロセッサによって実行されるときに、電子書籍リーダー環境で出力するためのテキスト・コンテンツを提供することと、テキスト・コンテンツの１つ以上の部分に関連付けられたメタデータを受信することと、テキスト・コンテンツの１つ以上の関連付けられた部分のレンダリング指示を規定するメタデータを提供することと、メタデータ内のレンダリング指示を使用して１つ以上のテキスト・コンテンツ部分をリッチ・コンテンツ・フォーマットにレンダリングすることと、を含む方法をデータ処理装置に実行させる、非一時的コンピュータ可読媒体プログラムを提供する。

別の実施形態は、少なくとも１つのプロセッサと、少なくとも１つのコンピュータプログラムコードを含む少なくとも１つの記憶装置と、少なくとも１つのプロセッサを備え、少なくとも１つの記憶装置は少なくとも１つのプロセッサで、電子書籍リーダー環境で出力するためのテキスト・コンテンツを提供することと、テキスト・コンテンツの１つ以上の部分に関連付けられたメタデータを受信することと、ここで、メタデータは、テキスト・コンテンツの１つ以上の関連付けられた部分のレンダリング指示を規定するものであり、メタデータ内のレンダリング指示を使用して１つ以上のテキスト・コンテンツ部分をリッチ・コンテンツ・フォーマットにレンダリングすることと、を記装置に実行させるように構成された、コンピュータプログラムコードと、を含む装置を提供する。

別の実施形態は、少なくとも１つのプロセッサによって実行されるときに、少なくとも１つのプロセッサに、電子書籍リーダー環境で出力するためのテキスト・コンテンツを提供することと、テキスト・コンテンツの１つ以上の部分に関連するメタデータを受信することと、ここで、該メタデータは、テキスト・コンテンツの１つ以上の関連部分のレンダリング指示を規定するものであり、メタデータ内のレンダリング指示を使用して１つ以上のテキスト・コンテンツ部分をリッチ・コンテンツ形式にレンダリングすることと、を含む方法を実行させる、非一時的コンピュータ可読媒体を提供する。

次に、添付の図面を参照して、非限定的な例として、実施形態を説明する。
図１は、電子リーダー端末の一例の正面図である。 図２は、ネットワークを介してＥライブラリに接続された図１の電子書籍リーダー端末を示す模式図である。 図３は、一実施形態例による、ネットワークを介してＥライブラリに接続され、さらに別のユーザ端末およびサーバにも接続された図１の電子書籍リーダー端末を示す模式図である。 図４は、図３に示される電子書籍リーダーまたはユーザ端末のうちの１つ以上の構成要素の模式図である。 図５は例示的な実施形態による、第１のメタデータを生成し、レンダリング装置に提供するための処理動作を示すフロー図である。 図６は別の例示的な実施形態による、第１のメタデータを生成し、レンダリング装置に提供するための処理動作を示すフロー図である。 図７は、別の実施例に従った、メタデータを用いて１つ以上のテキスト部分のレンダリングをリッチ・コンテンツ・フォーマットにさせるための処理動作を示すフロー図である。 図８Ａは、例示的な実施形態による、構文解析動作中のテキスト・コンテンツの一部を示す。 図８Ｂは、一実施形態による、構文解析された図８Ａテキスト・コンテンツから生成されたメタデータの例を示す。 図８Ｃは、例示的な実施形態による、第１および第２のシーンに編成された図８Ｂのメタデータを示す。 図８Ｄは、図８Ｃのシーンのうちの１つのための第１のメタデータに対応し得る複数の代表的なモデルを示す。 図９は例示的な実施形態によるメタデータ生成モジュールの機能モジュールを示す概略図である。 図１０は、例示的な実施形態によるクライアント・エンド・モジュールの機能モジュールを示す概略図である。

説明および図面において、同様の参照番号は、全体を通して同様の要素を指す。

ここでの例は、メタデータに基づくリッチ・コンテンツへのテキスト（または「テキスト」）コンテンツのレンダリングに関する。

テキスト・コンテンツは、例えば、電子書籍、または、電子マガジンまたは電子ジャーナルなどの他のデジタル出版物を含むことができるテキストを表すデータとすることができる。テキストは、例えば、英数字テキスト、または任意の他のタイプのアルファベットまたは文字セットを使用するテキスト、例えば、アラビア語または中国語の用字系であることができる。このコンテキストにおけるリッチデータは、テキストに関連する非テキストの、提示可能なコンテンツ、例えば、電子書籍テキストのビデオおよび／または音声表現のような、テキスト・コンテンツの１つ以上の視覚的および音声的表現を参照することができる。ビデオ表現は、連続するフレームにわたる動きの印象を与えるようにアニメーション化されることができる。

電子書籍は、ユーザが専用電子読取装置端末のような適切な端末、またはパーソナル・コンピュータ（ＰＣ）またはスマートフォンのような、より汎用のコンピュータ端末を使用して書籍を読むための比較的一般的な方法である。また、表示画面を組み込んだディジタル・アシスタント端末は電子書籍および同様の原稿をデータ形式で表示し、ナビゲートするためにも使用可能である。

電子書籍および同様の形態のテキスト・コンテンツは、典型的には電子ライブラリとして知られる遠隔サーバからダウンロードされ、そこから利用者は利用可能なコンテンツタイトルをブラウズおよび検索し、ダウンロードを要求することができる。時には利用者がダウンロードの前に電子書籍に対する支払いを要求され、その場合には通常、支払い情報が予め登録されているか、または購入時にプロンプトされている口座が要求される。電子書籍はＸＭＬに基づくＥＰＵＢフォーマットを含むが、これに限定されない多くの可能なフォーマットを有するデータファイルにおいて提供されることができる。

テキスト・コンテンツのビデオおよび／または音声バージョンのようなテキスト・コンテンツの充実したバージョンを提供し、かつ利用者が利用できることは有利である。これは、電子書籍の本文に記載された物語または物語の再生可能な映像および／または音声版を作成する手段であることができる。これは、様々な理由でテキストを読むことができない利用者にとって有用である。例えば、若い利用者や、テキストの特定の言語を学習する過程にいる利用者である。他の例としては、テキストを読むことを困難にする視覚課題を有するユーザが挙げられる。利用者は、おそらく、電子書籍内の特定のキャラクタまたはシーンを視覚化するなど、代替的な方法で本を単に消費したいと思う場合がある。利用者は、何らかの方法で電子書籍をパーソナライズしたい場合がある。

本明細書の実施形態は、電子書籍のビデオバージョンのレンダリングに焦点を当てるが、本明細書で開示される方法およびシステムから逸脱することなく、オーディオ、またはビデオとオーディオの組合せなど、他のリッチ・コンテンツ・フォーマットへのレンダリングも可能であることを理解されたい。さらに、リッチ・コンテンツは、３次元ビデオおよび／または空間オーディオデータであってもよく、バーチャルリアリティヘッドセットまたは他のバーチャルリアリティユーザ端末にレンダリングするためのバーチャルリアリティデータを含んでもよい。場合によっては、リッチ・コンテンツによって、レンダリングされたシーンとの利用者インタラクションが可能になることがある。例えば、いくつかの実施形態はユーザ、例えば、作者および／またはエンド・ユーザが生成されたリッチ・コンテンツの態様を調整し、修正し、および／または個人化することを可能にすることができる。

概観すると、実施形態はテキスト・コンテンツに関連付けられたメタデータを提供することを含み、後者は、電子書籍リーダー環境での出力に適している。電子書籍リーダー環境はユーザがユーザ端末でテキストを提示し、閲覧することができる、表示可能な任意のユーザ環境である。電子書籍リーダー環境は、専用の電子書籍リーダーで提供することも、コンピュータ、スマートフォン、タブレット・コンピュータなどの非専用デバイスで提供することもできる。電子書籍リーダーは、例えば、バーチャルリアリティまたは同様の電子ディスプレイデバイスを介して、２次元電子ディスプレイ上に、または３次元で提示されることができる。メタデータは通常提示されず、通常のやり取りによっても、電子書籍リーダー環境ではアクセスできない場合がある。したがって、メタデータは、少なくとも従来の読者にとっては隠されたデータと見なすことができる。メタデータは電子書籍データと共に移送可能であってもよく、単一ファイルまたは複数の関連ファイルまたはリンクされたファイルで提供されることができる。

例えば、メタデータは、遠隔サーバに記憶された１つ以上のアニメーションまたは適応可能なビデオ・モデルのような、１つ以上のリッチ・コンテンツ・モデルに対応することができる。適応型ビデオ・モデルは、メタデータの削除、置換、追加などによって変更できるモデルである。ビデオ・モデルのアニメーションは、例えば、ストリーミング送信を使用して、利用者端末でのレンダリング動作の一部として、または利用者端末がアニメーション・モデルを受信する別の端末で実行することができる。ビデオ・モデルは、いくつかの例を挙げると、人々、動物、物体、風景、場所、衣服、および衣服のうちの１つ以上を含むことができる。アニメーション化は、１つ以上のモデルに１つ以上のモーション特性を与えることを含むことができ、メタデータの他の部分に基づいて、例えば、引用符で示される人物の歩行、走行、および／または話すテキストを作成することに基づいて決定することができる。

図１は、例えば、電子書籍リーダー端末、タブレット・コンピュータ、パーソナル・コンピュータ、ディジタル・アシスタント、または電子書籍リーダー環境を提供するための他のタイプのコンピュータ端末であることができる、第１のユーザ端末１０の例を示す。第１のユーザ端末１０は、ディスプレイスクリーン１４を有する本体１２を含むことができる。表示スクリーン１４は任意の適切なタイプのものであってよく、例えば、発光ダイオード（ＬＥＤ）スクリーン、液晶ディスプレイ（ＬＣＤ）スクリーン、薄膜トランジスタ（ＴＦＴ）スクリーンまたはプラズマスクリーンを含んでもよい。表示画面１４は、図１において、電子読者環境における電子書籍からのテキストの一部を表示している。第１のユーザ端末１０はまた、１つ以上のスピーカ１６、１つ以上のマイクロフォン１８、および１つ以上のカメラ２０を備えることができる。第１のユーザ端末１０はセルラ（３Ｇ／４Ｇ）トランシーバまたは他の無線インタフェース（例えば、ＷｉＦｉトランシーバ）のような通信インタフェースを含み、電子ライブラリのような遠隔ソースからのデータのダウンロードのためにインターネットのようなデータ通信ネットワークへの接続を可能にすることができる。

図２は、インターネットのようなインターネットプロトコル（ＩＰ）ネットワーク４０に接続された図１の第１のユーザ端末１０を示す。この接続は、従来の有線または無線通信の手段によるものであってもよく、ネットワークは代わりに、ＩＰ以外のプロトコルを使用する通信ネットワークであることができる。また、ＩＰネットワーク４０には、電子ライブラリ３０が接続されており、そこから１つ以上の電子書籍を閲覧し、検索し、ダウンロードのために選択することができる。いくつかの実施形態において、１つ以上の電子書籍は、電子リーダー環境を介して出力するためのテキスト・データを表すデータを含むファイルとしてダウンロードされることができる。

図３は、図２と同様に、別のネットワーク図であり、さらに、サーバ・コンピュータ５０と、ＩＰネットワーク４０に接続された第２のユーザ端末７０とが設けられている。

この実施例では、第１のユーザ端末１０は、表示画面１４を使用して表示するために、テキスト・データに関連するメタデータに基づいて、テキスト・データをビデオおよび／またはオーディオデータに少なくともレンダリングするために、ソフトウェア、ハードウェア、またはそれらの併用として提供されることができるクライアントエンド部６０をさらに備える。第１の利用者端末１０は第１の利用者に関連付けられており、典型的には、テキスト・データバージョンを読んだり、リッチ化されたバージョンをビデオで見たり、音声で聴いたりすることによって、電子書籍を消費することを望む人がいると仮定される。

サーバ・コンピュータ５０は、テキスト・データに関連するメタデータに対応する１つ以上のデータ・モデルを提供するための手段を備えることができ、このデータ・モデルは後述するように、電子書籍テキストのビデオおよび／またはオーディオフォーマットバージョンをレンダリングする際に使用することができる。以下に説明するサーバ・コンピュータ５０の機能はある実施形態では２つ以上のサーバ・コンピュータ５０を使用して実行することができ、これはおそらく互いに離れた場所にある。例えば、第１のデータ・モデルの設定を第１のサーバ・コンピュータ５０上に格納し、第２のデータ・モデルの設定を異なるサーバ・コンピュータ上に格納することができる。「サーバ・コンピュータ」という用語は、特定の形態のコンピュータに限定することを意図したものではない。サーバ・コンピュータ５０の機能はある実施形態では、利用者に関連する１つ以上のコンピュータ、例えば、１つ以上のパーソナル・コンピュータ、タブレット・コンピュータ、ディジタル・アシスタントおよびスマートフォンに記憶することができる。

第２のユーザ端末７０は、任意の形態のコンピュータ端末とすることができる。第２のユーザ端末７０は別のユーザ、例えば、電子ライブラリ３０に記憶された電子書籍の著者と関連付けられることができる。第２のユーザ端末７０は例えば、電子書籍リーダー端末、タブレット・コンピュータ、パーソナル・コンピュータ、ディジタル・アシスタントまたは他のタイプのコンピュータ端末であることができる。

例示的な実施形態では、第２のユーザ端末７０が、特定の電子書籍のテキスト・データからメタデータを生成するための、ソフトウェア、ハードウェア、またはそれらの組合せとして提供され得るメタデータ生成モジュール８０をさらに備えることができる。メタデータの生成の少なくとも一部は以下に説明するように、自動的に実行されることができる。さらに、メタデータ生成モジュール８０は、例えば、以前のメタデータを追加、削除または置換するために、メタデータの手動生成および／または以前に自動生成されたメタデータの修正をさらに可能にすることができる。さらに、メタデータ生成モジュール８０は、テキスト・データに関連する現在のメタデータに基づいて、テキスト・データをビデオデータにレンダリングし、第２のユーザ端末７０の表示画面を使用して表示することをさらに可能にすることができる。これは現在のメタデータから導かれたビデオデータの閲覧を可能にすることであり、これは利用者に、現在の出力に基づいて修正を行うように促したり、誘導したりする可能性がある。

ある実施形態では、メタデータ生成モジュール８０が代替のユーザ端末、または実際にはＩＰネットワーク４０に接続された任意のコンピュータ端末で提供されることができる。例えば、メタデータ生成モジュール８０は、第１のユーザ端末１０で提供されることができる。

図４は、第１および第２のユーザ端末１０、７０の一方または両方の構成要素の模式図である。簡単にするために、図４は第２のユーザ端末７０の構成要素を示すものと仮定する。第２のユーザ端末７０は、プロセッサ１００、プロセッサに密接に結合され、ＲＡＭ １０２およびＲＯＭ １０３、ハードウェアキー１０６および表示装置１０８から構成されるメモリ１０４を有することができる。第２のユーザ端末７０は、ＩＰネットワーク５０などのネットワークに接続するための１つ以上のネットワークインタフェース１１０を備えてもよく、１つ以上のネットワークインタフェースは例えば有線または無線データ通信であることができるモデムである。

プロセッサ１００はその動作を制御するために、他の各構成要素に接続される。

メモリ１０４は、リードオンリーメモリ、ハードディスクドライブ、またはソリッドステートドライブのような不揮発性メモリから成る。ＲＯＭ １０３はとりわけ、オペレーティングシステム１１２を記憶し、ソフトウェアプリケーション１１４を記憶することができる。ＲＡＭ １０２は、データの一時記憶のために制御部１００によって使用される。オペレーティングシステム１１２は、プロセッサ１００によってＲＡＭ１０２と共に実行されると、第２のユーザ端末７０のハードウェア構成要素の各々の動作を制御するコードを含むことができる。

プロセッサ１００は、任意の適切な形態をとることができる。例えば、マイクロコントローラ、複数のマイクロコントローラ、プロセッサ、または複数のプロセッサであることができる。

いくつかの実施形態では、第２のユーザ端末７０が外部ソフトウェアプリケーションに関連付けられてもよい。これらは、リモート・サーバ・デバイスに格納されたアプリケーションであってもよく、リモート・サーバ・デバイス上で部分的または排他的に実行される場合もある。これらのアプリケーションは、クラウドホスト型アプリケーションと呼ばれる場合がある。第２のユーザ端末７０はそこに記憶されたソフトウェアプリケーションを利用するために、遠隔サーバ装置と通信することができる。

前記ソフトウェア・アプリケーション１１４の１つは、図３に示すメタデータ生成モジュール８０を含むことができる。

概要では、メタデータ生成モジュール８０が電子書籍との関連付けのためのメタデータを生成する。これを実施することができる例示的な方法を以下に説明する。次に、その関連するメタデータを有する電子書籍を、図３に示されているエンド・ユーザ５５のようなエンド・ユーザに提供することができる。メタデータは、例えば、表示可能な電子書籍テキストとバンドルされ、第１のユーザ端末１０に送信されてもよく、それにより、クライアント・エンド・モジュール６０は、メタデータを使用して、電子書籍をリッチなビデオおよび／またはオーディオフォーマットにレンダリングする。先に示したように、これは、レンダリング処理の前または処理中に、メタデータに基づいて、サーバ５０から１つ以上のリッチデータモデルを取得することを含むことができる。先に示したように、クライアント・エンド・モジュール６０は、メタデータを作成および／または変更するためにも使用することができる。

メタデータは、電子書籍テキストの１つ以上の部分に関連するレンダリング指示を規定する。このようなレンダリング表示は、豊富な内容をレンダリングするためのレンダリング手段によって使用可能な任意の形式のメタデータを含むことができる。例えば、そのようなレンダリング指示はビデオおよび／またはオーディオコンテンツがどのように、どこで、いつ、そしてなぜレンダリングされるかを規定することができる。例えば、１つ以上のレンダリング指示は、取得する１つ以上のビデオおよび／またはモデル、モデルが保存される場所、それらがレンダリングされる場所および／または何のアクションに応答するか、を規定することができる。

図５は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組み合わせで実行されて、メタデータ生成モジュール８０（この場合、電子書籍作成者７５に関連付けられた第２のユーザ端末７０に提供される）を提供することができる処理動作を示すフロー図である。当然のことながら、特定の動作は、追加、削除、または再順序付けされることができる。なお、動作回数は、必ずしも処理順序を示すものではない。

第１の動作５１０は、電子書籍リーダー環境のためのテキスト・コンテンツを提供することを含むことができる。例では、テキスト・コンテンツは電子書籍リーダー環境のテキストである。提供されたテキスト・コンテンツは、任意の場所、例えば電子ライブラリ３０から受け取ることができる。

第２の動作５２０は、テキスト・コンテンツを構文解析することによって第１のメタデータを自動的に生成することを含むことができる。自動構文解析は、以下で説明する１つ以上のプログラムされた規則に従うことができる。

第３の動作５３０は、第１のメタデータを用いてテキスト・コンテンツをリッチフォーマットにレンダリングするための第１のメタデータをレンダリング装置に提供することを含むことができる。レンダリング装置は例えば、第１のメタデータに基づいてレンダリングするための、関連するクライアントエンド部６０を有する第１のユーザ端末１０であることができる。

テキスト・コンテンツの解析による第１のメタデータの自動生成には、例えば、次の操作が含まれる場合がある。構文解析は、メタデータ生成モジュール８０の一部として提供される１つ以上の規則を使用して行われてもよい。

例えば、電子書籍テキスト内の１つ以上の文字を識別することができる。これは、パイソン・ネームパーサ（ｐｙｔｈｏｎ－ｎａｍｅｐａｒｓｅｒ）のような名前パーサを使う手段であることができる。これはテキスト中の個々の単語を名前の保存された辞書と比較することができる。これは代替的にまたは追加的に、大文字の最初の文字を有する固有名詞を識別し、場合によっては次に、記憶された名前の辞書と比較することを含むことができる。

例えば、電子書籍テキスト内の１つ以上の場所を識別することができる。これは例えばパイソン・ネームパーサ（ｐｙｔｈｏｎ－ｎａｍｅｐａｒｓｅｒ）に似たものを使って、場所（ｐｌａｃｅ）や位置（ｌｏｃａｔｉｏｎ）パーサを使って実行できる。これはテキスト中の個々の単語を場所や位置の名称の保存された辞書と比較することができる。これは、代替的に、または追加的に、大文字の最初の文字を有する固有名詞を識別すること、および／または場所または場所名の格納された辞書に見つけることを含むことができる。その例は、「ロンドン」、「ニューヨーク」、「ベッドルーム」、「キッチン」、「ショッピングモール」などを含む。

例えば、電子書籍テキスト内の１回以上またはタイムラインを特定することができる。これは、例えば、日（例えば、月曜日～日曜日）、日付（例えば、ｄｄ／ｍｍ、ｄｄ／ｍｍ／ｙｙ、または同様の形式の任意のもの）、または月または季節（例えば、２０１５年９月、２０１７年夏、または同様のもの）などの短縮ラベルなどの、テキスト内の個々の単語を時間関連ラベルの格納された辞書と比較することができるパイソン・ネームパーサ（ｐｙｔｈｏｎーｎａｍｅｐａｒｓｅｒ）に類似する何かを使用して、タイムラインパーサを使用し実行することができる。

例えば、電子書籍テキスト内の１つ以上の気象記述子を識別することができる。これは、例えば、テキスト内の個々の単語を、「日当たり」、「曇り」、「雨」、「薄暗い」などの気象関連ラベルの記憶された辞書と比較することができる、パイソン・ネームパーサ（ｐｙｔｈｏｎ－ｎａｍｅｐａｒｓｅｒ）に類似する何かを使用する記述子パーサを使用した手段によるものであることができる。

例えば、電子書籍テキスト内の１つ以上の衣装記述子を識別することができる。これは、例えば、パイソン・ネームパーサ類似する何かを使用する別の記述子パーサを使用した手段によることができ、「ブルージーンズ」、「レッドエプロン」、「ブラックシューズ」などの衣装関連ラベルの格納された辞書とテキスト内の個々の単語を比較することができる。

他の実施形態では、自然言語処理（ＮＬＰ）の使用が、例えば、機械学習モデルおよび／または人工ニューラルネットワークに関連して採用され、テキストの一部から１つ以上の単語カテゴリを識別し、単語を、例えば、文字名、位置、時間またはタイムライン、気象記述子、および／または衣装記述子として分類するように訓練されることができる。

第１のメタデータは、例えば、サーバ５０に記憶された１つ以上のリッチ・コンテンツ・モデルに少なくとも部分的に対応するような方法で生成されることができる。

第１のメタデータの設定は、電子書籍テキストの論理部分に対して生成されることができる。例えば、電子書籍テキストは、段落、章または他のセクションに分割されてもよく、各々について順番に生成された第１のメタデータのセットであることができる。

第１のメタデータを生成した後、一実施形態では、メタデータが電子書籍テキストと共に第１のユーザ端末１０に提供されることができる。第１のユーザ端末１０において、クライアント・エンド・モジュール６０は、次に、サーバ５０から１つ以上のリッチ・コンテンツ・モデルを取得して、例えば、基本的アニメートされた、メタデータに対応する１つ以上のモデルを用いてテキストのビデオバージョン、例えば、特定の日付上の位置における、特定のコスチュームを装着し、特定の天気を経験するキャラクタをレンダリングすることができる。

いくつかの実施形態において、第１のメタデータ生成の一部として構文解析されない残りのテキストは、さらなる構文解析を受けることができる。例えば、引用符「」内の任意のものは、クライアント・エンド・モジュール６０で音声に変換されるか、またはレンダリング時に音声バブル画像と共に表示される音声とみなすことができる。

いくつかの実施形態では、第１のメタデータの改良が第１のユーザ端末１０に送信する前に、例えば、著者によって実行されることができる。

図６は、メタデータ生成モジュール８０を提供するために、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せで実行され得る、別の例示的な実施形態の処理動作を示すフロー図である。当然のことながら、特定の動作は、追加、削除、または再順序付けされることができる。なお、動作回数は、必ずしも処理順序を示すものではない。

第１の動作６１０は、電子書籍リーダー環境のためのテキスト・コンテンツを提供することを含むことができる。例では、テキスト・コンテンツは電子書籍リーダー環境のテキストである。提供されたテキスト・コンテンツは、任意の場所、例えば電子ライブラリ３０から受け取ることができる。

第２の動作６２０は、テキスト・コンテンツを構文解析することによって第１のメタデータを自動的に生成することを含むことができる。自動構文解析は１つ以上のプログラムされた規則、例えば、動作５２０に関連して上述した規則のいずれかに従うことができる。

任意選択である第３の動作６３０は、第１のメタデータに基づいて複数のシーンを自動的に決定することを含むことができる。この判定は、以下に記載されるような１つ以上のプログラムされた規則に従うことができる。いくつかの実施形態では、シーン決定が例えば、シーンの自動割り当てを修正するために、手動で実行されることができる。

第４の動作６４０はオプションであり、第１のメタデータを使用して、１つ以上のテキスト部分をリッチ・コンテンツ・フォーマットにレンダリングすることを含むことができる。これは、第２の利用者端末７０、例えば、著者または別のエンティティ７５に関連する利用者が生成されたリッチ・コンテンツ・フォーマットのテキスト・コンテンツ・フォーマットデータ、例えば、第１のメタデータに基づいて生成されたビデオバージョンをプレビューすることを可能にすることができる。

第５の動作６５０はユーザ入力を受信して第１のメタデータを修正し、そこから新しいメタデータを生成することを含むことができる。修正は、第１のメタデータの１つ以上の部分に追加すること、除去すること、および置き換えることのうちの１つ以上を含むことができる。

第６の動作６６０は新しいメタデータを使用してテキスト・コンテンツをリッチフォーマットにレンダリングするために、レンダリング装置に新しいメタデータを提供することを含むことができる。レンダリング装置は、例えば、前記新しいメタデータに基づいてレンダリングするための関連するクライアント・エンド・モジュール６０を有する第１のユーザ端末１０であることができる。

したがって、この実施例は、著者または何らかの他の人またはエンティティ７５が、例えば、自動構文解析から知覚できる誤りを訂正し、および／または何らかの欠落した情報を埋めるために、第１のメタデータを修正することを可能にする。修正は、エンド・ユーザまたはリーダーに関連付けられた装置または端末に提供する前にメタデータにアクセスして、人間または自動校正コンピュータとすることができる任意の人またはエンティティによって実行することができる。そのような人またはエンティティ７５は、「校正エンティティ」と呼ばれることがある。

修正されたメタデータは、テキスト・データの中で言及される１つ以上の特徴の属性を記述することができる。結果の特徴属性は、前のテキスト・データでは言及されていない可能性がある。特徴は、レンダリングされると、前記属性を有することができる。例えば、メタデータは、テキスト・データ中に言及されているキャラクタ、物、場所、風景、天気、背景および行動の１つ以上の特徴属性を記述することができる。例えば、特定のキャラクタについて、そのキャラクタの外観、サイズまたは顔の表情の１つ以上の属性を、修正されたメタデータに含めることができる。例えば、特定位置について、そのロケーションで何が起こっているか、または、それが昼間か夜間かに関係する１つ以上の属性を、変更されたメタデータに含めることができる。

第３の動作６３０は例えば、第１のメタデータに基づいて、以下のルールのセットのうちの１つ以上に従うことによって、複数のシーンを自動的に決定することを含むことができる。
(i)電子書籍テキストのあらゆる段落、章、または他の文学的部は、明確な場面である。
(ii)すべての日付または時間の変化は、シーンの終了（および新しいシーンの開始）に対応する。
（iii）すべての場所の変化は、シーンの終わり（および新しいシーンの始まり）に対応する。
（iv）シーン内に現れるすべての新しいキャラクタは、新しいシーンの開始に対応する。

例えば、校正エンティティ７５はさらに、ユーザ入力を介して、電子書籍テキストをさらなるシーンに分割し、および／または、ルールによって自動的に分割された２つ以上のシーンを１つのシーンに結合することができる。

第４の動作６４０は、第１のメタデータのレンダリングされたプレビュー（シーン分割によって修正される可能性があるが）を校正エンティティ７５に許可することができる。これは、１つ以上のリッチ・コンテンツ・モデルを、第１のメタデータに対応するサーバ５０からプルし、レンダリング・エンジンを使用してレンダリングすることを手段することによって可能である。これは、シーンごとに実行することができる。

第５の動作６５０は、校正エンティティ７５が第１のメタデータを修正することを可能にすることができる。例えば、これは、シーンごとに、おそらく関連する文章と同時に第１のメタデータを示し、その選択および修正を可能にするユーザ・インタフェースの手段によるものであることができる。例えば、これは、それぞれの場面のレンダリングされたプレビューと同時に表示されるユーザ・インタフェースの手段によって可能であり、特定のメタデータの選択および修正を可能にする。次に、特定のシーンは校正エンティティ７５が修正されたメタデータの効果をプレビューできるように、メタデータの修正に続いて再レンダリングされることができる。

第１のメタデータの修正は例えば、修正目的のためであることができる。例えば、キャラクタ「サム（Ｓａｍ）」を含む第１のメタデータが男性リッチ・コンテンツ・モデルのサーバ５０からの検索をもたらす場合、実際に「サム（Ｓａｍ）」が女性を参照するとき、校正エンティティ７５は、第１のメタデータの対応する部分を、男性ではなく女性のキャラクタを参照するように修正することができる。

第１のメタデータの修正は、例えば、第１のメタデータと区別できない詳細を記入するためのものであったり、明確に表示されないものであったりすることがある。例えば、第１のメタデータが色を持たない部屋のモデルに帰着する場合、校正エンティティ７５は、例えば、色を指定するために、部屋のメタデータに関連するメタデータをさらに追加することができる。部屋 －＞ 赤い部屋。

他の修正は、サイズ、発話、衣服、照明、および他の記述子のうちの１つ以上、例えば、誰かが何らかの方法で話している（例えば、怒鳴る、ハミングする、混乱させる、ささやく）、色がどれほど鮮やかであるか、などに関連し得る。

他の修正は、キャラクタの個人化を含むことができる。変更には、既存のメタデータへの新しいメタデータの追加、既存のメタデータの変更（置換など）、または既存のメタデータの削除が含まれる場合がある。

例えば、校正エンティティ７５は、１つ以上のパーソナライズされたキャラクタをサーバ５０にアップロードすることができる。パーソナル化されたキャラクタは、３Ｄスキャナ、または、ノキアのＯＺＯカメラなどの立体カメラ、または同様のものを使用してキャプチャすることができる。パーソナライズされたキャラクタの音声は、ステレオまたは空間オーディオフォーマットであり得る同様の装置を使用してキャプチャされ得、またアップロードされ得る。例えば、特定の俳優のモデルはサーバ５０での選択に利用可能であり、事前にキャプチャされている。校正エンティティ７５は、例えば、
ミスター・スミス → 一般的な男性、
ミセス・スミス → 一般的な女性、
のようにメタデータ内の個々の文字に対して使用される１つ以上のモデルを選択することができ、
ミスター・スミス → 俳優#５、
ミセス・スミス → 女優＃３、
のように修正することができる。

任意の形態のパーソナライズされたコンテンツは、校正エンティティ７５に対して、多数のオプションを提供するために、または、別のユーザに、リッチ・コンテンツ・フォーマットのシーンのレンダリングに影響を与えるメタデータを精細化またはパーソナライズするために、サーバ５０にアップロードすることができる。

校正エンティティ７５が、プレビューされレンダリングされたリッチ・コンテンツに満足すると、それらは、新しいメタデータを、関連する電子書籍にコミットすることができ、それは次に、電子ライブラリ３０、例えば、または別のネットワーク位置に格納される。

続いて、電子ライブラリ３０または他のネットワーク位置から電子書籍をダウンロードする任意のユーザが、リッチ・コンテンツバージョンをレンダリングするためのメタデータをダウンロードすることもできる。例えば、第１の利用者端末１０に関連する第１の利用者５５は電子書籍をダウンロードすることができ、いくつかの実施形態では、テキスト・コンテンツのみをダウンロードするオプション、またはエンリッチメントのためのメタデータも与えることができる。

前述したように、サーバ５０の機能は、異なる種類のモデルを記憶する可能性のある２つ以上のサーバによって提供することができ、前記機能は１つ以上のユーザ端末によって実行されることができる。サーバ５０への参照は、特定のタイプのコンピュータに限定することを意図したものではない。

図７は、第１のユーザ端末１０においてクライアント・エンド・モジュール６０を提供するために、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せで実行され得る、別の例示的な実施形態の処理動作を示すフロー図である。当然のことながら、特定の動作は、追加、削除、または再順序付けされることができる。なお、動作回数は、必ずしも処理順序を示すものではない。また、クライアント・エンド・モジュール６０に関連して説明された機能は、メタデータに基づいてテキスト・コンテンツをレンダリングするという点で、第２のユーザ端末７０に提供されることができることが理解される。

第１の動作７１０は、例えば電子書籍のためのテキスト形式でテキストを表示することができる環境など、電子読取り装置環境のためのテキスト・コンテンツを提供することを含むことができる。この提供は、電子ライブラリ３０または別のネットワーク位置から受信されたテキスト・コンテンツを含むことができる。

第２の動作７２０は、テキスト・コンテンツの１つ以上の部分に関連するメタデータを提供することを含むことができる。メタデータは、図５および図６に関連して上述した動作で導出された第１のメタデータまたは新しいメタデータであることができる。メタデータは、テキスト・コンテンツに関連して受信され、電子ライブラリ３０または別のネットワーク位置から受信されることができる。

第３の動作７３０は、メタデータを使用して、１つ以上のテキスト部分をリッチ・コンテンツ・フォーマットにレンダリングすることを含むことができる。

レンダリングは、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せを備えることができるレンダリング・エンジンによって実行することができる。レンダリングは実行するレンダリングのタイプ（ビデオのみ、オーディオのみ、両方の組み合わせ、バーチャルリアリティレンダリングなど）に基づいて行うことができる。レンダリング・エンジンは、専用のグラフィックス処理ハードウェアに関連付けることができる。レンダリング・エンジンはサーバ５０から１つ以上のリッチ・コンテンツ・モデルを受け取ることができ、これらを処理して、モデルを表示し、場合によってはアニメーション化することができる。前記リッチ・コンテンツ・モデルの表示装置およびアニメーションの特性は、メタデータの少なくとも一部を採用することができる。

例えば、レンダリング・エンジンは、自然言語処理（ＮＬＰ）または何らかのルールベースまたは機械学習法を使用して、移動またはアニメーションを示すメタデータを復号化することができる。例えば、上述のメタデータ生成プロセスでは、テキスト内に引用符が存在すると、シーンに対して以下のようなメタデータが生成される可能性がある。

ミスター・スミスに対して
－＞ 口をアニメーション化し、スピーチバブル「猫に餌をあげることができるか？」を見せる、あるいは、
ミスター・スミスに対して
－＞ 口をアニメーション化し、「猫に餌をあげることができるか？」と音声を再生する。

メタデータの下線部分はレンダリング・エンジンによってデコード可能であり、この場合、ミスター・スミスのモデルを使用してレンダリングされた出力を生成する一方で、引用された音声を音声として表示または再生する。

メタデータは第１のユーザ端末１０におけるクライアント・エンド・モジュール６０のレンダリング・エンジンによって復号できるように、任意の適切な形態で提供することができる。任意の適切なレンダリング方法を使用することができる。

完全性のために、図８Ａから図８Ｄはテキスト・コンテンツデータを生成し、メタデータにレンダリングし、次にメタデータからレンダリング可能なコンテンツにレンダリングするプロセスをグラフィカルな形で示している。

図８Ａは、図１の電子書籍リーダー端末からのテキスト・コンテンツ１２０の一部を示す。

上記の規則に基づいてテキスト・コンテンツを構文解析する第１の動作は、様々なタイプの内容に対応する様々な下線の手段によって示される。

図８Ｂは、３つのキャラクタ、日、天気、衣装、物、およびアクションを含む生成された第１のメタデータ１３０を示す。この第１のメタデータ１３０は、自動的に生成され得る。

図８Ｃは、第１および第２のシーン１４０、１４２に編成された第１のメタデータ１３０を示し、これは、上述の方法に基づいて自動的に実行される。第２のシーン１４２はテキストが別個のパラグラフにあることにより、第１のシーン１４０から分割される。たとえテキストが単一の段落にあったとしても、新しい文字（ヘンリー）がこの段落に出現するので、そうでなければ、同じ分割が生じる。

図８Ｄは、第２のシーン１４２のための第１のメタデータ１３０に対応し得る代表的なモデル１５０を示す。これらのモデル１５０はクライアント・エンド・モジュール６０によってアニメートするために、サーバ５０に記憶され、そこから検索されることができる。検索されたモデル１５０は、第２のシーン１４２の第１のメタデータに対応する。

ミセス・スミス －＞ 一般的な女性１５１、
ミスタ－・スミス －＞ 一般的な男性１５２、
ヘンリー －＞ 一般的な男性１５３、
土曜日 －＞ テキストのキャプション１５４、
赤色エプロン －＞ 赤色エプロン１５５、
卵 －＞ 鍋（パン）の一般的な卵１５６、
携帯電話 －＞ 一般的な携帯電話１５７、
誕生日ケ－キ －＞ 一般的なケーキ１５８、
猫 －＞ 一般的な猫１５９、
口笛 －＞ 一般的なホイッスリングオーディオ１６０、
等、を含むことができる。

校正エンティティ７５は、いくつかの例において、このメタデータを変更することができる。例えば、校正エンティティ７５は猫が物として第２のシーン１４２メタデータ内で検出されるが、実際にはシーン内に存在することが意図されていないことに留意することができる。したがって、校正エンティティ７５は、メタデータから猫を除去することができる。第２のシーンに実際には現れないヘンリーについても同様である。校正エンティティ７５は、例えば、第１のメタデータを記入または変更するために、メタデータを追加するいくつかの例において可能である。例えば、校正エンティティ７５は、風景または場所が大きな台所であり、口笛が「ハッピーバースデー」の曲に対応するオーディオであることを指定することができる

校正エンティティ７５によって更新されるように、第１のメタデータ１３０を含む新しいメタデータを保存すると、新しいメタデータは、クライアント・エンド・モジュール６０でレンダリングするためにエンド・ユーザに利用可能にされ、モデル１５０の少なくともいくつかを検索することによってアニメーション化されたシーンを生成し、例えば、キャプション１５４にテキストを追加し、おそらく、メタデータ内の他のデータに従ってそれらをアニメーション化することによって、それらを完了する。

いくつかの実施形態では、個人化がクライアント・エンド・モジュール６０で許可される。これは校正エンティティ７５に利用可能な上記オプションのいずれかを含むことができるが、メタデータが一般にエンド・ユーザの電子書籍リーダー環境から隠されることを考慮すると、エンド・ユーザ５５は、おそらく、異なるユーザ・インタフェースを介してコンテンツをパーソナライズすることを許可されている。

例えば、エンド・ユーザ５５は、ユーザ・インタフェースを介して、１つ以上のパーソナライズされたキャラクタをサーバ５０にアップロードすることができる。個人化されたキャラクタはＮｏｋｉａのＯＺＯカメラのような空間カメラを用いてキャプチャされることができるし、または同様のものであることができる。パーソナライズされたキャラクタの音声は、ステレオまたは空間オーディオフォーマットであり得、同様の装置を使用してキャプチャされ、また、アップロードされ得る。例えば、特定の俳優のモデルはサーバ５０での選択のために利用可能であり、事前にキャプチャされアップロードされている。エンド・ユーザ５５は、メタデータ内の個々の文字に対して使用される１つ以上のモデルを選択することができる。例えば、エンド・ユーザ５５は、空間カメラを使用して、自分自身、または１人もしくは家族のメンバーまたは友人をキャプチャして、テキスト・コンテンツの任意のそのようなレンダリングされたバージョンで使用するための自分自身の仮想現実モデルを生成することができる。例えば、エンド・ユーザ５５は、特定の予め選択された俳優を、電子書籍の特定のキャラクタとして「スター」とするように選択することができる。

いくつかの実施形態では、エンド・ユーザ５５が、電子ライブラリ３０またはサーバ５０に登録されたアカウントを有することができ、このアカウントは、自分自身および友人または家族のキャプチャされたバージョンなどの個人化されたキャラクタおよび／またはオブジェクトのグループを格納し、アクセスすることを可能にし、現在の電子書籍のレンダリングされたバージョンに配置するために前記キャラクタおよび／またはオブジェクトを選択することができるようにすることができ、その選択は他の場所で生成された対応するメタデータを、汎用モデルの代わりに個人化されたモデルのレンダリングを引き起こすメタデータの１つ以上の新しい部分と置き換えることをもたらすことができる。

図９は、本発明の一実施形態によるメタデータ生成モジュール８０の機能モジュールを示す模式図である。テキストパーサモジュール１７２はルールまたはモデルに従って第１のメタデータを自動的に生成するために、テキストを構文解析するためのものである。シーンパーサ１７２は別個のシーンを自動的に決定し、それに応じて第１のメタデータを分割するためのものである。プレビュー・レンダリング・エンジン１７３は第１のメタデータに基づいてシーンの少なくともレンダリングされたプレビューを提供するためのものであり、シーン単位で実行することができる。オーサリング（または校正）ユーザ・インタフェース１７４は、第１のメタデータの一部の変更を可能にするためのものであり、例えば、レンダリングされた内容に基づいて第１のメタデータを削除、追加、または変更して、作成者または他の個人またはエンティティが詳細を入力または修正したり、新しい詳細を追加したりできるようにする。

図１０は、一実施形態における、例のクライアント・エンド・モジュール６０の機能モジュールを示す模式図である。レンダリング・エンジン１８１は、例えば、サーバ５０からモデルを検索しアニメーション化することによって、電子書籍と共に取得されたメタデータに基づいて電子書籍テキストをレンダリングするためのものである。パーソナライゼーション・ユーザ・インタフェース１８２は、例えば、ユーザ・アカウントに関連して記憶され、サーバ５０または別のネットワーク位置から検索可能な１つ以上のプロンプト選択および／またはキャプチャされたモデルを選択することによって、ユーザがレンダリングされるコンテンツの１つ以上の部分をパーソナライズするためのものである。

例示的な実施形態は、テキストに記述された物語またはストーリーの再生可能なビデオおよび／またはオーディオバージョンを作成することなどによって、テキスト・コンテンツがテキスト・コンテンツの強化されたフォーマットに変換されることを有利に可能にする。これは、様々な理由でテキストを読むことができない利用者にとって有用でありえる。例えば、若い利用者や、テキストの特定の言語を学習する過程にいる利用者である。他の例は、テキストを読むことを困難にする視覚課題を有する利用者を含むことができる。このような状況では、テキストによって搬送されるストーリーの代替的でより豊富なバージョンを消費することができることが有用である。

例示的な実施形態は、必要とされる追加データの量が比較的少なく、それによって必要とされる記憶空間および／または帯域幅の節約を提供するような方法で、そのような変換を可能にする。上述の実施形態は純粋に例示的なものであり、本発明の範囲を限定するものではないことが理解される。他の変形および修正は、本出願を読めば当業者には明らかである。

さらに、本出願の開示は、本明細書に明示的または暗黙的に開示された任意の新規な特徴または特徴の任意の新規な組み合わせ、または、その任意の一般化を含むように理解されるべきであり、本出願または、それから派生する任意の出願の手続き中に、新規な特許請求の範囲は、任意のそのような特徴および／またはそのような特徴の組み合わせを網羅するように定式化されることができる。

Claims (12)

1. 少なくとも1つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを備える装置（１０）であって、
   前記少なくとも1つのメモリと、前記コンピュータ・プログラム・コードとは、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
   電子書籍リーダー環境で出力するためのテキスト・コンテンツを提供するステップ（７１０）と、
   前記テキスト・コンテンツの１つ以上の部分に関連するメタデータを受信するステップであって、該メタデータは、テキスト・コンテンツの関連する１つ以上の部分のレンダリング指示を規定する、ステップ（７２０）と、
   前記メタデータ内の少なくとも前記レンダリング指示を用いて、１つ以上のテキスト・コンテンツ部分をリッチ・コンテンツ・フォーマットにレンダリングさせるステップと、
   前記メタデータに基づいて前記テキスト・コンテンツ内の複数のシーンを自動的に決定するステップであって、前記レンダリングさせるステップは、提示するために１つ以上のシーンのレンダリングをさせる、ステップと、
   前記決定されたシーンのうちの１つ以上のための前記メタデータを、ユーザが修正することを可能にするステップと、
   を実行させるように構成され、
   前記メタデータは、１つ以上の特徴の属性を記述し、それにより、該特徴は、レンダリングされると、該属性を有することになる、ここで、該特徴は、前記テキスト・データでは言及されるが、前記特徴の前記属性は、前記テキスト・データでは言及されない、
   装置。
2. 前記少なくとも1つのメモリと、前記コンピュータ・プログラム・コードとは、前記少なくとも１つのプロセッサを用いて、前記装置に、
   前記レンダリングさせるステップによって使用される前記メタデータの少なくとも一部に対応する１つ以上のリッチ・コンテンツ・モデルを、リモートソースから取得するステップを実行させるように構成される、
   請求項1に記載の装置。
3. 前記少なくとも１つのメモリおよび前記コンピュータ・プログラム・コードは、さらに、前記少なくとも１つのプロセッサを用いて、前記装置に、キャプチャされたデータからリッチ・コンテンツ・フォーマットモデルを生成し、対応するパーソナライズされたメタデータを生成する、の両方のために、キャプチャされた映像および／または音声データを手段に提供することによって、１つ以上の選択可能な文字または記述子を作成するステップを実行させるように構成される、請求項２に記載の装置。
4. 前記１つ以上のリッチ・コンテンツ・モデルは、ビデオおよびオーディオコンテンツの一方または両方を備える、請求項２または請求項３に記載の装置。
5. 前記ビデオおよびオーディオコンテンツの一方または両方が、仮想現実デバイスに出力するための仮想現実コンテンツである、請求項４に記載の装置。
6. 前記テキスト・コンテンツが、文書、書籍または他の刊行物に対応する、請求項１ないし５のいずれか１項に記載の装置。
7. 前記メタデータは前記電子書籍リーダー環境で見られるときにテキスト・データと共に見ることができない、請求項１ないし６のいずれか１項に記載の装置。
8. 前記メタデータは、テキスト・データにおいて言及されたキャラクタ、物、位置、風景、気象、背景、およびアクションのうちの１つ以上の特徴属性を記述する、請求項６または７に記載の装置。
9. 前記メタデータを、ユーザが修正することを可能にするステップは、前記装置のディスプレイ上にユーザインターフェースを提示することを含み、
   前記ユーザインターフェースは、テキスト・データに言及された１つ以上の特徴のユーザ選択を受信することによって修正を可能にし、対応する前記メタデータの少なくとも一部をパーソナライズされたメタデータで修正して、レンダリングされたときに前記シーンにパーソナライズされたリッチ・コンテンツを提供するようにすることを可能にする、請求項１ないし８のいずれか１項に記載の装置。
10. 前記少なくとも１つのメモリおよび前記コンピュータ・プログラム・コードは、さらに、前記少なくとも１つのプロセッサを用いて、前記装置に、前記テキスト・コンテンツの１つ以上の部分に関連するメタデータを自動的に生成するステップを実行させるように構成され、
    該メタデータは、電子書籍リーダー環境を有する装置によってリッチ・コンテンツ・フォーマットでレンダリングされるものである前記関連する部分のレンダリング表示を規定する、請求項１ないし９のいずれか１項に記載の装置。
11. 電子書籍リーダー環境で出力するためのテキスト・コンテンツを提供するステップ（７１０）と、
    前記テキスト・コンテンツの１つ以上の部分に関連するメタデータを受信するステップであって、該メタデータは、前記テキスト・コンテンツの前記１つ以上の関連する部分のレンダリングを規定する、ステップ（７２０）と、
    メタデータ中のレンダリング表示を使用して１つ以上のテキスト・コンテンツ部分をリッチ・コンテンツ・フォーマットにレンダリングさせるステップと、
    前記メタデータに基づいて前記テキスト・コンテンツ内の複数のシーンを自動的に決定するステップであって、前記レンダリングさせるステップは、提示するために１つ以上のシーンのレンダリングをさせる、ステップと、
    ユーザ入力の手段によって前記決定されたシーンのうちの１つ以上のための前記メタデータを、ユーザが修正することを可能にするステップと、
    を含む方法であって、
    前記メタデータは、１つ以上の特徴の属性を記述し、それにより、該特徴は、レンダリングされると、該属性を有することになる、ここで、該特徴は、前記テキスト・データでは言及されるが、前記特徴の前記属性は、前記テキスト・データでは言及されない、
    方法。
12. 少なくとも、電子書籍リーダー環境で出力するためのテキスト・コンテンツを提供するステップ（７１０）と、
    前記テキスト・コンテンツの１つ以上の部分に関連するメタデータを受信するステップであって、該メタデータは、前記テキスト・コンテンツの前記１つ以上の関連する部分のレンダリングを規定する、ステップ（７２０）と、
    メタデータ中のレンダリング表示を使用して１つ以上のテキスト・コンテンツ部分をリッチ・コンテンツ・フォーマットにレンダリングさせるステップと、
    前記メタデータに基づいて前記テキスト・コンテンツ内の複数のシーンを自動的に決定するステップであって、前記レンダリングさせるステップは、提示するために１つ以上のシーンのレンダリングをさせる、ステップと、
    ユーザ入力の手段によって前記決定されたシーンのうちの１つ以上のための前記メタデータを、ユーザが修正することを可能にするステップと、
    を実行するためのプログラム命令を含むコンピュータプログラムであって、
    前記メタデータは、１つ以上の特徴の属性を記述し、それにより、該特徴は、レンダリングされると、該属性を有することになる、ここで、該特徴は、前記テキスト・データでは言及されるが、前記特徴の前記属性は、前記テキスト・データでは言及されない、
    コンピュータプログラム。

Images