JP6048834B2 - コンテンツ再生装置、及び、コンテンツ再生方法 - Google Patents

Description

本発明は、コンテンツ再生装置、及び、コンテンツ再生方法に関する。

ユーザに対して映像データとともにメタデータを配信し、動画に登場するオブジェクト（人物又は物体など）の関係情報及び軌跡情報を動画の隣または動画に重畳して表示することが可能なプレイヤ装置に関する技術が開示されている（例えば、特許文献１）。

また、ユーザにレシピを提示するレシピサービスを、キッチンに設置されたタブレット端末やキッチン用テレビなどに表示するサービス携帯も登場している。このようなサービスにおいて、複数のレシピを提案する際に、可能な限り同じ調理器具を利用できる食材を選択することが可能な料理レシピ提案装置に関する技術が開示されている（例えば、特許文献２）。

特開２００７−１７４４７７号公報 特開２０１０−２１１７４７号公報

しかしながら、ユーザは、コンテンツの再生中にコンテンツ内に登場するオブジェクトの登場状況を知ることができないという問題がある。

本発明は、コンテンツの再生中にコンテンツ内に登場するオブジェクトの登場状況を適切に提示する動画再生装置等を提供する。

本発明の一態様に係るコンテンツ再生装置は、複数のシーンを有するコンテンツを再生する再生部と、各シーンに登場するオブジェクトを特定するための登場シーンデータを含むメタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が当該シーン以降に登場するか否かを示すオブジェクト登場状況を特定するオブジェクト登場状況特定部と、前記再生部が前記コンテンツを再生している時に、再生中のシーンに対して特定された前記オブジェクト登場状況を提示する提示部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明のコンテンツ再生装置は、コンテンツの再生中にコンテンツ内に登場するオブジェクトの登場状況を適切に提示することができる。

図１は、実施の形態１に係る動画再生装置の構成を示すブロック図である。 図２は、実施の形態１に係る動画再生装置の機能ブロックの動作を示すシーケンス図である。 図３は、メタデータのデータ構造の一例を示す図である。 図４は、メタデータの具体例の一例を示す図である。 図５は、登場オブジェクトデータの構造の一例を示す図である。 図６は、実施の形態１における動画再生装置のオブジェクト登場状況検出に関する制御フローを示す図である。 図７は、実施の形態１における動画再生装置のオブジェクト登場状況提示に関する制御フローを示す図である。 図８は、実施の形態１の動画レシピへの応用例（シーン１及び２）を示す図である。 図９は、実施の形態１の動画レシピへの応用例（シーン３及び４）を示す図である。 図１０は、実施の形態１の動画レシピへの応用例（シーン５及び６）を示す図である。 図１１は、実施の形態１の動画レシピへの応用例（シーン７及び８）を示す図である。 図１２は、実施の形態１の変形例におけるコンテンツ再生装置の機能を示すブロック図である。 図１３は、実施の形態１の変形例におけるコンテンツ再生装置のフローチャートである。 図１４Ａは、レシピデータの具体例である。 図１４Ｂは、調理器具情報の具体例である。 図１５は、調理器具片付け判断テーブルの作成処理のフローチャートである。 図１６Ａは、調理器具情報を示す図である。 図１６Ｂは、調理器具片付け判断テーブルを示す図である。 図１６Ｃは、調理器具使用状況テーブルを示す図である。 図１７は、実施の形態１の変形例におけるコンテンツ再生装置の画面表示の第一例である。 図１８は、実施の形態１の変形例におけるコンテンツ再生装置の画面表示の第二例である。 図１９は、実施の形態２に係る動画再生装置の構成を示すブロック図である。 図２０は、実施の形態２の動画レシピへの応用例（吹き出し表示）を示す図である。 図２１は、実施の形態２の動画レシピへの応用例（サブタイトル表示）を示す図である。 図２２は、実施の形態２の動画レシピへの応用例（音声出力）を示す図である。 図２３は、実施の形態２の変形例１におけるコンテンツ再生装置の機能を示すブロック図である。 図２４は、実施の形態２の変形例１におけるコンテンツ再生装置のフローチャートである。 図２５は、実施の形態２の変形例１におけるコンテンツ再生装置の画面表示の例である。 図２６は、実施の形態２の変形例２におけるコンテンツ再生装置のフローチャートである。 図２７は、実施の形態２の変形例２におけるコンテンツ再生装置の画面表示の例である。 図２８は、コンテンツとしてドラマを再生するコンテンツ再生装置の画面表示の例である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、オブジェクトの登場状況の提示方法に関し、以下の問題が生じることを見出した。

近年、デジタルテレビ放送での番組放送後に、その番組内で紹介された内容についての情報を検索するサービス及びシステムが提供されている。視聴者がデジタルテレビ放送で放送されるコンテンツを家庭内の録画装置で蓄積し、番組制作側が映像コンテンツの中のシーンにインデックス（番組インデックス）として付加した情報をメタデータとしてインターネット等を使って提供する。視聴者は、蓄積されたコンテンツとメタデータとを利用して、放送後にその蓄積した映像コンテンツを視聴し、番組で紹介された商品やお店をチェックし、または、録画した番組の内容や気になるシーンを自動で検索することができる。

一方、ユーザに対して映像データとともにメタデータを配信し、動画に登場するオブジェクト（人物又は物体など）の関係情報及び軌跡情報を動画の隣または動画に重畳して表示することが可能なプレイヤ装置に関する技術が開示されている（例えば、特許文献１）。特許文献１に開示される技術では、メタデータから得られるオブジェクト名及びオブジェクト同士の関係情報を画面上に提示することで、ユーザが映像を容易に把握することができる。また、動画中のすべてのシーンを通して登場するオブジェクト間の関係性をユーザに提供することができる。

一方、調理の分野においては、近年、電子レンジやオーブンレンジなどの調理機器などにおいて多くの機能が追加され、利便性が増している。ユーザにレシピを提示するレシピサービスを、キッチンに設置されたタブレット端末やキッチン用テレビなどに表示するサービス形態も登場している。このようなサービスにおいて、複数のレシピを提案する際に、可能な限り同じ調理器具を利用できる食材を選択することが可能な料理レシピ提案装置に関する技術が開示されている（例えば、特許文献２）。特許文献２に開示される技術では、可能な限り同じ調理器具を利用できる提案を行うことで効果として調理器具の準備や後片付けや洗い物等を楽にすることができる。

しかしながら、調理手順を示す動画コンテンツを見ながら調理をする場合、調理スペースが煩雑になり、効率よく調理を進めることができない。なぜなら、ユーザは、調理手順の動画コンテンツの所定シーンを閲覧しているときに、そのシーンで使われた調理器具が、その後のシーンでも使用されるか否かを知ることができず、その調理器具を片付けてよいか否かの判断ができないためである。

上記と同様の問題は調理手順を示す動画コンテンツに対して発生するだけでなく、一般の動画コンテンツに対しても発生する。具体例には、ドラマ又は映画コンテンツを視聴する際に、目的とするシーンを効率よく視聴することができないという問題がある。なぜなら、特定の人物又は物体が登場するシーンを視聴することを目的としてドラマ又は映画コンテンツを視聴するユーザは、所定のシーン以後に目的とする人物及び物体が登場するか否かを示す情報（登場状況）を知ることができないためである。その結果、ユーザは、所定シーンより後のシーンに目的とする人物及び物体が登場しないのに、その後のシーンを視聴することとなり、時間を効率よく使うことができない。

そこで、コンテンツの再生中に当該コンテンツ内に登場する人物及び物体の登場状況をユーザに提示することにより、ユーザの利便性を向上することが課題となる。

この課題に対し、特許文献１に開示される技術を用いれば、動画中のすべてのシーンを通して登場するオブジェクト間の関係性をユーザに提供することができるが、各シーンで登場するオブジェクトについての情報や注目しているオブジェクトが今後のシーンで登場するか否かなどの情報は提示できない。よって、特許文献１に開示される技術によっても、上述の課題は解決されない。

また、この課題に対し、特許文献２に開示される技術を用いれば、可能な限り同じ調理器具を利用できる提案を行う結果、調理器具の準備や後片付けや洗い物等を楽にすることができるが、動画を用いたレシピなどに応用した場合、動画コンテンツの各シーンで使用する調理器具の後片付けの手間を軽くすることについては解決できない。よって、特許文献２に開示される技術によっても、上述の課題は解決されない。

本発明は、前記の課題を解決するためになされたものであり、コンテンツの再生中に、当該コンテンツ内に登場するオブジェクトの登場状況をユーザに提示するコンテンツ再生装置等を提供することを目的とする。

上記の問題を解決するために、本発明の一態様に係るコンテンツ再生装置は、複数のシーンを有するコンテンツを再生する再生部と、各シーンに登場するオブジェクトを特定するための登場シーンデータを含むメタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が当該シーン以降に登場するか否かを示すオブジェクト登場状況を特定するオブジェクト登場状況特定部と、前記再生部が前記コンテンツを再生している時に、再生中のシーンに対して特定された前記オブジェクト登場状況を提示する提示部とを備える。

これにより、ユーザは、コンテンツの所定シーンを視聴している時に、オブジェクト（人物又は物体など）が当該シーンより後のシーンに登場するか否かを知ることができ、それに基づいて次の行動を行うことができる。よって、コンテンツ再生装置は、ユーザの利便性を高めることができる。

例えば、前記再生部は、前記複数のシーンの各々が、料理における複数の調理工程の各々における調理の内容を示す前記コンテンツを再生し、前記オブジェクト状況特定部は、前記複数のシーンの各々に対して、前記調理工程において調理に用いられる調理器具である前記オブジェクトの各々について前記オブジェクト登場状況を特定するとしてもよい。

これにより、コンテンツ再生装置は、調理に関するコンテンツを再生する際に、再生しているコンテンツ中で使用した調理器具をコンテンツに登場するオブジェクトとして適用することで、調理器具の片付けタイミングを知ることができ、調理中のキッチンスペースを有効に使えるようになる。

また、他の例として、コンテンツ再生装置は、ドラマやスポーツなどのコンテンツを再生する際に、再生しているコンテンツ内で注目している俳優やスポーツ選手をコンテンツに登場するオブジェクトとして適用することで、注目している俳優やスポーツ選手が現在登場中か、今後のシーンでも登場するか否かを知ることができ、ユーザが注目したいシーンのみを選んで視聴することが可能になる。

例えば、前記コンテンツ再生装置は、さらに、複数の調理工程のそれぞれの内容を示す調理工程情報と、前記調理工程において調理に用いられる前記調理器具を示す調理器具情報とを対応付けて前記コンテンツとして記憶している記憶部を備え、前記再生部は、前記記憶部が記憶している前記コンテンツを再生し、前記オブジェクト状況特定部は、さらに、前記オブジェクトの各々が前記コンテンツにおいて最後に登場するシーンである最終登場シーンを特定し、前記提示部は、前記再生部がシーンを再生しているときに、前記シーンと前記最終登場シーンとの関係に基づいて、前記オブジェクトに対応する位置に前記関係を示す情報を提示するとしてもよい。

これにより、コンテンツ再生装置は、調理のコンテンツを表示するとともに、オブジェクトの最終登場シーンに関する情報を表示する。ユーザは、コンテンツの一例である調理手順を示すコンテンツをコンテンツ再生装置で見ながら調理をする場合、ある調理器具が登場する最後のシーンの後に当該調理器具を洗浄して片付けることができる。別の一例として、特定の人物又は物体が登場するシーンを視聴することを目的としてドラマ又は映画コンテンツを視聴する場合、特定の人物又は物体が登場する最後のシーンの後に視聴を終了することができる。よって、ユーザの利便性を高めることができる。

例えば、前記提示部は、前記再生部がシーンを再生しているときに、前記シーンの前のシーンが前記最終登場シーンである前記オブジェクトに対応する位置に、第一メッセージを表示するとしてもよい。

これにより、コンテンツ再生装置は、このシーンの後にこのコンテンツに登場しないオブジェクトを、ユーザに直感的に示すメッセージを表示することができる。ユーザは、コンテンツの一例である調理手順を示すコンテンツをコンテンツ再生装置で見ながら調理をする場合、ある調理器具が登場する最後のシーンを直感的に知ることができる。そして、そのシーンの後に当該調理器具を洗浄して片付けることができる。

例えば、前記オブジェクト状況特定部は、さらに、前記オブジェクトの各々が前記コンテンツにおいて最初に登場するシーンである最初登場シーンを特定し、前記提示部は、前記再生部がシーンを再生しているときに、前記シーンの次のシーンが前記最初登場シーンである前記オブジェクトに対応する位置に、第二メッセージを表示するとしてもよい。

これにより、コンテンツ再生装置は、次のシーンに初めてこのコンテンツに登場するオブジェクトを、ユーザに直感的に示すメッセージを表示することができる。ユーザは、コンテンツの一例である調理手順を示すコンテンツをコンテンツ再生装置で見ながら調理をする場合、ある調理器具が登場する最初のシーンを直感的に知ることができる。そして、そのシーンの前に当該調理器具を準備しておくことができる。

例えば、前記提示部は、前記コンテンツの再生開始時点に、前記コンテンツに登場するすべてのオブジェクトの前記オブジェクト登場状況を提示するとしてもよい。

これにより、ユーザは、コンテンツの視聴開始直後に、当該コンテンツに登場するすべてのオブジェクトを知ることができ、コンテンツを見ながら行う行動の準備をすることができる。一例として、調理手順を示すコンテンツを見ながら調理をする場合には、使用されるすべての調理器具が表示され、それらの準備をすることができる。別の一例として、特定の人物又は物体が登場するシーンを視聴することを目的としてドラマ又は映画コンテンツを視聴する場合、特定の人物又は物体が当該コンテンツに登場するか否かを判断することができる。よって、ユーザの利便性を高めることができる。

例えば、前記提示部は、前記オブジェクトの名称を示す文字列を、前記オブジェクト登場状況に応じた態様で表示することによって、当該オブジェクト登場状況を提示するとしてもよい。

これにより、ユーザは、コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを把握することができる。よって、ユーザの利便性を高めることができる。

例えば、前記提示部は、前記オブジェクトの名称を示す文字列を、前記オブジェクト登場状況に応じた色、形、又は、大きさで表示することによって、当該オブジェクト登場状況を提示するとしてもよい。

これにより、ユーザは、コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを、視覚的に把握することができる。よって、ユーザの利便性を高めることができる。

例えば、前記提示部は、前記オブジェクトを象徴的に表す図柄であるアイコンを、前記オブジェクト登場状況に応じた態様で表示することによって、当該オブジェクト登場状況を提示するとしてもよい。

これにより、ユーザは、コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを、視覚的及び直感的に把握することができる。よって、ユーザの利便性を高めることができる。

例えば、前記コンテンツ再生装置は、さらに、前記コンテンツを視聴するユーザの操作を受け付ける入力部を備え、前記提示部は、前記入力部が受け付けた操作によって指定された前記オブジェクトに関連する情報を提示するとしてもよい。

これにより、ユーザは、提示されたオブジェクトに関連する情報を簡易な操作により得ることができる。よって、ユーザの利便性を高めることができる。

例えば、前記オブジェクトに関連する情報は、前記オブジェクトの画像であるとしてもよい。

これにより、ユーザは、提示されたオブジェクトを視覚的に把握した上で、当該オブジェクトに関連する情報を得ることができる。よって、ユーザの利便性を高めることができる。

例えば、前記提示部は、前記オブジェクト登場状況を表す文字列を吹き出し表示により表示することによって、前記オブジェクト登場状況を提示するとしてもよい。

これにより、ユーザは、コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを、コンテンツの映像と同時に表示される吹き出し表示によって容易に把握することができる。よって、ユーザの利便性を高めることができる。

例えば、前記提示部は、前記オブジェクト登場状況を音声によって出力することによって、前記オブジェクト登場状況を提示するとしてもよい。

これにより、ユーザは、コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを音声として聴くことにより把握することができる。よって、ユーザの利便性を高めることができる。

例えば、前記再生部は、前記提示部が前記オブジェクト情報を出力する時に前記コンテンツの再生を一時停止し、その所定時間後に再生を再開するとしてもよい。

これにより、ユーザは、最終登場シーンが終了したオブジェクトに対して次の行動を起こすことができる。一例として、調理手順を示すコンテンツを見ながら調理をする場合、ある調理器具が登場する最後のシーンの直後に再生が一時停止される。この時間に、ユーザは、当該調理器具を洗浄して片付けることができる。よって、ユーザの利便性を高めることができる。

例えば、前記コンテンツは料理の過程を示す動画コンテンツであり、前記オブジェクトは当該料理の過程で使用される調理器具であるとしてもよい。

例えば、前記オブジェクトに関連する情報は、前記オブジェクトが示す調理器具によって調理される材料であるとしてもよい。

例えば、前記オブジェクトに関連する情報は、前記オブジェクトが示す調理器具が用いられる調理工程情報であるとしてもよい。

例えば、前記オブジェクト登場状況特定部は、前記メタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が（ｉ）当該シーン以降に登場するか否かを示し、かつ、（ｉｉ）当該シーンに登場するか否かを示すオブジェクト登場状況を特定するとしてもよい。

例えば、前記オブジェクト登場状況特定部は、さらに、前記メタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が当該シーンの次のシーンに登場するか否かを示すオブジェクト登場状況を特定するとしてもよい。

また、本発明の一様態に係るコンテンツ再生方法は、複数のシーンを有するコンテンツを再生する再生ステップと、各シーンに登場するオブジェクトを特定するための登場シーンデータを含むメタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が当該シーン以降に登場するか否かを示すオブジェクト登場状況を特定するオブジェクト登場状況特定ステップと、前記再生部が前記コンテンツを再生している時に、再生中のシーンに対して特定された前記オブジェクト登場状況を提示する提示ステップとを含む。

これにより、上記コンテンツ再生装置と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の実施の形態について、図面を用いて説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。

（実施の形態１）
実施の形態１において、動画コンテンツに登場するオブジェクト（人物又は物体など）が再生中のシーンより後のシーンに登場するか否かを提示する動画再生装置の例を示す。なお、本実施の形態における動画再生装置は、コンテンツ再生装置に相当する。また、「シーン」とは、状況や場面の区切りによってコンテンツを複数の部分に分割した場合の、１つの部分に相当する。つまり、シーンは、コンテンツの１つの部分であって、１つの状況、又は、１つの場面を表現する部分である。

図１は、本実施の形態における動画再生装置１０１の構成を示すブロック図である。

図１に示されるように、本実施の形態における動画再生装置１０１は、入力部１００１と、制御部１００２と、動画取得部１００３と、メタデータ取得部１００４と、動画再生部１００５と、オブジェクト登場状況特定部１００６と、オブジェクト登場状況表示部１００７と、表示部１００８とを備える。なお、オブジェクト登場状況表示部１００７及び表示部１００８の機能を合わせたものは、提示部に相当する。

図１には、さらに、動画再生装置１０１に接続される録画装置２０１が示される。

入力部１００１は、ユーザによる操作を受け付ける。

制御部１００２は、入力部１００１が受け付けたユーザによる操作に従って、動画再生部１００５に再生開始依頼を通知する。また、制御部１００２は、タイマ機能を備え、再生開始時刻からの経過時間を管理する。

動画取得部１００３は、録画装置２０１に対しコンテンツ要求を送信し、録画装置２０１よりコンテンツを受信する。

メタデータ取得部１００４は、メタデータ取得開始依頼に従ってメタデータを取得する。

動画再生部１００５は、動画コンテンツの取得開始依頼に従って動画コンテンツを取得し、動画コンテンツの再生開始依頼に従って動画コンテンツを再生し表示データを表示部へ送信する。なお、動画再生部１００５は、再生部に相当する。

オブジェクト登場状況特定部１００６は、メタデータの情報からオブジェクト登場状況を特定する。

オブジェクト登場状況表示部１００７は、オブジェクト登場状況提示開始依頼に従ってオブジェクト登場状況表示データを表示部１００８へ送信する。また、オブジェクト登場状況が更新されたら新たなオブジェクト登場状況表示データを表示部１００８へ送信する。

表示部１００８は、オブジェクト登場状況表示部１００７から受信するオブジェクト登場状況表示データと、動画再生部１００５から受信する動画コンテンツ表示データとを重畳表示する。

図２は、本実施の形態に係る動画再生装置１０１の機能ブロックの動作を示すシーケンス図である。図２を用いて動画再生装置１０１の機能ブロックの動作について説明する。

録画装置２０１はデジタル放送を受信し、受信した動画コンテンツを含む番組データを録画し、録画した前記番組データを出力することができる装置である。

入力部１００１は、ユーザによる操作を受け付ける。ユーザによる操作とは、例えば、動画再生装置へのキー操作などである。他に、動画再生装置１０１が赤外線受信部を有する場合にはリモコン操作でもよい。動画再生装置１０１がタッチパネルを有する場合にはタッチ操作でもよい。動画再生装置１０１が距離センサ又は温度センサ等を有する場合にはジェスチャ操作でもよい。入力部１００１は受け付けた操作により指定された動画コンテンツの情報を命令として制御部１００２へ通知する。

制御部１００２は、入力部１００１から命令を受けたら、その命令に含まれる動画コンテンツの再生開始依頼（当該動画コンテンツを再生する処理を開始する依頼を意味する信号）を、動画再生部１００５に通知する。

動画再生部１００５は、制御部１００２から動画コンテンツの再生開始依頼を受けたら、指定された動画コンテンツの取得開始依頼（取得を開始する依頼を意味する信号）を動画取得部１００３に通知する。

動画取得部１００３は、動画再生部１００５から動画コンテンツの取得開始依頼を受けたら、指定された動画コンテンツを録画装置２０１から取得するとともに、指定された動画コンテンツのメタデータに対するメタデータ取得開始依頼（メタデータの取得を開始する依頼を意味する信号）をメタデータ取得部１００４に通知する。動画取得部１００３は動画コンテンツを録画装置２０１から取得するには、動画取得部１００３が動画コンテンツを指定してコンテンツ要求を録画装置２０１に送信し、それに対応して、録画装置２０１が動画コンテンツを動画取得部１００３へ送信するとすればよい。

ここでメタデータとは、複数のシーンからなる動画コンテンツの各シーンに登場するオブジェクトを特定するデータが含まれるデータのことである。

動画取得部１００３が動画コンテンツの取得を完了すると、コンテンツ取得完了通知を動画再生部１００５に通知するとともに、動画コンテンツデータを動画再生部１００５に送信する。動画再生部１００５はコンテンツ取得完了通知を受けたら、当該コンテンツ取得完了通知を制御部１００２へ通知する。

メタデータ取得部１００４は、動画取得部１００３よりメタデータ取得開始依頼を受けたら、インターネットを介してメタデータ提供サービスなどにアクセスし、指定された動画コンテンツに対応するメタデータを取得する。なお、メタデータ取得部が記憶装置を具備し、取得したメタデータを記億して置くようにしてもよい。その場合、取得する対象のメタデータが既にメタデータ取得部１００４に記憶されている場合には、メタデータ提供サービスにアクセスしないで、記憶されているメタデータを用いて以後の処理を行う。

次に、メタデータ取得部１００４は、取得したメタデータの中に記述されているシーン情報（各シーンの開始時刻、終了時刻）を動画取得部１００３に通知する。動画取得部１００３はシーン情報を通知されたら当該シーン情報を動画再生部１００５へ通知する。メタデータ取得部１００４は、取得したメタデータを、オブジェクト登場状況特定部１００６に出力する。

オブジェクト登場状況特定部１００６は、メタデータを解析することにより、動画コンテンツの各シーンに登場するオブジェクトに対し、当該オブジェクトが当該シーン以後に登場するか否かを示すオブジェクト登場状況を特定する。

オブジェクト登場状況特定部１００６は、メタデータに記述されている情報をもとに、動画コンテンツの各シーンにおいて、オブジェクトの登場状況を次の３態様、つまり、当該シーンに登場しているオブジェクト、当該シーンに登場しておらず当該シーンより後のシーンに登場するオブジェクト、及び、当該シーンに登場しておらず当該シーンより後のシーンに登場しないオブジェクト、のいずれかに特定する。

また、オブジェクト登場状況特定部１００６は、オブジェクト登場状況の特定を完了したら、オブジェクト登場状況及びメタデータをオブジェクト登場状況表示部１００７に送信し、かつ、特定完了通知を制御部１００２に通知する。

制御部１００２は、動画再生部１００５からのコンテンツ取得完了通知と、オブジェクト登場状況特定部１００６からの特定完了通知との両方の通知を受け取ったら、あらためて動画再生部１００５に動画コンテンツの再生開始依頼（再生を開始する依頼を意味する信号）を通知するとともに、オブジェクト登場状況表示部１００７にオブジェクト登場状況提示開始依頼（オブジェクト登場状況の提示を開始する依頼を意味する信号）を通知する。

動画再生部１００５は、動画コンテンツの再生開始依頼を受けたら、動画コンテンツの再生を開始し、その再生映像である動画コンテンツ表示データを表示部１００８に出力する。

オブジェクト登場状況表示部１００７は、オブジェクト登場状況提示開始依頼を受けたら、オブジェクト登場状況表示データを表示部１００８に出力する。

表示部１００８は、動画再生部１００５から受信した動画コンテンツ表示データと、オブジェクト登場状況表示部１００７から受信したオブジェクト登場状況表示データを重畳して表示する。

制御部１００２は、動画再生部１００５において動画コンテンツを再生しているとき、動画コンテンツの再生開始時刻からの経過時間を管理し、動画再生部１００５およびオブジェクト登場状況表示部１００７に再生開始時刻からの経過時間情報を逐次通知する。

動画再生部１００５は、再生された動画コンテンツのシーンが切り替わる時刻になると、オブジェクト登場状況更新依頼（オブジェクト登場状況表示を更新する依頼を意味する信号）を制御部１００２へ通知する。制御部１００２はオブジェクト登場状況更新依頼を通知されたら、当該オブジェクト登場状況更新依頼をオブジェクト登場状況表示部１００７に通知する。ここで、シーンが切り替わる時刻とは、再生開始時刻、または、現在再生中のシーンの終了時刻かつ次のシーンの開始時刻を意味する。

オブジェクト登場状況表示部１００７は、オブジェクト登場状況更新依頼を受けたら、オブジェクト登場状況表示データを表示部１００８へ出力する。表示部１００８は、オブジェクト登場状況表示データを受信したら、新たなオブジェクト登場状況表示データを表示することにより、表示を更新する。その結果、最新のオブジェクト登場状況が動画コンテンツに重畳表示される。

動画再生部１００５は、再生中の動画コンテンツを最後まで再生し終えると（動画コンテンツの終了時刻になると）、再生を終了するとともに、制御部１００２に再生終了通知を送信することにより、再生終了を通知する。制御部１００２は再生終了通知を受信したら、当該再生終了通知をオブジェクト登場状況表示部１００７に通知する。オブジェクト登場状況表示部１００７は、再生終了通知を受信したら、表示部１００８に表示消去依頼（表示を消す依頼を意味する信号）を通知する。

かかる構成によれば、メタデータ取得部１００４によって取得したメタデータに基づいて、オブジェクト登場状況特定部１００６が動画コンテンツの各シーンにおいて、オブジェクトの登場状況を次の３態様、つまり、当該シーンに登場しているオブジェクト、当該シーンに登場しておらず当該シーンより後のシーンに登場するオブジェクト、及び、当該シーンより後のシーンに登場しないオブジェクト、のいずれかに特定する。そして、表示部１００８が、動画再生部１００５が再生する動画コンテンツとオブジェクト登場状況表示部１００７が出力するオブジェクト登場状況表示とを重畳表示する。

なお、本実施の形態においてオブジェクト登場状況を３態様としたが、オブジェクト登場状況を次の２態様、つまり、当該シーンで以後に登場するオブジェクト、及び、当該シーン以後に一度も登場しないオブジェクト、としてもよい。

これによって、例えば、料理番組の動画コンテンツを再生した場合に、料理の各調理工程において、現在再生中の調理工程で使用している調理器具および現在再生中の調理工程では使用していないが現在再生中の調理工程以後に登場する調理器具および現在再生中の調理工程以後に二度と使用しない調理器具、をユーザに提示することができるため、動画コンテンツを視聴しながら調理を行う際に、調理器具の片付けタイミングをユーザに視覚的にわかりやすく示すことができる。

なお、本実施の形態において、録画装置２０１はデジタル放送を受信すると記載したが、放送を入力とするのではなく、動画コンテンツサーバなどの外部のコンテンツ送出装置などから出力されたコンテンツデータを入力としてもよい。

なお、録画装置２０１はデジタル放送を受信し、受信した番組を録画し、録画した動画コンテンツを出力することができる装置であると記載したが、例えば、インターネット網や家庭内に存在する動画コンテンツサーバであってもよい。また、動画コンテンツを記録し、出力できる装置であれば、本実施の形態で記述した録画装置２０１を代用できる。

また、録画装置２０１が外部に接続されている例を用いたが、録画装置と同等の機能を、動画再生装置１０１内部に有していてもかまわない。

なお、メタデータ取得部１００４は、インターネットを介してメタデータ提供サービスなどにアクセスし、指定された動画コンテンツに対応するメタデータを取得する、と記述したが、例えば、録画装置２０１が受信するデジタル放送波のＳＩ（Service Information）データなどによって構成されているデータを、メタデータとして取得してもよい。メタデータは、前述した動画コンテンツサーバなどにあらかじめ動画コンテンツと一緒にデータとして記録されており、そのデータをメタデータとして取得することとしてもよい。

なお、メタデータ取得部１００４は、インターネットを介してメタデータ提供サービスなどにアクセスし、指定された動画コンテンツに対応するメタデータを取得する、と記述したが、例えば、動画コンテンツと連携しているサイト内に記述してある文字情報を取得し、文字情報からシーン情報や各シーンで登場するオブジェクト情報を抽出する機能を有し、その情報からメタデータとすることとしてもよい。

なお、制御部１００２は、タイマ機能を備えており、再生開始時刻からの経過時間を管理し、動画再生部１００５およびオブジェクト登場状況表示部１００７に再生開始時刻からの経過時間情報を逐次通知していると記載したが、前記経過時間情報は、動画コンテンツに含まれるタイムスタンプの情報を用いてもよい。

図３は、メタデータのデータ構造の一例を示す図である。図３に示されるように、メタデータのデータ構造には、（ａ）メタデータ１０００１、（ｂ）シーン情報１０００２、（ｃ）オブジェクト情報１０００３、及び、（ｄ）材料情報１０００４が含まれる。

メタデータ１０００１は、メタデータを一意に特定する「メタデータＩＤ」項目と、動画コンテンツを一意に指し示す「動画ＩＤ」項目と、動画コンテンツに存在するシーン数を示す「シーン数」項目と、動画コンテンツを構成する複数のシーンのそれぞれのシーンＩＤを時系列順に列挙した「シーンＩＤの列挙」項目とを含む。動画コンテンツには動画ごとに異なる動画ＩＤが割り振られていることを前提とする。このメタデータによれば、所定の動画ＩＤに対応する動画コンテンツのメタデータが一意に特定できる。なお、ここでは、１つの動画コンテンツに対して１つのメタデータのみが存在する例をあげたが、１つの動画コンテンツに対して複数のメタデータが存在してもよい。

シーン情報１０００２は、シーンを一意に特定する「シーンＩＤ」項目と、シーンの開始時刻を示す「開始時刻」項目、シーンの終了時刻を示す「終了時刻」項目、当該シーン中に登場するオブジェクト数を示す「オブジェクト数」項目、当該シーン中に登場するオブジェクトの各オブジェクトＩＤを列挙した「オブジェクトＩＤの列挙」項目より構成されている。シーン情報１０００２は、１つのメタデータ１０００１に対し、少なくともメタデータ１０００１の「シーン数」項目に示される数だけ存在する。

オブジェクト情報１０００３は、オブジェクトを一意に特定する「オブジェクトＩＤ」項目と、当該オブジェクトの名称を示す「名称」項目と、当該オブジェクトに関する説明文を記した「説明」項目と、当該オブジェクトを一意に識別するためにオブジェクトを象徴的に表す図柄であってオブジェクトを一意に識別するためのアイコンのデータである「アイコンデータ」項目と、当該オブジェクトを説明または表現するための画像を示す「画像」項目とを含む。その他、オブジェクト情報１０００３は、当該オブジェクトで指定される調理器具によって調理される材料の数である「材料数」項目と、当該オブジェクトで指定される調理器具によって調理される材料を列挙した「材料ＩＤの列挙」項目とを含んでいてもよい。オブジェクト情報１０００３は、１つのシーン情報１０００２に対し、少なくともシーン情報１０００２の「オブジェクト数」項目に示される数だけ存在する。また、オブジェクト情報１０００３は、１つのメタデータ１０００１に対して、少なくとも当該動画コンテンツ中に登場するオブジェクトの総数だけ存在する。

図４は、メタデータの具体例の一例を示す図である。図４の（ａ）に示されるメタデータは、このメタデータに対応する動画が、８個のシーン、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、及び、Ｈを有することを示している。また、図４の（ｂ）に示されるように、例えば、シーンＡの開始時刻は００：００：００（動画コンテンツの開始時刻と等しい）であり、終了時刻は００：０１：００であり、シーンＡには、２個のオブジェクトＰ及びＱ（オブジェクトＩＤがそれぞれＰ及びＱ）が登場する。シーンＢからシーンＨに対しても同様である。さらに、図４の（ｃ）にオブジェクトＩＤとオブジェクトの名称との対応が示されている。例えば、オブジェクトＰは包丁である。オブジェクトＱ、Ｒ、Ｓ及びＴに対しても同様に示されている。

図６は、本実施の形態における動画再生装置１０１のオブジェクト登場状況検出に関する制御フローを示す図である。

図６において、まず、ユーザが所望の動画コンテンツを再生指示することでオブジェクト登場状況検出処理が始まる（Ｓ２００１）。制御部１００２は、入力部１００１から命令を受けたら、その命令に含まれる指定された動画コンテンツの取得開始依頼を動画再生部１００５に通知する。

動画再生部１００５は、制御部１００２から動画コンテンツの再生開始依頼を受けたら、指定された動画コンテンツの取得開始依頼を動画取得部１００３に通知する。

動画取得部１００３は、動画再生部１００５から動画コンテンツの取得開始依頼を受けたら、指定された動画コンテンツを録画装置２０１から取得し（Ｓ２００２）、かつ、指定された動画コンテンツのメタデータに対するメタデータ取得開始依頼をメタデータ取得部１００４に通知する。メタデータ取得部１００４は、動画取得部１００３よりメタデータ取得開始依頼を受けたら、インターネットを介してメタデータ提供サービスなどにアクセスし、指定された動画コンテンツに対応するメタデータを取得する（Ｓ２００３）。ここで、指定された動画コンテンツとそのメタデータとの関係は、メタデータにおいて決定される。例えば、図４の（ａ）に示されるメタデータ１０００１において、動画ＩＤで指定される動画とメタデータＩＤで指定されるメタデータとが対応づけられる。メタデータ取得部１００４は、取得したメタデータを、オブジェクト登場状況特定部１００６に出力する。

次に、オブジェクト登場状況特定部１００６は、すべてのシーンを通して登場する全オブジェクト（登場オブジェクト）の数（登場オブジェクト数）を表すＺを０に初期化する（Ｓ２００４）。

次に、オブジェクト登場状況特定部１００６は、メタデータ１０００１の「シーン数」項目を調べることで、メタデータからシーン数（ＸＭＡＸ）を取得する。また、シーン番号（Ｘ）を１とする（Ｓ２００５）。以降、ＸＭＡＸで示されたすべてのシーンのそれぞれ（シーン番号Ｘ）に対して、以下の処理を行う。

次に、オブジェクト登場状況特定部１００６において、すべてのシーンに対して処理が行われたか否かを判定し、未だすべてのシーンに対する処理が行われていない場合には残りのシーンに対する処理へ進む。一方、すべてのシーンに対する処理が行われた場合には次の処理へ進む。具体的には、Ｘが（ＸＭＡＸ＋１）より小さければ、ステップＳ２００７へ、それ以外はステップＳ２０１９へ処理を移す（Ｓ２００６）。

次に、オブジェクト登場状況特定部１００６は、メタデータ１０００１のシーンＩＤの列挙の項目に記されているシーンＩＤの中でＸ番目のシーンＩＤ（ＳＩＤ）を取得する（Ｓ２００７）。

次に、オブジェクト登場状況特定部１００６は、ＳＩＤに対応するシーン情報を取得する（Ｓ２００８）。例えば、図４に示されるシーン情報１０００２において、オブジェクト登場状況特定部１００６は、ＳＩＤと一致するシーンＩＤを有するシーン情報１０００２を取得する。

次に、オブジェクト登場状況特定部１００６は、シーン情報１０００２の「オブジェクト数」項目を調べることで、シーン情報からオブジェクト数（ＹＭＡＸ）を取得し、オブジェクト番号（Ｙ）を１とする（Ｓ２００９）。

次に、オブジェクト登場状況特定部１００６において、すべてのオブジェクトに対して処理が行われたか否かを判定し、未だすべてのオブジェクトに対する処理が行われていない場合には残りのオブジェクトに対する処理へ進む。一方、すべてのオブジェクトに対する処理が行われた場合には次の処理へ進む。具体的には、Ｙが（ＹＭＡＸ＋１）より小さければ、ステップＳ２０１１へ、それ以外はステップＳ２０１８へ処理を移す（Ｓ２０１０）。

次に、オブジェクト登場状況特定部１００６は、シーン情報１０００２のオブジェクトＩＤの列挙の項目に記されているオブジェクトＩＤの中でＹ番目のオブジェクトＩＤ（ＯＩＤ）を取得する（Ｓ２０１１）。

次に、オブジェクト登場状況特定部１００６は、ＯＩＤに対応するオブジェクト情報を取得する（Ｓ２０１２）。例えば、図４に示されるオブジェクト情報１０００３において、オブジェクト登場状況検出部１０１６は、ＯＩＤと一致するオブジェクトＩＤを有するオブジェクト情報１０００３を取得する。

次に、オブジェクト登場状況特定部１００６は、登場オブジェクトテーブルへの登録処理を行う。

まずは、図５を用いて登場オブジェクトデータの構造を説明する。

登場オブジェクトデータは、図５の（ａ）に示される登場オブジェクト数２０００１と、図５の（ｂ）に示される登場オブジェクトテーブル２０００２とを含む。

登場オブジェクト数２０００１は、すべてのシーンを通して登場するオブジェクトの数を示す値である。

登場オブジェクトテーブル２０００２は、すべてのシーンを通して登場するオブジェクトを一括して登録するためのテーブルである。登場オブジェクトテーブル２０００２に登録されるデータは、登場オブジェクトに０から順次割り振られるインデックスと、登場オブジェクトのオブジェクトＩＤと、そのオブジェクトが最後に登場するシーンのシーン番号（最終登場シーン番号）との二次元の配列構造をとる。登場オブジェクトテーブル２０００２は、メタデータを取得してから、オブジェクト登場状況特定部１００６が最初の登録を行うまでは何も登録されていない状態（登場オブジェクト数は０）であり、オブジェクト登場状況特定部１００６においてオブジェクト登場状況の抽出が行われ、登場するオブジェクトが検出されるごとに逐次登録されていく。図５に示される状態では、登場オブジェクト数２０００１は５であり、登場オブジェクトのインデックス０、１、２、３及び４に対し、オブジェクトＩＤはそれぞれ、Ｐ、Ｑ、Ｒ、Ｓ及びＴとなっている。また、これらのオブジェクトＩＤを有する各オブジェクトの最終登場シーン番号は、それぞれ、３、３、３、７、６となっている。

オブジェクト登場状況特定部１００６は、ＯＩＤに対応するオブジェクトが、登場オブジェクトテーブルに今まで登録したことのないオブジェクトかどうかを判定する（Ｓ２０１３）。登録したことがないオブジェクトである場合にはステップＳ２０１４へ、すでに登録したことがあるオブジェクトである場合にはステップＳ２０１６へ処理を移す。

ステップＳ２０１３の判定で、登録したことがないオブジェクトである場合には、オブジェクト登場状況特定部１００６は、登場オブジェクトのオブジェクトＩＤとしてＯＩＤを、最終登場シーン番号としてＸを登場オブジェクトテーブルに登録する（Ｓ２０１４）。次に、Ｚの値を１加算し（Ｓ２０１５）、ステップＳ２０１７の処理に移る。

一方、ステップＳ２０１３の判定で、すでに登録したことがあるオブジェクトである場合には、登録オブジェクトテーブルを用いて、ＯＩＤと一致する登録オブジェクトＩＤに対する最終登場シーン番号をＸに更新し（Ｓ２０１６）、ステップＳ２０１７の処理に移る。

ステップＳ２０１７では、Ｙの値を１加算し、ステップＳ２０１０の処理に移る。

ステップＳ２０１０で、Ｙが（ＹＭＡＸ＋１）以上であると判定された場合は、Ｘの値を１加算し（Ｓ２０１８）、ステップＳ２００６の処理に戻る。

ステップＳ２００６で、Ｘが（ＸＭＡＸ＋１）以上であると判定された場合は、Ｚの値を登場オブジェクト数として保存し（Ｓ２０１９）、オブジェクト登場状況検出処理を終了する（Ｓ２０２０）。

図７は、本実施の形態における動画再生装置のオブジェクト登場状況提示に関する制御フローを示す図である。

図７において、制御部１００２が、動画再生部１００５からの動画コンテンツの取得完了通知と、オブジェクト登場状況特定部１００６からのオブジェクト登場状況の特定完了通知の両方の通知を受け取り、動画再生部１００５に動画コンテンツの再生開始依頼を通知し、かつ、オブジェクト登場状況表示部１００７にオブジェクト登場状況提示開始依頼を通知することでオブジェクト登場状況提示処理を開始する（Ｓ３００１）。

まず、オブジェクト登場状況表示部１００７は、シーン番号（Ｘ）を０に初期化する（Ｓ３００２）。Ｘは現在のシーン番号を表す。

次に、オブジェクト登場状況表示部１００７は、制御部１００２からの再生終了通知が来ていないかを調べ、動画コンテンツの再生終了時刻に到達したか否かを判定する（Ｓ３００３）。再生終了時刻に到達したならば表示処理を終了し（Ｓ３００４）、再生終了時刻に到達していないならばステップＳ３００５の処理に移る。

次に、オブジェクト登場状況表示部１００７は、制御部１００２からの経過時間情報とシーン情報１０００２の開始時間情報から、シーン開始時刻か否かを判定する（Ｓ３００５）。シーン開始時刻でなければ、ステップＳ３００３の処理に戻る。シーン開始時刻であれば、ステップＳ３００６の処理に移る。

次に、オブジェクト登場状況表示部１００７は、Ｘを１加算し（Ｓ３００６）、登場オブジェクトのインデックスを表す値Ｗを０に初期化する（Ｓ３００７）。

次に、オブジェクト登場状況表示部１００７において、Ｗが登場オブジェクト数ＺＭＡＸより小さければ、ステップＳ３００９へ処理を移し、それ以外はステップＳ３００３の処理へ戻る（Ｓ３００８）。

ステップＳ３００９では、オブジェクト登場状況表示部１００７は、登場オブジェクトインデックスＷが指し示すオブジェクトＩＤを登場オブジェクトテーブルから取得し、前述のオブジェクトＩＤが、メタデータ１０００１のシーンＩＤの列挙の中のＸ番目のシーンＩＤに対応するシーン情報１０００２のオブジェクトＩＤの列挙の中に存在しているか否かを判定する（Ｓ３００９）。登場していれば、ステップＳ３０１０へ、登場していなければステップＳ３０１１へ移る。

ステップＳ３０１０では、オブジェクト登場状況表示部１００７は、登場オブジェクトインデックスＷが指し示すオブジェクトＩＤを登場オブジェクトテーブルから取得し、前述のオブジェクトＩＤに対応するオブジェクト情報１０００３のオブジェクト名を参照する。そして、そのオブジェクト名を現在再生中のシーンで登場している旨を表す色で重畳表示するための表示データを表示部１００８に出力する。表示部１００８は、表示データと動画コンテンツとの重畳表示を行う（Ｓ３０１０）。その後、ステップＳ３０１４の処理に移る。

ステップＳ３０１１では、オブジェクト登場状況表示部１００７は、登場オブジェクトインデックスＷが指し示す最終登場シーン番号を登場オブジェクトテーブルから取得し、前述の最終登場シーン番号がＸより小さいか否かを判定する（Ｓ３０１１）。最終登場シーン番号がＸより小さいならば、ステップＳ３０１２へ、最終登場シーン番号がＸより小さくないならばステップＳ３０１３へ移る。

ステップＳ３０１２では、オブジェクト登場状況表示部１００７は、登場オブジェクトインデックスＷが指し示すオブジェクトＩＤを登場オブジェクトテーブルから取得し、前述のオブジェクトＩＤに対応するオブジェクト情報１０００３のオブジェクト名を参照する。そして、そのオブジェクト名を現在再生中のシーンより後に登場しない旨を表す色で重畳表示するためのデータを表示部１００８に出力する。表示部１００８は、表示データと動画コンテンツとの重畳表示を行う（Ｓ３０１２）。その後、ステップＳ３０１４の処理に移る。

ステップＳ３０１３では、オブジェクト登場状況表示部１００７は、登場オブジェクトインデックスＷが指し示すオブジェクトＩＤを登場オブジェクトテーブルから取得し、前述のオブジェクトＩＤに対応するオブジェクト情報１０００３のオブジェクト名を参照する。そして、そのオブジェクト名を現在再生中のシーンには登場していないが現在再生中のシーン以後に登場する旨を表す色で重畳表示するための表示データを表示部１００８に出力する。表示部１００８は、表示データと動画コンテンツとの重畳表示を行う（Ｓ３０１３）。その後、ステップＳ３０１４の処理に移る。

ステップＳ３０１４では、登場オブジェクトインデックスＷを１加算し（Ｓ３０１４）、ステップＳ３００８の処理に移る。

なお、本実施の形態において、メタデータの構造は、図３に示される構造に限られない。例えば、動画コンテンツの各シーンにおいて、当該シーンで登場しているオブジェクト、当該シーンに登場しておらず当該シーンより後のシーンに登場するオブジェクト、又は、当該シーンより後のシーンに登場しないオブジェクトをすべてのシーンに対して記載した情報がメタデータ内にあり、その情報をもとにオブジェクト登場状況を提示してもよい。

図８、図９、図１０及び図１１は、本実施の形態の動画レシピへの応用例を示す図である。

図８〜図１１は、「レバにら炒め（レバーとにらとを炒めた料理）」の調理動画を動画コンテンツとした場合の応用例である。調理の進行に従って表示画面が遷移していく様子を模式図として、図８の（ａ）、図８の（ｂ）、図９の（ａ）、図９の（ｂ）、図１０の（ａ）、図１０の（ｂ）、図１１の（ａ）、図１１の（ｂ）の順に示す。

図４は、本応用例のメタデータのデータ構造を示す図である。

図４のメタデータを用いると、図６で説明した処理によって、５つの調理器具（包丁、まな板、ボウル、フライパン、及び、器）が登場オブジェクトとして検出され、登場オブジェクトデータは、図５に示した通りである。

図８の（ａ）は、再生開始直後のシーン１「レバーを切る」のシーンでの表示例である。

表示画面上部に、動画コンテンツ中で使用されるすべての調理器具の調理器具名（包丁、まな板、ボウル、フライパン、及び、器）が表示されている。また、現在のシーンで使用中の調理器具および現在のシーンで使用していないが次のシーン以降で使用する調理器具および現在のシーン以降で使用することがない調理器具をあらかじめ設定された色によって色分けして表示している。ここでは、現在のシーンで使用中の調理器具を「黄色」、現在のシーンで使用していないが次のシーン以降で使用する調理器具を「緑色」、現在のシーン以降で使用することがない調理器具を「赤色」で色分け表示することとする。

シーン１では、包丁及びまな板を使用しており、包丁及びまな板は、黄色で表示されている。また、ボウル、フライパン、及び、器は現在のシーンで使用されないがこの動画コンテンツの後のシーンで使用されるため「緑色」で表示されている。

図８の（ｂ）は、シーン２「レバーを和える」のシーンでの表示例である。シーン２では、ボウルを使用しており、ボウルは、「黄色」で表示されている。また、包丁及びまな板はこのシーンでは登場しないが再度登場するため「緑色」で表示され、フライパン及び器は現在のシーンで使用されないがこの動画コンテンツの後のシーンで使用されるため同様に「緑色」で表示されている。

図９の（ａ）は、シーン３「にらを切る」のシーンでの表示例である。シーン３では、再度、包丁及びまな板を使用しており、包丁及びまな板は、「黄色」で表示されている。また、ボウル、フライパン、及び、器は現在のシーンで使用されないが後のシーンで使用されるため「緑色」で表示されている。

図９の（ｂ）は、シーン４「レバーを炒める」のシーンでの表示例である。シーン４では、このシーンより後に包丁及びまな板は使用されないため、包丁及びまな板は、「赤色」で表示されている。すなわち、包丁及びまな板はこのシーン以後片付けることができるとユーザは理解することができる。また、このシーンではボウルとフライパンを使用しており、ボウル及びフライパンは、「黄色」で表示されている。また、器は現在のシーンで使用していないがこの動画コンテンツの後のシーンで使用されるため「緑色」で表示されている。

図１０の（ａ）は、シーン５「レバーを器に取る」のシーンでの表示例である。シーン５では、シーン４と同様、このシーンより後に、包丁及びまな板は使用されないため、包丁及びまな板は、「赤色」で表示されている。また、このシーン以降、ボウルは使用されないため、新たに、ボウルも、「赤色」で表示されている。ボウルはこのシーン以後片付けることができるとユーザは理解することができる。また、このシーンではフライパンと器を使用しており、フライパンと器は、「黄色」で表示されている。なお、現在のシーンで、新たに、以後片付けることができると判断された調理器具に関してはハイライト表示などを行うことで強調してユーザに提示するとしてもよい。

図１０の（ｂ）は、シーン６「にらを炒める」のシーンでの表示例である。シーン６では、シーン５と同様、このシーンより後で、包丁、まな板、及び、ボウルは使用されないため、包丁、まな板、及び、ボウルは、「赤色」で表示されている。また、このシーンではフライパンが使用されており、フライパンは、「黄色」で表示されている。また、器は、このシーンでは使用されないがこの動画コンテンツの後のシーンで使用されるため「緑色」で表示されている。

図１１の（ａ）は、シーン７「レバーも加えて炒める」のシーンでの表示例である。シーン７では、シーン６と同様、このシーンより後で、包丁、まな板、及び、ボウルは使用されないため、包丁、まな板、及び、ボウルは、「赤色」で表示されている。また、このシーンでは再度フライパン及び器が使用されており、フライパン及び器は、「黄色」で表示されている。

図１１の（ｂ）は、シーン８「皿に盛る（完成）」のシーンでの表示例である。シーン８では、料理はすべて完成し、すべての調理器具は使用されないので、すべての調理器具は「赤色」で表示されている。

以上のように、動画レシピへの応用例では、各シーンでどの調理器具を片付けることができるかを視覚的に提示することで、どのタイミングでどの調理器具を片付けることができるかがわかるため、片付けしつつ調理を行うことが可能となる。

以上のように、本実施の形態に係る動画再生装置では、ユーザは、動画コンテンツの所定シーンを視聴している時に、オブジェクト（人物又は物体など）が当該シーンより後のシーンに登場するか否かを知ることができ、次の行動を行うことができる。一例として、調理手順を示す動画コンテンツを見ながら調理をする場合、ある調理器具が登場する最後のシーンの後に当該調理器具を洗浄して片付けることができる。別の一例として、特定の人物又は物体が登場するシーンを視聴することを目的としてドラマ又は映画コンテンツを視聴する場合、特定の人物又は物体が登場する最後のシーンの後に視聴を終了することができる。よって、ユーザの利便性を高めることができる。

また、ユーザは、動画コンテンツの視聴開始直後に、当該動画コンテンツに登場するすべてのオブジェクトを知ることができ、動画コンテンツを見ながら行う行動の準備をすることができる。一例として、調理手順を示す動画コンテンツを見ながら調理をする場合には、使用されるすべての調理器具が表示され、それらの準備をすることができる。別の一例として、特定の人物又は物体が登場するシーンを視聴することを目的としてドラマ又は映画コンテンツを視聴する場合、特定の人物又は物体が当該動画コンテンツに登場するか否かを判断することができる。よって、ユーザの利便性を高めることができる。

また、ユーザは、動画コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを把握することができる。よって、ユーザの利便性を高めることができる。

また、ユーザは、動画コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを、視覚的に把握することができる。よって、ユーザの利便性を高めることができる。

なお、本実施の形態において、オブジェクト登場状況の表示は、オブジェクト名をテキスト表示する方法およびその色を変えることとして記載したが、各オブジェクトを一意に識別できるアイコン化して表示し、その色や形を変えることでオブジェクト登場状況を提示することとしてもよい。また、上記アイコンデータは、図３のオブジェクト情報１０００３に示したように、メタデータとしてのオブジェクト情報に含んでもよいし、メタデータとしてのオブジェクト情報にアイコンへのリンク先を記載しておいてデータを取得するとしてもよい。さらに、本願の動画再生装置内部に記憶されているアイコンデータとオブジェクトを関連付けることで記憶されているアイコンデータを用いてもよい。

以上のように、本実施の形態に係る動画再生装置では、ユーザは、動画コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを、視覚的に及び直感的に把握することができる。よって、ユーザの利便性を高めることができる。

なお、本実施の形態において、オブジェクト登場状況の表示を、オブジェクト名のテキスト表示またはアイコン化して表示することを例にあげて説明したが、表示部１００８がタッチパネルを備え、オブジェクト名のテキスト表示箇所またはアイコン箇所をタッチすることで、オブジェクトの関連情報（オブジェクトを示す画像など）を表示することができる機能を備える動画再生装置であってもよい。また、動画コンテンツとして料理番組を録画した調理動画を用いる場合は、タッチ操作で表示するオブジェクトの関連情報は、調理器具の画像や、材料リスト、調理工程などが考えられる。

以上のように、本実施の形態に係る動画再生装置では、ユーザは、提示されたオブジェクトに関連する情報を簡易な操作により得ることができる。よって、ユーザの利便性を高めることができる。

また、ユーザは、提示されたオブジェクトを視覚的に把握した上で、当該オブジェクトに関連する情報を得ることができる。よって、ユーザの利便性を高めることができる。

なお、本実施の形態において、オブジェクト登場状況を表示する際に、動画コンテンツの再生を自動的に一時停止する機能を有していてもよい。また、一時停止後、一定時間後に自動的に再生を開始する機能を有していてもよい。これらの一時停止、自動再生機能を備えていれば、例えば、動画コンテンツとして料理番組を録画した調理動画を用いる場合には、今後使用しない調理器具が提示された場合、ユーザは再生の一時停止期間の間に当該調理器具の片付け作業を行うことが可能となる。

以上のように、本実施の形態に係る動画再生装置では、ユーザは、最終登場シーンが終了したオブジェクトに対して次の行動を起こすことができる。一例として、調理手順を示す動画コンテンツを見ながら調理をする場合、ある調理器具が登場する最後のシーンの直後に再生が一時停止される。この時間に、ユーザは、当該調理器具を洗浄して片付けることができる。よって、ユーザの利便性を高めることができる。

（実施の形態１の変形例）
実施の形態１の変形例において、コンテンツに登場するオブジェクト（人物又は物体など）が再生中のシーンより後のシーンに登場するか否かを提示するコンテンツ再生装置の例を示す。ここで、実施の形態１より具体的に、処理に必要なデータテーブルについて示す。

本実施の形態の変形例について、以下で図面を用いて説明する。

図１２は、本変形例におけるコンテンツ再生装置１１１の機能を示すブロック図である。

図１２に示されるように、コンテンツ再生装置１１１は、入力部１１０１と、レシピデータ取得部１１０２と、レシピデータ表示制御部１１０３と、表示部１１０７とを備える。また、レシピデータ表示制御部１１０３は、工程変更判定部１１０４と、調理器具表示制御部１１０５とを有する。

入力部１１０１は、ユーザによる調理工程切り替え操作を受け付ける。

レシピデータ取得部１１０２は、外部のレシピデータ記憶部２１１が保持しているレシピデータ２１１Ａを取得する。レシピデータ２１１Ａは、レシピごとに、調理工程と当該調理工程で使用する調理器具を示す情報とを対応づけたものである。レシピデータ記憶部２１１は、コンテンツ再生装置１１１の外部のサーバに存在している。また、コンテンツ再生装置と当該サーバとが通信回線を介して接続されている。なお、コンテンツ再生装置１１１が、レシピデータ記憶部２１１を含む構成であってもよい。その場合には、レシピデータ記憶部２１１は、コンテンツ再生装置１１１内の信号線を介して、レシピデータ取得部１１０２と接続される。

レシピデータ表示制御部１１０３は、コンテンツにおける工程の切り替わり（変更）を検出し、調理器具の表示を変更する。

工程変更判定部１１０４は、コンテンツにおける工程の切り替わり（変更）を検出する。コンテンツは調理工程を示すものであり、静的コンテンツ又は動的コンテンツである。静的コンテンツは、各調理工程の内容に対応する静止画と、調理工程の順番とを示す情報を有する。ここで、各調理工程の内容は、レシピデータ２１１Ａの中に、例えばテキスト情報として保持されている。静的コンテンツにおける「シーン」とは、状況や場面の区切りによってコンテンツを複数の部分に分割した場合の、１つの部分に相当する。特に、静的コンテンツにおける静止画の１つが、状況や場面の区切りに対応して作成されたものである場合には、静的コンテンツにおける静止画の１つを１つのシーンに対応づけてよい。一方、動的コンテンツは、一連の調理工程を動画で示すものである。言い換えれば、動画コンテンツは、各調理工程に対応する動画を、調理が進行する順番に連結したものである。

調理器具表示制御部１１０５は、工程変更判定部１１０４がコンテンツにおける工程の変更を検出した場合に、当該工程で使用しない調理器具の表示を変更、又は、当該工程以降、二度と使用しない調理器具の表示を変更する。

表示部１１０７は、コンテンツ及び調理器具を表示する。表示部１１０７は、レシピデータ表示制御部１１０３により決定された結果に基づいて、調理器具の表示を変更する。なお、コンテンツ（静的コンテンツ又は動的コンテンツ）を表示することを「再生する」とも表現する。

図１３は、本変形例におけるコンテンツ再生装置１１１のフローチャートである。

ステップＳ１３０１において、レシピデータ取得部１１０２は、レシピデータ２１１Ａを取得する。レシピデータ２１１Ａの具体例（レシピデータ１４０１）を図１４Ａに示す。図１４Ａに示されるように、レシピデータ１４０１は、レシピＩＤと、料理名と、調理工程との情報を少なくとも含む。レシピＩＤは、本レシピを一意に識別するために付されるＩＤである。料理名は、本レシピの名称であり、本レシピに従って調理することにより生成される料理の名称である。調理工程は、本レシピにおける調理方法を手順ごとに示すものである。なお、レシピデータ１４０１は、さらに、食材、調理時間、カロリー、又は、分量などの情報を含んでもよい。食材は、本レシピに必要な食材である。調理時間は、本レシピに従って調理するのに必要な時間である。カロリーは、本レシピに従って調理することにより生成される料理のカロリーである。

さらに、調理工程は、各調理工程の調理工程内容と調理器具ＩＤとを含む。調理器具情報の具体例（調理器具情報１４１１）を図１４Ｂに示す。図１４Ｂに示されるように、調理器具情報１４１１は、調理器具ＩＤと、調理器具名と、当該調理器具のアイコン画像を示す情報とを対応付けたものである。アイコン画像を示す情報とは、例えば、そのアイコン画像が格納されている電子ファイルのファイル名である。

ステップＳ１３０２において、レシピデータ表示制御部１１０３は、レシピデータ２１１Ａに含まれる調理工程と、当該調理工程で使用される調理器具情報とを用いて、調理器具片付け判断テーブルを作成する。調理器具片付け判断テーブルの作成処理の詳細は、後述される。

ステップＳ１３０３において、レシピデータ表示制御部１１０３は、当該レシピに必要な全調理器具のアイコンを表示部１１０７に表示する。

ステップＳ１３０４において、工程変更判定部１１０４は、調理工程の切り替わり（変更）であるか否かを判定する。ここで、調理工程の切り替わりであると判定した場合には、ステップＳ１３０５の処理を行う。一方、調理工程の切り替わりでないと判定した場合には、ステップＳ１３０４の処理を行う。

ステップＳ１３０５において、レシピデータ表示制御部１１０３は、当該調理工程で使用しない調理器具があるか否かを判定する。ここで、当該調理工程で使用しない調理器具があると判定した場合には、ステップＳ１３０６の処理を行う。一方、当該工程で使用しない調理器具があると判定した場合には、ステップＳ１３０７の処理を行う。

ステップＳ１３０６において、調理器具表示制御部１１０５は、当該調理工程で使用しない調理器具のアイコン色を変更する。

ステップＳ１３０７において、レシピデータ表示制御部１１０３は、当該調理工程以降、使用しない調理器具があるか否かを判定する。ここで、使用しない調理器具があると判定した場合には、ステップＳ１３０８の処理を行う。一方、使用しない調理器具がないと判定した場合には、ステップＳ１３０４の処理を行う。

ステップＳ１３０８において、調理器具表示制御部１１０５は、当該調理工程以降、使用しない調理器具のアイコン色を変更する。ユーザは、当該調理工程以降使用しない調理器具を片付けてよいことを知ることができる。ステップＳ１３０８の処理を終えたら、ステップＳ１３０４の処理を行う。

図１５は、調理器具片付け判断テーブルの作成処理のフローチャートである。

調理器具片付け判断テーブルの作成処理では、レシピデータ１４０１に必要な全ての調理器具のそれぞれに対して、ステップＳ１５０１とステップＳ１５０３との間の処理（ステップＳ１５０２）を行う。

ステップＳ１５０２において、レシピデータ表示制御部１１０３は、当該調理器具ＩＤに対応する工程ＩＤの最大値を、最終使用工程ＩＤとして、調理器具片付け判断テーブル１６１１（図１６Ｂ）に記録する。

図１６Ａは、レシピデータ１４０１に必要な全ての調理器具を示す調理器具情報１６０１を示す図である。調理器具情報１６０１は、調理器具情報１４１１から、レシピデータ１４０１で用いられる調理器具を抜き出したものである。

図１６Ｂは、調理器具片付け判断テーブル１６１１を示す図である。調理器具片付け判断テーブル１６１１は、ステップＳ１５０２において生成されたものである。

図１６Ｃは、調理工程と調理器具の使用状況とをまとめた調理器具使用状況テーブル１６２１を示す図である。調理器具使用状況テーブル１６２１は、ステップＳ１３０５とステップＳ１３０７とで判定された結果をまとめたものである。

図１７は、本変形例におけるコンテンツ再生装置１１１の画面表示の第一例である。

図１７において、アイコン１７０１で示される調理器具は、当該調理工程で使用する調理器具である。ここでは、アイコン１７０１は、背景が白であるアイコンとして示されている。また、アイコン１７０２で示される調理器具は、当該工程で使用しないものの、今後使用する調理器具である。ここでは、アイコン１７０２は、背景がドットで埋められたアイコンとして示されている。

図１８は、本変形例におけるコンテンツ再生装置１１２の画面表示の第二例である。

図１８において、アイコン１８０１及びアイコン１８０２で示される調理器具の表示態様は、それぞれ、図１７におけるアイコン１７０１及びアイコン１７０２で示される調理器具の表示態様と同じである。アイコン１８０３で示される調理器具は、当該工程以降使用しない調理器具である。ここでは、アイコン１８０３は、背景が黒であるアイコンとして示されている。

図１７及び図１８のように、調理器具の使用状況に応じて、アイコンの表示態様を異なるようにすることにより、ユーザに、調理器具の使用状況を伝えることができる。

（実施の形態２）
本実施の形態では、オブジェクト登場状況を吹き出し表示により表示することにより、オブジェクト登場状況をユーザに提示する例について説明する。

図１９は、本実施の形態における動画再生装置１０２の構成を示すブロック図である。図１９に示されるブロックのうち、図１と同等の機能については説明を省略する。なお、動画再生装置１０２は、コンテンツ再生装置に相当する。

動画再生装置１０２は、実施の形態１に係る動画再生装置１０１が備える機能ブロックに加え、吹き出し表示部１００９を備える。

録画装置２０１はデジタル放送を受信し、受信した動画コンテンツを含む番組データを録画し、録画した前記番組データを出力することができる。

入力部１００１は、ユーザによる操作を受け付ける。ユーザによる操作とは、例えば、動画再生装置へのキー操作などである。他に、動画再生装置１０２が赤外線受信部を有する場合にはリモコン操作でもよい。動画再生装置１０２がタッチパネルを有する場合にはタッチ操作でもよい。動画再生装置１０２が距離センサを有する場合にはジェスチャ操作でもよい。入力部１００１は受け付けた操作により指定された動画コンテンツの情報を命令として制御部１００２へ通知する。

制御部１００２は、入力部１００１から命令を受けたら、その命令に含まれる動画コンテンツの再生開始依頼を、動画再生部１００５に通知する。

動画再生部１００５は、制御部１００２から動画コンテンツの再生開始依頼を受けたら、指定された動画コンテンツの取得開始依頼を、動画取得部１００３に通知する。

動画取得部１００３は、動画再生部１００５から動画コンテンツの取得開始依頼を受けたら、指定された動画コンテンツを録画装置２０１から取得するとともに、指定された動画コンテンツのメタデータに対するメタデータ取得開始依頼をメタデータ取得部１００４に通知する。

動画取得部１００３が動画コンテンツの取得を完了すると、コンテンツ取得完了通知を動画再生部１００５に通知するとともに、動画コンテンツデータを動画再生部１００５に送信する。動画再生部１００５はコンテンツ取得完了通知を受けたら、当該コンテンツ取得完了通知を制御部１００２へ通知する。

メタデータ取得部１００４は、動画取得部１００３よりメタデータ取得開始依頼を受けたら、インターネットを介してメタデータ提供サービスなどにアクセスし、指定された動画コンテンツに対応するメタデータを取得する。なお、メタデータ取得部が記憶装置を具備し、取得したメタデータを記億して置くようにしてもよい。その場合、取得する対象のメタデータが既にメタデータ取得部１００４に記憶されている場合には、メタデータ提供サービスにアクセスしないで、記憶されているメタデータを用いて以後の処理を行う。

次に、メタデータ取得部１００４は、取得したメタデータの中に記述されているシーン情報（各シーンの開始時刻、終了時刻）を動画取得部１００３に通知する。動画取得部１００３はシーン情報を通知されたら当該シーン情報を動画再生部１００５へ通知する。

メタデータ取得部１００４は、取得したメタデータを、オブジェクト登場状況特定部１００６に出力する。

オブジェクト登場状況特定部１００６は、メタデータを解析することにより、動画コンテンツの各シーンに登場するオブジェクトに対し、当該オブジェクトが当該シーン以後に登場するか否かを示すオブジェクト登場状況を特定する。

オブジェクト登場状況特定部１００６は、メタデータに記述されている情報をもとに、動画コンテンツの各シーンにおいて、再生中のシーンで登場しているオブジェクト、再生中のシーンには登場していないが再生中のシーン以後に登場するオブジェクトおよび再生中のシーン以後に登場しないオブジェクト、のオブジェクト登場状況を特定する。

オブジェクト登場状況特定部１００６は、オブジェクト登場状況の特定を完了したら、オブジェクト登場状況及びメタデータをオブジェクト登場状況表示部１００７に送信し、かつ、特定完了通知を制御部１００２に通知する。

制御部１００２は、動画再生部１００５からのコンテンツ取得完了通知と、オブジェクト登場状況特定部１００６からの特定完了通知との両方の通知を受け取ったら、あらためて動画再生部１００５に動画コンテンツの再生開始依頼を通知するとともに、オブジェクト登場状況表示部１００７にオブジェクト登場状況提示開始依頼を通知する。

動画再生部１００５は、動画コンテンツの再生開始依頼を受けたら、動画コンテンツの再生を開始し、その再生映像である動画コンテンツ表示データを表示部１００８に出力する。

オブジェクト登場状況表示部１００７は、オブジェクト登場状況の表示開始依頼を受けたら、オブジェクト登場状況表示データを表示部１００８に出力する。

さらに、オブジェクト登場状況表示部１００７は、オブジェクト登場状況を示す文字列を吹き出し表示部１００９に出力する。吹き出し表示部１００９は、オブジェクト登場状況表示部１００７からオブジェクト登場状況を示す文字列を受け取ったら、オブジェクト登場状況を示す文字列を吹き出し表示データに加工し、吹き出し表示データを表示部１００８に出力する。

表示部１００８は、動画再生部１００５から受信した動画コンテンツ表示データと、オブジェクト登場状況表示部１００７から受信したオブジェクト登場状況表示データと吹き出し表示部１００９から受信した吹き出し表示データを重畳して表示する。

制御部１００２は、動画再生部１００５において動画コンテンツを再生しているとき、動画コンテンツの再生開始時刻からの経過時間を管理し、動画再生部１００５およびオブジェクト登場状況表示部１００７に再生開始時刻からの経過時間情報を逐次通知する。

動画再生部１００５は、再生された動画コンテンツのシーンが切り替わる時刻になると、オブジェクト登場状況更新依頼をオブジェクト登場状況表示部１００７に通知する。

ここで、シーンが切り替わる時刻とは、再生開始時刻、または、現在再生中のシーンの終了時刻かつ次のシーンの開始時刻を意味する。

オブジェクト登場状況表示部１００７は、オブジェクト登場状況更新依頼を受けたら、オブジェクト登場状況の情報を表示部１００８へ出力する。また、オブジェクト登場状況表示部１００７は、オブジェクト登場状況を示す文字列を吹き出し表示部１００９に出力する。吹き出し表示部１００９は、オブジェクト登場状況を伝える文字列を吹き出し表示データに加工し、吹き出し表示データを表示部１００８に出力する。

表示部１００８が表示を更新することで、最新のオブジェクト登場状況および吹き出し表示が動画コンテンツに重畳表示される。

動画再生部１００５は、再生中の動画コンテンツを最後まで再生し終えると（動画コンテンツの終了時刻になると）、再生を終了するとともに、制御部１００２に再生終了通知を送信することにより、再生終了を通知する。制御部１００２は再生終了通知を受信したら、オブジェクト登場状況表示部１００７に通知する。オブジェクト登場状況表示部１００７は、再生終了通知を受信したら、表示部１００８に表示消去依頼を通知する。

かかる構成によれば、メタデータ取得部１００４によって取得したメタデータに基づいて、オブジェクト登場状況特定部１００６が動画コンテンツ再生中の各シーンにおいて、オブジェクトの登場状況を次の３態様、つまり、当該シーンに登場しているオブジェクト、当該シーンに登場しておらず当該シーンより後のシーンに登場するオブジェクト、及び、当該シーンより後のシーンに登場しないオブジェクト、のいずれかに特定する。そして、表示部１００８が、動画再生部１００５が再生する動画コンテンツと、オブジェクト登場状況表示部１００７が出力するオブジェクト登場状況表示と、吹き出し表示部１００９が出力するオブジェクト登場状況を伝える文字列を吹き出し表示とを重畳表示する。

なお、本実施の形態においてオブジェクト登場状況を３態様としたが、オブジェクト登場状況を次の２態様、当該シーンで以後に登場するオブジェクト、又は、当該シーン以後に一度も登場しないオブジェクト、としてもよい。

これによって、例えば、料理番組の動画コンテンツを再生した場合に、料理の各調理工程において、現在再生中の調理工程以後に二度と使用しない調理器具などを、をユーザに強調して提示することができる。これにより、動画コンテンツを視聴しながら調理を行う際に、調理器具の片付けタイミングをユーザによりわかりやすく示すことができる。

なお、本実施の形態において、録画装置２０１はデジタル放送を受信すると記載したが、放送を入力とするのではなく、動画コンテンツサーバなどの外部のコンテンツ送出装置などから出力されたコンテンツデータを入力としてもよい。

また、録画装置２０１はデジタル放送を受信し、受信した番組を録画し、録画した動画コンテンツを出力することができる装置であると記載したが、例えば、インターネット網や家庭内に存在する動画コンテンツサーバであってもよいし、動画コンテンツを記録し、出力できる装置であれば、本実施の形態で記述した装置を代用できる。

また、録画装置２０１が外部に接続されている例を用いたが、録画装置と同等の機能を、動画再生装置１０１内部に有していてもかまわない。

また、メタデータ取得部１００４は、インターネットを介してメタデータ提供サービスなどにアクセスし、指定された動画コンテンツに対応するメタデータを取得する、と記述したが、他のサーバなどからメタデータを取得してもよい。例えば、録画装置２０１が受信するデジタル放送波のＳＩデータなどによって構成されているデータを、メタデータとして取得してもよい。また、メタデータは、前述した動画コンテンツサーバなどにあらかじめ動画コンテンツと一緒にデータとして記録されており、そのデータをメタデータとして取得することとしてもよい。

制御部１００２は、タイマ機能を備えており、再生開始時刻からの経過時間を管理し、動画再生部１００５およびオブジェクト登場状況表示部１００７に再生開始時刻からの経過時間情報を逐次通知していると記載したが、前記経過時間情報は、動画コンテンツに含まれるタイムスタンプの情報を用いてもよい。

本実施の形態における動画再生装置のオブジェクト登場状況検出に関する制御フローは、図６に示した実施の形態１における動画再生装置のオブジェクト登場状況検出とまったく同じである。

本実施の形態における動画再生装置のオブジェクト登場状況表示に関する制御フローは、図７中のステップＳ３０１４の処理の直前に、吹き出し表示部１００９が、オブジェクト登場状況を伝える文字列を吹き出し表示データに加工して、表示部１００８に出力し、表示部１００８が吹き出し表示を重畳表示する処理を加えることで実現できる。他の処理は、図７に示した実施の形態１における動画再生装置のオブジェクト登場状況表示とまったく同じである。

図２０、図２１及び図２２は、本実施の形態の動画レシピへの応用例を示す図である。

図２０は、本実施の形態の動画レシピへの応用例（吹き出し表示）を示す図である。図２０に示されるように、本実施の形態によれば、当該シーン以降に使用されない調理器具をユーザが片付けてもよいことを示すメッセージが、吹き出し形式で示される。

図２１は、本実施の形態の動画レシピへの応用例（サブタイトル表示）を示す図である。図２１に示されるように、本実施の形態によれば、当該シーン以降に使用されない調理器具をユーザが片付けてもよいことを示すメッセージが、サブタイトル表示形式で示される。

図２２は、本実施の形態の動画レシピへの応用例（音声出力）を示す図である。図２２に示されるように、本実施の形態によれば、当該シーン以降に使用されない調理器具をユーザが片付けてもよいことを示すメッセージが、音声として出力される。

図２０、図２１及び図２２のようにメッセージが出力されることで、ユーザは、当該シーン以降に使用しない調理器具を片付けてよいことを知ることができる。

以上のように、本実施の形態に係る動画再生装置では、ユーザは、動画コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを、動画コンテンツの映像と同時に表示される吹き出し表示によって容易に把握することができる。よって、ユーザの利便性を高めることができる。

なお、本実施の形態において、吹き出し表示部を設けて、オブジェクト登場状況を伝える文字列を吹き出し表示することで、オブジェクト登場状況を強調してユーザに提示する例を示したが、文字列を吹き出し表示する代わりに、オブジェクト登場状況を音声によってユーザに通知する方法を用いてもよい。これによって、例えば、料理番組の動画コンテンツを再生した場合に、料理の各調理工程において、本実施の形態と同様の効果が得られる。

以上のように、本実施の形態に係る動画再生装置では、ユーザは、動画コンテンツの再生中に当該オブジェクトが当該シーン以後に登場するか否かを音声として聴くことにより把握することができる。よって、ユーザの利便性を高めることができる。

（実施の形態２の変形例１）
本変形例では、実施の形態１の変形例におけるコンテンツ再生装置において、さらにオブジェクト登場状況を吹き出し表示により表示することにより、オブジェクト登場状況をユーザに提示する第一例について説明する。ここで、オブジェクト登場状況の具体例は、当該オブジェクトが再生中のシーン以降登場しないことを示すものである。

図２３は、本変形例におけるコンテンツ再生装置１１２の機能を示すブロック図である。

図２３に示されるように、コンテンツ再生装置１１１は、入力部１１０１と、レシピデータ取得部１１０２と、レシピデータ表示制御部１１０３と、表示部１１０７とを備える。また、レシピデータ表示制御部１１０３は、工程変更判定部１１０４と、調理器具表示制御部１１０５と、吹き出し表示制御部１１０６とを有する。本変形例の構成は、実施の形態１の変形例に対して、吹き出し表示制御部１１０６が追加された構成である。

吹き出し表示制御部１１０６は、レシピデータ表示制御部１１０３により決定された結果に基づいて、調理器具の使用状況を吹き出し表示形式で表示する。

図２４は、本変形例におけるコンテンツ再生装置１１２のフローチャートである。図２４において、図１３と異なる部分は、ステップＳ２４０１である。

ステップＳ２４０１において、吹き出し表示制御部１１０６は、当該工程以降使用されない調理器具が表示されている表示部１１０７上の位置に対応する位置に、当該調理器具を「片付けてよい」旨のメッセージを提示する。

図２５は、吹き出し表示制御部１１０６によるメッセージの表示の第一例である。

図２５に示されるように、当該調理工程以降使用されない調理器具を示すアイコン１８０３に対応する位置に、「片付けてよい」旨のメッセージ２５０１（第一メッセージ）が表示されている。このようなメッセージを表示することにより、ユーザに、調理器具の使用状況をよりわかりやすく伝えることができる。

（実施の形態２の変形例２）
本変形例では、実施の形態１の変形例におけるコンテンツ再生装置において、さらにオブジェクト登場状況を吹き出し表示により表示することにより、オブジェクト登場状況をユーザに提示する第二例について説明する。ここで、オブジェクト登場状況の具体例は、当該オブジェクトが再生中のシーンの次のシーンで登場することを示すものである。

図２６は、本変形例におけるコンテンツ再生装置のフローチャートである。図２６において、図２４と異なる部分は、ステップＳ２６０１、ステップＳ２６０２及びステップＳ２６０３である。

ステップＳ２６０１において、レシピデータ表示制御部１１０３は、当該調理工程の次の調理工程において、初めて使用される調理器具があるか否かを判定する。ここで、初めて使用される調理器具があると判定した場合には、ステップＳ２６０２の処理を行う。一方、初めて使用される調理器具がないと判定した場合には、ステップＳ１３０４の処理を行う。

ステップＳ２６０２において、吹き出し表示制御部１１０６は、当該調理工程の次の工程で初めて使用される調理器具が表示されている表示部１１０７上の位置に対応する位置に、当該調理器具を準備する旨のメッセージを提示する。

ステップＳ２６０３において、調理器具表示制御部１１０５は、当該調理工程の次の調理工程で初めて使用される調理器具のアイコン色を変更する。ユーザは、当該調理工程の次の調理工程で使用される調理器具を準備するほうがよいことを知ることができる。ステップＳ２６０３の処理を終えたら、ステップＳ１３０４の処理を行う。

図２７は、吹き出し表示制御部１１０６によるメッセージの表示の第二例である。

図２７に示されるように、当該調理工程の次の調理工程で初めて使用される調理器具を示すアイコン２７０１に対応する位置に、準備する旨のメッセージ２７０２（第二メッセージ）が表示されている。このようなメッセージを表示することにより、ユーザに、調理器具の使用状況をよりわかりやすく伝えることができる。

以上の実施の形態、及び、その変形例の説明においては、調理手順をユーザに示すコンテンツ再生装置について説明した。このコンテンツ再生装置は、調理手順をユーザに示すコンテンツだけでなく、その他のコンテンツに適用することも可能である。

図２８は、コンテンツとしてドラマを再生するコンテンツ再生装置の画面表示の例である。図２８に示されるように、コンテンツ再生装置は、画面にドラマの映像を表示している。そして、その画面の上部に、複数の登場人物のそれぞれに対応するアイコン（ここでは登場人物の名前）を、登場人物の登場状況に対応した表示態様で表示している。具体的には、コンテンツ再生装置は、現在のシーンに登場している登場人物であるＪａｍｅｓ、Ｒｏｂｅｒｔ、Ｄａｖｉｄ、Ｍａｒｙ及びＬｉｎｄａのアイコン２８０１を、背景が白のアイコンとして表示している。

また、コンテンツ再生装置は、当該シーンに登場しないが、今後のシーンに登場する登場人物であるＭａｒｇａｒｅｔのアイコン２８０２を、背景がドットで埋められたアイコンとして表示している。

また、コンテンツ再生装置は、当該シーン以降登場しない登場人物であるＴｈｏｍａｓのアイコン２８０３を、背景が黒のアイコンとして表示している。

さらに、各実施の形態のコンテンツ再生装置により、生放送のコンテンツを再生することもできる。生放送のコンテンツのオブジェクト情報は、あらかじめ放送前に決定された情報を用いることができる。また、オブジェクト情報は、生放送に追従するように生成された情報を随時受信して利用するようにしてもよい。さらに、上記の両方の情報を統合して利用するようにしてもよい。つまり、放送開始時点では、あらかじめ放送前に決定された情報を用い、放送が開始された後には、生放送に追従するように生成された情報を随時受信し、放送前に決定された情報と受信した情報との両方、又は、放送前に決定された情報を受信した情報を用いて修正した情報を利用するようにしてもよい。

（その他の変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

（４）本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

なお、各図に示される各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のコンテンツ再生装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、複数のシーンを有するコンテンツを再生する再生ステップと、各シーンに登場するオブジェクトを特定するための登場シーンデータを含むメタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が当該シーン以降に登場するか否かを示すオブジェクト登場状況を特定するオブジェクト登場状況特定ステップと、前記再生部が前記コンテンツを再生している時に、再生中のシーンに対して特定された前記オブジェクト登場状況を提示する提示ステップとを含むコンテンツ再生方法を実行させる。

以上、一つまたは複数の態様に係るコンテンツ再生装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明によれば、コンテンツを再生するコンテンツ再生装置において、コンテンツの各シーンで登場するオブジェクトの登場状況をシーンごとに視覚的にユーザに提示することができる。これにより、調理手順を示すコンテンツの場合には、調理時に調理器具の片付けタイミングを提示することができる。また、ドラマ又は映画コンテンツの場合には、ユーザは、特定の俳優又はスポーツ選手が登場しているシーンを選んで効率よく視聴することができる。

１０１、１０２ 動画再生装置
１１１、１１２ コンテンツ再生装置
２０１ 録画装置
２１１ レシピデータ記憶部
２１１Ａ、１４０１ レシピデータ
１００１、１１０１ 入力部
１００２ 制御部
１００３ 動画取得部
１００４ メタデータ取得部
１００５ 動画再生部
１００６ オブジェクト登場状況特定部
１００７ オブジェクト登場状況表示部
１００８、１１０７ 表示部
１００９ 吹き出し表示部
１１０２ レシピデータ取得部
１１０３ レシピデータ表示制御部
１１０４ 工程変更判定部
１１０５ 調理器具表示制御部
１１０６ 吹き出し表示制御部
１４１１、１６０１ 調理器具情報
１６１１ 調理器具片付け判断テーブル
１６２１ 調理器具使用状況テーブル
１７０１、１７０２、１８０１、１８０２、１８０３、２７０１、２８０１、２８０２、２８０３ アイコン
２５０１、２７０２ メッセージ
１０００１ メタデータ
１０００２ シーン情報
１０００３ オブジェクト情報
１０００４ 材料情報
２０００１ 登場オブジェクト数
２０００２ 登場オブジェクトテーブル

Claims (21)

1. 複数のシーンを有するコンテンツを再生する再生部と、
   各シーンに登場するオブジェクトを特定するための登場シーンデータを含むメタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が当該シーン以降に登場するか否かを示すオブジェクト登場状況を特定するオブジェクト登場状況特定部と、
   前記再生部が前記コンテンツを再生している時に、再生中のシーンに対して特定された前記オブジェクト登場状況を提示する提示部とを備え、
   前記再生部は、
   前記複数のシーンの各々が、料理における複数の調理工程の各々における調理の内容を示す前記コンテンツを再生し、
   前記オブジェクト登場状況特定部は、
   前記複数のシーンの各々に対して、前記調理工程において調理に用いられる調理器具である前記オブジェクトの各々について前記オブジェクト登場状況を特定する
   コンテンツ再生装置。
2. 前記コンテンツ再生装置は、さらに、
   複数の調理工程のそれぞれの内容を示す調理工程情報と、前記調理工程において調理に用いられる前記調理器具を示す調理器具情報とを対応付けて前記コンテンツとして記憶している記憶部を備え、
   前記再生部は、前記記憶部が記憶している前記コンテンツを再生し、
   前記オブジェクト登場状況特定部は、さらに、
   前記オブジェクトの各々が前記コンテンツにおいて最後に登場するシーンである最終登場シーンを特定し、
   前記提示部は、
   前記再生部がシーンを再生しているときに、前記シーンと前記最終登場シーンとの関係に基づいて、前記オブジェクトに対応する位置に前記関係を示す情報を提示する
   請求項１に記載のコンテンツ再生装置。
3. 前記提示部は、
   前記再生部がシーンを再生しているときに、前記シーンの前のシーンが前記最終登場シーンである前記オブジェクトに対応する位置に、第一メッセージを表示する
   請求項２に記載のコンテンツ再生装置。
4. 前記オブジェクト登場状況特定部は、さらに、
   前記オブジェクトの各々が前記コンテンツにおいて最初に登場するシーンである最初登場シーンを特定し、
   前記提示部は、
   前記再生部がシーンを再生しているときに、前記シーンの次のシーンが前記最初登場シーンである前記オブジェクトに対応する位置に、第二メッセージを表示する
   請求項１〜３のいずれか１項に記載のコンテンツ再生装置。
5. 前記提示部は、
   前記コンテンツの再生開始時点に、前記コンテンツに登場するすべてのオブジェクトの前記オブジェクト登場状況を提示する
   請求項１〜４のいずれか１項に記載のコンテンツ再生装置。
6. 前記提示部は、
   前記オブジェクトの名称を示す文字列を、前記オブジェクト登場状況に応じた態様で表示することによって、当該オブジェクト登場状況を提示する
   請求項１〜５のいずれか１項に記載のコンテンツ再生装置。
7. 前記提示部は、
   前記オブジェクトの名称を示す文字列を、前記オブジェクト登場状況に応じた色、形、又は、大きさで表示することによって、当該オブジェクト登場状況を提示する
   請求項１〜６のいずれか１項に記載のコンテンツ再生装置。
8. 前記提示部は、
   前記オブジェクトを象徴的に表す図柄であるアイコンを、前記オブジェクト登場状況に応じた態様で表示することによって、当該オブジェクト登場状況を提示する
   請求項１〜５のいずれか１項に記載のコンテンツ再生装置。
9. 前記コンテンツ再生装置は、さらに、
   前記コンテンツを視聴するユーザの操作を受け付ける入力部を備え、
   前記提示部は、前記入力部が受け付けた操作によって指定された前記オブジェクトに関連する情報を提示する
   請求項１〜８のいずれか１項に記載のコンテンツ再生装置。
10. 前記オブジェクトに関連する情報は、前記オブジェクトの画像である
    請求項９に記載のコンテンツ再生装置。
11. 前記提示部は、
    前記オブジェクト登場状況を表す文字列を吹き出し表示により表示することによって、前記オブジェクト登場状況を提示する
    請求項１〜１０のいずれか１項に記載のコンテンツ再生装置。
12. 前記提示部は、
    前記オブジェクト登場状況を音声によって出力することによって、前記オブジェクト登場状況を提示する
    請求項１〜１０のいずれか１項に記載のコンテンツ再生装置。
13. 前記再生部は、
    前記提示部が前記オブジェクト登場状況を提示する時に前記コンテンツの再生を一時停止し、その所定時間後に再生を再開する
    請求項１〜１０のいずれか１項に記載のコンテンツ再生装置。
14. 前記コンテンツは料理の過程を示す動画コンテンツであり、
    前記オブジェクトは当該料理の過程で使用される調理器具である
    請求項１〜１３のいずれか１項に記載のコンテンツ再生装置。
15. 前記オブジェクトに関連する情報は、前記オブジェクトが示す調理器具によって調理される材料である
    請求項９に記載のコンテンツ再生装置。
16. 前記オブジェクトに関連する情報は、前記オブジェクトが示す調理器具が用いられる調理工程情報である
    請求項９に記載のコンテンツ再生装置。
17. 前記オブジェクト登場状況特定部は、
    前記メタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が（ｉ）当該シーン以降に登場するか否かを示し、かつ、（ｉｉ）当該シーンに登場するか否かを示すオブジェクト登場状況を特定する
    請求項１〜１６のいずれか１項に記載のコンテンツ再生装置。
18. 前記オブジェクト登場状況特定部は、さらに、
    前記メタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が当該シーンの次のシーンに登場するか否かを示すオブジェクト登場状況を特定する
    請求項１７に記載のコンテンツ再生装置。
19. コンピュータをコンテンツ再生装置として動作させるためのコンテンツ再生方法であって、
    前記コンピュータにより、複数のシーンを有するコンテンツを再生する再生ステップと、
    前記コンピュータにより、各シーンに登場するオブジェクトを特定するための登場シーンデータを含むメタデータを解析することにより、前記複数のシーンの各々に対し、前記コンテンツに登場するオブジェクトの各々が当該シーン以降に登場するか否かを示すオブジェクト登場状況を特定するオブジェクト登場状況特定ステップと、
    前記コンピュータにより、前記再生ステップで前記コンテンツを再生している時に、再生中のシーンに対して特定された前記オブジェクト登場状況を提示する提示ステップとを含み、
    前記再生ステップでは、
    前記複数のシーンの各々が、料理における複数の調理工程の各々における調理の内容を示す前記コンテンツを再生し、
    前記オブジェクト登場状況特定ステップでは、
    前記複数のシーンの各々に対して、前記調理工程において調理に用いられる調理器具である前記オブジェクトの各々について前記オブジェクト登場状況を特定する
    コンテンツ再生方法。
20. 請求項１９に記載のコンテンツ再生方法をコンピュータに実行させるためのプログラム。
21. 請求項２０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images