JP6089892B2 - コンテンツ取得装置、情報処理装置、コンテンツ管理方法、コンテンツ管理プログラム - Google Patents

Description

本発明は、コンテンツ取得装置、情報処理装置、コンテンツ管理方法、コンテンツ管理プログラムに関する。

静止画像や動画像を撮ることができるカメラ機能付き機器が普及している。ユーザは、これらの機器を用いて手軽に画像を撮ることができる。その結果、機器に蓄積される画像数は大量になり、ユーザが気に入った画像を抽出することは困難となる。そこで、画像を自動で整理する方法が提案されている（例えば、特許文献１〜特許文献３参照）。

特開２００５−３９４８６号公報 特開２００７−２２６５５５号公報 特開２０１０−１８７３２０号公報

しかしながら、たとえ、画像や音声等のコンテンツを自動で整理できる方法が提供されたとしても、コンテンツの分類情報をユーザが設定する場合には、ユーザに面倒な手間を掛けることになる。

そこで、一側面では、コンテンツの管理を容易にすることを目的とする。

一つの案では、コンテンツを取得する取得部と、取得したコンテンツのうち、表示されたコンテンツのタッチ画面に対するタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、を含む付加情報を該コンテンツに対応させて記録する記録部と、前記記録部を参照して、前記付加情報に含まれるタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、に従い前記コンテンツを分類し、特定のタッチ操作の分類のコンテンツを抽出する抽出部と、を有することを特徴とするコンテンツ取得装置が提供される。

一態様によれば、コンテンツの管理を容易にすることができる。

一実施形態にかかるコンテンツ取得装置の全体構成例を示した図である。 一実施形態にかかる付加情報付与処理を示したフローチャートである。 一実施形態にかかるコンテンツ操作に対する付加情報の記録例である。 一実施形態にかかる記録部への付加情報の記録例を示した図である。 一実施形態にかかるコンテンツ抽出処理を示したフローチャートである。 一実施形態にかかるコンテンツ操作に対する付加情報の記録例である。 一実施形態にかかる情報処理装置の全体構成例を示した図である。 一実施形態にかかるコンテンツ操作に対する付加情報の記録例である。 一実施形態にかかるコンテンツ取得装置及び情報処理装置のハードウェア構成図である。 仕分け情報付与処理例を示したフローチャートである。 仕分け情報付与処理例を示したフローチャートである。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

＜はじめに＞
ユーザは、カメラ機能付き機器を携帯し、手軽に画像を撮ることが多い。その結果、機器に蓄積される画像数は大量になり、ユーザが気に入った画像を抽出することは困難となる。例えば、運動会において自分の子供の徒競走をカメラで撮影する場合、ユーザは、被写体である子供の移動スピードが速いため連写モードにしてスタートからゴールまでを何十枚も撮影することがある。ユーザは、その中から気に入った写真だけを選択して保存及びプリントしたい。一方で、ユーザは、撮影された画像の枚数が多いため、１枚ずつ確認し仕分けする作業に手間がかかることを想定して、結局そのままとなってしまう場合がある。

（顔認識による分類）
最近では、静止画像や動画像の顔認識機能が発達し、ある人物の顔を認識させておいて登録すれば、その人物が映っている画像を仕分け可能な機能を実現するソフトウェアも増えている。しかし、この仕分け方法では、上記のような子供の写真の場合、全て同じ人物なのでベストショットを仕分けることは難しい。

（キーワードによる分類）
また、画像にキーワードなどを付加して画像をキーワードにより分類する方法もある。図１０を参照しながら、画像をキーワードにより分類する方法について簡単に説明する。この場合、機器の制御部は、最初に機器に画像のサムネイルを表示する（ステップＳ１０）。次に、制御部は、表示された画像中に仕分け対象があるかを判定する（ステップＳ１１）。仕分け対象があると判定された場合、制御部は、ユーザがクリック操作した対象の画像を表示する（ステップＳ１２）。次に、制御部は、キーワードによる仕分けをするかを判定する（ステップＳ１３）。キーワードで仕分けすると判定された場合、制御部は、キーワード入力画像を表示し（ステップＳ１４）、ユーザ操作に応じたキーワード入力を行う（ステップＳ１５）。次に、制御部は、表示されているコンテンツ（ここでは画像）にキーワードを付与し（ステップＳ１６）、ステップＳ１１に戻り、次の仕分け対象があるかを判定する。

なお、ステップＳ１１にて仕分け対象がないと判定された場合、又はステップＳ１３にてキーワードによる仕分けをしないと判定された場合、制御部は、本処理を終了させる。

以上に説明したキーワードによる分類の場合、ユーザは、キーワード入力画面からキーワードを入力しなければならず、ユーザに面倒な手間を掛けることになる。
（会話情報や注視時間による分類）
また、画像を閲覧中に録音された会話情報や注視時間を利用して画像を分類する方法もある。図１１を参照しながら、会話情報や注視時間により画像を分類する方法について簡単に説明する。この場合、機器の制御部は、最初に機器に画像のサムネイルを表示する（ステップＳ２０）。次に、制御部は、表示された画像中に仕分け対象があるかを判定する（ステップＳ２１）。仕分け対象があると判定された場合、制御部は、ユーザがクリック操作した対象の画像を表示する（ステップＳ２２）。

次に、制御部は、画像を表示している間の会話情報を取得し、注視時間を計時する（ステップＳ２３）。次に、制御部は、表示されているコンテンツ（ここでは画像）に会話情報や注視時間を付与する（ステップＳ２４）。

なお、ステップＳ２１にて仕分け対象がないと判定された場合、制御部は、本処理を終了させる。

以上に説明した会話情報や注視時間による分類の場合、１人で閲覧している時は会話をしないため、会話情報が得られず、会話情報による分類ができない。また、小店舗等、狭い空間内に不特定多数の人が密集する場所で画像を閲覧しているような場合には、閲覧者ではない周辺の人の会話情報も取り込まれることがある。この場合、注目度が誤って判定され、コンテンツが本来の関心度とは異なる分類に仕分けされてしまう可能性があり、分類の精度に欠ける結果となる。

そこで、以下に説明する実施形態では、閲覧者の操作情報を利用したデータの分類方法を提案する。つまり、以下の実施形態では、撮影した画像データを閲覧している際の閲覧者の画像データへの操作を示す付加情報を、該当する画像データ内（例えばExifなど）又は該当する画像データに関連付けて操作情報を記録する（タグ化）。例えば、閲覧者の画像データへの操作とは、画像データへのタッチ操作等がある。これにより、記録されている大量のデータの中から閲覧者の操作の種別によって自動分類された、特定の分類の画像データを自動的に抽出できるようにするものである。

なお、以下の一実施形態では、画像についての自動分類及び特定の分類の画像の抽出について説明し、一実施形態の変形例では、音声についての自動分類及び特定の分類の音声の抽出について説明する。しかしながら、本実施形態に係るコンテンツは、これに限られず、例えば静止画像データ、動画像データ、音声データ及びこれらを組み合わせたデータに適用し得る。

［装置の全体構成］
まず、本発明の一実施形態に係るコンテンツ取得装置について、図１を参照しながら説明する。図１は、一実施形態に係るコンテンツ取得装置の全体構成を示した図である。一実施形態に係るコンテンツ取得装置１０は、例えば、デジタルカメラ、録音装置、カメラ機能又は録音機能付きの携帯電話、カメラ機能又は録音機能付きのタブレット型端末、カメラ機能又は録音機能付きのスマートフォン、録音機能付きの音楽プレイヤー等であってもよい。コンテンツ取得装置１０は、コンテンツを取得する手段として、コンテンツ（画像）を撮影する機能、又はコンテンツ（音声）を録音する機能の少なくともいずれかの機能を有する。

コンテンツ取得装置１０は、レンズ１１、画像処理部１２、記録部１３、マイク１４、音声処理部１５、表示部１６、制御部１７、操作部１８及び抽出部１９を有する。

レンズ１１は、例えば、図示しないシャッタとともに光学系として構成され、光を集光する。レンズ１１を介して集光された光は、図示しないＣＭＯＳ撮像センサにより光電変換される。光電変換されたアナログ電気信号はデジタル信号に変換され、デジタル信号は色差信号(画像信号)に変換され、画像処理部１２に出力される。

画像処理部１２は、入力した画像信号に対してＪＰＥＧのエンコードの処理等を行い、エンコードされた画像データを記録部１３に出力する。

マイク１４は、音を集音し、得られた音声信号を音声処理部１５に出力する。なお、レンズ１１及びマイク１４は、コンテンツを取得する取得部の一例である。

音声処理部１５は、音声信号に対して増幅処理などの所定の処理を施した音声データを記録部１３に出力する。

表示部１６は、コンテンツ取得装置１０のカメラ機能により撮影された画像や録音機能により録音された音声を示すアイコン等を表示する。表示部１６には、タッチパネルが積層されてもよい。その場合、表示部１６と操作部１８とは一体化し、表示部１６の画面に対するユーザの接触操作が、操作部１８を用いた入力操作になる。ただし、表示部１６と操作部１８とは別体であってもよく、操作部１８はキーボードやマウスであってもよい。

制御部１７は、レンズ１１を用いて撮影された画像のうち、表示部１６に表示している画像に対して操作が行われたことを示す付加情報を取得する。表示している画像に関連付けて記録部１３に記録する。記録部１３は、付加情報を画像又は音声のデータに関連付けて記録する。

抽出部１９は、画像に関連付けて記録された付加情報にしたがって画像を分類し、特定の分類の画像を抽出する。

例えば、コンテンツ取得装置１０のカメラ機能により撮影された画像を直ぐに表示部１６に表示させてユーザに閲覧させる場合、画像１の撮影→画像１の表示→画像２の撮影→画像２の表示→・・・のように表示処理が行われる。また、表示部１６には、記録部１３に記録された複数の画像のサムネイルが表示されてもよい。

ユーザは、表示されている画像に対してタッチ操作や拡大操作等の接触操作を行うことがある。制御部１７は、この画像に対する接触操作を所定の入力操作と認識し、入力操作に対する必要な処理（例えば、拡大表示等）を実行する。また、制御部１７は、この接触操作を付加情報として取得し、記録部１３は、付加情報を接触操作した画像と関連させて記録する。つまり、本実施形態では、ユーザが画像を閲覧中、表示されている画像に対して接触操作を行った場合、操作されたことを示す付加情報を画像とリンクさせて記録しておき、記録された付加情報を画像の分類（仕分け）に使用する。これによれば、画像閲覧時のユーザ操作が画像の仕分けに利用される。具体的には、画像の閲覧時にその画像が閲覧者であるユーザによりどれくらい接触操作されたかが、ユーザがどれくらいその画像に関心があったかを示す注目度と相関関係にあるとの観点からユーザのその画像に対する注目度が推定される。これにより、ユーザの注目度に合致したコンテンツを抽出することができる。このため、ユーザによる手動でのデータの仕分け作業が不要であり、また、ユーザがキーワード等の分類条件を予め設定する手間もを省きながら、大量の画像を容易に管理することができる。

ここで、表示している画像に対して行われる操作としては、例えば、以下の操作を一例として挙げることができる。
１．表示されている画像へのタッチ操作及びタッチ操作の回数
２．表示されている画像を拡大表示させるための操作
３．表示されている画像を回転させるための操作
４．表示されている画像に何らかの加工を施すための操作、例えば、ソフトウェア（アプリケーションプログラム）を使って画像にスタンプを押したり、吹き出しをつけたりする等の加工が施された場合
５．指で丸くなぞるなど、ユーザがカスタマイズした特定のタッチ操作
ただし、表示している画像に対して行われる操作のうち付加情報として記録される操作は、上記操作例に限られない。また、同一画像に対する複数の操作については、複数の操作のそれぞれが付加情報としてその画像に関連付けて記録される。

［付加情報付与処理］
次に、本実施形態に係るコンテンツ取得装置において実行される付加情報付与処理について、図２を参照しながら説明する。図２は、一実施形態に係る付加情報付与処理を示したフローチャートである。

例えば、ユーザが子供の運動会の写真を一人で閲覧する場合、ユーザの閲覧操作に応じて、制御部１７は、表示部１６に子供の運動会の画像又はサムネイルを表示させる(ステップＳ３０)。次に、制御部１７は、表示されているコンテンツ（ここでは、画像）のいずれかに対して仕分け（分類）対象となる操作、すなわち、付加情報を付与すべき操作が行われたかを判定する(ステップＳ３１)。具体例としては、制御部１７は、表示部１６に積層されたタッチパネルからの電気信号に基づき、タッチ画面の所望の位置が操作されたことを示す情報を得る。制御部１７は、この情報に基づき、仕分け対象となる画像への操作が行われたかを判定する。なお、画像が操作されるとは、画像が表示されている画面への接触操作に限られず、画像が表示されている画面への近接操作を検出できる場合には、検出された近接操作も画像が操作される場合に含まれる。

仕分け対象となる操作が行われたと判定された場合、記録部１３は、操作種別を取得し（ステップＳ３２）、操作種別を含む付加情報をその画像に関連付けて記録する(ステップＳ３３)。ここで、付加情報の記録方法としては、２通り考えられる。一つは、記録部１３が、コンテンツ取得装置１０の記録領域に画像データに関連付けて付加情報を記録する方法である。もう一つは、記録部１３が、画像データ自体がもつＥｘｉｆという記録領域に付加情報を記録させる方法である。Ｅｘｉｆとは、画像データなどに埋め込まれるメタデータで、撮影時の位置情報（緯度経度）や撮影状態（露出やシャッタースピードなど）が記録されている。なお、Ｅｘｉｆ領域に記録された情報を見たり、書き換えたりするには専用のツールが必要である。

各画像データのＥｘｉｆ領域に画像に関連付けて付加情報を記録する場合も、コンテンツ取得装置１０の記録領域に各画像に関連付けて付加情報を記録する場合も、記録部１３が、表示しているコンテンツに対する操作を示す付加情報を該コンテンツに関連付けて記録する。画像データ自体と付加情報とを関連付けて記録させてもよいし、画像を識別するための画像ＩＤと付加情報とを関連付けて記録してもよい。

ステップＳ３１にて、仕分け対象となる操作は行われていないと判定された場合、付加情報を付与することなく、ステップＳ３４に進む。ステップＳ３４では、制御部１７は、画像の表示を続けるかを判定する。画像の表示を続けると判定された場合、ステップＳ３１〜ステップＳ３４の処理を繰り返し、ステップＳ３４にて画像の表示を続けないと判定された場合、本処理が終了する。

例えば、図３（ａ）には、表示部１３に表示されている複数のサムネイルからユーザにより任意の画像がタッチされた場合に実行される付加情報付与処理の結果が示されている。図３（ａ）〜図３（ｅ）の右側の枠内は、各画像に設けられたＥｘｉｆ領域への記録内容を簡略化して示したものである。ここでは、タッチされた画像のコンテンツＩＤを「０００１」とする。この場合、記録部１４は、タッチ操作が行われたことと、タッチ回数が２回であることを示す＜Ｔｏｕｃｈ＞、＜ｃｏｕｔ＞２の付加情報を「０００１」のコンテンツＩＤを持つ画像のＥｘｉｆ領域に記録する。

Ｅｘｉｆの領域以外のコンテンツ取得装置１０が有する記録領域（データベース）に「０００１」のコンテンツＩＤに関連付けて上記の付加情報を記録してもよい。その場合、図４に示したように、ＨＤＤやＲＡＭ等で構成される所定の記録領域には、コンテンツＩＤ４０１が「０００１」に関連付けて、操作種別４０２が「タッチ」であり、回数４０３が「２」であることが記録される。

付加情報の他の例としては、拡縮率４０４、角度４０５、優先度４０６が挙げられる。ただし、付加情報は、これに限られない。また、拡縮率４０４、角度４０５、優先度４０６等の付加情報は、記録しなくてもよい。また、優先度４０６は、付加情報に基づき自動で付与されてもよく、ユーザの要求に応じて付与されてもよい。例えば、ユーザは、タッチ回数を増やすことでタッチしている画像のお気に入り度（優先度）を上げることができる。

例えば、図３（ｂ）には、表示部１３に表示されている画像がズームされた場合に実行される付加情報付与処理の結果が示されている。ここでは、ズームされた画像のコンテンツＩＤを「０００２」とする。この場合、記録部１４は、画面がタッチされ、５倍にズームする操作が行われたことを示す＜Ｔｏｕｃｈ＞、＜ｚｏｏｍ＞５の付加情報を「０００２」のコンテンツＩＤを持つ画像に設けられたＥｘｉｆ領域に記録する。または、例えば、図４に示したように、コンテンツＩＤ４０１が「０００２」に関連付けて操作種別４０２が「ズーム」であり、拡縮率４０４が「２５０％」であることが所望の記録領域に記録されてもよい。

例えば、図３（ｃ）には、表示部１３に表示されている画像が回転された場合に実行される付加情報付与処理の結果が示されている。ここでは、回転された画像のコンテンツＩＤを「０００３」とする。この場合、記録部１４は、画面がタッチされ、９０度回転する操作が行われたことを示す＜Ｔｏｕｃｈ＞、＜ｒｏｔａｔｉｏｎ＞９０の付加情報を「０００３」のコンテンツＩＤを持つ画像に設けられたＥｘｉｆ領域に記録する。または、例えば、図４に示したように、コンテンツＩＤ４０１が「０００３」に関連付けて操作種別４０２が「回転」であり、角度４０５が「９０度」であることが所望の記録領域に記録されてもよい。

例えば、図３（ｄ）には、表示部１３に表示されている画像にソフトウェア(アプリケーション)を使用してスタンプを押す、又は吹き出しをつける等の加工が施された場合に実行される付加情報付与処理の結果が示されている。この場合、記録部１４は、画面がタッチされ、画像の２５％が加工されたことを示す＜Ｔｏｕｃｈ＞、＜ｅｄｉｔ＞２５の付加情報を画像のコンテンツＩＤを持つ画像に設けられたＥｘｉｆ領域又は所望の記録領域に記録する。

例えば、図３（ｅ）には、画像が表示されている画面上を指で丸くなぞる等特定のタッチ操作を行った場合に実行される付加情報付与処理の結果が示されている。この場合、例えば、画面上を丸くなぞったら表示されている画像を削除候補にするなど、画面上の操作を予め定義しておけば、ユーザごとに仕分けのカスタマイズが可能となる。この場合、記録部１４は、画面が丸くなぞるようにタッチされたので、表示されている画像が削除候補であることを示す＜Ｔｏｕｃｈ＞、＜ｃｕｓｔｏｍ１＞ｄｅｌｅｔｅの付加情報を画像のコンテンツＩＤを持つ画像に設けられたＥｘｉｆ領域又は所望の記録領域に記録する。例えば、タッチされた画像であっても明らかに暗い画像は、前記画面上を丸くなぞる操作により削除候補の付加情報を画像に付与することができる。

以上に説明したように、本実施形態に係るコンテンツ取得装置１０では、画像を閲覧しているユーザが画像を操作したことに基づき、ユーザのその画像に対する注目度が推定される。そして、該操作を示す付加情報に基づき、関連付けられた画像が分類される。このように、本実施形態に係るコンテンツ取得装置１０は、閲覧時の画像へのユーザ操作を利用して付加情報を収集し、収集された付加情報に基づき、次に説明する画像の分類を行う。これにより、大量の画像を容易に管理することができる。

［コンテンツ抽出処理］
次に、本実施形態に係るコンテンツ取得装置において実行されるコンテンツ抽出処理について、図５を参照しながら説明する。図５は、一実施形態に係るコンテンツ抽出処理を示したフローチャートである。

図５に示したコンテンツ抽出処理は、画像の閲覧時に付与された付加情報に基づき、画像を出力（例えば、プリントや再表示等）する段階で行われる処理である。まず、ユーザは、どのような写真をプリントするかを選択する。ここでは、ユーザは運動会の日を選択することで、運動会の日に撮影された画像群から写真をプリントすることを指定する。

抽出部１９は、仕分け対象のコンテンツがあるかを判定する(ステップＳ４０)。例えば、図４に示されるように、コンテンツＩＤ４０１が「０００１」、「０００２」、「０００３」、「０００４」・・・の画像が仕分け対象である。

仕分け対象がないと判定された場合、表示部１６は、運動会の日に撮影された画像群のサムネイルをデフォルトで表示し（ステップＳ４１）、本処理を終了する。サムネイルのデフォルト表示の一例としては、撮影時間に応じて画像を表示する等が挙げられる。

一方、仕分け対象があると判定された場合、抽出部１９は、特定の分類の画像表示を行うかを判定する（ステップＳ４２）。特定の分類の画像表示を行わないと判定された場合、表示部１６は、運動会の日に撮影された画像群のサムネイルをデフォルトで表示し（ステップＳ４１）、本処理を終了する。

一方、特定の分類の画像表示を行うと判定された場合、抽出部１９は、付加情報が付与されているかを判定する（ステップＳ４３）。付加情報が付与されていないと判定された場合、表示部１６は、運動会の日に撮影された画像群のサムネイルをデフォルトで表示し（ステップＳ４１）、本処理を終了する。

一方、付加情報が付与されていると判定された場合、抽出部１９は、分類処理を行う（ステップＳ４４）。分類処理としては、抽出部１９は、記録部１３が記録した付加情報から、操作種別４０２毎に画像を分類し、分類した結果に基づき特定の分類のコンテンツを抽出する場合が挙げられる。特定の分類のコンテンツを抽出する一例として、抽出部１９は、分類した結果に基づき、操作種別４０２が「タッチ」に分類された画像群を抽出したり、操作種別４０２が削除候補の画像データを削除した後、操作種別４０２が「タッチ」に分類された画像群を抽出したりしてもよい。また、特定の分類のコンテンツを抽出する他の一例としては、抽出部１９は、操作種別４０２が「タッチ」に分類された画像群から、タッチ回数４０３の多い順に並べ替えて、例えば５回以上のタッチ回数の画像を抽出してもよい。

特定の分類のコンテンツを抽出する他の一例としては、抽出部１９は、付加情報に含まれる優先度４０６に基づき、優先度４０６の高い操作種別４０２に分類された画像を抽出してもよい。例えば、図４の例では、抽出部１９は、優先度４０６が「１」の「タッチ」に分類された画像、優先度４０６が「２」の「ズーム」に分類された画像、優先度４０６が「３」の「回転」に分類された画像の順に画像を抽出してもよい。また、分類方法は、これに限られず、ユーザの注目度を考慮した様々な方法を取り得る。例えば、抽出部１９は、予め設定された特定の分類、最後の抽出に使用された特定の分類、又は前記予め設定された特定の分類からユーザ操作に応じて変更された特定の分類のいずれか一つに応じてコンテンツを抽出してもよい。

次に、表示部１６は、抽出されたサムネイルを表示する（ステップＳ４５）。次に、抽出部１９は、サムネイルの再表示を行うかを判定する（ステップＳ４６）。再表示すると判定された場合、ユーザは、操作画面から分類条件を変更する。分類条件の変更とは、例えば、優先度４０６を変更することが挙げられる。

次に、抽出部１９は、予め設定された特定の分類から上記ユーザ操作に応じて変更された特定の分類に基づき画像を再度分類する処理を行う(ステップＳ４７)。ユーザが再表示を要求する間ステップＳ４５〜ステップＳ４７の処理は繰り返され、ユーザが再表示を要求しないとき、本処理は終了する。これにより、ユーザは、分類又は再分類により抽出された画像をプリントすることができる。

以上に説明したように、本実施形態に係るコンテンツ取得装置１０によれば、閲覧時に操作が行われた画像が優先的に抽出される。これは、画像の閲覧時にその画像がどれくらい接触操作されたかが、ユーザがどれくらいその画像に関心があったかを示す注目度と相関関係にあるとの観点に基づく。そして、本実施形態に係るコンテンツ取得装置１０は、閲覧者の上記注目度を画像の付加情報として記録し、付加情報に基づき画像を分類する。また、本実施形態では、分類された画像から特定の分類の画像を抽出し、表示する。これにより、コンテンツの管理を容易に行うことができる。例えば、ユーザが閲覧時にタッチした画像だけを抽出してプリントアウトすることが可能となる。また、タッチされた画像から不必要と判断した画像を削除してから、残った画像のみをプリントアウトすることもできる。

さらに、本実施形態に係るコンテンツ取得装置１０によれば、ステップＳ４５〜ステップＳ４７の処理を繰り返すことで、抽出された画像の数を更に絞り込むことができる。例えば、抽出部１９は、特定の分類の画像を抽出する処理で、タッチされた画像を抽出したとする。記録部が画像の加工時に挿入されたコメントの内容を付加情報として記録していた場合、抽出部１９は、抽出されているタッチされた画像から、気に入っているコメントが付与された画像を更に抽出することで、画像を更に絞り込むことができる。このように、本実施形態に係るコンテンツ取得装置１０では、付加情報の組み合わせや付加情報の優先順位に基づき抽出すべき画像の特定の分類の条件を変更させることができる。これによれば、分類の条件が固定されている場合と比べて、分類に自由度があり、ユーザの嗜好や興味の傾向を分類の条件に反映させ易い。これにより、ユーザの注目度により合致したコンテンツを抽出することができる。

例えば、図６では、コンテンツＩＤ４０１が「０００１」の画像には、タッチ、ズーム、回転の３つの操作が行われている。よって、コンテンツに対する操作種別４０２がタッチであって、タッチ回数４０３を特定の分類の条件として画像を抽出する場合には、コンテンツＩＤ４０１が「０００１」の画像と「０００２」の画像とが抽出される。しかし、操作種別４０２がタッチ、ズーム、回転を特定の分類の条件として画像を抽出する場合には、コンテンツＩＤ４０１が「０００１」の画像は、「０００２」の画像よりも先に抽出され、コンテンツＩＤ４０１が「０００２」の画像は抽出されない場合もあり得る。このように、特定の分類の設定に自由度を持たせ、ユーザ操作によっても変更可能とすることにより、ユーザの注目度により合致したコンテンツを抽出することができる。

［情報処理装置の全体構成例］
以上では、図１に示したコンテンツ取得装置１０によって画像を撮影し、撮影した画像をコンテンツ取得装置１０内の各機能を用いて分類し、管理した。しかしながら、本実施形態に係る付加情報付与処理及びコンテンツ抽出処理は、コンテンツ取得装置１０内で実行せず、ＰＣ等の情報処理装置内で実行することも可能である。以下では、一実施形態に係る情報処理装置について、図７を参照しながら説明する。図７は、一実施形態に係る情報処理装置の全体構成を示した図である。

一実施形態に係る情報処理装置２０は、例えば、ＰＣ、タブレット型端末、スマートフォン、携帯電話、情報型端末ＰＤＡ等であってもよい。情報処理装置２０は、コンテンツを入力する手段として、コンテンツ入力部２１を有する。情報処理装置２０が有するその他の機能（記録部２６、表示部２７、制御部２８、操作部２９及び抽出部３０）は、コンテンツ取得装置１０が有するこれらの機能（記録部１３、表示部１６、制御部１７、操作部１８及び抽出部１９）と同じであるため、ここでは説明を省略する。

コンテンツ入力部２１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）２２、ネットワークＩ／Ｆ（インタフェース）２３、カメラ２４及びマイク２５を有している。ただし、コンテンツ入力部２１は、ＵＳＢ２２又はネットワークＩ／Ｆ２３を有していれば、カメラ２４やマイク２５は有していなくてもよい。

コンテンツ入力部２１は、ＵＳＢ２２に接続された媒体から画像データを入力してもよいし、ネットワークＩ／Ｆ２３を介して接続されるコンテンツ取得装置１０やその他の機器から画像データを入力してもよい。もちろん、カメラ２４により撮影された画像やマイク２５により取得した音声を入力してもよい。入力したコンテンツは、記録部１３により記録される。情報処理装置２０に設けられたＨＤＤやＲＡＭ等の記録領域に記録される。

本実施形態に係る情報処理装置２０においても、制御部２８が、入力したコンテンツのうち、表示部２７に表示しているコンテンツに対して操作が行われたことを示す付加情報を取得する。そして、記録部２６が、その付加情報をコンテンツに関連付けて記録する。また、抽出部３０は、コンテンツに関連付けて記録された付加情報にしたがってコンテンツを分類し、特定の分類のコンテンツを抽出する。本実施形態に係る情報処理装置２０によっても、コンテンツ取得装置１０の場合と同様に、コンテンツの管理を容易にすることができる。

［音声の例］
以上の実施形態では、コンテンツとして画像を例に挙げて、付加情報付与処理及びコンテンツ抽出処理について説明し、画像データを分類した。しかしながら、本実施形態に係るコンテンツ取得装置１０及び本実施形態に係る情報処理装置２０では、音声についても同様に、付加情報付与処理及びコンテンツ抽出処理を実行することで音声データを分類することができる。

音声データに対する付加情報付与処理及びコンテンツ抽出処理について、図８を参照しながら説明する。音声データはマイク１４又はマイク２５から取得したり、ＵＳＢ２２に接続された媒体やネットワークＩ／Ｆ２３を介して接続される機器から入力したりすることができる。以下では、例えば音楽プレイヤー等のコンテンツ取得装置１０を例に挙げて説明するが、情報処理装置２０においても同様に実行することができる。

図８では、音声データが、表示部１６にサムネイル表示されている。音声データがＣＤジャケットに収められた曲の場合、表示部１６には、ジャケットの画像及びコンテンツＩＤ「０００１」が示されたアイコンＭ１が表示される。音声データが録音された情報の場合には、録音マーク、録音日時及びコンテンツＩＤ「０００２」、「０００３」が示されたアイコンＭ２、Ｍ３が表示される。

表示されているコンテンツのいずれかが操作された場合、制御部１７は、操作されたコンテンツに対して前記操作されたことを示す付加情報を取得する。記録部１３は、該付加情報を該コンテンツに関連付けて記録する。例えば、ユーザは、再生したいコンテンツをタッチ操作したり、クリックしたりして選択する。その結果、記録部１３は、図８の右側に示したように、コンテンツＩＤ４０１が「０００１」のコンテンツの付加情報として、操作種別４０２の「選択操作」、回数４０３の「１」回を記録する。また、ユーザが、選択したコンテンツの再生時に設定した音量を付加情報として記録してもよい。図８では、コンテンツＩＤ４０１が「０００１」のコンテンツの付加情報として、音量４０７が「中」である情報が記録されている。

抽出部１９は、コンテンツに関連付けて記録された付加情報にしたがって該コンテンツを分類し、特定の分類のコンテンツを抽出する。例えば、抽出部１９は、再生回数が多い順にコンテンツの表示順を並べ替えてサムネイル表示してもよい。再生回数が同じ場合には、再生時の音量が高い場合に注目度が高いと推定して、音量が高い順にコンテンツの表示順を並べ替えてサムネイル表示してもよい。図８の左下には、回数４０３→音量４０７の順に付加情報を参照してコンテンツを抽出し、並べ替えた結果、アイコンＭ２、Ｍ３、Ｍ１の順番でコンテンツが表示されている。このとき、抽出部１９は、まったく再生されていないコンテンツを抽出しないようにしてもよい。この場合、再生回数が「０」回のアイコンは表示されない。その他、抽出部１９は、様々な分類方法、抽出方法を採用することができる。

［動画像の例］
本実施形態に係るコンテンツ取得装置１０及び情報処理装置２０では、動画像についても同様に、付加情報付与処理及びコンテンツ抽出処理を実行することができる。この場合、記録部１３，２６は、例えば、動画像が操作された回数（選択回数）だけでなく、動画像の編集（トリミング）等の加工度合い等を付加情報として記録してもよい。抽出部１９，３０は、動画像の操作回数や、加工度合いが高ければ優先度を高くし、特定の分類の動画像の抽出時に優先的に抽出される対象となるようにしてもよい。

以上に説明したように、本実施形態に係るコンテンツ取得装置１０及び情報処理装置２０では、画像を閲覧しているユーザが画像を操作したことが、ユーザがその画像に注目していることと推定する。このため、画像を閲覧しているユーザが画像を操作したことを示す付加情報が記録される。付加情報は、画像の自動分類に使用され、特定の分類の画像が抽出される。これにより、大量の画像の中からユーザ（閲覧者、操作者）の意図どおりに、自動的に大まかな画像の仕分けが可能となる。また、画像以外の音声等のコンテンツに関しても同様な方法で、ユーザが注目していると推定されるコンテンツを自動で抽出することができる。

これによれば、撮影時又は撮影後に画像を表示させ、閲覧する際の画像への注目度に基づき画像を仕分けすることができるため、ユーザの主観や状況に応じた仕分けが可能となる。よって、誤った注目度に応じた仕分けが行われる可能性を低減することができる。また、画像の分類は付加情報に基づき行われ、ユーザが分類条件を設定する必要がない。このため、ユーザは、コンテンツの分類のために面倒な手間を強いられない。また、会話情報を得られない状況においても、精度の高いコンテンツの分類及び抽出けが可能となる。

（ハードウェア構成例）
最後に、コンテンツ取得装置１０及び情報処理装置２０のハードウェア構成例について簡単に説明する。図９は、本実施形態にかかるコンテンツ取得装置１０及び情報処理装置２０のハードウェア構成例を示す図である。

図９に示すように、コンテンツ取得装置１０及び情報処理装置２０は、入力装置１０１、表示装置１０２、外部Ｉ／Ｆ１０３、ＲＡＭ（Random Access Memory）１０４、ＲＯＭ（Read Only Memory）１０５、ＣＰＵ（Central Processing Unit）１０６、通信Ｉ／Ｆ１０７及びＨＤＤ（Hard Disk Drive）１０８を有し、それぞれがバスＢで相互に接続されている。

入力装置１０１は、コンテンツ取得装置１０及び情報処理装置２０に各操作を入力する際に用いられる。入力装置１０１は、キーボードやマウスなどであってもよい。表示装置１０２は、ディスプレイなどを含み、ユーザに撮影された画像やサムネイル等を表示する。

通信Ｉ／Ｆ１０７は、コンテンツ取得装置１０及び情報処理装置２０をネットワークに接続するインタフェースである。これにより、コンテンツ取得装置１０及び情報処理装置２０は、ネットワークを介して画像データや音声データの送受信を行うことができる。

ＨＤＤ１０８は、プログラムやデータを格納している不揮発性の記録装置である。格納されるプログラムやデータには、装置全体を制御する基本ソフトウェアや各種機能を提供するアプリケーションソフトウェアなどがある。また、ＨＤＤ１０８は、上記実施形態の付加情報付与処理やコンテンツ抽出処理を行うためにＣＰＵ１０６により実行されるプログラムを格納する。ＨＤＤ１０８には、画像データや音声データが格納されてもよい。

外部Ｉ／Ｆ１０３は、外部装置とのインタフェースである。外部装置には、記録媒体１０３ａなどがある。情報処理装置２０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体１０３ａには、ＵＳＢメモリ（Universal Serial Bus memory）の他、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）等がある。

ＲＯＭ１０５は、不揮発性の半導体メモリ（記録装置）であり、起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ１０４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記録装置）である。ＣＰＵ１０６は、上記記録装置（例えば「ＨＤＤ」や「ＲＯＭ」や「ＲＡＭ」など）から、プログラムやデータをＲＡＭ上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。

制御部１７，２８、抽出部１９、３０の各部は、ＨＤＤ１０８等にインストールされたプログラムがＣＰＵ１０６に実行させる処理により実現される。静止画像データ、動画像データ、音声データ等のコンテンツの記録領域には、例えば、ＲＡＭ１０４、ＨＤＤ１０８、又はコンテンツ取得装置１０及び情報処理装置２０にネットワークを介して接続される図示しない記録装置を用いることができる。

以上、コンテンツ取得装置、情報処理装置、コンテンツ管理方法、コンテンツ管理プログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

例えば、本発明に係るコンテンツには、静止画像の電子データや、動画像の電子データや、音声の電子データ等が含まれる。また、本発明に係る操作されたコンテンツには、再生されていない状態における操作（例えば、フォルダ移動やファイルに対する操作等）が含まれてもよい。また、本発明に係る操作されたコンテンツには、再生されている状態における操作（例えば、表示されている画像に対する操作や、再生されている音声に対する操作等）が含まれてもよい。

また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。例えば、本発明に係るコンテンツの操作は、画像、音声、画像と音声の組み合わせのいずれの操作であっても本発明を適用することができる。

以上の説明に関し、更に以下の項を開示する。
（付記１）
コンテンツを取得する取得部と、
取得したコンテンツのうち、操作されたコンテンツに対して前記操作されたことを示す付加情報を該コンテンツに関連付けて記録する記録部と、
前記コンテンツに関連付けて記録された付加情報にしたがって該コンテンツを分類し、特定の分類のコンテンツを抽出する抽出部と、
を有することを特徴とするコンテンツ取得装置。
（付記２）
前記記録部は、前記操作の種別を前記付加情報に含めて記録する、
ことを特徴とする付記１に記載のコンテンツ取得装置。
（付記３）
前記抽出部は、予め設定された特定の分類、最後の抽出に使用された特定の分類、又は前記予め設定された特定の分類からユーザ操作に応じて変更された特定の分類のいずれか一つに応じてコンテンツを抽出する、
ことを特徴とする付記１又は２に記載のコンテンツ取得装置。
（付記４）
前記抽出されたコンテンツを表示する表示部を更に備え、
前記抽出部は、前記コンテンツの表示の結果に基づきユーザにより行われた操作に応じて前記特定の分類を変更し、該変更した特定の分類のコンテンツを再抽出する、
ことを特徴とする付記１〜３のいずれか一項に記載のコンテンツ取得装置。
（付記５）
コンテンツを記録し、記録されたコンテンツのうち、操作されたコンテンツに対して前記操作されたことを示す付加情報を該コンテンツに関連付けて記録する記録部と、
前記コンテンツに関連付けて記録された付加情報にしたがって該コンテンツを分類し、特定の分類のコンテンツを抽出する抽出部と、
を有することを特徴とする情報処理装置。
（付記６）
前記記録部は、前記操作の種別を前記付加情報に含めて記録する、
ことを特徴とする付記５に記載のコンテンツ取得装置。
（付記７）
前記抽出部は、予め設定された特定の分類、最後の抽出に使用された特定の分類、又は前記予め設定された特定の分類からユーザ操作に応じて変更された特定の分類のいずれか一つに応じてコンテンツを抽出する、
ことを特徴とする付記５又は６に記載のコンテンツ取得装置。
（付記８）
前記抽出されたコンテンツを表示する表示部を更に備え、
前記抽出部は、前記コンテンツの表示の結果に基づきユーザにより行われた操作に応じて前記特定の分類を変更し、該変更した特定の分類のコンテンツを再抽出する、
ことを特徴とする付記５〜７のいずれか一項に記載のコンテンツ取得装置。
（付記９）
コンテンツを取得し、
取得したコンテンツのうち、操作されたコンテンツに対して前記操作されたことを示す付加情報を該コンテンツに関連付けて記録し、
前記コンテンツに関連付けて記録された付加情報にしたがって該コンテンツを分類し、特定の分類のコンテンツを抽出する、
処理をコンピュータが実行するコンテンツ管理方法。
（付記１０）
前記記録する処理は、前記操作の種別を前記付加情報に含めて記録する、
処理をコンピュータが実行することを特徴とする付記９に記載のコンテンツ管理方法。
（付記１１）
前記抽出する処理は、予め設定された特定の分類、最後の抽出に使用された特定の分類、又は前記予め設定された特定の分類からユーザ操作に応じて変更された特定の分類のいずれか一つに応じてコンテンツを抽出する、
処理をコンピュータが実行することを特徴とする付記９又は１０に記載のコンテンツ管理方法。
（付記１２）
前記抽出されたコンテンツを表示し、
前記抽出する処理は、前記コンテンツの表示の結果に基づきユーザにより行われた操作に応じて前記特定の分類を変更し、該変更した特定の分類のコンテンツを再抽出する、
処理をコンピュータが実行することを特徴とする付記９〜１１のいずれか一項に記載のコンテンツ管理方法。
（付記１３）
コンテンツを取得し、
取得したコンテンツのうち、操作されたコンテンツに対して前記操作されたことを示す付加情報を該コンテンツに関連付けて記録し、
前記コンテンツに関連付けて記録された付加情報にしたがって該コンテンツを分類し、特定の分類のコンテンツを抽出する、
処理をコンピュータに実行させるコンテンツ管理プログラム。
（付記１４）
前記記録する処理は、前記操作の種別を前記付加情報に含めて記録する、
処理をコンピュータに実行させることを特徴とする付記１３に記載のコンテンツ管理プログラム。
（付記１５）
前記抽出する処理は、予め設定された特定の分類、最後の抽出に使用された特定の分類、又は前記予め設定された特定の分類からユーザ操作に応じて変更された特定の分類のいずれか一つに応じてコンテンツを抽出する、
処理をコンピュータに実行させることを特徴とする付記１３又は１４に記載のコンテンツ管理プログラム。
（付記１６）
前記抽出されたコンテンツを表示し、
前記抽出する処理は、前記コンテンツの表示の結果に基づきユーザにより行われた操作に応じて前記特定の分類を変更し、該変更した特定の分類のコンテンツを再抽出する、
処理をコンピュータに実行させることを特徴とする付記１３〜１５のいずれか一項に記載のコンテンツ管理プログラム。

１０：コンテンツ取得装置、１３、２６：記録部、１６、２７：表示部、１７、２８：制御部、１８、２９：操作部、１９、３０：抽出部、２０：情報処理装置、２１：コンテンツ入力部

Claims (6)

1. コンテンツを取得する取得部と、
   取得したコンテンツのうち、表示されたコンテンツのタッチ画面に対するタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、を含む付加情報を該コンテンツに対応させて記録する記録部と、
   前記記録部を参照して、前記付加情報に含まれるタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、に従い前記コンテンツを分類し、特定のタッチ操作の分類のコンテンツを抽出する抽出部と、
   を有することを特徴とするコンテンツ取得装置。
2. 前記抽出部は、予め設定された特定の分類、最後の抽出に使用された特定の分類、又は前記予め設定された特定の分類からユーザ操作に応じて変更された特定の分類のいずれか一つに応じてコンテンツを抽出する、
   ことを特徴とする請求項１に記載のコンテンツ取得装置。
3. 前記抽出されたコンテンツを表示する表示部を更に備え、
   前記抽出部は、前記コンテンツの表示の結果に基づきユーザにより行われた操作に応じて前記特定の分類を変更し、該変更した特定の分類のコンテンツを再抽出する、
   ことを特徴とする請求項１又は２に記載のコンテンツ取得装置。
4. コンテンツを記録し、記録されたコンテンツのうち、表示されたコンテンツのタッチ画面に対するタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、を含む付加情報を該コンテンツに対応させて記録する記録部と、
   前記記録部を参照して、前記付加情報に含まれるタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、に従い前記コンテンツを分類し、特定のタッチ操作の分類のコンテンツを抽出する抽出部と、
   を有することを特徴とする情報処理装置。
5. 取得部が、コンテンツを取得し、
   記録部が、取得したコンテンツのうち、表示されたコンテンツのタッチ画面に対するタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、を含む付加情報を該コンテンツに対応させて記録し、
   抽出部が、前記記録部を参照して、前記付加情報に含まれるタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、に従い前記コンテンツを分類し、特定の分類のコンテンツを抽出する、
   処理をコンピュータが実行するコンテンツ管理方法。
6. コンテンツを取得し、
   取得したコンテンツのうち、表示されたコンテンツのタッチ画面に対するタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、を含む付加情報を該コンテンツに対応させて記録部に記録し、
   前記記録部を参照して、前記付加情報に含まれるタッチ操作の種別と、タッチ操作の回数、拡縮率、角度及び優先度の少なくともいずれかと、に従い前記コンテンツを分類し、特定の分類のコンテンツを抽出する、
   処理をコンピュータに実行させるコンテンツ管理プログラム。

Images