JP3629047B2 - 情報処理装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、映像・音声・文書などの情報を統合的に表示・記録・再生・編集するマルチメディア情報処理装置に関する。
【０００２】
【従来の技術】
情報を表示・記録・再生・編集する装置としては、文書情報のためのワードプロセッサ、映像・音声情報のためのビデオテープレコーダー（ＶＴＲ）やカセットテープレコーダーなどに代表されるように、個々の情報体系ごとに技術分野を確立してきた。半導体技術、回路基盤技術の革新による処理能力の向上、フロッピーディスクや磁気テープ、光ディスクなど記録媒体の高密度化による蓄積容量の増大により、普及型の安価な装置でも大量の情報を扱うことができるようになった。それに伴い、その多量の情報の中から利用者が必要とするものを簡便かつ効率よく提示できるような方法が各技術分野ごとに工夫されてきた。たとえばワードプロセッサのかな漢字変換における単語の頻度学習や、電子新聞に関する技術が開示されている特開平４−１９２７５１などがある。
【０００３】
しかし特に映像・音声に関しては、このような効率のよい提示のための手がかり、すなわち利用者特有の関心の高さの評価を入力、記録し、それに基づいて提示を行うという手段は、人手に負うところが大きかった。ＶＴＲを例に挙げれば、録画の開始位置にインデックス信号が自動的に記録されるものの、利用者は後の利用に備えてその番組名や出演者名を書き留めておかなくてはならなかった。音声のみを記録再生するカセットテープレコーダーでは、一般に、無音か有音かの他に記録の開始位置を示す情報もなく、一つのカセットテープに複数の情報を連続して記録すると、その区切りさえ不明になるおそれがあった。
【０００４】
近年、これらの情報をコンピュータを応用して統合的に処理できる装置の開発が進展し、一度に処理・蓄積できる情報量も莫大なものになろうとしている。このような環境において、前述のように情報に対する利用者特有の関心の高さの評価を入力、記録し、それに基づいて提示を行う手段は、ワードプロセッサ、電子新聞、ＶＴＲなど個々の技術分野に適応していた手段がそのまま用いられており、装置の特徴である異種情報の統合性に対応して関心の高さの評価を処理できる手段は十分でなかった。新たに異種の情報相互の関連を示すリンク構造を持ったものはあるが、個々の情報と利用者との関連度すなわち関心の高さの評価を取り扱うものはない。このため利用者は、多種多量の情報を享受できる装置は手にしながらも、情報の種類と量の多さから、かえって目的とする情報を簡単に得ることができない。自分に必要な情報を多量に入手し、短時間にその概要を得たいときにも、どの情報を優先的に見ればあるいは聞けばよいのかを規定するものがない。したがって、情報アクセスの効率が悪く、装置の機能を十分に生かせないという事態が生じるおそれもある。これを避けるために、関心の高さの評価を行おうとしても、前述のように評価すべき情報量が多いので、評価すること自体が利用者に負担を強いる。
【０００５】
一方で、利用者に対する情報の関心の高さ評価をシステムとして自動で行う研究も進められている。しかし、情報が入手されてから利用者にとって意味のある単位に部分分割し（文章から単語、映像から人物など）、関心の度合いを評価するまでの過程全てを自動化するためには、人間の高度な情報処理機構を模さなくてはならず、システムの複雑化を招く。また、例えば１枚の映像を扱う際にも、ある者は映像全体の印象に好感を抱き、ある者は映像中の人物のアクセサリーに関心を持つかもしれないために、アクセサリーという極めて詳細な単位までを認識する映像処理を行うなど、利用者の多様な主観に応えるためには、処理すべき情報単位の細分化は免れない。このとき細分化されて処理された情報のほとんどは、ほとんどの利用者のためには不要なものになる。細分化を避けるためには「少数派」利用者の評価は棄却せねばならず、このときには装置を利用できない人が生じうる。これは、利用者の意図の介在なしに情報処理が行われたためである。
【０００６】
【本発明が解決しようとする課題】
以上のように、従来の情報処理装置では、多種多様の情報を、情報の種類を越えて効率良くかつ利用者の意図を反映して分類・整理などの処理を行う手段がなかった。このために利用者はその情報の処理作業に時間と労力を割かなければならず、これを装置として自動で行う場合にも、必ずしも個々の利用者に適応して処理できないという欠点があった。
【０００７】
本発明は、上記事情を考慮してなされたものであり、多種多量の情報のうちから利用者が必要とする情報を簡便な操作で効率良く提示できる情報処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
第１の発明に係る情報処理装置は、記録された情報を再生する情報再生手段と、この情報再生手段によって再生された情報を提示する提示手段と、この提示手段に提示された情報に対し、所望の情報単位に関する評価値を入力するための入力手段と、この入力手段によって入力された評価値を前記情報単位に対応づけて記録する評価値記録手段とを具備したことを特徴とする。
【０００９】
第２の発明に係る情報処理装置は、第１の発明に係る情報処理装置において、前記提示手段にて提示された情報のうちの特定のオブジェクトに関する評価値が前記入力手段から入力された場合、該評価値の入力対象となった該特定のオブジェクトの提示状態を該評価値に応じて変更する制御を行う提示状態制御手段をさらに具備したことを特徴とする。
【００１０】
第３の発明に係る情報処理装置は、記録された情報を再生する情報再生手段と、この情報再生手段によって再生された情報を提示する提示手段と、この提示手段に提示された情報に対し、所望の情報単位に関する評価値をあらかじめ記録してなる評価値記録手段と、この評価値記録手段にて前記評価値が所定の情報単位に対応づけられて記録された前記情報を再度提示する場合、前記評価値に基づき、前記情報再生手段による再生または前記提示手段による提示の少なくとも一方を制御する制御手段とを具備したことを特徴とする。
【００１１】
第４の発明に係る情報処理装置は、利用者の負担の少ない操作で装置に要／不要を段階的に入力する手段と、上記利用者の操作に基づいて提示情報中で関心の高い部分を判定する手段と、上記利用者の操作に基づいて関心の高さを数値で示す手段と、上記提示情報と上記「関心の高さの数値」を対応づけて出力する手段と、出力された上記提示情報と上記「関心の高さの数値」を記録する手段と、記録された上記「関心の高さの数値」に基づいて、それが付された情報を提示する部分を制御する手段と、同一情報の数次提示に伴って、付される「関心の高さの数値」を累積・演算し更新する手段とを具備したことを特徴とする。
【００１２】
第５の発明に係る情報処理装置は、光信号または電気信号として伝送しうる情報を利用者に提示する装置において、利用者が装置に接触した操作によって、または利用者が自分自身の体の部分の距離を装置に対して変化させる操作によって、回路中の素子の電気的特性（導通、抵抗、容量またはインダクタンスのうちの少なくとも１つ）を変化させ、変化した回路定数、またはその変化の頻度を提示情報に対する利用者の評価値として連続値信号または３個以上の異なった値の中から１つ選ばれた離散値信号に変換し出力する評価値出力部をもち、上記評価値を提示情報と対応づけて出力することを特徴とする。
【００１３】
第６の発明に係る情報処理装置は、光信号または電気信号として伝送しうる情報を利用者に提示する装置において、利用者が自分自身の体または道具を用いて発生させた音の高さまたは大きさあるいはその高さまたは大きさの変化頻度を提示情報に対する利用者の評価値として連続値信号または３個以上の異なった値の中から１つ選ばれた離散値信号に変換し出力する評価値出力部をもち、上記評価値を提示情報と対応づけて出力することを特徴とする。
【００１４】
第７の発明に係る情報処理装置は、光信号または電気信号として伝送しうる情報を利用者に提示する装置において、利用者の生体的状態変化を測定する利用者状態出力部をもち、上記利用者状態出力部から出力された値またはその値の変化頻度に基づいて提示情報に対する利用者の評価値として連続値信号または３個以上の異なった値の中から１つ選ばれた離散値信号に変換し出力する評価値出力部をもち、上記評価値を提示情報と対応づけて出力することを特徴とする。
【００１５】
第８の発明に係る情報処理装置は、第５の発明、第６の発明、または第７の発明の情報処理装置において、利用者が上記評価値を入力するときに、入力している評価値の大小に応じて提示情報を強調または劣化させることを特徴とする。
【００１６】
第９の発明に係る情報処理装置は、第５の発明、第６の発明、または第７の発明の情報処理装置において、上記評価値を付加した提示情報に対しては、付加した評価値の大小に応じて提示情報の部分的選択を行って再提示することを特徴とする。
【００１７】
第１０の発明に係る情報処理装置は、光信号または電気信号として伝送しうる情報を利用者に提示する装置において、二次元平面内または三次元空間内で利用者によって指示された一点の座標を出力する指示座標出力部をもち、指示された点の移動履歴に基づいて、提示情報に対する利用者の主観的評価を連続値信号または３個以上の異なった値の中から１つ選ばれた離散値信号として与え、上記評価値を提示情報と対応づけて出力することを特徴とする。
【００１８】
第１１の発明に係る情報処理装置は、第１０の発明の情報処理装置において、利用者が上記評価値を入力するときに、入力している評価値の大小に応じて提示情報を強調または劣化させることを特徴とする。
【００１９】
第１２の発明に係る情報処理装置は、第１０の発明の情報処理装置において、上記評価値を付加した提示情報に対しては、付加した評価値の大小に応じて提示情報の部分的選択を行って再提示することを特徴とする。
【００２０】
第１３の発明に係る情報処理装置は、光信号または電気信号として伝送しうる情報を利用者に提示する装置において、二次元平面内または三次元空間内で利用者によって指示された一点の座標を出力する指示座標出力部をもち、指示された点の移動履歴に基づいて、提示情報に対する利用者の主観的評価を連続値信号または３個以上の異なった値の中から１つ選ばれた離散値信号の、提示情報上の分布として与え、上記評価値分布を提示情報と対応づけて出力することを特徴とする。
【００２１】
第１４の発明に係る情報処理装置は、第１３の発明の情報処理装置において、利用者が上記評価値分布を入力するときに、入力している評価値の大小に応じて提示情報または提示情報の部分を強調または劣化させることを特徴とする。
【００２２】
第１５の発明に係る情報処理装置は、第１３の発明の情報処理装置において、上記評価値を付加した提示情報に対しては、付加した評価値の大小に応じて提示情報の部分的選択を行って再提示することを特徴とする。
【００２３】
第１６の発明に係る情報処理装置は、光信号または電気信号として伝送しうる情報を利用者に提示する装置において、鍵盤またはキーボードまたは一次元状に配列されたセンサを用いて、一次元軸上の度数分布を利用者が一度に指示し、または上記鍵盤、キーボード、一次元配列センサを用いて逐次指し示した１点の動きの経路から一次元軸上の度数分布を装置が推定し、その度数分布を信号に変換し出力する評価値分布出力部をもち、上記評価値分布を提示情報と対応づけて出力することを特徴とする。
【００２４】
第１７の発明に係る情報処理装置は、光信号または電気信号として伝送しうる情報を利用者に提示する装置において、三次元空間内で利用者によって指示された、提示された二次元情報の各点に対する評価値分布として出力する評価値分布出力部をもち、上記評価値分布を提示情報と対応づけて出力することを特徴とする。
【００２５】
第１８の発明に係る情報処理装置は、第１７の発明の情報処理装置において、利用者が上記評価値分布を入力するときに、入力している評価値の大小に応じて提示情報または提示情報の部分を強調または劣化させることを特徴とする。
【００２６】
第１９の発明に係る情報処理装置は、第１７の発明の情報処理装置において、上記評価値を付加した提示情報に対しては、付加した評価値の大小に応じて提示情報の部分的選択を行って再提示することを特徴とする。
【００２７】
【作用】
本発明に係る情報処理装置では、提示されるべき文書、映像、音声など種々の情報に関連させて、その情報に対する利用者特有の評価とその評価の対象となった範囲を、利用者自身の操作により、あるいは情報にアクセスしている利用者の状態（例えば注視点、体温など）を観察することにより、あるいはそれら操作や観察を発端に演算を行ってシステムが推測することにより、情報の種類およびその情報全体か部分かの別によらず、同一基準で付与する手段をもつ。
【００２８】
したがって、情報再生の際には、付与された利用者の評価および被評価範囲に関する記録に基づいて、利用者は重要な情報から優先的にアクセスすることができる。
【００２９】
これによって、供給された原情報が多種多量であっても、短時間で効率よく情報全体を把握したり、その多種多量の情報の中から、目的のものを探索することが容易になる。
【００３０】
【実施例】
以下、図面を参照しながら本発明の実施例を説明する。
【００３１】
（第１の実施例）
第１の実施例では、興味を入力するディバイスとして１次元軸上の強度分布を入力するものを利用する。図１は、本実施例で用いられる表示装置７００の概念図であり、装置本体に興味入力パッド７０１が取り付けられている。この興味入力パッド７０１は、画面７０２下部に画面の幅に対応して横長に取付られた圧力分布センサーであり、圧力に応じて抵抗値が変化する圧電素子を棒状に（図中の縦方向に）伸ばし、これを図中の横方向にアレイ状に並べたものである。従って、興味入力パッド７０１によれば、図中の横方向の圧力分布を逐次検出することが出来る。このようなものには例えば、ピアノ鍵盤の白鍵部分などがある。
【００３２】
画面を見ている人は、自分の興味あるものが表示された位置に応じて、またその興味の度合いに応じて、興味入力パッド７０１を押す位置とその強さを随意に加減することが出来る。図１では、３人の人物が表示され、その中の左の人物に対して興味を入力している状態を示している。このとき、画面上では画面上下に三角の興味インジケータ７０３がスーパーインポーズされる。この興味インジケータ７０３は、興味入力パッド７０１に入力された興味の最も強い位置とその強さを、位置と輝度によって操作する者に教える。
【００３３】
画面７０２と興味入力パッド７０１の位置関係はこの実施例に限定されず、たとえば画面横に興味パッドを縦に配置することももちろん可能である。この場合は、興味の分布は縦方向となる。また、透明な圧力センサーを用いることで興味入力パッドを画面に重ねて配置することも可能である。この場合には、圧力センサーの構成により、興味の分布として縦方向にも横方向にも設定可能である。いずれにしても、従来の選択キーあるいは圧電式操作シートが位置情報のみを入力できるのにすぎないのに対し、このような興味入力パッド７０１は、圧力分布を検出することができるので、位置に関する強度分布情報として入力できる点が本質的に異なる。興味の入力には、このように融通性のある入力手段を用いると、非常に効果的である。
【００３４】
また、興味インジケータ７０３の手段も、種々の方法が考えられる。たとえば、興味の強さを表すのにインジケータの明るさではなく、青から赤への色の変化を利用することもできる。また、次に述べるオブジェクト検出により興味のあるオブジェクトを推定し、その輪郭輝度を興味の強さによって変化させるといったことも考えられる。ともかく、強度分布に応じてその特徴を画面中に表示する事によって、興味の入力を容易にすることが出来る。また、指示するところは興味が最大のところに特定されない。たとえば、２ヶ所に興味があり、その位置と興味の度合いを興味入力パッドにより入力したとき、その２ヶ所について興味インジケータを付けることもできる。これは興味インジケータの圧力分布からそのピークを検出することにより容易に実現できる。また、興味の分布を地形図の等高線あるいはそれに準じる表現方法で画面上に表すことも有効な方法である。
【００３５】
さらに、興味入力装置として前述したような圧力分布センサー以外にも、種々の装置が考えられる。また、従来の圧電シートのような位置情報装置を、この代用とする事も可能である。次に、これについて述べる。
【００３６】
圧電シートからは本来は位置情報しか得られないが、そこに仮想的な興味分布があると仮定する。これを図２に示す。図２では、ペンが置かれた位置Ａに興味があるという情報により、この位置を中心として滑らかな山形の興味分布を仮定している。この分布はペンが置かれた位置で時間と共に強度を増し、ペンが置かれていない位置では時間と共に減衰する。従って、画面を見ている人が興味に従って動かすペンの動きが小さい位置では興味の度合いは時間と共に強くなり、ペンの動きが大きい位置では興味の度合いは小さいものとなる。これは、一般的に興味ある対象ほど細かい点まで注目するため、ペンの動きは自然に小さなものとなるのに良く対応している。このことは、ペンによる位置の入力の代わりに視線による位置の入力を考えてみた場合により明かとなる。すなわち、興味ある対象は、比較的長い時間凝視する。従って、このような興味分布を時間的に累積させることで、興味の度合いをはかることが出来る。
【００３７】
さて、興味の位置がＡからＢに移ったとすると図３で示すように、位置Ａにあった興味の分布は速やかに減衰し、変わって位置Ｂを中心とした興味分布が増加することになる。このように瞬時の興味の変化に対してもとの興味はある時定数を持って減衰していくため誤った興味位置の入力を避けることが出来る。これは視線入力を仮定すると説明し易い。すなわち、なにか変わったものを見かけると視線はそちらを向き、そこに興味があるように入力されるが、実はそれが何物かが理解できたときに興味の対象からはずされるといったことが頻繁に起きる。この場合、いままで興味の対象となっていたものの強度分布をある程度保持することが必要となるからである。
【００３８】
このような興味分布の時間的な増加あるいは減少は、それが人の興味というパラメータであるために独特の処理がされる。図４は人があるものを見ていた時間に対する、そのものに対する興味の度合いを示したグラフである。直感的に明らかなように、人は興味の度合いに応じてそれを長時間凝視する。しかし、このグラフは、ある時間以上の凝視は実はそのものに対しておおきな興味を持っているわけではないことを示している。たとえば、大きな風景を見たときに視線は自然に画面中央に集まるが、それは画面中央の雲に興味があるわけではない。また、興味を入力するペンが、ある位置に長時間静止しているときは、操作する人がその位置にあるものに強い興味を持っているわけでなく、逆に興味のある対象を特定できない場合が多い。このような人の興味の時間特性により、興味位置に累積される興味強度分布の増加と減少は時間の関数となる。
【００３９】
図５は、入力された興味が特定の位置に滞在する時間に対する、この位置を中心とした興味分布の単位時間あたりの増加量を示している。すなわち、滞在時間が小さいときは増加量は正となり、先に述べたように時間と共に興味の度合いは増加する。しかし、ある時間ｔ０をすぎてからは、この位置に特定の興味はない可能性が高いとみなして興味分布は減衰に移る。図５は、言うまでもなく図４を微分した形となっており、これによって人の興味を忠実に反映することが出来る。なお、興味分布が正から負へと転換する時間ｔ０は、入力ディバイスによってもちろん異なり、また、操作する人の個性や習熟度によってもまちまちであるため、本実施例では、時間ｔ０を任意に調節できるようにする。
【００４０】
また、対象となる画像の性質によってもこのパラメータは変化するため、本実施例では、画像と共に記録されたインデックス情報によって、画像表示開始と共に自動的にパラメータを設定されるようにする。このインデックス情報には、映画、音楽、風景、対話といった内容に関する情報や、圧縮伸張などの信号処理に関する情報、あるいはこのパラメータ操作の目的で特別に付加された情報などが含まれる。
【００４１】
図６は、本実施例の興味パラメータ作成時の概略ブロック図である。画像記録再生部７０４からあるいは外部から入力された画像信号７０５は、ディスプレイ部７０６によって表示される。このディスプレイ部７０６の画面近傍には、図１で示したように興味を入力するディバイスである興味入力部７０７が備え付けられている。
【００４２】
先に説明したように、操作者は、この興味入力部７０７を使って画面を見ながら自分の興味ある対象の位置とその興味の強さを入力する。この入力を受けて、興味入力部７０７は、前述した所定の信号処理を行った後、興味分布信号７０８を発生する。そして、この興味分布信号７０８が画像と共に、画像記録再生部７０４に記録される。このとき、興味分布と画像とが時間的に一致するように、同期処理を施しておく。
【００４３】
上記処理と並行して、興味の対象位置とその強さはインジケータ合成部７０９にも送られ、インジケータ合成部７０９ではインジケータを合成する映像信号を発生させ、これをディスプレイ部７０６に画像信号と共にスーパーインポーズする。これによって、操作者は、興味入力部７０７からの入力状況を容易に確認することが出来る。
【００４４】
オブジェクト検出部７１０は、画像信号から画像オブジェクトを抽出する機能を有する。ここで言う画像オブジェクトとは、画像の内容に関する、画像を構成する個々の要素画像を指す。たとえば、人や木などはそれぞれ外形的な特徴を持っているため画像から分離可能である。あるいは、画像の輪郭検出処理により、一つの画像が円、正方形といった単純な形によって構成されていると見ることもできる。このような場合、その単純な形の一つ一つを画像オブジェクトとみなすこともできる。オブジェクト検出部７１０では、画像を構成するオブジェクトを逐次分離し、それらに適当なラベルを付加するとともに、興味パラメータの分布を参考にしながら意味の上で統合すべきオブジェクトを統合する。
【００４５】
この統合に関して例を示して説明する。例えば、図７（ａ）のように人物８０１が写っている画面８０２において、図７（ｂ）のように輪郭検出処理から得られた顔８０３と上着８０８があったとする。ここで操作する者は「顔」だけをオブジェクトとして認識しているのではなく、「顔」と「上着」をあわせて「人物」としての認識をしている。この場合、顔８０３の領域と上着８０８の領域は、興味パラメータに大きな差が生じないこと（図７（ｃ））を根拠にして、「人物」として統合すべきものと判定できる。一方、「顔」と「背景」では明らかに興味パラメータの格差があるので、これらは統合すべきでない。実際には輪郭検出で得られた領域Ａと同様にして得られた領域Ｂに対応する部分の興味パラメータ分布を算出し、Ａ、Ｂの値が所定のしきい値以下のものを統合し、統合オブジェクトＣとする。
【００４６】
このオブジェクトの特徴に関する情報をオブジェクト情報７１１として記録部７０４に興味分布信号７０８と共に記録することが出来る。
【００４７】
このオブジェクト検出部７１０と興味入力部７０７は、互いに協調することで極めて効率的に機能する。すなわち、オブジェクト検出部７１０は画像を見ている人の興味の対象となる位置（分布）を知ることが出来るため、解析の画像範囲をこの位置の近傍に限定することで、興味の対象となっていない部分については解析処理を省略することが出来る。これにより、オブジェクト検出部７１０のハードウェアを簡単にすることが出来る。一方、検出したオブジェクト情報はインジケータ合成部７０９に送られることによって、今興味あるオブジェクトを特定することが出来る。オブジェクト情報には、オブジェクトの位置だけでなくその外形に関する情報も含まれている。従って、インジケータ合成部７０９は、興味の度合いを示すインジケータとして、興味の対象となっている画像オブジェクト（人や木など）の輪郭輝度を変化させることが出来る。すなわち、自分が興味があり、その度合いを入力している画像対象の輪郭が、興味の度合いによって明るくなりあるいは色が変化するといったぐあいに確認することが出来るため、興味の入力がよりいっそう容易となる。言い換えると、画像を見ている人が操作を何も行っていない時には画像を適度に見難くし、高い興味を意味する入力がなされた部分だけ、入力に応じて見やすくする方法も考えられる。この場合、上記のように（操作がない部分は）輪郭を不明確にする、明るさを暗くする、色を変質させる、といった方法のほかに、解像度を下げるなどのやり方がある。
【００４８】
図８は、本実施例の再生時の概略ブロック図である。オブジェクト情報、興味分布信号と共に記録された画像信号は、記録再生部７０４で再生されてディスプレイ７０６で画像となり、これを鑑賞することを可能にする。同時に再生されるオブジェクト情報７１１は、オブジェクト表示部７１２によって適当な加工が施され、原画像と共にディスプレイ部７０６に表示される。これによって、オブジェクトの輪郭を際だたせたり、オブジェクトに付随している情報から、オブジェクトに番号やラベルなどを表示することが出来る。
【００４９】
興味分析部７１３は、再生された興味分布信号７０８から興味あるシーンを識別して、これに応じて記録再生部７０４にコントロール信号７１４を送り、これを制御する。また、画像中の興味の対象となるオブジェクトをオブジェクト表示部７１２に指示することによって、このオブジェクトを際だたせたりする事が可能となる。
【００５０】
次に、興味分析部７１３で行う分析アルゴリズムについて説明する。
【００５１】
一つのオブジェクトに着目した興味の時間変化は、図９に示すような特性になる。すなわち、シーンのスタートからある時間ｔ１まではシーンが変わったことによって、それを見る人が興味の対象となるものを画面中から探す時間である。このオブジェクトが興味の対象となる場合、興味の強度は速やかに立ち上がる。その後、画像を見ている人は興味に応じてそれを凝視して理解する時間が続く。このときの興味の度合いは、瞬間的な興味の強さに応じると予想される。さらに、一応の理解と認識が終わり次の興味対象を探し始めると、興味の強さは徐々に減衰を始める。そして、興味の強さは０に成らないままシーンは終了することになる（図中のエンド）。本発明者は、このような興味の一般的な時間推移によってこのオブジェクトの興味を特徴づけるパラメータとして、あるスレショルドレベルＰ０を切る時間ｔ１からｔ２までの時間間隔とその間のピークレベルＰ１の積、すなわち、
興味パラメータ＝（ｔ２−ｔ１）×Ｐ１
を用いることが非常に有効であることを発見した。
【００５２】
本実施例の興味分析部７１３では、上記のような計算を行い、オブジェクトの興味パラメータとしている。ところで、ニュースシーンなどで２人の人物が対話しているような場合、興味の強さの強度分布は時間的に複数のピークが現れる。すなわち、発言している人に対する興味が自然に高くなるため、一つのシーンで興味の対象が行き来し、これによって図１０のように複数の興味ピークが現れる。このときは、それぞれのピークついて興味を計算し加算することによって、興味パラメータを得ることが出来る。この例では興味パラメータは、
興味パラメータ＝Ｐ１＊（ｔ２−ｔ１）＋Ｐ２＊（ｔ４−ｔ３）
となる。
【００５３】
あるいは、興味パラメータが所定のしきい値を超える時間に関して興味パラメータの時間積分を行い、その値をそのオブジェクトに関する興味パラメータとしてもよい。
【００５４】
さて、図８に戻って再生時の動作を説明する。記録再生部７０４で再生された興味分布信号７０８は、興味分析部７１３により、それぞれのシーンに登場するオブジェクトごとに上記のようにして興味パラメータが付けられる。その際、用いられる基準興味強度には、あらかじめ決められた値を用いてもよいが、図６の興味入力部７０７によって任意に設定することも出来る。
【００５５】
この興味パラメータは、興味の度合いに応じたオブジェクトを検索するために使われる。例えば、あるレベルより興味の大きなオブジェクトの登場するシーンを時間順に再生させることによって、画像内容を短時間に把握できるダイジェストを自動的に作成することが出来る。さらに、時間とは無関係に興味の大きさ順に再生させることにより、所望の画像を短時間に検索することが可能となる。また、オブジェクト情報に個別の名前が与えられ、それぞれのシーンでのオブジェクトの一致が明確な場合では、番組中のオブジェクトごとに、それを見る人の興味の大きさをはかることが出来、番組全体を魅力の大きな作品にする有力な手段となる。また、このような番組が実際に放映され、その視聴率の時間推移が判明したときには、視聴率の高いシーンでどのオブジェクトが注目を集めていたかが直ちに明らかとなり、高視聴率の番組製作に役立てることが出来る。これらの効果は、同一の情報シーケンス（番組、映画作品など）を、異なった鑑賞者が見たときの興味の度合をそれぞれ測定・記録しておき、（あるオブジェクトに関する各人の興味パラメータの合計）÷（人数）などの累積演算を施すことで、より客観性を増すことが期待できる。このような累積演算は、常に異なった鑑賞者に対してのみ行う必要もなく、同一人物が同一シーケンスを複数回見たときにも同様の処理を行えば、その人の関心が淘汰された興味パラメータを得ることが期待できることは言うまでもない。
【００５６】
（第２の実施例）
図１１は、本発明の第２の実施例の概略ブロック図である。
【００５７】
以下では、評価を行うべき対象となる原情報を２次元動画像とし、利用者が評価を与える手段となる入力装置をいわゆるマウス（平面上で動くポインティングデバイス）とした例について説明する。
【００５８】
利用者は、画面上（図示せず）で動画像を見ながらマウス５０１を操作する。利用者は、原則的には画面内の自由な場所を差し示してよいが、後述する方法などを用いて自分が特に興味を持った部分を自然と差し示すようにしておく。マウスの動きはデバイスドライバ５０２で逐次計算されており、デバイスドライバ５０２からは利用者の操作に対応した画面内の一点を指し示す座標情報５０３が供給される。一方、画面は格子状に分割されており、分割された各領域（あるいは素子）ごとに記憶部５０４が割り当てられている。蓄積制御部５０５では、決められた時間間隔で、その時のマウス５０１があった座標情報５０３に対応する記憶部５０４にマウス停留カウントとして「１」を加算していく。したがってマウスの動きが停止していれば、その領域に対応する記憶部５０４に記憶されている数値は増加して行く。このようにして、画面全体に関する利用者の興味分布５０９が得られる。一方、提示されている画像情報５０６は、領域推定部５０７へ入力される。領域推定部５０７では、フレーム間差分からのエッジ検出など公知の画像処理方法で画像解析が行われ、上記格子状に分割された領域の連続関係が推定される。連続関係の推定については、第１の実施例において説明したが、興味の度合の入力が２次元の広がりを持つものであった場合について、改めてここで説明する。
【００５９】
例えば図１２（ａ）のように人物６０１が写っている画面６０２において、肌色領域検出から得られた顔６０３を一部でも含む領域６０４は、連続グループ６０５として記録される（図１２（ｂ））。同様にして、上着６０８を含む領域６０６は別の連続グループ６０７として扱われる。領域推定部５０７は、上記手法によって分割領域のグループ情報５０８を、グループ統合部５１９に報告する。グループ統合部５１９では、上記のようにして得られたグループ情報５０８によるグループ境界線の内外でのマウス停留カウント数を比較し、差が決められた値より大きかった境界を存続させ、小さかった境界を消滅させて複数のグループを統合していく。このように統合されるグループは、人間が感覚の上で分ける境界に近いものと考えられる。すなわち、同じ人物を見ていても、その人物全体に興味が存在する場合にはマウス停留は人物全体に及ぶであろうし、特に顔だけに興味が存在する場合には顔に集中すると期待できるからである。こうして統合されたグループを、以下では「オブジェクト」と呼ぶことにする。
【００６０】
次に、オブジェクト興味判断部５１０は、決定されたオブジェクトおよび興味分布５０９を元に、オブジェクトごとの利用者の興味の高さを計算する。この処理は、着目オブジェクト中の興味分布５０９の総和すなわち所定時間内に着目オブジェクトにマウスが停留したカウント数をオブジェクトの大きさで除算し、これを着目時間内の着目オブジェクトに関する興味の度合すなわちオブジェクト興味情報５１１とすることでなされる。また、第１の実施例で説明したように、興味情報の値の高さが所定値以上の時間区間幅に、その時間区間内の最大興味情報の値を積算した値を用いるという方法、あるいは興味情報の値の高さが所定のしきい値を超える時間に関して、興味情報の値を時間積分し、その積分値をオブジェクトに関する興味情報の値とする方法などでもよい。
【００６１】
領域推定部５０７は、興味分布５０９やオブジェクト興味情報５１１のフィードバックを受け、時間経過によるオブジェクトの連続性を補償する。これによって、あるフレームでＡと認識されたオブジェクトが、連続する別のフレーム中で場所が変化していてもＡと認識される。上記のようにして得られたオブジェクト興味情報５１１は、元となった画像情報５０６との同期がとられ、オブジェクト領域情報５１２とともに出力される。
【００６２】
記録部５１３では、オブジェクト興味情報５１１、オブジェクト領域情報５１２を元となった画像情報５０６とともに、あるいはその格納場所情報とともに記録する。これは、例えば図１３のようなデータとなる。一方、オブジェクトごとにオブジェクト興味情報５１１を時間積分し、これをそのオブジェクトの登場時間で除算するなどの処理によって、提示単位（たとえば映画１本）全体での興味の度合を演算し、オブジェクト累計興味情報５１４として同様に記録する。
【００６３】
記録されたオブジェクト興味情報５１１は、別途利用者が画像の再生を行う際に作用させることができる。以下にその方法を示す。
【００６４】
興味情報解読部５１５は、既に記録されているオブジェクト興味情報５１１を再生部５１８を通じて読み出し、一旦、興味情報蓄積部５１６に全部保存しておく。興味情報処理部５１７は、全体を通じて興味の高かったオブジェクトを上位から順に決定する。次に、興味情報処理部５１７の指令に基づいて、再生部５１８は必要部分だけを出力端子５２０より再生する。「必要部分だけを再生する」とは、具体的には図１４に示すように、全体を通常通り再生する際に、興味の低かったオブジェクトはマスキングする（図１４（ａ）中の６１１）、興味の高かったオブジェクトを含む場面だけを再生する（図１４（ｂ）中の６１２）、興味の高さが上位のオブジェクトを２つ以上含む場面だけを再生する（図１４（ｃ）中の６１３）などである。このような手法により、利用者は改めて複雑な操作をすることなく、自分に適応した要約を得ることができる。また、オブジェクト興味情報５１１およびオブジェクト累計興味情報５１４を、同じメディアを見た同じ利用者、別の利用者ごとに測定し、累積することによって、安定した、あるいは客観的な関心に収束することが期待できる。これを利用して、レンタルソフトやネットワーク上の共有メディアにおいて、登場人物（すなわちオブジェクト）ごとの人気投票も行うことができる。
【００６５】
本実施例では、原情報として２次元動画像を挙げたが、マウスが３次元中の１点を示すことができるようなものであれば、３次元（立体）の動画像に同様の手法を適用してもよい。また、マウスの動きを１次元に投影することにより、左右のみの広がりをもった情報（音楽や、会議をステレオ録音したもの）に適用し、オブジェクトとして楽器や話者ごとに興味を関知してもよい。
【００６６】
本実施例では、動画像、音楽など、情報が時間的に推移するものを挙げたが、静止画像に対しても、同様の手法を用いることができる。これによって写真などにオブジェクト興味情報５１１を付与し、出力、記録することができる。同様にして、文書を静止画像として取り扱うこともできる。また、このように静止した情報の場合、再生部５１８は興味の高かったオブジェクトのみを自動的に整列させ、空間的な要約を作成することができる。
【００６７】
本実施例では、利用者が評価を与える手段となる入力装置としてマウスを挙げたが、ペン、タブレット、トラックボール、タッチパネル、ジョイスティック、ディジタイザなど同様にポインティングの機能をもつデバイスであれば他のものでもよい。また、上記のようにマウスの差し示している場所を検出する代わりに、視線検出を利用し、見ている場所に対して前述と同様の処理を行ってもよい。この場合、人間は興味をもっている部分にほとんど無意識のうちに目を向けるため、より抵抗感が少なく、かつ真の興味の度合に近いオブジェクト興味情報５１１が得られると期待できる。
【００６８】
本実施例の最初に述べたように、利用者は自分が特に興味を持った部分を自然と差し示すようにしておく方法もある。これは高い興味を入力している部分以外を、画像であれば解像度を下げる、暗くする、色を変えるなど、音声であれば音量を下げる、音質を変化させる、などの方法で変成させ、見にくくあるいは聞こえにくくしておくことである。これによって、利用者は、自分が見たいあるいは聞きたいと思う部分に必然的に高い興味を示す操作をするように仕向けられる。
【００６９】
（第３の実施例）
本発明の第３の実施例を説明する。
【００７０】
図１５は、本実施例を示す概略ブロック図である。本実施例では、評価を行うべき対象となる原情報を２次元の動画像とし、利用者の入力手段としては２次元上の座標を指定するマウスを用いるものとする。
【００７１】
評価を行うべき対象となる２次元動画像は、符号化処理を施された形で原情報蓄積部３０５に蓄積されている。この情報を再生するため、原情報はデコーダ３０４に送られる。デコーダ３０４は、送られてきた原情報を逐次復号し、２次元動画像情報を表示装置（図示せず）に適した信号に変換する。また、このときデコーダは、現在動画像のどの部分が再生されているのか、といった情報（例えばタイムコードなど）を時間制御部３０２に逐次送る。
【００７２】
利用者は、映像出力端子３０７に接続された表示装置に表示される２次元の動画像を見ながら、その動画像に対する興味、関心度の評価を逐次行う。興味、関心度の入力は、利用者が評価を入力したいと感じた任意の時間に、マウス信号入力端子３０６に接続された平面上を動かすことのできるマウスを操作することにより行う。すなわち、利用者は、動画像の評価を行ったとき、その評価に対応するある決められたマウス操作を行うことにより、評価を入力する。操作の方法としては、例えばマウスボタンを押しながら○，△，×の形にマウスを動かすといった方法や、同様にマウスボタンを押しながら１，２，３，・・・といった数字を入力する、といった方法が考えられる。ここでは、マウスをクリックしたまま◎，○，△，×の形にマウスを動かすことにより興味、関心度の評価を入力する場合について説明する。ただし、興味が大のとき◎、やや大のとき○、中のときは何も入力しない、やや小のとき△、小のとき×の形を入力するものとしている。
【００７３】
利用者は、興味、関心度の評価を入力したいと感じたときにまず、マウスボタンを押す。この時点で、マウスボタンが押されていることを示す信号がカーソル位置履歴情報蓄積部３００に送られる。マウスからは、このボタン・ダウン信号のほか、一定の短い時間間隔でマウスカーソルの表示画面上の位置移動情報が、逐次カーソル位置履歴情報蓄積部３００に送られている。
【００７４】
ボタン・ダウン信号を受け取ったカーソル位置履歴情報蓄積部３００は、その後の一定時間、マウスボタンが押された状態、すなわちボタン・ダウン信号が送られている状態でのマウスカーソルの位置情報を蓄積する。このようなカーソル位置履歴情報は、２次元座標上の点に対し、ボタンが押されたままマウスカーソルが通過したか否かを２値で表現する方法や、ボタンが押されたままマウスカーソルが通過した座標のみをリストとして表現する方法などにより表現することができる。
【００７５】
マウスボタンが押し下げられはじめてから一定時間が経過した後、カーソル位置履歴情報蓄積部３００は、カーソル位置履歴情報を２次元パターン認識部３０１に送る。また、同時にマウスボタンが押し下げらはじめたときに、利用者が入力を開始したことを示す信号が時間制御部３０２に送られる。上記では入力パターンの例として、◎、○などを挙げたが、パターンはこれに限られない。例えば、画面内でのマウスの動きの集中／発散を認識して、興味パラメータに変換するなどの方法もある。
【００７６】
２次元パターン認識部３０１では、受け取ったカーソル位置履歴情報を利用者の入力した２次元のパターンとして認識し、大きさの正規化等の前処理を行う。そして、あらかじめ決められている入力パターン◎，○，△，×と利用者の入力した２次元のパターンとの類似度を計算し、もっとも類似したパターンを選択する。選択されたパターンは、利用者の入力したパターンと認識され、興味パラメータ変換部３０３に送られる。
【００７７】
興味パラメータ変換部３０３は、２次元パターン認識部から送られたパターンと、時間制御部３０２から送られた時間情報とから、動画像のどの時間部分に興味の度合いを示す興味パラメータとして、いかなる値を与えるかを決定する。
【００７８】
時間制御部３０２から送られる時間情報は、利用者が評価を与えようとしていたと思われる動画像の再生時間を推定して算出したものである。時間制御部３０２では、利用者が入力を開始した時点で、動画像のどの部分が再生されていたかを知ることができる。これは、例えば動画像に付与されたタイムコード等により一意に特定することができる。一般的には、利用者が興味、関心度を付与しようと決断してから、実際にマウスボタンを押し下げるまでにはわずかに時間差があると思われる。この時間差を考慮し、実際にマウスボタンが押された時点で再生されていた部分より、わずかに前の時点で再生されていた部分に興味、関心度を付与するような調整を時間制御部３０２において行うと効果的である。
【００７９】
興味パラメータ変換部３０３は、時間制御部３０２から送られた時間情報に基づいて、動画像の特定部分（例えばフレーム）に２次元パターン認識部３０１から送られたパターンに相当する興味パラメータを付与する。この際、一つのフレームのみに興味パラメータを付与することも可能であるが、実際には、前後の数フレームにわたって滑らかに変化する興味パラメータを付与するとより効果的である。例えば、図１６に示すように、時間方向に滑らかに変化する興味パラメータＩ（ｔ）を付与する。興味パラメータ変換部３０３の出力は、時間情報とその時間情報に対応する動画像の一部に付与された興味パラメータの組の集合であり、これは原情報蓄積部３０５に送られる。
【００８０】
原情報蓄積部３０５では、興味パラメータ変換部３０３から送られた情報に従い、実際に興味パラメータを動画像に関係づけて記録する。
【００８１】
以上は、動画像の任意の時点に対して興味、関心度を示す興味パラメータを付与する方法の説明であったが、興味パラメータは一つの動画像に対してただ一つの値を付与することも可能である。このような興味パラメータの値は、例えば、動画像の全時点での興味パラメータの値の時間平均を計算し、付与することにより実現できる。また、平均値だけでは動画像間の差が出にくいので、第１の実施例で説明したように、興味パラメータが所定値以上の時間区間、あるいは動画像全体の時間区間幅に、その時間区間内の最大興味パラメータ値を積算した値を用いるという方法、あるいは興味パラメータが所定のしきい値を超える時間に関して、興味パラメータを時間積分し、その積分値を動画像全体の興味パラメータとする方法などでもよい。興味パラメータの値に所望の統計処理を施した値、例えば興味パラメータの最大値、最小値、分散などの値も付与しておくことも有効である。
【００８２】
本実施例では、２次元動画像を原情報として用いたが、その他の原情報として立体動画像、音声、音楽などを用いても同様の方法で興味パラメータの付与が出きる。また、時間的に変化しない情報、例えば、２次元静止画、立体静止画、文書等においては、ただ一回のマウスを用いた評価により興味パラメータの付与ができるので、より簡単に実現することができる。
【００８３】
また、上記ではマウスボタンが押されている時のカーソルの動きから◎、△などの記号や数字を入力していたが、利用者はこのような記号の入力開始と終了のみをクリックによって知らせ、そのほかの時間はボタンを押さない、という方法も可能である。また、これら興味の度合を示す記号の入力に関しては、まったくマウスボタンを用いず、カーソル位置の経時変化を常に観測しておき、記号と認識できる動きがあったときに入力とみなす方法も可能である。
【００８４】
さらに、本実施例で用いたマウスのほか、入力装置としては、３次元マウス、トラックボール、タッチパネル、ジョイスティック、タブレット、ディジタイザなどのポインティングデバイスを用いても、あるいは視線検出を利用して、利用者の視点を入力に用いたり、ＣＣＤカメラを利用して指などで利用者が指示する動作を入力に用いても、同様の方法で興味パラメータの付与ができることは明らかである。
【００８５】
（第４の実施例）
本発明の第４の実施例を説明する。
【００８６】
図１７は、本実施例を示す概略ブロック図である。本実施例では、評価されるべき原情報を２次元静止画像とし、利用者の入力手段として２次元上の座標を指定するマウスを用いるものとして説明する。
【００８７】
映像出力端子３１５に接続された表示装置（図示せず）には、原情報蓄積部３１３に記録されている静止画が複数表示されている。表示制御部３１０は、複数の静止画を表示装置のどの位置にどの様な大きさで表示するかを制御している。複数の静止画が重なって表示されているような場合には、静止画の上下関係の制御も行っている。また、静止画を表示するため、所望の静止画データを原情報蓄積部３１３に読み出すように要求し、静止画データを受け取る。
【００８８】
本実施例の表示制御部３１０は、表示装置に表示される静止画の解像度を、マウス入力端子３１４に接続されたマウスからの入力に依存して変化させることを特徴としている。すなわち、利用者がマウスカーソルを所望の静止画上に移動し、クリックすることにより、指定された静止画の解像度が向上し、一方、指定された以外の静止画の解像度は極度に悪くなるよう、表示制御部が制御する。従って、利用者は、興味を感じる静止画を選択し、マウスにより指定しなければ静止画を高解像度で見ることが許されない。このため、必然的に興味の高い静止画ほどよく指定し、高解像度で表示させ、興味の低い静止画は高解像度で表示させた時間が短くなる。このように、本実施例の表示制御を用いると、静止画ごとの高解像度表示時間に利用者の興味の度合いが反映される。
【００８９】
利用者が一つの静止画をマウスにより指定し、指定した静止画の解像度を向上させる（同時に他の静止画の解像度を悪くする）と、指定された静止画を特定する情報および指定した時刻が表示時間計測部３１１に送られる。表示時間計測部３１１では、静止画ごとに高解像度で表示された時間の累計を計算し、記憶している。そして、一定の時間が経過し、もしくは利用者により指定され、あるいは静止画が表示画面上から消去されるなど、表示時間の何らかの単位が経過すると、表示時間計測部３１１は、累計高解像度表示時間を静止画別に興味パラメータ変換部３１２に送る。
【００９０】
興味パラメータ変換部３１２では、送られてきた静止画別の累計高解像度表示時間を、利用者の興味の度合いを表す興味パラメータに変換する。一般に、累計高解像度表示時間の長い静止画ほど、興味パラメータの値は大きくなるように変換される。そして、静止画を特定する情報および興味パラメータの値の組を原情報蓄積部３１３に送る。
【００９１】
原情報蓄積部３１３では、興味パラメータ変換部３１２からの情報に従って、静止画データの属性データに興味パラメータの値を書き込む。
【００９２】
以上では、表示されている静止画の解像度が、利用者の入力に依存して変化する例を述べたが、例えば解像度を利用者が入力した時点からの経過時間に依存させるように静止画表示することも可能である。すなわち、各々の静止画の解像度が、利用者のマウスによる指定から時間が経過するごとに悪くなるよう、表示制御部３１０は制御する。例えば、図１８に示すように解像度を変化させるものである。このように制御することにより、利用者が高解像度で見たいと思う静止画に対しては、定期的にマウスカーソルを動かし、クリックしなければならない。従って、利用者の静止画に対する興味の度合いが高解像度表示時間のほか、クリック回数にも反映される。従って、クリック回数を静止画ごとに計測することによって興味パラメータの値を算出することもできる。
【００９３】
以上の例では、利用者の興味パラメータは、同時に表示された静止画の組み合わせに依存するところが大きい。すなわち、利用者がそれほど興味を持っていない静止画でも同時に表示されている静止画が興味の低いものばかりであると、それほどの興味を持っていない静止画に対しても大きな値の興味パラメータが付与されてしまうことがある。このような不都合をなくすために、累計高解像度表示時間を逐次更新できるようにしておき、さまざまな静止画の組み合わせに対しての平均的な興味パラメータが付与されるようにすると良い。このときには、静止画の属性データとして、興味パラメータのほかに累計高解像度表示時間も記録しておく必要がある。
【００９４】
本実施例で用いている入力装置は２次元座標を指定することのできるマウスであるが、これは勿論トラックボール、タッチパネル、ジョイスティック、ライトペン、タブレット、ディジタイザ等のポインティングデバイスや、３次元マウスなどの３次元座標上の点を指定するポインティングデバイスを用いても実現可能である。
【００９５】
以上、入力デバイスを介して利用者の興味の時間的変化を入力する方法を述べた。
【００９６】
以下では、入力された興味の度合いを利用する方法について述べる。
【００９７】
実時間で興味の度合いに応じて再生画像・音声を処理する方法として、入力された利用者の興味の度合いにより、興味がある（興味の度合いが高い）箇所について再度再生する。興味がない（興味の度合いが低い）箇所については、早送りして飛ばすなどの処置がある。
【００９８】
教育用ビデオソフトを例にとれば、興味が高い（よく判らない、あるいは詳しく知りたい）シーンでは、スロー再生をし、興味が低い（よく理解した、あるいはわかりきっている）シーンでは早送りやスキップで次のシーンへ移るなどの処理が施されるのである。
【００９９】
興味の度合いが多くの段階で入力された場合やアナログ信号のように入力されている場合には、その値の大きさに応じて再生速度を変化させる方法がある。例えば、値が大きい場合は通常再生で、値が少し小さい場合には早送りし、値が０に近い箇所ではスキップしてしまうという方法がある。
【０１００】
上述の処理は、実時間で入力された興味の度合いを用いても可能であるし、興味の度合いを記録しておき、記録された興味の度合いを用いても可能である。
【０１０１】
記録された興味の度合いを用いる他の例として、再度対象となる画像・音声を再生する場合、興味の度合いの高いところのみを再生し、ダイジェスト版のように再生する方法がある。
【０１０２】
さらに興味の度合いが大きい１シーン（例えば、興味の度合いが所定しきい値以上の時間区間をシーンとみなし、シーン内の興味パラメータの時間積分が高いシーン、あるいはシーンごとに第１の実施例のように、興味の度合がしきい値を超えている時間に、その時間区間内の興味パラメータの最大値を積算し、その積算値の高いシーン）をアイコンの様に画面に出力し、利用者は好みのシーンを選択して再生する方法がある。
【０１０３】
また、興味の度合いの変化量の傾きを求め、その傾きが急峻なシーンを前述のようにアイコン化して画面に出力し、選択する方法がある。
【０１０４】
また、原情報として２次元静止画像を取り上げて説明したが、これは動画像、文書などでも同様の処理で興味パラメータを付加することができる。また、音声についても、解像度ではなく音声レベルを変化させることにより、同様の処理で興味パラメータが付与できる。
【０１０５】
（第５の実施例）
以下、本発明の第５の実施例について説明する。
【０１０６】
図１９に、第５の実施例の概略ブロック図を示す。
【０１０７】
まず、利用者の興味の高さを３値により指示する例について説明する。
【０１０８】
ここで、利用者が画像・音声・文字を見聞きしたとき、面白いとか悲しいとか楽しいなどの感情の高ぶりを、興味の高さまたは興味の度合いという。
【０１０９】
例えば、興味の高さを図２０の様に、
１・・・興味あり
０・・・普通
−１・・・全く興味無し
とする。
【０１１０】
ＶＴＲに代表される記録再生機器２０７から再生部２０６にて再生されディスプレイ２０２などの画像表示装置により示された動画・静止画・文字画像、またはオーディオ機器などに代表される記録再生機器２０７から再生されスピーカ２０３などに出力される音楽・音声について、利用者は入力デバイス２０１から興味の高さを入力する。
【０１１１】
ここでは、興味を感じた場合は「１」を、あまり興味を感じなかった場合は「０」を、全く興味がないと感じた場合は「−１」を入力する。例えば、２ボタンマウス（図２０中の２０１−１）の場合、左ボタンをクリックすれば「１」が入力され、右ボタンがクリックされれば「−１」が入力される。「０」は、右または左ボタンを２度クリックするなど、「１」または「−１」を入力する方法以外の方法がとられる。他の入力デバイスとして、３点スイッチ（図２０中の２０１−２）やボタンスイッチ（図２０中の２０１−３）など３値の入力が行えるものが考えられる。なお、後述するように、さらに細かく興味の度合いを分けて指示できるようにすることも可能である。
【０１１２】
指示入力された値は、例えば図中２１２のような波形の信号として興味パラメータ処理部２０４に与えられる。興味パラメータ処理部２０４では、この信号に基づき興味パラメータを生成し、記録媒体２０７と制御部２０５に与える。記録媒体２０７では、興味パラメータを情報に関連付けて格納する。また、制御部２０５は、興味パラメータに基づき、所定の再生制御などを再生部２０６に対して施す。
【０１１３】
次に、さらに細かく興味の度合いを分けた場合について説明する。
【０１１４】
例えば、図２１の様に、興味の度合いを１１段階で表現する場合を考える。この様な場合、興味の度合いを指示する方法として、
画面上に度合いを表示しない
画面上に度合いを表示する
という２つの方法が考えられる。
【０１１５】
度合いを表示しない場合とは、画面上に表示できない（例えば表示することにより気分が損なわれる）状況や音楽・音声を聞く状況であって、このときには図２２の様に予め入力デバイスに数値が表示されていてもよい。利用者は、画面を見ながら、または音楽・音声を聞きながら興味の度合いに応じてその数値を選択する。
【０１１６】
画面上に度合いを表示する場合、図２３に示すように利用者はポインティングデバイスを操作することにより興味の度合いを指示し入力する。
【０１１７】
次に、興味の度合いが無段階で表現される場合について説明する。この様な場合、図２４に示すように興味の度合いはアナログ信号の形態となる。
【０１１８】
この場合も興味の度合いを指示する方法として、
画面上に度合いを表示しない
画面上に度合いを表示する
という２つの方法が考えられる。表示しない場合、利用者は入力デバイスを興味に応じて操作し、興味の度合いを出力する。
【０１１９】
度合いを表示する場合、利用者は入力デバイスを用いて、画面上に表示された興味の値を自分の興味に合わせて変化させる。
【０１２０】
画面上に興味の値を表示させる場合、再生時間中常に表示しておいても良いし、ある時間ごと、例えば映画やドラマのシーンチェンジごとに表示しても良い。
【０１２１】
あるいは、第４の実施例で説明したように、表示される画像の解像度を、入力された値に依存して変化させるようにしてもよい。すなわち、ユーザが高い値を与えた場面では解像度が向上し、一方、指定された以外の画像の解像度は極度に悪くなるよう、制御部２０５が制御する。従って、ユーザは興味を感じる静止画に高い興味の値を指定しなければ静止画を高解像度で見ることが許されない。このため、必然的に興味の高い静止画ほど高く指定し、高解像度で表示させ、興味の低い静止画は高解像度で表示させた時間が短くなる。このように、本実施例の表示制御を用いると、ユーザは必然的に興味の度合に応じた入力操作を促される。
【０１２２】
これら変化する興味の度合いを入力するデバイスとして、マウス、トラックボール、タブレット、タッチパネル、ライトペン、デジタイザなどに代表されるポインティングデバイスや、可変抵抗器の様な回転機構やスライド機構などをようするもの、多接点スイッチの様に幾つかの異なる信号を出力するものが挙げられる。また、歪みゲージなど曲げ応力を利用したもの、距離センサを用いて利用者は体の一部を近づけ／遠ざけることで値を入力するもの、利用者が回転物を回し、その回転数を利用するものなどがある。
【０１２３】
さらに、利用者が無意識に興味の度合いを入力する方法として、利用者の発汗量、脈拍、心拍数、脳波、筋肉の緊張、まばたきの回数など、外部及び内部刺激により心理的に変化する量を検知し、その変化量に応じて興味の度合いの変化量を入力する方法がある。また、利用者の音声を利用する方法がある。これは、利用者が笑い声など発声した箇所やトーンが変化した箇所では興味が高いとするものである。この音声を利用した場合の例としては、映画館などで観客の興味が高くなったシーンを観客の笑い声や叫び声などから特定することができる。
【０１２４】
以上、入力デバイスを介して利用者の興味の時間的変化を入力する方法を述べた。
【０１２５】
以下では、入力された興味の度合いを利用する方法について述べる。
【０１２６】
実時間で興味の度合いに応じて再生画像・音声を処理する方法として、入力された利用者の興味の度合いにより、興味がある（興味の度合いが高い）箇所について再度再生する。興味がない（興味の度合いが低い）箇所については、早送りして飛ばすなどの処置がある。
【０１２７】
教育用ビデオソフトを例にとれば、興味が高い（よく判らない、あるいは詳しく知りたい）シーンでは、スロー再生をし、興味が低い（よく理解した、あるいはわかりきっている）シーンでは早送りやスキップで次のシーンへ移るなどの処理が施されるのである。
【０１２８】
興味の度合いが多くの段階で入力された場合やアナログ信号のように入力されている場合には、その値の大きさに応じて再生速度を変化させる方法がある。例えば、値が大きい場合は通常再生で、値が少し小さい場合には早送りし、値が０に近い箇所ではスキップしてしまうという方法がある。
【０１２９】
上述の処理は、実時間で入力された興味の度合いを用いても可能であるし、興味の度合いを記録しておき、記録された興味の度合いを用いても可能である。
【０１３０】
記録された興味の度合いを用いる他の例として、再度対象となる画像・音声を再生する場合、興味の度合いの高いところのみを再生し、ダイジェスト版のように再生する方法がある。
【０１３１】
さらに興味の度合いの変化量の絶対値の積分値を求め、その値が大きい１シーン（例えば、興味の度合いが−から＋になり、再び−となるまでの時間の最初のシーン、あるいはシーンごとに第１の実施例のように、興味の度合がしきい値を超えている時間に、その時間区間内の興味パラメータの最大値を積算し、その積算値の高いシーン）をアイコンの様に画面に出力し、利用者は好みのシーンを選択して再生する方法がある。
【０１３２】
また興味の度合いの変化量の傾きを求め、その傾きが急峻なシーンを前述のようにアイコン化して画面に出力し、選択する方法がある。
【０１３３】
この興味の度合いを音楽情報に利用し、新しく曲を作ることができる。図２５に方法を示す。図２５では、曲１のＡ（イントロ）が興味が高く、曲２ではＢ及びＣの部分が興味が高く、曲３では、Ｄ（エンディング）が興味が高い。それぞれの曲はキー（ヘ長調、嬰ホ短調などの「調子」）や拍子（３拍子＝３／４、４拍子＝４／４など）、テンポが異なるため、このままつなげただけでは曲にはならない。そこで利用者は、自分が作りたい曲のキー、拍子、テンポを入力する。入力されたパラメータを元に、選ばれた曲１−Ａ、曲２−Ｂ、Ｃ、曲３−Ｄは変調され、編曲され出力される。この様に、音楽の知識が少ない利用者でも、自分の好むフレーズを利用し、簡単に作曲を行うことができる。ここでの音楽部分（Ａ、Ｂなど）の選び方においては、例えば、部分ごとに第１の実施例のように、興味の度合がしきい値を超えている時間に、その時間区間内の興味パラメータの最大値を積算し、その積算値が、他の曲の対応部分よりも高いものを採用するなどの方法がとられる。
【０１３４】
また、この音楽ソフトがＭＩＤＩ信号で記録されている場合には、各パートの楽器の音も興味に応じて用いることができる。
【０１３５】
さらに、利用者が作曲したフレーズを組み合わせて作曲することも可能である。
【０１３６】
以下では、興味の度合いを統計的に処理した度合いの累積値を用いる例について述べる。
【０１３７】
例えば音楽のソフトでは、曲ごとの興味の度合いの統計をとり、その統計量が最も大きい曲から優先的に再生したり、曲の順序を変更したりする。
【０１３８】
また、ビデオソフトでは、一本のビデオテープの中で興味の度合いの統計量に、応じてインデックス表示しサーチする。
【０１３９】
レンタルソフトなどでは、この統計量を利用してレンタルされた回数による人気度だけでなく、興味の高さによる人気度を測ることができる。例えば、前評判は高くなかったが、実際観ると意外と面白かったというような場合にこの方法が非常に有効である。
【０１４０】
以上、興味の度合いを測定して利用する方法について述べた。これらは、様々な記録媒体に記録された再生信号に対して行われるものである。
【０１４１】
記録媒体に記録された再生信号以外にも、興味の度合いを利用する方法がある。例えば双方向通信において、ＴＶ番組やラジオ番組などで単に視聴率調査だけではなく、番組の中で視聴者の興味が高いシーンなどを選ぶことも可能であるし、音楽番組などでは自動的にヒットチャートを作成することも可能である。
【０１４２】
（第６の実施例）
本発明の第６の実施例を説明する。第６の実施例は、興味パラメータの入力のために距離画像検出を行うことを特徴とする。図２６は、第６の実施例の概略的な構成を示している。ここでは、パラメータを付与する情報は、動画像であるとする。
【０１４３】
距離画像検出部９０１は、使用者の手などによって作られる距離画像を検出し出力する。距離画像検出のための手段としては、光源を対象物体に当て、その反射光を位置検出素子で捕らえ三角法で距離を算出する手段（例えばカメラのオートフォーカス機構などに使われているもの）を２次元的に走査するなどの方法が考えられる。使用者は、現在表示されている映像の中で興味のある場所に対応した場所に手を指し伸ばすなどの動作を行うことにより、興味のある場所とその強さを、距離画像中の距離値の小さい領域の場所とその距離値として入力することができる。このとき距離画像情報９０２をカーソル表示部９０３に入力し、カーソル表示部９０３が距離の最小点に応じた画面（図示せず）上の場所にカーソルを表示すれば、使用者の入力操作がより行い易くなる。
【０１４４】
距離画像検出部９０１から出力される距離画像情報９０２はそのまま使用者の興味パラメータとなっているので、距離画像もしくはこれを正規化したもの（興味パラメータ画像と呼ぶ）と原画像を同時に記録しておけば、後で興味パラメータで原画像を制御して再生することができる。
【０１４５】
フレーム興味パラメータ算出部９０４は、ある１フレーム内での興味パラメータの総和（フレーム興味パラメータ９１３）を計算する。このフレーム興味パラメータを時間軸でながめると、使用者のその動画像に関する興味の度合いが時間と共にどのように変化していったかを知ることができる。このとき動画像に対する評価の基準は、時間とともに変化していくことも考えられる。そこで、動画像全体のフレーム興味パラメータ入力が終了した段階で、評価基準補正部９０５が評価基準の変動を補正した結果を出力する。ここでは、評価基準の補正結果が出てからフレーム興味パラメータを記録する方法をとっても良いし、補正の情報のみ（例えばフレーム興味パラメータの基準値の変動のみ）を記録しておき、後でフレーム興味パラメータを利用するときに再生しながら補正情報で補正する方法も考えられる。また、補正情報を記録しておけば、興味パラメータ画像を再生するときに補正することもできる。図２６では後者として記述してある。
【０１４６】
使用者の動画像に対する興味パラメータとして入力される動画像と同時に、原画像９０６が入力される。シーンチェンジ検出部９０７は、原画像のシーンチェンジ部を検出する。ここでは、色分布情報などの時間的変化の急峻なところをシーンチェンジ部として取り出すことができる。また、シーン興味パラメータ付与部９０８は、一つのシーンについてのフレーム興味パラメータの平均を求め、シーン興味パラメータ９０９として出力する。この出力情報を後の再生時に利用すれば、シーン興味パラメータがある値以上のシーンを取り出して再生することができる。
【０１４７】
オブジェクト抽出部９１０は、動画像をオブジェクト単位に分割し、オブジェクト情報９１１を出力する。このようにして分割されたオブジェクトは、第２の実施例で説明したように、オブジェクト内外の興味パラメータの差の評価から、複数のオブジェクトを統合し、新たに大きな一つのオブジェクトとして取り扱ってもよい。このオブジェクト情報は、フレームごとに存在するオブジェクトの識別情報とその存在領域の情報を含む。
【０１４８】
オブジェクト興味パラメータ付与部９１２は、オブジェクト情報９１１、距離画像情報９１３およびシーンチェンジ情報９１５を用いてオブジェクトに対する興味パラメータ（オブジェクト興味パラメータ）９１４を出力する。１フレーム内でのオブジェクトに対する興味パラメータは、オブジェクト存在領域における興味パラメータの平均値として決めても良いし、オブジェクト存在領域における興味パラメータの最大値（距離は最小）をもって決めてもよい。オブジェクト興味パラメータとしては、あるオブジェクトに対する時間的に変化する興味パラメータ、同一シーン内での同一オブジェクトの興味パラメータの平均値、動画像全体を通して同一オブジェクトに対する興味パラメータの平均値が算出される。この算出の方法は、第１の実施例で説明したように、シーンなど所定時間区間内でそのオブジェクトに関して最高を記録した興味パラメータの値に、その時間区間幅を積算したものをオブジェクトに対するそのシーンの興味パラメータとするなどの方法がとられる。
【０１４９】
これまでに述べられた、原画像、興味パラメータ画像、フレーム興味パラメータ、シーン興味パラメータ、オブジェクト興味パラメータ、は、内部で施される処理の負荷の違いにより、生成される時刻にずれが生じる。時間差補正部９１６は、これらの時間の差を吸収し、すべての情報を時間的に同期をとって出力する。また、本実施例では、５種類の情報を出力しているが、このうちのいくつかを出力するような（図２６から対応するいくつかの構成要素を除いた）構成も当然考えられる。
【０１５０】
次に、静止画像を扱う場合について述べる。静止画像を扱う場合は、図２６の構成のうち一部を動作させれば良い。すなわち、静止画像は時間軸方向の変化が無いので、フレーム興味パラメータ算出部９０４、シーンチェンジ検出部９０７、シーン興味パラメータ算出部９０８、時間差補正部９１６、評価基準変動補正部９０５は動作しなくて良い。入力された静止画像は、オブジェクト抽出部９１０によってオブジェクト抽出される。距離画像検出部９０１から出力される興味パラメータ画像は、静止画像を一定時間見ているときの使用者の興味としての意味を持つ。オブジェクト興味パラメータ付与部９１２は、あるオブジェクトの存在領域のなかでの興味パラメータ値の和をさらに時間的に合計し、そのオブジェクトへの興味パラメータとする。
【０１５１】
（第７の実施例）
次に、本発明の第７の実施例について述べる。本実施例の概略構成は、図２７に示される通りで、画像処理部９２０以外の構成は図２６と同様であり、各構成部分の働きも同様である。画像処理部９２０は、使用者の入力する興味パラメータに応じて原画像に処理を施す手段である。この原画像の処理は、使用者が興味を示すことによって、その興味を示したところをその度合いに応じてより見やすくなるように施される。例えば興味パラメータ値がある値（例えばｔ）以上の領域については原画像をそのまま表示し、興味パラメータがｂ以下の領域については原画像の画素値にｐ（＜１）を掛け合わせて表示する（すなわち一定の割合で暗くする）。興味パラメータがｔからｂの間の値ｘをとっているときは、原画像の画素値に（ｘ−ｂ）（１−ｐ）／（ｔ−ｂ）＋ｐを掛けて表示する。使用者が強い興味パラメータを与えることにより、その部分をより鮮明に見ることができるので、より自然に興味パラメータを入力することができる。原画像の処理の仕方はこれにとどまらず、例えば、モザイク処理を施す、エッジ部分をぼかす、などが考えられる。
【０１５２】
（第８の実施例）
次に、本発明の第８の実施例について述べる。本実施例の概略構成は、図２８に示される通りで、情報蓄積部９３０、ダイジェスト作成指示部９３１、ダイジェスト作成部９３２を設けた点以外は図２７と同様であり、対応する各構成部分の働きも同様である。
【０１５３】
第６および第７の実施例では、原画像と距離パラメータとしての距離画像から興味パラメータを導き出すだけであったが、本実施例では、原画像と興味パラメータ情報を蓄積する情報蓄積部９３０を設け、さらに再生時において興味パラメータを用いて効率的な再生を行うためにダイジェスト作成部９３２、ダイジェスト作成指示部９３１を設けた。
【０１５４】
本実施例によれば、使用者は、一度記録したこれらの情報を再生するときに、興味パラメータを用いて効率的な再生を指示することができる。例えば、フレーム興味パラメータがある値以上のフレームを抜き出してダイジェスト再生する、ある値以上の興味パラメータが得られたオブジェクトをリストアップする、シーン興味パラメータが高い順に選び５分以内のダイジェストを作成する、あるいはその値の大きさに応じて再生速度を変化させる、といった指示ができ、これらはダイジェスト作成指示部９３１によって入力される。
【０１５５】
ダイジェスト作成部９３２は、この指示にしたがい、ダイジェストを作成するものである。
【０１５６】
（第９の実施例）
次に、本発明の第９の実施例について述べる。図２９に、本実施例の概略構成を示す。本実施例は、使用者による距離画像の入力を、オブジェクトを抽出する手段としても利用するようにしたものである。すなわち、第６〜第８の実施例においては、原画像から直接オブジェクト抽出を行っていたが、本実施例では、オブジェクト抽出処理を使用者の意志を用いて行うことにより簡単化する。例えば図３０のように使用者が動画像全体に渡って、同一オブジェクトを同じ形の手で追跡することにより、それが同一のオブジェクトであることをシステムに入力する。これによって、オブジェクト抽出処理の負荷を軽くすることができる。
【０１５７】
図２９は、距離画像と原画像からオブジェクト情報を抽出するまでの構成のみを示している。距離画像検出部９４０は、第６〜第８の実施例と同様、使用者の手の動きなどを距離画像として検出する。形状検出部９４１は、距離画像から手の形状を認識する。例えば１本指、２本指、グー、パーなどの形を検出する。オブジェクト分割部９４２は、原画像９４５からエッジ検出などの手段によりオブジェクト単位に分割するが、そのオブジェクトが何であるかの判断は行わない。同一シーン内ではオブジェクトを追跡することができるが、シーンチェンジの前後で同一オブジェクトを判断することはできない。オブジェクト特定部９４３は、同じ形の手で追跡されたオブジェクトを同じオブジェクトであると判断し、オブジェクト識別情報９４４を出力する。したがって、動画像を何度か再生しオブジェクトを手で追跡する操作を行えば、高コストな処理系を用いずとも、（第６〜８の実施例と同様の）オブジェクト抽出結果を得ることができる。また、オブジェクト特定作業を行いながらも手の距離値によって、そのオブジェクトに対する興味パラメータを同時に入力することもできる。
【０１５８】
これまでの例では、距離画像を興味パラメータの入力手段として用いた。距離画像は２次元的な広がりを持った１次元情報であるので、２次元情報（動画像の１フレーム、静止画像）全体への興味パラメータ付与が同時に行える（例えばマウスを用いると、同時には画像中の１点に対してしか興味パラメータ付与ができない）。同様な情報を入力できるデバイスとして、圧力センサアレイなどがある。これは、圧力センサをアレイ上に並べて構成したもので、圧力という１次元情報の２次元分布を入力することができる。圧力センサアレイは、第６〜８の実施例において距離画像検出部と置き換えることができる。また、圧力センサアレイを透明部材で構成し、表示装置に重ねれば、映像を見ながら、直接興味のある部分を押せる、というより操作し易い環境が実現できる。
【０１５９】
なお、本発明は上述した各実施例に限定されるものではなく、その要旨を逸脱しない範囲で、種々変形して実施することができる。
【０１６０】
【発明の効果】
本発明によれば、マルチメディア情報に評価値（例えば１元多値の興味パラメータという単純な指標）を付与することができる。この評価値は、利用者も容易な操作で付与することができ、装置側でも処理しやすい情報である。この評価値を用いると、要約作成など、利用者の要求に応じた情報加工・提示を半自動で実現することができ、利用者が情報にアクセスする時間の短縮や、情報分類・格納の効率化が期待できる。
【０１６１】
このように本発明によれば、供給された原情報が多種多量であっても、短時間で効率よく情報全体を把握したり、その多種多量の情報の中から、目的のものを探索することが容易になる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る情報処理装置の構成を示す概念図
【図２】同情報処理装置の信号処理方法を示す概念図
【図３】同情報処理装置の信号処理方法を示す概念図
【図４】同情報処理装置の信号処理方法を示す概念図
【図５】同情報処理装置の信号処理方法を示す概念図
【図６】同情報処理装置の構成を示すブロック図
【図７】同情報処理装置の信号処理方法を示す概念図
【図８】同情報処理装置の構成を示すブロック図
【図９】同情報処理装置の信号処理方法を示す概念図
【図１０】同情報処理装置の信号処理方法を示す概念図
【図１１】本発明の第２の実施例に係わる情報処理装置の概略構成を示すブロック図
【図１２】同情報処理装置の信号処理方法を示す概念図
【図１３】同情報処理装置の出力データを示す概念図
【図１４】同情報処理装置の信号処理方法を示す概念図
【図１５】本発明の第３の実施例に係わる情報処理装置の概略構成を示すブロック図
【図１６】同情報処理装置の信号処理方法を示す概念図
【図１７】本発明の第４の実施例に係わる情報処理装置の概略構成を示すブロック図
【図１８】同情報処理装置の信号処理方法を示す概念図
【図１９】本発明の第５の実施例に係わる情報処理装置の概略構成を示すブロック図
【図２０】同情報処理装置の信号処理方法を示す概念図
【図２１】同情報処理装置の入力形態を示す概念図
【図２２】同情報処理装置の入力部分を示す概念図
【図２３】同情報処理装置の入力部分を示す概念図
【図２４】同情報処理装置の信号処理方法を示す概念図
【図２５】同情報処理装置の信号処理方法を示す概念図
【図２６】本発明の第６の実施例に係わる情報処理装置の概略構成を示すブロック図
【図２７】本発明の第７の実施例に係わる情報処理装置の概略構成を示すブロック図
【図２８】本発明の第８の実施例に係わる情報処理装置の概略構成を示すブロック図
【図２９】本発明の第９の実施例に係わる情報処理装置の概略構成を示すブロック図
【図３０】同情報処理装置の入力方法を示す概念図
【符号の説明】
２０１…入力デバイス、２０２…ディスプレイ、２０３…スピーカ、２０４…興味パラメータ処理部、２０５…制御部、２０６…再生部、２０７…記録媒体、３００…カーソル位置履歴情報蓄積部、３０１…２次元パターン認識部、３０２…時間制御部、３０３…興味パラメータ変換部、３０４…デコーダ、３０５…原情報蓄積部、３０６…マウス信号入力端子、３０７…映像信号出力端子、３１０…表示制御部、３１１…表示時間計測部、３１２…興味パラメータ変換部、３１３…原情報蓄積部、３１４…マウス入力端子、３１５…映像出力端子、５０１…マウス、５０２…デバイスドライバ、５０３…座標情報、５０４…記憶部、５０５…蓄積制御部、５０６…画像情報、５０７…領域推定部、５０９…興味分布、５１０…オブジェクト興味判断部、５１１…オブジェクト興味情報、５１２…オブジェクト領域情報、５１３…記録部、５１４…オブジェクト累積興味情報、５１５…興味情報解読部、５１６…興味情報蓄積部、５１７…興味情報処理部、５１８…再生部、５２０…出力端子、６０５…顔領域の連続グループ、６０７…上着領域の連続グループ、７００…表示部、７０１…興味入力パッド、７０２…画面、７０３…興味インジケータ、７０４…画像記録再生部、７０６…ディスプレイ７０６、７０７…興味入力部、７０９…インジケータ合成部、７１０…オブジェクト検出部、７１２…オブジェクト表示部、７１３…興味分析部、８０３…顔領域、８０４…上着領域、９０１…距離画像検出部、９０２…距離画像情報、９０３…カーソル表示部、９０４…フレーム興味パラメータ算出部、９０５…評価基準補正部、９０６…原画像、９０７…シーンチェンジ検出部、９０８…シーン興味パラメータ付与部、９０９…シーン興味パラメータ、９１０…オブジェクト抽出部、９１１…オブジェクト情報、９１２…オブジェクト興味パラメータ付与部、９１３…距離画像情報、９１４…オブジェクト興味パラメータ、９１５…シーンチェンジ情報、９１６…時間差補正部、９２０…画像処理部、９３０…情報蓄積部、９３１…ダイジェスト作成指示部、９３２…ダイジェスト作成部、９４０…距離画像検出部、９４１…形状検出部、９４２…オブジェクト分割部、９４３…オブジェクト特定部、９４４…オブジェクト識別情報、９４５…原画像

Claims (3)

1. 記録されたオブジェクトを含む画像情報を再生する情報再生手段と、
   この情報再生手段によって再生された画像情報を提示する提示手段と、
   この提示手段によって提示された画像情報に含まれる特定のオブジェクトに対してユーザが持つ興味の度合いを示す評価値を入力するための入力手段と、
   この入力手段によって入力された評価値を前記オブジェクトに対応づけて記録する評価値記録手段とを具備したことを特徴とする情報処理装置。
2. 前記提示手段による前記特定のオブジェクトの提示状態を前記評価値記録手段により記録されている評価値に応じて変更する制御を行う提示状態制御手段をさらに具備したことを特徴とする請求項１に記載の情報処理装置。
3. 記録されたオブジェクトを含む画像情報を再生する情報再生手段と、
   この情報再生手段によって再生された画像情報を提示する提示手段と、
   この提示手段によって提示された画像情報に含まれる特定のオブジェクトに対してユーザが持つ興味の度合いを示す評価値を該オブジェクトに対応づけて記録する評価値記録手段と、
   この評価値記録手段により前記評価値が対応づけられて記録されたオブジェクトを含む画像情報を再度再生して提示する場合、前記評価値記録手段により記憶されている評価値に基づき前記情報再生手段による再生または前記提示手段による提示の少なくとも一方を制御する制御手段とを具備したことを特徴とする情報処理装置。

Images