JPWO2010001512A1 - 印象度抽出装置および印象度抽出方法 - Google Patents

Abstract

ユーザに特に負担を掛けることなく、精度良く印象度を抽出することができる印象度抽出装置。コンテンツ編集装置（１００）は、測定期間にユーザに生起した感情を示す測定感情特性を取得する測定感情特性取得部（３４１）と、基準期間にユーザに生起した感情を示す基準感情特性と測定感情特性との比較により、測定期間にユーザが受けた印象の強さを示す度合いである印象度を算出する印象度算出部（３４０）とを有する。印象度算出部（３４０）は、第２の感情特性を基準として、第１の感情特性との差異が大きいほど、印象度を高く算出する。

Description

本発明は、ユーザが受けた印象の強さを示す度合いである印象度を抽出する印象度抽出装置および印象度抽出方法に関する。

大量の撮影画像の中から保存画像を取捨選択する場合や、ゲームで選択的な操作を行う場合等において、ユーザが受けた印象の強弱に基づいて選択が行われることが多い。ところが、対象物の数が多い場合、その選択作業はユーザにとって負担となる。

例えば、近年注目されているウェアラブルタイプのビデオカメラは、丸一日というように、撮影を長時間継続して行うことが容易である。ところが、このような長時間撮影が行われる場合、大量に記録される映像データの中から、ユーザにとって重要な部分をどのように選び出すかが、大きな問題となる。ユーザにとって重要な部分は、ユーザの主観的な感性に基づいて決定されるべきものである。したがって、映像の全てを確認しながら、重要な部分の検索および要約を行う作業が必要となる。

そこで、ユーザの覚醒水準に基づいて映像を自動で取捨選択する技術が、例えば特許文献１に記載されている。特許文献１記載の技術では、映像撮影と同期してユーザの脳波を記録し、ユーザの覚醒水準が予め定められた基準値よりも高い区間の撮影映像を抽出して、映像の自動編集を行う。これにより、映像の取捨選択を自動化することができ、ユーザの負担を軽減することができる。

特開２００２−２０４４１９号公報

しかしながら、覚醒水準と基準値との比較では、興奮、注意、および集中の度合いしか判定することができず、喜怒哀楽といったより高度な感情状態を判定することは難しい。また、取捨選択の分かれ目となる覚醒水準のレベルには個人差がある。また、ユーザが受けた印象の強さは、覚醒水準のレベルではなく覚醒水準の変化の仕方として現れる場合もある。したがって、特許文献１記載の技術では、ユーザが受けた印象の強さを示す度合い（以下「印象度」という）を精度良く抽出することができず、ユーザが満足する選択結果を得られない可能性が高い。例えば、上記した撮影映像の自動編集では、印象に残るシーンを正確に抽出することが困難である。この場合、ユーザが選択結果を確認しながら手動で取捨選択のやり直しを行う必要が生じ、結果として、ユーザに負担が掛かるおそれがある。

本発明の目的は、ユーザに特に負担を掛けることなく、精度良く印象度を抽出することができる印象度抽出装置および印象度抽出方法を提供することである。

本発明の印象度抽出装置は、第１の期間にユーザに生起した感情の特性を示す第１の感情特性を取得する第１の感情特性取得部と、前記第１の期間とは異なる第２の期間に前記ユーザに生起した感情の特性を示す第２の感情特性と前記第１の感情特性との比較により、前記第１の期間に前記ユーザが受けた印象の強さを示す度合いである印象度を算出する印象度算出部とを有する。

本発明の印象度抽出方法は、第１の期間にユーザに生起した感情の特性を示す第１の感情特性を取得するステップと、前記第１の期間とは異なる第２の期間に前記ユーザに生起した感情の特性を示す第２の感情特性と前記第１の感情特性との比較により、前記第１の期間に前記ユーザが受けた印象の強さを示す度合いである印象度を算出するステップとを有する。

本発明によれば、第２の期間に実際にユーザが受けた印象の強さを比較基準として、第１の期間の印象度を算出することができるので、ユーザに特に負担を掛けることなく、精度良く印象度を抽出することができる。

本発明の実施の形態１に係る印象度抽出装置を含むコンテンツ編集装置のブロック図 実施の形態１に係るコンテンツ編集装置において用いられる２次元感情モデルの一例を示す図 実施の形態１における感情実測値を説明するための図 実施の形態１における感情の時間変化の様子を示す図 実施の形態１における感情量を説明するための図 実施の形態１における感情遷移方向を説明するための図 実施の形態１における感情遷移速度を説明するための図 実施の形態１に係るコンテンツ編集装置の全体動作の一例を示すシーケンス図 実施の形態１における感情情報取得処理の一例を示すフローチャート 実施の形態１における感情情報履歴の内容の一例を示す図 実施の形態１における基準感情特性取得処理を示すフローチャート 実施の形態１における感情遷移情報取得処理を示すフローチャート 実施の形態１における基準感情特性の内容の一例を示す図 実施の形態１における感情情報データの内容の一例を示す図 実施の形態１における印象度算出処理を示すフローチャート 実施の形態１における差異算出処理の一例を示すフローチャート 実施の形態１における印象度情報の内容の一例を示す図 実施の形態１における体験映像編集処理の一例を示すフローチャート 本発明の実施の形態２に係る印象度抽出装置を含むゲーム端末のブロック図 実施の形態２におけるコンテンツ操作処理の一例を示すフローチャート 本発明の実施の形態３に係る印象度抽出装置を含む携帯電話機のブロック図 実施の形態３における画面デザイン変更処理の一例を示すフローチャート 本発明の実施の形態４に係る印象度抽出装置を含む通信システムのブロック図 実施の形態４におけるアクセサリ変更処理の一例を示すフローチャート 本発明の実施の形態５に係る印象度抽出装置を含むコンテンツ編集装置のブロック図 本実施の形態５におけるユーザ入力画面の一例を示す図 本実施の形態５における効果を説明するための図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る印象度抽出装置を含むコンテンツ編集装置のブロック図である。本発明の実施の形態は、遊園地または旅行先でウェアラブルビデオカメラを用いて映像撮影を行い、撮像された映像（以下適宜「体験映像コンテンツ」という）を編集する装置に適用した例である。

図１において、コンテンツ編集装置１００は、大きく分けて、感情情報生成部２００、印象度抽出部３００、および体験映像コンテンツ取得部４００を有する。

感情情報生成部２００は、ユーザに生起した感情を示す感情情報を、ユーザの生体情報から生成する。ここで、感情とは、喜怒哀楽といった情動のみならず、リラックス等の気分をも含む精神状態全般を指す。感情の生起とは、ある精神状態から異なる精神状態へと遷移することを含む。感情情報は、印象度抽出部３００における印象度算出の対象となるものであり、その詳細については後述する。感情情報生成部２００は、生体情報測定部２１０および感情情報取得部２２０を有する。

生体情報測定部２１０は、センサおよびディジタルカメラ等の検出装置（図示せず）に接続され、ユーザの生体情報を測定する。生体情報は、例えば、心拍数、脈拍、体温、顔の筋電変化、音声の少なくともいずれか１つを含む。

感情情報取得部２２０は、生体情報測定部２１０によって得られたユーザの生体情報から、感情情報を生成する。

印象度抽出部３００は、感情情報取得部２２０において生成された感情情報に基づいて、印象度を算出する。ここで、印象度は、過去の、ユーザの感情情報の基準となる期間（以下「基準期間」という）にユーザが受けた印象の強さを基準としたときの、任意の期間にユーザが受けた印象の強さを示す度合いである。すなわち、印象度は、基準期間の印象の強さを基準としたときの、相対的な印象の強さである。したがって、基準時間をユーザが平常状態にあった期間または十分に長い期間とすることによって、印象度は、そのユーザにとっての、平常時とは違う特別さの度合いを示す値となる。本実施の形態では、体験映像コンテンツを記録している期間を、印象度算出の対象となる期間（以下「測定期間」という）とする。印象度抽出部３００は、履歴格納部３１０、基準感情特性取得部３２０、感情情報記憶部３３０、および印象度算出部３４０を有する。

履歴格納部３１０は、感情情報生成部２００によって過去に得られた感情情報を、感情情報履歴として蓄積する。

基準感情特性取得部３２０は、履歴格納部３１０に格納された感情情報履歴から、基準期間の感情情報を読み出し、読み出した感情情報から、基準期間におけるユーザの感情情報の特性を示す情報（以下「基準感情特性」という）を生成する。

感情情報記憶部３３０は、感情情報生成部２００によって測定期間に得られた感情情報を記憶する。

印象度算出部３４０は、測定期間におけるユーザの感情情報の特性を示す情報（以下「測定感情特性」）と、基準感情特性取得部３２０によって算出された基準感情特性との差異に基づいて、印象度を算出する。印象度算出部３４０は、感情情報記憶部３３０に記憶された感情情報から測定感情特性を生成する測定感情特性取得部３４１を有する。印象度の詳細については後述する。

体験映像コンテンツ取得部４００は、体験映像コンテンツを記録し、記録している間（測定期間）の感情情報から算出された印象度に基づいて、体験映像コンテンツの編集を行う。体験映像コンテンツ取得部４００は、コンテンツ記録部４１０およびコンテンツ編集部４２０を有する。

コンテンツ記録部４１０は、ディジタルビデオカメラ等の映像入力装置（図示せず）に接続され、映像入力装置において撮影された体験映像を、体験映像コンテンツとして記録する。

コンテンツ編集部４２０は、例えば、印象度抽出部３００により得られた印象度と、コンテンツ記録部４１０により記録された体験映像コンテンツとを、時間軸上で対応させて比較し、印象度が高い期間に対応するシーンを抽出して、体験映像コンテンツの要約映像を生成する。

コンテンツ編集装置１００は、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ等を有する。この場合には、上記各部の機能は、ＣＰＵが制御プログラムを実行することで実現される。

このようなコンテンツ編集装置１００によれば、生体情報に基づく特性値の比較により印象度を算出するので、ユーザに特に負担を掛けることなく印象度を抽出することができる。また、基準期間におけるユーザ自身の生体情報から得られた基準感情特性を基準として印象度を算出するので、印象度を精度良く抽出することができる。また、印象度に基づいて、体験映像コンテンツの中からシーンを選択して要約映像を生成するので、ユーザが満足するシーンのみをピックアップして、体験映像コンテンツを編集することができる。また、印象度を精度良く抽出するので、ユーザがより満足するコンテンツ編集結果を得ることができ、ユーザが再編集を行う必要性を低減することができる。

ここで、コンテンツ編集装置１００の動作説明の前に、コンテンツ編集装置１００において用いられる各種情報について説明する。

まず、感情情報を定量的に定義する際に用いられる感情モデルについて説明する。

図２は、コンテンツ編集装置１００において用いられる２次元感情モデルの一例を示す図である。

図２に示す２次元感情モデル５００は、ＬＡＮＧ感情モデルと呼ばれる感情モデルである。２次元感情モデル５００は、快と不快（または正感情と負感情）の度合いである快度を示す横軸と、興奮、緊張またはリラックスを含む度合いである覚醒度を示す縦軸の２軸により形成される。２次元感情モデル５００の２次元空間は、縦軸と横軸との関係から、「興奮（Excited）」、「沈静（Relaxed）」、「哀しみ（Sad）」等、感情種別ごとに領域が定義されている。２次元感情モデル５００を用いることにより、縦軸の値と横軸の値との組合せで、感情を簡単に表現することができる。本実施の形態における感情情報は、この２次元感情モデル５００における座標値であり、間接的に感情を表現する。

ここでは、例えば、座標値（４，５）は「興奮」という感情種別の領域内に位置し、座標値（−４，−２）は「哀しみ」という感情種別の領域内に位置している。したがって、座標値（４，５）の感情期待値および感情実測値は「興奮」という感情を示し、座標値（−４，−２）の感情期待値および感情実測値は「哀しみ」という感情種別を示す。２次元感情モデル５００において、感情期待値と感情実測値との距離が短い場合、それぞれが示す感情は類似したものであるといえる。本実施の形態の感情情報とは、感情実測値に、その基となった生体情報が測定された時刻を付加した情報をいうものとする。

なお、感情モデルとして、２次元以上のモデルまたはＬＡＮＧ感情モデル以外のモデルを用いてもよい。例えば、コンテンツ編集装置１００は、感情モデルとして、３次元感情モデル（快／不快、興奮／沈静、緊張／弛緩）、または、６次元感情モデル（怒り、恐れ、哀しみ、喜び、嫌悪、驚き）を用いてもよい。このようなより高次元の感情モデルを用いた場合には、感情種別をより細分化して表現することができる。

次に、図３から図７を用いて、基準感情特性および測定感情特性を構成するパラメタの種別について説明する。基準感情特性および測定感情特性を構成するパラメタ種別は、同一であり、感情実測値、感情量、および感情遷移情報を含む。感情遷移情報は、感情遷移方向および感情遷移速度を含む。以下、記号ｅは、基準感情特性および測定感情特性を構成するパラメタであることを示す。また、記号ｉは、以下、測定感情特性に関するパラメタであることを示す記号であるとともに、個々の測定感情特性を識別するための変数である。記号ｊは、基準感情特性に関するパラメタであることを示す記号であるとともに、個々の基準感情特性を識別するための変数である。

図３は、感情実測値を説明するための図である。感情実測値ｅ_ｉα、ｅ_ｊαは、図２に示す２次元感情モデル５００における座標値であり、（ｘ，ｙ）により表わされる。基準感情特性と測定感情特性との間の感情実測値の差異ｒ_αは、図３に示すように、基準感情特性の感情実測値ｅ_ｊαの座標を（ｘ_ｊ，ｙ_ｊ）、測定感情特性の感情実測値ｅ_ｉαの座標を（ｘ_ｉ，ｙ_ｉ）とすると、以下の式（１）により求められる値である。

すなわち、感情実測値の差異ｒ_αは、感情モデル空間における距離、つまり、感情の差異の大きさを示す。

図４は、感情の時間変化の様子を示す図である。ここでは、感情の状態を示す特性の１つとして、感情実測値のうち覚醒度の値ｙ（以下適宜「感情強度」という）に着目する。図４に示すように、感情強度ｙは、時間の経過と共に変化する。感情強度ｙは、ユーザが興奮または緊張しているときには高い値となり、ユーザがリラックスしているときには低い値となる。また、ユーザが長い時間継続して興奮または緊張しているときには、感情強度ｙが高い値で長い時間持続する。同じ感情強度でも、長い時間継続しているほうが、より強い興奮状態にあるといえる。したがって、本実施の形態では、感情強度を時間積分した感情量を、印象値の算出に用いる。

図５は、感情量を説明するための図である。感情量ｅ_ｉβ、ｅ_ｊβは、感情強度ｙを時間積分した値である。感情量ｅ_ｉβは、例えば、同一の感情強度ｙが時間ｔだけ継続した場合には、ｙ×ｔにより表わされる。図５において、基準感情特性と測定感情特性との間の感情量の差異ｒ_βは、基準感情特性の感情量をｙ_ｊ×ｔ_ｊ、測定感情特性の感情量をｙ_ｉ×ｔ_ｉとすると、以下の式（２）により求められる値である。

すなわち、感情量の差異ｒ_βは、感情強度の積分値の差異、つまり、感情の強さの差異を示す。

図６は、感情遷移方向を説明するための図である。感情遷移方向ｅ_ｉｄｉｒ、ｅ_ｊｄｉｒは、感情実測値が遷移するときの遷移方向を、遷移の前後における２組の感情実測値を用いて示す情報である。遷移の前後における２組の感情実測値とは、例えば、所定の時間間隔で取得された２組の感情実測値であり、ここでは連続して得られる２組の感情実測値とする。図６では、覚醒度（感情強度）にのみ着目して、感情遷移方向ｅ_ｉｄｉｒ、ｅ_ｊｄｉｒを図示している。感情遷移方向ｅ_ｉｄｉｒは、例えば、処理の対象となっている感情実測値をｅ_{ｉＡｆｔｅｒ}、１つ前の感情実測値をｅ_{ｉＢｅｆｏｒｅ}とすると、以下の式（３）により求められる値である。

同様に、感情実測値ｅ_ｊｄｉｒも、感情実測値ｅ_{ｊＡｆｔｅｒ}、ｅ_{ｊＢｅｆｏｒｅ}から求めることができる。

図７は、感情遷移速度を説明するための図である。感情遷移速度ｅ_ｉｖｅｌ、ｅ_ｊｖｅｌは、感情実測値が遷移するときの遷移速度を、遷移の前後における２組の感情実測値を用いて示す情報である。図７では、覚醒度（感情強度）にのみ着目して、また、測定感情特性に関するパラメータにのみ着目して、図示を行っている。感情遷移方向ｅ_ｉｖｅｌは、例えば、感情強度の遷移幅をΔｈとし、遷移に要した時間をΔｔ（感情実測値の取得間隔）とすると、以下の式（４）により求められる値である。

同様に、感情遷移方向ｅ_ｊｖｅｌも、感情実測値ｅ_{ｊＡｆｔｅｒ}、ｅ_{ｊＢｅｆｏｒｅ}から求めることができる。

感情遷移情報は、感情遷移方向と感情遷移速度とを重み付けした上で加算した値である。感情遷移情報ｅ_ｉδは、感情遷移方向ｅ_ｉｄｉｒの重みをｗ_ｉｄｉｒ、感情遷移速度ｅ_ｉｖｅｌの重みをｗ_ｉｖｅｌとしたとき、以下の式（５）により求められる値である。

同様に、感情遷移情報ｅ_ｊδも、感情遷移方向ｅ_ｊｄｉｒおよびその重みｗ_ｉｄｉｒと、感情遷移速度ｅ_ｊｖｅｌおよびその重みをｗ_ｊｖｅｌとから求めることができる。

基準感情特性と測定感情特性との間の感情遷移情報の差異ｒ_δは、以下の式（６）により求められる値である。

すなわち、感情遷移情報の差異ｒ_δは、感情遷移の仕方による違いの程度を示す。

このような感情実測値の差異ｒ_α、感情量の差異ｒ_β、および感情遷移情報の差異ｒ_δを算出することにより、基準期間と測定期間との間の感情の差異を高い精度で判定することができる。例えば、喜怒哀楽といった高度な感情状態、感情が高ぶっている状態の継続時間、普段落ち着いている人が急に興奮する状態、「悲しみ」の状態から「喜び」の状態への移行等、強い印象を受けたときの特徴的な精神状態を、検出することが可能となる。

以下、コンテンツ編集装置１００の全体動作について説明する。

図８は、コンテンツ編集装置１００の全体動作の一例を示すシーケンス図である。

コンテンツ編集装置１００の動作は、大別して、基準感情特性の基となる感情情報を蓄積する段階（以下「感情情報蓄積段階」という）と、リアルタイムで測定される感情情報に基づいてコンテンツを編集する段階（以下「コンテンツ編集段階」という）の、２つの段階から成る。図８では、ステップＳ１１００〜Ｓ１３００が、感情情報蓄積段階の処理であり、ステップＳ１４００〜Ｓ２２００が、コンテンツ編集段階の処理である。

まず、感情情報蓄積段階の処理について説明する。

処理に先立って、ユーザから必要な生体情報を検出するためのセンサと、映像を撮影するためのディジタルビデオカメラとがセッティングされる。セッティングが完了した後、コンテンツ編集装置１００の動作が開始される。

まず、ステップＳ１１００で、生体情報測定部２１０は、ユーザの生体情報を測定し、取得した生体情報を、感情情報取得部２２０に出力する。生体情報測定部２１０は、生体情報として、例えば、脳波、皮膚電気抵抗値、皮膚コンダクタンス、皮膚温度、心電図周波数、心拍数、脈拍、体温、筋電、顔画像、音声等の少なくともいずれか１つを検出する。

そして、ステップＳ１２００で、感情情報取得部２２０は、感情情報取得処理を開始する。感情情報取得処理は、予め設定された時間ごとに生体情報を解析し、感情情報を生成して、印象度抽出部３００に出力する処理である。

図９は、感情情報取得処理の一例を示すフローチャートである。

まず、ステップＳ１２１０で、感情情報取得部２２０は、生体情報測定部２１０から、所定の時間間隔（ここでは、ｎ秒間隔とする）で生体情報を取得する。

そして、ステップＳ１２２０で、感情情報取得部２２０は、生体情報に基づいて感情実測値を取得し、感情実測値から感情情報を生成して印象度抽出部３００に出力する。

ここで、生体情報から感情実測値を取得する具体的手法と、感情実測値が表わす内容とについて説明する。

人間の生理的信号は、人間の感情の変化に応じて変化することが知られている。感情情報取得部２２０は、この感情の変化と生理的信号の変化との関係を用いて、生体情報から感情実測値を取得する。

例えば、人間は、よりリラックスした状態にあるほど、アルファ（α）波成分の割合が大きくなることが知られている。また、驚き、恐怖、または心配によって皮膚電気抵抗値が上昇すること、喜びの感情が大きく生起すると皮膚温度および心電図周波数が上がること、心理的・精神的に安定している場合には心拍数および脈拍はゆっくりとした変化を示すこと等が知られている。また、上記した生理的指標以外にも、喜怒哀楽等の感情に応じて、泣く、笑う、怒る等により、表情および音声の種類が変化することが知られている。更に、落ち込んでいるときには声が小さくなり、怒ったり喜んだりしているときには声が大きくなる傾向があることも知られている。

したがって、皮膚電気抵抗値、皮膚温度、心電図周波数、心拍数、脈拍、音声レベルを検出したり、脳波から脳波のα波成分の割合を解析したり、顔の筋電変化または顔の画像から表情認識を行ったり、音声認識を行う等して生体情報を取得し、生体情報から感情を解析することが可能である。

具体的には、例えば、上記各生体情報の値を図２に示す２次元感情モデル５００の座標値に変換するための変換テーブルまたは変換式を、感情情報取得部２２０に予め用意する。そして、感情情報取得部２２０は、生体情報測定部２１０から入力された生体情報を、変換テーブルまたは変換式を用いて２次元感情モデル５００の２次元空間にマッピングし、該当する座標値を感情実測値として取得する。

例えば、皮膚コンダクタンス信号（skin conductance）は、覚醒度（arousal）に応じて増加し、筋電信号（electromyography：EMG）は、快度に応じて変化する。したがって、感情情報取得部２２０は、ユーザの体験映像撮影時の体験内容（デートまたは旅行等）に対する好ましさの程度に対応付けて、予め皮膚コンダクタンスを測定しておく。これにより、２次元感情モデル５００において、皮膚コンダクタンス信号の値を覚醒度として示す縦軸に、筋電信号の値を快度として示す横軸に、それぞれ対応付けることができる。この対応付けを変換テーブルまたは変換式として予め用意しておき、皮膚コンダクタンス信号と筋電信号とを検出することにより、簡単に感情実測値を取得することができる。

生体情報を感情モデル空間にマッピングする具体的手法は、例えば、“Ｅｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ Ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ ａｎｄ Ｓｋｉｎ Ｃｏｎｄｕｃｔａｎｃｅ”（Ａｒｔｕｒｏ Ｎａｋａｓｏｎｅ，Ｈｅｌｍｕｔ Ｐｒｅｎｄｉｎｇｅｒ，Ｍｉｔｓｕｒｕ Ｉｓｈｉｚｕｋａ，Ｔｈｅ Ｆｉｆｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｂｉｏｓｉｇｎａｌ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ，ＢＳＩ−０５，Ｔｏｋｙｏ，Ｊａｐａｎ，２００５，ｐｐ．２１９−２２２）に記載されている。

このマッピング手法では、まず、生理的信号として皮膚コンダクタンスと筋電信号とを利用して、覚醒度および快度との関連付けを行う。マッピングは、その関連付けの結果に基づいて、確率モデル（Bayesian network）と２次元Ｌａｎｇ感情空間モデルとを利用して行い、このマッピングにより、ユーザの感情推定を行う。より具体的には、人間の覚醒度の度合いに応じて直線的に増加する皮膚コンダクタンス信号と、筋肉活動を示し快度（valance）と関連のある筋電信号とを、ユーザが平常状態にあるときに測定し、測定結果をベースライン値とする。つまり、ベースライン値は、平常状態時の生体情報を表す。次に、ユーザの感情を測定する時に、皮膚コンダクタンス信号がベースライン値を超えた度合いに基づいて、覚醒度の値を決める。例えば、皮膚コンダクタンス信号が、ベースライン値より１５％〜３０％超えた場合には、覚醒度は非常に高い値（very high）であると判定する。一方、筋電信号がベースライン値を超えた度合いに基づいて、快度の値を決める。例えば、筋電信号がベースライン値を３倍以上超えた場合には、快度は高い値（high）であると判定し、筋電信号がベースライン値の３倍以下の場合には、快度は平均的な値（normal）であると判定する。そして、算出された覚醒度の値と快度の値とを、確率モデルと２次元ＬＡＮＧ感情空間モデルを利用してマッピングを行い、ユーザの感情推定を行う。

図９のステップＳ１２３０で、感情情報取得部２２０は、次のｎ秒後の生体情報が、生体情報測定部２１０により取得されているか否かを判断する。感情情報取得部２２０は、次の生体情報が取得されている場合には（Ｓ１２３０：ＹＥＳ）、ステップＳ１２４０に進み、次の生体情報が取得されていない場合には（Ｓ１２３０：ＮＯ）、ステップＳ１２５０に進む。

ステップＳ１２５０で、感情情報取得部２２０は、生体情報の取得に異常が発生した旨をユーザに通知する等の所定の処理を実行し、一連の処理を終了する。

一方、ステップＳ１２４０で、感情情報取得部２２０は、感情情報取得処理の終了が指示されたか否かを判断し、終了が指示されていない場合には（Ｓ１２４０：ＮＯ）、ステップＳ１２１０に戻り、終了が指示された場合には（Ｓ１２４０：ＹＥＳ）、ステップＳ１２６０に進む。

ステップＳ１２６０で、感情情報取得部２２０は、感情マージ処理を実行し、その後、一連の処理を終了する。感情マージ処理とは、同じ感情実測値が連続して測定された場合に、それらの感情実測値をマージして１つの感情情報にまとめる処理である。なお、感情マージ処理は必ずしも行う必要はない。

このような感情情報取得処理により、印象度抽出部３００には、マージ処理が行われる場合には感情実測値が変化するごとに、マージ処理が行われない場合にはｎ秒ごとに、感情情報が入力される。

図８のステップＳ１３００で、履歴格納部３１０は、入力される感情情報を蓄積し、感情情報履歴を生成する。

図１０は、感情情報履歴の内容の一例を示す図である。

図１０に示すように、履歴格納部３１０は、入力された感情情報に他の情報を付加したレコードから成る感情情報履歴５１０を生成する。感情情報履歴５１０は、感情履歴情報ナンバー（Ｎｏ.）５１１、感情測定日［年／月／日］５１２、感情生起開始時間［時：分：秒］５１３、感情生起終了時間［時：分：秒］５１４、感情実測値５１５、イベント５１６ａ、および場所５１６ｂを含む。

感情測定日５１２には、測定が行われた日が記述される。感情情報履歴５１０に、感情測定日５１２として、例えば「２００８／０３／２５」から「２００８／０７／０１」までが記述されている場合、この期間（ここでは約３ヶ月間）に取得された感情情報が蓄積されていることを示す。

感情生起開始時間５１３には、同一の感情実測値（感情実測値５１５に記述されている感情実測値）が継続して測定された場合に、その測定時間、つまり、その感情実測値が示す感情が生起している時間の開始時刻が記述される。具体的には、例えば、感情実測値が、別の感情実測値から変化して感情実測値５１５に記述されている感情実測値に到達した時刻である。

感情生起終了時間５１４には、同一の感情実測値（感情実測値５１５に記述されている感情実測値）が継続して測定された場合に、その測定時間、つまり、その感情実測値が示す感情が生起している時間の終了時刻が記述される。具体的には、例えば、感情実測値が、感情実測値５１５に記述されている感情実測値から別の感情実測値に変化した時刻である。

感情実測値５１５には、生体情報に基づいて得られた感情実測値が記述される。

イベント５１６ａおよび場所５１６ｂには、感情生起開始時間５１３から感情生起終了時間５１４までの期間の外界情報が記述される。具体的には、例えば、イベント５１６ａには、ユーザが参加したイベントまたはユーザの周囲に発生したイベントを示す情報が記述され、場所５１６ｂには、ユーザの居る場所に関する情報が記述される。外界情報は、ユーザが入力してもよいし、移動通信網またはＧＰＳ（global positioning system）により外部から受信した情報から取得してもよい。

例えば、「０００１」という感情履歴情報ナンバー５１１が示す感情情報として、「２００８／０３／２５」という感情測定日５１２、「１２：１０：００」という感情生起開始時間５１３、「１２：２０：００」という感情生起終了時間５１４、「（−４，−２）」という感情実測値５１５、「コンサート」というイベント５１６ａ、および「屋外」という場所５１６ｂが記述されている。これは、２００８年３月２５日の、１２時１０分から１２時２０分までの間、ユーザが屋外のコンサート会場に居て、ユーザから感情実測値（−４，−２）が測定されたこと、つまり、ユーザに悲しいという感情が生起していたということを示す。

感情情報履歴５１０の生成は、例えば、以下のようにして行われるようにしてもよい。履歴格納部３１０は、感情情報取得部２２０から入力される感情実測値（感情情報）と、外界情報とを監視し、いずれかに変化があるごとに、直前に変化があった時刻から現在までに得られた感情実測値および外界情報に基づいて、１つのレコードを作成する。このとき、同一の感情実測値および外界情報が長時間継続する場合を考慮して、レコードの生成間隔の上限を設定してもよい。

以上が、感情情報蓄積段階の処理である。このような感情情報蓄積段階を経て、コンテンツ編集装置１００には、過去の感情情報が、感情情報履歴として蓄積される。

次に、コンテンツ編集段階の処理について説明する。

上述のセンサおよびディジタルビデオカメラのセッティング等が行われ、セッティングが完了した後、コンテンツ編集装置１００の動作が開始される。

図８のステップＳ１４００で、コンテンツ記録部４１０は、ディジタルビデオカメラにより連続撮影される体験映像コンテンツの記録と、記録した体験映像コンテンツをコンテンツ編集部４２０に対して出力することを開始する。

そして、ステップＳ１５００で、基準感情特性取得部３２０は、基準感情特性取得処理を実行する。基準感情情報算出処理は、基準時間の感情情報履歴に基づいて、基準感情特性を算出する処理である。

図１１は、基準感情特性取得処理を示すフローチャートである。

まず、ステップＳ１５０１で、基準感情特性取得部３２０は、基準感情特性期間情報を取得する。基準感情特性期間情報は、基準期間を指定するものである。

基準期間は、ユーザが平常状態にあった期間、または、ユーザの状態を平均すると平常状態とみなすことができるような十分に長い期間が設定されることが望ましい。具体的には、基準時間は、例えば、ユーザが体験映像を撮影する時点（現在）から、一週間、半年、一年等の予め定められた時間長さだけ遡った時点までの期間が設定される。この時間長さは、例えば、ユーザにより指定されてもよいし、予め設定されたデフォルト値であってもよい。

また、基準期間は、現在と隔たった過去の任意期間が設定されてもよい。例えば、基準期間は、他の日の体験映像を撮影する時間帯と同じ時間帯、または、過去に体験映像の撮影場所と同じ場所に居たときの期間とすることができる。具体的には、例えば、測定期間にユーザが参加しているイベントとその場所に、イベント５１６ａおよび場所５１６ｂが最もよく一致するような期間である。また、基準時間の決定は、これら以外の各種情報に基づいて行うことができる。例えば、イベントが昼間行われたか夜行われたか等の時間帯に関する外界情報も一致するような期間を、基準時間に決定する。

そして、ステップＳ１５０２で、基準感情特性取得部３２０は、履歴格納部３１０に格納された感情情報履歴のうち、基準感情特性期間に該当する全ての感情情報を取得する。具体的には、基準感情特性取得部３２０は、所定の時間間隔の各時点について、感情情報履歴から該当する時点のレコードを取得する。

そして、ステップＳ１５０３で、基準感情特性取得部３２０は、取得した複数のレコードに対して、感情種別についてのクラスタリングを行う。クラスタリングは、例えばＫ−ｍｅａｎｓ等の既知のクラスタリング手法を用いて、レコードを図２において説明した感情種別またはこれに順ずる種別（以下「クラスタ」という）に分類することにより行われる。これにより、基準期間中のレコードの感情実測値を、時間成分を取り除いた状態で、感情モデル空間に反映させることができる。

そして、ステップＳ１５０４で、基準感情特性取得部３２０は、クラスタリングの結果から、感情基本成分パターンを取得する。ここで、感情基本成分パターンとは、クラスタごとに計算される複数のクラスタメンバー（ここではレコード）の集合であり、どのクラスタにどのレコードが該当するかを示す情報である。クラスタを識別するための変数をｃ（初期値は１）、クラスタをｐ_ｃ、クラスタの個数をＮ_ｃとそれぞれ置くと、感情基本成分パターンＰは、以下の式（７）で表わされる。

但し、クラスタｐ_ｃは、クラスタメンバーの代表点の座標（つまり感情実測値）（ｘ_ｃ，ｙ_ｃ）と、クラスタメンバーの感情情報履歴ナンバーＮｕｍから成り、該当するレコードの個数（つまりクラスタメンバーの個数）をｍと置くと、以下の式（８）で表わされる。

基準感情特性取得部３２０は、該当するレコードの個数ｍが所定の閾値よりも少ないクラスタについては、感情基本成分パターンＰのクラスタとして採用しないようにしてもよい。これにより、例えば、後続の処理の負荷を軽減したり、感情が遷移する過程において通過しただけの感情種別を処理対象から除外したりすることができる。

そして、ステップＳ１５０５で、基準感情特性取得部３２０は、代表感情実測値を算出する。代表感情実測値は、基準期間の感情実測値を代表する感情実測値であり、例えば、クラスタメンバーの数が最も多いクラスタ、または後述の持続時間が最も長いクラスタの座標（ｘ_ｃ，ｙ_ｃ）である。

そして、ステップＳ１５０６で、基準感情特性取得部３２０は、取得した感情基本成分パターンＰのクラスタごとに、持続時間Ｔを算出する。持続時間Ｔは、クラスタごとに算出される感情実測値の持続時間（つまり感情生起開始時間と感情生起終了時間との差）の平均値ｔ_ｃの集合であり、以下の式（９）により表わされる。

また、クラスタｐ_ｃの持続時間の平均値ｔ_ｃは、クラスタメンバーの持続時間をｔ_ｃｍと置くと、例えば、以下の式（１０）により算出される。

なお、持続時間の平均値ｔ_ｊは、クラスタメンバーの中から代表点を決定し、決定した代表点に該当する感情の持続時間としてもよい。

そして、ステップＳ１５０７で、基準感情特性取得部３２０は、感情基本成分パターンＰのクラスタごとに、感情強度Ｈを算出する。感情強度Ｈは、クラスタごとに算出される感情強度を平均した平均値ｈ_ｃの集合であり、以下の式（１１）により表わされる。

また、感情強度の平均値ｈ_ｃは、クラスタメンバーの感情強度をｙ_ｃｍと置くと、例えば、以下の式（１２）により表わされる。

また、感情実測値が、３次元感情モデル空間の座標値（ｘ_ｃｍ，ｙ_ｃｍ，ｚ_ｃｍ）として表わされる場合には、例えば、感情強度を、以下の式（１３）により算出される値としてもよい。

なお、感情強度の平均値ｈ_ｃは、クラスタメンバーの中から代表点を決定し、決定した代表点に該当する感情強度を採用してもよい。

そして、ステップＳ１５０８で、基準感情特性取得部３２０は、図５において説明した感情量を生成する。具体的には、算出した持続時間Ｔと感情強度Ｈとを用いて、基準期間における感情量の時間積分を行う。

そして、ステップＳ１５１０で、基準感情特性取得部３２０は、感情遷移情報取得処理を行う。感情遷移情報取得処理は、感情遷移情報を取得する処理である。

図１２は、感情遷移情報取得処理を示すフローチャートである。

まず、ステップＳ１５１１で、基準感情特性取得部３２０は、クラスタｐ_ｃのクラスタメンバーのそれぞれについて、前の感情情報を取得する。前の感情情報とは、クラスタｐ_ｃの個々のクラスタメンバーにおける遷移前の感情情報、つまり、１つ前のレコードである。以下、着目しているクラスタｐ_ｃに関する情報を「処理対象の」と表現し、１つ前のレコードに関する情報を「前の」と表現する。

そして、ステップＳ１５１２で、基準感情特性取得部３２０は、取得した前の感情情報に対して、図１１のステップＳ１５０３と同様のクラスタリングを行うとともに、図１のステップＳ１５０４と同様に前の感情基本成分パターンを取得する。

そして、ステップＳ１５１３で、基準感情特性取得部３２０は、前の感情情報の最大クラスタを取得する。最大クラスタとは、例えば、クラスタメンバーの数の最も多いクラスタ、または持続時間Ｔが最も長いクラスタである。

そして、ステップＳ１５１４で、基準感情特性取得部３２０は、前の感情実測値ｅ_{αＢｅｆｏｒｅ}を算出する。前の感情実測値ｅ_{αＢｅｆｏｒｅ}とは、取得した前の感情情報の最大クラスタにおける代表点の感情実測値である。

そして、ステップＳ１５１５で、基準感情特性取得部３２０は、前の遷移時間を算出する。前の遷移時間とは、クラスタメンバーの遷移時間の平均値である。

そして、ステップＳ１５１６で、基準感情特性取得部３２０は、前の感情強度を算出する。前の感情強度とは、取得した前の感情情報についての感情強度であり、図１１のステップＳ１５０７と同様の手法により算出される。

そして、ステップＳ１５１７で、基準感情特性取得部３２０は、図１１のステップＳ１５０７と同様の手法により、または、図１１のステップＳ１５０７の算出結果から、クラスタ内の感情強度を取得する。

そして、ステップＳ１５１８で、基準感情特性取得部３２０は、前の感情強度差を算出する。前の感情強度差とは、前の感情強度（ステップ１５１６で算出された感情強度）に対する、処理対象の感情強度（図１１のステップＳ１５０７で算出された感情強度）の差分である。感情強度差ΔＨは、前の感情強度をＨ_{Ｂｅｆｏｒｅ}、処理対象の感情強度をＨと置くと、以下の式（１４）により算出される。

そして、ステップＳ１５１９で、基準感情特性取得部３２０は、前の感情遷移速度を算出する。前の感情遷移速度とは、前の感情種別から処理対象の感情種別に遷移する際の単位時間当たりの感情強度の変化である。前の感情遷移速度ｅ_{ｖｅｌＢｅｆｏｒｅ}は、遷移時間をΔＴと置くと、以下の式（１５）により算出される。

そして、ステップＳ１５２０で、基準感情特性取得部３２０は、図１１のステップＳ１５０５と同様の手法により、または、図１１のステップＳ１５０５の算出結果から、処理対象の感情情報の代表感情実測値を取得する。

ここで、後の感情情報とは、クラスタｐ_ｃのクラスタメンバーにおける遷移後の感情情報、つまり、クラスタｐ_ｃのクラスタメンバーにおいて、レコードの１つ後のレコードをいい、１つ後のレコードに関する情報を「後の」と表現するものとする。

ステップＳ１５２１〜Ｓ１５２８で、基準感情特性取得部３２０は、ステップＳ１５１１〜Ｓ１５１９の処理と同様にして、後の感情情報、後の感情情報の最大クラスタ、後の感情実測値、後の遷移時間、後の感情強度、後の感情強度差、および後の感情遷移速度を取得する。これは、ステップＳ１５１１〜Ｓ１５１９における処理を、処理対象の感情情報を前の感情情報に置き換え、後の感情情報を新たに処理対象の感情情報に置き換えて実行することにより可能となる。

そして、ステップＳ１５２９で、基準感情特性取得部３２０は、ｐ_ｃのクラスタに関する感情遷移情報を内部的に格納して、図１１の処理に戻る。

図１１のステップＳ１５３１で、基準感情特性取得部３２０は、変数ｃに１を加算した値が、クラスタの個数Ｎ_ｃを超えているか否かを判断し、上記値が個数Ｎ_ｃを超えていない場合には（Ｓ１５３１：ＮＯ）、ステップＳ１５３２に進む。

ステップＳ１５３２で、基準感情特性取得部３２０は、変数ｃを１増加させ、ステップＳ１５１０に戻り、次のクラスタを処理対象として、感情遷移情報取得処理を実行する。

一方、変数ｃに１を加算した値が、クラスタの個数Ｎ_ｃを超えた場合、つまり、基準期間の全ての感情情報に対する感情遷移情報取得処理が完了すると（Ｓ１５３１：ＹＥＳ）、ステップＳ１５３３に進む。

ステップＳ１５３３で、基準感情特性取得部３２０は、感情遷移情報取得処理により得られた情報に基づいて、基準感情特性を生成し、図８の処理に戻る。基準感情特性のセットは、クラスタの個数だけ生成されることになる。

図１３は、基準感情特性の内容の一例を示す図である。

図１３に示すように、基準感情特性５２０は、感情特性期間５２１、イベント５２２ａ、場所５２２ｂ、代表感情実測値５２３、感情量５２４、および感情遷移情報５２５を含む。感情量５２４は、感情実測値５２６、感情強度５２７、および感情実測値の持続時間５２８を含む。感情遷移情報５２５は、感情実測値５２９、感情遷移方向５３０、および感情遷移速度５３１を含む。感情遷移方向５３０は、前の感情実測値５３２と後の感情実測値５３３との組から構成される。感情遷移速度５３１は、前の感情遷移速度５３４と後の感情遷移速度５３５との組から構成される。

代表感情実測値は、図３において説明した感情実測値の差異ｒ_αを求める際に用いられる。感情量は、図５において説明した感情量の差異ｒ_βを求める際に用いられる。感情遷移情報は、図６および図７において説明した感情遷移情報の差異ｒ_δを求める際に用いられる。

図８のステップＳ１６００で、基準感情特性取得部３２０は、算出した基準感情特性を記録する。

なお、基準時間が固定の場合には、ステップＳ１１００〜Ｓ１６００の処理を予め実行しておき、生成された基準感情特性を、基準感情特性取得部３２０または印象度算出部３４０に蓄積しておいてもよい。

そして、ステップＳ１７００で、生体情報測定部２１０は、ステップＳ１１００と同様に、体験映像を撮影している時のユーザの生体情報を測定し、取得した生体情報を感情情報取得部２２０に出力する。

そして、ステップＳ１８００で、感情情報取得部２２０は、ステップ１２００と同様に、図９に示す感情情報取得処理を開始する。なお、感情情報取得部２２０は、ステップＳ１２００、Ｓ１８００を通して感情情報取得処理を継続して実行してもよい。

そして、ステップＳ１９００で、感情情報記憶部３３０は、ｎ秒ごとに入力される感情情報のうち、現在から、所定の単位時間だけ遡った時点までの感情情報を、感情情報データとして記憶する。

図１４は、図８のステップＳ１９００において記憶される、感情情報データの内容を示す一例の図である。

図１４に示すように、感情情報記憶部３３０は、入力された感情情報に他の情報を付加したレコードから成る感情情報データ５４０を生成する。感情情報データ５４０は、図１０に示す感情情報履歴５１０と同様の構成となっている。感情情報データ５４０は、感情情報ナンバー５４１、感情測定日［年／月／日］５４２、感情生起開始時間［時：分：秒］５４３、感情生起終了時間［時：分：秒］５４４、感情実測値５４５、イベント５４６ａ、および場所５４６ｂを含む。

感情情報データ５４０の生成は、例えば、感情情報履歴と同様に、ｎ秒ごとの感情情報の記録および感情マージ処理により行われる。または、感情情報データ５４０の生成は、例えば、以下のようにして行われる。感情情報記憶部３３０は、感情情報取得部２２０から入力される感情実測値（感情情報）と、外界情報とを監視し、いずれかに変化があるごとに、直前に変化があった時刻から現在までに得られた感情実測値および外界情報に基づいて、感情情報データ５４０の１つのレコードを作成する。このとき、同一の感情実測値および外界情報が長時間継続する場合を考慮して、レコードの生成間隔の上限を設定してもよい。

感情情報データ５４０のレコード数は、感情情報履歴５１０のレコード数に比べて少なく、最新の測定感情特性を算出するのに必要な数に抑えられている。具体的には、感情情報記憶部３３０は、予め定められたレコード数の上限を超えないように、新たなレコードの追加に対応して最も古いレコードを削除し、各レコードの感情情報ナンバー５４１を更新する。これにより、データサイズの増大を防ぐとともに、感情情報ナンバー５４１を基準とした処理を行うことができる。

図８のステップＳ２０００で、印象度算出部３４０は、印象度算出処理を開始する。印象度算出処理は、基準感情特性５２０と感情情報データ５４０とに基づいて、印象度を算出する処理である。

図１５は、印象度算出処理を示すフローチャートである。

まず、ステップＳ２０１０で、印象度算出部３４０は、基準感情特性を取得する。

そして、ステップＳ２０２０で、印象度算出部３４０は、ユーザから測定された感情情報データ５４０を、感情情報記憶部３３０から取得する。

そして、ステップＳ２０３０で、印象度算出部３４０は、感情情報データ５４０のうち、ｉ−１番目の感情情報と、ｉ番目の感情情報と、ｉ＋１番目の感情情報とを取得する。なお、印象度算出部３４０は、ｉ−１番目の感情情報またはｉ＋１番目の感情情報が存在しない場合には、取得結果を表わす値をＮＵＬＬにする。

そして、ステップＳ２０４０で、印象度算出部３４０は、測定感情特性取得部３４１において、測定感情特性を生成する。測定感情特性は、図１３に示す基準感情特性と同一の項目の情報から構成される。測定感情特性取得部３４１は、図１２と同様の処理を、処理対象を感情情報データに置き換えて実行することにより、測定感情特性を算出する。

そして、ステップＳ２０５０で、印象度算出部３４０は、差異算出処理を実行する。差異算出処理は、基準感情特性に対する測定感情特性の差異を、印象度の候補値として算出する処理である。

図１６は、差異算出処理の一例を示すフローチャートである。

まず、ステップＳ２０５１で、印象度算出部３４０は、ｉ番目の感情情報について算出された測定感情特性から、代表感情実測値ｅ_ｉα、感情量ｅ_ｉβ、および感情遷移情報ｅ_ｉδを取得する。

そして、ステップＳ２０５２で、印象度算出部３４０は、ｋ番目の感情情報について算出された基準感情特性から、代表感情実測値ｅ_ｋα、感情量ｅ_ｋβ、および感情遷移情報ｅ_ｋδを取得する。ｋは、感情情報を識別するための変数、つまり、クラスタを識別するための変数である。その初期値は１である。

そして、ステップＳ２０５３で、印象度算出部３４０は、測定感情特性のｉ番目の代表感情実測値ｅ_ｉαと、基準感情特性のｋ番目の代表感情実測値ｅ_ｋαとを比較し、比較結果として、図５において説明した感情実測値の差異ｒ_αを取得する。

そして、ステップＳ２０５４で、印象度算出部３４０は、測定感情特性のｉ番目の感情量ｅ_ｉβと、基準感情特性のｋ番目の感情量ｅ_ｋβとを比較し、比較結果として、図３において説明した感情量の差異ｒ_βを取得する。

そして、ステップＳ２０５５で、印象度算出部３４０は、測定感情特性のｉ番目の感情遷移情報ｅ_ｉδと、基準感情特性のｋ番目の感情遷移情報ｅ_ｋδとを比較し、比較結果として、図６および図７において説明した感情遷移情報の差異ｒ_δを取得する。

そして、ステップＳ２０５６で、印象度算出部３４０は、差異値を算出する。差異値とは、感情実測値の差異ｒ_α、感情量の差異ｒ_β、および感情遷移情報の差異ｒ_δを統合して、感情情報の差異の程度を表わす値である。具体的には、例えば、差異値は、感情実測値の差異ｒ_α、感情量の差異ｒ_β、および感情遷移情報の差異ｒ_δに、それぞれ重みを掛けた値を和算したうちの最大値である。差異値Ｒ_ｉは、感情実測値の差異ｒ_α、感情量の差異ｒ_β、および感情遷移情報の差異ｒ_δの重みをそれぞれｗ_１、ｗ_２、ｗ_３と置くと、以下の式（１６）により算出される。

重みｗ_１、ｗ_２、ｗ_３は、固定値でもよいし、ユーザが調整できる値としてもよいし、学習により決定するようにしてもよい。

そして、ステップＳ２０５７で、印象度算出部３４０は、変数ｋを１増加させる。

そして、ステップＳ２０５８で、印象度算出部３４０は、変数ｋが、クラスタの個数Ｎ_ｃを超えたか否かを判断する。印象度算出部３４０は、変数ｋがクラスタの個数Ｎ_ｃを超えていない場合には（Ｓ２０５８：ＮＯ）ステップ２０５２に戻り、変数ｋがクラスタの個数Ｎ_ｃを超えた場合には（Ｓ２０５８：ＹＥＳ）、図１５の処理に戻る。

このように、差異算出処理により、変数ｋを変化させたときの差異値のうち、最も大きい値が、最終的に差異値Ｒｉとして取得される。

図１５のステップＳ２０６０で、印象度算出部３４０は、取得した差異値Ｒｉが、予め定められた印象度閾値以上であるか否かを判断する。印象度閾値は、ユーザが強い印象を受けていると判断すべき差異値Ｒｉの最小値である。なお、印象度閾値は、固定値でもよいし、ユーザが調整できる値としてもよいし、経験または学習により決定するようにしてもよい。印象度算出部３４０は、差異値Ｒｉが印象度閾値以上である場合には（Ｓ２０６０：ＹＥＳ）、ステップＳ２０７０に進み、差異値Ｒｉが印象度閾値未満である場合には（Ｓ２０６０：ＮＯ）、ステップＳ２０８０に進む。

ステップＳ２０７０で、印象度算出部３４０は、差異値Ｒｉを、印象値ＩＭＰ［ｉ］に設定する。印象値ＩＭＰ［ｉ］は、結果的に、基準期間にユーザが受けた印象の強さに対して、測定時にユーザが受けた印象の強さを示す度合いである値となる。しかも、印象値ＩＭＰ［ｉ］は、感情実測値の差異、感情量の差異、および感情遷移情報の差異を反映させた値となる。

ステップＳ２０８０で、印象度算出部３４０は、変数ｉに１を加算した値が、感情情報の個数Ｎ_ｉを超えたか否か、つまり、測定期間の全ての感情情報について処理が終了したか否かを判断する。次に、上記値が個数Ｎ_ｉを超えていない場合には（Ｓ２０８０：ＮＯ）、ステップＳ２０９０に進む。

ステップＳ２０９０で、印象度算出部３４０は、変数ｉを１増加させて、ステップＳ２０３０に戻る。

ステップＳ２０３０〜ステップＳ２０９０を繰り返して、変数ｉに１を加算した値が情情報の個数Ｎ_ｉを超えた場合には（Ｓ２０８０：ＹＥＳ）、ステップＳ２１００に進む。

ステップＳ２１００で、印象度算出部３４０は、コンテンツ記録部４１０の動作が終了するなどして印象度算出処理の終了が指示されたか否かを判断し、終了を指示されていない場合には（Ｓ２１００：ＮＯ）、ステップＳ２１１０に進む。

ステップＳ２１１０で、印象度算出部３４０は、変数ｉを初期値１に戻し、前回ステップＳ２０２０の処理を実行してから所定の単位時間が経過したとき、ステップＳ２０２０に戻る。

一方、印象度算出処理の終了を指示された場合には（Ｓ２１００：ＹＥＳ）、印象度算出部３４０は、一連の処理を終了する。

このような印象度算出処理により、ユーザが強い印象を受けた区間について、所定の単位時間ごとに印象値が算出される。印象度算出部３４０は、算出した印象値に、印象値算出の基となった感情情報の測定時刻を対応付けた印象度情報を生成する。

図１７は、印象度情報の内容の一例を示す図である。

図１７に示すように、印象度情報５５０は、印象度情報ナンバー５５１、印象度開始時間５５２、印象度終了時間５５３、および印象値５５４を含む。

印象度開始時間には、同一の印象値（印象値５５４に記述されている印象値）が継続して測定された場合に、その測定時間の開始時刻が記述される。

印象度終了時間には、同一の印象値（印象値５５４に記述されている印象値）が継続して測定された場合に、その測定時間の終了時刻が記述される。

印象値５５４には、印象度算出処理により算出された印象値ＩＭＰ［ｉ］が記述される。

ここでは、例えば、「０００１」という印象度情報ナンバー５５１のレコードにおいて、「２００８／０３／２６／０８：１０：００」という印象度開始時間５５２と、「２００８／０３／２６／０８：２０：００」という印象度終了時間５５３に対応して、「０.９」という印象値５５４が記述されている。これは、２００８年３月２６日８時１０分から、２００８年３月２６日８時２０分までの期間に、ユーザが受けた印象の度合いが、印象値「０.９」に対応するということを示す。また、「０００２」という印象度情報ナンバー５５１のレコードにおいて、「２００８／０３／２６／０８：２０：０１」という印象度開始時間５５２と、「２００８／０３／２６／０８：３０：０４」という印象度終了時間５５３に対応して、「０.７」という印象値５５４が記述されている。これは、２００８年３月２６日８時２０分１秒から、２００８年３月２６日８時３０分４秒までの期間に、ユーザが受けた印象の度合いが、印象値「０.７」に対応するということを示す。印象値は、基準感情特性と測定感情特性との差が大きければ大きいほど、大きな値となる。したがって、この印象度情報５５０は、「０００１」という印象度情報ナンバー５５１に対応する区間のほうが、「０００２」という印象度情報ナンバー５５１に対応する区間よりも、ユーザがより強い印象を受けたことを示している。

このような印象度情報を参照することにより、各時点について、ユーザが受けた印象の度合いを即座に判定することが可能となる。印象度算出部３４０は、生成した印象度情報を、コンテンツ編集部４２０から参照可能な状態で格納する。または、印象度算出部３４０は、印象度情報５５０のレコードを作成するごとにレコードをコンテンツ編集部４２０に出力したり、コンテンツの記録が終了した後に、印象度情報５５０をコンテンツ編集部４２０に出力したりする。

以上の処理により、コンテンツ編集部４２０には、コンテンツ記録部４１０で記録された体験映像コンテンツと、印象度算出部３４０により生成された印象度情報とが入力される。

図８のステップＳ２２００で、コンテンツ編集部４２０は、体験映像編集処理を実行する。体験映像編集処理は、印象度情報に基づいて、体験映像コンテンツの中から、印象度の高い期間、つまり、印象値５５４が所定の閾値よりも高い期間に対応するシーンを抽出して、体験映像コンテンツの要約映像を生成する処理である。

図１８は、体験映像編集処理の一例を示すフローチャートである。

まず、ステップＳ２２１０で、コンテンツ編集部４２０は、印象度情報を取得する。以下、印象度情報のレコードを識別するための変数をｑとし、印象度情報のレコード数をＮ_ｑとする。ｑの初期値は１である。

そして、ステップＳ２２２０で、コンテンツ編集部４２０は、ｑ番目のレコードの印象値を取得する。

そして、ステップＳ２２３０で、コンテンツ編集部４２０は、取得した印象値を用いて、体験映像コンテンツのうち、ｑ番目のレコードの期間に該当する区間のシーンに対し、ラベル付けを行う。具体的には、コンテンツ編集部４２０は、例えば、印象値のレベルを、シーンの重要度を示す情報として、各シーンに付加する。

そして、ステップＳ２２４０で、コンテンツ編集部４２０は、変数ｑに１を加算した値が、レコード数Ｎ_ｑを超えたか否かを判断し、超えていない場合には（Ｓ２２４０：ＮＯ）、ステップＳ２２５０に進み、超えた場合には（Ｓ２２４０：ＹＥＳ）、ステップＳ２２６０に進む。

ステップＳ２２５０で、コンテンツ編集部４２０は、変数ｑを１増加させ、ステップＳ２２２０に戻る。

一方、ステップＳ２２６０で、コンテンツ編集部４２０は、ラベル付けされた体験映像コンテンツの映像区間を分割して、分割した映像区間を、ラベルに基づいて繋ぎ合わせる。そして、コンテンツ編集部４２０は、繋ぎ合わせた映像を要約映像として、例えば記録媒体に出力し、一連の処理を終了する。具体的には、コンテンツ編集部４２０は、例えば、シーンの重要度が高いことを示すラベルが付された映像区間のみをピックアップして、ピックアップした映像区間を、基の体験映像コンテンツにおける時間の順序で繋ぎ合わせる。

このようにして、コンテンツ編集装置１００は、体験映像コンテンツの中から、ユーザが強く印象を受けたシーンを、高い精度で選択し、選択したシーンから要約映像を生成することができる。

以上説明したように、本実施の形態によれば、生体情報に基づく特性値の比較により印象度を算出するので、ユーザに特に負担を掛けることなく印象度を抽出することができる。また、基準期間におけるユーザ自身の生体情報から得られた基準感情特性を基準として印象度を算出するので、印象度を精度良く抽出することができる。また、印象度に基づいて、体験映像コンテンツの中からシーンを選択して要約映像を生成するので、ユーザが満足するシーンのみをピックアップして、体験映像コンテンツを編集することができる。また、印象度を精度良く抽出するので、ユーザがより満足するコンテンツ編集結果を得ることができ、ユーザが再編集を行う必要性を低減することができる。

また、比較の対象となる感情実測値、感情量、および感情遷移情報の差異を考慮して、基準期間と測定期間との間の感情の差異を判定するので、印象度を高い精度で判定することができる。

なお、コンテンツの取得場所および抽出された印象度の用途は、上記内容に限定されるものではない。例えば、ホテルまたはレストラン等を利用する顧客に生体情報センサを装着させ、サービスを受けているときの顧客の体験をカメラで撮影しながら、印象値が変化したときの状況を記録するようにしてもよい。この場合には、記録結果から、ホテルまたはレストラン側でサービスの質の分析を行うことが容易となる。

（実施の形態２）
本発明の実施の形態２として、ポータブル型のゲーム端末の、選択的な動作を行うゲームコンテンツに本発明を適用した場合について説明する。本実施の形態の印象度抽出装置は、ポータブル型のゲーム端末に備えられている。

図１９は、本発明の実施の形態２に係る印象度抽出装置を含むゲーム端末のブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

図１９において、ゲーム端末１００ａは、図１の体験映像コンテンツ取得部４００に代えて、ゲームコンテンツ実行部４００ａを有する。

ゲームコンテンツ実行部４００ａは、選択的な動作を行うゲームコンテンツを実行する。ゲームコンテンツは、ここでは、ユーザが仮想的にペットを飼育し、操作内容に応じてペットの反応および成長が異なるようなゲームであるものとする。ゲームコンテンツ実行部４００ａは、コンテンツ処理部４１０ａおよびゲームコンテンツ操作部４２０ａを有する。

コンテンツ処理部４１０ａは、ゲームコンテンツを実行するための各種処理を行う。

コンテンツ操作部４２０ａは、印象度抽出部３００により抽出された印象度に基づいて、コンテンツ処理部４１０ａに対する選択操作を行う。具体的には、コンテンツ操作部４２０ａには、印象値に対応付けたゲームコンテンツに対する操作内容が予め設定されている。そして、コンテンツ操作部４２０ａは、コンテンツ処理部４１０ａによりゲームコンテンツが開始され、印象度抽出部３００により印象値の算出が開始されると、ユーザが受けた印象の度合いに応じてコンテンツの操作を自動で行うコンテンツ操作処理を開始する。

図２０は、コンテンツ操作処理の一例を示すフローチャートである。

まず、ステップＳ３２１０で、コンテンツ操作部４２０ａは、印象値ＩＭＰ［ｉ］を、印象度抽出部３００から取得する。実施の形態１と異なり、コンテンツ操作部４２０ａは、印象度抽出部３００から、最新の生体情報から得られた印象値のみを取得するようにすればよい。

そして、ステップＳ３２２０で、コンテンツ操作部４２０ａは、取得した印象値に対応する操作内容を、コンテンツ処理部４１０ａに出力する。

そして、ステップＳ３２３０で、コンテンツ操作部４２０ａは、処理の終了が指示されたかを判断し、指示されていない場合には（Ｓ３２３０：ＮＯ）、ステップＳ３２１０に戻り、指示された場合には（Ｓ３２３０：ＹＥＳ）、一連の処理を終了する。

このように、本実施の形態によれば、ユーザが手動で操作を行わなくても、ユーザが受けている印象の度合いに応じた選択操作がゲームコンテンツに対して行われる。例えば、普段よく笑うユーザが笑っても、印象値はそれほど高くならずにペットの成長は普通となるが、ほとんど笑わないようなユーザが笑った場合には、印象値が高くなりペットが急成長するといったように、ユーザごとに異なるユニークなコンテンツ操作を行うことが可能となる。

（実施の形態３）
本発明の実施の形態３として、携帯電話機の待ち受け画面の編集に本発明を適用した場合について説明する。本実施の形態の印象度抽出装置は、携帯電話機に備えられている。

図２１は、本発明の実施の形態３に係る印象度抽出装置を含む携帯電話機のブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

図２１において、携帯電話機１００ｂは、図１の体験映像コンテンツ取得部４００に代えて、携帯電話部４００ｂを有する。

携帯電話部４００ｂは、液晶ディスプレイ（図示せず）の待ち受け画面の表示制御を含めた携帯電話機の機能を実現する。携帯電話部４００ｂは、画面デザイン格納部４１０ｂおよび画面デザイン変更部４２０ｂを有する。

画面デザイン格納部４１０ｂは、待ち受け画面用の画面デザインのデータを複数格納している。

画面デザイン変更部４２０ｂは、印象度抽出部３００により抽出された印象度に基づいて、待ち受け画面の画面デザインを変更する。具体的には、画面デザイン変更部４２０ｂは、画面デザイン格納部４１０ｂに格納された画面デザインと印象値とを予め対応付けている。そして、画面デザイン変更部４２０ｂは、最新の印象値に対応する画面デザインを画面デザイン格納部４１０ｂから選択して待ち受け画面に採用する、画面デザイン変更処理を実行する。

図２２は、画面デザイン変更処理の一例を示すフローチャートである。

まず、ステップＳ４２１０で、画面デザイン変更部４２０ｂは、印象値ＩＭＰ［ｉ］を、印象度抽出部３００から取得する。画面デザイン変更部４２０ｂは、実施の形態１のコンテンツ編集部４２０と異なり、印象度抽出部３００から、最新の生体情報から得られた印象値のみを取得するようにすればよい。なお、最新の印象値の取得は、任意の時間ごと、または、印象値が変化するごとに取得しても良い。

そして、ステップＳ４２２０で、画面デザイン変更部４２０ｂは、画面デザインを変更すべきか否か、つまり、取得した印象値に対応する画面デザインが、現在待ち受け画面として設定されている画面デザインと異なるか否かを判断する。画面デザイン変更部４２０ｂは、画面デザインを変更すべきと判断した場合は（Ｓ４２２０：ＹＥＳ）、ステップＳ４２３０に進み、変更すべきではないと判断した場合は（Ｓ４２２０：ＮＯ）、ステップＳ４２４０に進む。

ステップＳ４２３０で、画面デザイン変更部４２０ｂは、画面デザイン格納部４１０ｂから、最新の印象値に対応する待ち受け画面のデザインを取得し、最新の印象値に対応する画面デザインに変更する。具体的には、画面デザイン変更部４２０ｂは、最新の印象値に対応付けられた画面デザインのデータを画面デザイン格納部４１０ｂから取得し、取得したデータに基づいて、液晶ディスプレイの画面の描画を行う。

そして、ステップＳ４２４０で、画面デザイン変更部４２０ｂは、処理の終了が指示されたかを判断し、指示されていない場合には（Ｓ４２４０：ＮＯ）、ステップＳ４２１０に戻り、指示された場合には（Ｓ４２４０：ＹＥＳ）、一連の処理を終了する。

このように、本実施の形態によれば、ユーザが手動で操作を行わなくても、携帯電話機の待ち受け画面が、ユーザが受けている印象の度合いに応じた画面デザインに切り替わる。なお、待ち受け画面以外の画面デザイン、またはＬＥＤ（light emitting diode）を用いた発光部の発光色等を、印象度に応じて変更するようにしてもよい。

（実施の形態４）
本発明の実施の形態４として、デザインが可変のアクセサリに本発明を適用した場合について説明する。本実施の形態の印象度抽出装置は、ペンダントヘッド等のアクセサリと、このアクセサリに対して無線通信により印象値を送信する携帯端末とから成る通信システムに備えられている。

図２３は、本発明の実施の形態４に係る印象度抽出装置を含む通信システムのブロック図である。図１と同一部分には同一符号を付し、これについての説明を省略する。

図２３において、通信システム１００ｃは、図１の体験映像コンテンツ取得部４００に代えて、アクセサリ制御部４００ｃを有する。

アクセサリ制御部４００ｃは、アクセサリ（図示せず）に内蔵され、別の携帯端末に備えられた印象度抽出部３００から無線通信により印象度を取得して、取得した印象度に基づいてアクセサリの外観を制御する。アクセサリは、例えば、複数のＬＥＤを有し、点灯させる色または点灯パターンを変化させたり、模様を変化させたりすることが可能となっている。アクセサリ制御部４００ｃは、変化パターン格納部４１０ｃおよびアクセサリ変化部４２０ｃを有する。

変化パターン格納部４１０ｃは、アクセサリの外観の変化パターンを複数格納している。

アクセサリ変化部４２０ｃは、印象度抽出部３００により抽出された印象度に基づいて、アクセサリの外観を変化させる。具体的には、アクセサリ変化部４２０ｃは、変化パターン格納部４１０ｃに格納された変化パターンと印象値とを予め対応付けている。そして、アクセサリ変化部４２０ｃは、最新の印象値に対応する変化パターンを変化パターン格納部４１０ｃから選択して、選択した変化パターンの通りにアクセサリの外観を変化させるアクセサリ変更処理を実行する。

図２４は、アクセサリ変更処理の一例を示すフローチャートである。

まず、ステップＳ５２１０で、アクセサリ変化部４２０ｃは、印象値ＩＭＰ［ｉ］を、印象度抽出部３００から取得する。実施の形態１と異なり、アクセサリ変化部４２０ｃは、印象度抽出部３００から、最新の生体情報から得られた印象値のみを取得するようにすればよい。なお、最新の印象値の取得は、任意の時間ごと、または、印象値が変化するごとに取得しても良い。

そして、ステップＳ５２２０で、アクセサリ変化部４２０ｃは、アクセサリの外観を変化させるべきか否か、つまり、取得した印象値に対応する変化パターンが、現在適用されている変化パターンと異なるか否かを判断する。アクセサリ変化部４２０ｃは、アクセサリの外観を変化させるべきと判断した場合は（Ｓ５２２０：ＹＥＳ）、ステップＳ５２３０に進み、変化させるべきではないと判断した場合は（Ｓ５２２０：ＮＯ）、ステップＳ５２４０に進む。

ステップＳ５２３０で、アクセサリ変化部４２０ｃは、印象度抽出部３００から、最新の印象値に対応する変化パターンを取得し、アクセサリの外観に、最新の印象値に対応する変化パターンを適用する。

そして、ステップＳ５２４０で、アクセサリ変化部４２０ｃは、処理の終了が指示されたかを判断し、指示されていない場合には（Ｓ５２４０：ＮＯ）、ステップＳ５２１０に戻り、指示された場合には（Ｓ５２４０：ＹＥＳ）、一連の処理を終了する。

このように、本実施の形態によれば、ユーザが手動で操作を行わなくても、ユーザが受けている印象の度合いに合わせて、アクセサリの外観を変化させることができる。なお、また、印象度に、感情種別等、他の感情特性を組み合わせることにより、ユーザの気分をも反映させて、アクセサリの外観を変化させることができる。また、本発明は、ペンダントヘッド以外にも、指輪、ネックレス、腕時計等の他のアクセサリにも適用することができる。更に、本発明は、携帯電話機、バッグ等の各種携行品にも適用することができる。

（実施の形態５）
本発明の実施の形態５として、印象度だけでなく測定感情特性を用いてコンテンツを編集する場合について説明する。

図２５は、本発明の実施の形態５に係る印象度抽出装置を含むコンテンツ編集装置のブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

図２５において、コンテンツ編集装置１００ｄの体験映像コンテンツ取得部４００ｄは、図１のコンテンツ編集部４２０とは異なる体験映像編集処理を実行するコンテンツ編集部４２０ｄを有し、更に、編集条件設定部４３０ｄを有する。

編集条件設定部４３０ｄは、測定感情特性取得部３４１から測定感情特性を取得し、測定感情特性に関連付けた編集条件の設定を、ユーザから受け付ける。編集条件は、ユーザが編集を希望する期間の条件である。編集条件設定部４３０ｄは、この編集条件の設定の受け付けを、グラフィカルユーザインタフェースであるユーザ入力画面を用いて行う。

図２６は、ユーザ入力画面の一例を示す図である。

図２６に示すように、ユーザ入力画面６００は、期間指定欄６１０、場所指定欄６２０、参加イベント指定欄６３０、代表感情実測値指定欄６４０、感情量指定欄６５０、感情遷移情報指定欄６６０、および決定ボタン６７０を有する。欄６１０〜６６０は、プルダウンメニューまたはテキスト入力欄を有し、ユーザのキーボードやマウス等の入力装置（図示せず）の操作による、項目の選択またはテキストの入力を受け付ける。すなわち、ユーザ入力画面６００で設定可能な項目は、測定感情特性の項目に対応している。

期間指定欄６１０は、時刻のプルダウンメニューにより、測定期間の中から、編集対象となる期間の指定を受け付ける。場所指定欄６２０は、テキスト入力により、編集対象である場所の属性を指定する入力を受け付ける。参加イベント指定欄６３０は、テキスト入力により、参加イベントの属性の中から編集対象であるイベントの属性を指定する入力を受け付ける。代表感情実測値指定欄６４０は、代表感情実測値に対応する感情種別のプルメニューにより、編集対象となる感情種別の指定を受け付ける。

感情量指定欄６５０は、感情実測値指定欄６５１、感情強度指定欄６５２、および持続時間指定欄６５３により構成される。なお、感情実測値指定欄６５１は、感情実測値指定欄６４０と連動して構成することも出来る。感情強度指定欄６５２は、数値のプルダウンメニューにより、編集対象である感情強度の最小値を指定する入力を受け付ける。持続時間指定欄６５３は、数値のプルダウンメニューにより、感情強度が指定された最小値を超えた状態を持続している時間について、編集対象である持続時間の最小値を指定する入力を受け付ける。

感情遷移情報指定欄６６０は、感情実測値指定欄６６１、感情遷移方向指定欄６６２、および感情遷移速度指定欄６６３により構成される。なお、感情実測値指定欄６６１は、感情実測値指定欄６４０と連動して構成することも出来る。感情遷移方向指定欄６６２は、感情種別のプルダウンメニューにより、前の感情実測値および後の感情実測値の指定を、編集対象となる感情遷移方向の指定として受け付ける。感情遷移速度指定欄６６３により構成される。数値のプルダウンメニューにより、前の感情遷移速度および後の感情遷移速度の指定を、編集対象となる感情遷移速度の指定として受け付ける。

ユーザは、このようなユーザ入力画面６００を操作することにより、ユーザが思い出に残ると思う箇所の条件を、測定感情特性に関連付けて指定することができる。編集条件設定部４３０ｄは、決定ボタン６７０がユーザ操作により押下されると、その時点の画面の設定内容を、編集条件として、コンテンツ編集部４２０ｄに出力する。

コンテンツ編集部４２０ｄは、印象度算出部３４０から印象度情報を取得するだけでなく、測定感情特性取得部３４１から、測定感情特性を取得する。そして、コンテンツ編集部４２０ｄは、印象度情報と、測定感情特性と、編集条件設定部４３０ｄから入力された編集条件とに基づいて体験映像コンテンツの要約映像を生成する体験映像編集処理を行う。具体的には、コンテンツ編集部４２０ｄは、印象値が所定の閾値よりも高い期間のうち、編集条件に適合する期間に対応するシーンのみを抽出して、体験映像コンテンツの要約映像を生成する。

または、コンテンツ編集部４２０ｄは、編集条件に適合する期間か否かに応じて、印象度算出部３４０から入力された印象値を補正し、補正後の印象値が所定の閾値よりも高い期間のシーンのみを抽出して、体験映像コンテンツの要約映像を生成してもよい。

図２７は、編集対象を制限することによる効果を説明するための図である。

図２７に示すように、第１の区間７１０では、感情種別「興奮」の感情強度が５である区間が１秒ずつ持続し、残りの区間の感情強度は低いとする。また、この持続時間は、平常時に一時的に感情強度が高くなるときと同程度に短いとする。このような場合、第１の区間７１０は、編集対象外とすべきである。一方、第２の区間７２０では、感情強度がである区間が６秒持続するとする。感情強度は低いが、その持続時間は、平常時の持続時間よりも長いとする。この場合、第２の区間７２０は、編集対象とすべきである。

そこで、例えば、ユーザは、図２６に示すユーザ入力画面６００において、代表感情実測値指定欄６４０に「興奮」、感情量指定欄６５０の感情強度６５２に「３」、感情量指定欄６５０の持続時間６５３に「３」を設定し、決定ボタン６７０を押下する。この場合、第１の区間７１０は、編集条件を満たさないため、編集対象外となり、第２の区間７２０は、編集条件を満たすため、編集対象となる。

このように、本実施の形態によれば、ユーザが思い出に残ると思う箇所をピックアップして、コンテンツを自動編集することができる。また、ユーザが、測定感情特性と関連付けて編集条件を指定することができるので、ユーザの主観的な感性を、コンテンツの編集に、より的確に反映させることができる。また、編集条件に基づいて印象値を補正する場合には、印象度の抽出の精度を更に向上させることができる。

なお、編集条件設定部４３０ｄは、測定感情特性と直接には関連しない条件を、編集条件に含めてもよい。具体的には、例えば、編集条件設定部４３０ｄは、要約映像における上限時間の指定を受け付ける。そして、コンテンツ編集部４２０ｄは、編集対象となる感情種別の持続時間や感情遷移速度を、指定された範囲内で変化させ、上限時間に最も近くなる条件を採用する。この場合、編集条件設定部４３０ｄは、他の条件を満たす期間の合計時間が上限時間に満たないときには、より低い重要度（印象値）のシーンを要約映像に含めるようにしてもよい。

また、測定感情特性等を用いて印象値の補正またはコンテンツの編集を行う手法は、実施の形態２〜実施の形態４にも適用することが可能である。

本発明は、以上、説明した各実施の形態以外にも、ユーザの感情に基づいて、電子機器における各種の選択処理を行うことに適用することができる。例えば、携帯電話機において、着信音の種類の選択、着信可否状態の選択、または情報配信サービスにおけるサービス種別の選択である。

また、例えば、車載カメラと運転者に装着させた生体情報センサとから得られた情報を対応付けて記憶するレコーダに、本発明を適用することにより、運転者の印象値の変化から注意力が散漫となっているときにこれを検出することができる。そして、注意力が散漫となっているときに、音声等により運転者に注意喚起を行ったり、事故等が発生した場合にそのときの映像を取り出して原因分析を行ったりすることが容易となる。

また、感情情報生成部は、基準感情特性を算出するためのものと、測定感情特性を算出するためのものとで、別個に設けてもよい。

２００８年７月３日出願の特願２００８−１７４７６３の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る印象度抽出装置および印象度抽出方法は、ユーザに特に負担を掛けることなく、精度良く印象度を抽出することができる印象度抽出装置および印象度抽出方法として有用である。本発明に係る印象度抽出装置および印象度抽出方法は、心理状態変化に基づいた印象度算出を行うことにより、ユーザのいつもと違う感情の自動判別を行うことができ、ユーザに特に手間を掛けることなく、ユーザの感情特性に忠実に印象度の自動算出を行うことができる。また、その算出結果は、体験映像の自動要約、ゲーム、携帯電話機等のモバイル機器、アクセサリのデザイン、自動車関連、顧客管理システム等、様々な応用アプリケーションで利用可能である。

本発明は、ユーザが受けた印象の強さを示す度合いである印象度を抽出する印象度抽出装置および印象度抽出方法に関する。

大量の撮影画像の中から保存画像を取捨選択する場合や、ゲームで選択的な操作を行う場合等において、ユーザが受けた印象の強弱に基づいて選択が行われることが多い。ところが、対象物の数が多い場合、その選択作業はユーザにとって負担となる。

例えば、近年注目されているウェアラブルタイプのビデオカメラは、丸一日というように、撮影を長時間継続して行うことが容易である。ところが、このような長時間撮影が行われる場合、大量に記録される映像データの中から、ユーザにとって重要な部分をどのように選び出すかが、大きな問題となる。ユーザにとって重要な部分は、ユーザの主観的な感性に基づいて決定されるべきものである。したがって、映像の全てを確認しながら、重要な部分の検索および要約を行う作業が必要となる。

そこで、ユーザの覚醒水準に基づいて映像を自動で取捨選択する技術が、例えば特許文献１に記載されている。特許文献１記載の技術では、映像撮影と同期してユーザの脳波を記録し、ユーザの覚醒水準が予め定められた基準値よりも高い区間の撮影映像を抽出して、映像の自動編集を行う。これにより、映像の取捨選択を自動化することができ、ユーザの負担を軽減することができる。

特開２００２−２０４４１９号公報

しかしながら、覚醒水準と基準値との比較では、興奮、注意、および集中の度合いしか判定することができず、喜怒哀楽といったより高度な感情状態を判定することは難しい。また、取捨選択の分かれ目となる覚醒水準のレベルには個人差がある。また、ユーザが受けた印象の強さは、覚醒水準のレベルではなく覚醒水準の変化の仕方として現れる場合もある。したがって、特許文献１記載の技術では、ユーザが受けた印象の強さを示す度合い（以下「印象度」という）を精度良く抽出することができず、ユーザが満足する選択結果を得られない可能性が高い。例えば、上記した撮影映像の自動編集では、印象に残るシーンを正確に抽出することが困難である。この場合、ユーザが選択結果を確認しながら手動で取捨選択のやり直しを行う必要が生じ、結果として、ユーザに負担が掛かるおそれがある。

本発明の目的は、ユーザに特に負担を掛けることなく、精度良く印象度を抽出することができる印象度抽出装置および印象度抽出方法を提供することである。

本発明の印象度抽出装置は、第１の期間にユーザに生起した感情の特性を示す第１の感情特性を取得する第１の感情特性取得部と、前記第１の期間とは異なる第２の期間に前記ユーザに生起した感情の特性を示す第２の感情特性と前記第１の感情特性との比較により、前記第１の期間に前記ユーザが受けた印象の強さを示す度合いである印象度を算出する
印象度算出部とを有する。

本発明の印象度抽出方法は、第１の期間にユーザに生起した感情の特性を示す第１の感情特性を取得するステップと、前記第１の期間とは異なる第２の期間に前記ユーザに生起した感情の特性を示す第２の感情特性と前記第１の感情特性との比較により、前記第１の期間に前記ユーザが受けた印象の強さを示す度合いである印象度を算出するステップとを有する。

本発明によれば、第２の期間に実際にユーザが受けた印象の強さを比較基準として、第１の期間の印象度を算出することができるので、ユーザに特に負担を掛けることなく、精度良く印象度を抽出することができる。

本発明の実施の形態１に係る印象度抽出装置を含むコンテンツ編集装置のブロック図 実施の形態１に係るコンテンツ編集装置において用いられる２次元感情モデルの一例を示す図 実施の形態１における感情実測値を説明するための図 実施の形態１における感情の時間変化の様子を示す図 実施の形態１における感情量を説明するための図 実施の形態１における感情遷移方向を説明するための図 実施の形態１における感情遷移速度を説明するための図 実施の形態１に係るコンテンツ編集装置の全体動作の一例を示すシーケンス図 実施の形態１における感情情報取得処理の一例を示すフローチャート 実施の形態１における感情情報履歴の内容の一例を示す図 実施の形態１における基準感情特性取得処理を示すフローチャート 実施の形態１における感情遷移情報取得処理を示すフローチャート 実施の形態１における基準感情特性の内容の一例を示す図 実施の形態１における感情情報データの内容の一例を示す図 実施の形態１における印象度算出処理を示すフローチャート 実施の形態１における差異算出処理の一例を示すフローチャート 実施の形態１における印象度情報の内容の一例を示す図 実施の形態１における体験映像編集処理の一例を示すフローチャート 本発明の実施の形態２に係る印象度抽出装置を含むゲーム端末のブロック図 実施の形態２におけるコンテンツ操作処理の一例を示すフローチャート 本発明の実施の形態３に係る印象度抽出装置を含む携帯電話機のブロック図 実施の形態３における画面デザイン変更処理の一例を示すフローチャート 本発明の実施の形態４に係る印象度抽出装置を含む通信システムのブロック図 実施の形態４におけるアクセサリ変更処理の一例を示すフローチャート 本発明の実施の形態５に係る印象度抽出装置を含むコンテンツ編集装置のブロック図 本実施の形態５におけるユーザ入力画面の一例を示す図 本実施の形態５における効果を説明するための図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る印象度抽出装置を含むコンテンツ編集装置のブロ
ック図である。本発明の実施の形態は、遊園地または旅行先でウェアラブルビデオカメラを用いて映像撮影を行い、撮像された映像（以下適宜「体験映像コンテンツ」という）を編集する装置に適用した例である。

図１において、コンテンツ編集装置１００は、大きく分けて、感情情報生成部２００、印象度抽出部３００、および体験映像コンテンツ取得部４００を有する。

感情情報生成部２００は、ユーザに生起した感情を示す感情情報を、ユーザの生体情報から生成する。ここで、感情とは、喜怒哀楽といった情動のみならず、リラックス等の気分をも含む精神状態全般を指す。感情の生起とは、ある精神状態から異なる精神状態へと遷移することを含む。感情情報は、印象度抽出部３００における印象度算出の対象となるものであり、その詳細については後述する。感情情報生成部２００は、生体情報測定部２１０および感情情報取得部２２０を有する。

生体情報測定部２１０は、センサおよびディジタルカメラ等の検出装置（図示せず）に接続され、ユーザの生体情報を測定する。生体情報は、例えば、心拍数、脈拍、体温、顔の筋電変化、音声の少なくともいずれか１つを含む。

感情情報取得部２２０は、生体情報測定部２１０によって得られたユーザの生体情報から、感情情報を生成する。

印象度抽出部３００は、感情情報取得部２２０において生成された感情情報に基づいて、印象度を算出する。ここで、印象度は、過去の、ユーザの感情情報の基準となる期間（以下「基準期間」という）にユーザが受けた印象の強さを基準としたときの、任意の期間にユーザが受けた印象の強さを示す度合いである。すなわち、印象度は、基準期間の印象の強さを基準としたときの、相対的な印象の強さである。したがって、基準時間をユーザが平常状態にあった期間または十分に長い期間とすることによって、印象度は、そのユーザにとっての、平常時とは違う特別さの度合いを示す値となる。本実施の形態では、体験映像コンテンツを記録している期間を、印象度算出の対象となる期間（以下「測定期間」という）とする。印象度抽出部３００は、履歴格納部３１０、基準感情特性取得部３２０、感情情報記憶部３３０、および印象度算出部３４０を有する。

履歴格納部３１０は、感情情報生成部２００によって過去に得られた感情情報を、感情情報履歴として蓄積する。

基準感情特性取得部３２０は、履歴格納部３１０に格納された感情情報履歴から、基準期間の感情情報を読み出し、読み出した感情情報から、基準期間におけるユーザの感情情報の特性を示す情報（以下「基準感情特性」という）を生成する。

感情情報記憶部３３０は、感情情報生成部２００によって測定期間に得られた感情情報を記憶する。

印象度算出部３４０は、測定期間におけるユーザの感情情報の特性を示す情報（以下「測定感情特性」）と、基準感情特性取得部３２０によって算出された基準感情特性との差異に基づいて、印象度を算出する。印象度算出部３４０は、感情情報記憶部３３０に記憶された感情情報から測定感情特性を生成する測定感情特性取得部３４１を有する。印象度の詳細については後述する。

体験映像コンテンツ取得部４００は、体験映像コンテンツを記録し、記録している間（測定期間）の感情情報から算出された印象度に基づいて、体験映像コンテンツの編集を行
う。体験映像コンテンツ取得部４００は、コンテンツ記録部４１０およびコンテンツ編集部４２０を有する。

コンテンツ記録部４１０は、ディジタルビデオカメラ等の映像入力装置（図示せず）に接続され、映像入力装置において撮影された体験映像を、体験映像コンテンツとして記録する。

コンテンツ編集部４２０は、例えば、印象度抽出部３００により得られた印象度と、コンテンツ記録部４１０により記録された体験映像コンテンツとを、時間軸上で対応させて比較し、印象度が高い期間に対応するシーンを抽出して、体験映像コンテンツの要約映像を生成する。

コンテンツ編集装置１００は、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ等を有する。この場合には、上記各部の機能は、ＣＰＵが制御プログラムを実行することで実現される。

このようなコンテンツ編集装置１００によれば、生体情報に基づく特性値の比較により印象度を算出するので、ユーザに特に負担を掛けることなく印象度を抽出することができる。また、基準期間におけるユーザ自身の生体情報から得られた基準感情特性を基準として印象度を算出するので、印象度を精度良く抽出することができる。また、印象度に基づいて、体験映像コンテンツの中からシーンを選択して要約映像を生成するので、ユーザが満足するシーンのみをピックアップして、体験映像コンテンツを編集することができる。また、印象度を精度良く抽出するので、ユーザがより満足するコンテンツ編集結果を得ることができ、ユーザが再編集を行う必要性を低減することができる。

ここで、コンテンツ編集装置１００の動作説明の前に、コンテンツ編集装置１００において用いられる各種情報について説明する。

まず、感情情報を定量的に定義する際に用いられる感情モデルについて説明する。

図２は、コンテンツ編集装置１００において用いられる２次元感情モデルの一例を示す図である。

図２に示す２次元感情モデル５００は、ＬＡＮＧ感情モデルと呼ばれる感情モデルである。２次元感情モデル５００は、快と不快（または正感情と負感情）の度合いである快度を示す横軸と、興奮、緊張またはリラックスを含む度合いである覚醒度を示す縦軸の２軸により形成される。２次元感情モデル５００の２次元空間は、縦軸と横軸との関係から、「興奮（Excited）」、「沈静（Relaxed）」、「哀しみ（Sad）」等、感情種別ごとに領域が定義されている。２次元感情モデル５００を用いることにより、縦軸の値と横軸の値との組合せで、感情を簡単に表現することができる。本実施の形態における感情情報は、この２次元感情モデル５００における座標値であり、間接的に感情を表現する。

ここでは、例えば、座標値（４，５）は「興奮」という感情種別の領域内に位置し、座標値（−４，−２）は「哀しみ」という感情種別の領域内に位置している。したがって、座標値（４，５）の感情期待値および感情実測値は「興奮」という感情を示し、座標値（−４，−２）の感情期待値および感情実測値は「哀しみ」という感情種別を示す。２次元感情モデル５００において、感情期待値と感情実測値との距離が短い場合、それぞれが示す感情は類似したものであるといえる。本実施の形態の感情情報とは、感情実測値に、その基となった生体情報が測定された時刻を付加した情報をいうものとする。

なお、感情モデルとして、２次元以上のモデルまたはＬＡＮＧ感情モデル以外のモデルを用いてもよい。例えば、コンテンツ編集装置１００は、感情モデルとして、３次元感情モデル（快／不快、興奮／沈静、緊張／弛緩）、または、６次元感情モデル（怒り、恐れ、哀しみ、喜び、嫌悪、驚き）を用いてもよい。このようなより高次元の感情モデルを用いた場合には、感情種別をより細分化して表現することができる。

次に、図３から図７を用いて、基準感情特性および測定感情特性を構成するパラメタの種別について説明する。基準感情特性および測定感情特性を構成するパラメタ種別は、同一であり、感情実測値、感情量、および感情遷移情報を含む。感情遷移情報は、感情遷移方向および感情遷移速度を含む。以下、記号ｅは、基準感情特性および測定感情特性を構成するパラメタであることを示す。また、記号ｉは、以下、測定感情特性に関するパラメタであることを示す記号であるとともに、個々の測定感情特性を識別するための変数である。記号ｊは、基準感情特性に関するパラメタであることを示す記号であるとともに、個々の基準感情特性を識別するための変数である。

図３は、感情実測値を説明するための図である。感情実測値ｅ_ｉα、ｅ_ｊαは、図２に示す２次元感情モデル５００における座標値であり、（ｘ，ｙ）により表わされる。基準感情特性と測定感情特性との間の感情実測値の差異ｒ_αは、図３に示すように、基準感情特性の感情実測値ｅ_ｊαの座標を（ｘ_ｊ，ｙ_ｊ）、測定感情特性の感情実測値ｅ_ｉαの座標を（ｘ_ｉ，ｙ_ｉ）とすると、以下の式（１）により求められる値である。

すなわち、感情実測値の差異ｒ_αは、感情モデル空間における距離、つまり、感情の差異の大きさを示す。

図４は、感情の時間変化の様子を示す図である。ここでは、感情の状態を示す特性の１つとして、感情実測値のうち覚醒度の値ｙ（以下適宜「感情強度」という）に着目する。図４に示すように、感情強度ｙは、時間の経過と共に変化する。感情強度ｙは、ユーザが興奮または緊張しているときには高い値となり、ユーザがリラックスしているときには低い値となる。また、ユーザが長い時間継続して興奮または緊張しているときには、感情強度ｙが高い値で長い時間持続する。同じ感情強度でも、長い時間継続しているほうが、より強い興奮状態にあるといえる。したがって、本実施の形態では、感情強度を時間積分した感情量を、印象値の算出に用いる。

図５は、感情量を説明するための図である。感情量ｅ_ｉβ、ｅ_ｊβは、感情強度ｙを時間積分した値である。感情量ｅ_ｉβは、例えば、同一の感情強度ｙが時間ｔだけ継続した場合には、ｙ×ｔにより表わされる。図５において、基準感情特性と測定感情特性との間の感情量の差異ｒ_βは、基準感情特性の感情量をｙ_ｊ×ｔ_ｊ、測定感情特性の感情量をｙ_ｉ×ｔ_ｉとすると、以下の式（２）により求められる値である。

すなわち、感情量の差異ｒ_βは、感情強度の積分値の差異、つまり、感情の強さの差異を示す。

図６は、感情遷移方向を説明するための図である。感情遷移方向ｅ_ｉｄｉｒ、ｅ_ｊｄｉｒは、感情実測値が遷移するときの遷移方向を、遷移の前後における２組の感情実測値を用いて示す情報である。遷移の前後における２組の感情実測値とは、例えば、所定の時間間隔で取得された２組の感情実測値であり、ここでは連続して得られる２組の感情実測値とする。図６では、覚醒度（感情強度）にのみ着目して、感情遷移方向ｅ_ｉｄｉｒ、ｅ_ｊｄｉｒを図示している。感情遷移方向ｅ_ｉｄｉｒは、例えば、処理の対象となっている感情実測値をｅ_{ｉＡｆｔｅｒ}、１つ前の感情実測値をｅ_{ｉＢｅｆｏｒｅ}とすると、以下の式（３）により求められる値である。

同様に、感情実測値ｅ_ｊｄｉｒも、感情実測値ｅ_{ｊＡｆｔｅｒ}、ｅ_{ｊＢｅｆｏｒｅ}から求めることができる。

図７は、感情遷移速度を説明するための図である。感情遷移速度ｅ_ｉｖｅｌ、ｅ_ｊｖｅｌは、感情実測値が遷移するときの遷移速度を、遷移の前後における２組の感情実測値を用いて示す情報である。図７では、覚醒度（感情強度）にのみ着目して、また、測定感情特性に関するパラメータにのみ着目して、図示を行っている。感情遷移方向ｅ_ｉｖｅｌは、例えば、感情強度の遷移幅をΔｈとし、遷移に要した時間をΔｔ（感情実測値の取得間隔）とすると、以下の式（４）により求められる値である。

同様に、感情遷移方向ｅ_ｊｖｅｌも、感情実測値ｅ_{ｊＡｆｔｅｒ}、ｅ_{ｊＢｅｆｏｒｅ}から求めることができる。

感情遷移情報は、感情遷移方向と感情遷移速度とを重み付けした上で加算した値である。感情遷移情報ｅ_ｉδは、感情遷移方向ｅ_ｉｄｉｒの重みをｗ_ｉｄｉｒ、感情遷移速度ｅ_ｉｖｅｌの重みをｗ_ｉｖｅｌとしたとき、以下の式（５）により求められる値である。

同様に、感情遷移情報ｅ_ｊδも、感情遷移方向ｅ_ｊｄｉｒおよびその重みｗ_ｉｄｉｒと、感情遷移速度ｅ_ｊｖｅｌおよびその重みをｗ_ｊｖｅｌとから求めることができる。

基準感情特性と測定感情特性との間の感情遷移情報の差異ｒ_δは、以下の式（６）により求められる値である。

すなわち、感情遷移情報の差異ｒ_δは、感情遷移の仕方による違いの程度を示す。

このような感情実測値の差異ｒ_α、感情量の差異ｒ_β、および感情遷移情報の差異ｒ_δを算出することにより、基準期間と測定期間との間の感情の差異を高い精度で判定するこ
とができる。例えば、喜怒哀楽といった高度な感情状態、感情が高ぶっている状態の継続時間、普段落ち着いている人が急に興奮する状態、「悲しみ」の状態から「喜び」の状態への移行等、強い印象を受けたときの特徴的な精神状態を、検出することが可能となる。

以下、コンテンツ編集装置１００の全体動作について説明する。

図８は、コンテンツ編集装置１００の全体動作の一例を示すシーケンス図である。

コンテンツ編集装置１００の動作は、大別して、基準感情特性の基となる感情情報を蓄積する段階（以下「感情情報蓄積段階」という）と、リアルタイムで測定される感情情報に基づいてコンテンツを編集する段階（以下「コンテンツ編集段階」という）の、２つの段階から成る。図８では、ステップＳ１１００〜Ｓ１３００が、感情情報蓄積段階の処理であり、ステップＳ１４００〜Ｓ２２００が、コンテンツ編集段階の処理である。

まず、感情情報蓄積段階の処理について説明する。

処理に先立って、ユーザから必要な生体情報を検出するためのセンサと、映像を撮影するためのディジタルビデオカメラとがセッティングされる。セッティングが完了した後、コンテンツ編集装置１００の動作が開始される。

まず、ステップＳ１１００で、生体情報測定部２１０は、ユーザの生体情報を測定し、取得した生体情報を、感情情報取得部２２０に出力する。生体情報測定部２１０は、生体情報として、例えば、脳波、皮膚電気抵抗値、皮膚コンダクタンス、皮膚温度、心電図周波数、心拍数、脈拍、体温、筋電、顔画像、音声等の少なくともいずれか１つを検出する。

そして、ステップＳ１２００で、感情情報取得部２２０は、感情情報取得処理を開始する。感情情報取得処理は、予め設定された時間ごとに生体情報を解析し、感情情報を生成して、印象度抽出部３００に出力する処理である。

図９は、感情情報取得処理の一例を示すフローチャートである。

まず、ステップＳ１２１０で、感情情報取得部２２０は、生体情報測定部２１０から、所定の時間間隔（ここでは、ｎ秒間隔とする）で生体情報を取得する。

そして、ステップＳ１２２０で、感情情報取得部２２０は、生体情報に基づいて感情実測値を取得し、感情実測値から感情情報を生成して印象度抽出部３００に出力する。

ここで、生体情報から感情実測値を取得する具体的手法と、感情実測値が表わす内容とについて説明する。

人間の生理的信号は、人間の感情の変化に応じて変化することが知られている。感情情報取得部２２０は、この感情の変化と生理的信号の変化との関係を用いて、生体情報から感情実測値を取得する。

例えば、人間は、よりリラックスした状態にあるほど、アルファ（α）波成分の割合が大きくなることが知られている。また、驚き、恐怖、または心配によって皮膚電気抵抗値が上昇すること、喜びの感情が大きく生起すると皮膚温度および心電図周波数が上がること、心理的・精神的に安定している場合には心拍数および脈拍はゆっくりとした変化を示すこと等が知られている。また、上記した生理的指標以外にも、喜怒哀楽等の感情に応じ
て、泣く、笑う、怒る等により、表情および音声の種類が変化することが知られている。更に、落ち込んでいるときには声が小さくなり、怒ったり喜んだりしているときには声が大きくなる傾向があることも知られている。

したがって、皮膚電気抵抗値、皮膚温度、心電図周波数、心拍数、脈拍、音声レベルを検出したり、脳波から脳波のα波成分の割合を解析したり、顔の筋電変化または顔の画像から表情認識を行ったり、音声認識を行う等して生体情報を取得し、生体情報から感情を解析することが可能である。

具体的には、例えば、上記各生体情報の値を図２に示す２次元感情モデル５００の座標値に変換するための変換テーブルまたは変換式を、感情情報取得部２２０に予め用意する。そして、感情情報取得部２２０は、生体情報測定部２１０から入力された生体情報を、変換テーブルまたは変換式を用いて２次元感情モデル５００の２次元空間にマッピングし、該当する座標値を感情実測値として取得する。

例えば、皮膚コンダクタンス信号（skin conductance）は、覚醒度（arousal）に応じて増加し、筋電信号（electromyography：EMG）は、快度に応じて変化する。したがって、感情情報取得部２２０は、ユーザの体験映像撮影時の体験内容（デートまたは旅行等）に対する好ましさの程度に対応付けて、予め皮膚コンダクタンスを測定しておく。これにより、２次元感情モデル５００において、皮膚コンダクタンス信号の値を覚醒度として示す縦軸に、筋電信号の値を快度として示す横軸に、それぞれ対応付けることができる。この対応付けを変換テーブルまたは変換式として予め用意しておき、皮膚コンダクタンス信号と筋電信号とを検出することにより、簡単に感情実測値を取得することができる。

生体情報を感情モデル空間にマッピングする具体的手法は、例えば、“Ｅｍｏｔｉｏｎ
Ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ Ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ ａｎｄ Ｓｋｉｎ Ｃｏｎｄｕｃｔａｎｃｅ”（Ａｒｔｕｒｏ Ｎａｋａｓｏｎｅ，Ｈｅｌｍｕｔ Ｐｒｅｎｄｉｎｇｅｒ，Ｍｉｔｓｕｒｕ Ｉｓｈｉｚｕｋａ，Ｔｈｅ Ｆｉｆｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｂｉｏｓｉｇｎａｌ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ，ＢＳＩ−０５，Ｔｏｋｙｏ，Ｊａｐａｎ，２００５，ｐｐ．２１９−２２２）に記載されている。

このマッピング手法では、まず、生理的信号として皮膚コンダクタンスと筋電信号とを利用して、覚醒度および快度との関連付けを行う。マッピングは、その関連付けの結果に基づいて、確率モデル（Bayesian network）と２次元Ｌａｎｇ感情空間モデルとを利用して行い、このマッピングにより、ユーザの感情推定を行う。より具体的には、人間の覚醒度の度合いに応じて直線的に増加する皮膚コンダクタンス信号と、筋肉活動を示し快度（valance）と関連のある筋電信号とを、ユーザが平常状態にあるときに測定し、測定結果をベースライン値とする。つまり、ベースライン値は、平常状態時の生体情報を表す。次に、ユーザの感情を測定する時に、皮膚コンダクタンス信号がベースライン値を超えた度合いに基づいて、覚醒度の値を決める。例えば、皮膚コンダクタンス信号が、ベースライン値より１５％〜３０％超えた場合には、覚醒度は非常に高い値（very high）であると判定する。一方、筋電信号がベースライン値を超えた度合いに基づいて、快度の値を決める。例えば、筋電信号がベースライン値を３倍以上超えた場合には、快度は高い値（high）であると判定し、筋電信号がベースライン値の３倍以下の場合には、快度は平均的な値（normal）であると判定する。そして、算出された覚醒度の値と快度の値とを、確率モデルと２次元ＬＡＮＧ感情空間モデルを利用してマッピングを行い、ユーザの感情推定を行う。

図９のステップＳ１２３０で、感情情報取得部２２０は、次のｎ秒後の生体情報が、生
体情報測定部２１０により取得されているか否かを判断する。感情情報取得部２２０は、次の生体情報が取得されている場合には（Ｓ１２３０：ＹＥＳ）、ステップＳ１２４０に進み、次の生体情報が取得されていない場合には（Ｓ１２３０：ＮＯ）、ステップＳ１２５０に進む。

ステップＳ１２５０で、感情情報取得部２２０は、生体情報の取得に異常が発生した旨をユーザに通知する等の所定の処理を実行し、一連の処理を終了する。

一方、ステップＳ１２４０で、感情情報取得部２２０は、感情情報取得処理の終了が指示されたか否かを判断し、終了が指示されていない場合には（Ｓ１２４０：ＮＯ）、ステップＳ１２１０に戻り、終了が指示された場合には（Ｓ１２４０：ＹＥＳ）、ステップＳ１２６０に進む。

ステップＳ１２６０で、感情情報取得部２２０は、感情マージ処理を実行し、その後、一連の処理を終了する。感情マージ処理とは、同じ感情実測値が連続して測定された場合に、それらの感情実測値をマージして１つの感情情報にまとめる処理である。なお、感情マージ処理は必ずしも行う必要はない。

このような感情情報取得処理により、印象度抽出部３００には、マージ処理が行われる場合には感情実測値が変化するごとに、マージ処理が行われない場合にはｎ秒ごとに、感情情報が入力される。

図８のステップＳ１３００で、履歴格納部３１０は、入力される感情情報を蓄積し、感情情報履歴を生成する。

図１０は、感情情報履歴の内容の一例を示す図である。

図１０に示すように、履歴格納部３１０は、入力された感情情報に他の情報を付加したレコードから成る感情情報履歴５１０を生成する。感情情報履歴５１０は、感情履歴情報ナンバー（Ｎｏ.）５１１、感情測定日［年／月／日］５１２、感情生起開始時間［時：分：秒］５１３、感情生起終了時間［時：分：秒］５１４、感情実測値５１５、イベント５１６ａ、および場所５１６ｂを含む。

感情測定日５１２には、測定が行われた日が記述される。感情情報履歴５１０に、感情測定日５１２として、例えば「２００８／０３／２５」から「２００８／０７／０１」までが記述されている場合、この期間（ここでは約３ヶ月間）に取得された感情情報が蓄積されていることを示す。

感情生起開始時間５１３には、同一の感情実測値（感情実測値５１５に記述されている感情実測値）が継続して測定された場合に、その測定時間、つまり、その感情実測値が示す感情が生起している時間の開始時刻が記述される。具体的には、例えば、感情実測値が、別の感情実測値から変化して感情実測値５１５に記述されている感情実測値に到達した時刻である。

感情生起終了時間５１４には、同一の感情実測値（感情実測値５１５に記述されている感情実測値）が継続して測定された場合に、その測定時間、つまり、その感情実測値が示す感情が生起している時間の終了時刻が記述される。具体的には、例えば、感情実測値が、感情実測値５１５に記述されている感情実測値から別の感情実測値に変化した時刻である。

感情実測値５１５には、生体情報に基づいて得られた感情実測値が記述される。

イベント５１６ａおよび場所５１６ｂには、感情生起開始時間５１３から感情生起終了時間５１４までの期間の外界情報が記述される。具体的には、例えば、イベント５１６ａには、ユーザが参加したイベントまたはユーザの周囲に発生したイベントを示す情報が記述され、場所５１６ｂには、ユーザの居る場所に関する情報が記述される。外界情報は、ユーザが入力してもよいし、移動通信網またはＧＰＳ（global positioning system）により外部から受信した情報から取得してもよい。

例えば、「０００１」という感情履歴情報ナンバー５１１が示す感情情報として、「２００８／０３／２５」という感情測定日５１２、「１２：１０：００」という感情生起開始時間５１３、「１２：２０：００」という感情生起終了時間５１４、「（−４，−２）」という感情実測値５１５、「コンサート」というイベント５１６ａ、および「屋外」という場所５１６ｂが記述されている。これは、２００８年３月２５日の、１２時１０分から１２時２０分までの間、ユーザが屋外のコンサート会場に居て、ユーザから感情実測値（−４，−２）が測定されたこと、つまり、ユーザに悲しいという感情が生起していたということを示す。

感情情報履歴５１０の生成は、例えば、以下のようにして行われるようにしてもよい。履歴格納部３１０は、感情情報取得部２２０から入力される感情実測値（感情情報）と、外界情報とを監視し、いずれかに変化があるごとに、直前に変化があった時刻から現在までに得られた感情実測値および外界情報に基づいて、１つのレコードを作成する。このとき、同一の感情実測値および外界情報が長時間継続する場合を考慮して、レコードの生成間隔の上限を設定してもよい。

以上が、感情情報蓄積段階の処理である。このような感情情報蓄積段階を経て、コンテンツ編集装置１００には、過去の感情情報が、感情情報履歴として蓄積される。

次に、コンテンツ編集段階の処理について説明する。

上述のセンサおよびディジタルビデオカメラのセッティング等が行われ、セッティングが完了した後、コンテンツ編集装置１００の動作が開始される。

図８のステップＳ１４００で、コンテンツ記録部４１０は、ディジタルビデオカメラにより連続撮影される体験映像コンテンツの記録と、記録した体験映像コンテンツをコンテンツ編集部４２０に対して出力することを開始する。

そして、ステップＳ１５００で、基準感情特性取得部３２０は、基準感情特性取得処理を実行する。基準感情情報算出処理は、基準時間の感情情報履歴に基づいて、基準感情特性を算出する処理である。

図１１は、基準感情特性取得処理を示すフローチャートである。

まず、ステップＳ１５０１で、基準感情特性取得部３２０は、基準感情特性期間情報を取得する。基準感情特性期間情報は、基準期間を指定するものである。

基準期間は、ユーザが平常状態にあった期間、または、ユーザの状態を平均すると平常状態とみなすことができるような十分に長い期間が設定されることが望ましい。具体的には、基準時間は、例えば、ユーザが体験映像を撮影する時点（現在）から、一週間、半年、一年等の予め定められた時間長さだけ遡った時点までの期間が設定される。この時間長
さは、例えば、ユーザにより指定されてもよいし、予め設定されたデフォルト値であってもよい。

また、基準期間は、現在と隔たった過去の任意期間が設定されてもよい。例えば、基準期間は、他の日の体験映像を撮影する時間帯と同じ時間帯、または、過去に体験映像の撮影場所と同じ場所に居たときの期間とすることができる。具体的には、例えば、測定期間にユーザが参加しているイベントとその場所に、イベント５１６ａおよび場所５１６ｂが最もよく一致するような期間である。また、基準時間の決定は、これら以外の各種情報に基づいて行うことができる。例えば、イベントが昼間行われたか夜行われたか等の時間帯に関する外界情報も一致するような期間を、基準時間に決定する。

そして、ステップＳ１５０２で、基準感情特性取得部３２０は、履歴格納部３１０に格納された感情情報履歴のうち、基準感情特性期間に該当する全ての感情情報を取得する。具体的には、基準感情特性取得部３２０は、所定の時間間隔の各時点について、感情情報履歴から該当する時点のレコードを取得する。

そして、ステップＳ１５０３で、基準感情特性取得部３２０は、取得した複数のレコードに対して、感情種別についてのクラスタリングを行う。クラスタリングは、例えばＫ−ｍｅａｎｓ等の既知のクラスタリング手法を用いて、レコードを図２において説明した感情種別またはこれに順ずる種別（以下「クラスタ」という）に分類することにより行われる。これにより、基準期間中のレコードの感情実測値を、時間成分を取り除いた状態で、感情モデル空間に反映させることができる。

そして、ステップＳ１５０４で、基準感情特性取得部３２０は、クラスタリングの結果から、感情基本成分パターンを取得する。ここで、感情基本成分パターンとは、クラスタごとに計算される複数のクラスタメンバー（ここではレコード）の集合であり、どのクラスタにどのレコードが該当するかを示す情報である。クラスタを識別するための変数をｃ（初期値は１）、クラスタをｐ_ｃ、クラスタの個数をＮ_ｃとそれぞれ置くと、感情基本成分パターンＰは、以下の式（７）で表わされる。

但し、クラスタｐ_ｃは、クラスタメンバーの代表点の座標（つまり感情実測値）（ｘ_ｃ，ｙ_ｃ）と、クラスタメンバーの感情情報履歴ナンバーＮｕｍから成り、該当するレコードの個数（つまりクラスタメンバーの個数）をｍと置くと、以下の式（８）で表わされる。

基準感情特性取得部３２０は、該当するレコードの個数ｍが所定の閾値よりも少ないクラスタについては、感情基本成分パターンＰのクラスタとして採用しないようにしてもよい。これにより、例えば、後続の処理の負荷を軽減したり、感情が遷移する過程において通過しただけの感情種別を処理対象から除外したりすることができる。

そして、ステップＳ１５０５で、基準感情特性取得部３２０は、代表感情実測値を算出する。代表感情実測値は、基準期間の感情実測値を代表する感情実測値であり、例えば、
クラスタメンバーの数が最も多いクラスタ、または後述の持続時間が最も長いクラスタの座標（ｘ_ｃ，ｙ_ｃ）である。

そして、ステップＳ１５０６で、基準感情特性取得部３２０は、取得した感情基本成分パターンＰのクラスタごとに、持続時間Ｔを算出する。持続時間Ｔは、クラスタごとに算出される感情実測値の持続時間（つまり感情生起開始時間と感情生起終了時間との差）の平均値ｔ_ｃの集合であり、以下の式（９）により表わされる。

また、クラスタｐ_ｃの持続時間の平均値ｔ_ｃは、クラスタメンバーの持続時間をｔ_ｃｍと置くと、例えば、以下の式（１０）により算出される。

なお、持続時間の平均値ｔ_ｊは、クラスタメンバーの中から代表点を決定し、決定した代表点に該当する感情の持続時間としてもよい。

そして、ステップＳ１５０７で、基準感情特性取得部３２０は、感情基本成分パターンＰのクラスタごとに、感情強度Ｈを算出する。感情強度Ｈは、クラスタごとに算出される感情強度を平均した平均値ｈ_ｃの集合であり、以下の式（１１）により表わされる。

また、感情強度の平均値ｈ_ｃは、クラスタメンバーの感情強度をｙ_ｃｍと置くと、例えば、以下の式（１２）により表わされる。

また、感情実測値が、３次元感情モデル空間の座標値（ｘ_ｃｍ，ｙ_ｃｍ，ｚ_ｃｍ）として表わされる場合には、例えば、感情強度を、以下の式（１３）により算出される値としてもよい。

なお、感情強度の平均値ｈ_ｃは、クラスタメンバーの中から代表点を決定し、決定した代表点に該当する感情強度を採用してもよい。

そして、ステップＳ１５０８で、基準感情特性取得部３２０は、図５において説明した感情量を生成する。具体的には、算出した持続時間Ｔと感情強度Ｈとを用いて、基準期間における感情量の時間積分を行う。

そして、ステップＳ１５１０で、基準感情特性取得部３２０は、感情遷移情報取得処理を行う。感情遷移情報取得処理は、感情遷移情報を取得する処理である。

図１２は、感情遷移情報取得処理を示すフローチャートである。

まず、ステップＳ１５１１で、基準感情特性取得部３２０は、クラスタｐ_ｃのクラスタメンバーのそれぞれについて、前の感情情報を取得する。前の感情情報とは、クラスタｐ_ｃの個々のクラスタメンバーにおける遷移前の感情情報、つまり、１つ前のレコードである。以下、着目しているクラスタｐ_ｃに関する情報を「処理対象の」と表現し、１つ前のレコードに関する情報を「前の」と表現する。

そして、ステップＳ１５１２で、基準感情特性取得部３２０は、取得した前の感情情報に対して、図１１のステップＳ１５０３と同様のクラスタリングを行うとともに、図１のステップＳ１５０４と同様に前の感情基本成分パターンを取得する。

そして、ステップＳ１５１３で、基準感情特性取得部３２０は、前の感情情報の最大クラスタを取得する。最大クラスタとは、例えば、クラスタメンバーの数の最も多いクラスタ、または持続時間Ｔが最も長いクラスタである。

そして、ステップＳ１５１４で、基準感情特性取得部３２０は、前の感情実測値ｅ_{αＢｅｆｏｒｅ}を算出する。前の感情実測値ｅ_{αＢｅｆｏｒｅ}とは、取得した前の感情情報の最大クラスタにおける代表点の感情実測値である。

そして、ステップＳ１５１５で、基準感情特性取得部３２０は、前の遷移時間を算出する。前の遷移時間とは、クラスタメンバーの遷移時間の平均値である。

そして、ステップＳ１５１６で、基準感情特性取得部３２０は、前の感情強度を算出する。前の感情強度とは、取得した前の感情情報についての感情強度であり、図１１のステップＳ１５０７と同様の手法により算出される。

そして、ステップＳ１５１７で、基準感情特性取得部３２０は、図１１のステップＳ１５０７と同様の手法により、または、図１１のステップＳ１５０７の算出結果から、クラスタ内の感情強度を取得する。

そして、ステップＳ１５１８で、基準感情特性取得部３２０は、前の感情強度差を算出する。前の感情強度差とは、前の感情強度（ステップ１５１６で算出された感情強度）に対する、処理対象の感情強度（図１１のステップＳ１５０７で算出された感情強度）の差分である。感情強度差ΔＨは、前の感情強度をＨ_{Ｂｅｆｏｒｅ}、処理対象の感情強度をＨと置くと、以下の式（１４）により算出される。

そして、ステップＳ１５１９で、基準感情特性取得部３２０は、前の感情遷移速度を算出する。前の感情遷移速度とは、前の感情種別から処理対象の感情種別に遷移する際の単位時間当たりの感情強度の変化である。前の感情遷移速度ｅ_{ｖｅｌＢｅｆｏｒｅ}は、遷移時間をΔＴと置くと、以下の式（１５）により算出される。

そして、ステップＳ１５２０で、基準感情特性取得部３２０は、図１１のステップＳ１５０５と同様の手法により、または、図１１のステップＳ１５０５の算出結果から、処理対象の感情情報の代表感情実測値を取得する。

ここで、後の感情情報とは、クラスタｐ_ｃのクラスタメンバーにおける遷移後の感情情報、つまり、クラスタｐ_ｃのクラスタメンバーにおいて、レコードの１つ後のレコードをいい、１つ後のレコードに関する情報を「後の」と表現するものとする。

ステップＳ１５２１〜Ｓ１５２８で、基準感情特性取得部３２０は、ステップＳ１５１１〜Ｓ１５１９の処理と同様にして、後の感情情報、後の感情情報の最大クラスタ、後の感情実測値、後の遷移時間、後の感情強度、後の感情強度差、および後の感情遷移速度を取得する。これは、ステップＳ１５１１〜Ｓ１５１９における処理を、処理対象の感情情報を前の感情情報に置き換え、後の感情情報を新たに処理対象の感情情報に置き換えて実行することにより可能となる。

そして、ステップＳ１５２９で、基準感情特性取得部３２０は、ｐ_ｃのクラスタに関する感情遷移情報を内部的に格納して、図１１の処理に戻る。

図１１のステップＳ１５３１で、基準感情特性取得部３２０は、変数ｃに１を加算した値が、クラスタの個数Ｎ_ｃを超えているか否かを判断し、上記値が個数Ｎ_ｃを超えていない場合には（Ｓ１５３１：ＮＯ）、ステップＳ１５３２に進む。

ステップＳ１５３２で、基準感情特性取得部３２０は、変数ｃを１増加させ、ステップＳ１５１０に戻り、次のクラスタを処理対象として、感情遷移情報取得処理を実行する。

一方、変数ｃに１を加算した値が、クラスタの個数Ｎ_ｃを超えた場合、つまり、基準期間の全ての感情情報に対する感情遷移情報取得処理が完了すると（Ｓ１５３１：ＹＥＳ）、ステップＳ１５３３に進む。

ステップＳ１５３３で、基準感情特性取得部３２０は、感情遷移情報取得処理により得られた情報に基づいて、基準感情特性を生成し、図８の処理に戻る。基準感情特性のセットは、クラスタの個数だけ生成されることになる。

図１３は、基準感情特性の内容の一例を示す図である。

図１３に示すように、基準感情特性５２０は、感情特性期間５２１、イベント５２２ａ、場所５２２ｂ、代表感情実測値５２３、感情量５２４、および感情遷移情報５２５を含
む。感情量５２４は、感情実測値５２６、感情強度５２７、および感情実測値の持続時間５２８を含む。感情遷移情報５２５は、感情実測値５２９、感情遷移方向５３０、および感情遷移速度５３１を含む。感情遷移方向５３０は、前の感情実測値５３２と後の感情実測値５３３との組から構成される。感情遷移速度５３１は、前の感情遷移速度５３４と後の感情遷移速度５３５との組から構成される。

代表感情実測値は、図３において説明した感情実測値の差異ｒ_αを求める際に用いられる。感情量は、図５において説明した感情量の差異ｒ_βを求める際に用いられる。感情遷移情報は、図６および図７において説明した感情遷移情報の差異ｒ_δを求める際に用いられる。

図８のステップＳ１６００で、基準感情特性取得部３２０は、算出した基準感情特性を記録する。

なお、基準時間が固定の場合には、ステップＳ１１００〜Ｓ１６００の処理を予め実行しておき、生成された基準感情特性を、基準感情特性取得部３２０または印象度算出部３４０に蓄積しておいてもよい。

そして、ステップＳ１７００で、生体情報測定部２１０は、ステップＳ１１００と同様に、体験映像を撮影している時のユーザの生体情報を測定し、取得した生体情報を感情情報取得部２２０に出力する。

そして、ステップＳ１８００で、感情情報取得部２２０は、ステップ１２００と同様に、図９に示す感情情報取得処理を開始する。なお、感情情報取得部２２０は、ステップＳ１２００、Ｓ１８００を通して感情情報取得処理を継続して実行してもよい。

そして、ステップＳ１９００で、感情情報記憶部３３０は、ｎ秒ごとに入力される感情情報のうち、現在から、所定の単位時間だけ遡った時点までの感情情報を、感情情報データとして記憶する。

図１４は、図８のステップＳ１９００において記憶される、感情情報データの内容を示す一例の図である。

図１４に示すように、感情情報記憶部３３０は、入力された感情情報に他の情報を付加したレコードから成る感情情報データ５４０を生成する。感情情報データ５４０は、図１０に示す感情情報履歴５１０と同様の構成となっている。感情情報データ５４０は、感情情報ナンバー５４１、感情測定日［年／月／日］５４２、感情生起開始時間［時：分：秒］５４３、感情生起終了時間［時：分：秒］５４４、感情実測値５４５、イベント５４６ａ、および場所５４６ｂを含む。

感情情報データ５４０の生成は、例えば、感情情報履歴と同様に、ｎ秒ごとの感情情報の記録および感情マージ処理により行われる。または、感情情報データ５４０の生成は、例えば、以下のようにして行われる。感情情報記憶部３３０は、感情情報取得部２２０から入力される感情実測値（感情情報）と、外界情報とを監視し、いずれかに変化があるごとに、直前に変化があった時刻から現在までに得られた感情実測値および外界情報に基づいて、感情情報データ５４０の１つのレコードを作成する。このとき、同一の感情実測値および外界情報が長時間継続する場合を考慮して、レコードの生成間隔の上限を設定してもよい。

感情情報データ５４０のレコード数は、感情情報履歴５１０のレコード数に比べて少な
く、最新の測定感情特性を算出するのに必要な数に抑えられている。具体的には、感情情報記憶部３３０は、予め定められたレコード数の上限を超えないように、新たなレコードの追加に対応して最も古いレコードを削除し、各レコードの感情情報ナンバー５４１を更新する。これにより、データサイズの増大を防ぐとともに、感情情報ナンバー５４１を基準とした処理を行うことができる。

図８のステップＳ２０００で、印象度算出部３４０は、印象度算出処理を開始する。印象度算出処理は、基準感情特性５２０と感情情報データ５４０とに基づいて、印象度を算出する処理である。

図１５は、印象度算出処理を示すフローチャートである。

まず、ステップＳ２０１０で、印象度算出部３４０は、基準感情特性を取得する。

そして、ステップＳ２０２０で、印象度算出部３４０は、ユーザから測定された感情情報データ５４０を、感情情報記憶部３３０から取得する。

そして、ステップＳ２０３０で、印象度算出部３４０は、感情情報データ５４０のうち、ｉ−１番目の感情情報と、ｉ番目の感情情報と、ｉ＋１番目の感情情報とを取得する。なお、印象度算出部３４０は、ｉ−１番目の感情情報またはｉ＋１番目の感情情報が存在しない場合には、取得結果を表わす値をＮＵＬＬにする。

そして、ステップＳ２０４０で、印象度算出部３４０は、測定感情特性取得部３４１において、測定感情特性を生成する。測定感情特性は、図１３に示す基準感情特性と同一の項目の情報から構成される。測定感情特性取得部３４１は、図１２と同様の処理を、処理対象を感情情報データに置き換えて実行することにより、測定感情特性を算出する。

そして、ステップＳ２０５０で、印象度算出部３４０は、差異算出処理を実行する。差異算出処理は、基準感情特性に対する測定感情特性の差異を、印象度の候補値として算出する処理である。

図１６は、差異算出処理の一例を示すフローチャートである。

まず、ステップＳ２０５１で、印象度算出部３４０は、ｉ番目の感情情報について算出された測定感情特性から、代表感情実測値ｅ_ｉα、感情量ｅ_ｉβ、および感情遷移情報ｅ_ｉδを取得する。

そして、ステップＳ２０５２で、印象度算出部３４０は、ｋ番目の感情情報について算出された基準感情特性から、代表感情実測値ｅ_ｋα、感情量ｅ_ｋβ、および感情遷移情報ｅ_ｋδを取得する。ｋは、感情情報を識別するための変数、つまり、クラスタを識別するための変数である。その初期値は１である。

そして、ステップＳ２０５３で、印象度算出部３４０は、測定感情特性のｉ番目の代表感情実測値ｅ_ｉαと、基準感情特性のｋ番目の代表感情実測値ｅ_ｋαとを比較し、比較結果として、図５において説明した感情実測値の差異ｒ_αを取得する。

そして、ステップＳ２０５４で、印象度算出部３４０は、測定感情特性のｉ番目の感情量ｅ_ｉβと、基準感情特性のｋ番目の感情量ｅ_ｋβとを比較し、比較結果として、図３において説明した感情量の差異ｒ_βを取得する。

そして、ステップＳ２０５５で、印象度算出部３４０は、測定感情特性のｉ番目の感情遷移情報ｅ_ｉδと、基準感情特性のｋ番目の感情遷移情報ｅ_ｋδとを比較し、比較結果として、図６および図７において説明した感情遷移情報の差異ｒ_δを取得する。

そして、ステップＳ２０５６で、印象度算出部３４０は、差異値を算出する。差異値とは、感情実測値の差異ｒ_α、感情量の差異ｒ_β、および感情遷移情報の差異ｒ_δを統合して、感情情報の差異の程度を表わす値である。具体的には、例えば、差異値は、感情実測値の差異ｒ_α、感情量の差異ｒ_β、および感情遷移情報の差異ｒ_δに、それぞれ重みを掛けた値を和算したうちの最大値である。差異値Ｒ_ｉは、感情実測値の差異ｒ_α、感情量の差異ｒ_β、および感情遷移情報の差異ｒ_δの重みをそれぞれｗ_１、ｗ_２、ｗ_３と置くと、以下の式（１６）により算出される。

重みｗ_１、ｗ_２、ｗ_３は、固定値でもよいし、ユーザが調整できる値としてもよいし、学習により決定するようにしてもよい。

そして、ステップＳ２０５７で、印象度算出部３４０は、変数ｋを１増加させる。

そして、ステップＳ２０５８で、印象度算出部３４０は、変数ｋが、クラスタの個数Ｎ_ｃを超えたか否かを判断する。印象度算出部３４０は、変数ｋがクラスタの個数Ｎ_ｃを超えていない場合には（Ｓ２０５８：ＮＯ）ステップ２０５２に戻り、変数ｋがクラスタの個数Ｎ_ｃを超えた場合には（Ｓ２０５８：ＹＥＳ）、図１５の処理に戻る。

このように、差異算出処理により、変数ｋを変化させたときの差異値のうち、最も大きい値が、最終的に差異値Ｒｉとして取得される。

図１５のステップＳ２０６０で、印象度算出部３４０は、取得した差異値Ｒｉが、予め定められた印象度閾値以上であるか否かを判断する。印象度閾値は、ユーザが強い印象を受けていると判断すべき差異値Ｒｉの最小値である。なお、印象度閾値は、固定値でもよいし、ユーザが調整できる値としてもよいし、経験または学習により決定するようにしてもよい。印象度算出部３４０は、差異値Ｒｉが印象度閾値以上である場合には（Ｓ２０６０：ＹＥＳ）、ステップＳ２０７０に進み、差異値Ｒｉが印象度閾値未満である場合には（Ｓ２０６０：ＮＯ）、ステップＳ２０８０に進む。

ステップＳ２０７０で、印象度算出部３４０は、差異値Ｒｉを、印象値ＩＭＰ［ｉ］に設定する。印象値ＩＭＰ［ｉ］は、結果的に、基準期間にユーザが受けた印象の強さに対して、測定時にユーザが受けた印象の強さを示す度合いである値となる。しかも、印象値ＩＭＰ［ｉ］は、感情実測値の差異、感情量の差異、および感情遷移情報の差異を反映させた値となる。

ステップＳ２０８０で、印象度算出部３４０は、変数ｉに１を加算した値が、感情情報の個数Ｎ_ｉを超えたか否か、つまり、測定期間の全ての感情情報について処理が終了したか否かを判断する。次に、上記値が個数Ｎ_ｉを超えていない場合には（Ｓ２０８０：ＮＯ）、ステップＳ２０９０に進む。

ステップＳ２０９０で、印象度算出部３４０は、変数ｉを１増加させて、ステップＳ２０３０に戻る。

ステップＳ２０３０〜ステップＳ２０９０を繰り返して、変数ｉに１を加算した値が情情報の個数Ｎ_ｉを超えた場合には（Ｓ２０８０：ＹＥＳ）、ステップＳ２１００に進む。

ステップＳ２１００で、印象度算出部３４０は、コンテンツ記録部４１０の動作が終了するなどして印象度算出処理の終了が指示されたか否かを判断し、終了を指示されていない場合には（Ｓ２１００：ＮＯ）、ステップＳ２１１０に進む。

ステップＳ２１１０で、印象度算出部３４０は、変数ｉを初期値１に戻し、前回ステップＳ２０２０の処理を実行してから所定の単位時間が経過したとき、ステップＳ２０２０に戻る。

一方、印象度算出処理の終了を指示された場合には（Ｓ２１００：ＹＥＳ）、印象度算出部３４０は、一連の処理を終了する。

このような印象度算出処理により、ユーザが強い印象を受けた区間について、所定の単位時間ごとに印象値が算出される。印象度算出部３４０は、算出した印象値に、印象値算出の基となった感情情報の測定時刻を対応付けた印象度情報を生成する。

図１７は、印象度情報の内容の一例を示す図である。

図１７に示すように、印象度情報５５０は、印象度情報ナンバー５５１、印象度開始時間５５２、印象度終了時間５５３、および印象値５５４を含む。

印象度開始時間には、同一の印象値（印象値５５４に記述されている印象値）が継続して測定された場合に、その測定時間の開始時刻が記述される。

印象度終了時間には、同一の印象値（印象値５５４に記述されている印象値）が継続して測定された場合に、その測定時間の終了時刻が記述される。

印象値５５４には、印象度算出処理により算出された印象値ＩＭＰ［ｉ］が記述される。

ここでは、例えば、「０００１」という印象度情報ナンバー５５１のレコードにおいて、「２００８／０３／２６／０８：１０：００」という印象度開始時間５５２と、「２００８／０３／２６／０８：２０：００」という印象度終了時間５５３に対応して、「０.９」という印象値５５４が記述されている。これは、２００８年３月２６日８時１０分から、２００８年３月２６日８時２０分までの期間に、ユーザが受けた印象の度合いが、印象値「０.９」に対応するということを示す。また、「０００２」という印象度情報ナンバー５５１のレコードにおいて、「２００８／０３／２６／０８：２０：０１」という印象度開始時間５５２と、「２００８／０３／２６／０８：３０：０４」という印象度終了時間５５３に対応して、「０.７」という印象値５５４が記述されている。これは、２００８年３月２６日８時２０分１秒から、２００８年３月２６日８時３０分４秒までの期間に、ユーザが受けた印象の度合いが、印象値「０.７」に対応するということを示す。印象値は、基準感情特性と測定感情特性との差が大きければ大きいほど、大きな値となる。したがって、この印象度情報５５０は、「０００１」という印象度情報ナンバー５５１に対応する区間のほうが、「０００２」という印象度情報ナンバー５５１に対応する区間よりも、ユーザがより強い印象を受けたことを示している。

このような印象度情報を参照することにより、各時点について、ユーザが受けた印象の
度合いを即座に判定することが可能となる。印象度算出部３４０は、生成した印象度情報を、コンテンツ編集部４２０から参照可能な状態で格納する。または、印象度算出部３４０は、印象度情報５５０のレコードを作成するごとにレコードをコンテンツ編集部４２０に出力したり、コンテンツの記録が終了した後に、印象度情報５５０をコンテンツ編集部４２０に出力したりする。

以上の処理により、コンテンツ編集部４２０には、コンテンツ記録部４１０で記録された体験映像コンテンツと、印象度算出部３４０により生成された印象度情報とが入力される。

図８のステップＳ２２００で、コンテンツ編集部４２０は、体験映像編集処理を実行する。体験映像編集処理は、印象度情報に基づいて、体験映像コンテンツの中から、印象度の高い期間、つまり、印象値５５４が所定の閾値よりも高い期間に対応するシーンを抽出して、体験映像コンテンツの要約映像を生成する処理である。

図１８は、体験映像編集処理の一例を示すフローチャートである。

まず、ステップＳ２２１０で、コンテンツ編集部４２０は、印象度情報を取得する。以下、印象度情報のレコードを識別するための変数をｑとし、印象度情報のレコード数をＮ_ｑとする。ｑの初期値は１である。

そして、ステップＳ２２２０で、コンテンツ編集部４２０は、ｑ番目のレコードの印象値を取得する。

そして、ステップＳ２２３０で、コンテンツ編集部４２０は、取得した印象値を用いて、体験映像コンテンツのうち、ｑ番目のレコードの期間に該当する区間のシーンに対し、ラベル付けを行う。具体的には、コンテンツ編集部４２０は、例えば、印象値のレベルを、シーンの重要度を示す情報として、各シーンに付加する。

そして、ステップＳ２２４０で、コンテンツ編集部４２０は、変数ｑに１を加算した値が、レコード数Ｎ_ｑを超えたか否かを判断し、超えていない場合には（Ｓ２２４０：ＮＯ）、ステップＳ２２５０に進み、超えた場合には（Ｓ２２４０：ＹＥＳ）、ステップＳ２２６０に進む。

ステップＳ２２５０で、コンテンツ編集部４２０は、変数ｑを１増加させ、ステップＳ２２２０に戻る。

一方、ステップＳ２２６０で、コンテンツ編集部４２０は、ラベル付けされた体験映像コンテンツの映像区間を分割して、分割した映像区間を、ラベルに基づいて繋ぎ合わせる。そして、コンテンツ編集部４２０は、繋ぎ合わせた映像を要約映像として、例えば記録媒体に出力し、一連の処理を終了する。具体的には、コンテンツ編集部４２０は、例えば、シーンの重要度が高いことを示すラベルが付された映像区間のみをピックアップして、ピックアップした映像区間を、基の体験映像コンテンツにおける時間の順序で繋ぎ合わせる。

このようにして、コンテンツ編集装置１００は、体験映像コンテンツの中から、ユーザが強く印象を受けたシーンを、高い精度で選択し、選択したシーンから要約映像を生成することができる。

以上説明したように、本実施の形態によれば、生体情報に基づく特性値の比較により印
象度を算出するので、ユーザに特に負担を掛けることなく印象度を抽出することができる。また、基準期間におけるユーザ自身の生体情報から得られた基準感情特性を基準として印象度を算出するので、印象度を精度良く抽出することができる。また、印象度に基づいて、体験映像コンテンツの中からシーンを選択して要約映像を生成するので、ユーザが満足するシーンのみをピックアップして、体験映像コンテンツを編集することができる。また、印象度を精度良く抽出するので、ユーザがより満足するコンテンツ編集結果を得ることができ、ユーザが再編集を行う必要性を低減することができる。

また、比較の対象となる感情実測値、感情量、および感情遷移情報の差異を考慮して、基準期間と測定期間との間の感情の差異を判定するので、印象度を高い精度で判定することができる。

なお、コンテンツの取得場所および抽出された印象度の用途は、上記内容に限定されるものではない。例えば、ホテルまたはレストラン等を利用する顧客に生体情報センサを装着させ、サービスを受けているときの顧客の体験をカメラで撮影しながら、印象値が変化したときの状況を記録するようにしてもよい。この場合には、記録結果から、ホテルまたはレストラン側でサービスの質の分析を行うことが容易となる。

（実施の形態２）
本発明の実施の形態２として、ポータブル型のゲーム端末の、選択的な動作を行うゲームコンテンツに本発明を適用した場合について説明する。本実施の形態の印象度抽出装置は、ポータブル型のゲーム端末に備えられている。

図１９は、本発明の実施の形態２に係る印象度抽出装置を含むゲーム端末のブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

図１９において、ゲーム端末１００ａは、図１の体験映像コンテンツ取得部４００に代えて、ゲームコンテンツ実行部４００ａを有する。

ゲームコンテンツ実行部４００ａは、選択的な動作を行うゲームコンテンツを実行する。ゲームコンテンツは、ここでは、ユーザが仮想的にペットを飼育し、操作内容に応じてペットの反応および成長が異なるようなゲームであるものとする。ゲームコンテンツ実行部４００ａは、コンテンツ処理部４１０ａおよびゲームコンテンツ操作部４２０ａを有する。

コンテンツ処理部４１０ａは、ゲームコンテンツを実行するための各種処理を行う。

コンテンツ操作部４２０ａは、印象度抽出部３００により抽出された印象度に基づいて、コンテンツ処理部４１０ａに対する選択操作を行う。具体的には、コンテンツ操作部４２０ａには、印象値に対応付けたゲームコンテンツに対する操作内容が予め設定されている。そして、コンテンツ操作部４２０ａは、コンテンツ処理部４１０ａによりゲームコンテンツが開始され、印象度抽出部３００により印象値の算出が開始されると、ユーザが受けた印象の度合いに応じてコンテンツの操作を自動で行うコンテンツ操作処理を開始する。

図２０は、コンテンツ操作処理の一例を示すフローチャートである。

まず、ステップＳ３２１０で、コンテンツ操作部４２０ａは、印象値ＩＭＰ［ｉ］を、印象度抽出部３００から取得する。実施の形態１と異なり、コンテンツ操作部４２０ａは
、印象度抽出部３００から、最新の生体情報から得られた印象値のみを取得するようにすればよい。

そして、ステップＳ３２２０で、コンテンツ操作部４２０ａは、取得した印象値に対応する操作内容を、コンテンツ処理部４１０ａに出力する。

そして、ステップＳ３２３０で、コンテンツ操作部４２０ａは、処理の終了が指示されたかを判断し、指示されていない場合には（Ｓ３２３０：ＮＯ）、ステップＳ３２１０に戻り、指示された場合には（Ｓ３２３０：ＹＥＳ）、一連の処理を終了する。

このように、本実施の形態によれば、ユーザが手動で操作を行わなくても、ユーザが受けている印象の度合いに応じた選択操作がゲームコンテンツに対して行われる。例えば、普段よく笑うユーザが笑っても、印象値はそれほど高くならずにペットの成長は普通となるが、ほとんど笑わないようなユーザが笑った場合には、印象値が高くなりペットが急成長するといったように、ユーザごとに異なるユニークなコンテンツ操作を行うことが可能となる。

（実施の形態３）
本発明の実施の形態３として、携帯電話機の待ち受け画面の編集に本発明を適用した場合について説明する。本実施の形態の印象度抽出装置は、携帯電話機に備えられている。

図２１は、本発明の実施の形態３に係る印象度抽出装置を含む携帯電話機のブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

図２１において、携帯電話機１００ｂは、図１の体験映像コンテンツ取得部４００に代えて、携帯電話部４００ｂを有する。

携帯電話部４００ｂは、液晶ディスプレイ（図示せず）の待ち受け画面の表示制御を含めた携帯電話機の機能を実現する。携帯電話部４００ｂは、画面デザイン格納部４１０ｂおよび画面デザイン変更部４２０ｂを有する。

画面デザイン格納部４１０ｂは、待ち受け画面用の画面デザインのデータを複数格納している。

画面デザイン変更部４２０ｂは、印象度抽出部３００により抽出された印象度に基づいて、待ち受け画面の画面デザインを変更する。具体的には、画面デザイン変更部４２０ｂは、画面デザイン格納部４１０ｂに格納された画面デザインと印象値とを予め対応付けている。そして、画面デザイン変更部４２０ｂは、最新の印象値に対応する画面デザインを画面デザイン格納部４１０ｂから選択して待ち受け画面に採用する、画面デザイン変更処理を実行する。

図２２は、画面デザイン変更処理の一例を示すフローチャートである。

まず、ステップＳ４２１０で、画面デザイン変更部４２０ｂは、印象値ＩＭＰ［ｉ］を、印象度抽出部３００から取得する。画面デザイン変更部４２０ｂは、実施の形態１のコンテンツ編集部４２０と異なり、印象度抽出部３００から、最新の生体情報から得られた印象値のみを取得するようにすればよい。なお、最新の印象値の取得は、任意の時間ごと、または、印象値が変化するごとに取得しても良い。

そして、ステップＳ４２２０で、画面デザイン変更部４２０ｂは、画面デザインを変更すべきか否か、つまり、取得した印象値に対応する画面デザインが、現在待ち受け画面として設定されている画面デザインと異なるか否かを判断する。画面デザイン変更部４２０ｂは、画面デザインを変更すべきと判断した場合は（Ｓ４２２０：ＹＥＳ）、ステップＳ４２３０に進み、変更すべきではないと判断した場合は（Ｓ４２２０：ＮＯ）、ステップＳ４２４０に進む。

ステップＳ４２３０で、画面デザイン変更部４２０ｂは、画面デザイン格納部４１０ｂから、最新の印象値に対応する待ち受け画面のデザインを取得し、最新の印象値に対応する画面デザインに変更する。具体的には、画面デザイン変更部４２０ｂは、最新の印象値に対応付けられた画面デザインのデータを画面デザイン格納部４１０ｂから取得し、取得したデータに基づいて、液晶ディスプレイの画面の描画を行う。

そして、ステップＳ４２４０で、画面デザイン変更部４２０ｂは、処理の終了が指示されたかを判断し、指示されていない場合には（Ｓ４２４０：ＮＯ）、ステップＳ４２１０に戻り、指示された場合には（Ｓ４２４０：ＹＥＳ）、一連の処理を終了する。

このように、本実施の形態によれば、ユーザが手動で操作を行わなくても、携帯電話機の待ち受け画面が、ユーザが受けている印象の度合いに応じた画面デザインに切り替わる。なお、待ち受け画面以外の画面デザイン、またはＬＥＤ（light emitting diode）を用いた発光部の発光色等を、印象度に応じて変更するようにしてもよい。

（実施の形態４）
本発明の実施の形態４として、デザインが可変のアクセサリに本発明を適用した場合について説明する。本実施の形態の印象度抽出装置は、ペンダントヘッド等のアクセサリと、このアクセサリに対して無線通信により印象値を送信する携帯端末とから成る通信システムに備えられている。

図２３は、本発明の実施の形態４に係る印象度抽出装置を含む通信システムのブロック図である。図１と同一部分には同一符号を付し、これについての説明を省略する。

図２３において、通信システム１００ｃは、図１の体験映像コンテンツ取得部４００に代えて、アクセサリ制御部４００ｃを有する。

アクセサリ制御部４００ｃは、アクセサリ（図示せず）に内蔵され、別の携帯端末に備えられた印象度抽出部３００から無線通信により印象度を取得して、取得した印象度に基づいてアクセサリの外観を制御する。アクセサリは、例えば、複数のＬＥＤを有し、点灯させる色または点灯パターンを変化させたり、模様を変化させたりすることが可能となっている。アクセサリ制御部４００ｃは、変化パターン格納部４１０ｃおよびアクセサリ変化部４２０ｃを有する。

変化パターン格納部４１０ｃは、アクセサリの外観の変化パターンを複数格納している。

アクセサリ変化部４２０ｃは、印象度抽出部３００により抽出された印象度に基づいて、アクセサリの外観を変化させる。具体的には、アクセサリ変化部４２０ｃは、変化パターン格納部４１０ｃに格納された変化パターンと印象値とを予め対応付けている。そして、アクセサリ変化部４２０ｃは、最新の印象値に対応する変化パターンを変化パターン格納部４１０ｃから選択して、選択した変化パターンの通りにアクセサリの外観を変化させるアクセサリ変更処理を実行する。

図２４は、アクセサリ変更処理の一例を示すフローチャートである。

まず、ステップＳ５２１０で、アクセサリ変化部４２０ｃは、印象値ＩＭＰ［ｉ］を、印象度抽出部３００から取得する。実施の形態１と異なり、アクセサリ変化部４２０ｃは、印象度抽出部３００から、最新の生体情報から得られた印象値のみを取得するようにすればよい。なお、最新の印象値の取得は、任意の時間ごと、または、印象値が変化するごとに取得しても良い。

そして、ステップＳ５２２０で、アクセサリ変化部４２０ｃは、アクセサリの外観を変化させるべきか否か、つまり、取得した印象値に対応する変化パターンが、現在適用されている変化パターンと異なるか否かを判断する。アクセサリ変化部４２０ｃは、アクセサリの外観を変化させるべきと判断した場合は（Ｓ５２２０：ＹＥＳ）、ステップＳ５２３０に進み、変化させるべきではないと判断した場合は（Ｓ５２２０：ＮＯ）、ステップＳ５２４０に進む。

ステップＳ５２３０で、アクセサリ変化部４２０ｃは、印象度抽出部３００から、最新の印象値に対応する変化パターンを取得し、アクセサリの外観に、最新の印象値に対応する変化パターンを適用する。

そして、ステップＳ５２４０で、アクセサリ変化部４２０ｃは、処理の終了が指示されたかを判断し、指示されていない場合には（Ｓ５２４０：ＮＯ）、ステップＳ５２１０に戻り、指示された場合には（Ｓ５２４０：ＹＥＳ）、一連の処理を終了する。

このように、本実施の形態によれば、ユーザが手動で操作を行わなくても、ユーザが受けている印象の度合いに合わせて、アクセサリの外観を変化させることができる。なお、また、印象度に、感情種別等、他の感情特性を組み合わせることにより、ユーザの気分をも反映させて、アクセサリの外観を変化させることができる。また、本発明は、ペンダントヘッド以外にも、指輪、ネックレス、腕時計等の他のアクセサリにも適用することができる。更に、本発明は、携帯電話機、バッグ等の各種携行品にも適用することができる。

（実施の形態５）
本発明の実施の形態５として、印象度だけでなく測定感情特性を用いてコンテンツを編集する場合について説明する。

図２５は、本発明の実施の形態５に係る印象度抽出装置を含むコンテンツ編集装置のブロック図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。

図２５において、コンテンツ編集装置１００ｄの体験映像コンテンツ取得部４００ｄは、図１のコンテンツ編集部４２０とは異なる体験映像編集処理を実行するコンテンツ編集部４２０ｄを有し、更に、編集条件設定部４３０ｄを有する。

編集条件設定部４３０ｄは、測定感情特性取得部３４１から測定感情特性を取得し、測定感情特性に関連付けた編集条件の設定を、ユーザから受け付ける。編集条件は、ユーザが編集を希望する期間の条件である。編集条件設定部４３０ｄは、この編集条件の設定の受け付けを、グラフィカルユーザインタフェースであるユーザ入力画面を用いて行う。

図２６は、ユーザ入力画面の一例を示す図である。

図２６に示すように、ユーザ入力画面６００は、期間指定欄６１０、場所指定欄６２０、参加イベント指定欄６３０、代表感情実測値指定欄６４０、感情量指定欄６５０、感情遷移情報指定欄６６０、および決定ボタン６７０を有する。欄６１０〜６６０は、プルダウンメニューまたはテキスト入力欄を有し、ユーザのキーボードやマウス等の入力装置（図示せず）の操作による、項目の選択またはテキストの入力を受け付ける。すなわち、ユーザ入力画面６００で設定可能な項目は、測定感情特性の項目に対応している。

期間指定欄６１０は、時刻のプルダウンメニューにより、測定期間の中から、編集対象となる期間の指定を受け付ける。場所指定欄６２０は、テキスト入力により、編集対象である場所の属性を指定する入力を受け付ける。参加イベント指定欄６３０は、テキスト入力により、参加イベントの属性の中から編集対象であるイベントの属性を指定する入力を受け付ける。代表感情実測値指定欄６４０は、代表感情実測値に対応する感情種別のプルメニューにより、編集対象となる感情種別の指定を受け付ける。

感情量指定欄６５０は、感情実測値指定欄６５１、感情強度指定欄６５２、および持続時間指定欄６５３により構成される。なお、感情実測値指定欄６５１は、感情実測値指定欄６４０と連動して構成することも出来る。感情強度指定欄６５２は、数値のプルダウンメニューにより、編集対象である感情強度の最小値を指定する入力を受け付ける。持続時間指定欄６５３は、数値のプルダウンメニューにより、感情強度が指定された最小値を超えた状態を持続している時間について、編集対象である持続時間の最小値を指定する入力を受け付ける。

感情遷移情報指定欄６６０は、感情実測値指定欄６６１、感情遷移方向指定欄６６２、および感情遷移速度指定欄６６３により構成される。なお、感情実測値指定欄６６１は、感情実測値指定欄６４０と連動して構成することも出来る。感情遷移方向指定欄６６２は、感情種別のプルダウンメニューにより、前の感情実測値および後の感情実測値の指定を、編集対象となる感情遷移方向の指定として受け付ける。感情遷移速度指定欄６６３により構成される。数値のプルダウンメニューにより、前の感情遷移速度および後の感情遷移速度の指定を、編集対象となる感情遷移速度の指定として受け付ける。

ユーザは、このようなユーザ入力画面６００を操作することにより、ユーザが思い出に残ると思う箇所の条件を、測定感情特性に関連付けて指定することができる。編集条件設定部４３０ｄは、決定ボタン６７０がユーザ操作により押下されると、その時点の画面の設定内容を、編集条件として、コンテンツ編集部４２０ｄに出力する。

コンテンツ編集部４２０ｄは、印象度算出部３４０から印象度情報を取得するだけでなく、測定感情特性取得部３４１から、測定感情特性を取得する。そして、コンテンツ編集部４２０ｄは、印象度情報と、測定感情特性と、編集条件設定部４３０ｄから入力された編集条件とに基づいて体験映像コンテンツの要約映像を生成する体験映像編集処理を行う。具体的には、コンテンツ編集部４２０ｄは、印象値が所定の閾値よりも高い期間のうち、編集条件に適合する期間に対応するシーンのみを抽出して、体験映像コンテンツの要約映像を生成する。

または、コンテンツ編集部４２０ｄは、編集条件に適合する期間か否かに応じて、印象度算出部３４０から入力された印象値を補正し、補正後の印象値が所定の閾値よりも高い期間のシーンのみを抽出して、体験映像コンテンツの要約映像を生成してもよい。

図２７は、編集対象を制限することによる効果を説明するための図である。

図２７に示すように、第１の区間７１０では、感情種別「興奮」の感情強度が５である
区間が１秒ずつ持続し、残りの区間の感情強度は低いとする。また、この持続時間は、平常時に一時的に感情強度が高くなるときと同程度に短いとする。このような場合、第１の区間７１０は、編集対象外とすべきである。一方、第２の区間７２０では、感情強度がである区間が６秒持続するとする。感情強度は低いが、その持続時間は、平常時の持続時間よりも長いとする。この場合、第２の区間７２０は、編集対象とすべきである。

そこで、例えば、ユーザは、図２６に示すユーザ入力画面６００において、代表感情実測値指定欄６４０に「興奮」、感情量指定欄６５０の感情強度６５２に「３」、感情量指定欄６５０の持続時間６５３に「３」を設定し、決定ボタン６７０を押下する。この場合、第１の区間７１０は、編集条件を満たさないため、編集対象外となり、第２の区間７２０は、編集条件を満たすため、編集対象となる。

このように、本実施の形態によれば、ユーザが思い出に残ると思う箇所をピックアップして、コンテンツを自動編集することができる。また、ユーザが、測定感情特性と関連付けて編集条件を指定することができるので、ユーザの主観的な感性を、コンテンツの編集に、より的確に反映させることができる。また、編集条件に基づいて印象値を補正する場合には、印象度の抽出の精度を更に向上させることができる。

なお、編集条件設定部４３０ｄは、測定感情特性と直接には関連しない条件を、編集条件に含めてもよい。具体的には、例えば、編集条件設定部４３０ｄは、要約映像における上限時間の指定を受け付ける。そして、コンテンツ編集部４２０ｄは、編集対象となる感情種別の持続時間や感情遷移速度を、指定された範囲内で変化させ、上限時間に最も近くなる条件を採用する。この場合、編集条件設定部４３０ｄは、他の条件を満たす期間の合計時間が上限時間に満たないときには、より低い重要度（印象値）のシーンを要約映像に含めるようにしてもよい。

また、測定感情特性等を用いて印象値の補正またはコンテンツの編集を行う手法は、実施の形態２〜実施の形態４にも適用することが可能である。

本発明は、以上、説明した各実施の形態以外にも、ユーザの感情に基づいて、電子機器における各種の選択処理を行うことに適用することができる。例えば、携帯電話機において、着信音の種類の選択、着信可否状態の選択、または情報配信サービスにおけるサービス種別の選択である。

また、例えば、車載カメラと運転者に装着させた生体情報センサとから得られた情報を対応付けて記憶するレコーダに、本発明を適用することにより、運転者の印象値の変化から注意力が散漫となっているときにこれを検出することができる。そして、注意力が散漫となっているときに、音声等により運転者に注意喚起を行ったり、事故等が発生した場合にそのときの映像を取り出して原因分析を行ったりすることが容易となる。

また、感情情報生成部は、基準感情特性を算出するためのものと、測定感情特性を算出するためのものとで、別個に設けてもよい。

２００８年７月３日出願の特願２００８−１７４７６３の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る印象度抽出装置および印象度抽出方法は、ユーザに特に負担を掛けることなく、精度良く印象度を抽出することができる印象度抽出装置および印象度抽出方法として有用である。本発明に係る印象度抽出装置および印象度抽出方法は、心理状態変化に基
づいた印象度算出を行うことにより、ユーザのいつもと違う感情の自動判別を行うことができ、ユーザに特に手間を掛けることなく、ユーザの感情特性に忠実に印象度の自動算出を行うことができる。また、その算出結果は、体験映像の自動要約、ゲーム、携帯電話機等のモバイル機器、アクセサリのデザイン、自動車関連、顧客管理システム等、様々な応用アプリケーションで利用可能である。

Claims (9)

1. 第１の期間にユーザに生起した感情の特性を示す第１の感情特性を取得する第１の感情特性取得部と、
   前記第１の期間とは異なる第２の期間に前記ユーザに生起した感情の特性を示す第２の感情特性と前記第１の感情特性との比較により、前記第１の期間に前記ユーザが受けた印象の強さを示す度合いである印象度を算出する印象度算出部と、
   を有する印象度抽出装置。
2. 前記印象度算出部は、
   前記第２の感情特性を基準として、前記第１の感情特性との差異が大きいほど、前記印象度を高く算出する、
   請求項１記載の印象度抽出装置。
3. 前記印象度に基づいて、コンテンツの編集を行うコンテンツ編集部、を更に有する、
   請求項１記載の印象度抽出装置。
4. 前記ユーザの生体情報を測定する生体情報測定部と、
   前記第２の感情特性を取得する第２の感情特性取得部と、を更に有し、
   前記第１の感情特性取得部は、
   前記生体情報から前記第１の感情特性を取得し、
   前記第２の感情特性取得部は、
   前記生体情報から前記第２の感情特性を取得する、
   請求項１記載の印象度抽出装置。
5. 前記第２の感情特性および前記第１の感情特性は、感情の覚醒度または快度を含む感情の強さを数値によって示す感情実測値と、前記感情実測値を時間積分した感情量と、前記感情実測値の変化の方向または速度を含む感情遷移情報と、の少なくともいずれか１つを含む、
   請求項１記載の印象度抽出装置。
6. 前記第２の期間は、ユーザが平常状態にある期間、または前記第１の期間に得られた外界情報と同一の外界情報が得られた期間である、
   請求項１記載の印象度抽出装置。
7. 前記生体情報は、ユーザの心拍数、脈拍、体温、顔の筋電、音声、脳波、皮膚電気抵抗、皮膚コンダクタンス、皮膚温度、心電図周波数、および顔画像の少なくともいずれか１つを含む、
   請求項４記載の印象度抽出装置。
8. 前記コンテンツは、前記第１の期間に記録された映像コンテンツであり、前記編集は、前記映像コンテンツの中から印象度の高いシーンを抽出して要約映像を生成する処理である、
   請求項３記載の印象度抽出装置。
9. 第１の期間にユーザに生起した感情の特性を示す第１の感情特性を取得するステップと、
   前記第１の期間とは異なる第２の期間に前記ユーザに生起した感情の特性を示す第２の感情特性と前記第１の感情特性との比較により、前記第１の期間に前記ユーザが受けた印象の強さを示す度合いである印象度を算出するステップと、
   を有する印象度抽出方法。
   

Images