JP4407198B2 - 記録再生装置、再生装置、記録再生方法および再生方法 - Google Patents

Description

この発明は、例えば、デジタルカメラ、ハードディスクレコーダ、ＤＶＤ（Digital Versatile Disc）レコーダ等の形態で用いられる画像情報の記録と再生が可能な記録再生装置やＤＶＤプレーヤなどの形態で用いられる画像情報の再生が可能な再生装置、あるいは、それらの装置で用いられる記録再生方法、再生方法に関する。

画像情報を記録するために用いられる記録媒体には、ビデオテープ、ハードディスク、ＤＶＤ等、種々の大容量記録媒体が用いられる。大容量記録媒体に記録された画像情報の中から目的とする画像の画像情報を探し出す場合には、その大容量記録媒体の再生装置において、再生、早送り、早戻しなどの種々の機能を繰り返し頻繁に用い、再生画像をユーザ自身が目で確認しながら、目的とする画像情報を探し出さなければならない。

このため、上述のような大容量記録媒体に大量の画像情報を記録した場合に、その中から目的とする画像の画像情報を探し出す場合には、手間や時間がかかる場合が多い。このような問題点に対処するため、特許文献１（特開２０００−２８５２２１号公報）には、画像を撮影する場合に、撮影者の生体情報を検出するようにし、この生体情報に基づいて、撮像者の感情の変化を検出するようにして、感情に変化を生じさせた画像のみを記録するようにして、意味のある必要な画像のみを記録するようにする方式が提案されている。

上述の特許文献１は以下の通りである。
特開２０００−２８５２２１号公報

ところで、上述した特許文献１に記載の方式は、意味のある必要な画像情報だけを自動的に記録媒体に記録させるようにするものであるが、感情の変化が小さい場合などにおいて、重要な画像が記録できなかったなどの不都合を生じさせないようにするために、感情の変化の検出精度を向上させ、感情変化が生じた場合に確実に画像を記録できるようにする方策を講じる必要がある。

そこで、例えば撮影するようにした画像情報の全部と当該画像の撮影者の生体情報とを共に記録媒体に記録して、当該生体情報に基づいて感情の変化時点を検出し、この変化時点に対応する時点の画像に再生位置を位置付けるようにすることが考えられる。つまり、生体情報をいわゆる頭出し処理のインデックス情報として用いるようにしている。

この場合、画像を漏らすことなく記録媒体に記録することができるが、生体情報は単なる頭出しのインデックスにすぎず、頭出しした後においては、その頭出し位置の前後の画像を確認して、重要な画像部分の全部を含んでいるか否かをユーザ自身が確認しなければならない。

このため、ハードディスクやＤＶＤといった大容量記録媒体に大量の画像情報が記録された場合に、記録された画像情報をユーザにとってよりメリットが生じるように利用できるようにすることが望まれている。

以上のことにかんがみ、この発明は、大容量記録媒体に画像情報が大量に記録された場合であっても、記録された画像情報を利便性よく利用できるようにするとともに、より価値のある情報として提供できるようにする装置、方法を提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明の記録再生装置は、
被写体の画像を撮像する撮像手段と、
前記撮像手段を通じて被写体の画像を撮像している場合に、撮像された画像に関連する人物から１種類以上の生体情報を検出するようにする生体情報検出手段と、
前記撮像手段からの画像情報と、前記生体情報検出手段により検出された前記生体情報と前記生体情報を解析することにより得られる感情状態を示す情報とのうちの少なくとも一方とを、取得時点を同期させるようにしてそのそれぞれを記録媒体に記録する記録手段と、
感情状態を示す情報を考慮しない通常再生を行うか、感情状態を示す情報を考慮した感情効果付き再生を行うかの指示入力を受け付ける再生種別受付手段と、
前記再生種別受付手段を通じて前記感情効果付き再生を行うことの指示入力を受け付けた場合に、前記記録媒体に感情情報を示す情報が記録されていないときには、前記記録媒体に記録されている前記生体情報を解析して感情状態を示す情報を取得する感情状態取得手段と、
目的とする感情状態を示す情報の指示入力を受け付ける受付手段と、
前記再生種別受付手段を通じて前記感情効果付き再生を行うことの指示入力を受け付けた後、前記記録媒体に記憶されている前記画像情報を再生する場合に、前記受付手段を通じて指示された前記感情状態を示す情報に基づいて、所定の画像処理を施すべき画像情報を特定する特定手段と、
前記特定手段により特定された画像情報について、所定の画像処理を施す画像処理手段と
を備える。

これにより、単に撮影するようにした画像情報であっても、例えば撮影者の感情状態に応じて、画像を再生することができ、例えば、驚いたシーンにはズーム処理を、つまらないシーンにはネガポジ反転処理を施すなどの種々の画像処理を施すようにして画像を再生するようにすることができる。

大量に記録される画像情報等を利便性よく利用でき、しかも、ユーザにとって付加価値高く画像情報等を提供することができる。

以下、図を参照しながら、この発明による装置および方法の一実施の形態について説明する。以下に説明する実施の形態においては、例えば、デジタルビデオカメラの形態で実現され、映像情報、音声情報、生体情報、感情情報を取得して記録媒体に記録することができると共に、記録媒体に記録された映像情報、音声情報を生体情報や感情情報を利用しながら再生することが可能な映像、音声、生体情報および感情記録再生装置（以下、単に記録再生装置という。）に、この発明を適用した場合を例にして説明する。

［記録装置部の構成例について］
図１は、この実施の形態の記録再生装置の構成例を説明するためのブロック図である。図１に示すように、この実施の形態の記録再生装置は、撮像部１、Ａ／Ｄコンバータ２、撮像部信号処理部３、撮像部コントローラ４、ＣＰＵ５、ＲＡＭ６、生体情報入力部７、Ａ／Ｄコンバータ８、生体情報入力部コントローラ９、感情解析処理部１０、記録部コントローラ１１、記録部１２、ネットワークインターフェイス（図１においてはネットワークＩ／Ｆと記載。）１３、表示部コントローラ１４、表示部１５、再生処理部１６、入力部１７を備え、これらがバス１８を通じて接続されて構成されたものである。

撮像部１は、レンズ機構や例えばＣＣＤ（Charge Coupled Device）のようなイメージセンサーを備え、被写体の画像を撮像し、その撮像した画像をアナログ映像信号として後段の回路に出力することができるものである。撮像部１からのアナログ映像信号は、Ａ／Ｄコンバータ２により画像データ（デジタル信号）に変換され、これが撮像部信号処理部３に供給される。

撮像部信号処理部３は、例えば、ＭＰＥＧ（Moving Picture Experts Group）方式などの画像圧縮方式を用いて画像圧縮処理を行う。この撮像部信号処理部３、および、撮像部１、Ａ／Ｄコンバータ２は、主に撮像部コントローラ４によって制御するようにされている。すなわち、撮像部コントローラ４は、撮像部１、Ａ／Ｄコンバータ２、撮像部信号処理部３からなる撮像系を制御して、被写体の画像を適正に撮像することができるようにするものである。

そして、撮像部信号処理部３において、画像圧縮処理された後の画像データは、ＣＰＵ５によって、ＲＡＭ６が作業領域として用いられ、適切な記録フォーマットの画像データに変換される。この記録フォーマットに変換された画像データが、記録部コントローラ１１に供給され、この記録部コントローラ１１によって、記録部１２のデータ格納領域に記録される。なお、記録部１２は、例えば、ハードディスクドライブや大容量記録型光ディスクであって、記録部コントローラ１１により、そのデバイスに適切な信号フォーマットで、前述の記録フォーマットに変換された画像データなどが記録される。

生体情報入力部７は、詳しくは後述もするが、この実施の形態においては、この記録再生装置のユーザである撮影者の種々の生体情報を受け付ける部分である。生体情報検出部７で受け付けられた生体情報は、Ａ／Ｄコンバータ８でデジタル信号に変換され、生体信号入力部コントローラ９およびＣＰＵ５、ＲＡＭ６によって、適切な記録フォーマットに変換され、記録部コントローラ１１によって、記録部１２に記録されることになる。

受け付けた生体情報が例えば脳波の場合には、生体情報入力部７は、数マイクロボルトの電位の変化として検出される脳波情報を増幅し、数種類の周波数帯域にフィルタリング処理を行い、デジタル信号に変換し、記録部コントローラ１１を通じて記録部１２に記録することになる。

なお、図１には図示しなかったが、この実施の形態の記録再生装置は、マイクロホン、マイクロホンで収音されたアナログ音声信号をデジタル音声信号に変換する音声信号用Ａ／Ｄコンバータ、デジタル音声信号をデータ圧縮するなどの処理を行う音声信号処理部を備え、画像の撮影に同期して、周囲の音声をも収音して、記録部１２に記録することができるものである。

また、ここでは、撮像部１を通じて取得した被写体の画像データや生体情報入力部７を通じて取得したユーザの生体情報を記録部１２に記録するものとして説明したが、これに限るものではない。

例えば、ネットワークＩ／Ｆ１３を通じてインターネットなどのネットワークに接続し、ネットワーク上に設けられた所定のサーバ装置に送信して、そのサーバ装置に画像データや生体情報、感情状態を示す情報を記憶保持させるようにするようにすることも可能である。同様にして、この実施の形態の記録再生装置とは別に設けられた記録装置にデータを記録するようにすることも可能である。

この実施の形態において、感情解析処理部１０は、記録部１２に記録された画像データや音声データを再生する場合に、再生する画像データや音声データと共に記録部１２に記録されている生体情報の供給を受けて、詳しくは後述もするように、感情モデルを解析する方法で感情状態の抽出を行う。ここで抽出された感情状態を示す情報は、再生する画像に施す画像処理の制御を行うための情報として用いられることになる。

そして、再生処理部１６は、記録部１２から出力される画像データを再生する処理を行うものであり、画像圧縮処理された画像データの伸張処理等を行って再生用の画像データを形成することができると共に、感情解析処理部１０から得られた解析結果に応じて、再生しようとする画像データに対して、例えば、ズームのような効果処理を施すことができるものである。

なお、感情状態に応じた画像のズームのような効果処理は、後述もするように、例えば、感情状態が喜びや驚きが高くなっている画像をズームするなど、感情状態に応じて施す画像効果処理を予め決めておくことにより実現することができるようにされている。

再生処理部１６において処理された画像データは、表示部コントローラ１４に供給される。表示部コントローラ１４は、表示部１５に供給する形式のアナログ映像信号を形成する。表示部１５は、ＬＣＤ（Liquid Crystal Display）などのディスプレイであり、表示部コントローラ１４からのアナログ映像信号に応じた画像を自己の表示画面に表示する。

また、図１には図示しないが、この実施の形態の記録再生装置は、音声信号の再生系、すなわち、記録部１２から読み出されたデータ圧縮されているデジタル音声信号の圧縮解凍処理を行って、アナログ音声信号に変換し、必要に応じて増幅するなどの処理を行う音声再生処理部と、この音声再生処理部からのアナログ音声信号の供給を受けて、当該アナログ音声信号に応じた音声を放音するスピーカーとを備え、記録部１２に記録された音声データについても再生することができるものである。

また、この実施の形態の記録再生装置には、数字キー、各種のファンクションキーなどを備え、ユーザからの操作入力を受け付ける入力部１７を備えている。この入力部１７を通じて受け付けた情報がバス１８を通じてＣＰＵ５に通知され、ユーザの指示に応じた処理を行うように、各部を制御することができるようにしている。

このように、この実施の形態の記録再生装置は、被写体の画像や撮影時の周囲の音声を取り込むことができると共に、撮影者の生体情報を得て、これらを取得時点を同期させて記録部１２に記録することができるものである。さらに、この実施の形態の記録再生装置は、記録部１２に記録した画像や音声を再生するに際し、記録部１２に記録されている撮影者の生体情報を感情解析処理部１０で解析することにより得られる感情状態を示す情報に応じて、再生画像に対して、ズーム処理、ネガポジ反転処理、モザイク処理、色調調整処理、画枠調整処理等の画像処理を施すことができるものである。

ここで、上述した生体情報入力部７、Ａ／Ｄコンバータ８、生体信号入力部コントローラ９のより具体的な構成例について説明する。図２に、生体情報入力部７、Ａ／Ｄコンバータ８、生体信号入力部コントローラ９のそれぞれについての構成例を示す。図２に示すように、ここでは、ユーザの生体情報として、脳波、心電、脈波（脈拍）、体温、筋電等を検出する場合を例にして説明する。

生体情報入力部７は、人間が自発的・誘発的に発する生体信号、この実施の形態においては、脳波、心電、脈波、体温、筋電などを検出するための電極（センサ）７１ａ、７１ｂ、７１ｃ、７１ｄ、７１ｅ、…と、検出された生体信号を増幅するための増幅部７２ａ、７２ｂ、７２ｃ、７２ｄ、７２ｅ、…とからなっている。ここで、電極７１ａ、７１ｂ、７１ｃ、７１ｄ、７１ｅ、…は脳波をはじめとする生体電気現象や脳磁気をはじめとする生体磁気現象を測定（検出）する機能を有する。

電極７１ａ、７１ｂ、７１ｃ、７１ｄ、７１ｅ、…を通じて検出するようにされた各生体情報は、対応する増幅部７２ａ、７２ｂ、７２ｃ、７２ｄ、７２ｅ、…に供給され、ここで増幅され、増幅後に、Ａ／Ｄコンバータ８に供給される。この実施の形態においては、Ａ／Ｄコンバータ８は、図４に示すように、供給される生体情報に応じた複数個のＡ／Ｄコンバータ８１ａ、８１ｂ、８１、８１ｄ、８１ｅ、…を備えたものであり、供給される生体情報（アナログ信号）をデジタル信号に変換する。

例えば、脳波の電位レベルは一般には５０μＶ（マイクロボルト）程度、心電の電位レベルは１ｍＶ（ミリボルト）程度と生体信号の種類により異なる。このため、各Ａ／Ｄコンバータ８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅ、…においてのＡ／Ｄ変換時の量子化ビット数は、増幅された各種生体信号の電位レベルを下回らない程度の精度を有するようにされている。

そして、Ａ／Ｄ変換された後の各生体情報は、生体情報入力部コントローラ９に供給される。生体情報入力部コントローラ９は、デジタル化された各種生体信号を受信するための受信部９１と、それらの生体情報を後段の回路部分で利用可能な信号にするための処理を行う生体信号処理部９２と、処理された生体信号をバス１８に出力するための送信部９３とから構成される。

受信部９１は、もとの生体信号が再現される程度の間隔のデジタル信号のサンプリング周波数を有し、Ａ／Ｄコンバータ８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅ、…から出力される生体情報を受信して、これを後段の生体信号処理部９２に供給する。

生体信号処理部９２は、受信部９１からの生体情報の供給を受けて、供給を受けた生体情報のそれぞれについて、例えば振幅調整や帯域通過のためのフィルタ演算処理、ＦＦＴやウェーブレット解析をはじめとする時間−周波数解析、あるいは、ニューラルネットやカオス解析をはじめとする非線形解析などを行って、後段の回路部分で利用可能な形式の信号に変換し、変換後の生体情報（生体信号）を送信部９３に供給する。

送信部９３は、バス１８に対し逐次適切なタイミングで、上述のように処理されて形成された生体信号を出力し、上述もしたように、記録部コントローラ１１を通じて記録部１２に記録するようにしている。

［感情解析処理部１０における感情解析の一例について］
次に、図１に示したように構成される記録再生装置の感情解析処理部１０において、記録部１２に記録された画像データや音声データを再生する場合に行われる解析処理の一例について説明する。

感情解析処理部１０は、図２に示したように構成される、生体情報入力部７、Ａ／Ｄコンバータ８、生体情報入力部コントローラ９を通じて測定（検出）されて、デジタル化されると共に、必要な信号処理や解析処理が行われて得られた複数の生体情報の入力を受け付け、これを解析することにより、生体情報の提供者、この実施の形態においてはこの実施の形態の記録再生装置を用いて撮影を行った撮影者の感情状態が解析される。

すなわち、感情解析処理部１０には、記録部１２に記録されている画像データや音声データを再生するようにした場合に、これら画像データや音声データと共に同期が取られて記録部１２に記憶されている生体情報が、記録部コントローラ１１を通じて読み出されて、これがバス１８を通じて供給される。

そして、感情解析処理部１０では、複数の生体情報の入力を受け付けて、これらの複数の入力を元に解析処理を行い、感情モデルで定義される複数の感情パラメータ値を出力する。感情モデルとしては、例えば２軸モデル、３軸モデル、６軸モデルがある。これらのモデルの一例を図３に示す。

２軸モデルは、最も簡易なモデルであり、図３Ａに示すように、例えば、感情状態として、快適方向または不快方向を示す第１軸と、興奮、緊張方向またはリラックス方向を示す第２軸との２軸により、感情モデルを形成し、感情状態を把握するようにするものである。

３軸モデルは、図３Ｂに示すように、感情状態として、快適方向または不快方向を示す第１軸と、興奮方向または沈静方向を示す第２軸と、緊張方向または弛緩方向を示す第３軸との３軸により、感情モデルを形成し、感情状態を把握するようにするものである。

６軸モデルは、図３Ｃに示すように、怒りの度合いを示す第１軸と、恐れの度合いを示す第２軸と、悲しみの度合いを示す第３軸と、喜びの度合いを示す第４軸と、嫌悪の度合いを示す第５軸と、驚きの度合いを示す第６軸との６軸により、感情モデルを形成し、感情状態を把握するようにするものである。

そして、感情解析処理部１０は、例えば上述した感情モデルのいずれかを用いるようにし、例えば、学習済み、あるいは、ユーザ個別に再学習を行った３層バックプロバゲーション、自己組織化マップ（SOM : Self Organizing Map）等のニューラルネットワークの手法を利用して、入力を受け付けた複数種類の生体情報から感情パラメータの解析処理を行って、感情パラメータ値（感情状態を示す情報（感情情報））を求めることになる。

このように、この実施の形態の記録再生装置の感情解析処理部１０においては、所定の感情モデルとニューラルネットワークの手法を用いて、複数種類の生体情報を解析することによって、それらの生体情報の提供元であるユーザの感情状態を感情パラメータ値として把握することが可能となる。

そして、例えば、喜びの感情が表れている期間、悲しみの感情が表れている期間、怒りの感情が表れている期間、恐れの感情が表れている期間などを把握することができるようにされる。そして、例えば、１週間、６ヶ月などの所定期間におけるユーザの感情分布、すなわち、喜びの感情が何％、悲しみの感情が何％というように、各感情の分布を把握するなどのことも可能となる。

また、生体情報を用いた感情状態の解析の具体例としては、以下のように、種々のものが考えられる。例えば、リラックス状態の評価については、生体情報として脳波を用いることができる。一般的にはα波の周波数成分とβ波の周波数成分の比をとり、α波成分の割合が大きくなるほどリラックス状態にあることが知られている。また、呼吸や心拍の周期の安定性や脈拍の振幅増加量に基づいて、評価することも可能である。

また、驚きの評価については、皮膚の電気抵抗値を用いることができる。一般的には驚きや恐怖、心配によって皮膚電気抵抗値が上昇することが知られており、この皮膚電気抵抗値によって、感情状態の１つである驚きの評価を行うことができる。また、喜びを評価する場合には、心拍数、皮膚温度（体温）、心電（心電図周波数）を用いて評価することが可能である。すなわち、喜びの感情が大きい時には、心拍数が下がり、皮膚温度が上がり、心電図周波数が上がることが知られている。

また、一般に、精神的、心理的に安定な状態にある場合は、末梢血管が拡張し動脈血が流入するため、心拍数や脈拍はゆっくりとした変化を示し、体温は上昇傾向にある。逆に、精神的、心理的に高い緊張状態にある場合は、末梢血管が収縮し動脈血流入が減るため、心拍や脈拍は速まり、体温は下降傾向にある。このような生理的な変化に応じて、感情状態を評価し、把握することが可能となる。

なお、上述のような生理指標とともに、表情による筋電の変化や画像による表情認識、加速度センサや傾斜センサなどによる姿勢認識、音声認識などを複合的に用いることによって、ユーザの怒りや悲しみなどの感情状態を評価するようにしてもよい。

すなわち、人間の顔面の筋電の変化によって、泣いているのか、笑っているのか、怒っているのかなどを把握することが可能であるし、同様に、画像による表情認識によっても泣いているのか、笑っているのか、怒っているのかなどを把握することが可能である。

また、加速度センサや傾斜センサを用いることにより、ユーザの姿勢を判断し、胸をはった状態か、前屈みの状態などかを検出することにより、感情状態を評価する場合の情報として用いることも可能である。

また、音声認識の結果を感情状態を評価する場合の情報として用いることも可能である。例えば、喜んでいる場合などには、人の声は比較的に高くなり、逆に、落ち込んでいる場合などには、人の声は比較的に低くなるという傾向にあり、これを利用することにより、感情状態を評価することが可能である。また、音声信号の大きさ（レベル）に基づいて、感情状態を評価することも可能である。

また、例えば、感情情報の解析技術として、特開平８−１１７１９９号公報には、脳波のα波ゆらぎを利用したニューラルネットワークによる覚醒度と気分の解析が開示されている。これは、心理学や精神生理学では覚醒度と気分の２つの軸が基本的な指標であるという知見を利用し、定量的な解析を行うようにしたものである。

また、ＮＩＣＯＧＲＡＰＨ 論文集pp.17-25, 1993において表情認識の報告が行われており、また、電子情報通信学会論文集D-II Vol.J77-D-II No.8 pp.1512-1521においては音声律情報などの非言語情報からユーザの感情を認識する報告を行われている。このような種々の解析方法を利用して、ユーザの感情状態を把握するようにしてももちろんよい。

このように、生体情報を用いた感情状態の解析は、種々の方式を用いることが可能であり、この実施の形態の記録再生装置の感情解析処理部１０においては、上述した方式の内の１つ以上を用いて、精度よく感情状態を示す情報を得るようにしている。

［再生処理部１６の構成と動作について］
そして、この実施の形態の記録再生装置は、上述もしたように、記録部１２に記録した画像データや音声データを再生する場合に、これらに同期して記録されている生体情報を解析することにより得られるユーザの感情状態を示す情報に基づいて、再生画像に対して所定の画像処理を施すことができるようにしている。

この感情状態を示す情報に基づく画像処理は、再生処理部１６で行われることになる。以下、この再生処理部１６の構成と動作について説明する。なお、この実施の形態においては、説明を簡単にするため、この実施の形態の記録再生装置のユーザによって、撮影時において、撮影者が感情状態として驚いていた区間の画像に対して、ズーム処理を施すように予め指示してある場合として説明する。

図４は、再生処理部１６の構成例を説明するためのブロック図である。この実施の形態の記録再生装置の再生処理部１６は、図４に示すように、イメージセレクタ１６１、メモリ１６２、画像処理部１６３、画像処理部コントローラ１６４を備えたものである。

イメージセレクタ１６１には、図４に示したように、記録部１２から読み出された画像データＶｄと、感情解析処理部１０からの感情状態を示す情報Ｅｍが供給される。イメージセレクタ１６１は、これに供給された画像圧縮されている画像データＶｄを圧縮解凍し、画像圧縮前の元の画像データを復元すると共に、感情解析処理部１０からの感情状態を示す情報に基づいて、処理対象の画像データが撮影者が驚いた状態にある区間の画像データか否か、すなわち、注目ポイントの画像データであるか否かを判別する。

そして、再生処理部１６のイメージセレクタ１６１は、感情状態を示す情報が、ユーザが驚いている状態を示している区間の画像データに対しては、ユーザが驚いている区間の画像であることを示す情報（注目ポイントであることを示す情報）を画像データに付加して後段のメモリ１６２に書き込むようにする。このように、イメージセレクタ１６１は、ユーザによって指示するようにされた感情状態と同じ感情状態を示す情報を有する区間の画像データとそれ以外の画像データとを選別する機能を有するものである。

メモリ１６２は、再生しようとする画像データのいわゆるバッファメモリである。画像処理部１６３は、画像効果設定メモリ等を備え、画像処理部コントローラ１６４によって制御され、メモリ１６２に書き込まれた画像データを読み出して、この読み出した画像データがユーザによって指示された感情状態と同じ感情状態を示す情報を有する区間の画像データである場合に、その画像データに対して、ユーザによって指示された画像処理を施すものである。

すなわち、この実施の形態の場合には、画像処理部１６３は、驚きの感情状態を示す情報が付加された画像情報に対して、ズーム効果を付与するためのズーム処理を施すようにしている。このようにして、ユーザにより指示するようにされた感情状態を示す情報を有する画像データに対して、ユーザによって指示された画像処理が施された画像データは、バス１８を通じて表示部コントローラ１４に供給され、ここでＤ／Ａ変換されてアナログ映像信号に変換され、これから表示部１５に供給する形式の映像信号が形成される。

そして、表示部コントローラ１４からの映像信号は、表示部に供給され、表示部１５の表示画面に再生画像が表示される。なお、指示された感情情報と同じ感情状態を示す情報が付与されていない区間の画像データに対しては、ユーザによって指示された画像処理は施されることはなく、通常通りの再生処理がなされる。

図５は、上述した再生処理部１６の機能により実現される通常再生と感情効果付き再生とを説明するための図である。例えば、目的の自動車が走行している様子を撮影しているときに、前方の自動車に急に接近しぶつかりそうになったため、撮影者が驚いたとする。撮影者が驚いたという事実は、撮影者の生体情報、例えば、脈波や心電などに表れる。したがって、撮影時の撮影者の生体情報を解析することにより、撮影者がどの画像を撮影しているときに驚いたのかを正確に知ることができるようにされる。

そして、感情状態を示す情報を考慮しない通常再生時においては、図５Ａに示すように、撮影画像は、撮影時のまま順に何の画像処理も施されることなく再生されることになる（通常再生）。

これに対し、上述もしたように、例えば、感情状態が驚きを示している場合を注目ポイントとし、驚きを示す感情状態を示す情報が付加された画像データに対して、ズーム処理を施すように、予め指示しておくようにして、感情状態をも考慮した再生処理（感情効果付き再生）を行うように指示したとする。

この場合には、図５Ｂに示すように、驚きを示す感情状態を示す情報が付加された最初の１画面分の画像を形成する画像データの位置が注目ポイントＴとなり、この時点から、例えば、所定期間分、あるいは、驚きを示す感情状態を示す情報が付加されていない画像データになるまでの間の画像データに対してはズーム処理が施される。もちろん、このように注目ポイントＴからズーム処理を施してもよいが、その数コマ前、あるいは、数秒前など、注目ポイントＴを基準とする所定の時点からズーム処理を開始するようにしてもよい。これにより、驚いたときに撮影された画像を効果的にユーザに提供することが可能となる。

このように、再生する画像データは全く同じものであるのに、撮影時の撮影者の感情状態を示す情報をも考慮した再生である感情効果付き再生を行うようにした場合には、指定された感情に応じて、その感情のときに撮影された画像にズームなどの所定の画像処理を施して、画像の再生処理についての付加価値を高めることができるようにされる。

［記録再生装置の動作の詳細］
次に、上述したこの実施の形態の記録再生装置の動作について、図６、図７、図８のフローチャートを参照しながら説明する。ここでは、（１）撮影時の処理、（２）画像効果設定処理、（３）感情効果付き再生処理の３つに分けて説明する。

図６は、この実施の形態の記録再生装置を用いて、撮影を行う場合の処理を説明するためのフローチャートである。生体情報入力部７の生体情報検出用の各種のセンサが撮影者に装着され、記録再生装置に電源が投入されて撮影を開始する操作が行われると、記録再生装置のＣＰＵ５は、撮像部コントローラ４を制御することにより、撮像部１、Ａ／Ｄコンバータ２、撮像部信号処理部３を制御して、被写体の画像を撮像するようにすると共に、生体情報入力部７、Ａ／Ｄコンバータ８、生体情報入力部コントローラ９を制御して、撮影者の生体情報の検出を行う（ステップＳ１０１）。

そして、ＣＰＵ５は、ＲＡＭ６を作業領域として撮像して得た画像データを記録用の画像データに変換すると共に（ステップＳ１０２）、検出して得た生体情報を記録用の生体データに変換する（ステップＳ１０３）。

この後、ＣＰＵ５は、記録部コントローラ１１を制御して、記録用の画像データと記録用の生体データとを検出時点の同期を取るようにして、記録部１２に記録する（ステップＳ１０４）。この場合、画像データは画像記録領域に、生体データはサブトラックにというように、所定の記録方式で記録されることになる。

そして、ＣＰＵ５は、撮影者により撮影の停止を指示する操作を受け付けるなど、撮影を終了させるようにする事象が発生したか否かを判断する（ステップＳ１０５）。ステップＳ１０５の判断処理において、撮影を終了させるようにする事象は発生していないと判断したときには、ステップＳ１０１からの処理を繰り返し、画像の撮影をすると共に、生体情報を検出して、これらを記録部１２に記録する処理を続行する。

ステップＳ１０５の判断処理において、撮影を終了させるようにする事象が発生したと判断したときには、ＣＰＵ５は各部を制御して動作を停止させて、撮影指示待ち状態とするようにする終了処理を行って（ステップＳ１０６）、この図６に示す処理を終了する。

このようにして、この実施の形態の記録再生装置は、撮影することにより得た画像データと、撮影時に検出される撮影者の生体情報とが、取得時点の同期が取られて記録部１２に記録される。記録部１２に記録される画像データは、この記録時にいては、ズーム処理等の画像処理がされていない、ノーマルな画像の画像データであり、これが原本画像データとして記憶保持される。

（２）画像効果設定処理について
図７は、図６を用いて上述した撮影処理により、記録部１２に記録された画像データについて、画像効果付き再生を行うための画像効果設定処理について説明するためのフローチャートである。

この実施の形態の記録再生装置は、入力部１７を通じて、例えば、表示部１５に表示されたメニューから画像効果設定処理を選択するようにすると、ＣＰＵ５が図７に示す処理を実行する。そして、ＣＰＵ５は、入力部１７を通じて、着目する感情の種別の選択入力を受け付ける（ステップＳ２０１）。このステップ２０１においては、着目する感情は、驚きなのか、喜びなのか、悲しみなのかなど、感情解析処理部１０において把握可能な感情状態のうちから目的とする感情状態は何かの選択入力を受け付ける。

次に、選択するようにされた感情状態が付与するようにされた画像データに対して施すべき画像処理（再生効果）の選択入力を受け付ける（ステップＳ２０２）。このステップＳ２０２においては、上述もしたように、着目する感情と同じ感情状態を示す情報が付加するようにされている画像データに対して施すようにする画像処理の種別、すなわち、ズーム処理、ネガポジ反転処理、モザイク処理、色調調整処理、画枠調整処理等を選択するようにするものである。

例えば、上述もしたように、「驚き」の感情状態を示す情報が付加するようにされている画像データの場合にはズーム処理を施し、また、「不快」の感情状態を示す情報が付加するようにされている画像データの場合にはネガポジ反転処理を施し、「嫌悪」の感情状態を示す情報が付加するようにされている画像データの場合にはモザイク処理を施し、また、「恐れ」や「悲しみ」の感情状態を示す情報が付加するようにされている画像データの場合には色調を明るくするなどのように選択することになる。

また、驚きの感情状態が負荷されている場合には、通常より大きな画枠の画像として表示し、感情状態が通常の場合には、通常の大きさの画枠の画像として表示し、また、不快や嫌悪の感情状態が付加されている画像は、通常よりも小さな画枠の画像として表示するなどのことも可能である。

そして、ＣＰＵ５は、選択した画像処理（目的とする再生効果）を画像に施すようにして、その画像のプレビューを行い（ステップＳ２０３）、選択した再生効果が目的通りかを確認できるようにする。この後、施す画像処理（再生効果）についての調整要求をユーザから受け付ける（ステップＳ２０４）。

そして、施す画像処理（再生効果）についての調整要求を受け付けたか否かを判断する（ステップＳ２０５）。このステップＳ２０５の判断処理において、調整要求を受け付けたと判断したときには、ＣＰＵ５は、ステップＳ２０２からの処理を繰り返し、画像処理の選択や画像処理に関する種々の条件、例えば、ズーム処理の場合の拡大倍率などについても調整することができるようにされる。

ステップＳ２０５の判断処理において、調整要求を受け付けていないと判断したときには、ＣＰＵ５は、確認入力を受け付けるようにし（ステップＳ２０６）、確認ＯＫか否かを判断する（ステップＳ２０７）。ステップＳ２０７の判断処理において、確認がＯＫ（変更なし）でないと判断したときには、ステップＳ２０１からの処理を繰り返し、目的とする感情の種別の選択から処理を行うようにする。

ステップＳ２０７の判断処理において、確認がＯＫ（変更なし）であると判断したときには、ステップＳ２０１、ステップＳ２０２で受け付けた条件を、図１には図示しないが記録再生装置が備える不揮発性メモリに記録し（ステップＳ２０８）、この図７に示す処理を終了する。

このように、この実施の形態の記録再生装置においては、ユーザ自身が、どのような感情状態にあるときに撮影した画像について、どのような画像処理を施すかをユーザ自身が選択して設定することができるようにしている。

（３）感情効果付き再生処理
図８は、図６を用いて上述した撮影処理により記録部１２に記録された画像データについて、図７を用いて上述した画像効果設定処理により設定された条件にしたがって、感情効果付き再生する場合の処理について説明するためのフローチャートである。

記録再生装置のＣＰＵは、入力部１７を通じてユーザから感情効果付き再生指示が入力されると、図８に示す処理を実行し、記録部１２から指示された一連の画像データと、これに対応する生体情報とを読み出す（ステップＳ３０１）。読み出された画像データは、再生処理部１６に供給され、圧縮解凍処理等が行われ、一方の生体データは感情解析処理部１０に供給され、感情の解析が行われ、感情状態を示す情報が再生処理部１６に供給される（ステップＳ３０２）。

そして、再生処理部１６は、図４を用いて説明したように、図７に示した処理により設定された感情の種別と、記録部１２から読み出された生体データを解析することにより得られる感情状態を示す情報とに基づいて、ユーザが指示した感情状態を示す情報が付加するようにされている画像データ（注目ポイント）を特定する（ステップＳ３０３）。

そして、再生処理部１６の画像処理部１６３により、注目ポイントの画像には、予め設定された条件に応じて、画像処理を施すようにして再生する（ステップＳ３０４）。

そして、ＣＰＵ５は、撮影者により再生の停止を指示する操作を受け付けるなど、撮影を終了させるようにする事象が発生したか否かを判断する（ステップＳ３０５）。ステップＳ３０５の判断処理において、再生を終了させるようにする事象は発生していないと判断したときには、ステップＳ３０１からの処理を繰り返し、画像の再生を行うようにする。

ステップＳ３０５の判断処理において、撮影を終了させるようにする事象が発生していると判断したときには、各部を停止させるようにする終了処理を行って、この図８に示す処理を終了する。

このように、この発明の記録再生装置においては、映像再生において、感情のポイントで、自動的に映像効果をつけることが可能になる。これにより、従来の映像再生に比べてより臨場感の増す効果再生ができ、再生される画像に付加価値を与えることもできるようにされる。

なお、上述もした実施の形態の記録再生装置は、画像データと音声データと撮影者の生体情報とを同期を取って記録部１２に記録するものとして説明したが、これに限るものではない。たとえば、生体情報検出部７で受け付けられた生体情報を、Ａ／Ｄコンバータ８でデジタル信号に変換したのち、感情解析処理部１０に供給し、ここで上述もしたように、所定の方式にしたがって感情解析を行い、この結果得られた感情状態を示す情報（感情情報）をＣＰＵ１５、ＲＡＭ１６によって、適切な記録フォーマットに変換し、これを記録部コントローラ１１によって、記録部１２に記録するようにしてもよい。

すなわち、生体情報ではなく、生体情報を解析することにより得られる感情状態を示す情報を画像データ等と共に記録するようにし、記録部１２に記録された画像データの再生に際しては、生体データの解析処理を行うことなく、記録部１２に記録されている感情状態を示す情報に基づいて、注目ポイントの特定を行って、特定された区間の画像データに対して目的とする画像処理を施すこともできる。

もちろん、記録部１２には、画像データ、音声データ、生体情報、感情状態を示す情報を同期させて記録することも可能である。そして、生体情報を用いるか、感情状態を用いるかについては、ユーザの設定に任せるようにしてもよい。

また、ネットワークＩ／Ｆ１３を通じて外部機器や外部サーバに記憶するようにした生体情報の供給を受けるようにし、これを用いることも可能である。

また、生体情報や感情状態を示す情報は、例えば、記録部１２の記録媒体のサブトラック等に記録するなど、記録の方式は種々の方式を用いることが可能である。また、画像データ、音声データ、生体情報（生体データ）、感情状態を示す情報（感情データ）との同期を取った記録は、それらの情報の記録位置によって同期を取るようにしてもよいし、タイムスタンプなどの時刻情報を用いて、各情報間の同期を取るようにするなど、適宜の方法を用いることが可能である。

また、上述した実施の形態においては、生体情報は撮影者の者を検出し、これを用いるものとして説明したが、これに限るものではない。例えば、被写体となっている人物の生体情報を用いるようにしてもよいし、撮影時において、被写体を観視している第三者の生体情報を用いるようにしてもよい。すなわち、生体情報は、画像の撮影時において、その画像について何らかの関連を有する種々の人物のものを用いることが可能である。

なお、この実施の形態においては、撮像部１、Ａ／Ｄコンバータ２、撮像部信号処理部３、撮像部コントローラ４が、撮像手段を構成し、生体情報入力部７、Ａ／Ｄコンバータ８、生体情報入力部コントローラ９が生体情報検出手段を構成し、記録部コントローラ１１、記録部１２が、記録手段を構成し、感情解析処理部１０、再生処理部１６が特定手段を構成している。

また、入力部１７が、感情状態の指示入力を受け付ける受付手段、画像処理指示手段を構成している。さらに、感情解析処理部１０、再生処理部１６と、ＣＰＵ５およびＲＡＭ６が協働することにより、抽出手段を実現し、抽出した画像データや音声データなどの情報を、記録部コントローラ１１を通じて記録部１２に記録したり、あるいは、ネットワークインターフェイス１３を通じて外部のサーバ装置などに抽出した情報を記録したりするようにすることもできる。また、ＵＳＢ（Universal Serial Bus）等のデジタルインターフェースを備えることにより、これに接続された外部記録機器に抽出した情報を出力して当該外部記録機器の記録媒体に記録するようにすることも可能である。

また、上述した実施の形態においては、記録された画像データに対して処理を施すものとして説明したが、音声データも記録されている場合には、同時にこの音声データに対して処理を施すようにしてもよい。例えば、画像データをズーム処理とともに音声データの再生レベルを大きくしたり、「嫌悪」の感情状態を示す情報が付加される場合には音声データの高音域成分を強調したり、「恐れ」や「悲しみ」の感情状態を示す情報が付加される場合には音声データの低音域成分を強調するとともにその再生レベルを小さくするなどの処理が考えられる。この場合の処理は、ＣＰＵ５により、あるいは、図１には図示しなかったが、スピーカーや外部機器などに音声信号を供給する音声信号の処理系に設けられる音声信号処理部などにより音声信号に対して目的とする処理を施すことが可能である。

［変形例］
（１）感動部分をキーにしたショートストーリー作成とコミュニケーションへの適用
図１に示した記録再生装置における再生時に、感動部分の前後の画像データ、音声データを抽出するようにして、抽出した画像データ、音声データをつなぎ合わせるようにすることで、いわゆるショートストーリーをユーザの手を煩わせることなく簡単に作成することができる。

また、図１に示した記録再生装置に、外部機器との接続端子を設け、例えば、ＧＰＳ（Global Positioning System）装置を接続できるようにしておき、撮影時の位置についても画像データや生体データと同期させて記録しておくようにすることで、再生時において、行動情報として、撮影時の位置情報を地図データと共に表示するようにし、移動状態のトレース表示を記録画像の再生中に同時に行うようにしてもよい。

また、ストーリーのためのナレーション、文字情報を収録された音声から抽出し、利用するようにしてもよい。

また、ストーリーの作成は、スクリプトなどで大まかな流れを事前に指定でき、例えば悲しく落ち込んでいる状態から明るく希望を持っている状態などの流れを作成することができる。

このようにして作成したショートストーリーを、コミュニケーションの一形態として、既存のインターネットシステム(Ｗｅｂ、電子メールなど)で利用するようにすることも可能である。

つまり、画像の再生時において、感情状態を示す情報に基づいて、再生画像にズームなどの画像処理を施すようにする使い方だけでなく、感情状態を示す情報に基づいて、必要な画像だけを抽出し、新たなコンテンツを作ることも可能である。換言すれば、感情状態を示す情報を用いた編集装置を実現することができる。

（２）感情による複数コンテンツのリンク
図１に示した記録再生装置において、記録部１２に蓄積された画像情報に対し、位置や時間、サービスなどで分類した複数のコンテンツを、指定するようにした感情状態を示す情報に応じて抽出するようにして再生することも可能である。例えば、テーマパークのあるアトラクションで、複数の体験客に対し、驚きのポイントでそのときの映像を抽出し、驚きの体験集を作成するなどのことが簡単にできるようにされる。

（３）装置の変形例
また、図１に示した記録再生装置において、撮像して記録部１２に記録した画像データの再生時において、再生画像の視聴者の生体情報を検出し、これを再生画像と同期を取って記録部１２に記録するようにすることにより、再生時における視聴者の生体情報に応じて、画像処理を施す画像や画像区間を特定するようにし、これ以降の再生時に前の再生時に記録するようにした生体情報に応じて画像処理を施すようにすることもできる。

このような利用の仕方に限る場合には、図１に示した記録再生装置の撮像部１、Ａ／Ｄコンバータ２、撮像部信号処理部３、撮像部コントローラ４を設けない記録再生装置を構成し、これを利用するようにすることができる。この場合、記録部１２は、例えば、記録再生装置への着脱可能な記録媒体が用いられ、他の記録装置により記録された画像データに対して、後から視聴者の生体情報、あるいは、生体情報を解析することにより得られる感情状態を示す情報を同期を取って記録し、後から記録した生体情報を用いて画像処理を施すようにすることができるようにされる。

また、撮影時において、あるいは、再生時において、画像データと、撮影者あるいは再生画像の視聴者の生体情報、あるいは、当該生体情報を解析することにより得られる感情状態を示す情報とを同期を取って記録した記録媒体を作成しておくことにより、撮像機能や生体情報の検出機能を備えない再生装置を用いた場合でも、再生時に画像データとともに記録されている生体情報や生体情報を解析することにより得られる感情状態を示す情報に応じて画像処理を施した画像を再生するようにして、これを利用することができるようにされる。

この場合には、例えば、画像データと音声データとからなる映画のコンテンツに、さらに、その映画の監督や映画の原作者や脚本家などのその映画の視聴時の生体情報、あるいは、この生体情報を解析することにより得られる感情状態を示す情報を同期を取って記録しておくことにより、一般のエンドユーザが、映画監督や原作者や脚本家の視点を感じながら、その映画のコンテンツを楽しむことができるようにされる。

なお、このようなコンテンツを利用する場合には、再生機能を備えた装置があればよいことになる。したがって、図１に示した記録再生装置の撮像部１、Ａ／Ｄコンバータ２、撮像部信号処理部３、撮像部コントローラ４、生体情報入力部７、Ａ／Ｄ変換部９を備えない再生装置を構成し、これを提供するようにしてもよい。この場合、記録媒体に画像データと同期が取られて感情状態を示す情報が記録されている場合には、感情解析処理部１０も不要になる。

このように、画像の記録時、あるいは、再生時などにおいて、同時に撮影者や視聴者の生体情報を検出するようにし、この検出した生体情報から驚き、怒り、恐怖、喜びなどの人間の高度情報である感情状態を示す情報（感情情報）を同期を取って記録するようにしておくことにより、記録した画像の再生時において、その感情情報に基づいて、予め決められた画像処理を行いながら映像再生し、自動的に感情情報に基づいた効果付きの画像再生を行うようにすることができる。すなわち、従来なかった画像の提供態様で画像を提供することができる。また、記録した画像を、これに対応する感情情報に基づいて自動編集を行うことも可能となる。

［その他］
［用いる生体情報の種類について］
上述した実施の形態においては、測定する生体情報としては、その一例として、脳波、心電、脈波、体温、筋電を用いるものとして説明したが、これに限るものではない。例えば、呼吸数や呼吸量等の呼吸情報、血圧情報、皮膚の発汗情報、皮膚抵抗情報、体動情報、脳磁図情報、瞳孔径、マイクロバイブレーション情報、生化学反応情報など種々のものを用いることが可能である。

すなわち、用いることが可能な、生体情報としては、心拍情報、脈拍情報、呼吸情報、血圧情報、心電図情報、脳波情報、皮膚の発汗情報、皮膚抵抗情報、体動情報、脳磁図情報、筋電情報、体表面温度、瞳孔径の大きさ、マイクロバイブレーション情報、生化学反応情報などの種々のものの１つ以上を用いるようにし、この測定した生体情報を解析することにより、感情状態を把握するようにすればよい。

また、人間の身体が自発的、誘発的に発する上述した生体情報を解析することにより、感情状態を把握する場合に限るものではない。例えば、所定のリズムで操作ボタンスイッチを一定時間、押下操作することを要求するようにし、所定のリズムに対するユーザの操作ボタンスイッチの押下操作リズムのずれを検出することにより、ユーザの感情の安定度や興奮度などを把握するようにしたり、また、所定時間内に操作ボタンスイッチをできるだけ多く押下操作することを要求するようにし、その押下操作の回数により、ユーザの感情の安定度や興奮度などを把握するようにしたりするなど、ユーザの操作入力を受け付けて、その入力情報に基づいて当該ユーザの感情状態を把握するようにしてもよい。

すなわち、生体情報は、心拍、心電、脳波などのユーザの身体が自発的、誘発的に発する情報だけでなく、上述のように、押下ボタンスイッチの押下リズムや押下回数などのユーザの意思によって行われるユーザの動作から得られる情報も広義には生体情報であり、このようなユーザの能動的な動作から得られるユーザについての情報も生体情報として用いることが可能である。

また、さらに、ユーザの姿勢や体動といったユーザの身体の位置や動きを生体情報として検知して、これを感情状態を示す情報を得るための情報として用いるようにすることも可能である。

この発明の一実施の形態が適用された記録再生装置を説明するためのブロック図である。 図１に示した記録装置部の生体情報入力部７、Ａ／Ｄコンバータ８、生体情報入力コントローラ９について説明するためのブロック図である。 感情解析のためのモデルについて説明するための図である。 図１に示した記録再生装置の再生処理部１６を説明するためのブロック図である。 図１に示した記録再生装置により記録された画像データを通常再生で再生した場合の例と感情効果付き再生で再生した場合の例を示す図である。 図１に示した記録再生装置の撮影時の処理を説明するためのフローチャートである。 図１に示した記録再生装置の画像効果設定処理を説明するためのフローチャートである。 図１に示した記録再生装置の感情効果付き再生処理を説明するためのフローチャートである。

符号の説明

１…撮像部、２…Ａ／Ｄコンバータ、３…撮像部信号処理部、４…撮像部コントローラ、５…ＣＰＵ、６…ＲＡＭ、７…生体情報入力部、８…Ａ／Ｄコンバータ、９…生体情報入力部コントローラ、１０…感情解析処理部、１１…記録部コントローラ、１２…記録部、１３…ネットワークインターフェイス、１４…表示部コントローラ、１５…表示部、１６…再生処理部、１７…入力部、１８…システムバス

Claims (14)

1. 被写体の画像を撮像する撮像手段と、
   前記撮像手段を通じて被写体の画像を撮像している場合に、撮像された画像に関連する人物から１種類以上の生体情報を検出するようにする生体情報検出手段と、
   前記撮像手段からの画像情報と、前記生体情報検出手段により検出された前記生体情報と前記生体情報を解析することにより得られる感情状態を示す情報とのうちの少なくとも一方とを、取得時点を同期させるようにしてそのそれぞれを記録媒体に記録する記録手段と、
   感情状態を示す情報を考慮しない通常再生を行うか、感情状態を示す情報を考慮した感情効果付き再生を行うかの指示入力を受け付ける再生種別受付手段と、
   前記再生種別受付手段を通じて前記感情効果付き再生を行うことの指示入力を受け付けた場合に、前記記録媒体に感情情報を示す情報が記録されていないときには、前記記録媒体に記録されている前記生体情報を解析して感情状態を示す情報を取得する感情状態取得手段と、
   目的とする感情状態を示す情報の指示入力を受け付ける受付手段と、
   前記再生種別受付手段を通じて前記感情効果付き再生を行うことの指示入力を受け付けた後、前記記録媒体に記憶されている前記画像情報を再生する場合に、前記受付手段を通じて指示された前記感情状態を示す情報に基づいて、所定の画像処理を施すべき画像情報を特定する特定手段と、
   前記特定手段により特定された画像情報について、所定の画像処理を施す画像処理手段と
   を備える記録再生装置。
2. 再生画像を観視している人物から１種類以上の生体情報を検出するようにする生体情報検出手段と、
   前記再生画像の画像情報と、前記生体情報検出手段により検出された前記生体情報と前記生体情報を解析することにより得られる感情状態を示す情報とのうちの少なくとも一方とを、同期させるようにしてそのそれぞれを記録媒体に記録するようにする記録手段と、
   感情状態を示す情報を考慮しない通常再生を行うか、感情状態を示す情報を考慮した感情効果付き再生を行うかの指示入力を受け付ける再生種別受付手段と、
   前記再生種別受付手段を通じて前記感情効果付き再生を行うことの指示入力を受け付けた場合に、前記記録媒体に感情情報を示す情報が記録されていないときには、前記記録媒体に記録されている前記生体情報を解析して感情状態を示す情報を取得する感情状態取得手段と、
   目的とする感情状態を示す情報の指示入力を受け付ける受付手段と、
   前記再生種別受付手段を通じて前記感情効果付き再生を行うことの指示入力を受け付けた後、前記記録媒体に記憶されている前記画像情報を再生する場合に、前記受付手段を通じて指示された前記感情状態を示す情報に基づいて、所定の画像処理を施すべき画像情報を特定する特定手段と、
   前記特定手段により特定された画像情報について、所定の画像処理を施す画像処理手段と
   を備える記録再生装置。
3. 請求項１または請求項２に記載の記録再生装置であって、
   前記特定手段により特定された画像情報に対して施すべき所定の画像処理の指示入力を受け付ける画像処理指示手段を備え、
   前記画像処理手段は、前記特定手段により特定される画像情報に対して、前記画像処理指示手段を通じて指示された画像処理を施す記録再生装置。
4. 請求項１、請求項２または請求項３に記載の記録再生装置であって、
   前記所定の画像処理は、再生画像に対するズーム処理、ネガポジ反転処理、モザイク処理、色調調整処理、画枠調整処理の内のいずれかである記録再生装置。
5. 画像情報と、前記画像情報の記録または再生に同期して検出される前記画像情報に対して関連性を有する人物の生体情報と当該生体情報を解析することにより得られる感情状態を示す情報とのうちの少なくとも一方とが、同期を維持するようにそのそれぞれが記録された記録媒体から、前記画像情報を再生する再生装置であって、
   感情状態を示す情報を考慮しない通常再生を行うか、感情状態を示す情報を考慮した感情効果付き再生を行うかの指示入力を受け付ける再生種別受付手段と、
   前記再生種別受付手段を通じて前記感情効果付き再生を行うことの指示入力を受け付けた場合に、前記記録媒体に感情情報を示す情報が記録されていないときには、前記記録媒体に記録されている前記生体情報を解析して感情状態を示す情報を取得する感情状態取得手段と、
   目的とする感情状態を示す情報の指示入力を受け付ける受付手段と、
   前記再生種別受付手段を通じて前記感情効果付き再生を行うことの指示入力を受け付けた後、前記記録媒体に記憶されている前記画像情報を再生する場合に、前記受付手段を通じて指示された前記感情状態を示す情報に基づいて、所定の画像処理を施すべき画像情報を特定する特定手段と、
   前記特定手段により特定された画像情報について、所定の画像処理を施す画像処理手段と
   を備える再生装置。
6. 請求項５に記載の再生装置であって、
   前記特定手段により特定された画像情報に対して施すべき所定の画像処理の指示入力を受け付ける画像処理指示手段を備え、
   前記画像処理手段は、前記特定手段により特定される画像情報に対して、前記画像処理指示手段を通じて指示された画像処理を施す再生装置。
7. 請求項５または請求項６に記載の再生装置であって、
   前記所定の画像処理は、再生画像に対するズーム処理、ネガポジ反転処理、モザイク処理、色調調整処理、画枠調整処理の内のいずれかである再生装置。
8. 撮像手段を通じて被写体の画像を撮像すると共に、撮像される画像に関連する人物から生体情報検出手段を通じて１種類以上の生体情報を検出するようにする目的情報取得ステップと、
   前記目的情報取得ステップにおいて取得した、前記画像の画像情報と、前記生体情報と前記生体情報を解析することにより得られる感情状態を示す情報とのうちの少なくとも一方とを、取得時点を同期させるようにしてそのそれぞれを、記録手段が記録媒体に記録する記録ステップと、
   感情状態を示す情報を考慮しない通常再生を行うか、感情状態を示す情報を考慮した感情効果付き再生を行うかの指示入力を、再生種別受付手段を通じて受け付ける再生種別受付ステップと、
   前記再生種別受付ステップを通じて前記感情効果付き再生を行うことの指示入力を受け付けた場合に、前記記録媒体に感情情報を示す情報が記録されていないときには、感情状態取得手段が、前記記録媒体に記録されている前記生体情報を解析して感情状態を示す情報を取得する感情状態取得ステップと、
   目的とする感情状態を示す情報の指示入力を受付手段が受け付ける受付ステップと、
   前記再生種別受付ステップにおいて前記感情効果付き再生を行うことの指示入力を受け付けた後、前記記録媒体に記録されている前記画像情報を再生する場合に、前記受付ステップにおいて受け付けた前記指示入力に応じた前記感情状態を示す情報に基づいて、特定手段が、所定の画像処理を施すべき画像情報を特定する特定ステップと、
   前記特定ステップにおいて特定した画像情報について、画像処理手段が、所定の画像処理を施して再生するようにする画像処理ステップと
   を有することを特徴とする記録再生方法。
9. 再生画像を観視している人物から生体情報検出手段を通じて１種類以上の生体情報を検出するようにする生体情報検出ステップと、
   前記再生画像の画像情報と、前記生体情報検出ステップにおいて検出した前記生体情報と前記生体情報を解析することにより得られる感情状態を示す情報とのうちの少なくとも一方とを、同期させるようにしてそのそれぞれを、記録手段が記録媒体に記録するようにする記録ステップと、
   感情状態を示す情報を考慮しない通常再生を行うか、感情状態を示す情報を考慮した感情効果付き再生を行うかの指示入力を、再生種別受付手段を通じて受け付ける再生種別受付ステップと、
   前記再生種別受付ステップを通じて前記感情効果付き再生を行うことの指示入力を受け付けた場合に、前記記録媒体に感情情報を示す情報が記録されていないときには、感情状態取得手段が、前記記録媒体に記録されている前記生体情報を解析して感情状態を示す情報を取得する感情状態取得ステップと、
   目的とする感情状態を示す情報の指示入力を受付手段が受け付ける受付ステップと、
   前記再生種別受付ステップにおいて前記感情効果付き再生を行うことの指示入力を受け付けた後、前記記録媒体に記憶されている前記画像情報を再生する場合に、前記受付ステップにおいて受け付けた前記指示入力に応じた前記感情状態を示す情報に基づいて、特定手段が、所定の画像処理を施すべき画像情報を特定する特定ステップと、
   前記特定ステップにおいて特定した画像情報について、画像処理手段が、所定の画像処理を施す画像処理ステップと
   を備えることを特徴とする記録再生方法。
10. 請求項８または請求項９に記載の記録再生方法であって、
    前記特定ステップにおいて特定した画像情報に対して施すべき所定の画像処理の指示入力を、画像処理指示手段を通じて受け付ける画像処理指示ステップを有し、
    前記画像処理ステップにおいて、前記画像処理手段は、前記特定ステップにおいて特定した画像情報に対して、前記画像処理指示ステップにおいて受け付けた前記指示入力に応じた画像処理を施すことを特徴とする記録再生方法。
11. 請求項８、請求項９または請求項１０に記載の記録再生方法であって、
    前記所定の画像処理は、再生画像に対するズーム処理、ネガポジ反転処理、モザイク処理、色調調整処理、画枠調整処理の内のいずれかである記録再生方法。
12. 画像情報と、前記画像情報の記録または再生に同期して検出される前記画像情報に対して関連性を有する人物の生体情報と当該生体情報を解析することにより得られる感情状態を示す情報とのうちの少なくとも一方とが、同期を維持するようにしてそのそれぞれが記録された記録媒体から、前記画像情報を再生する再生方法であって、
    感情状態を示す情報を考慮しない通常再生を行うか、感情状態を示す情報を考慮した感情効果付き再生を行うかの指示入力を、再生種別受付手段を通じて受け付ける再生種別受付ステップと、
    前記再生種別受付ステップを通じて前記感情効果付き再生を行うことの指示入力を受け付けた場合に、前記記録媒体に感情情報を示す情報が記録されていないときには、感情状態取得手段が、前記記録媒体に記録されている前記生体情報を解析して感情状態を示す情報を取得する感情状態取得ステップと、
    目的とする感情状態を示す情報の指示入力を受付手段が受け付ける受付ステップと、
    前記再生種別受付ステップにおいて前記感情効果付き再生を行うことの指示入力を受け付けた後、前記記録媒体に記憶されている前記画像情報を再生する場合に、前記受付ステップにおいて受け付けた前記指示入力に応じた前記感情状態を示す情報に基づいて、特定手段が、所定の画像処理を施すべき画像情報を特定する特定ステップと、
    前記特定ステップにおいて特定された画像情報について、画像処理手段が、所定の画像処理を施して再生するようにする画像処理ステップと
    を有することを特徴とする再生方法。
13. 請求項１２に記載の再生方法であって、
    前記特定ステップにおいて特定した画像情報に対して施すべき所定の画像処理の指示入力を、画像処理指示手段を通じて受け付ける画像処理指示ステップを有し、
    前記画像処理ステップにおいて、前記画像処理手段は、前記特定ステップにおいて特定した画像情報に対して、前記画像処理指示ステップにおいて受け付けた前記指示入力に応じた画像処理を施すことを特徴とする再生方法。
14. 請求項１２または請求項１３に記載の再生方法であって、
    前記所定の画像処理は、再生画像に対するズーム処理、ネガポジ反転処理、モザイク処理、色調調整処理、画枠調整処理の内のいずれかである再生方法。

Images