JP4284538B2

JP4284538B2 - 再生装置および再生方法

Info

Publication number: JP4284538B2
Application number: JP2004303659A
Authority: JP
Inventors: 克弥白井; 曜一郎佐古; 俊郎寺内; 真井上; 正道飛鳥井; 堅一牧野; 基行高井; 靖宮島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-10-19
Filing date: 2004-10-19
Publication date: 2009-06-24
Anticipated expiration: 2024-10-19
Also published as: CN100484465C; CN1762299A; JP2006115865A; US8641616B2; KR20060052201A; US20060094934A1

Description

この発明は、対象者の生体情報にしたがって、音響や映像を最適に再生できる再生装置および再生方法に関する。

対象者の生体情報をセンサにより検出し、この検出した生体情報からその対象者の感情や心理状態を推定することが考えられている。

例えば、対象者の身体に心電位検出手段や脈拍センサを装着して心拍数や脈拍数を測定し、その変動から対象者の緊張度あるいは感情の変化を推定する方法がある（例えば、特許文献１および２参照）。

また、対象者の指先や手首に直接に装着したセンサ、あるいはネックレス、めがね、カード、歩数計などに装着したセンサにより、心拍や脈拍を測定して緊張度や感情の変化を推定する方法もある。あるいは、対人交渉の際の相手と自分の脈拍数の一致度を評価し、相手との同調度（引き込み現象における引き込みの程度）を推定する方法もある（例えば、特許文献２および３参照）。

さらに、対象者の目に赤外線を照射し、その反射光の光量変化から対象者の瞬きを検出し、居眠りや興味などの心理状態を推定する方法もある（例えば、特許文献４参照）。また、対象者に超音波を照射し、その反射波のレベル変化から対象者の身体の動きを捕らえ、居眠りなどを推定する方法もある（例えば、特許文献５参照）。

なお、上記の文献は次のとおりである。
特開平７−３２３１６２号公報特開２００２−２３９１８号公報特開平１１−４８９２号公報特開２００２−３５５２３８号公報特開平４−２１２３３１号公報

しかし、上述の方法により心理状態を推定する場合、接触式の生体情報センサのときには、センサを装着することが煩わしいばかりでなく、装着したことによりセンサを意識してしまい、心理的な影響が測定結果に現れてしまう。また、非接触式の生体情報センサのときには、人体に赤外線や超音波を長時間にわたって照射することになるので、人体への影響を無視できないことがある。

この発明は、以上のような点を考慮し、対象者にセンサを装着することの煩わしさやセンサそのものを意識させずに、音響や映像を対象者にとって最適な状態で再生できるようにしようとするものである。

この発明においては、
ビデオ信号およびオーディオ信号の少なくとも一方の信号を再生する再生手段と、
この再生手段により再生される信号を変化させる変更手段と、
上記再生手段を利用しているユーザの顔面を撮像するビデオカメラ（赤外線ビデオカメラを含む）と、
このビデオカメラの撮像出力から上記ユーザの単位時間あたりの呼吸数および単位時間あたりの瞬目数を解析する生体情報解析回路と、
この生体情報解析回路の解析した結果にしたがって上記変更手段を制御するマイクロコンピュータと
を有し、
上記マイクロコンピュータは、
上記生体情報解析回路の解析した上記呼吸数から
Ｒ＝Ｒrm−Ｒrr
Ｒrm：上記単位時間あたりの上記呼吸数の測定値
Ｒrr：上記単位時間あたりの上記呼吸数の初期値または標準値
で示される値Ｒを上記ユーザの覚醒度として推定するとともに、
上記生体情報解析回路の解析した上記瞬目数から
Ｎ＝−（Ｎebm−Ｎeb_init）
Ｎebm ：瞬きの回数の測定値
Ｎeb_init：瞬きの回数の初期値または標準値
で示される値Ｎを上記ユーザの集中度として推定し、
この推定した覚醒度および集中度が、
覚醒度＞０、かつ、集中度＞０のときには、上記再生手段による再生状態をそのままに維持し、
覚醒度＞０、かつ、集中度＜０のときには、上記再生手段により再生される映像あるいは音響を弱めるように制御し、
覚醒度＜０、かつ、集中度＞０のときには、上記再生手段により再生される映像あるいは音響を強めるように制御し、
覚醒度＜０、かつ、集中度＜０のときには、上記再生手段により再生される映像あるいは音響を弱めるように制御する
ようにした再生装置
とするものである。

この発明によれば、対象者の覚醒度および対象への集中度（あるいは興味）を推定することができるとともに、その推定結果により対象者のそのときの心理状態に最適な状態で映像あるいは音響を再生することができる。

そして、その場合、非接触・非拘束で対象者の生体情報を得ることができ、対象者に心理的な負担や肉体的な負担を負わせることがなく、測定結果に影響の現れることがない。また、長時間にわたって測定を行っても、対象者の人体に影響を与えることがない。

この発明においては、非接触・非拘束で対象者の生体情報を取得し、この取得した生体情報から対象者の心理状態や情動を推定し、また、その推定結果に応じて対象者の環境に変化を与えるものである。

〔１〕映像音響再生装置の例（その１）
図１はこの発明を映像音響再生装置に適用した場合の一例を示す。この映像音響再生装置は、対象者である視聴者の心理状態を表す指標として覚醒度および対象への集中度を求め、この覚醒度および集中度に応じて再生される映像や音響を制御するものである。

このため、映像音響再生装置は、視聴者（対象者）から非接触・非拘束で生体情報を取得する生体情報センサとして、この例においては、サーモグラフィ（赤外線ビデオカメラ）１１を有する。そして、このサーモグラフィ１１により、例えば図２Ａあるいは図３Ａに示すように、視聴者の顔面の表面温度が測定され、その測定出力が生体情報解析回路１３に供給される。

この場合、視聴者が目を開けているときには、目を含む領域Ａ（図２Ａの白枠内）は、眼球のため顔面よりも温度が低い。しかし、視聴者が目を閉じたときには、眼球が瞼で覆われるため、領域Ａは顔面と同程度の温度となる。

図２Ｂは、領域Ａの温度をサーモグラフィにより測定した場合の測定結果の一例を示すもので、横軸ｔはビデオ信号のフレーム数を単位とする時間、縦軸Ｔは領域Ａの温度である。そして、この測定結果のうち、温度が低くなっている部分は、瞼を開けたときであり、温度が高くなっている部分は、瞼を閉じたときである。そこで、解析回路１３において、サーモグラフィ１１の測定出力のうち、領域Ａの温度を示す値と、領域Ａの周囲の顔面の温度を示す値とが比較されて単位時間あたりの瞬目の回数を示す解析結果が取り出される。

さらに、視聴者が呼吸をすると、呼気のときには、体内で温められた空気が鼻孔から出ていくので、鼻孔付近（図３Ａに黒枠で示す領域Ｂ）の体表面温度は上がり、吸気のときには、温度の低い空気が鼻孔から体内に入っていくので、鼻孔付近の体表面温度は下がる。

図３Ｂは、領域Ｂの温度をサーモグラフィにより測定した場合の測定結果の一例を示すもので、横軸ｔはビデオ信号のフレーム数を単位とする時間、縦軸Ｔは領域Ｂの体表面温度である。そして、この測定結果のうち、温度が高くなっている部分は、呼気の期間であり、温度が低くなっている部分は、吸気の期間である。そこで、解析回路１３において、サーモグラフィ１１の測定出力のうち、領域Ｂの温度を示す値と、領域Ｂの周囲の顔面の温度を示す値が比較されて呼吸数を示す解析結果が取り出される。

そして、この瞬目数および呼吸数の解析結果がマイクロコンピュータ２０に供給され、瞬目数および呼吸数の変化から視聴者の覚醒度および対象への集中度が算出され、その結果にしたがって映像および音響が適切に再生される。すなわち、マイクロコンピュータ２０は、プログラムを実行するＣＰＵ２１と、各種のプログラムの書き込まれたＲＯＭ２２と、ワークエリア用のＲＡＭ２３とを有し、これらがシステムバス２９を通じて互いに接続されている。

この場合、ＲＯＭ２２には、ＣＰＵ２１が実行するプログラムの一部として、例えば図４に示すようなルーチン１００も用意される。このルーチン１００の詳細については後述するが、ルーチン１００は、視聴者の生体情報に基づいて視聴者が映像や音響を心地よく感じるように、ビデオ信号あるいはオーディオ信号を制御するためのものである。なお、図４においては、ルーチン１００は、この発明に関係する部分だけを抜粋して示している。

さらに、マイクロコンピュータ２０は、大容量の記録装置としてハードディスク装置２４と、キーボードやマウスなどのユーザインターフェイス２５とを有し、これらもシステムバス２９に接続されている。また、ビデオ信号およびオーディオ信号の信号源として、この例においては、ＤＶＤプレーヤ３６が用意され、このＤＶＤプレーヤ３６は、映像音響制御回路２７を通じてシステムバス２９に接続されている。

この場合、映像音響制御回路２６は、ＤＶＤプレーヤ３６により再生されたビデオ信号を制御して表示される映像の状態、例えばコントラスト、明るさ、色相、色飽和度などを変更するとともに、ＤＶＤプレーヤ３６の再生速度なども制御するものである。さらに、映像音響制御回路２６は、ＤＶＤプレーヤ３６により再生されたオーディオ信号を制御して再生される音響の音量、周波数特性、残響などを制御するものである。

また、システムバス２９には表示制御回路２７を通じてディスプレイ３７が接続され、映像音響制御回路２６から出力されたビデオ信号が表示制御回路２７により表示用の信号に変換され、この表示信号がディスプレイ３７に供給される。さらに、システムバス２９には音響処理回路２８が接続され、この処理回路２８を通じてスピーカ３８にオーディオ信号が供給されるとともに、マイクロフォン３９からのオーディオ信号が音響処理回路２８を通じてマイクロコンピュータ２０に取り込まれる。

さらに、この装置や他の同様の装置により測定した視聴者の生体情報やデータをそれらの装置との間でやりとりするため、送受信回路３１および通信回路３２がシステムバス２９に接続され、通信回路３２は他のネットワーク、例えばインターネット４０に接続される。

このような構成において、ユーザインターフェイス２５を操作すると、ＤＶＤプレーヤ３６によりビデオ信号およびオーディオ信号が再生され、そのビデオ信号が、映像音響制御回路２６および表示制御回路２７を通じてディスプレイ３７に供給されて映像が表示されるとともに、オーディオ信号が、映像音響制御回路２６および音響処理回路２８を通じてスピーカ３８に供給されて音響が再生される。

そして、このとき、ＣＰＵ２１によりルーチン１００が実行されて、ディスプレイ３７の映像およびスピーカ３８の音響に対する視聴者の覚醒度および集中度が算出され、この算出結果により、視聴者が映像や音響を心地よく感じるように、その映像および音響が制御される。

すなわち、ルーチン１００が実行されると、ステップ１０１において、生体情報解析回路１３からの解析結果（瞬目数および呼吸数）がマイクロコンピュータ２０に取り込まれ、次にステップ１０２においてステップ１０１により取り込まれた解析結果から覚醒度および集中度が算出される。この算出方法については、〔３〕により後述するが、それぞれ正および負の極性を取り得るアナログ値として算出される。

続いて、処理はステップ１０３に進み、このステップ１０３において、ステップ１０２により算出された覚醒度および集中度の極性が判別され、その極性の組み合わせにしたがって処理が分岐される。すなわち、覚醒度が正および負の値を取り得るとともに、集中度も正および負の値を取り得るので、覚醒度および集中度を２次元の座標により表現すると、図５に示すようになり、このとき、
領域１は、覚醒度＞０、かつ、集中度＞０（覚醒度が高く、興味もある）
領域２は、覚醒度＞０、かつ、集中度＜０（覚醒度が高いが、興味がない）
領域３は、覚醒度＜０、かつ、集中度＞０（覚醒度が低くいが、興味はある）
領域４は、覚醒度＜０、かつ、集中度＜０（覚醒度が低く、興味もない）
となる。

そこで、覚醒度および集中度が領域１に含まれる場合には、このときの映像および音響を心地よく感じていると視聴者の心理状態を推定し、処理はステップ１０３からステップ１１１に進む。そして、ステップ１１１においては、ディスプレイ３７およびスピーカ３８に供給されるビデオ信号およびオーディオ信号を変更することなくステップ１０１に戻る。つまり、領域１の場合には、視聴者がこのときの映像および音響に満足していると判断し、それらの再生状態を変更しない。

しかし、覚醒度および集中度が領域２に含まれる場合には、このときの映像および音響に興味がないと視聴者の心理状態を推定し、処理はステップ１０３からステップ１１２に進む。そして、ステップ１１２において、例えば、ディスプレイ３７に供給されるビデオ信号の直流レベルや交流レベルを下げてディスプレイ３７に表示される映像の輝度やコントラストを下げる。また、スピーカ３８に供給されるオーディオ信号のレベルを下げたり、周波数特性を変更するなどしてスピーカ３８から出力される音響の音量を下げたり、低域や高域を弱めたり、あるいはリズムを弱めたりする。そして、その後、処理はステップ１０１に戻る。

なお、ステップ１１２により設定した状態が所定の期間にわたって続くときには、視聴者の覚醒度および集中度が改善されないときなので、このときには、ステップ１１２により、例えば映像および音響の再生が停止される。

さらに、覚醒度および集中度が領域３に含まれる場合には、処理はステップ１０３からステップ１１３に進み、このステップ１１３において、覚醒度を高めて満足度を高めたり、集中度を高めたりするため、ステップ１１２とは逆に、例えば、ディスプレイ３７に供給されるビデオ信号の直流レベルや交流レベルを上げてディスプレイ３７に表示される映像の輝度やコントラストを上げる。また、スピーカ３８に供給されるオーディオ信号のレベルを上げたり、周波数特性を変更するなどしてスピーカ３８から出力される音響の音量を上げたり、低域や高域を強めたり、あるいはリズムを強調したりし、その後、ステップ１０１に戻る。

なお、例えば視聴者がユーザインターフェイス２５を通じて就寝モードに設定している場合に、この領域３の状態になったときには、視聴者の安眠を妨げないため、このときの再生状態を維持する。

また、覚醒度および集中度が領域４に含まれる場合には、このときの映像および音響を不満に感じていると視聴者の心理状態を推定し、処理はステップ１０３からステップ１１２に進み、領域２の場合と同様、視聴者の不満を取り除く。

したがって、ルーチン１００によれば、視聴者は映像および音響を常に心地よく視聴することができる。

こうして、上述の映像音響再生装置によれば、視聴者（対象者）の覚醒度および対象への集中度を推定することができるとともに、その推定結果により視聴者のそのときの心理状態に最適な状態で映像および音響を再生することができる。

そして、その場合、非接触・非拘束で視聴者の生体情報を得ることができるので、視聴者はセンサを装着することの煩わしさを感じることがなく、また、センサを意識することもない。したがって、測定結果に心理的な影響の現れることがない。また、生体情報の測定はサーモグラフィ１１により行っているので、長時間にわたって測定を行っても、人体に影響を与えることがない。

〔２〕映像音響再生装置の例（その２）
図６は、〔１〕により説明した映像音響再生装置において、非接触・非拘束の生体情報センサとして通常のビデオカメラ１２を使用する場合である。このビデオカメラ１２により、視聴者の例えば全身が撮像され、そのビデオ信号が生体情報解析回路１３に供給される。

この解析回路１３においては、例えば図７に示すような信号処理が行われる（図７は、視聴者の目および瞼を含む領域Ｃのみを示す）。すなわち、ビデオカメラ１２から供給されたもとのビデオ信号（図７Ａ）がグレースケール化され（図７Ｂ）、このグレー化されたビデオ信号と、１フレーム前のグレー化されたビデオ信号との差分のビデオ信号（図７Ｃ）が取り出される。したがって、この差分のビデオ信号は、視聴者を撮像した画像のうち、動きのあった部分を示していることになる。そして、この差分のビデオ信号が解析されて体動、呼吸、瞬きなどの生体情報が出力され、これがマイクロコンピュータ２０に供給される。

したがって、以後、〔１〕で述べたような処理を行うことにより、視聴者の覚醒度および対象への集中度を推定することができるとともに、その推定結果によりそのときの視聴者の心理状態に最適な状態で映像および音響を再生することができる。

そして、この場合も、非接触・非拘束で視聴者の生体情報を得ることができるので、視聴者に心理的な負担や肉体的な負担を負わせることがなく、測定結果に影響の現れることがない。

〔３〕覚醒度および集中度の算出
視聴者の覚醒度および集中度が、現在、図５のどこに位置しているかは、次に述べる〔３−１〕、〔３−２〕の処理により知ることができる。そして、視聴者の現在の覚醒度および集中度が例えば図５の点Ｐにあるとき、その覚醒度および集中度が、点Ｐを含む曲線Ｄのどちらに向かうかは、覚醒度および集中度の変化の履歴から判断することができる。

したがって、視聴者の現在の状態にもっともふさわしい映像および音響を常に提供することができる。また、視聴者の状態が良好なときには、これを維持したり、視聴者の状態が不良なときには、これを抑制したりすることができる。

〔３−１〕覚醒度の算出
覚醒度は、呼吸数や脈拍数の初期値または標準値に対する変動から求めることができる。すなわち、覚醒度は、
覚醒度＝Ｒrm−Ｒrr ・・・ (1)
Ｒrm：単位時間あたりの呼吸数の測定値
Ｒrr：単位時間あたりの呼吸数の初期値または標準値
または
覚醒度＝Ｐrm−Ｐrr ・・・ (2)
Ｐrm：単位時間あたりの脈拍数の測定値
Ｐrr：単位時間あたりの脈拍数の初期値または標準値
から算出することができる。

〔３−２〕集中度の算出
対象への集中度は、瞼の瞬きから例えば次の(3)式あるいは(4)式

集中度＝−（Ｎebm−Ｎeb_init）・・・ (3)
Ｎebm ：瞬きの回数の測定値
Ｎeb_init：瞬きの回数の初期値
または
集中度＝−（Ｎebm−Ｎeb_ref）・・・ (4)
Ｎeb_ref：瞬きの回数の標準値
により算出することができる。

〔４〕その他
上述において、視聴者の心理状態およびその強度の推定結果により、ビデオ信号あるいはオーディオ信号を変化させるとき、再生速度、音量、色およびコンテンツなどを変化させることができる。また、測定した生体情報およびその生体情報に基づいて変化させたビデオ信号あるいはオーディオ信号を記録媒体に記録しておくこともできる。

そして、その記録媒体として、ハードディスク装置２４、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリあるいはＩＣカードなどを使用することができる。さらに、その記録用の光ディスクは、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ブルーレイディスクなどとすることができる。また、生体情報によりビデオ信号およびオーディオ信号を変更するとしたが、その変更の許可・禁止を選択可能にすることもできる。

〔略語の一覧〕
ＣＤ−Ｒ：CD Recordable
ＣＤ−ＲＷ：CD ReWritable
ＣＰＵ：Central Processing Unit
ＤＶＤ−ＲＡＭ：DVD Random Access Memory
ＤＶＤ±Ｒ：DVD +Recordable, DVD Recordable
ＤＶＤ±ＲＷ：DVD +ReWritable, DVD ReWritable
ＩＣ：Integrated Circuit
ＭＤ：Mini Disc
ＲＡＭ：Random Access Memory
ＲＯＭ：Read Only Memory

この発明の一形態を示す系統図である。この発明に使用できる生体情報センサの出力データの一例を示す図である。この発明に使用できる生体情報センサの出力データの一例を示す図である。この発明による制御フローの一例を示すフローチャートである。この発明を説明するための図である。この発明の他の形態を示す系統図である。この発明を説明するための図である。

符号の説明

１１…サーモグラフィ、１２…ビデオカメラ、１３…生体情報解析回路、２０…マイクロコンピュータ、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ハードディスク装置、２５…ユーザインターフェイス、２６…映像音響制御回路、２７…表示制御回路、２８…音響処理回路、２９…システムバス、３１…送受信回路、３２…通信回路、３６…ＤＶＤプレーヤ、３７…ディスプレイ、３８…スピーカ、４０…インターネット、１００…ルーチン

Claims

ビデオ信号およびオーディオ信号の少なくとも一方の信号を再生する再生手段と、
この再生手段により再生される信号を変化させる変更手段と、
上記再生手段を利用しているユーザの顔面を撮像するビデオカメラ（赤外線ビデオカメラを含む）と、
このビデオカメラの撮像出力から上記ユーザの単位時間あたりの呼吸数および単位時間あたりの瞬目数を解析する生体情報解析回路と、
この生体情報解析回路の解析した結果にしたがって上記変更手段を制御するマイクロコンピュータと
を有し、
上記マイクロコンピュータは、
上記生体情報解析回路の解析した上記呼吸数から
Ｒ＝Ｒrm−Ｒrr
Ｒrm：上記単位時間あたりの上記呼吸数の測定値
Ｒrr：上記単位時間あたりの上記呼吸数の初期値または標準値
で示される値Ｒを上記ユーザの覚醒度として推定するとともに、
上記生体情報解析回路の解析した上記瞬目数から
Ｎ＝−（Ｎebm−Ｎeb_init）
Ｎebm ：瞬きの回数の測定値
Ｎeb_init：瞬きの回数の初期値または標準値
で示される値Ｎを上記ユーザの集中度として推定し、
この推定した覚醒度および集中度が、
覚醒度＞０、かつ、集中度＞０のときには、上記再生手段による再生状態をそのままに維持し、
覚醒度＞０、かつ、集中度＜０のときには、上記再生手段により再生される映像あるいは音響を弱めるように制御し、
覚醒度＜０、かつ、集中度＞０のときには、上記再生手段により再生される映像あるいは音響を強めるように制御し、
覚醒度＜０、かつ、集中度＜０のときには、上記再生手段により再生される映像あるいは音響を弱めるように制御する
ようにした再生装置。
請求項１に記載の再生装置において、
上記覚醒度＞０、かつ、集中度＜０の状態、あるいは上記覚醒度＜０、かつ、集中度＜０の状態が所定の期間にわたって続くときには、上記再生手段の再生を停止する
ようにした再生装置。
請求項１に記載の再生装置において、
就寝モードに設定されている場合に、上記覚醒度＜０、かつ、集中度＞０の状態になったときには、このときの上記再生手段の再生状態を維持する
ようにした再生装置。
再生手段により再生されている映像および音響の少なくとも一方を利用しているユーザの顔面をビデオカメラ（赤外線ビデオカメラを含む）により撮像し、
生体情報解析回路により、上記ビデオカメラの撮像出力から上記ユーザの単位時間あたりの呼吸数および単位時間あたりの瞬目数を解析し、
この解析した上記呼吸数から
Ｒ＝Ｒrm−Ｒrr
Ｒrm：上記単位時間あたりの上記呼吸数の測定値
Ｒrr：上記単位時間あたりの上記呼吸数の初期値または標準値
で示される値Ｒを上記ユーザの覚醒度として推定するとともに、
上記生体情報解析回路の解析した上記瞬目数から
Ｎ＝−（Ｎebm−Ｎeb_init）
Ｎebm ：瞬きの回数の測定値
Ｎeb_init：瞬きの回数の初期値または標準値
で示される値Ｎを上記ユーザの集中度として推定し、
この推定した覚醒度および集中度が、
覚醒度＞０、かつ、集中度＞０のときには、上記再生手段による再生状態をそのままに維持し、
覚醒度＞０、かつ、集中度＜０のときには、上記再生手段により再生される映像あるいは音響を弱めるように制御し、
覚醒度＜０、かつ、集中度＞０のときには、上記再生手段により再生される映像あるいは音響を強めるように制御し、
覚醒度＜０、かつ、集中度＜０のときには、上記再生手段により再生される映像あるいは音響を弱めるように制御する
ようにした再生方法。