JP5339737B2

JP5339737B2 - 映像音声再生方法

Info

Publication number: JP5339737B2
Application number: JP2008028664A
Authority: JP
Inventors: 英樹福原
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-02-08
Filing date: 2008-02-08
Publication date: 2013-11-13
Anticipated expiration: 2028-02-08
Also published as: JP2009188876A

Description

本発明は、映像音声再生装置および映像音声再生システムに関し、特に視聴者の趣向や興奮度を反映した映像音声再生装置および映像音声再生システムに関するものである。

従来のTV視聴では、視聴者に配信される映像や音声は、ある特定の視点から制作者の意図のみで撮影された映像や音声であり、視聴者が自らの好みに応じた映像や音声を視聴することや、視聴者の心理状態に応じた映像や音声を視聴することはできなかった。

これらの課題を解決するために、下記特許文献１では、映像に含まれる内容の解析結果と視聴者より通知される嗜好情報との適合度を判定し、異なる視点の複数の映像から、視聴者の嗜好に合った配信映像を決定する方法が開示されている。

また、下記特許文献２では、生体センサにより計測された視聴者の生体情報変化の状態から、視聴者の番組に対する集中度を判定し、全視聴者分の集中度を統計した結果を基に、映像の配信制御（集中しているときはCMを短縮したり挿入しない、視聴者の集中度が高い番組への切り替え等）を行う方法が開示されている。

特開２００３−１７９９０８号公報特開２００３−１１１１０６号公報

しかしながら、特許文献１の方法では、被写体を様々な視点および角度からそれぞれ撮影する装置が多数必要であり、更に視聴者が多数となるとその装置数は増大することが予想されるため、この視聴方法を適用できる視聴者が限定されてしまうという問題があった。また、従来からの課題の１つである視聴者の心理状態を映像や音声に反映できないという問題があった。

また、特許文献２の方法では、視聴者の番組に対する集中度が映像の配信方法に利用される方法であり、映像や音声自体は制作者の意図のみが反映されたものになるため、従来からの課題の１つである自らの好みに応じた映像や音声を視聴することができないという問題があった。

そこで本発明はかかる問題を解決するためになされたものであり、映像や音声の配信装置は従来通りのままで、視聴者の趣向や心理状態に応じたTV視聴を各々の視聴者に提供する映像音声再生装置および映像音声再生システムを得ることを目的とする。

本発明における映像音声再生方法は、受信した映像信号および／または音声信号を再生する映像音声再生装置における映像音声再生方法であって、前記映像音声再生装置は携帯情報端末装置と通信機能で連携されており、（ａ）前記携帯情報端末装置が視聴者からの趣向情報の入力を取得する工程と、（ｂ）前記携帯情報端末装置が視聴者の生体情報を検出する工程と、（ｃ）検出した前記生体情報から視聴者の番組に対する興奮度を算出する工程と、（ｄ）前記受信した映像信号および／または音声信号から番組情報を取得する工程と、（ｅ）前記趣向情報と、前記興奮度と、前記番組情報とに基づいて、前記映像音声再生装置での前記映像信号および／または前記音声信号の加工と、前記携帯情報端末装置での動作とを実行する工程と、を備える。

本発明の映像音声再生装置、および映像音声再生システムによれば、視聴者の趣向情報と、生体情報を基に算出された視聴者の興奮度、映像や音声から取得した番組情報、から映像や音声を加工し、端末動作を制御することにより、視聴者の趣向や心理状態に応じたTV視聴を提供することができる。

＜実施の形態１＞
図１は、本発明の実施の形態１における映像音声再生装置１の構成を示した図である。本実施の形態における映像音声再生装置１は、携帯電話などの小型端末であり、視聴者が端末を手で握るか身につけている状態で、TVを鑑賞している状況を想定している。

映像音声再生装置１は、映像信号や音声信号を受信する映像音声受信部３０、受信した映像信号や音声信号からTV映像の被写体の特徴などの番組情報３００（図２参照）を取得する番組情報取得部３１、TV映像の被写体に対する視聴者の好みなどの趣向情報１００（図２参照）を取得する趣向情報取得部１０、視聴者の体温などの生体情報２００（図２参照）を検出する生体情報検出部２０、その生体情報２００を基に番組に対する視聴者の興奮度２０１を算出する興奮度算出部２１、趣向情報１００と興奮度２０１と番組情報３００とから映像演出や音声演出、端末動作の実行を決定する携帯端末制御部４０（制御部）、決定した映像演出や音声演出を基に映像信号や音声信号を加工する映像音声加工部５０、加工された映像信号や音声信号を表示する映像音声表示部５１、決定した端末動作を基に端末振動などの端末動作を制御する端末動作制御部６０、を備える。

また、受信した映像や音声を記憶する映像音声記憶部３０a、取得した番組情報３００を記憶する番組情報記憶部３１c、取得した視聴者の趣向情報１００を記憶する趣向情報記憶部１０a、算出した興奮度２０１を記憶する興奮度記憶部２１a、を備える。

図２，３は、本実施の形態の映像音声再生装置１の動作を示した図である。また、図２，３は、映像音声装置１の動作をA−A線で分割した図である。本実施の形態では、野球やサッカー、格闘技などのスポーツ中継の場合を例にあげ、図１〜３を参照して以下に各部の主な動作について説明する。まず、中継される試合開始前などに、予め視聴者の外部入力により趣向情報取得部１０にて視聴者の趣向情報１００を取得する。次に、試合中は、生体情報検出部２０にて視聴者の生体情報２００を検出し、興奮度算出部２１にて生体情報２００から視聴者の興奮度２０１を算出する。また、番組情報取得部３１にて受信した映像信号や音声信号から番組情報３００を取得する。そして、取得および算出した趣向情報１００、興奮度２０１、番組情報３００（過去の番組情報３０２を含む）から、携帯端末制御部４０にて映像演出６００、音声演出６０１、端末動作６０２を決定し、映像音声加工部５０、映像音声表示部５１、端末動作制御部６０を制御する。

趣向情報取得部１０は、中継される試合に関して、好き（嫌い）なチームや選手などの視聴者の被写体に対する好み、希望観戦スタイル（観戦人数、試合会場の雰囲気での観戦、大騒ぎでの観戦などの視聴環境の設定）、視聴者の試合に対する視聴欲求レベル、などの趣向情報１００を、視聴者の端末からキー入力により取得する。

生体情報検出部２０は、カメラによって撮影される画像から視聴者の目が向いている方向の検出によって測定する視聴者の表示画面の凝視時間、温度センサとサーモグラフィによって携帯端末と視聴者の接触部分や非接触部分から検出する視聴者の体温、圧力センサによって検出する視聴者の端末を握る力、加速度センサによって検出する視聴者の端末を振る力（振動）、マイクによって検出する視聴者の声（叫び）などの生体情報２００を検出する。

興奮度算出部２１は、検出した各々の生体情報２００を利用して興奮度２０１を算出する。例えば、検出した各生体情報２００と、あらかじめ設定したしきい値とを比較して点数付けを行い、比較結果（各生体情報２００の点数を算出した結果）に基づいて興奮度２０１を算出することができる。下記に、生体情報２００の凝視時間からの凝視点数算出の一例を示す。例えば、｛（凝視時間）／（計測時間）｝が０．９以上なら［凝視点数］＝（最大値）、０．１以下なら［凝視点数］＝（最小値）とする。このように各々の生体情報２００にそれぞれ点数化のルールを設定して点数化したものが興奮度２０１となる。

番組情報取得部３１は、映像解析部３１aと音声解析部３１bから構成される。映像解析部３１aは、受信した映像信号の画像解析により、試合の状況を示す試合情報３００a（映像情報）を取得する。また、音声解析部３１bは、受信した音声信号の音声解析により、何かしらの試合のイベント発生を示すイベント発生フラグ情報３００bを取得する。この試合情報３００aとイベント発生フラグ情報３００bが番組情報３００となる。また、例えば地上波デジタル放送やBSデジタル放送では、番組情報３００がデータとして映像・音声信号と同時に送信されているため、それも直接番組情報３００に利用する。

試合情報３００aは、例えば野球中継の場合、両チームの得点、打者や投手等の選手名、カウント、イニング、各塁上のランナーの有無などを示す。これらは映像のほぼ固定場所に表示されるため取得可能である。イベント（後述するイベント内容３０１）は、例えば野球中継の場合、得点、失点、安打や凡打等の打撃結果、被安打等の投球結果などを示す。イベント発生の有無は、実況の声や観客の歓声の大きさが、あるしきい値以上であると判別することにより検出可能である。

携帯端末制御部４０は、ある周期毎、またはイベント発生時に、趣向情報１００と興奮度２０１と番組情報３００（過去の番組情報３０２含む）を用いて映像演出６００、音声演出６０１、端末動作６０２の各項目毎の実行を決定し、決定結果を基に映像音声加工部５０や映像音声表示部５１、端末動作制御部６０（振動制御部６０a、LED制御部６０b、電気刺激制御部６０c、発熱制御部６０d）を制御する。また、映像音声再生装置１の各部の動作も制御する。

次に、携帯端末制御部４０における、映像演出６００、音声演出６０１、端末動作６０２の各項目毎の実行決定方法の詳細について説明する。はじめに、実行決定する際に用いられる発生イベントマッチング結果４００、表示選手マッチング結果４０２、試合情報の意味合い４０１の算出方法について説明する。

まず、発生イベントマッチング結果４００を算出する方法について説明する。番組情報３００のイベント発生フラグ情報３００bを基に、過去の番組情報３０２と試合情報３００a（両チームの得点、打者や投手等の選手名、カウント、イニング、各塁上のランナーの有無など）から解析を行い、イベント内容３０１（得点、失点、安打や凡打等の打撃結果、被安打等の投球結果など）を取得する。次に、イベント内容３０１と視聴者の趣向情報１００、試合情報３００aとのマッチングを行い、発生イベントが視聴者にとって好ましいものかどうかを判別する。好ましければ加点、好ましくなければ減点していく点数付けにより、発生イベントマッチング結果４００を算出する。下記に、イベント内容３０１が得点時における、発生イベントマッチング結果４００を算出する一例を示す。

［発生イベントマッチング結果４００］に（初期値）を代入し、以下の順に判定して計算する。（試合情報３００a：得点チーム）＝（趣向情報１００：好きなチーム）なら［発生イベントマッチング結果４００］にXを加算する。（試合情報３００a：得点チーム）＝（趣向情報１００：嫌いなチーム）なら［発生イベントマッチング結果４００］にxを減算する。（試合情報３００a：失点チーム）＝（趣向情報１００：好きなチーム）なら［発生イベントマッチング結果４００］にYを減算する。（試合情報３００a：失点チーム）＝（趣向情報１００：嫌いなチーム）なら［発生イベントマッチング結果４００］にyを加算する。ただし、X，x，Y，yはイベント内容３０１毎に異なる定数である。なお、イベントが発生していない場合は、イベント内容３０１の取得と発生イベントマッチングは行わない（発生イベントマッチング結果４００は初期値となる）。

次に、表示選手マッチング結果４０２を算出する方法について説明する。表示選手マッチング結果４０２は、映像に表示されている選手を試合情報３００aの選手名から識別し、視聴者の趣向情報１００とのマッチングを行う。表示されている選手が視聴者にとって好ましいかどうか判別し、好みの段階毎の点数付けにより算出する。下記に表示選手マッチング結果４０２を算出する一例を示す。

（表示されている選手）＝（趣向情報１００：非常に好きな選手）なら、［表示選手マッチング結果４０２］＝（最大値）とする。（表示されている選手）＝（趣向情報１００：非常に嫌いな選手）なら、［表示選手マッチング結果４０２］＝（最小値）とする。（表示されている選手）＝（趣向情報１００：どちらでもない選手）なら、［表示選手マッチング結果４０２］＝（中間値）とする。

次に、試合情報の意味合い４０１を算出する方法について説明する。試合情報の意味合い４０１は、過去の番組情報３０２と試合情報３００aの解析を行い、試合の緊張感を観点とした試合の局面を判別し、局面の重要度毎の点数付けにより算出する。下記に試合情報の意味合い４０１を算出する一例を示す。

（試合の局面）＝（過去の番組情報３０２と試合情報３００a：同点または１点差，満塁，最終回）なら、［試合情報の意味合い４０１］＝（最大値）とする。（試合の局面）＝（過去の番組情報３０２と試合情報３００a：点差が１０点以上，ランナーなし，最終回）なら、［試合情報の意味合い４０１］＝（最小値）とする。

そして、趣向情報１００、興奮度２０１、発生イベントマッチング結果４００、試合情報の意味合い４０１、表示選手マッチング結果４０２から、映像演出６００、音声演出６０１、端末動作６０２の各項目の実行決定を判別するために用いる、試合状況５００（番組状況）、視聴者興奮度５０１、視聴者の試合への期待度５０２（番組への期待度）を算出する。

まず、試合状況５００を算出する一例を示す。［試合状況５００］＝α｛a１（発生イベントマッチング結果４００）＋a２（試合情報の意味合い４０１）＋a３（表示選手マッチング結果４０２）｝とする。αは趣向情報１００の希望観戦スタイルによって値が異なる係数である。また、a１〜a３は映像演出６００、音声演出６０１、端末動作６０２の各項目によって値が異なる係数である。

次に、視聴者興奮度５０１を算出する一例を示す。［視聴者興奮度５０１］＝β｛（興奮度２０１：凝視点数）＋（興奮度２０１：体温点数）＋（興奮度２０１：圧力点数）＋（興奮度２０１：振動点数）＋（興奮度２０１：叫び点数）｝とする。βは希望観戦スタイルによって値が異なる係数である。

次に、試合への期待度５０２を算出する一例を示す。（趣向情報１００：試合の視聴欲求レベルが非常に高い）ならば［試合への期待度５０２］＝（最大値）とする。（趣向情報１００：試合の視聴欲求レベルが非常に低い）ならば［試合への期待度５０２］＝（最小値）とする。試合の視聴欲求レベルは、趣向情報１００に含まれる視聴者の選択肢（例えば“何があろうと見ようとしていた”、“何となく見る”など）によって決まる。

最後に、映像演出６００、音声演出６０１、端末動作６０２の各項目の実行決定方法について説明する。算出した試合状況５００、視聴者興奮度５０１、試合への期待度５０２と、それぞれの項目に設定したしきい値とを比較し、一つでもしきい値以上なら各項目を実行する。また、項目によっては、趣向情報１００や試合情報３００aなどによってしきい値判定を行わず、常に実行する。

はじめに、映像演出６００の一例を説明する。図４は、映像演出６００の一例を示した図である。映像演出６００は、例えば野球中継の場合、図４のように投手の手から捕手のグラブまでのボール軌跡をマーキングし、それらを時間系列で結ぶ表示となるように輝度、コントラスト、彩度調整、コマ送り、映像への付加情報追加などを行う。この場合、視聴者にとって映像演出効果が高く得られるように実行頻度を抑制する。詳しくは、試合状況５００、視聴者興奮度５０１、試合への期待度５０２の各しきい値を高く設定し、また試合情報の意味合い４０１が実行決定の大きな要因となるように、試合状況５００の算出式において、試合情報の意味合い４０１の係数値を高く設定する。

次に、音声演出６０１の一例を説明する。音声演出６０１は、例えば野球中継の場合、あたかも球場で観戦していると感じるように、観客の歓声への音量、周波数、サラウンド調整、付加音の追加などを行う。この場合、視聴者にとって常に音声効果が得られるように実行頻度は抑制しない。詳しくは、希望観戦スタイルが大人数で騒がしくと選択されているときは、試合状況５００、視聴者興奮度５０１の算出式における係数値を高く設定する。また、希望観戦スタイルが試合会場の雰囲気での観戦と選択されているときは、しきい値判定を行わず、常に実行する。

次に、端末動作６０２の一例を説明する。端末動作６０２は、端末振動、端末キーのイルミネーション表示、任意の端末表面箇所の発熱、電気刺激発生などがある。例えば野球中継の場合、ボールがバットに当たった瞬間やボールがグラブに入った瞬間の端末振動、ストライクやボール、アウトカウントを端末キーのイルミネーションによる表示（端末キーの三段を使用し、ストライクが上段、ボールが中段、アウトが下段とした表現）を行う。この場合、視聴者にとって常に端末動作効果が得られるように実行頻度は抑制しない。詳しくは、試合状況５００、視聴者興奮度５０１、試合への期待度５０２の各しきい値を低く設定する。

以上より、本実施の形態におけるTV映像・音声表示機能を備えた映像音声再生装置１は、視聴者のキー入力により取得した趣向情報１００、各センサにより検出した生体情報２００を基に算出した興奮度２０１、配信される映像や音声の解析により取得した番組情報３００から、映像や音声の演出、端末動作を制御することにより、視聴者の趣向や心理状態に応じたTV視聴を提供することが可能となる。

＜実施の形態２＞
図５は、本実施の形態におけるTV映像・音声表示機能を備えた映像音声再生装置１の構成を示した図である。本実施の形態の映像音声再生装置１は、実施の形態１と同様に携帯電話などの小型端末であり、端末を手で握るか身につけている状態で、TVを鑑賞している状況を想定している。本実施の形態における映像音声再生装置１は、実施の形態１の構成に加え、趣向情報１００を他視聴者と互いにやり取りするための通信制御部７０を備えた構成である。

通信制御部７０は、趣向情報１００を添付データとした携帯電話のメール送受信機能により、予め設定した他視聴者と趣向情報１００のやり取りを行う。メール受信により取得した他視聴者の趣向情報１０１は、視聴者の趣向情報１００と同様に趣向情報記憶部１０aに記憶する。他視聴者の趣向情報１０１は、映像演出６００、音声演出６０１、端末動作６０２の各項目の実行決定を判別するために利用する。実行決定の判別は、表示選手マッチングにおいて、映像に表示されている選手と視聴者の趣向情報１００とのマッチングと同時に、表示されている選手と他視聴者の趣向情報１０１とのマッチング、点数付けを同様に行う。これにより、より多様性、意外性のある映像演出６００、音声演出６０１、端末動作６０２が可能になる。

下記に他視聴者の趣向情報１０１を利用した判別法の一例について説明する。例えば、視聴者と他視聴者のマッチング点数が高い方を表示選手マッチング結果４０２とする。他視聴者の点数が高い場合は、表示選手マッチング結果４０２を負の値にするなど、試合の状況５００の算出、映像演出６００、音声演出６０１、端末動作６０２のしきい値判定の際に、どちらの視聴者のマッチング結果か識別できるようにし、これによる端末の制御も変更する。例えば視聴者のあるチームや選手への好みが他視聴者と逆になるときは、映像演出６００、音声演出６０１、端末動作６０２の各項目の実行頻度を多くする。さらに、表示選手マッチング結果４０２が他視聴者のマッチング結果である場合、表示されている選手への野次の挿入などを行って、視聴者間の対抗意識を高める。

以上より、本実施の形態における映像音声再生装置１は、実施の形態１の効果に加え、より多様性、意外性のある映像演出６００、音声演出６０１、端末動作６０２が可能になり、視聴者の趣向を反映したTV視聴を提供することが可能となる。

＜実施の形態３＞
図６，７は、本実施の形態における携帯端末２と、TV映像・音声表示機能を備えた映像音声表示装置３とからなる映像音声再生システム４の構成を示した図である。また、図６，７は、映像音声再生システム４の構成をB−B線で分割した図である。実施の形態１では、携帯端末（映像音声再生装置１）のみで機能を実現していたが、本実施の形態では、携帯端末２と映像音声表示装置３の二つのブロックからなり、受信した映像信号や音声信号を映像音声表示装置３に表示する映像音声再生システム４により実現する。携帯端末２は携帯電話などの小型端末であり、携帯端末２を手で握るか身に着けている状態で、据え置き型やポータブルのTV受像機などの映像音声表示装置３にて映像を鑑賞している状態を想定している。

本実施の形態における携帯端末２は、TV映像の被写体に対する視聴者の好みなどの趣向情報１００を取得する趣向情報取得部１０、視聴者の体温などの生体情報２００を検出する生体情報検出部２０、その生体情報２００を基に番組に対する視聴者の興奮度２０１を算出する興奮度算出部２１、趣向情報１００や興奮度２０１、決定した端末動作６０２の制御内容を映像・音声表示装置とやり取りするための通信制御部７１（第１の通信制御部）、端末動作６０２の制御内容を基に端末振動などの端末動作６０２を制御する端末動作制御部６０、携帯端末２の各部の動作制御を行う携帯端末制御部４１、を備える。

また、通信制御部７１は、実施の形態２の通信制御部７０と同様に他視聴者との趣向情報１００のやり取りも行い、受信した他視聴者趣向情報１０１を映像音声表示装置３に送信する。趣向情報１００および他視聴者趣向情報１０１、興奮度２０１をそれぞれ記憶する、趣向情報記憶部１０aと興奮度記憶部２１aも備える。

本実施の形態における映像音声表示装置３は、映像や音声を受信する映像音声受信部３０、TV映像の被写体の特徴などの番組情報３００を取得する番組情報取得部３１、趣向情報１００、他視聴者趣向情報１０１、興奮度２０１、決定した端末動作６０２の制御内容を携帯端末２とやり取りするための通信制御部７２（第２の通信制御部）、趣向情報１００、他視聴者趣向情報１０１、興奮度２０１、番組情報３００（過去の番組情報３０２含む）から映像演出６００、音声演出６０１、端末動作６０２の実行を決定する映像音声表示装置制御部４２、決定した映像演出６００、音声演出６０１を基に映像や音声を加工する映像音声加工部５０と加工された映像や音声を表示する映像音声表示部５１、を備える。

また、受信した映像や音声、趣向情報１００、他視聴者趣向情報１０１、興奮度２０１、番組情報３００をそれぞれ記憶する、映像音声記憶部３０a、趣向情報記憶部１０b、興奮度記憶部２１b、番組情報記憶部３１cも備える。

携帯端末２と映像音声表示装置３の通信制御部間の通信は、有線でも無線でも良く、無線の場合はBluetoothなどの近距離無線通信にて行う。携帯端末２と映像音声表示装置３の各構成の詳細は、実施の形態１，２と同様の機能を有するため、説明を省略する。

以上より、本実施の形態における映像音声再生システム４は、実施の形態１，２と同様の効果に加え、携帯端末２と映像音声表示装置３が分離しているため、実施の形態１，２より大型で高品質の映像や音声を使用することが可能となる。また、TV映像・音声表示機能を備えていない携帯端末２でも視聴者の趣向や心理状態に応じたTV視聴を提供することが可能となる。

本発明の実施の形態１における映像音声再生装置の構成を示した図である。本発明の実施の形態１における映像音声再生装置の動作を示した図である。本発明の実施の形態１における映像音声再生装置の動作を示した図である。本発明の実施の形態１における映像音声再生装置の映像演出の一例を示した図である。本発明の実施の形態２における映像音声再生装置の構成を示した図である。本発明の実施の形態３における映像音声再生システムの構成を示した図である。本発明の実施の形態３における映像音声再生システムの構成を示した図である。

符号の説明

１映像音声再生装置、２携帯端末、３映像音声表示装置、４映像音声再生システム、１０趣向情報取得部、１０a，１０b 趣向情報記憶部、２０生体情報検出部、２１興奮度算出部、２１a，２１b 興奮度記憶部、３０映像音声受信部、３０a 映像音声記憶部、３１番組情報取得部、３１a 映像解析部、３１b 音声解析部、３１c 番組情報記憶部、４０，４１携帯端末制御部、４２映像音声表示装置制御部、５０映像音声加工部、５１映像音声表示部、６０端末動作制御部、６０a 振動制御部、６０b LED制御部、６０c 電気刺激制御部、６０d 発熱制御部、７０，７１，７２通信制御部、１００趣向情報、１０１他視聴者趣向情報、２００生体情報、２０１興奮度、３００番組情報、３００a 試合情報、３００b イベント発生フラグ情報、３０１イベント内容、３０２過去の番組情報、４００発生イベントマッチング結果、４０１試合情報の意味合い、４０２表示選手マッチング結果、５００試合状況、５０１視聴者興奮度、５０２試合への期待度、６００映像演出、６０１音声演出、６０２端末動作。

Claims

受信した映像信号および／または音声信号を再生する映像音声再生装置における映像音声再生方法であって、
前記映像音声再生装置は携帯情報端末装置と通信機能で連携されており、
（ａ）前記携帯情報端末装置が視聴者からの趣向情報の入力を取得する工程と、
（ｂ）前記携帯情報端末装置が視聴者の生体情報を検出する工程と、
（ｃ）検出した前記生体情報から視聴者の番組に対する興奮度を算出する工程と、
（ｄ）前記受信した映像信号および／または音声信号から番組情報を取得する工程と、
（ｅ）前記趣向情報と、前記興奮度と、前記番組情報とに基づいて、前記映像音声再生装置での前記映像信号および／または前記音声信号の加工と、前記携帯情報端末装置での動作とを実行する工程と、を備える映像音声再生方法。
前記生体情報は、視聴者が映像画面を凝視する凝視時間、視聴者による前記携帯情報端末装置への振動、視聴者が前記携帯情報端末装置を握る力、および、視聴者の体温の少なくともいずれか１つを有する請求項１に記載の映像音声再生方法。
前記趣向情報は、視聴者の被写体に対する好み、視聴人数、視聴環境に関する希望視聴方法、視聴者の番組に対する視聴欲求の少なくともいずれか１つを有する請求項１または２に記載の映像音声再生方法。
前記興奮度は、検出した生体情報とあらかじめ設定した閾値とを比較し、当該比較結果に基づいて算出される請求項１から３のいずれかに記載の映像音声再生方法。
（ｆ）他の映像音声再生装置の間で他の視聴者の趣向情報を送受信する工程をさらに備え、
前記工程（ｅ）にて、前記工程（ａ）で取得した趣向情報と、前記興奮度と、前記番組情報と、前記工程（ｆ）で取得した他の視聴者の趣向情報とに基づいて、前記映像音声再生装置での前記映像信号および／または前記音声信号の加工と、前記携帯情報端末装置での動作とを実行する請求項１に記載の映像音声方法。
前記番組情報は、前記映像信号を解析することによって得られる映像情報を含み、
前記工程（ｅ）にて、前記音声信号に含まれる実況の声、および／または、観客の歓声に応じて過去の前記番組情報と前記映像情報とを解析することにより、野球試合の得点、失点、打撃結果、および、被安打の結果の少なくともいずれか１つを有するイベント内容を取得する請求項１に記載の映像音声再生方法。
前記工程（ｅ）にて、前記映像情報と、前記趣向情報と、前記イベント内容とに基づいてマッチングを行い、視聴者に好ましいものかどうかを示す発生イベントマッチング結果を算出する請求項６に記載の映像音声再生方法。
前記番組情報は、前記映像信号を解析することによって得られる映像情報を含み、
前記工程（ｅ）にて、前記映像情報と過去の前記番組情報とを解析することにより、前記映像情報の重要度を算出する請求項１に記載の映像音声再生方法。
前記映像情報の重要度は、スポーツ試合での、得点差、および／または、試合終了間近かどうかに関する点数である、請求項８に記載の映像音声再生方法。
前記工程（ｅ）にて、前記映像信号の加工は、輝度の加工、コントラストの加工、コマ送り表示、および、映像への情報付加表示の少なくともいずれか１つを含む請求項１に記載の映像音声再生方法。
前記工程（ｅ）にて、前記音声信号の加工は、観客の歓声の音量の加工、サラウンド調整の加工、付加音の追加の少なくともいずれか１つを含む請求項１に記載の映像音声再生方法。
前記工程（ｅ）にて、前記携帯情報端末装置での動作は、前記携帯情報端末装置における振動、および／または、イルミネーション表示を含む請求項１に記載の映像音声再生方法。