JP4353084B2 - 映像再生方法及び装置及びプログラム - Google Patents

Description

本発明は、映像再生方法及び装置及びプログラムに係り、特に、映像視聴者の音声を映像と共に再生する映像再生方法及び装置及びプログラムに関する。

今日、映像と共に付加的な情報提示としてテキストや静止画を映像に動機させて提示することで、ユーザへより多様な情報の提示を行うことが行われている。

このようなシステムにおいて、テキストや静止画を提示する場合、複数の情報が同時に提示された場合においても、利用者は必要な情報を取捨選択して読んだり、見たりすることができる。しかしながら、付加情報として複数の音声を同時に提示しようとした場合、音声を同時再生すると音声の重複によってユーザは内容が理解できないため、それを回避するためにシステム側で音声の再生を制御する必要があり、そのためのいくつかの方法が提案されている。

従来の第1の方法として、特定の話者からの発声要求によって他の発声者の音声をカットして、当該発声者の発声を優先的に再生するという方法がある（例えば、特許文献1参照）。

また、従来の第２の方法として、ユーザの発声履歴に基づいて、各ユーザのゲインを制御して、会話の中心となる相手の聞き分けを容易にする方法がある（例えば、特許文献2参照）。
特開平4−１９１３５０号公報 特開２０００−４９９４８号公報

しかしながら、上記従来の第１の方法には、特定話者の発声に重複して他の話者の発声があった場合に、該特定話者の発声開始時点、終了時点において、他の話者の発声が途切れて、または、途中から再生されるという問題がある。例えば、ある話者が話している途中で、当該特定話者が話し始めると、もともと話していた話者の発声が途中で途切れて、内容の理解に支障をきたす場合がある。

また、上記従来の第２の方法には、会話の中心でない人の聞き分けをも容易にする目的では利用できないという問題がある。例えば、ユーザが会話の中心でない人の音声を聞きたい場合もあるが、そのような用途には利用できない。

本発明は、上記の点に鑑みなされたもので、ユーザの音声コメントを、重なることなく聞くことが可能な映像再生方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理説明図である。

本発明（請求項１）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
映像を読み込んで再生を開始する再生開始ステップ（ステップ１）と、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、該ユーザ毎に設けられている視聴者音声ファイルに音声が格納されているかを判定する音声存在判定ステップ（ステップ２）と、
視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定し、非言語の場合には該音声を再生する非言語判定ステップ（ステップ３）と、
非言語判定ステップ（ステップ３）において、非言語ではないと判定された場合には、音声区間情報ファイルに格納されている音声区間に対応するユーザの音声について、ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルをユーザＩＤに基づいて参照し、最も高い評価値を有するユーザの音声を再生する音声再生ステップ（ステップ４）と、
音声再生ステップ（ステップ４）で音声再生された次の音声区間に対して、音声存在判定ステップ（ステップ２）、非言語判定ステップ（ステップ３）、音声再生ステップ（ステップ４）を映像ファイルの映像が終了するまで繰り返す繰り返しステップ（ステップ５）と、を行う。

本発明は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
映像を読み込んで再生を開始する再生開始ステップと、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、該ユーザ毎に設けられている視聴者音声ファイルに音声が格納されているかを判定する音声存在判定ステップと、
視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定し、非言語の場合には該音声を再生する非言語判定ステップと、
非言語判定ステップにおいて、非言語ではないと判定された場合には、音声区間情報ファイルに格納されている音声区間に対応するユーザの音声について、ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルをユーザＩＤに基づいて参照し、評価値に基づいて再生する音量を決定し、音声を再生する音声再生ステップと、
音声再生ステップで音声再生された次の音声区間に対して、音声存在判定ステップ、非言語判定ステップ、音声再生ステップを映像ファイルの映像が終了するまで繰り返す繰り返しステップと、を行う。

本発明（請求項３）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
映像を読み込んで再生を開始する再生開始ステップと、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、該ユーザ毎に設けられている視聴者音声ファイルに音声が格納されているかを判定する音声存在判定ステップと、
視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定し、非言語以外で発声が重複しないユーザのグループを全ての音声区間情報ファイルを検索することにより取得する第１のユーザグループ検索ステップと、
第１のユーザグループ検索ステップにより取得したユーザのグループに基づいて、視聴者音声ファイルから該グループに属する全てのユーザの音声を読み出して音声を再生する第１の音声再生ステップと、
第１のユーザグループ検索ステップにおいて選択されなかったユーザの中で、発声が重複しないユーザのグループを、該ユーザの音声区間情報ファイルを検索することにより検索する第２のユーザグループ検索ステップと、
第２のユーザグループ検索ステップで検索されたグループの全ユーザの音声を視聴者音声ファイルから読み出して、映像と共に遡って再生する第２の音声再生ステップと、
全てのユーザの音声の再生が終了するまで、第２のユーザグループ検索ステップ及び第２の音声再生ステップを繰り返す繰り返しステップと、を行う。

本発明（請求項４）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
映像を読み込んで再生を開始する再生開始ステップと、
ユーザ毎に設けられている視聴者音声ファイルのうち、未再生のユーザの音声について、ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルを参照して、評価値が最大のユーザの音声を該ユーザの視聴者音声ファイルから読み出して再生する第１の音声再生ステップと、
前回再生されたユーザの次の発声までの時間間隔に収まる他のユーザの音声を、ユーザ毎に設けられている映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する全ての音声区間情報ファイルを検索することにより取得する発声候補検索ステップと、
発声候補検索ステップで取得したユーザの音声のうち、前回再生されたユーザの次に評価値が高いユーザの音声を該ユーザの視聴者音声ファイルから読み出して再生する第２の音声再生ステップと、
全てのユーザの音声を再生するまで、発声候補検索ステップ及び第２の音声再生ステップを繰り返す繰り返しステップと、を行う。

本発明（請求項５）は、請求項１の音声再生ステップにおいて、
音声区間内に最も高い評価値を有するユーザの音声を視聴者音声ファイルから読み出して再生する際に、
所定の時間マージンＴの音声区間の再生の重複を許容する。

本発明（請求項６）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
映像を読み込んで再生を開始する再生開始ステップと、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、該ユーザ毎に設けられている視聴者音声ファイルに音声が格納されているかを判定する音声存在判定ステップと、
視聴者音声ファイルに音声が格納されている場合に、非言語の場合には該音声を再生する非言語判定ステップと、
非言語判定ステップにおいて、非言語ではないと判定された第１の音声について、該第１の音声の開始時刻と該第１の音声の次に発声された他のユーザの第２の音声の開始時刻との差が該第１の音声の区間長よりも短い場合には、該第１の音声を短縮して再生する音声再生ステップと、
音声区間情報ファイルに格納されている音声区間の全てに対して、音声存在判定ステップ、非言語判定ステップ、音声再生ステップを繰り返す繰り返しステップと、を行う。

図２は、本発明の原理構成図である。

本発明（請求項７）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生装置であって、
映像を格納した映像ファイル１０１と、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイル２１０と、
ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイル１０と、
ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイル１０８と、
映像・音声を再生する再生手段１１０と、
音声の再生を制御するための再生制御手段１２０と、を有し、
再生手段１１０は、
映像ファイル１０１から映像を読み込んで再生を開始する映像再生開始手段と、
再生制御手段１２０からの指示に基づいて、音声を映像に同期させて再生させる手段と、を有し、
再生制御手段１２０は、
音声区間情報ファイル２０を参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、視聴者音声ファイル１０に音声が格納されているかを判定する音声存在判定手段と、
視聴者音声ファイル１０に音声が格納されている場合に、該音声が非言語か否かを判定する非言語判定手段と、
非言語判定手段において、非言語ではないと判定された場合には、音声区間情報ファイル２０に格納されている音声区間に対応するユーザの音声について、ユーザ評価情報ファイル１０８をユーザＩＤに基づいて参照し、最も高い評価値を有するユーザの音声を再生手段に再生させ、非言語判定手段において非言語と判定された場合には該非言語の音声を再生手段に再生させる音声再生制御手段と、
再生手段１１０で音声再生された次の音声区間に対して、音声存在判定手段、非言語判定手段、音声再生制御手段を映像ファイルの映像が終了するまで繰り返す繰り返し手段と、
を有する。

本発明（請求項８）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生であって、
映像を格納した映像ファイルと、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルと、
映像・音声を再生する再生手段と、
音声の再生を制御するための再生制御手段と、を有し、
再生手段は、
映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
再生制御手段からの指示に基づいて、音声を映像に同期させて再生させる手段と、を有し、
再生制御手段は、
音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、視聴者音声ファイルに音声が格納されているかを判定する音声存在判定手段と、
視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定する非言語判定手段と、
非言語判定手段において、非言語ではないと判定された場合には、音声区間情報ファイルに格納されている音声区間に対応するユーザの音声について、ユーザ評価情報ファイルを該ユーザのユーザＩＤに基づいて参照し、評価値に基づいて再生手段に再生させる音量を決定し、該音量でユーザごとの音声を再生手段に再生させ、該非言語判定手段において、非言語と判定された場合には、非言語の音声を該再生手段に再生させる音声再生制御手段と、
音声再生された次の音声区間に対して、音声存在判定手段、非言語判定手段、音声再生制御手段を映像ファイルの映像が終了するまで繰り返す繰り返し手段と、
を有する。

本発明（請求項９）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生装置であって、
映像を格納した映像ファイルと、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
映像・音声を再生する再生手段と、
音声の再生を制御するための再生制御手段と、を有し、
再生手段は、
映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
再生制御手段からの指示に基づいて、音声を映像に同期させて再生させる手段と、を有し、
再生制御手段は、
音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、視聴者音声ファイルに音声が格納されているかを判定する音声存在判定手段と、
視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定する非言語判定手段と、
非言語以外で発声が重複しないユーザのグループを全ての音声区間情報ファイルを検索することにより取得する第１のユーザグループ検索手段と、
第１のユーザグループ検索手段により取得したユーザのグループに基づいて、視聴者音声ファイルから該グループに属する全てのユーザの音声を読み出して、再生手段に音声を再生させる第１の音声再生制御手段と、
第１のユーザグループ検索手段において選択されなかったユーザの中で、発声が重複しないユーザのグループを、音声区間情報ファイルを検索することにより検索する第２のユーザグループ検索手段と、
第２のユーザグループ検索手段で検索されたグループに属する全てのユーザの音声を視聴者音声ファイルから読み出して、再生手段に映像と共に遡って再生させる第２の音声再生制御手段と、
全てのユーザの音声の再生が終了するまで、第２のユーザグループ検索手段及び第２の音声再生制御手段を繰り返す繰り返し手段と、を有する。

本発明（請求項１０）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生装置であって、
映像を格納した映像ファイルと、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルと、
映像・音声を再生する再生手段と、
音声の再生を制御するための音声再生制御手段と、を有し、
再生手段は、
映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
再生制御手段からの指示に基づいて、音声を映像に同期させて再生させる手段と、を有し、
音声再生制御手段は、
視聴者音声ファイルのうち、未再生のユーザの音声について、ユーザ評価情報ファイルを参照して、評価値が最大のユーザの音声を視聴者音声ファイルから読み出して再生手段に再生させる第１の音声再生制御手段と、
前回再生されたユーザの次の発声までの時間間隔に収まる他のユーザの音声を、全ての音声区間情報ファイルを検索することにより取得する発声候補検索手段と、
発声候補検索手段で取得したユーザの音声のうち、ユーザ評価情報ファイルを参照して、前回再生されたユーザの次に評価値が高いユーザの音声を、該ユーザの視聴者音声ファイルから読み出して再生手段に再生させる第２の音声再生制御手段と、
全てのユーザの音声を再生するまで、発声候補検索手段及び第２の音声再生制御手段を繰り返す繰り返し手段と、を有する。

本発明（請求項１１）は、請求項７の音声再生制御手段において、
音声区間内に最も高い評価値を有するユーザの音声を視聴者音声ファイルから読み出して、再生手段に再生させる際に、
所定の時間マージンＴの音声区間の再生の重複を許容する手段を含む。

本発明（請求項１２）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生装置であって、
映像を格納した映像ファイルと、
ユーザ毎に設けられている、映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
映像・音声を再生する再生手段と、
音声の再生を制御するための音声再生制御手段と、を有し、
再生手段は、
映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
再生制御手段からの指示に基づいて、音声を映像に同期させて再生させる手段と、を有し、
音声再生制御手段は、
音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、視聴者音声ファイルに音声が格納されているかを判定する音声存在判定手段と、
視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定する非言語判定手段と、
非言語判定手段において、非言語であると判定された音声を再生手段に再生させ、非言語ではないと判定された第１の音声について、該第１の音声の開始時刻と該第１の音声の次に発声された他のユーザの第２の音声の開始時刻との差が該第１の音声の区間長よりも短い場合には、該第１の音声を短縮して該再生手段に再生させる音声再生制御手段と、
音声区間情報ファイルに格納されている音声区間の全てに対して、音声存在判定手段、非言語判定手段、音声再生制御手段を繰り返す繰り返し手段と、を有する。

本発明（請求項１３）は、同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生プログラムであって、
請求項１乃至６のいずれかに記載の映像再生方法を実現するための処理をコンピュータに実行させるプログラムである。

上述のように本発明によれば、映像視聴者の音声を映像と共に再生する場合において、複数のユーザの音声を聞き取りに妨げなく聞くことが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態におけるシステム構成を示す。同図に示すシステムは、記憶媒体に格納された複数のファイルと、映像再生装置として利用される計算機１００及び、計算機１００の処理結果を出力するスピーカを含むモニタ２００から構成される。

ファイルは、映像ファイル１０１、視聴者音声ファイルＡ１０２、音声区間ファイルＡ１０３、視聴者音声ファイルＢ１０４、音声区間ファイルＢ１０５、視聴者音声ファイルＣ１０６、音声区間ファイルＣ１０７、ユーザ評価情報ファイル１０８がある。なお、同図では、視聴者音声ファイルと音声区間ファイルのグループの数を３つとしたが、この数は１以上であれば任意でよい。例えば、映像視聴中の２人の音声を聞く場合は、視聴者音声ファイルＣ１０６、音声区間ファイル１０７は不要であり、Ｎ人の視聴者に対してＮ個の視聴者音声ファイルと、音声区間ファイルを用意すれば本発明は実現可能である。

映像ファイル１０１は、ユーザが視聴するファイルである。

視聴者音声ファイルＡ１０２は、ある視聴者Ａが映像ファイル１０１を見ながら発声した音声をマイク等（図示せず）によって録音して得られた音声ファイルである。ここで、映像ファイル１０１中の時間と、視聴者音声ファイルＡ１０２中の時間は同期が取れているとする。すなわち、映像ファイル１０１中のある時刻に発せられた音声は、視聴者音声ファイルＡ１０２中の当該時刻に対応付けられて記録される。

音声区間ファイルＡ１０３は、視聴者音声ファイルＡ１０２中で、音声が発声された区間群の開始時刻、終了時刻を有するファイルである。当該音声区間ファイルの例を図４に示す。当該音声区間ファイルは、音声ＩＤに対応付けられた発声の開始時刻／終了時刻が格納される。また、音声区間ファイルＡ１０３を無しとして、計算機１００によって音声区間ファイルＡ１０３に相当する情報を生成するとしてもよい。

視聴者音声ファイルＢ１０４は、視聴者音声ファイルＡ１０２の音声を発したユーザとは別のユーザが映像ファイル１０１を視聴しながら発した音声のファイルである。ここで、視聴者音声ファイルＡ１０２と同様に映像ファイル１０１との同期がとられているとする。

音声区間ファイルＢ１０５は、視聴者音声ファイルＢ１０４の中で、音声が発声された区間群の開始時刻／終了時刻を有するファイルである。

視聴者音声ファイルＣ１０６は、視聴者音声ファイルＡ１０２の音声を発したユーザ、視聴者音声ファイルＢ１０４の音声を発したユーザとは別のユーザが映像ファイル１０１を視聴しながら発した音声のファイルである。ここで、視聴者音声ファイルＡ１０２と同様に映像ファイル１０１との同期がとられている。

音声区間ファイルＣ１０７は、視聴者音声ファイルＣ１０６の中で、音声が発声された区間群の開始時刻／終了時刻を有するファイルである。

なお、上記の視聴者音声ファイル１０２，１０４，１０６の構成は、映像ＩＤ、音声を入力したシーンＩＤ、音声ＩＤ、音声を有し、映像ファイル１０１とはシーンＩＤにより同期を取るものとする。

ユーザ評価情報ファイル１０８は、視聴者音声ファイルＡ１０２を発声したユーザ（ユーザＡ）、視聴者音声ファイルＢ１０４を発声したユーザ（ユーザＢ）、視聴者音声ファイルＣ１０４を発声したユーザ（ユーザＣ）の発声の重要度に関する情報を有する。例えば、図５のように、各ユーザに対して、その発声の重要度を０から１００までの数値で指定する。なお、ユーザ評価情報ファイル１０８は、例えば、予め投票等を行い、その投票数等によりユーザ毎に評価を行い、評価値を付与して格納することにより生成されているものとする。

計算機１００は、映像ファイル１０１、視聴者音声ファイルＡ１０２、音声区間ファイルＣ１０６、音声区間ファイルＣ１０７、ユーザ評価情報ファイル１０８の入力と、モニタ２００への映像、音声の送出と、各種処理を行う。

モニタ２００は、計算機１００から送られる映像を表示し、ユーザに提示する。

図３に示すシステムでは、予め複数のユーザが同一の映像を視聴しながら発声した音声を、任意のユーザに対して当該映像と当該音声とを提示する。例えば、ユーザが発声する音声としては「凄い」、「うまそうだ」、「ヤッホー」などが考えられる。

［第１の実施の形態］
本実施の形態では、蓄積されている音声が非言語・言語であるかを判定し、さらに、言語である場合に、予め定められている評価値に基づいて、再生する音声を決定するものである。

図６は、本発明の第１の実施の形態における映像再生装置の構成を示す。

同図に示す映像再生装置は、上記で説明した映像ファイル１０１、視聴者音声ファイルＡ１０２、音声区間ファイルＡ１０３、視聴者音声ファイルＢ１０４、音声区間ファイルＢ１０５、視聴者音声ファイルＣ１０６、音声区間ファイルＣ１０７，ユーザ評価情報ファイル１０８及びモニタ２００が映像再生装置として利用される計算機１００に接続されている構成である。

映像再生装置１００は、再生部１１０、音声再生制御部１２０から構成される。

なお、モニタ２００には、スピーカが内蔵されている構成とし、再生部１１０から音声が出力されるものとする。

以下、映像再生装置１００の動作を説明する。

図７は、本発明の第１の実施の形態における動作のフローチャートである。

ステップ１０１） 再生部１１０は、映像ファイル１０１を読み込み、再生を開始して、モニタ２００への映像、音声の送出を開始する。

ステップ１０２） 音声再生制御部１２０は、現時点において、視聴者音声ファイルＡ１０２、視聴者音声ファイルＢ１０４、視聴者音声ファイルＣ１０６のいずれかに音声が存在するかどうかを、音声区間ファイルＡ１０３、音声区間ファイルＢ１０５、音声区間ファイルＣ１０７を参照して判定する。判定方法としては、各音声区間ファイルの開始時刻及び終了時刻の欄がＮＵＬＬ以外であれば、音声が存在すると判定する。音声が存在する場合には、ステップ１０３に移行し、存在しない場合は当該ステップを繰り返す。

ステップ１０３） ステップ１０２で音声が存在すると判定された場合には、音声が存在した視聴者音声ファイルについて、音声が非言語音声か否かを判定する。ここで、非言語音声とは「えー」「あー」等の音声を指す。音声信号に対して、非言語音声か否かの判定を行う処理としては、例えば、「金澤博史，クリスマエダ、竹林洋一、“計算機と対話のための非言語音声の認識と合成”電子情報通信学会論文誌、D-II, Vol.J77-D-II No.8, pp.1512-1421, 1994」等を用いることができる。また、一括してセンタに非言語／言語の判定を依頼する方法も考えられる。

ここでは、映像再生処理中に判定を行う例を挙げたがが、映像再生処理前に各音声ファイル（１０２，１０４，１０６）に対して非言語音声かどうかの判定を行い、音声区間ファイル（１０３，１０５，１０７）に付加情報として記録しておき、本ステップででは、当該音声区間ファイル中の当該付加情報を参照することによって、非言語音声かどうかの判定を行ってもよい。非言語である場合は、ステップ１０５に移行する。非言語でない場合にはステップ１０４に移行する。これは、非言語の音声に関しては、言語の音声と重なった場合に、該言語の理解を妨げる影響が小さいことを考慮して、図８のａ，ｂ，ｃのように非言語音声は全て再生するためである。例えば、「ありがとう」という音声と「おじゃまします」という音声が同時に再生されると、それぞれの音声が聞き取りにくいが、「あー」という非言語音声と、「おじゃまします」という音声が同時に再生されたとしても、「おじゃまします」の音声の聞き取りはあまり妨げられない。

なお、非音声を判定する処理をセンタ側で行うことも可能である。この場合には、視聴者音声ファイル、映像ファイルを当該装置内に持つ必要はない。

ステップ１０４） 音声再生制御部１２０は、ステップ１０２で認められた音声に対して、当該音声の発声区間を音声区間ファイル１０３、１０５，１０７を参照して同定し、当該区間内に当該ユーザよりも評価の高いユーザの音声があるかどうかを、ユーザ評価情報ファイル１０８と音声区間ファイル１０３，１０５，１０７を参照して判定する。音声がある場合はステップ１０２に移行し、音声がない場合にはステップ１０５に移行する。例えば、図８において、ユーザＡの音声ｄに対して、当該音声の区間内には、ユーザＡよりも評価の高いユーザの音声は存在しないので、ステップ１０５に移行して、当該音声が再生される。一方、図８において、ユーザＢの音声ｅに対して、当該音声の区間内にはユーザＢよりも評価の高いユーザＡの音声が存在するので、ステップ１０２に移行し、当該音声については再生しない。

これは、評価の高いユーザの音声は、評価のユーザの音声と比べて、聞く必要性が高いことを考慮して、評価の高いユーザの音声と、評価の低いユーザの音声とが重なった場合は、評価の高いユーザの音声のみを再生することによって、音声の重なりによる音声聞き取りの妨げの影響をなくすものである。例えば、図８のユーザＡの発声とユーザＢの発声が重なっている部分（ｄ，ｅ）において、ユーザＡの発声ｄは再生されるが、ユーザＢの発声ｅは再生されない。

ステップ１０５） 再生部１１０は、ステップ１０２で存在すると判定された音声を再生する。

このように、映像とユーザの音声を同期して再生することにより、映像の各シーンにおいて、他のユーザの発声を聞きながら映像を楽しむことができる。

ステップ１０６） 映像の末尾まで再生されたかどうかを判定し、映像の末尾である場合は、ステップ１０７に移行する。映像の末尾でない場合はステップ１０２に移行する。

ステップ１０７） 再生部１１０は、映像と音声の再生を停止する。

このように、本実施の形態では、複数の音声の中で評価の高いユーザの音声を漏れなく聞くことができる。

［第２の実施の形態］
本実施の形態では、予め定められている評価値に基づいて、再生する音量を制御する例を説明する。

本実施の形態における映像再生装置１００の構成は、前述の第１の実施の形態における図６の構成と同様であるが、音声再生制御部１２０と再生部１１０の動作が異なる。

本実施の形態では、前述の第１の実施の形態のように、発声区間内に自分よりも高い評価の人の発声区間があるか否かを判定するのではなく、ユーザ評価情報ファイル１０８に予め定められているユーザの評価値の大小に応じて、再生する音量を制御するものである。

図９は、本発明の第２の実施の形態における動作のフローチャートである。同図では、前述の第１の実施の形態における図７と同様の動作については、図７と同一のステップ番号を付し、その説明を省略する。

ステップ２０４） 音声再生制御部１２０は、ステップ１０２で存在すると判定された音声に対して、ユーザ評価情報ファイル１０８を参照して、評価の大小に応じて再生時の音量を決定する。例えば、図１０の例では、ユーザＡ、ユーザＢ、ユーザＣの順に大きくする。図１０では、音量の大きさを四角形の縦の辺の長さの長短で模式的に示している。

音量を決定する際は、例えば、次式で計算されるｃ値を原音声波形に乗算することにより決定される。ここで、εは、評価値であり、図５に示すように、０から１００の値をとり、値が大きいほど評価が高い。

ｃ＝ε／１００
これは、評価の高いユーザの音声は、評価の低いユーザの音声と比べて、聞く必要性が高いことを考慮して、評価の高いユーザの音声の音量を相対的に大きく再生することによって、音声の重なりによる音声聞き取りの妨げの影響を少なくするためである。例えば、図１０のユーザＡの発声ｆとユーザＢの発声ｇが重なっている部分において、再生部１１０において、ユーザＡの発声は、ユーザＢの発声よりも大きな音量で再生されるので、ユーザＡの発声の聞き取りがあまり妨げられない。

このように、本実施の形態では、複数の音声の中で評価の高いユーザの音声を大きな音で、評価の低いユーザの音声を小さな音で聞くことができる。

［第３の実施の形態］
本実施の形態では、音声区間が重複しないユーザ群毎に、映像を複数回再生するものである。

本実施の形態における映像再生装置１００の構成は、前述の第１の実施の形態における図６の構成と同様であるが、音声再生制御部１２０と再生部１１０の動作が異なる。

図１１は、本発明の第３の実施の形態における動作のフローチャートである。同図において、前述の第１の実施の形態の図７のフローチャートにおける動作と同一動作については、同一符号を付し、その説明を省略する。

ステップ５０２） 音声再生制御部１２０は、非言語以外で重複のない発声パターンを持つユーザのグループを、音声区間ファイル１０３，１０５，１０７を参照して検索する。これは、音声区間が重複しない複数のユーザの音声を同時に再生しても、音声の重なりが生じないので、ユーザの音声の聞き取りを妨げることを防ぐことができるからである。例えば、図１２のｈに示すユーザＡとユーザＣからなるグループの場合は、非言語以外での重複がなく、同時に再生しても聞き取りの妨げが生じない（ユーザＡとユーザＣの重複している部分は非言語の部分であるため妨げが生じない）。

ステップ５０３） 再生部１１０は、ステップ５０２で得られたユーザのグループのユーザ（ユーザＡ，ユーザＣ）の音声を再生する。

ステップ５０４） 音声再生制御部１２０は、ステップ５０２で得られたユーザのグループを除くユーザの非言語以外での重複のない発声パターンを持つユーザのグループをステップ５０２と同様に検索する。例えば、図１２の場合は、残りのユーザであるユーザＢが検索され、ユーザＢのみが重複のない発声パターンを持つユーザのグループとして検索される。これは、ステップ５０３において、音声が再生されなかった（グループｈにグループ化されなかった）ユーザの音声を聞くために行う。

ステップ５０５） 再生部１１０は、ステップ５０４で得られたユーザのグループに含まれるユーザの中で最初の音声の時点に遡って映像と当該ユーザの音声を再生する。

ステップ５０６） ステップ５０６において全てのユーザの音声を再生したかを判定する。全てのユーザの音声を再生した場合は、ステップ１０６に移行し、全てのユーザの音声を再生していない場合は、ステップ５０４に移行する。

これは、図１２のように全ユーザの音声を発声区間の重複なく再生するために、映像を複数回時間的に遡って再生して、それに同期してユーザの音声を再生するためである。

このように、本実施の形態では、全てのユーザの全ての音声を音声の重複なしで漏れなく聞くことができる。

［第４の実施の形態］
本実施の形態では、評価が相対的に低いユーザの音声については、映像との同期をずらして、発声区間が重複しないように再生するものである。

本実施の形態における映像再生装置１００の構成は、前述の第１の実施の形態における図６の構成と同様であるが、再生部１１０と音声再生制御部１２０の動作が異なる。

図１３は、本発明の第４の実施の形態における動作のフローチャートである。同図において、前述の図９、図１１と同一の動作については同一のステップ番号を付与し、その説明を省略する。

ステップ７０２） まだ、音声再生制御部１２０は、音声を再生していないユーザのうちで、評価が最大のユーザをユーザ評価情報ファイル１０８を参照して同定し、再生部１１０において当該ユーザの最初の音声を再生する。

なお、音声が再生されたか否かを判定する処理については、音声区間ファイルの音声区間毎にフラグを付与しておき、当該処理の前にフラグがオンかオフかを判定することで実現できる。また、これ以外の方法でも再生済みか否かを判定できる方法であればよい。

ステップ７０３） 音声再生制御部１２０は、ステップ７０２で音声を再生したユーザの次の発声までの時間間隔を音声区間ファイル１０３，１０５，１０７を参照して計算し、その時間間隔に収まる他のユーザ発声を検索し、再生部１１０において再生する。ここで、当該時間に収まる発声が複数存在した場合は、発声の開始時刻に対する再生が終わった時刻に最も近い発声を採用する。例えば、図１４のように、ユーザＡの最初の発声ｊの間隔Ｔに収まるユーザＢの発声ｎを再生する。詳細な処理については、図１５を用いて後述する。

これは、評価の高いユーザの音声は、評価の低いユーザの音声と比べて、映像と同期して再生する必要性が高いことを考慮して、評価の高いユーザの音声は、映像と同期して再生し、相対的に低い評価のユーザの音声は映像と同期をずらして再生することによって、音声の重なりによる音声聞き取りの妨げの映像を小さくして、かつ、全体の総再生時間を短縮するためである。

ステップ７０４） 再生部１１０は、ステップ７０２で再生した次のユーザの音声を再生する。

ステップ７０５） ステップ７０２で再生したユーザの音声を全て再生したかどうかを判定し、全て再生した場合はステップ５０６に移行し、全て再生していない場合はステップ７０３に移行する。

次に、上記のステップ７０３の処理について詳しく説明する。

図１５は、本発明の第４の実施例の評価値が低いユーザの音声を再生する動作のフローチャートである。以下の説明では、図１４の例を用いて説明する。

ステップ７０３１） ユーザＡの次の発声ｋの開始時刻から今の発声ｊの終了時刻を引き、空き時間Ｔとする。

ステップ７０３２） 空き時間Ｔに収まる他のユーザの発声があるかを判定し、ない場合には、ステップ７０４の処理に移行し、ある場合には、ステップ７０３３に移行する。

ステップ７０３３） 今発声したユーザＡの発声ｊの終了時刻に最も近い開始時刻を有する他のユーザ（ユーザＢ）の発声ｎをピックアップし、再生し、ステップ７０３１に移行する。

本実施の形態によれば、全てのユーザの全ての音声を、音声の重複なく漏れなく聞くことができ、かつ、第３の実施の形態に比べて短時間で全ての音声を聞くことができる。

［第５の実施の形態］
本実施の形態は、前述の第１の実施の形態における、発声区間内に自分よりも高い評価の人の発声区間があるかどうかの判定（ステップ１０４）において、一定時間ｔの重複を許容するものである。

本実施の形態における映像再生装置１００の構成は、前述の第１の実施の形態における図６の構成と同様であるが、音声再生制御部１２０の動作が異なる。

図１６は、本発明の第５の実施の形態における動作のフローチャートである。同図において、前述の第１の実施の形態における図９の動作と同一の動作については、同一のステップ番号を付し、その説明を省略する。

ステップ９０４） 音声再生制御部１２０は、マージンＴ秒を除く発声区間内に自分よりも高い評価の人の発声区間があるかをユーザ評価情報ファイル１０８を参照して判定する。当該発声区間がある場合にはステップ１０２に移行する。当該発声区間がない場合は、ステップ１０５に移行する。Ｔの値は、例えば、既定値として１秒とする。ここで、図１７の場合、ユーザＡの発声ｏの発声区間とユーザＢの発声ｐの発声区間の重複時間ｑはマージンＴよりも短いので、これらの発声は同時に再生する。

これは、ある発声の末尾と、それとは別の発声の先頭の重なりが短時間であれば、聞き取りの妨げにならないという人間の知覚特性を考慮したものである。

また、本実施の形態では、音声の再生を時間的に密にすることができるので、より多くの音声を再生することができる。

このように、本実施の形態によれば、複数の音声の中で評価の高いユーザの音声を漏れなく聞くことができ、第１の実施の形態に比べて多くの音声を聞くことができる。

［第６の実施の形態］
本実施の形態は、ユーザの発声区間が重複する場合に、音声を早送りして再生時間を短縮することによって、音声の重複による聞き取りの妨げをなくすものである。

本実施の形態における映像再生装置１００の構成は、前述の第１の実施の形態における図６の構成の構成に含まれるユーザ評価情報ファイル１０８を使用しない以外は同様であるが、音声再生制御部１２０の動作が異なる。

図１８は、本発明の第６の実施の形態における動作のフローチャートである。同図において、前述の第１の実施の形態における図７のフローチャートと同一の動作については、同一のステップ番号を付し、その説明を省略する。

ステップ１１０４） 再生制御部１２０は、ステップ１０２で音声が存在すると判定された音声の開始時刻と、全ユーザの発声の中で時間的に次の開始時刻との時間差を音声区間ファイル１０３，１０５，１０７を参照して計算する。求められた時間差がステップ１０２で認められた発声の区間長よりも短いかどうかを判定する。短い場合はステップ１１０５に移行し、短くない場合はステップ１０５に移行する。

ステップ１１０５） 再生部１１０は、ステップ１０２で存在すると判定された発声をステップ１１０４で計算した時間差に図１９のように縮めて再生する。例えば、図１０の例において、ユーザＡの発声ｒの開始時刻との時間差ｕは、ユーザＡの発声ｒの発声の区間長ｖよりも短いので、ユーザＡの発声１２０１を当該時間差ｕに短縮して再生する。

時間を縮めて再生する方法としては、例えば、ソフトウェアサンプラが利用できる。

これは、図１９のように発声区間が他のユーザの発声と重複する場合に、発声の時間を短縮して再生することにより発声の重複による聞き取りの妨げを防ぎ、映像を時間的に遡って再生することなく、全ユーザの音声を聞くものである。

このように、本実施の形態によれば映像を遡って再生することなく、全てのユーザの全ての音声を、音声の重複なく漏れなく聞くことができる。

上記の第１〜第６の実施の形態における、図７、図９、図１１、図１３、図１５、図１６、図１８の動作をプログラムとして構築し、映像再生装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像視聴者の音声を映像と共に再生する技術に適用可能である。

本発明の原理説明図である。 本発明の原理構成図である。 本発明の一実施の形態におけるシステム構成図である。 本発明の一実施の形態における音声区間ファイルの例である。 本発明の一実施の形態におけるユーザ評価情報ファイルの例である。 本発明の第１の実施の形態における映像再生装置の構成図である。 本発明の第１の実施の形態における動作のフローチャートである。 本発明の第１の実施の形態におけるユーザの発声と発声に対する評価を示す図である。 本発明の第２の実施の形態における動作のフローチャートである。 本発明の第２の実施の形態におけるユーザの発声と評価値による再生音量の関係を示す図である。 本発明の第３の実施の形態における動作のフローチャートである。 本発明の第３の実施の形態におけるユーザの発声と再生順序の関係を示す図である。 本発明の第４の実施の形態における動作のフローチャートである。 本発明の第４の実施の形態における発声と再生の関係を示す図である。 本発明の第４の実施の形態における評価値が低いユーザの音声を再生する動作のフローチャートである。 本発明の第５の実施の形態における動作のフローチャートである。 本発明の第５の実施の形態における発声と再生の関係を示す図である。 本発明の第６の実施の形態における動作のフローチャートである。 本発明の第６の実施の形態における発声と再生の関係を示す図である。

符号の説明

１０ 視聴者音声ファイル
２０ 音声区間ファイル
１００ 計算機、映像再生装置
１０１ 映像ファイル
１０２ 視聴者音声ファイルＡ
１０３ 音声区間情報ファイルＡ
１０４ 視聴者音声ファイルＢ
１０５ 音声区間情報ファイルＢ
１０６ 視聴者音声ファイルＣ
１０７ 音声区間情報ファイルＣ
１０８ ユーザ評価情報ファイル
１１０ 再生手段、再生部
１２０ 再生制御手段、再生制御部
２００ モニタ

Claims (13)

1. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
   映像を読み込んで再生を開始する再生開始ステップと、
   前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、該ユーザ毎に設けられている視聴者音声ファイルに音声が格納されているかを判定する音声存在判定ステップと、
   前記視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定し、非言語の場合には該音声を再生する非言語判定ステップと、
   前記非言語判定ステップにおいて、非言語ではないと判定された場合には、前記音声区間情報ファイルに格納されている音声区間に対応するユーザの音声について、ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルをユーザＩＤに基づいて参照し、最も高い評価値を有するユーザの音声を再生する音声再生ステップと、
   前記音声再生ステップで音声再生された次の音声区間に対して、前記音声存在判定ステップ、前記非言語判定ステップ、前記音声再生ステップを前記映像ファイルの映像が終了するまで繰り返す繰り返しステップと、
   を行うことを特徴とする映像再生方法。
2. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
   映像を読み込んで再生を開始する再生開始ステップと、
   前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、該ユーザ毎に設けられている視聴者音声ファイルに音声が格納されているかを判定する音声存在判定ステップと、
   前記視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定し、非言語の場合には該音声を再生する非言語判定ステップと、
   前記非言語判定ステップにおいて、非言語ではないと判定された場合には、前記音声区間情報ファイルに格納されている音声区間に対応するユーザの音声について、ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルをユーザＩＤに基づいて参照し、評価値に基づいて再生する音量を決定し、該音声を再生する音声再生ステップと、
   前記音声再生ステップで音声再生された次の音声区間に対して、前記音声存在判定ステップ、前記非言語判定ステップ、前記音声再生ステップを前記映像ファイルの映像が終了するまで繰り返す繰り返しステップと、
   を行うことを特徴とする映像再生方法。
3. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
   映像を読み込んで再生を開始する再生開始ステップと、
   前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、該ユーザ毎に設けられている視聴者音声ファイルに音声が格納されているかを判定する音声存在判定ステップと、
   前記視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定し、非言語以外で発声が重複しないユーザのグループを、全ての前記音声区間情報ファイルを検索することにより取得する第１のユーザグループ検索ステップと、
   前記第１のユーザグループ検索ステップにより取得した前記ユーザのグループに基づいて、前記視聴者音声ファイルから該グループに属する全てのユーザの音声を読み出して音声を再生する第１の音声再生ステップと、
   前記第１のユーザグループ検索ステップにおいて選択されなかったユーザの中で、発声が重複しないユーザのグループを、該ユーザの音声区間情報ファイルを検索することにより検索する第２のユーザグループ検索ステップと、
   前記第２のユーザグループ検索ステップで検索されたグループの全ユーザの音声を前記視聴者音声ファイルから読み出して、映像と共に遡って再生する第２の音声再生ステップと、
   全てのユーザの音声の再生が終了するまで、前記第２のユーザグループ検索ステップ及び前記第２の音声再生ステップを繰り返す繰り返しステップと、
   を行うことを特徴とする映像再生方法。
4. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
   映像を読み込んで再生を開始する再生開始ステップと、
   ユーザ毎に設けられている視聴者音声ファイルのうち、未再生のユーザの音声について、ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルを参照して、評価値が最大のユーザの音声を該ユーザの視聴者音声ファイルから読み出して再生する第１の音声再生ステップと、
   前回再生されたユーザの次の発声までの時間間隔に収まる他のユーザの音声を、ユーザ毎に設けられている前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する全ての音声区間情報ファイルを検索することにより取得する発声候補検索ステップと、
   前記発声候補検索ステップで取得したユーザの音声のうち、前回再生されたユーザの次に評価値が高いユーザの音声を該ユーザの視聴者音声ファイルから読み出して再生する第２の音声再生ステップと、
   全てのユーザの音声を再生するまで、前記発声候補検索ステップ及び前記第２の音声再生ステップを繰り返す繰り返しステップと、
   を行うことを特徴とする映像再生方法。
5. 前記音声再生ステップにおいて、
   前記音声区間内に最も高い評価値を有するユーザの音声を前記視聴者音声ファイルから読み出して再生する際に、
   所定の時間マージンＴの音声区間の再生の重複を許容する請求項１記載の映像再生方法。
6. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生方法において、
   映像を読み込んで再生を開始する再生開始ステップと、
   前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、該ユーザ毎に設けられている視聴者音声ファイルに音声が格納されているかを判定する音声存在判定ステップと、
   前記視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定し、非言語の場合には該音声を再生する非言語判定ステップと、
   前記非言語判定ステップにおいて、非言語ではないと判定された第１の音声について、該第１の音声の開始時刻と該第１の音声の次に発声された他のユーザの第２の音声の開始時刻との差が該第１の音声の区間長よりも短い場合には、該第１の音声を短縮して再生する音声再生ステップと、
   前記音声区間情報ファイルに格納されている音声区間の全てに対して、前記音声存在判定ステップ、前記非言語判定ステップ、前記音声再生ステップを繰り返す繰り返しステップと、
   を行うことを特徴とする映像再生方法。
7. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生装置であって、
   映像を格納した映像ファイルと、
   前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
   前記ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
   ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルと、
   映像・音声を再生する再生手段と、
   音声の再生を制御するための再生制御手段と、を有し、
   前記再生手段は、
   前記映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
   前記再生制御手段からの指示に基づいて、音声を前記映像に同期させて再生させる手段と、を有し、
   前記再生制御手段は、
   前記音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、前記視聴者音声ファイルに音声が格納されているかを判定する音声存在判定手段と、
   前記視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定する非言語判定手段と、
   前記非言語判定手段において、非言語ではないと判定された場合には、前記音声区間情報ファイルに格納されている音声区間に対応するユーザの音声について、前記ユーザ評価情報ファイルをユーザＩＤに基づいて参照し、最も高い評価値を有するユーザの音声を前記再生手段に再生させ、前記非言語判定手段において非言語と判定された場合には該非言語の音声を該再生手段に再生させる音声再生制御手段と、
   前記再生手段で音声再生された次の音声区間に対して、前記音声存在判定手段、前記非言語判定手段、前記音声再生制御手段を前記映像ファイルの映像が終了するまで繰り返す繰り返し手段と、
   を有することを特徴とする映像再生装置。
8. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生であって、
   映像を格納した映像ファイルと、
   前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
   前記ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
   ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルと、
   映像・音声を再生する再生手段と、
   音声の再生を制御するための再生制御手段と、を有し、
   前記再生手段は、
   前記映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
   前記再生制御手段からの指示に基づいて、音声を前記映像に同期させて再生させる手段と、を有し、
   前記再生制御手段は、
   前記音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、前記視聴者音声ファイルに音声が格納されているかを判定する音声存在判定手段と、
   前記視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定する非言語判定手段と、
   前記非言語判定手段において、非言語ではないと判定された場合には、前記音声区間情報ファイルに格納されている音声区間に対応するユーザの音声について、前記ユーザ評価情報ファイルを該ユーザのユーザＩＤに基づいて参照し、評価値に基づいて前記再生手段に再生させる音量を決定し、該音量でユーザ毎の音声を前記再生手段に再生させ、該非言語判定手段において、非言語と判定された場合には、非言語の音声を該再生手段に再生させる音声再生制御手段と、
   音声再生された次の音声区間に対して、前記音声存在判定手段、前記非言語判定手段、前記音声再生制御手段を前記映像ファイルの映像が終了するまで繰り返す繰り返し手段と、
   を有することを特徴とする映像再生装置。
9. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生装置であって、
   映像を格納した映像ファイルと、
   前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
   前記ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
   映像・音声を再生する再生手段と、
   音声の再生を制御するための再生制御手段と、を有し、
   前記再生手段は、
   前記映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
   前記再生制御手段からの指示に基づいて、音声を前記映像に同期させて再生させる手段と、を有し、
   前記再生制御手段は、
   前記音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、前記視聴者音声ファイルに音声が格納されているかを判定する音声存在判定手段と、
   前記視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定する非言語判定手段と、
   非言語以外で発声が重複しないユーザのグループを全ての前記音声区間情報ファイルを検索することにより取得する第１のユーザグループ検索手段と、
   前記第１のユーザグループ検索手段により取得した前記ユーザのグループに基づいて、前記視聴者音声ファイルから該グループに属する全てのユーザの音声を読み出して、前記再生手段に音声を再生させる第１の音声再生制御手段と、
   前記第１のユーザグループ検索手段において選択されなかったユーザの中で、発声が重複しないユーザのグループを、前記音声区間情報ファイルを検索することにより検索する第２のユーザグループ検索手段と、
   前記第２のユーザグループ検索手段で検索されたグループに属する全ユーザの音声を前記視聴者音声ファイルから読み出して、前記再生手段に映像と共に遡って再生させる第２の音声再生制御手段と、
   全てのユーザの音声の再生が終了するまで、前記第２のユーザグループ検索手段及び前記第２の音声再生制御手段を繰り返す繰り返し手段と、
   を有することを特徴とする映像再生装置。
10. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生装置であって、
    映像を格納した映像ファイルと、
    前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
    前記ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
    ユーザ毎に予め決められている評価値が格納されているユーザ評価情報ファイルと、
    映像・音声を再生する再生手段と、
    音声の再生を制御するための音声再生制御手段と、を有し、
    前記再生手段は、
    前記映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
    前記再生制御手段からの指示に基づいて、音声を前記映像に同期させて再生させる手段と、を有し、
    前記音声再生制御手段は、
    前記視聴者音声ファイルのうち、未再生のユーザの音声について、前記ユーザ評価情報ファイルを参照して、評価値が最大のユーザの音声を前記視聴者音声ファイルから読み出して前記再生手段に再生させる第１の音声再生制御手段と、
    前回再生されたユーザの次の発声までの時間間隔に収まる他のユーザの音声を、全ての前記音声区間情報ファイルを検索することにより取得する発声候補検索手段と、
    発声候補検索手段で取得したユーザの音声のうち、前記ユーザ評価情報ファイルを参照して、前回再生されたユーザの次に評価値が高いユーザの音声を該ユーザの視聴者音声ファイルから読み出して再生手段に再生させる第２の音声再生制御手段と、
    全てのユーザの音声を再生するまで、前記発声候補検索手段及び前記第２の音声再生制御手段を繰り返す繰り返し手段と、
    を有することを特徴とする映像再生装置。
11. 前記音声再生制御手段は、
    前記音声区間内に最も高い評価値を有するユーザの音声を前記視聴者音声ファイルから読み出して、前記再生手段に再生させる際に、
    所定の時間マージンＴの音声区間の再生の重複を許容する手段を含む請求項７記載の映像再生装置。
12. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生装置であって、
    映像を格納した映像ファイルと、
    前記ユーザ毎に設けられている、前記映像に対する発声の開始時刻、終了時刻からなる音声区間を格納する複数の音声区間情報ファイルと、
    前記ユーザ毎に設けられている該ユーザの音声が格納されている複数の視聴者音声ファイルと、
    映像・音声を再生する再生手段と、
    音声の再生を制御するための音声再生制御手段と、を有し、
    前記再生手段は、
    前記映像ファイルから映像を読み込んで再生を開始する映像再生開始手段と、
    前記再生制御手段からの指示に基づいて、音声を前記映像に同期させて再生させる手段と、を有し、
    前記音声再生制御手段は、
    前記音声区間情報ファイルを参照し、該開始時刻、該終了時刻が設定されているか否かに基づいて、前記視聴者音声ファイルに音声が格納されているかを判定する音声存在判定手段と、
    前記視聴者音声ファイルに音声が格納されている場合に、該音声が非言語か否かを判定する非言語判定手段と、
    前記非言語判定手段において、非言語であると判定された音声を前記再生手段に再生させ、非言語ではないと判定された第１の音声について、該第１の音声の開始時刻と該第１の音声の次に発声された他のユーザの第２の音声の開始時刻との差が該第１の音声の区間長よりも短い場合には、該第１の音声を短縮して該再生手段に再生させる音声再生制御手段と、
    前記音声区間情報ファイルに格納されている音声区間の全てに対して、前記音声存在判定手段、前記非言語判定手段、前記音声再生制御手段を繰り返す繰り返し手段と、
    を有することを特徴とする映像再生装置。
13. 同一の映像を視聴中の複数のユーザの音声群を映像と共に再生する映像再生プログラムであって、
    前記請求項１乃至６のいずれかに記載の映像再生方法を実現するための処理をコンピュータに実行させることを特徴とする映像再生プログラム。

Images