JPWO2012001905A1 - 再生装置、音声選択方法および音声選択プログラム - Google Patents

Abstract

マルチ映像出力部（９）は、複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う。再生状態判定部（７）は、複数の映像信号の少なくとも１つの映像信号の再生状態を判定する。音声信号選択部（８）は、再生状態判定部（７）により判定された再生状態に基づいて、複数の音声信号のいずれかを選択する。

Description

本発明は、複数の映像を示すマルチ映像を処理する再生装置、音声選択方法および音声選択プログラムに関する。

近年、放送のデジタル化・高画質化・多チャンネル化を背景に、世界的に薄型テレビの需要が急増している。また、記録媒体の大容量化、低価格化が進み、数百ＧＢ以上のＨＤＤ（ハードディスクドライブ）を搭載した録画再生機器を一般ユーザーが購入することが容易になってきている。そのため、従来に比べてユーザーが視聴可能なコンテンツは格段に増加している。

薄型テレビは、ブラウン管テレビに比べ大画面化が容易であるが、その大画面を有効活用する機能の一つとしてＰｉｎＰ（ピクチャーインピクチャー）に代表される複数映像の同時表示技術がある。この同時表示技術を用いたマルチ映像表示装置を使用することにより、複数コンテンツを効率よく鑑賞することができる。

マルチ映像表示装置を使用するうえでは、操作対象となる映像が複数になり操作が複雑になることが問題となっていたが、このような不都合を解決するために、操作を容易にするためのシステムが提案されている。

例えば、特許文献１に示されるマルチ画面制御装置では、予め、イベント毎に３パターンの動作を設定しておく。３パターンの動作は、画面切替えを自動で行う動作、画面切替えを行わない動作および画面切替えをするか否かを問い合わせる動作である。これにより、ＣＭ中などのイベントが発生した際にも映像の表示状態を利用者の好みに合わせて設定しておくことが可能である。

また、特許文献２に示される多画面表示テレビジョン受信機では、各画面の情報、操作対象画面や操作内容と画像信号を合成しオンスクリーン表示させることで、映像を著しく阻害することなく操作性を向上させていた。

一方、動画コンテンツの再生機器では、再生期間以外の停止・巻き戻し・早送り動作が行われる間は音声信号が中断するという問題があった。

この不都合に対し、特許文献３では複数の記録媒体から映像信号と音声信号を読み出し、従来では無音となっていた期間であっても映像・音声信号を中断させないようにすることを可能とした。

特開２００６−０８１１０６号公報 特開平７−１６２７７９号公報 特開平４−１７０８８０号公報

しかしながら、複数の映像を示すマルチ映像を処理する再生装置では、以下のような問題点がある。

ここで、マルチ映像は、第１映像および第２映像を示すとする。なお、第１映像および第２映像は、デコーダー等の再生処理により得られる映像とする。また、第１映像には第１音声が対応し、第２映像には第２音声が対応するとする。また、表示装置には、マルチ映像が表示され、第１音声がスピーカーから出力されているとする。

この場合において、第２映像がユーザーにとって興味のある映像になったとする。この場合、ユーザーは、第２音声をスピーカーから出力させるために第１映像の再生状態を一時停止状態にするための操作、出力対象の音声を第１音声から第２音声に切替えるための操作等を行う必要がある。ユーザーの操作に要する時間は、例えば、１秒以上と長い時間である。そのため、音声の選択が迅速に行われないという問題点がある。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、マルチ映像に対応する音声を迅速に選択することを可能とする再生装置等を提供することである。

上述の課題を解決するために、この発明のある局面に従う再生装置は、複数の映像信号と、該複数の映像信号にそれぞれ対応する複数の音声信号とを用いた処理を行う。前記複数の映像信号および音声信号の再生を行うための再生部と、前記再生部が行う再生により前記複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う映像出力部と、前記複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定する再生状態判定部と、前記再生状態判定部により判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択する選択部と、前記選択部により選択された音声信号を出力する音声信号出力部とを備える。

すなわち、映像出力部は、前記複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う。再生状態判定部は、前記複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定する。選択部は、前記再生状態判定部により判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択する。

なお、マルチ映像を示す複数の映像は、複数の映像信号から得られる映像である。すなわち、複数の映像信号は、マルチ映像に対応する。また、選択部が選択対象とする複数の音声信号は、マルチ映像に対応する複数の映像信号に対応する。

したがって、選択部が、前記再生状態判定部により判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択することにより、音声信号の選択においてユーザーの操作等が介入しない。そのため、マルチ映像に対応する音声を迅速に選択することができる。

また、好ましくは、前記再生状態判定部は、前記複数の映像信号の少なくとも１つの映像信号の再生状態である映像再生状態を判定し、前記選択部は、前記再生状態判定部により判定された映像再生状態に基づいて、前記複数の音声信号のいずれかを選択する。

また、好ましくは、前記再生状態判定部は、前記複数の映像信号の少なくとも１つの映像信号の再生状態である映像再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態である音声再生状態を判定し、前記選択部は、前記映像再生状態および前記音声再生状態に基づいて、前記複数の音声信号のいずれかを選択する。

これにより、選択において、前記映像再生状態および前記音声再生状態が使用されるため、より適切な音声信号を選択することができる。

また、好ましくは、前記選択部は、前記再生状態判定部により判定された映像再生状態が特別な映像再生状態であり、かつ、前記再生状態判定部により判定された音声再生状態が特別な音声再生状態である場合、前記複数の音声信号のうち、再生状態が変化していない音声信号であって、かつ、再生状態が変化していない映像信号に対応する音声信号を選択する。

また、好ましくは、前記特別な映像再生状態は、前記再生状態判定部が判定対象とした映像信号が示す画像が、所定時間以上略同一であるという状態である。

また、好ましくは、前記特別な映像再生状態は、前記再生状態判定部が判定対象とした映像信号が示す映像が、所定の周期で変化するという状態である。

また、好ましくは、前記特別な音声再生状態は、前記再生状態判定部が判定対象とした音声信号が所定時間以上無音を示す状態である。

また、好ましくは、前記再生状態判定部は、外部からの指示に基づいて、前記複数の映像信号の少なくとも１つの映像信号の再生状態である映像再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態である音声再生状態の少なくとも一方を判定し、前記外部からの指示は、リモートコントローラーから送信される、前記複数の映像信号のいずれかの再生状態を変化させるための指示である。

また、好ましくは、前記再生装置は、さらに、映像信号および音声信号の少なくとも一方を再生する再生機器を備え、前記再生機器は、再生している信号の再生状態を示す再生状態情報を前記再生機器の外部へ出力し、前記再生状態判定部は、さらに、前記再生状態情報に基づいて、前記再生機器の再生状態を判定する。

また、好ましくは、前記再生状態判定部は、複数の再生状態を判定し、該複数の再生状態に優先度をつける。

また、好ましくは、前記選択部は、前記再生状態判定部により判定された再生状態と、前記複数の音声信号のいずれかを選択するための優先度とに基づいて、前記複数の音声信号のいずれかを選択する。

また、好ましくは、前記マルチ映像を構成する前記複数の映像のうち、前記選択部により選択された音声信号に対応する映像は、他の映像と異なる態様で示される。

これにより、ユーザーは、選択された音声信号を認識することができる。

また、好ましくは、前記マルチ映像を構成する前記複数の映像のうち、前記選択部により選択された音声信号に対応する映像は、該映像の周縁部が点滅する映像である。

これにより、ユーザーは、選択された音声信号を容易に認識することができる。

また、好ましくは、前記複数の映像信号および音声信号のうち、少なくとも１つの映像信号および音声信号は、記録媒体から得られる信号である。

また、好ましくは、前記複数の映像信号および音声信号のうち、少なくとも１つの映像信号および音声信号はチューナーから得られた信号である。

また、好ましくは、前記再生装置は、さらに、外部音声信号入力部を備え、前記複数の音声信号のうち少なくとも１つの音声信号は、前記外部音声信号入力部に接続される機器から送信される音声信号である。

この発明の他の局面に従う音声選択方法は、複数の映像信号と、該複数の映像信号にそれぞれ対応する複数の音声信号とを用いた処理を行う再生装置が行う。前記再生装置は、前記複数の映像信号および音声信号の再生を行うための再生部と、前記再生部が行う再生により前記複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う映像出力部とを備え、前記音声選択方法は、前記複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定するステップと、判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択するステップと、選択された音声信号を出力するステップとを備える。

この発明のさらに他の局面に従う音声選択プログラムは、複数の映像信号と、該複数の映像信号にそれぞれ対応する複数の音声信号とを用いた処理を行う再生装置が実行する。前記再生装置は、前記複数の映像信号および音声信号の再生を行うための再生部と、前記再生部が行う再生により前記複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う映像出力部とを備え、前記音声選択プログラムは、前記複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定するステップと、判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択するステップと、選択された音声信号を出力するステップとを備える。

なお、本発明は、このような再生装置を構成する複数の構成要素の全てまたは一部を、システムＬＳＩ（Large Scale Integration：大規模集積回路）として実現してもよい。

また、本発明は、再生装置が備える特徴的な構成部の動作をステップとする音声選択方法として実現してもよい。また、本発明は、そのような音声選択方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。

本発明により、マルチ映像に対応する音声を迅速に選択することができる。

図１は、第１の実施の形態における再生装置の構成を示すブロック図である。 図２は、再生状態対応処理のフローチャートである。 図３は、第２の実施の形態における再生装置の構成を示すブロック図である。 図４は、再生状態管理部の構成を示すブロック図である。 図５は、判定される再生状態を説明するための図である。 図６は、音声を自動で切替えるための設定例を示す図である。 図７は、優先度を考慮した、選択候補となる音声信号が複数ある場合の設定例を示す図である。 図８は、一例としてのマルチ映像を示す図である。 図９は、一例としてのマルチ映像を示す図である。 図１０は、再生状態対応処理Ａのフローチャートである。 図１１は、一例としての再生装置の構成を示すブロック図である。 図１２は、再生装置の特徴的な機能構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照して説明する。なお、実施の形態において同じ符号を付与した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、以下の実施の形態は本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。

＜第１の実施の形態＞
第１の実施の形態では、２つの記録媒体と、２つのビデオデコーダーと、２つのオーディオデコーダーを備え、マルチ映像（マルチ画面）の信号を出力が可能な再生装置について説明する。ここで、マルチ映像とは、複数種類の映像を示す映像である。

図１は、第１の実施の形態における再生装置１０００の構成を示すブロック図である。再生装置１０００には、図示されない１台のモニタおよびスピーカーが接続される。当該モニタは、映像を表示可能な表示装置である。詳細は後述するが、再生装置１０００は、生成した映像信号を、図示されない１台の外部のモニタへ送信する。また、再生装置１０００は、音声信号をスピーカーへ送信する。

図１を参照して、再生装置１０００は、記録媒体１Ａ，１Ｂと、再生部１００と、ＯＳＤ（On-Screen Display）部４と、ビデオ合成部５と、指示受付部６と、再生状態判定部７と、音声信号選択部８と、マルチ映像出力部９と、音声信号出力部１０とを備える。

記録媒体１Ａ，１Ｂは、例えば、ＨＤＤ（Hard disk drive）、フラッシュメモリ等である。

なお、記録媒体１Ａ，１Ｂは、再生装置１０００に備えられなくてもよい。すなわち、記録媒体１Ａ，１Ｂは、再生装置１０００から容易に取り外すことが可能な媒体であってもよい。この場合、記録媒体１Ａ，１Ｂは、光学メディア、ＳＤカード、ＵＳＢメモリ等である。光学メディアは、例えば、ＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）である。

記録媒体１Ａ，１Ｂの各々には、ビデオコーデックにより符号化された映像信号、および、オーディオコーデックにより符号化された音声信号が記録されている。

近年においては、映像信号はビデオコーデックによって、音声信号はオーディオコーデックによって、それぞれ圧縮符号化されたのちに記録媒体に記録されることが一般的である。また、映像信号および音声信号の同期情報、管理情報がシステムコーデックによって多重化されることが多い。

ビデオコーデックは、例えば、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４ ＡＶＣである。オーディオコーデックは、例えば、ＡＡＣ（Advanced Audio Coding）、Ｄｏｌｂｙ−ＡＣ３である。また、システムコーデックは、例えば、ＱｕｉｃｋＴｉｍｅ、ＭＰＥＧ−２ ＰＳ、ＭＰＥＧ−２ ＴＳである。

再生部１００は、複数の映像信号および音声信号の再生を行う。再生部１００は、ビデオデコーダー２Ａ，２Ｂと、オーディオデコーダー３Ａ，３Ｂとを含む。

ビデオデコーダー２Ａは、記録媒体１Ａに記録されている映像信号を読出して復号（再生）し、復号された映像信号を、ビデオ合成部５へ送信する。以下においては、ビデオデコーダー２Ａが送信する映像信号を、第１映像信号ともいう。また、以下においては、第１映像信号が示す映像を、第１映像ともいう。

ビデオデコーダー２Ｂは、記録媒体１Ｂに記録されている映像信号を読出して復号（再生）し、復号された映像信号を、ビデオ合成部５へ送信する。以下においては、ビデオデコーダー２Ｂが送信する映像信号を、第２映像信号ともいう。また、以下においては、第２映像信号が示す映像を、第２映像ともいう。

オーディオデコーダー３Ａは、記録媒体１Ａに記録されている音声信号を復号（再生）し、復号された音声信号を、音声信号選択部８へ送信する。以下においては、オーディオデコーダー３Ａが送信する音声信号を、第１音声信号ともいう。また、以下においては、第１音声信号が示す音声を、第１音声ともいう。

オーディオデコーダー３Ｂは、記録媒体１Ｂに記録されている音声信号を復号（再生）し、復号された音声信号を、音声信号選択部８へ送信する。以下においては、オーディオデコーダー３Ｂが送信する音声信号を、第２音声信号ともいう。また、以下においては、第２音声信号が示す音声を、第２音声ともいう。

第１映像および第２映像は、それぞれ、第１音声および第２音声に対応する。

ＯＳＤ部４は、オンスクリーン表示用の文字や図形を描画するための処理を行う。具体的には、ＯＳＤ部４は、オンスクリーン表示用の画像を生成し、生成した画像を示す映像信号（以下、ＯＳＤ映像信号という）を生成する。そして、ＯＳＤ部４は、必要に応じて、当該ＯＳＤ映像信号を、ビデオ合成部５へ送信する。

ビデオ合成部５は、第１映像信号が示す第１映像と、第２映像信号が示す第２映像とを示すマルチ映像を生成する。マルチ映像において、第１映像と、第２映像とは互いに重ならないように配置される（ピクチャーバイピクチャー）。なお、マルチ映像において、第１映像と、第２映像とは重なるように配置されてもよい。

なお、マルチ映像が生成される際、マルチ映像に示される当該複数の映像は、必要に応じて、ビデオ合成部５により縮小される。

すなわち、マルチ映像は、再生部１００が行う再生により複数の映像信号からそれぞれ得られる複数の映像を示す。

また、ビデオ合成部５は、必要に応じて、生成したマルチ映像に、ＯＳＤ映像信号が示す映像を重畳させる。当該ＯＳＤ映像信号が示す映像の重畳の方法は周知な技術であるので詳細な説明は行わない。

そして、ビデオ合成部５は、マルチ映像を示す映像信号（以下、マルチ映像信号という）を、マルチ映像出力部９へ送信する。

マルチ映像出力部９は、受信したマルチ映像信号を、図示されない１台の外部のモニタへ送信（出力）する。当該モニタは、受信したマルチ映像信号が示すマルチ映像を表示する。すなわち、マルチ映像出力部９は、マルチ映像を出力するための処理を行う映像出力部である。

指示受付部６は、制御指示を示す制御信号を受信することにより、制御指示を受付ける。当該制御信号は、例えば、図示しないリモートコントローラーをユーザーが操作することにより、当該リモートコントローラーから無線通信により送信される制御信号である。以下においては、リモートコントローラーを、単に、リモコンともいう。

当該制御指示は、再生制御指示、映像構成指示、音声選択指示等のいずれかである。

再生制御指示は、映像信号の再生に関する指示である。再生制御指示は、例えば、通常再生、早送り、一時停止、巻き戻し等の指示である。

以下においては、映像信号が示す映像が一時停止されている再生状態を、一時停止状態ともいう。

一時停止状態は、当該映像信号が示す画像が、所定時間以上同一または略同一であるという状態である。

また、以下においては、映像信号が示す映像が早送りされている再生状態を、早送り状態ともいう。また、以下においては、映像信号が示す映像が巻き戻しされている再生状態を、巻き戻し状態ともいう。また、以下においては、映像信号が示す映像が通常に再生されている再生状態を、通常再生状態ともいう。

また、以下においては、一時停止状態、早送り状態および巻き戻し状態の各々を、総括的に、非通常再生状態ともいう。また、以下においては、早送り状態および巻き戻し状態の各々を、総括的に、特殊再生状態ともいう。

指示受付部６は、受付けた制御指示が再生制御指示である場合、当該再生制御指示を、再生部１００および再生状態判定部７へ送信する。

ここで、一例として、再生制御指示が、ビデオデコーダー２Ａにより復号（再生）される映像信号の再生状態を、一時停止状態にするという指示であるとする。この場合、再生部１００に含まれるビデオデコーダー２Ａは、映像信号の復号を停止し、同一のフレーム（画像）が表示される映像信号を、第１映像信号として、ビデオ合成部５へ送信する。

これにより、ビデオ合成部５が生成するマルチ映像が示す第１映像は、同一のフレーム（画像）を表示する。すなわち、第１映像信号の再生状態が、一時停止状態となる。

映像構成指示は、マルチ映像生成指示、単一映像指示等である。指示受付部６は、制御指示が映像構成指示である場合、当該映像構成指示を、ビデオ合成部５へ送信する。

マルチ映像生成指示は、ビデオ合成部５に前述したマルチ映像を生成させる指示である。単一映像指示は、ビデオ合成部５に前述したマルチ映像を生成させない指示である。

ビデオ合成部５は、単一映像指示を受信した場合、前述したマルチ映像を生成する処理を行わず、１つの映像（例えば、第１映像、第２映像）を示す映像信号を、マルチ映像出力部９へ送信する。

音声選択指示は、音声信号選択部８が出力する信号を選択するための指示である。指示受付部６は、受付けた制御指示が音声選択指示である場合、当該音声選択指示を、音声信号選択部８へ送信する。

ここで、音声選択指示が、例えば、オーディオデコーダー３Ａから送信される第１音声信号を、音声信号出力部１０へ送信するための指示であるとする。この場合、音声信号選択部８は、受信した音声選択指示にしたがって、第１音声信号を、音声信号出力部１０へ送信する。

なお、指示受付部６が受信する当該制御信号は、再生装置１０００に設けられる図示されないキー（ボタン）をユーザーが操作することにより図示されない回路から送信される制御信号であってもよい。

再生状態判定部７は、再生部１００により復号（再生）される、各信号の再生状態を判定する。再生状態判定部７は、第１音声信号および第２音声信号のいずれを選択するかを示す音声選択指示を、音声信号選択部８へ送信する。

映像信号の再生状態が、一時停止状態、巻き戻し状態等の再生状態である場合、単体の再生機では無音にするのが一般的である。しかしながら、再生状態判定部７は、例えば、音声信号の再生状態を判定し、当該再生状態が無音を示す再生状態であれば、当該音声信号とは別の音声信号を選択することができる。

なお、再生状態判定部７は、一つ前に選択していた音声信号を記憶する機能を有する。この機能により、再生状態判定部７は、音声信号の再生状態が、有音を示す再生状態になれば、一つ前に選択していた音声信号に戻すことができる。

音声信号選択部８は、指示受付部６から送信される音声選択指示または再生状態判定部７から送信される音声選択指示にしたがって、第１音声信号および第２音声信号のいずれかを選択する。

指示受付部６から送信される音声選択指示は、例えば、前述したように、ユーザーがリモコンを操作することにより発生する指示である。

以下においては、ユーザーによるリモコンの操作を、リモコン操作Ｕという。

そして、音声信号選択部８は、選択した音声信号を、音声信号出力部１０へ送信する。

音声信号出力部１０は、受信した音声信号を、スピーカーへ送信する。すなわち、音声信号出力部１０は、受信した音声信号を外部へ出力する。スピーカーは、受信した音声信号が示す音声を出力する。

なお、再生装置１０００には、ヘッドフォンが接続されていてもよい。この場合、音声信号出力部１０は、受信した音声信号を、ヘッドフォンへ送信する。

音声信号選択部８は、先に述べたように、リモコン操作Ｕにより、第１音声信号および第２音声信号のいずれかを選択することができる。しかしながら、第１映像および第２映像の一方の再生状態を変えてから、音声信号を選択するための２つのステップ（リモコン操作Ｕ）は、回数が多くなる程、ユーザーに負担をかける。

例えば、本実施の形態に係る再生装置１０００を利用すれば、第１映像および第２映像を示すマルチ映像を、モニタで表示することにより、第１映像および第２映像を並行して鑑賞することができる。

ここで、第１映像と、第１映像に対応する第１音声と、第２映像とを視聴中に、第２映像がユーザーにとって興味のある映像になったとする。すなわち、第１映像および第２映像を示すマルチ映像がモニタに表示されており、第１音声がスピーカーから出力されているとする。

この場合、ユーザーは第２映像の鑑賞に集中するために、再生装置１０００に第１映像の再生状態を一時停止状態にさせ、かつ、再生対象の音声を第１音声から第２映像に対応する第２音声に切替えさせるための操作を行ったとする。

そして、ユーザーは、第２映像および第２音声をしばらく視聴した後、再度、第１映像を視聴するために、再生対象の音声を、再生装置１０００に第２音声から第１音声に切替えるための操作を行ったとする。

従来のリモコン操作Ｕにより、上記処理を再生装置１０００に実現させる場合、以下のリモコン操作Ｊ１，Ｊ２，Ｊ３，Ｊ４という４つのステップを、ユーザーは行う必要がある。

リモコン操作Ｊ１は、第１映像の再生状態を、一時停止状態にするためのリモコン操作Ｕ（例えば、一時停止ボタンの押下操作）である。

リモコン操作Ｊ２は、再生対象の音声を、第１音声から第２音声に切替えるためのリモコン操作Ｕ（例えば、音声切替ボタンの押下操作）である。

リモコン操作Ｊ３は、再生対象の音声を、第２音声から第１音声に切替えるためのリモコン操作Ｕ（例えば、音声切替ボタンの押下操作）である。

リモコン操作Ｊ４は、一時停止状態の第１映像の再生を行うためのリモコン操作Ｕ（例えば、再生ボタンの押下操作）である。

しかし、本実施の形態における再生装置１０００は、以下のリモコン操作Ｎ１，Ｎ２という、２つのステップにより、上記処理を行うことが可能である。以下においては、再生装置１０００が行う、再生状態に対応した処理を、再生状態対応処理という。

図２は、再生状態対応処理のフローチャートである。

ここで、再生装置１０００のビデオ合成部５、音声信号選択部８および音声信号出力部１０は以下の処理を行っているとする。

ビデオ合成部５は、第１映像および第２映像を示すマルチ映像を示すマルチ映像信号をモニタへ送信（出力）している。音声信号選択部８は、第１音声信号を選択しており、第１音声信号を音声信号出力部１０へ送信している。音声信号出力部１０は、第１音声信号をスピーカーへ送信している。スピーカーは、第１音声信号の受信により、第１音声を出力している。この場合、第１映像（第１映像信号）の再生状態は、通常再生状態である。

上記状態において、まず、ユーザーによりリモコン操作Ｎ１が行われる。リモコン操作Ｎ１は、第１映像の再生状態を、一時停止状態にするためのリモコン操作Ｕである。すなわち、リモコン操作Ｎ１は、前述のリモコン操作Ｊ１と同じである。

この場合、指示受付部６は、第１映像（第１映像信号）の再生状態を、一時停止状態にするための再生制御指示を示す制御信号を、リモコンから受信することにより、当該再生制御指示を受付ける。この場合、指示受付部６は、当該再生制御指示を、再生部１００および再生状態判定部７へ送信する。

この場合、再生部１００に含まれるビデオデコーダー２Ａは、再生制御指示に従って、映像信号の復号を停止し、同一のフレーム（画像）が表示される映像信号を、第１映像信号として、ビデオ合成部５へ送信する。

これにより、ビデオ合成部５が生成するマルチ映像が示す第１映像は、同一のフレーム（画像）を表示する。すなわち、第１映像信号の再生状態が、一時停止状態となる。

また、この場合、再生状態判定部７は、第１映像（第１映像信号）の再生状態を、一時停止状態にするための再生制御指示を受信することにより、「第１映像の再生状態は一時停止状態になるので、第１音声は無音になる」と判断する。

すなわち、再生状態判定部７は、第１映像（第１映像信号）の再生状態が、特別な映像再生状態としての一時停止状態であると判定する（Ｓ１１０）。つまり、再生状態判定部７は、第１映像（第１映像信号）の再生状態が、通常再生状態から、一時停止状態に変化したと判定する。

なお、この場合、再生状態判定部７は、第２映像（第２映像信号）の再生状態は、通常再生状態であるとも判定する。

つまり、再生状態判定部７は、複数の映像信号の少なくとも１つの映像信号の再生状態（以下、映像再生状態ともいう）を判定する。

そして、再生状態判定部７は、第２音声信号を選択するための音声選択指示を、音声信号選択部８へ送信する。すなわち、当該音声選択指示は、再生対象の音声を、第１音声から第２音声に切替えるための指示である。

音声信号選択部８は、音声選択指示を受信すると、第１音声信号の代わりに第２音声信号を選択する（Ｓ１２０）。

すなわち、選択部としての音声信号選択部８は、再生状態判定部７により判定された映像再生状態が、特別な映像再生状態である場合、複数の音声信号のうち、該再生状態が変化した第１映像信号に対応する第１音声信号以外の第２音声信号を選択する。

言い換えれば、音声信号選択部８は、再生状態判定部７により複数の映像信号のいずれかの再生状態が変化したと判定された場合、複数の音声信号のうち、該再生状態が変化した第１映像信号に対応する第１音声信号以外の第２音声信号を選択する。

つまり、選択部としての音声信号選択部８は、再生状態判定部７により判定された再生状態に基づいて、複数の音声信号のいずれかを選択する。

そして、音声信号選択部８は、選択した第２音声信号を、音声信号出力部１０へ送信する。

音声信号出力部１０は、第２音声信号を、外部のスピーカーへ送信（出力）する（Ｓ１３０）。これにより、スピーカーから出力される音声が、第１音声から第２音声に切替える。すなわち、音声信号出力部１０は、選択部としての音声信号選択部８により選択された音声信号を出力する。

次に、ユーザーによりリモコン操作Ｎ２が行われる。リモコン操作Ｎ２は、一時停止状態の第１映像の再生を行うためのリモコン操作Ｕである。すなわち、リモコン操作Ｎ２は、前述のリモコン操作Ｊ４と同じである。

この場合、指示受付部６は、第１映像（第１映像信号）の再生状態を、通常再生状態にするための再生制御指示を示す制御信号を、リモコンから受信することにより、当該再生制御指示を受付ける。この場合、指示受付部６は、当該再生制御指示を、再生部１００および再生状態判定部７へ送信する。

この場合、再生部１００に含まれるビデオデコーダー２Ａは、再生制御指示に従って、停止していた映像信号の復号を開始し、当該復号により得られる第１映像信号を、ビデオ合成部５へ送信する。すなわち、ビデオデコーダー２Ａは、第１映像信号の再生状態を、通常再生状態にする。

これにより、ビデオ合成部５が生成するマルチ映像が示す第１映像の再生状態は、通常再生状態となる。

また、この場合、再生状態判定部７は、第１映像（第１映像信号）の再生状態を、通常再生状態にするための再生制御指示を受信することにより、「第１映像の再生状態は通常生成状態になるので、第１音声は有音になる」と判断する。

すなわち、再生状態判定部７は、第１映像（第１映像信号）の再生状態が、通常再生状態であると判定する（Ｓ１１０）。つまり、再生状態判定部７は、第１映像（第１映像信号）の再生状態が、一時停止状態から、通常再生状態に変化したと判定する。

そして、再生状態判定部７は、第１音声信号を選択するための音声選択指示を、音声信号選択部８へ送信する。すなわち、当該音声選択指示は、再生対象の音声を、第２音声から第１音声に切替えるための指示である。

音声信号選択部８は、音声選択指示を受信すると、第２音声信号の代わりに第１音声信号を選択する（Ｓ１２０）。そして、音声信号選択部８は、選択した第１音声信号を、音声信号出力部１０へ送信する。

音声信号出力部１０は、第１音声信号を、外部のスピーカーへ送信（出力）する（Ｓ１３０）。これにより、スピーカーから出力される音声が、第２音声から第１音声に切替える。

なお、上記処理では、再生制御指示が、映像（映像信号）の再生状態を、一時停止状態にするための指示である例を説明したが、本発明は、再生制御指示が、映像（映像信号）の再生状態を、早送り状態または巻き戻し状態にするための指示であっても、上記処理と同様な処理が行われる。

すなわち、変化した映像（映像信号）の再生状態が、早送り状態または巻き戻し状態であっても、変化した映像（映像信号）の再生状態が一時停止状態である場合の前述の処理と同様な処理が行われる。

以上のように、本実施の形態によれば、再生状態判定部７が、映像（映像信号）の再生状態を判定し、判定した再生状態に応じて、音声信号選択部８へ音声選択指示を送信する。音声信号選択部８は、音声選択指示に従って、音声信号を選択する。音声信号出力部１０は、音声信号選択部８により選択された音声信号を出力する。

なお、音声信号選択部８が選択対象とする第１音声信号および第２音声信号は、それぞれ、第１映像および第２映像に対応する。すなわち、音声信号選択部８が選択対象とする第１音声信号および第２音声信号は、第１映像および第２映像を示すマルチ映像に対応する。

したがって、音声信号選択部８が、再生状態判定部７により判定された再生状態に基づいて、複数の音声信号（第１および第２音声信号）のいずれかを選択することにより、音声信号の選択においてユーザーの操作等が介入しない。そのため、マルチ映像に対応する音声を迅速に選択することができる。

また、従来では、例えば、第１映像（第１映像信号）の再生状態が非通常再生状態（一時停止状態、早送り状態等）であり、第１音声が無音である状態（以下、状態Ａという）において、第２音声を出力させるためには、ユーザーによる操作が必要であった。

しかしながら、本実施の形態では、状態Ａにおいて、ユーザーによる操作がなくても、第１音声とは異なる第２音声を出力することができる。そのため、ユーザーは、第１映像および第２映像を並行して効率よく鑑賞することが可能になる。

なお、本実施の形態では、２つの映像信号および音声信号を、２つの記録媒体（記録媒体１Ａ，１Ｂ）から読み出すとしたが、記録媒体は１つであっても、３つ以上であってもよい。

また、本実施の形態では、２つのビデオデコーダーおよびオーディオデコーダーを利用したが、これに限定されない。例えば、時分割処理を行い、容量の大きいデコードバッファを用いることにより、各デコーダーを１つにして回路規模を小さくしてもよい。また、各デコーダーを３つ以上備えて負荷分散をすることにより消費電力を抑えるようにしてもよい。

また、本実施の形態ではビデオデコーダーおよびオーディオデコーダーを、復号を行う再生手段として利用したが、これに限定されない。例えば、映像信号および音声信号が圧縮符号化されていない場合には、記録媒体から映像信号および音声信号を読み出し、当該映像信号および音声信号を出力するための構成が再生手段と同等になる。そのため、必ずしもビデオデコーダーおよびオーディオデコーダーが必要なわけではない。

また、本実施の形態では、記録媒体から映像信号および音声信号を読み出したが、これに限定されない。映像信号および音声信号は、同時に録画されたものであってもよいし、映像信号と音声信号とは、互いに全く関連がなくてもよい。

また、本実施の形態では、記録媒体から映像信号および音声信号を直接読み出し、ビデオ・オーディオデコーダーによって復号する構成としたが、これに限定されない。例えば、多重化されたストリームを記録媒体から読み出し、それを多重分離してからビデオ・オーディオデコーダーが復号してもよい。

また、本実施の形態ではマルチ映像出力部が、複数の映像を示すマルチ映像の信号を、１つのモニタへ送信（出力）する構成としたがこれに限定されない。複数の映像の信号を、それぞれ、複数のモニタへ送信する構成としてもよい。また、複数のモニタのそれぞれに対して、１以上の映像の信号を送信（出力）する構成としてもよい。

また、本実施の形態では、音声信号選択部８が出力する音声信号は１つとしたが、これに限定されない。例えば、複数の音声出力を実現するために、音声信号出力部に複数の出力端子が設けられてもよい。また、ヘッドフォンとスピーカーなどそれぞれ別の機器で同一もしくは別の音源を聞くことができるようにしてもよい。

＜第２の実施の形態＞
第２の実施の形態では、４つのチューナーと、４つのビデオデコーダーと、４つのオーディオデコーダーと、２つの外部映像信号入力部と、２つの外部音声信号入力部とを備える再生装置について説明する。

図３は、第２の実施の形態における再生装置１０００Ａの構成を示すブロック図である。

再生装置１０００Ａは、テレビジョン受像機２００と、再生機器３０１，３０２とを備える。

テレビジョン受像機２００は、マルチ映像（マルチ画面）の表示が可能な映像表示装置である。なお、再生装置１０００Ａが備える映像表示装置は、テレビジョン受像機に限定されない。再生装置１０００Ａが備える映像表示装置は、映像を表示可能な装置であれば、他の装置であってもよい。

テレビジョン受像機２００と、再生機器３０１，３０２とは、互いに接続される。

テレビジョン受像機２００は、チューナー１２Ｃ，１２Ｄ，１２Ｅ，１２Ｆと、再生部１００Ａと、ＯＳＤ部４と、ビデオ合成部５Ａと、指示受付部６Ａと、再生状態管理部７Ａと、音声信号選択部８と、マルチ映像表示部９Ａと、音声信号出力部１０と、外部映像信号入力部１３Ａ，１３Ｂと、外部音声信号入力部１４Ａ，１４Ｂと、再生状態取得部１５とを含む。

チューナー１２Ｃ，１２Ｄ，１２Ｅ，１２Ｆの各々は、図示しないアンテナから放送波を受信する。チューナー１２Ｃ，１２Ｄ，１２Ｅ，１２Ｆの各々は、受信した放送波を復調することにより映像信号および音声信号を取得し、当該映像信号および音声信号を、ビデオデコーダーとオーディオデコーダーへ送信する。

以下においては、各チューナーが放送波を復調することにより得られる映像信号および音声信号を、それぞれ、放送映像信号および放送音声信号という。

放送映像信号および放送音声信号は、記録媒体１Ａに記録された映像信号および音声信号と同様な信号である。すなわち、放送映像信号は、ビデオコーデックにより符号化された映像信号である。放送音声信号は、オーディオコーデックにより符号化された音声信号である。

再生部１００Ａは、複数の映像信号および音声信号の再生を行う。再生部１００Ａは、ビデオデコーダー２Ｃ，２Ｄ，２Ｅ，２Ｆと、オーディオデコーダー３Ｃ，３Ｄ，３Ｅ，３Ｆとを含む。

チューナー１２Ｃは、放送映像信号および放送音声信号を、それぞれ、ビデオデコーダー２Ｃおよびオーディオデコーダー３Ｃへ送信する。チューナー１２Ｄは、放送映像信号および放送音声信号を、それぞれ、ビデオデコーダー２Ｄおよびオーディオデコーダー３Ｄへ送信する。

チューナー１２Ｅは、放送映像信号および放送音声信号を、それぞれ、ビデオデコーダー２Ｅおよびオーディオデコーダー３Ｅへ送信する。チューナー１２Ｆは、放送映像信号および放送音声信号を、それぞれ、ビデオデコーダー２Ｆおよびオーディオデコーダー３Ｆへ送信する。

ビデオデコーダー２Ｃ，２Ｄ，２Ｅ，２Ｆの各々は、図１のビデオデコーダー２Ａ，２Ｂと同様な機能を有するので詳細な説明は繰り返さない。以下、簡単に説明する。

ビデオデコーダー２Ｃは、受信した放送映像信号を復号（再生）し、復号された放送映像信号を、ビデオ合成部５Ａへ送信する。以下においては、ビデオデコーダー２Ｃが送信する放送映像信号を、第３映像信号ともいう。また、以下においては、第３映像信号が示す映像を、第３映像ともいう。

ビデオデコーダー２Ｄは、受信した放送映像信号を復号（再生）し、復号された放送映像信号を、ビデオ合成部５Ａへ送信する。以下においては、ビデオデコーダー２Ｄが送信する放送映像信号を、第４映像信号ともいう。また、以下においては、第４映像信号が示す映像を、第４映像ともいう。

ビデオデコーダー２Ｅは、受信した放送映像信号を復号（再生）し、復号された放送映像信号を、ビデオ合成部５Ａへ送信する。以下においては、ビデオデコーダー２Ｅが送信する放送映像信号を、第５映像信号ともいう。また、以下においては、第５映像信号が示す映像を、第５映像ともいう。

ビデオデコーダー２Ｆは、受信した放送映像信号を復号（再生）し、復号された放送映像信号を、ビデオ合成部５Ａへ送信する。以下においては、ビデオデコーダー２Ｆが送信する放送映像信号を、第６映像信号ともいう。また、以下においては、第６映像信号が示す映像を、第６映像ともいう。

オーディオデコーダー３Ｃ，３Ｄ，３Ｅ，３Ｆの各々は、図１のオーディオデコーダー３Ａ，３Ｂと同様な機能を有するので詳細な説明は繰り返さない。以下、簡単に説明する。

オーディオデコーダー３Ｃは、受信した放送音声信号を復号（再生）し、復号された放送音声信号を、音声信号選択部８へ送信する。以下においては、オーディオデコーダー３Ｃが送信する放送音声信号を、第３音声信号ともいう。また、以下においては、第３音声信号が示す音声を、第３音声ともいう。

オーディオデコーダー３Ｄは、受信した放送音声信号を復号（再生）し、復号された放送音声信号を、音声信号選択部８へ送信する。以下においては、オーディオデコーダー３Ｄが送信する放送音声信号を、第４音声信号ともいう。また、以下においては、第４音声信号が示す音声を、第４音声ともいう。

オーディオデコーダー３Ｅは、受信した放送音声信号を復号（再生）し、復号された放送音声信号を、音声信号選択部８へ送信する。以下においては、オーディオデコーダー３Ｅが送信する放送音声信号を、第５音声信号ともいう。また、以下においては、第５音声信号が示す音声を、第５音声ともいう。

オーディオデコーダー３Ｆは、受信した放送音声信号を復号（再生）し、復号された放送音声信号を、音声信号選択部８へ送信する。以下においては、オーディオデコーダー３Ｆが送信する放送音声信号を、第６音声信号ともいう。また、以下においては、第６音声信号が示す音声を、第６音声ともいう。

第３映像、第４映像、第５映像および第６映像は、それぞれ、第３音声、第４音声、第５音声および第６音声に対応する。

再生状態取得部１５は、外部からの通信手段によって外部の再生機器の再生状態（動作状態）を取得することができる。再生状態取得部１５は、通信ケーブルにより、再生機器３０１と接続されている。再生状態取得部１５には、一例として、Ｅｔｈｅｒｎｅｔ（登録商標）端子が設けられる。この場合、再生状態取得部１５は、ＬＡＮ（Local Area Network）ケーブルにより、再生機器３０１と接続されている。再生状態取得部１５は、再生機器３０１と通信する。

再生機器３０１は、記録媒体１Ａと、ビデオデコーダー２Ａと、オーディオデコーダー３Ａと、映像信号出力部１６Ａと、音声信号出力部１７Ａと、再生状態判定部１８と、再生状態通知部１９とを含む。

図３の記録媒体１Ａ、ビデオデコーダー２Ａおよびオーディオデコーダー３Ａは、それぞれ、図１の記録媒体１Ａ、ビデオデコーダー２Ａおよびオーディオデコーダー３Ａと同様な機能を有するので、詳細な説明は繰り返さない。以下、簡単に説明する。

ビデオデコーダー２Ａは、記録媒体１Ａに記録されている映像信号を復号（再生）し、復号された映像信号を、映像信号出力部１６Ａへ送信する。前述したように、ビデオデコーダー２Ａが送信する映像信号は第１映像信号であり、第１映像信号が示す映像は第１映像である。

オーディオデコーダー３Ａは、記録媒体１Ａに記録されている音声信号を復号（再生）し、復号された音声信号を、音声信号出力部１７Ａへ送信する。

すなわち、再生機器３０１は、映像信号および音声信号の少なくとも一方を再生する。

前述したように、オーディオデコーダー３Ａが送信する音声信号は、第１音声信号であり、第１音声信号が示す音声は、第１音声である。

映像信号出力部１６Ａは、受信した第１映像信号を、ケーブルを介して、外部映像信号入力部１３Ａへ送信する。音声信号出力部１７Ａは、受信した第１音声信号を、ケーブルを介して、外部音声信号入力部１４Ａへ送信する。

外部映像信号入力部１３Ａは、受信した第１映像信号を、ビデオ合成部５Ａへ送信する。外部音声信号入力部１４Ａは、受信した第１音声信号を、音声信号選択部８へ送信する。

この構成により、テレビジョン受像機２００は、再生機器３０１から送信される映像信号および音声信号を用いて、映像の表示および音声の出力を行うことができる。

すなわち、複数の音声信号（第１〜第６音声信号）のうち少なくとも１つの音声信号は、外部音声信号入力部１４Ａに接続される機器（再生機器３０１）から送信される音声信号である。

映像信号および音声信号を伝達するための接続方式は端子の形状とともに複数存在する。ここでは、再生機器３０１は、一例として、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブルを介して、映像信号および音声信号を、テレビジョン受像機２００へ送信する。

具体的には、映像信号出力部１６Ａおよび音声信号出力部１７Ａは、ＨＤＭＩケーブルにより、それぞれ、外部映像信号入力部１３Ａおよび外部音声信号入力部１４Ａと接続される。

ＨＤＭＩケーブルは、映像信号および音声信号を同時に伝達することができる。しかしながら、図３では、便宜上、映像信号および音声信号の伝達経路を分けて記載している。そのため、図３では、映像信号出力部１６Ａおよび音声信号出力部１７Ａは、それぞれ、外部映像信号入力部１３Ａおよび外部音声信号入力部１４Ａと接続された構成が示される。すなわち、実際には、映像信号出力部１６Ａおよび音声信号出力部１７Ａは、１本のＨＤＭＩケーブルにより、外部映像信号入力部１３Ａおよび外部音声信号入力部１４Ａと接続される。

再生状態判定部１８は、再生機器３０１の再生状態を管理（認識）している。再生状態判定部１８は、再生機器３０１の再生状態（動作状態）を、再生状態通知部１９を介して、外部へ通知する。再生機器３０１の再生状態（動作状態）とは、再生機器３０１が再生している信号の再生状態である。

以下においては、再生機器３０１の再生状態（動作状態）を示す情報を、再生状態情報という。

再生状態通知部１９は、通信ケーブルにより再生状態取得部１５と接続される。再生状態通知部１９には、一例として、Ｅｔｈｅｒｎｅｔ（登録商標）端子が設けられる。この場合、再生状態通知部１９は、ＬＡＮケーブルにより、再生状態取得部１５と接続されている。すなわち、再生状態判定部１８は、再生機器３０１の再生状態（動作状態）を示す再生状態情報を、再生状態通知部１９を介して、テレビジョン受像機２００（再生状態取得部１５）へ送信する。

すなわち、再生機器３０１は、再生機器３０１が再生している信号の再生状態を示す再生状態情報を、再生機器３０１の外部へ出力する。

再生状態取得部１５は、受信した再生状態情報を、再生状態管理部７Ａへ送信する。

この構成により、テレビジョン受像機２００は、再生機器３０１の再生状態（動作状態）をリアルタイムに取得することができる。

再生機器３０２は、記録媒体１Ｂと、ビデオデコーダー２Ｂと、オーディオデコーダー３Ｂと、映像信号出力部１６Ｂと、音声信号出力部１７Ｂとを含む。

図３の記録媒体１Ｂ、ビデオデコーダー２Ｂおよびオーディオデコーダー３Ｂは、それぞれ、図１の記録媒体１Ｂ、ビデオデコーダー２Ｂおよびオーディオデコーダー３Ｂと同様な機能を有するので、詳細な説明は繰り返さない。以下、簡単に説明する。

ビデオデコーダー２Ｂは、記録媒体１Ｂに記録されている映像信号を復号（再生）し、復号された映像信号を、映像信号出力部１６Ｂへ送信する。前述したように、ビデオデコーダー２Ｂが送信する映像信号は第２映像信号であり、第２映像信号が示す映像は第２映像である。

オーディオデコーダー３Ｂは、記録媒体１Ｂに記録されている音声信号を復号（再生）し、復号された音声信号を、音声信号出力部１７Ｂへ送信する。前述したように、オーディオデコーダー３Ｂが送信する音声信号は、第２音声信号であり、第２音声信号が示す音声は、第２音声である。

映像信号出力部１６Ｂは、一例として、コンポーネントケーブルにより、外部映像信号入力部１３Ｂと接続される。音声信号出力部１７Ｂは、一例として、ＲＣＡステレオケーブルにより、外部音声信号入力部１４Ｂと接続される。

映像信号出力部１６Ｂは、受信した第２映像信号を、コンポーネントケーブルを介して、外部映像信号入力部１３Ｂへ送信する。この場合、第２映像信号は、コンポーネント信号である。音声信号出力部１７Ｂは、受信した第２音声信号を、ＲＣＡステレオケーブルを介して、外部音声信号入力部１４Ｂへ送信する。

外部映像信号入力部１３Ｂは、受信した第２映像信号を、ビデオ合成部５Ａへ送信する。外部音声信号入力部１４Ｂは、受信した第２音声信号を、音声信号選択部８へ送信する。

この構成により、テレビジョン受像機２００は、再生機器３０２から送信される映像信号および音声信号を用いて、映像の表示および音声の出力を行うことができる。

すなわち、第１〜第６映像信号および第１〜第６音声信号のうち、少なくとも１つの映像信号および音声信号は、記録媒体から得られる信号である。

また、第１〜第６映像信号および第１〜第６音声信号のうち、少なくとも１つの映像信号および音声信号はチューナーから得られた信号である。

なお、本実施の形態に係る再生装置１０００Ａでは、ビデオデコーダー２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆと、オーディオデコーダー３Ａ，３Ｂ，３Ｃ，３Ｄ，３Ｅ，３Ｆとから、再生部が構成されてもよい。すなわち、再生装置１０００Ａは、ビデオデコーダー２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆと、オーディオデコーダー３Ａ，３Ｂ，３Ｃ，３Ｄ，３Ｅ，３Ｆとを含む再生部が設けられる構成であってもよい。

指示受付部６Ａは、図１の指示受付部６と同様な機能を有するので詳細な説明は繰り返さない。以下、簡単に説明する。

指示受付部６Ａは、テレビジョン受像機２００に設けられるボタン（キー）操作や、前述のリモコン操作Ｕにより、テレビジョン受像機２００の各部に指示を送る。ボタン操作およびリモコン操作Ｕは、電源のオン・オフ操作、チューナーの選局操作、音量調整操作等の一般的なテレビの操作だけでない。

マルチ映像を表示可能な装置の特徴的な操作により、ビデオ合成部５Ａに対して、出画画面数や、映像ごとのレイアウト指示を与えたり、音声信号選択部８に対して、どの音声信号を選択するかの指示を行うことができる。

具体的には、指示受付部６と同様に、指示受付部６Ａは、制御指示を示す制御信号を受信することにより、制御指示を受付ける。当該制御指示は、前述した再生制御指示、映像構成指示、音声選択指示等のいずれかである。

指示受付部６Ａは、受付けた制御指示が再生制御指示である場合、当該再生制御指示を、再生部１００Ａおよび再生状態管理部７Ａへ送信する。

さらに、テレビジョン受像機は、当該テレビジョン受像機向けのリモコンのキーコードしか受信できないのが一般的である。しかしながら、本実施の形態におけるテレビジョン受像機２００は、再生機器３０２向けのリモコンのキーコードも受信して、どの操作が行われたかを判別することができる。

再生機器の基本操作を行うためのメーカー毎のリモコンコードは広く知られており、複数のメーカーの各種ＡＶ機器に対応した万能リモコンや、リモコンのキーコードを受信して学習し送信できる学習リモコンも市販されている。

そのため、他社製の再生機器であっても、リモコンのキーコードを受信してどのような操作が行われたかを判別することは平易に行うことができる。

図３のＯＳＤ部４は、図１のＯＳＤ部４と同様な機能を有するので詳細な説明は繰り返さない。すなわち、ＯＳＤ部４は、必要に応じて、ＯＳＤ映像信号を、ビデオ合成部５Ａへ送信する。

ビデオ合成部５Ａは、図１のビデオ合成部５と同様な機能を有するので詳細な説明は繰り返さない。以下、簡単に説明する。

ビデオ合成部５Ａは、前述した第１映像信号、第２映像信号、第３映像信号、第４映像信号、第５映像信号および第６映像信号を受信する。以下においては、第１映像信号、第２映像信号、第３映像信号、第４映像信号、第５映像信号および第６映像信号の各々を、単に映像信号ともいう。

ビデオ合成部５Ａは、受信する６つの映像信号のうち、２つ以上４つ以下の映像信号を選択し、選択した複数の映像信号がそれぞれ示す複数の映像を示すマルチ映像を生成する。なお、マルチ映像が生成される際、マルチ映像に示される当該複数の映像は、必要に応じて、ビデオ合成部５Ａにより縮小される。

また、ビデオ合成部５Ａは、必要に応じて、生成したマルチ映像に、ＯＳＤ映像信号が示す映像を重畳させる。

そして、ビデオ合成部５Ａは、マルチ映像を示すマルチ映像信号を、マルチ映像表示部９Ａへ送信する。

なお、ビデオ合成部５Ａは、１つの映像信号を選択してもよい。この場合は、マルチ映像は生成されない。

マルチ映像表示部９Ａは、マルチ映像信号が示すマルチ映像を表示する。すなわち、マルチ映像表示部９Ａは、マルチ映像を表示することにより、当該マルチ映像を出力する。すなわち、マルチ映像表示部９Ａは、マルチ映像を出力するための処理を行う映像出力部である。

また、ビデオ合成部５Ａは、マルチ映像信号の送信とともに、マルチ映像に示される複数の映像のうち操作対象となっている映像の映像信号を、再生状態管理部７Ａへ送信する。ここで、操作対象となっている映像とは、例えば、ユーザーによるリモコン操作Ｕにより、前述した再生状態が、前述した非通常再生状態である映像である。以下においては、操作対象となっている映像を、操作対象映像という。

以下においては、マルチ映像に示される複数の映像のうち操作対象映像の映像信号を、操作対象映像信号ＶＳＩＧともいう。この場合、操作対象映像信号ＶＳＩＧは、第１映像信号、第２映像信号、第３映像信号、第４映像信号、第５映像信号および第６映像信号のいずれかである。操作対象映像信号ＶＳＩＧは、複数のフレームから構成される映像（動画像）を示す。

音声信号選択部８は、前述した第１音声信号、第２音声信号、第３音声信号、第４音声信号、第５音声信号および第６音声信号を受信する。以下においては、第１音声信号、第２音声信号、第３音声信号、第４音声信号、第５音声信号および第６音声信号の各々を、単に音声信号ともいう。

音声信号選択部８は、外部からの指示に応じて、受信する６つの音声信号のうち１つ音声信号を選択し、選択した音声信号を、音声信号出力部１０へ送信する。

また、音声信号選択部８は、選択した音声信号の送信とともに、マルチ映像に示される複数の映像のうち操作対象映像に対応する音声信号を、再生状態管理部７Ａへ送信する。

以下においては、マルチ映像に示される複数の映像のうち操作対象映像に対応する音声信号を、操作対象音声信号ＡＳＩＧともいう。この場合、操作対象音声信号ＡＳＩＧは、第１音声信号、第２音声信号、第３音声信号、第４音声信号、第５音声信号および第６音声信号のいずれかである。すなわち、音声信号選択部８は、操作対象音声信号ＡＳＩＧを、再生状態管理部７Ａへ送信する。

音声信号出力部１０は、受信した音声信号を、スピーカーへ送信する。すなわち、音声信号出力部１０は、受信した音声信号を外部へ出力する。スピーカーは、受信した音声信号が示す音声を出力する。

なお、音声信号出力部１０は、スピーカーを含んでいてもよい。この場合、音声信号出力部１０は、受信した音声信号に基づいて、スピーカーから音声を出力する。

図４は、再生状態管理部７Ａの構成を示すブロック図である。

再生状態管理部７Ａは、操作対象映像信号ＶＳＩＧ、操作対象音声信号ＡＳＩＧ、指示受付部６Ａからの指示、再生状態等を受信する。

図４を参照して、再生状態管理部７Ａは、フレーム遅延部１１１と、フレーム比較部１１２と、音声処理部１２１と、再生状態判定部７０と、制御指示転送部１３１とを含む。

フレーム遅延部１１１およびフレーム比較部１１２は、操作対象映像信号ＶＳＩＧを受信する。

フレーム遅延部１１１は、操作対象映像信号ＶＳＩＧにおける各フレームを、１フレーム期間分遅延させて、フレーム比較部１１２へ送信する。ここで、操作対象映像信号ＶＳＩＧを構成する複数のフレームにおいて、各フレームが処理される期間を、１フレーム期間とする。１フレーム期間は、例えば、１／５９．９７秒である。１／５９．９７秒は、日本国内の民生機器としては一般的な時間である。

これにより、フレーム比較部１１２には、１フレーム期間経過毎に、操作対象映像信号ＶＳＩＧにおける現在フレームおよび過去フレームを、ほぼ同時に受信する。現在フレームとは、最新のフレームである。過去フレームとは、時間的に、現在フレームの１つ前のフレームである。

フレーム比較部１１２は、現在フレームおよび過去フレームを受信する毎に、現在フレームと過去フレームとの比較を行う。

音声処理部１２１は、操作対象音声信号ＡＳＩＧを受信する。音声処理部１２１は、詳細は後述するが、操作対象音声信号ＡＳＩＧを処理する。

なお、再生状態判定部７０は、前述したように、再生状態取得部１５（再生機器３０１）から再生状態情報を受信する。前述したように、再生状態情報は、再生機器３０１が再生している信号の再生状態を示す。すなわち、再生状態判定部７０は、受信した再生状態情報が示す再生状態に基づいて、再生機器３０１の再生状態を判定する。

すなわち、再生状態管理部７Ａ（再生状態判定部７０）は、再生状態取得部１５を介して、再生機器３０１から送信される、再生機器３０１の再生状態（動作状態）を示す再生状態情報を受信する。

しかし、再生機器３０２は、再生状態（動作状態）を通知する通信手段を持たない。そのため、再生状態管理部７Ａは、再生状態取得部を経由しては再生機器３０２の再生状態（動作状態）を取得できない。

ここで、マルチ映像表示部９Ａが、一例として、第１映像、第２映像、第３映像および第４映像を示すマルチ映像を表示しており、第２映像が、操作対象映像であるとする。すなわち、再生機器３０２から送信される第２映像信号が示す第２映像が、操作対象映像であるとする。

この場合でも、再生対象の音声を、第２映像に対応する第２音声から、他の音声に切替え可能か否かを判定するための判定方法Ａ，Ｂ，Ｃを以下に示す。

判定方法Ａは、操作対象映像信号ＶＳＩＧにおける、現在フレームと過去フレームとの比較結果に基づく方法である。具体的には、フレーム比較部１１２が、現在フレームおよび過去フレームを受信する毎に、現在フレームと過去フレームとの類似の度合いを示す類似度を算出する。

以下においては、現在フレームと過去フレームとの類似度をフレーム類似度ともいう。２つのフレームの類似度を算出する方法は、周知な算出方法であるので詳細な説明は行わないフレーム類似度は、０〜１００％で示されるとする。

フレーム類似度は、例えば、現在フレームを構成する複数の画素の画素値と、過去フレームを構成する複数の画素の画素値との差分値から求められる。この場合、各差分値の絶対値の平均値が小さい程、フレーム類似度は、１００％に近い値となる。

フレーム類似度が、例えば、１００％である場合、現在フレームおよび過去フレームは、同一フレームである。フレーム類似度が、例えば、９０％である場合、現在フレームおよび過去フレームは、ほぼ同一のフレームである。

フレーム類似度が、例えば、２０％である場合、現在フレームと過去フレームとが同一でフレームである可能性は低い。

フレーム比較部１１２は、フレーム類似度を算出する毎に、当該フレーム類似度を、再生状態判定部７０へ送信する。

再生状態判定部７０は、フレーム類似度を受信する毎に、操作対象映像信号ＶＳＩＧの再生状態を判定する。

再生状態判定部７０は、所定の類似閾値（例えば９０％）以上のフレーム類似度を、所定の類似判定時間（例えば、１秒）以上受信している場合、操作対象映像信号ＶＳＩＧの再生状態は、一時停止状態と判定できる（図５（ａ）参照）。すなわち、この場合、再生機器３０２からの第２音声信号は、無音を示す信号であると判定できる。ここで、類似判定時間は、フレームが類似しているか否かを判定するための時間である。

また、操作対象映像信号ＶＳＩＧの再生状態が、特殊再生状態（例えば、早送り状態、巻き戻し状態等）である場合、図５（ｂ）に示すように、所定時間（例えば、０．１秒）間隔で、フレームが変化する。

したがって、再生状態判定部７０は、フレーム比較部１１２から受信するフレーム類似度が、所定の周期判定時間（例えば、０．１秒）間隔で変化する場合、操作対象映像信号ＶＳＩＧの再生状態が、特殊再生状態（例えば、早送り状態、巻き戻し状態等）であると判定できる。すなわち、特別な映像再生状態としての特殊再生状態は、再生状態判定部７０が判定対象とした映像信号（操作対象映像信号ＶＳＩＧ）が示す映像が、所定の周期で変化するという状態である。

つまり、再生状態判定部７０は、操作対象映像信号ＶＳＩＧの再生状態が、通常再生状態が、特殊再生状態に変化したと判定する。

すなわち、再生状態判定部７０は、操作対象映像信号ＶＳＩＧの再生状態として、一時停止状態、特殊再生状態を判定可能である。そのため、再生状態判定部７０は、より細かな音声信号の選択制御が可能である。

なお、本実施の形態の構成では、操作対象映像信号ＶＳＩＧが、再生機器３０２から出力されるコンポーネント信号である場合もある。コンポーネント信号はコンポジット信号に比べてノイズは少ないものの、アナログ信号であるため完全に画素一致が取れない場合がある。そのため、上記のように、ある程度の誤差を許容するための閾値を設けることが望ましい。

判定方法Ｂは、操作対象音声信号ＡＳＩＧが無音を示す信号であるか否かを判定する方法である。

具体的には、音声処理部１２１は、操作対象音声信号ＡＳＩＧをサンプリングし、所定時間（例えば、１００ミリ秒）における、操作対象音声信号ＡＳＩＧが示す音声の音量の平均値（音量値という）を算出する。音量値は、例えば、０〜１００の範囲の値を示す。音量値が０の場合、操作対象音声信号ＡＳＩＧのうち当該所定時間に対応する部分は、無音を示す。

そして、音声処理部１２１は、音量値を算出する毎に、当該音量値を、再生状態判定部７０へ送信する。

再生状態判定部７０は、所定の無音判定閾値以下の音量値を、所定の無音判定時間以上連続して受信する場合、操作対象音声信号ＡＳＩＧが無音を示すと判定する。無音判定閾値は、例えば、無音であるか否かを判定するための閾値である。無音判定閾値は、例えば、１０である。無音判定時間は、無音であるか否かを判定するための時間である。

再生状態判定部７０は、所定の無音判定時間以上、無音であれば、再生機器３０２から第２音声信号は無音を示すので、再生対象の音声を、切り替えてよいと判断することができる。

なお、判定方法Ｂを実施する場合、操作対象音声信号ＡＳＩＧがデジタル信号であれば、当該操作対象音声信号ＡＳＩＧが０レベルの無音信号であると判定できる。しかしながら、操作対象音声信号ＡＳＩＧがアナログ信号である場合、ノイズがのることが考えられるため、ある程度の誤差を許容するための閾値を設けることが望ましい。

判定方法Ｃは、再生機器に対するリモコンのボタン（キー）操作に基づいて、仮想的に再生機器の状態を判定する方法である。再生機器の再生状態を変えるためには、当該再生機器に対応するリモコンのボタン（キー）操作が行われるが、その操作（制御指示）は指示受付部６Ａからも得ることができる。そのため、テレビジョン受像機２００内部の制御指示転送部１３１の処理により、再生機器に問い合わせなくても、仮想的に再生機器の状態を判定することができる。

具体的には、制御指示転送部１３１は、指示受付部６Ａから送信される制御指示（再生制御指示）を受信し、受信した制御指示（再生制御指示）を、再生状態判定部７０へ送信する。これにより、再生状態判定部７０は、仮想的に、再生機器３０２の再生状態を判定することができる。

以上、再生対象の音声を、第２映像に対応する第２音声から、他の音声に切替え可能か否かを判定するための判定方法Ａ，Ｂ，Ｃを示したが、上記判定方法Ａ，Ｂ，Ｃをそれぞれ単体で使用する場合、判定の精度はよくない。

判定方法Ａのフレーム（画素）比較の場合、例えば、ＶＴＲにおいて、早送りや一時停止された場合に発生するランダムな映像ノイズに対応することは困難である。また、コンテンツの演出上、映像を停止していても音声が流れることもある。そのため、判定方法Ａだけでは、誤判定されることがあり、望ましくない。

判定方法Ｂの場合、ニュースやドラマなどのように、間が必要なコンテンツにおいては、無音状態がたびたび発生する。この場合、判定方法Ｂのみ用いると、頻繁に音声が切替わるといった状態が発生し、この状態は望ましくない。

判定方法Ｃの場合、再生機器３０２およびテレビジョン受像機２００の配置と、リモコン信号（制御指示）の送信方向によっては、再生機器３０２のみが、リモコン信号（制御指示）を取得して、テレビジョン受像機２００はリモコン信号（制御指示）を取得できないといった場合が発生する。この場合、再生機器３０２の再生状態と、仮想的に判定された再生状態とが異なるという状態が発生し、この状態は、望ましくない。

よって、判定方法Ａ，Ｂ，Ｃの各々により判定された結果を、組み合わせて（ＡＮＤ条件で）判定するといった工夫が必要となる。

例えば、図６のような設定を、ユーザーに事前に行ってもらうことで、ユーザーの好みに応じた音声切替タイミングを提供できる。

図６は、音声を自動で切替えるための設定例を示す図である。

図６に示した設定の例であれば、例えば、「判定方法Ａにおける映像変化の閾値（例えば、類似判定時間）を１秒とし、判定方法Ｂにおける無音検出の閾値（無音判定時間）を２００ｍｓとし、ＡＮＤ条件が成立したら自動で別の音声に切り替える」という処理が行われる。

具体的には、この場合、再生状態判定部７０は、類似閾値以上のフレーム類似度を、類似判定時間（１秒）以上受信しおり、かつ、無音判定閾値以下の音量値を、無音判定時間（２００ｍｓ）以上連続して受信する場合、操作対象音声信号ＡＳＩＧが無音を示す信号であると判定する。ここで、操作対象音声信号ＡＳＩＧが無音を示す信号である場合における、操作対象音声信号ＡＳＩＧの再生状態を、無音状態ともいう。

すなわち、この場合、再生状態判定部７０は、操作対象映像信号ＶＳＩＧの再生状態が一時停止状態であると判定し、かつ、操作対象音声信号ＡＳＩＧの再生状態を、無音状態であると判定する。

一時停止状態および無音状態は、それぞれ、特別な映像再生状態および特別な音声再生状態である。

すなわち、特別な映像再生状態としての一時停止状態は、再生状態判定部７０が判定対象とした映像信号（操作対象映像信号ＶＳＩＧ）が示す画像（フレーム）が、所定時間以上同一または略同一であるという状態である。

すなわち、特別な音声再生状態としての無音状態は、再生状態判定部７０が判定対象とした音声信号（操作対象音声信号ＡＳＩＧ）が所定時間以上無音を示す状態である。

なお、再生状態判定部７０により判定される操作対象映像信号ＶＳＩＧの再生状態は、制御指示に応じて異なる。再生状態判定部７０により判定される操作対象映像信号ＶＳＩＧの再生状態は、前述した一時停止状態だけでなく、例えば、早送り状態、巻き戻し状態等の特殊再生状態であるときもある。

操作対象映像信号ＶＳＩＧは、前述したように、第１〜第６映像信号のいずれかである。また、操作対象音声信号ＡＳＩＧは、第１〜第６音声信号のいずれかである。

また、この場合、再生状態判定部７０は、例えば、第１音声信号を選択するための音声選択指示を、音声信号選択部８へ送信する。この場合、音声選択指示は、再生対象の音声を、第２音声から、他の音声（例えば、第１音声）に切替えるための指示である。ここで、第１音声信号は、再生状態が変化していない音声信号であって、かつ、再生状態が変化していない第１映像信号に対応する音声信号であるとする。

音声信号選択部８は、受信した音声選択指示に従って、第１音声信号を選択する。

すなわち、選択部としての音声信号選択部８は、再生状態判定部７０により判定された映像再生状態が特別な映像再生状態であり、かつ、再生状態判定部７０により判定された音声再生状態が特別な音声再生状態である場合、複数の音声信号のうち、再生状態が変化していない音声信号であって、かつ、再生状態が変化していない映像信号に対応する音声信号を選択する。

なお、再生状態判定部７０は、判定した複数の再生状態に、優先度をつけて判定してもよい。例えば、再生状態判定部７０が、操作対象映像信号ＶＳＩＧおよび操作対象音声信号ＡＳＩＧの再生状態を判定したとする。この場合、例えば、映像信号の再生状態を優先して採用するように、ユーザーにより事前に設定されていたとする。

この場合、再生状態判定部７０は、操作対象映像信号ＶＳＩＧおよび操作対象音声信号ＡＳＩＧの再生状態を判定し、操作対象映像信号ＶＳＩＧおよび操作対象音声信号ＡＳＩＧの再生状態のうち、操作対象映像信号ＶＳＩＧの再生状態を優先して採用する。

すなわち、再生状態判定部７０は、複数の再生状態を判定し、該複数の再生状態に優先度をつける。

また、図７のような設定をユーザーに事前に行ってもらうことで、選択候補となる音源（音声信号）が複数ある場合でも、ユーザーの好みにより合った音源（音声信号）を選択することができる。

図７は、優先度を考慮した、選択候補となる音声信号が複数ある場合の設定例を示す図である。

例えば、図７のように優先音源（音声信号）が選択されていて、マルチ映像表示部９Ａは、以下のマルチ映像Ｐ１００を表示しているとする。

図８は、一例としてのマルチ映像Ｐ１００を示す図である。

図８を参照して、マルチ映像Ｐ１００は、第１映像Ｐ１１０と、第２映像Ｐ１２０と、第３映像Ｐ１３０と、第４映像Ｐ１４０とを示す。第１映像Ｐ１１０は、再生機器３０１から受信する第１映像信号が示す映像である。第２映像Ｐ１２０は、再生機器３０２から受信する第２映像信号が示す映像である。

第３映像Ｐ１３０は、チューナー１２Ｃからの放送映像信号の復号（再生）により得られる映像である。第３映像Ｐ１３０は、一例として、ジャンルが音楽である音楽番組の映像であるとする。

第４映像Ｐ１４０は、チューナー１２Ｄからの放送映像信号の復号（再生）により得られる映像である。第４映像Ｐ１４０は、ジャンルがスポーツであるスポーツ番組の映像であるとする。

本実施の形態に係るテレビジョン受像機２００では、現在、出音されている音声に対応した映像をユーザーが認識しやすくするために、当該映像の周縁部に音声出力枠が示される。

また、音声信号出力部１０は、第２映像Ｐ１２０に対応する第２音声信号を、外部のスピーカーへ送信（出力）しているとする。すなわち、スピーカーにより、第２映像Ｐ１２０に対応する第２音声が出力されているとする。

この場合、第２映像Ｐ１２０の周縁部には、第２映像Ｐ１２０に対応する第２音声が出力されていることを示すために、例えば、図８の音声出力枠Ｌ１０が示される。すなわち、マルチ映像において、第２映像は、第１〜第３映像と異なる態様で示される。

すなわち、マルチ映像を構成する複数の映像のうち、選択部としての音声信号選択部８により選択された音声信号に対応する映像は、他の映像と異なる態様で示される。

ここで、一例として、図７に示す、優先度の設定がされており、かつ、マルチ映像表示部９Ａは、一例として、図８のマルチ映像Ｐ１００を表示しているとする。また、図６のように設定されているとする。また、再生機器３０２が再生する第２映像信号の再生状態を一時停止状態にするためのリモコン操作Ｕがユーザーにより行われ、第２映像信号（再生機器３０２）の再生状態が一時停止状態になったとする。

この場合、再生状態判定部７０は、図６の設定条件に従って、第２映像信号（再生機器３０２）から送信される第２音声信号が示す音声が無音になったと判定する。また、図７において、ジャンルは、音楽が選択されておらず、スポーツが選択されている。そのため、再生状態判定部７０は、ジャンルがスポーツであるスポーツ番組の第４映像Ｐ１４０に対応する第４音声信号を優先して選択するための処理を行う。

具体的には、再生状態判定部７０は、第４音声信号を選択するための音声選択指示を、音声信号選択部８へ送信する。音声信号選択部８は、音声選択指示の受信にしたがって、第４音声信号を選択し、当該第４音声信号を、音声信号出力部１０へ送信する。そして、音声信号出力部１０が、前述したのと同様な処理を行うことにより、第４音声がスピーカーから出力される。

すなわち、ジャンルがスポーツであるスポーツ番組の映像に対応する放送映像信号を送信しているチューナー１２Ｄの音声が優先して出音される。

すなわち、選択部としての音声信号選択部８は、再生状態判定部７０により判定された再生状態と、複数の音声信号のいずれかを選択するための優先度とに基づいて、複数の音声信号のいずれかを選択する。

なお、マルチ映像表示部９Ａが表示する映像は、図８のマルチ映像Ｐ１００のように、４つの映像がレイアウトされた映像に限定されない。マルチ映像表示部９Ａが表示する映像は、例えば、単一の映像、または２つの映像を示すマルチ映像であってもよい。

また、マルチ映像は、図８のマルチ映像Ｐ１００のように、４つの映像がレイアウトされた映像に限定されず、図８とは異なるレイアウトにより４つの映像を示すマルチ映像であってもよい。

前述したように、本実施の形態に係るテレビジョン受像機２００では、現在出音している音声に対応した映像を認識しやすくするために、対応した映像の周縁部に音声出力枠が表示される。

なお、本実施の形態に係るテレビジョン受像機２００では、さらに、再生対象の音声が切替わった場合には、音声が切替わったことを示すために、所定時間（例えば、３秒間）、音声出力枠を点滅させる構成とする。

例えば、マルチ映像表示部９Ａが、図８のマルチ映像Ｐ１００を表示している場合に、ユーザーによりリモコン操作Ｕが行われ、第２映像の再生状態が一時停止状態になったとする。すなわち、第２映像が操作対象映像になったとする。また、当該第２映像に対応する第２音声信号が無音を示すとする。

この場合、判定方法Ａ，Ｂ，Ｃを組み合わせた前述した処理、図７で説明した優先度合いを考慮した前述した処理等が行われることにより、再生状態判定部７０が、例えば、第４音声信号を選択するための音声選択指示を、音声信号選択部８へ送信したとする。

音声信号選択部８および音声信号出力部１０は、前述した処理と同様な処理を行うことにより、スピーカーから第４音声が出力される。なお、音声信号選択部８は、選択した音声信号を示す音声選択情報を、ビデオ合成部５Ａへ送信する。ここで、音声選択情報は、第４音声信号を選択した旨を示す情報であるとする。

また、ビデオ合成部５Ａは、音声選択情報を受信することにより、マルチ映像Ｐ１００に示される第４映像の周縁部に音声出力枠Ｌ１０Ａを点滅表示する以下のマルチ映像Ｐ１００Ａを生成し、当該マルチ映像Ｐ１００Ａを、マルチ映像表示部９Ａに表示させる。マルチ映像Ｐ１００Ａは、音声出力枠Ｌ１０Ａを所定時間（例えば、３秒間）点滅表示する映像である。

図９は、一例としてのマルチ映像Ｐ１００Ａを示す図である。

図９を参照して、マルチ映像Ｐ１００Ａには、第４映像Ｐ１４０の周縁部に音声出力枠Ｌ１０Ａが示される。なお、音声出力枠Ｌ１０Ａは、所定時間（例えば、３秒間）点滅表示する。すなわち、マルチ映像を構成する複数の映像のうち、選択部としての音声信号選択部８により選択された音声信号に対応する映像（第４映像）は、該映像の周縁部が点滅する映像である。

以上説明した本実施の形態に係る再生装置１０００Ａは、各種の再生状態に対応した処理（以下、再生状態対応処理Ａという）を行う。

図１０は、再生状態対応処理Ａのフローチャートである。

再生状態判定部７０は、前述したように、フレーム比較部１１２から受信するフレーム類似度を用いて、第１〜第６映像信号のいずれかである操作対象映像信号ＶＳＩＧの再生状態を判定する。また、再生状態判定部７０は、音声処理部１２１から受信する音量値を用いて、前述したように、第１〜第６音声信号のいずれかである操作対象音声信号ＡＳＩＧの再生状態を判定する。

すなわち、再生状態判定部７０は、複数の映像信号の少なくとも１つの映像信号（操作対象映像信号ＶＳＩＧ）の再生状態である映像再生状態、および、複数の音声信号の少なくとも１つの音声信号（操作対象音声信号ＡＳＩＧ）の再生状態である音声再生状態を判定する（Ｓ１１０Ａ）。つまり、再生状態判定部７０は、複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定する（Ｓ１１０Ａ）。

また、再生状態判定部７０は、制御指示転送部１３１から受信する制御指示（再生制御指示）を用いて、再生機器３０２の再生状態、すなわち、操作対象映像信号ＶＳＩＧの再生状態を判定することができる。当該制御指示（再生制御指示）は、複数の映像信号のうち、操作対象映像信号ＶＳＩＧの再生状態を変化させるための指示である。

ここで、再生状態判定部７０が、制御指示転送部１３１から受信する制御指示（再生制御指示）は、リモコン操作Ｕが行われることによりリモートコントローラーから送信される、外部からの指示である。

すなわち、外部からの指示（制御指示（再生制御指示））は、リモートコントローラーから送信される、複数の映像信号のいずれかの再生状態を変化させるための指示である。

そして、再生状態判定部７０は、前述したように、例えば、操作対象映像信号ＶＳＩＧの再生状態が一時停止状態であると判定し、かつ、操作対象音声信号ＡＳＩＧの再生状態を、無音状態であると判定した場合、再生状態判定部７０は、例えば、第１音声信号を選択するための音声選択指示を、音声信号選択部８へ送信する。

なお、再生状態判定部７０は、外部からの指示（制御指示（再生制御指示））により、操作対象映像信号ＶＳＩＧの再生状態および操作対象音声信号ＡＳＩＧの再生状態の少なくとも一方を判定してもよい。

例えば、制御指示（再生制御指示）が操作対象映像信号ＶＳＩＧの再生状態を一時停止状態にするための指示であるとする。この場合、再生状態判定部７０は、制御指示（再生制御指示）により、操作対象映像信号ＶＳＩＧの再生状態が一時停止状態であると判定する。

すなわち、再生状態判定部７０は、外部からの指示（制御指示（再生制御指示））に基づいて、複数の映像信号の少なくとも１つの映像信号の再生状態である映像再生状態、および、複数の音声信号の少なくとも１つの音声信号の再生状態である音声再生状態の少なくとも一方を判定する。

音声信号選択部８は、受信した音声選択指示に従って、例えば、第１音声信号を選択する（Ｓ１２０Ａ）。すなわち、選択部としての音声信号選択部８は、映像再生状態および音声再生状態に基づいて、複数の音声信号のいずれかを選択する。

そして、音声信号選択部８は、選択した第１音声信号を、音声信号出力部１０へ送信する。

音声信号出力部１０は、第１音声信号を、外部のスピーカーへ送信（出力）する（Ｓ１３０Ａ）。すなわち、音声信号出力部１０は、選択部としての音声信号選択部８により選択された音声信号を出力する。

以上のように、本実施の形態によれば、第１の実施の形態と同様に、再生状態管理部７Ａが、映像および音声の再生状態を判定し、判定した再生状態に応じて、音声信号を選択するための処理を行う。

具体的には、再生状態判定部７０は、複数の映像信号の少なくとも１つの映像信号（操作対象映像信号ＶＳＩＧ）の再生状態である映像再生状態、および、複数の音声信号の少なくとも１つの音声信号（操作対象音声信号ＡＳＩＧ）の再生状態である音声再生状態を判定する。また、音声信号選択部８は、再生状態判定部７０により判定された映像再生状態および音声再生状態に基づいて、複数の音声信号のいずれかを選択する。

したがって、音声信号選択部８が、映像再生状態および音声再生状態に基づいて、複数の音声信号（第１〜第６音声信号）のいずれかを選択することにより、音声信号の選択においてユーザーの操作等が介入しない。そのため、マルチ映像に対応する音声を迅速に選択することができる。

また、従来では、例えば、第１映像（第１映像信号）の再生状態が非通常再生状態（一時停止状態、早送り状態等）であり、第１音声が無音である状態（以下、状態Ａという）において、第１音声と異なる他の音声を出力させるためには、ユーザーによる操作が必要であった。

しかしながら、本実施の形態では、状態Ａにおいて、ユーザーによる操作がなくても、他の音声を出力することができる。そのため、ユーザーは、再生機器３０１，３０２から受信する映像、チューナー１２Ｃ〜１２Ｆにより得られる映像等を並行して効率よく鑑賞することが可能になる。

また、本実施の形態によれば、音声信号を切替えるための複数の条件を設け、当該複数の条件に優先度を設ける構成とした。これにより、再生機器の再生状態（動作状態）が通信によって取得できない状況下であっても、再生機器の再生状態（動作状態）を高い精度で判定することが可能になる。

また、本実施の形態によれば、切替対象となる音声信号（音源）および当該音声信号に対応する映像等について優先度を設ける構成とした。これによりユーザーの好みに応じた自動音源選択を行うことが可能になる。

また、本実施の形態によれば、再生状態に基づいて、出力対象の音声信号の選択を行う。そのため、マルチ映像が示す複数の映像のいずれかの再生状態が非通常再生状態であっても、出音対象となっていない別の映像に対応する音声や、記録媒体中の別の楽曲データを提示できる。そのため、複数のコンテンツを並行して効率よく鑑賞することが可能になるという効果を得ることができる。

したがって、複数コンテンツの並行鑑賞をより身近なものにすることができる。また、再生機器でのコンテンツ視聴の際に、ユーザーの好みに合わせた音声切替を行うことができる。

また、本実施の形態によれば、再生状態と連動させて出力音声の切り替えを行えるようにしたため、従来では煩雑であった主画面と副画面の音声切替えを１つのステップで行うことが可能である。

さらに、出力音声のみを切り替えることができるようにしたため、従来で生じていたような余計な視点移動の負荷を視聴者に与えずに別画面の視聴を行うことが可能である。

そのうえ、再生機器の状態を映像表示装置（テレビジョン受像機）のみで検出することができるため、再生機器が映像表示装置に対して動作状態を伝える機構を備えていなくても音声切替を自動で行うことが可能である。

また、本実施の形態によれば、マルチ映像が示す複数の映像のうちの１つの映像を、再生機器から得られる映像とし、その他の映像をチューナーで受信した放送波の映像とする。これにより、複数の再生機器を用意しておかなくてもマルチ画面を有効に使用することができるようになる。そのため、複数のコンテンツをさらに並行して効率よく鑑賞することが可能になるという効果を得ることができる。

また、本実施の形態によれば、再生装置の記録媒体に記録されていない音源であっても外部音声信号入力部を介して音声入力ができるようになる。そのため、再生装置の記録媒体の容量を不用意に使用する必要がなくなるうえ、複数のコンテンツをさらに並行して効率よく鑑賞することが可能になるという効果を得ることができる。

また、本実施の形態によれば、再生装置が、再生状態取得部により、再生状態を受信する機構を有する。そのため、再生装置は、再生状態管理部を搭載しなくても、第１の実施の形態と同様の効果を得ることができる。そのため、再生装置の部品点数を少なくでき商品コストを下げることが可能になるという効果を得ることができる。

また、本実施の形態によれば、テレビジョン受像機２００を、再生状態を通知する手段を有していない再生機器３０２と組み合わせた場合でも、再生機器３０２の再生状態を、認識することができる。

また、本実施の形態によれば、テレビジョン受像機２００を、再生状態を通知する手段を有していない再生機器３０２と組み合わせた場合でも、再生装置がリモコンのキーコードを受信することにより、別の再生機器の再生状態を管理することが可能になるという効果を得ることができる。

また、本実施の形態によれば、正確な再生状態を再生機器から直接取得することができるため、より厳密な再生状態管理が可能になるという効果を得ることができる。

また、本実施の形態によれば、テレビジョン受像機２００を、再生状態を通知する手段を有していない再生機器３０２と組み合わせた場合でも、一定時間、映像信号の画素が変化しなければ一時停止状態と判別することが可能となる。そのため、別の再生機器の再生状態を管理することが可能になるという効果を得ることができる。

また、本実施の形態によれば、テレビジョン受像機２００を、再生状態を通知する手段を有していない再生機器３０２と組み合わせた場合でも、一定時間周期で映像信号の画素が変化していることを検出できれば、映像信号の再生状態を、特殊再生状態と判定することが可能となる。そのため、別の再生機器の再生状態を管理することが可能になるという効果を得ることができる。

また、本実施の形態によれば、テレビジョン受像機２００を、再生状態を通知する手段を有していない再生機器３０２と組み合わせた場合でも、従来は無音であった特殊再生状態もしくは一時停止状態と判別することが可能となる。そのため、別の再生機器の再生状態を管理することが可能になるという効果を得ることができる。

また、本実施の形態によれば、テレビジョン受像機２００を、再生状態を通知する手段を有していない再生機器３０２と組み合わせた場合でも、複数の再生状態を組み合わせることにより、正確な再生状態を判定することが可能になるという効果を得ることができる。

また、本実施の形態によれば、再生状態の判定にかかる時間、判定の正確さなどの再生状態判定部ごとの特性を加味することにより、音声信号の選択のための反応速度と正確さのどちらを重要視するかなど設定自由度を高めることが可能になるという効果を得ることができる。

また、本実施の形態によれば、マルチ映像が、特に３つ以上の映像を示す場合において、優先度を利用して映像や音声の解析結果を元に音声の選択を行う。これにより、ユーザーの好みに応じた音源を提示することが可能になるという効果を得ることができる。

また、本実施の形態によれば、マルチ映像が、特に３つ以上の映像を示す場合において、音声信号選択部により自動で別の映像の音声が選択された場合であっても、別の映像の周縁部を特定の色で縁取る。すなわち、枠を表示する。

これにより、どの映像に対応する音声に切り替わったかを容易に視認することができる。そのため、現在出音されている音声がどの映像に対応するかを瞬時に判断することが可能になるという効果を得ることができる。

また、本実施の形態によれば、音声出力枠を点滅表示させる。これにより、出音対象の映像に示される音声出力枠の色と出音対象の映像の表示部分の音声出力枠近辺の色が似ていたとしても、どの映像に対応する音声に切替わったかを容易に視認することができる。そのため、現在出音されている音声がどの映像に対応するかを瞬時に判断することが可能になるという効果を得ることができる。

また、図２の再生状態対応処理または図１０の再生状態対応処理Ａを、コンピューターに実行させてもよい。これにより、民生機器に比べて高速なコンピューターの演算能力と大容量の記憶媒体を生かすことができる。

そのため、民生機器では困難な多画面同時視聴や、柔軟な機能拡張が実現可能になるという効果を得ることができる。また、民生機器では困難な放送波の多画面同時視聴が実現可能になるという効果を得ることができる。

なお、本実施の形態では、テレビジョン受像機２００のチューナー１２Ｃ，１２Ｄ，１２Ｅ，１２Ｆは、アンテナから放送波を受信する構成としたが、これに限定されない。例えば、チューナー、外部映像信号入力部および外部音声信号の代わりにインターネットに接続可能な構成とし、ネットワークを経由してＶＯＤ（ビデオオンデマンド）コンテンツ、インターネットラジオ、およびストリーミング放送を受信・再生できるようにしてもよい。

また、本実施の形態では、テレビジョン受像機２００は、４つのチューナーを含む構成としたが、これに限定されない。例えば、テレビジョン受像機２００の内部で信号を分配することでチューナーを４つよりも少なくしてもよい。これにより、テレビジョン受像機２００の製造コストを抑えることができ、実装面積を小さくすることができる。また、テレビジョン受像機２００には、ＢＳ放送やＣＳ放送を受信するために別のチューナーがさらに設けられてもよい。

また、本実施の形態では、再生状態取得部１５と再生機器３０１との間の通信を行うための通信手段として、Ｅｔｈｅｒｎｅｔ（登録商標）を利用したがこれに限定されない。例えば、ＨＤＭＩ−ＣＥＣ、無線ＬＡＮ（ＩＥＥＥ ８０２．１１ａ／ｂ／ｇ／ｎ）、ＲＳ−２３２Ｃなど、再生状態の送受信ができる他の通信手段であってもよい。

これは、再生状態の表現方法（何バイトで保持し個々の数値がどの状態を示すか）が再生機器とテレビジョン受像機とで一致していればよく、再生状態の表現に用いる情報のサイズも数バイトで済むため、通信速度も高速である必要がないためである。

また、本実施の形態では、テレビジョン受像機と再生機器とを接続するためのケーブルとして、ＨＤＭＩケーブル、コンポーネントケーブル、ＲＣＡステレオケーブルを用いたがこれに限定されない。

映像信号は、コンポジットケーブルやＳ端子ケーブルなどの他の映像信号伝達手段により伝達されてもよい。また、音声信号は、入出力部にＳ／ＰＤＩＦ端子を備えたオプティカルケーブルなどの他の音声伝達手段により伝達されてもよい。

また、優先する音声信号（音源）として、本実施の形態では、操作対象映像信号ＶＳＩＧおよび操作対象音声信号ＡＳＩＧを、再生状態管理部７Ａへ送信し、音源（音声信号）の優先度付け情報（音源・ジャンル）を音源選択の要素としたが、これに限定されない。

例えば、チューナーにより獲られる映像や音声のように、再生機器以外の信号を監視してユーザーの好みに合うようであればその音声の優先度を上げるようにしてもよい。また、ユーザーの好みを、顔検出やメタデータを元にデータベースを作成して、出演者や監督によって優先度を上げるようにしてもよい。

また、番組の盛り上がりによって優先度を変化させてもよい。さらに、普段の視聴番組傾向などからユーザーの好みのデータベースを作成しておくことで、優先度が同じに設定されていてもデータベースの情報も加えて音源を自動選択する助けにしてもよい。

また、本実施の形態では、外部映像信号入力部、外部音声信号入力部から、記録媒体の映像信号および音声信号を得る構成としたがこれに限定されない。例えば、テレビジョン受像機に記録媒体を接続できる構成として、記録媒体から映像信号および音声信号の一方もしくは両方を得る構成としてもよい。

また、本実施の形態では、テレビジョン受像機２００、再生機器３０１および再生機器３０２を含む装置を、再生装置としたが、機器の分割点を変えてもよい。例えば、再生状態管理部７Ａと同様な機能を有する再生状態判定部を再生機器３０１の内部に設け、再生機器３０１からテレビジョン受像機２００の音声信号選択部８に指示を出す構成としてもよい。

この場合の再生装置は、例えば、以下の図１０の再生装置１０００Ｂである。なお、再生装置１０００Ｂに含まれる、チューナー、ビデオデコーダーおよびオーディオデコーダーの各々数は、一例として、２つであるとする。

図１１は、一例としての再生装置１０００Ｂの構成を示すブロック図である。

再生装置１０００Ｂは、テレビジョン受像機２００Ｂと、再生機器３０１Ｂとを備える。

テレビジョン受像機２００Ｂは、図３のテレビジョン受像機２００と比較して、再生部１００Ａの代わりに再生部１００Ｂを含む点と、チューナー１２Ｅ，１２Ｆ、再生状態管理部７Ａ、再生状態取得部１５、外部映像信号入力部１３Ｂおよび外部音声信号入力部１４Ｂを含まない点とが異なる。それ以外のテレビジョン受像機２００Ｂの構成は、テレビジョン受像機２００と同様なので詳細な説明は繰り返さない。

再生部１００Ｂは、再生部１００Ａと比較して、ビデオデコーダー２Ｅ，２Ｆおよびオーディオデコーダー３Ｅ，３Ｆを含まない点が異なる。それ以外の再生部１００Ｂの構成は、再生部１００Ａと同様なので詳細な説明は繰り返さない。

再生機器３０１Ｂは、図３の再生機器３０１と比較して、再生状態取得部１５Ｂおよび再生状態管理部７Ａを含む点と、再生状態判定部１８および再生状態通知部１９を含まない点とが異なる。それ以外の再生機器３０１Ｂの構成は、再生機器３０１と同様なので詳細な説明は繰り返さない。

再生状態取得部１５Ｂは、再生機器３０１Ｂの再生状態を取得する機能を有する。再生状態取得部１５Ｂは、取得した再生状態を、再生状態管理部７Ａへ送信する。

再生状態管理部７Ａは、前述した再生状態管理部７Ａと同様な機能を有し、例えば、受信した再生状態に従った音声選択指示を、音声信号選択部８へ送信する。

このような構成の再生装置１０００Ｂにおいても、第２の実施の形態に係ると同様な効果を得ることができる。

また、本実施の形態では、テレビジョン受像機２００のマルチ映像表示部９Ａは、ビデオ合成部５Ａにより生成されたマルチ映像を表示する構成としたがこれに限定されない。例えば、マルチ映像表示部９Ａとは別に、外部映像信号出力端子を設け、ビデオ合成部５Ａが生成するマルチ映像またはビデオ合成部５Ａが受信する信号の一部を、外部映像信号出力端子から外部へ出力する構成としてもよい。

また、本実施の形態では、ビデオ合成部５Ａが生成したマルチ映像の例として、図８のレイアウトを示したが、これに限定されない。例えば、各映像の大きさは同じでなくてもよい。また、同一の映像を複数表示してもよいし、マルチ映像が示す映像の数は４つでなくてもよい。

また、本実の形態では、ビデオデコーダーとオーディオデコーダーを再生手段としたが、これに限定されない。例えば、映像信号および音声信号が圧縮符号化されていない場合は、記録媒体から読み出して映像と音声を出力することが再生手段と同等になる。そのため、必ずしも、ビデオデコーダーとオーディオデコーダーが必要なわけではないため、ビデオデコーダーおよびオーディオデコーダーがない構成としてもよい。

（機能ブロック図）
図１２は、再生装置２０００の特徴的な機能構成を示すブロック図である。再生装置２０００は、再生装置１０００、再生装置１０００Ａおよび再生装置１０００Ｂのいずれかに相当する。つまり、図１２は、再生装置１０００、再生装置１０００Ａおよび再生装置１０００Ｂのいずれかの有する機能のうち、本発明に関わる主要な機能を示すブロック図である。

再生装置２０００は、複数の映像信号と、該複数の映像信号にそれぞれ対応する複数の音声信号とを用いた処理を行う。

再生装置２０００は、機能的には、再生部２１００と、映像出力部２２００と、再生状態判定部２３００と、選択部２４００と、音声信号出力部２５００とを備える再生部２１００は、前記複数の映像信号および音声信号の再生を行う。再生部２１００は、再生部１００，１００Ａ，１００Ｂのいずれかに相当する。映像出力部２２００は、前記再生部２１００が行う再生により前記複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う。映像出力部２２００は、マルチ映像出力部９またはマルチ映像表示部９Ａに相当する。

再生状態判定部２３００は、前記複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定する。再生状態判定部２３００は、例えば、図１の再生状態判定部７、または、図４の再生状態判定部７０に相当する。

選択部２４００は、前記再生状態判定部２３００により判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択する。選択部２４００は、音声信号選択部８に相当する。

音声信号出力部２５００は、前記選択部２４００により選択された音声信号を出力する。音声信号出力部２５００は、音声信号出力部１０に相当する。

なお、再生装置２０００に含まれる、再生部２１００、映像出力部２２００、再生状態判定部２３００、選択部２４００および音声信号出力部２５００の全てまたは一部は、ＬＳＩ（Large Scale Integration：大規模集積回路）等のハードウエアで構成されてもよい。また、再生部２１００、映像出力部２２００、再生状態判定部２３００、選択部２４００および音声信号出力部２５００の全てまたは一部は、ＣＰＵ等のプロセッサにより実行されるプログラムのモジュールであってもよい。

以上、本発明における再生装置１０００，１０００Ａ，１０００Ｂについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

また、上記の再生装置１０００，１０００Ａ，１０００Ｂを構成する複数の構成要素の全てまたは一部は、ハードウエアで構成されてもよい。また、上記の再生装置１０００，１０００Ａ，１０００Ｂを構成する構成要素の全てまたは一部は、ＣＰＵ（Central Processing Unit）等により実行されるプログラムのモジュールであってもよい。

また、上記の再生装置１０００，１０００Ａ，１０００Ｂを構成する複数の構成要素の全てまたは一部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。

例えば、図１において、再生部１００、ＯＳＤ部４、ビデオ合成部５、指示受付部６、再生状態判定部７、音声信号選択部８、マルチ映像出力部９および音声信号出力部１０は、１個のシステムＬＳＩから構成されてもよい。

また、本発明は、再生装置１０００，１０００Ａ，１０００Ｂが備える特徴的な構成部の動作をステップとする音声選択方法として実現してもよい。また、本発明は、そのような音声選択方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、マルチ映像に対応する音声を迅速に選択することを可能とする再生装置として、利用することができる。特に、本発明は、テレビ、レコーダー、携帯電話などの映像・音声再生装置等に有用である

１Ａ，１Ｂ 記録媒体
２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ ビデオデコーダー
３Ａ，３Ｂ，３Ｃ，３Ｄ，３Ｅ，３Ｆ オーディオデコーダー
４ ＯＳＤ部
５，５Ａ ビデオ合成部
６，６Ａ 指示受付部
７，１８，７０，２３００ 再生状態判定部
７Ａ 再生状態管理部
８ 音声信号選択部
９ マルチ映像出力部
９Ａ マルチ映像表示部
１０，２５００ 音声信号出力部
１２Ｃ，１２Ｄ，１２Ｅ，１２Ｆ チューナー
１３Ａ，１３Ｂ 外部映像信号入力部
１４Ａ，１４Ｂ 外部音声信号入力部
１５，１５Ｂ 再生状態取得部
１６Ａ，１６Ｂ 映像信号出力部
１７Ａ，１７Ｂ，２５００ 音声信号出力部
１９ 再生状態通知部
１００，１００Ａ，１００Ｂ、２１００ 再生部
１１１ フレーム遅延部
１１２ フレーム比較部
１２１ 音声処理部
１３１ 制御指示転送部
２００，２００Ｂ テレビジョン受像機
３０１，３０１Ｂ，３０２ 再生機器
１０００，１０００Ａ，１０００Ｂ，２０００ 再生装置
２２００ 映像出力部
２４００ 選択部

Claims (18)

1. 複数の映像信号と、該複数の映像信号にそれぞれ対応する複数の音声信号とを用いた処理を行う再生装置であって、
   前記複数の映像信号および音声信号の再生を行うための再生部と、
   前記再生部が行う再生により前記複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う映像出力部と、
   前記複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定する再生状態判定部と、
   前記再生状態判定部により判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択する選択部と、
   前記選択部により選択された音声信号を出力する音声信号出力部とを備える、
   再生装置。
2. 前記再生状態判定部は、前記複数の映像信号の少なくとも１つの映像信号の再生状態である映像再生状態を判定し、
   前記選択部は、前記再生状態判定部により判定された映像再生状態に基づいて、前記複数の音声信号のいずれかを選択する
   請求項１に記載の再生装置。
3. 前記再生状態判定部は、前記複数の映像信号の少なくとも１つの映像信号の再生状態である映像再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態である音声再生状態を判定し、
   前記選択部は、前記映像再生状態および前記音声再生状態に基づいて、前記複数の音声信号のいずれかを選択する
   請求項１に記載の再生装置。
4. 前記選択部は、前記再生状態判定部により判定された映像再生状態が特別な映像再生状態であり、かつ、前記再生状態判定部により判定された音声再生状態が特別な音声再生状態である場合、前記複数の音声信号のうち、再生状態が変化していない音声信号であって、かつ、再生状態が変化していない映像信号に対応する音声信号を選択する
   請求項３に記載の再生装置。
5. 前記特別な映像再生状態は、前記再生状態判定部が判定対象とした映像信号が示す画像が、所定時間以上略同一であるという状態である
   請求項４に記載の再生装置。
6. 前記特別な映像再生状態は、前記再生状態判定部が判定対象とした映像信号が示す映像が、所定の周期で変化するという状態である
   請求項４に記載の再生装置。
7. 前記特別な音声再生状態は、前記再生状態判定部が判定対象とした音声信号が所定時間以上無音を示す状態である
   請求項４に記載の再生装置。
8. 前記再生状態判定部は、外部からの指示に基づいて、前記複数の映像信号の少なくとも１つの映像信号の再生状態である映像再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態である音声再生状態の少なくとも一方を判定し、
   前記外部からの指示は、リモートコントローラーから送信される、前記複数の映像信号のいずれかの再生状態を変化させるための指示である
   請求項１に記載の再生装置。
9. 前記再生装置は、さらに、
   映像信号および音声信号の少なくとも一方を再生する再生機器を備え、
   前記再生機器は、再生している信号の再生状態を示す再生状態情報を前記再生機器の外部へ出力し、
   前記再生状態判定部は、さらに、前記再生状態情報に基づいて、前記再生機器の再生状態を判定する
   請求項３に記載の再生装置。
10. 前記再生状態判定部は、複数の再生状態を判定し、該複数の再生状態に優先度をつける
    請求項１〜３のいずれか１項に記載の再生装置。
11. 前記選択部は、前記再生状態判定部により判定された再生状態と、前記複数の音声信号のいずれかを選択するための優先度とに基づいて、前記複数の音声信号のいずれかを選択する
    請求項１に記載の再生装置。
12. 前記マルチ映像を構成する前記複数の映像のうち、前記選択部により選択された音声信号に対応する映像は、他の映像と異なる態様で示される
    請求項１〜３のいずれか１項に記載の再生装置。
13. 前記マルチ映像を構成する前記複数の映像のうち、前記選択部により選択された音声信号に対応する映像は、該映像の周縁部が点滅する映像である
    請求項１２に記載の再生装置。
14. 前記複数の映像信号および音声信号のうち、少なくとも１つの映像信号および音声信号は、記録媒体から得られる信号である
    請求項１〜１３のいずれか１項に記載の再生装置。
15. 前記複数の映像信号および音声信号のうち、少なくとも１つの映像信号および音声信号はチューナーから得られた信号である
    請求項１〜１４のいずれか１項に記載の再生装置。
16. 前記再生装置は、さらに、外部音声信号入力部を備え、
    前記複数の音声信号のうち少なくとも１つの音声信号は、前記外部音声信号入力部に接続される機器から送信される音声信号である
    請求項１〜１５のいずれか１項に記載の再生装置。
17. 複数の映像信号と、該複数の映像信号にそれぞれ対応する複数の音声信号とを用いた処理を行う再生装置が行う音声選択方法であって、
    前記再生装置は、
    前記複数の映像信号および音声信号の再生を行うための再生部と、
    前記再生部が行う再生により前記複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う映像出力部とを備え、
    前記音声選択方法は、
    前記複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定するステップと、
    判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択するステップと、
    選択された音声信号を出力するステップとを備える
    音声選択方法。
18. 複数の映像信号と、該複数の映像信号にそれぞれ対応する複数の音声信号とを用いた処理を行う再生装置が実行する音声選択プログラムであって、
    前記再生装置は、
    前記複数の映像信号および音声信号の再生を行うための再生部と、
    前記再生部が行う再生により前記複数の映像信号からそれぞれ得られる複数の映像を示すマルチ映像を出力するための処理を行う映像出力部とを備え、
    前記音声選択プログラムは、
    前記複数の映像信号の少なくとも１つの映像信号の再生状態、および、前記複数の音声信号の少なくとも１つの音声信号の再生状態の少なくとも一方を判定するステップと、
    判定された再生状態に基づいて、前記複数の音声信号のいずれかを選択するステップと、
    選択された音声信号を出力するステップとを備える
    音声選択プログラム。
    

Images