JP5590186B2 - AV system - Google Patents

AV system Download PDF

Info

Publication number
JP5590186B2
JP5590186B2 JP2013101539A JP2013101539A JP5590186B2 JP 5590186 B2 JP5590186 B2 JP 5590186B2 JP 2013101539 A JP2013101539 A JP 2013101539A JP 2013101539 A JP2013101539 A JP 2013101539A JP 5590186 B2 JP5590186 B2 JP 5590186B2
Authority
JP
Japan
Prior art keywords
audio
video
processing
sound
speaker array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013101539A
Other languages
Japanese (ja)
Other versions
JP2013192247A (en
Inventor
圭史 松本
守啓 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2013101539A priority Critical patent/JP5590186B2/en
Publication of JP2013192247A publication Critical patent/JP2013192247A/en
Application granted granted Critical
Publication of JP5590186B2 publication Critical patent/JP5590186B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、複数のAV装置でコンテンツを再生するAVシステムに関する。   The present invention relates to an AV system that reproduces content using a plurality of AV devices.

従来のテレビ装置では、音声信号よりも映像信号の方が、データ量が多く信号処理も複雑であった。そのため、音声や映像を処理の直後にそのまま出力すると、音声の方が先に出力されてしまい、音声と映像がずれてしまう。そこで、従来のテレビ装置では、唇の動き(モニタに表示させる映像)と声(内蔵スピーカや内蔵の音声出力端子から放音させる音声)が同期するように、すなわちリップシンクするように、音声の放音タイミングを遅延させていた。   In the conventional television apparatus, the video signal has a larger amount of data and the signal processing is more complicated than the audio signal. Therefore, if audio or video is output as it is immediately after processing, the audio is output first, and the audio and video are shifted. Therefore, in the conventional television apparatus, the movement of the lips (video to be displayed on the monitor) and the voice (sound emitted from the built-in speaker or the built-in audio output terminal) are synchronized, that is, lip-synced so that the sound is synchronized. The sound emission timing was delayed.

また、従来のAVシステムには、DVDプレーヤがコンテンツを再生すると、テレビ受像機が映像信号を処理して内蔵モニタに表示させ、AVアンプが音声信号を処理して外部スピーカから放音させる構成のものがあった(特許文献1参照)。このAVシステムでは、音声信号よりも映像信号の方が、データ量が多く処理も複雑であるという前提で設計されている。そして、このAVシステムでは、リップシンクのずれの発生を防止するために、AVアンプがテレビ受像機から映像信号の処理時間情報を取得し、この処理時間情報に応じて音声信号の遅延処理を行っていた。   Also, in a conventional AV system, when a DVD player plays back content, the television receiver processes the video signal and displays it on the built-in monitor, and the AV amplifier processes the audio signal and emits sound from an external speaker. There was a thing (refer patent document 1). This AV system is designed on the assumption that a video signal has a larger amount of data and is more complicated to process than an audio signal. In this AV system, in order to prevent the occurrence of lip sync deviation, the AV amplifier acquires the processing time information of the video signal from the television receiver, and performs the delay processing of the audio signal according to the processing time information. It was.

特開2006−33436JP 2006-33436 A

しかしながら、従来のAVシステムでは、音声の放音タイミングの方が、映像の表示タイミングよりも遅くなる場合があった。例えば、従来のテレビ装置にAVアンプを接続して、このテレビ装置が受信した放送番組の映像をモニタに表示させ、放送番組の音声をAVアンプに接続したスピーカから放音させる場合である。この場合、テレビ装置は、モニタに表示させる映像とリップシンクするように音声信号を内蔵の音声出力端子から出力するので、AVアンプで音響効果の付加等の信号処理を行うと、この信号処理の分だけ音声の放音タイミングが遅くなってしまい、リップシンクのずれが発生してしまうという問題があった。   However, in the conventional AV system, the sound emission timing may be later than the video display timing. For example, when an AV amplifier is connected to a conventional television apparatus, the video of the broadcast program received by the television apparatus is displayed on a monitor, and the sound of the broadcast program is emitted from a speaker connected to the AV amplifier. In this case, since the television apparatus outputs an audio signal from the built-in audio output terminal so as to lip-sync with the video to be displayed on the monitor, if signal processing such as addition of an acoustic effect is performed by the AV amplifier, the signal processing There is a problem that the sound emission timing is delayed by the amount of time and the lip sync shift occurs.

また、近時、テレビ装置では、ゲーム機のボタンを押すタイミングと映像のずれを改善するゲームモードが設けられている。ゲームモードは、映像処理を極力簡易化することで、映像の表示タイミングを速くするものである。このゲームモードを選択したときに、AVアンプで音声に音響効果を付与するように設定していると、コンテンツの映像よりも音声の再生が遅れてしまい、リップシンクのずれが発生してしまうという問題があった。   Further, recently, television devices have been provided with a game mode for improving the timing of pressing a button on a game machine and the difference between images. The game mode simplifies video processing as much as possible to speed up video display timing. When this game mode is selected, if the AV amplifier is set to add sound effects to the audio, the audio playback will be delayed compared to the content video, resulting in a lip sync shift. There was a problem.

また、DVD装置のようなソース機器から、サブウーファと、スピーカが接続されたAVアンプと、にコンテンツをブロードキャストで送信した場合、AVアンプとサブウーファでは音声の再生処理時間が異なり、音声の再生タイミングが異なるという問題があった。特にAVアンプにおいて、コンサートホールなどの音響を再現する音響効果(反響音)を音声に付加した場合には、音声の再生処理時間の差がより大きくなる。そのため、サブウーファが放音する音声(低音)の方が、AVアンプに接続されたスピーカが放音する音声よりも先に聴取位置に伝播していた。   Also, when content is broadcasted from a source device such as a DVD device to a subwoofer and an AV amplifier to which a speaker is connected, the audio playback processing time differs between the AV amplifier and the subwoofer, and the audio playback timing is different. There was a problem of being different. In particular, in an AV amplifier, when a sound effect (an echo sound) that reproduces the sound of a concert hall or the like is added to the sound, the difference in the sound reproduction processing time becomes larger. For this reason, the sound (low sound) emitted by the subwoofer has propagated to the listening position earlier than the sound emitted by the speaker connected to the AV amplifier.

以上のように、従来のAVシステムでは、コンテンツを再生するAV装置間で再生タイミングのずれが生じるという問題があった。   As described above, in the conventional AV system, there is a problem that a reproduction timing shift occurs between AV apparatuses that reproduce contents.

そこで、本発明は、コンテンツを再生するAV装置間の再生タイミングのずれをなくすように補正することができるAVシステムを提供することを目的とする。   Accordingly, an object of the present invention is to provide an AV system capable of correcting so as to eliminate a deviation in reproduction timing between AV apparatuses that reproduce contents.

この発明は、上記の課題を解決するための手段として、以下の構成を備えている。   The present invention has the following configuration as means for solving the above problems.

この発明のAVシステムは、AV装置にコンテンツをブロードキャストするソース機器を備えている。また、AV装置は、それぞれ前記ソース機器がブロードキャストしたコンテンツを受信して再生処理を行う。また、通信手段は、コンテンツの再生処理に関する情報である再生処理時間情報を他のAV装置と通信し、遅延手段は、再生処理時間情報に基づいて、最も遅い再生タイミングのAV装置に合わせてコンテンツの再生を遅延させる。   The AV system of the present invention includes a source device that broadcasts content to an AV device. Also, each AV device receives the content broadcast by the source device and performs playback processing. The communication means communicates reproduction processing time information, which is information related to the content reproduction processing, with other AV devices, and the delay means matches the content of the AV device with the latest reproduction timing based on the reproduction processing time information. Delays playback.

この構成においては、ソース機器から複数のAV装置にコンテンツをブロードキャストで送信する場合には、AV装置間でコンテンツの再生処理に関する情報を通信する。そして、各AV装置は、最も遅い再生タイミングのAV装置に合わせてコンテンツの再生を遅延させる。したがって、同じコンテンツを複数のAV装置で再生する場合などに、AV装置間でずれが発生することなくコンテンツを再生できる。   In this configuration, when content is broadcast from a source device to a plurality of AV devices, information related to content reproduction processing is communicated between the AV devices. Each AV device delays the reproduction of the content in accordance with the AV device having the latest reproduction timing. Accordingly, when the same content is played back by a plurality of AV devices, the content can be played back without causing a shift between the AV devices.

この発明のAVシステムでは、通信手段は、再生処理時間情報に基づいて、再生処理に必要な時間が短いAV装置にコンテンツの再生を遅延させる情報を送信する。再生処理に必要な時間が短いAV装置は、他のAV装置からコンテンツの再生を遅延させる情報を受信して、コンテンツの再生を遅延させる構成のみを備えていれば良く、他のAV装置とコンテンツの再生タイミングを調整しなくても良いので、構成を簡略化できる。   In the AV system of the present invention, the communication means transmits information for delaying the reproduction of the content to the AV device having a short time required for the reproduction process based on the reproduction processing time information. An AV device that has a short time required for playback processing only needs to have a configuration that receives information that delays playback of content from another AV device and delays playback of the content. Since the reproduction timing does not need to be adjusted, the configuration can be simplified.

この発明のAVシステムでは、AV装置は、複数のスピーカからなるスピーカアレイと、前記スピーカアレイの複数のスピーカに音声信号を分配して音声チャンネル毎に放音タイミングを調整して、音声ビーム化した複数の音声を、それぞれ視聴位置に同時に到達させるビーム制御手段と、を備えている。また、音声処理に必要な時間は、音声を視聴位置に到達させる時間を含んでいる。   In the AV system according to the present invention, the AV apparatus distributes audio signals to a plurality of speakers in the speaker array and adjusts the sound emission timing for each audio channel to form an audio beam. Beam control means for causing a plurality of sounds to simultaneously reach the viewing position. Further, the time required for the sound processing includes time for the sound to reach the viewing position.

スピーカアレイ装置では、音声ビームを複数回壁に反射させて視聴位置に伝播させるので、音声ビームを放音してから視聴位置に伝播するまでの伝播時間が、他の一般的なスピーカよりも長い。この構成では、音声再生装置としてスピーカアレイ装置を使用する場合には、音声ビームの伝播時間も考慮して、映像の再生を遅延させるので、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を確実に同期させることができ、リップシンクのずれの発生を防止できる。   In the speaker array device, since the sound beam is reflected on the wall a plurality of times and propagated to the viewing position, the propagation time from when the sound beam is emitted until it is propagated to the viewing position is longer than that of other general speakers. . In this configuration, when a speaker array device is used as an audio playback device, the playback of the video is delayed in consideration of the propagation time of the audio beam, so that the video played back by the video playback device and the audio playback device play back. Therefore, it is possible to reliably synchronize the sound to be played and to prevent the occurrence of lip sync deviation.

この発明のAVシステムでは、遅延手段は、コンテンツを、前記ソース機器から直接受信したか、または他のAV装置を経由して受信したかに応じて、前記コンテンツの再生する際の遅延量を変更する。   In the AV system according to the present invention, the delay means changes a delay amount when the content is reproduced depending on whether the content is received directly from the source device or via another AV device. To do.

AV装置が、複数の経路のいずれかでコンテンツを受信する場合、経路によって受信タイミングが異なることが考えられる。この構成においては、コンテンツの受信経路に応じてコンテンツ再生を遅延させるので、どのような経路でコンテンツを受信しても、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を確実に同期させることができる。   When the AV apparatus receives content through any of a plurality of routes, it is conceivable that the reception timing differs depending on the route. In this configuration, the content reproduction is delayed according to the content reception path, so that the video reproduced by the video reproduction device and the audio reproduced by the audio reproduction device, regardless of the content received through any route, It can be reliably synchronized.

この発明のAVシステムは、コンテンツの映像を再生し、映像の再生タイミングに合わせてコンテンツの音声信号を前記遅延手段で遅延させて送信する映像再生装置と、映像再生装置からコンテンツの音声信号を受信して音声を再生する音声再生装置と、から成る。映像再生装置は、映像の処理に必要な時間が音声の処理に必要な時間よりも長い等の理由で、映像の再生タイミングに合わせてコンテンツの音声信号を遅延させて出力する。音声再生装置は、映像再生装置が出力した音声信号を処理するので、その処理に必要な音声処理時間だけ、音声の再生が遅くなる。そこで、音声再生装置は第2通信手段で、コンテンツの音声信号の処理に必要な音声処理時間の情報を映像再生装置に送信する。映像再生装置は、音声再生装置から受信した音声再生処理に関する情報に基づいて音声信号の遅延時間を減少させる。このような処理を行うことで、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を同期して再生することができ、リップシンクを実現できる。   The AV system of the present invention reproduces content video, transmits a content audio signal delayed by the delay means in accordance with the video reproduction timing, and receives the content audio signal from the video reproduction device. And a sound reproducing device for reproducing sound. The video playback device delays and outputs the audio signal of the content in accordance with the video playback timing because the time required for video processing is longer than the time required for audio processing. Since the audio reproduction device processes the audio signal output from the video reproduction device, the reproduction of the audio is delayed by the audio processing time necessary for the processing. Therefore, the audio reproducing device transmits information on the audio processing time necessary for processing the audio signal of the content to the video reproducing device by the second communication means. The video reproduction device reduces the delay time of the audio signal based on the information related to the audio reproduction processing received from the audio reproduction device. By performing such processing, the video reproduced by the video reproduction device and the audio reproduced by the audio reproduction device can be reproduced in synchronization, and lip sync can be realized.

この発明のAVシステムでは、音声再生処理に必要な時間が、映像再生処理に必要な時間よりも長い場合には、映像の再生タイミングを音声処理時間の総和と前記映像処理時間との差分だけ遅延させる。   In the AV system according to the present invention, when the time required for the audio playback process is longer than the time required for the video playback process, the video playback timing is delayed by the difference between the sum of the audio processing times and the video processing time. Let

音声信号に音響効果を付加する場合や、ゲームモードのように映像の再生処理が高速な場合には、音声再生装置が音声を再生するタイミングが、映像再生装置が映像を再生するタイミングよりも遅いことがある。この構成においては、前記のような場合には、映像再生装置の遅延手段が、映像の再生タイミングを音声処理時間の総和と前記映像処理時間との差分だけ映像の再生タイミングを遅延させるので、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を同期して再生することができ、リップシンクを実現できる。   When a sound effect is added to an audio signal or when video playback processing is fast as in the game mode, the timing at which the audio playback device plays back the audio is later than the timing at which the video playback device plays back the video. Sometimes. In this configuration, in such a case, the delay means of the video playback device delays the video playback timing by the difference between the sum of the audio processing times and the video processing time. The video reproduced by the reproduction device and the audio reproduced by the audio reproduction device can be reproduced in synchronization, and lip synchronization can be realized.

この発明のAVシステムでは、音声再生装置が、複数のスピーカからなるスピーカアレイと、前記スピーカアレイの複数のスピーカに音声信号を分配して音声チャンネル毎に放音タイミングを調整して、音声ビーム化した複数の音声を、それぞれ視聴位置に同時に到達させるビーム制御手段と、を備えている。また、音声処理に必要な時間は、音声を視聴位置に到達させる時間を含んでいる。   In the AV system according to the present invention, the sound reproducing device distributes the sound signal to the plurality of speakers of the speaker array and adjusts the sound emission timing for each sound channel to form a sound beam. And a beam control means for simultaneously allowing the plurality of voices to reach the viewing position at the same time. Further, the time required for the sound processing includes time for the sound to reach the viewing position.

スピーカアレイ装置では、音声ビームを複数回壁に反射させて視聴位置に伝播させるので、音声ビームを放音してから視聴位置に伝播するまでの伝播時間が、他の一般的なスピーカよりも長い。この構成では、音声再生装置としてスピーカアレイ装置を使用する場合には、音声ビームの伝播時間も考慮して、映像の再生を遅延させるので、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を確実に同期させることができる。   In the speaker array device, since the sound beam is reflected on the wall a plurality of times and propagated to the viewing position, the propagation time from when the sound beam is emitted until it is propagated to the viewing position is longer than that of other general speakers. . In this configuration, when a speaker array device is used as an audio playback device, the playback of the video is delayed in consideration of the propagation time of the audio beam, so that the video played back by the video playback device and the audio playback device play back. It is possible to reliably synchronize the sound to be played.

この発明のAVシステムでは、音声再生装置として使用するスピーカアレイ装置が、音声ビームを壁反射させる位置を変化させる複数のビームモードを備えている場合には、スピーカアレイ装置において選択されたビームモードに応じて前記音声処理に必要な時間を変更する。   In the AV system of the present invention, when the speaker array device used as the sound reproducing device has a plurality of beam modes for changing the position where the sound beam is reflected on the wall, the beam mode selected in the speaker array device is set. Accordingly, the time required for the voice processing is changed.

スピーカアレイ装置が、設置場所に応じて前記音声ビームを壁反射させる位置を変化させる複数のビームモードを備えている場合には、そのビームモードによって、音声ビームを放音してから視聴位置に伝播するまでの伝播時間が異なる。この構成においては、ビームモードによって伝播時間が異なることを考慮して、映像処理時間を遅延させるので、どのビームモードが選択されても映像と音声を同期させることができる。   When the speaker array device has a plurality of beam modes that change the position where the sound beam is reflected on the wall according to the installation location, the sound beam is emitted according to the beam mode and then propagated to the viewing position. Propagation time is different. In this configuration, the video processing time is delayed in consideration of the fact that the propagation time varies depending on the beam mode, so that video and audio can be synchronized regardless of which beam mode is selected.

本発明のAVシステムでは、各AV装置はコンテンツの再生タイミングに関する情報を送受信し、他のAV装置と通信した情報に基づいて、最も遅い再生タイミングのAV装置に合わせて、コンテンツの再生を遅延させるので、コンテンツの再生を同期させることができる。したがって、リップシンクのずれや、サラウンド音声と低音の再生のずれが発生することなく、コンテンツを再生できる。   In the AV system of the present invention, each AV device transmits / receives information related to the playback timing of the content, and delays playback of the content in accordance with the AV device with the latest playback timing based on information communicated with other AV devices. Therefore, the content reproduction can be synchronized. Therefore, the content can be played back without causing a lip sync shift or a shift between surround sound and bass playback.

本発明の第1実施形態に係るAVシステムの概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of an AV system according to a first embodiment of the present invention. スピーカアレイ装置が出力する音声ビームの状態、及び音声ビームの各チャンネルの処理及び伝播時間を示す図である。It is a figure which shows the state of the audio | voice beam which a speaker array apparatus outputs, the process of each channel of an audio | voice beam, and propagation time. 本発明の第1実施形態に係るAVシステムにおける映像処理と音声処理のタイミングチャートである。3 is a timing chart of video processing and audio processing in the AV system according to the first embodiment of the present invention. AVシステムの処理動作を説明するためのフローチャートである。It is a flowchart for demonstrating the processing operation of AV system. 本発明の第2実施形態に係るAVシステムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the AV system which concerns on 2nd Embodiment of this invention. 本発明の第3実施形態に係るAVシステムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the AV system which concerns on 3rd Embodiment of this invention. AVシステムにおける映像処理と音声処理のタイミングチャートである。3 is a timing chart of video processing and audio processing in the AV system. 映像の解像度や音場処理のモード等に応じた映像信号や音声信号の処理時間を管理するためのテーブルである。It is a table for managing the processing time of video signals and audio signals according to video resolution, sound field processing mode, and the like. 従来のAVシステムの概略構成と、処理時間の関係を示す図である。It is a figure which shows the schematic structure of the conventional AV system, and the relationship of processing time. 本発明の第4実施形態に係るAVシステムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the AV system which concerns on 4th Embodiment of this invention. 本発明の第4実施形態に係るAVシステムにおける処理時間の関係を示す図である。It is a figure which shows the relationship of the processing time in the AV system which concerns on 4th Embodiment of this invention. 本願発明のさらに別の構成を示す概念図である。It is a conceptual diagram which shows another structure of this invention. 本願発明のさらに別の構成を示す概念図である。It is a conceptual diagram which shows another structure of this invention.

[第1実施形態]
図1は、本発明の第1実施形態に係るAVシステムの概略構成を示すブロック図である。図2は、スピーカアレイ装置が出力する音声ビームの状態、及び音声ビームの各チャンネルの処理及び伝播時間を示す図である。
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of an AV system according to the first embodiment of the present invention. FIG. 2 is a diagram showing the state of the sound beam output from the speaker array device, and the processing and propagation time of each channel of the sound beam.

第1実施形態に係るAVシステム1は、AVアンプとスピーカの機能を備えたスピーカアレイ装置13と、テレビ装置11と、の2台のAV装置により構成された5chサラウンドシステムである。AVシステム1では、テレビ装置11が放送を受信し、その映像をモニタ31が表示し、その音声をスピーカアレイ装置13が放音する。   The AV system 1 according to the first embodiment is a 5ch surround system including two AV devices, a speaker array device 13 having functions of an AV amplifier and a speaker, and a television device 11. In the AV system 1, the television device 11 receives the broadcast, the video is displayed on the monitor 31, and the sound is emitted from the speaker array device 13.

また、以下の説明では、5chサラウンドシステムにおいて、フロントの左チャンネルをL(Left)ch、フロントの右チャンネルをR(Right)ch、センタ(中央)チャンネルをC(Center)ch、リアの左チャンネルをSL(Surround Left)ch、及びリアの右チャンネルをSR(Surround Right)chと称する。   In the following description, in a 5ch surround system, the front left channel is L (Left) ch, the front right channel is R (Right) ch, the center (center) channel is C (Center) ch, and the rear left channel Is called SL (Surround Left) ch, and the rear right channel is called SR (Surround Right) ch.

テレビ装置11は、映像再生装置に相当し、受信部21、デコーダ23、信号入力部25、映像処理部27、映像遅延部29、モニタ(表示部)31、音声信号処理部32、音声遅延部33、D/Aコンバータ34、パワーアンプ35、スピーカ36、音声出力部37、通信部39、記憶部41、操作部43、及び制御部45を備えている。   The television device 11 corresponds to a video reproduction device, and includes a reception unit 21, a decoder 23, a signal input unit 25, a video processing unit 27, a video delay unit 29, a monitor (display unit) 31, an audio signal processing unit 32, and an audio delay unit. 33, a D / A converter 34, a power amplifier 35, a speaker 36, an audio output unit 37, a communication unit 39, a storage unit 41, an operation unit 43, and a control unit 45.

受信部21は、アンテナ20で受信した電波から、ユーザにより選局された周波数(物理チャンネル)の放送(コンテンツ)の信号を抽出して出力する。   The receiving unit 21 extracts a broadcast (content) signal of a frequency (physical channel) selected by the user from the radio wave received by the antenna 20 and outputs the signal.

デコーダ23は、信号処理として、放送信号をデコードして映像信号及び音声信号を抽出する。そして、映像信号を映像処理部27へ出力し、音声信号を音声処理部32へ出力する。   As the signal processing, the decoder 23 decodes the broadcast signal and extracts a video signal and an audio signal. Then, the video signal is output to the video processing unit 27 and the audio signal is output to the audio processing unit 32.

信号入力部25は、外部から映像信号や音声信号の入力を受け付けるインタフェースである。   The signal input unit 25 is an interface that receives an input of a video signal and an audio signal from the outside.

映像処理部27は、映像処理手段に相当し、輝度・コントラスト等の各種の映像信号処理(映像再生処理)を行って、生成したRGBの映像信号を映像遅延部29へ出力する。   The video processing unit 27 corresponds to a video processing unit, performs various video signal processing (video playback processing) such as luminance and contrast, and outputs the generated RGB video signal to the video delay unit 29.

映像遅延部29は、制御部45から指示された時間だけ、RGBの映像信号の出力を遅延させてモニタ31へ出力する。   The video delay unit 29 delays the output of the RGB video signal by the time instructed by the control unit 45 and outputs the delayed image signal to the monitor 31.

モニタ(表示部)31は、表示手段に相当し、映像遅延部29から供給されたRGBの映像信号に基づく映像を表示する。   The monitor (display unit) 31 corresponds to a display unit, and displays an image based on the RGB video signal supplied from the video delay unit 29.

音声信号処理部32は、第1音声処理手段に相当し、圧縮された音声信号の展開処理や、スピーカ36から放音させる音声に音声効果を付加するなどの音声信号処理(音声再生処理)を行って、音声遅延部33に出力する。   The audio signal processing unit 32 corresponds to first audio processing means, and performs audio signal processing (audio reproduction processing) such as decompression processing of a compressed audio signal and addition of an audio effect to the sound emitted from the speaker 36. And output to the audio delay unit 33.

音声遅延部33は、遅延手段に相当し、制御部45から指示された時間だけ、音声信号の出力を遅延させてスピーカ36及び音声出力部37へ出力する。   The audio delay unit 33 corresponds to a delay unit, and delays the output of the audio signal by the time instructed by the control unit 45 and outputs it to the speaker 36 and the audio output unit 37.

D/Aコンバータ34は、音声遅延部33が出力したデジタル音声信号をアナログ音声信号に変換して出力する。   The D / A converter 34 converts the digital audio signal output from the audio delay unit 33 into an analog audio signal and outputs the analog audio signal.

パワーアンプ35は、D/Aコンバータ34が出力したアナログ音声信号を増幅して出力する。   The power amplifier 35 amplifies and outputs the analog audio signal output from the D / A converter 34.

スピーカ36は、パワーアンプ35から供給された音声信号に基づく音声を放音する。   The speaker 36 emits sound based on the sound signal supplied from the power amplifier 35.

音声出力部37は、音声遅延部33から供給された音声信号を外部へ出力するためのインタフェースである。   The audio output unit 37 is an interface for outputting the audio signal supplied from the audio delay unit 33 to the outside.

通信部39は、第1通信手段に相当し、スピーカアレイ装置13と制御情報(コンテンツの再生タイミングに関する情報)を送受信する。   The communication unit 39 corresponds to a first communication unit, and transmits / receives control information (information regarding content reproduction timing) to and from the speaker array device 13.

記憶部41は、テレビ装置11が映像処理や音声処理を行うのに必要な時間情報等を記憶している。   The storage unit 41 stores time information and the like necessary for the television device 11 to perform video processing and audio processing.

操作部43は、ユーザの操作を受け付けるユーザインタフェースである。   The operation unit 43 is a user interface that receives user operations.

制御部45は、テレビ装置11の各部を制御したり演算を行ったりする。   The control unit 45 controls each unit of the television device 11 and performs calculations.

スピーカアレイ装置13は、音声再生装置に相当し、信号入力部51、映像信号処理部53、信号出力部54、遅延処理部57、D/Aコンバータ61−1〜61−N、パワーアンプ63−1〜63−N、スピーカユニット65−1〜65−Nから成るスピーカアレイ65、A/Dコンバータ67、操作部69、記憶部71、通信部73、及び制御部75を備えている。   The speaker array device 13 corresponds to an audio reproduction device, and includes a signal input unit 51, a video signal processing unit 53, a signal output unit 54, a delay processing unit 57, D / A converters 61-1 to 61-N, and a power amplifier 63-. 1 to 63-N, a speaker array 65 including speaker units 65-1 to 65-N, an A / D converter 67, an operation unit 69, a storage unit 71, a communication unit 73, and a control unit 75.

信号入力部51は、外部から音声信号や映像信号の入力を受け付けるインタフェースである。入力された信号は映像音声処理部53へ出力される。   The signal input unit 51 is an interface that accepts input of audio signals and video signals from the outside. The input signal is output to the video / audio processing unit 53.

映像音声処理部53は、第2音声処理手段に相当し、信号入力部51から入力された音声信号をデコード・エンコードしたり、ユーザが選択した音響効果を付加したりする処理を行って遅延処理部57に出力する。また、映像音声処理部53は、信号入力部51から入力された映像信号をデコード・エンコードして信号出力部54へ出力する。   The audio / video processing unit 53 corresponds to a second audio processing unit, and performs a delay process by performing a process of decoding / encoding the audio signal input from the signal input unit 51 or adding an acoustic effect selected by the user. To the unit 57. The video / audio processing unit 53 decodes / encodes the video signal input from the signal input unit 51 and outputs the decoded video signal to the signal output unit 54.

信号出力部54は、外部接続機器へ映像信号を出力するインタフェースである。   The signal output unit 54 is an interface that outputs a video signal to an external device.

遅延処理部57は、モニタ31に表示させる映像とスピーカアレイ65から出力させる音声がリップシンクするように、制御部75から指示された時間分、音声信号の出力を遅延させる。   The delay processing unit 57 delays the output of the audio signal by the time instructed by the control unit 75 so that the video displayed on the monitor 31 and the audio output from the speaker array 65 are lip-synced.

スピーカアレイ65から出力された複数の音声ビームがユーザの視聴位置Lに到達するまでの経路長は、音声チャンネル毎に異なる。例えば、図2(A)に示すように、センタチャンネル(Cch)の音声ビームは、視聴位置Lに直接到達(伝播)するので経路長は最も短い。フロントチャンネル(Lch、Rch)の音声ビームは、部屋の壁に1回反射(壁反射)してから視聴位置Lに到達する。リアチャンネル(SLch、SRch)の音声ビームは、部屋の壁に2回反射(壁反射)してから視聴位置Lに到達するので、経路長が最も長い。そこで、遅延処理部57では、チャンネル毎に遅延時間を設定して、スピーカアレイ65から出力する複数の音声ビームが同時に視聴位置へ伝播(到達)するように出力タイミングを調整している。また、遅延処理部57は、ビーム制御手段に相当し、スピーカアレイ65から複数の音声ビームが出力されるように、チャンネル毎・スピーカユニット毎に音声を分配し、各スピーカユニットの放音タイミングを調整して、音声ビーム化した複数の音声を出力する。すなわち、図2(B)に示すように、スピーカアレイ装置13では、音声ビームの伝播距離が、Cch(直接音)、フロントチャンネル(フロント反射音)、リアチャンネル(リア反射音)の順に長くなるので、この順に遅延処理時間を短くして、視聴位置へ各チャンネルの音声ビームが同時に到達させている。   The path length until the plurality of audio beams output from the speaker array 65 reach the viewing position L of the user differs for each audio channel. For example, as shown in FIG. 2A, the sound beam of the center channel (Cch) directly reaches (propagates) the viewing position L, so that the path length is the shortest. The sound beam of the front channels (Lch, Rch) reaches the viewing position L after being reflected (wall reflected) once on the wall of the room. The sound beam of the rear channel (SLch, SRch) reaches the viewing position L after being reflected (wall reflected) twice on the wall of the room, and therefore has the longest path length. Therefore, the delay processing unit 57 sets a delay time for each channel, and adjusts the output timing so that a plurality of sound beams output from the speaker array 65 are simultaneously propagated (arrived) to the viewing position. The delay processing unit 57 corresponds to a beam control unit, distributes sound for each channel and each speaker unit so that a plurality of sound beams are output from the speaker array 65, and sets the sound emission timing of each speaker unit. Adjust and output a plurality of audio beams. That is, as shown in FIG. 2B, in the speaker array device 13, the propagation distance of the sound beam becomes longer in the order of Cch (direct sound), front channel (front reflected sound), and rear channel (rear reflected sound). Therefore, the delay processing time is shortened in this order, and the sound beam of each channel reaches the viewing position at the same time.

また、スピーカアレイ装置13では、スピーカアレイ65の配置やユーザの選択に応じて、複数のビームモードから好みのビームモードを選択することができる。例えば、図2(C)に示すように、部屋のコーナにスピーカアレイ65を設置した場合には、スピーカアレイ装置13は、センタチャンネル(Cch)の音声ビームとフロントチャンネル(Lch、Rch)の音声ビームを、直接音として視聴位置Lに到達するように放音する。また、スピーカアレイ装置13は、リアチャンネル(SLch、SRch)の音声ビームを、部屋の壁に1回反射(壁反射)してから視聴位置Lに到達するように放音する。   Further, in the speaker array device 13, a desired beam mode can be selected from a plurality of beam modes in accordance with the arrangement of the speaker array 65 and the user's selection. For example, as shown in FIG. 2C, when the speaker array 65 is installed at a corner of a room, the speaker array device 13 uses the center channel (Cch) sound beam and the front channel (Lch, Rch) sound. The beam is emitted so as to reach the viewing position L as a direct sound. In addition, the speaker array device 13 emits the sound beam of the rear channel (SLch, SRch) so as to reach the viewing position L after being reflected (wall reflected) once on the wall of the room.

図2(A)に示したビームモードと図2(C)に示したビームモードでは、音声ビームの反射回数やスピーカアレイ装置13の配置が異なり、音声ビームの経路長も異なる。なお、図示は省略するが、スピーカアレイ装置13では、他のビームモードが選択された場合も、図2(A)や図2(C)に示したビームモードとは、音声ビームの経路長が異なる。   In the beam mode shown in FIG. 2A and the beam mode shown in FIG. 2C, the number of reflections of the sound beam and the arrangement of the speaker array device 13 are different, and the path length of the sound beam is also different. Although illustration is omitted, in the speaker array device 13, even when another beam mode is selected, the beam mode shown in FIGS. 2A and 2C is different from the beam mode shown in FIG. Different.

スピーカアレイ装置13では上記のように音声ビームの遅延処理を行う。そのため、モニタ31に表示させる映像とリップシンクするように音声信号を内蔵の音声出力部37から出力するテレビ装置11に、上記のスピーカアレイ装置13を接続すると、コンテンツの映像よりも音声の再生が遅れてしまい、リップシンクのずれが発生してしまう。   The speaker array device 13 performs the audio beam delay processing as described above. For this reason, when the above speaker array device 13 is connected to the television apparatus 11 that outputs an audio signal from the built-in audio output unit 37 so as to lip-sync with the video displayed on the monitor 31, the audio is reproduced rather than the content video. It will be delayed and the lip sync will shift.

そこで、この発明では、音声ビームの到達タイミングに映像の出力タイミングを合わせることで、リップシンクのずれの発生を防止する。   Therefore, in the present invention, the occurrence of lip sync deviation is prevented by matching the video output timing with the arrival timing of the audio beam.

なお、スピーカアレイ装置13では、ユーザの視聴位置に音声受信用のマイク(マイク66)を設置して、スピーカアレイ65からテスト音を放音させて、周知の方法でスピーカアレイ65と視聴位置との距離を測定したり、各チャンネルの音声ビームの最適な反射位置を決定したりする。また、各チャンネルの音声ビームの伝播距離(放音してからマイク66で収音するまでの時間(音声伝播時間))の情報に基づいて、各チャンネルの音声ビームの放音タイミングを決定する。   In the speaker array device 13, a voice receiving microphone (microphone 66) is installed at the viewing position of the user, the test sound is emitted from the speaker array 65, and the speaker array 65 and the viewing position are detected by a known method. And the optimum reflection position of the sound beam of each channel is determined. Further, the sound beam emission timing of each channel is determined based on the information of the propagation distance of the sound beam of each channel (the time from sound emission until sound collection by the microphone 66 (sound propagation time)).

図1に示すように、D/Aコンバータ61−1〜61−Nは、遅延処理部57が出力したデジタル音声信号をアナログ音声信号に変換して出力する。   As shown in FIG. 1, the D / A converters 61-1 to 61-N convert the digital audio signal output from the delay processing unit 57 into an analog audio signal and output the analog audio signal.

パワーアンプ63−1〜63−Nは、D/Aコンバータ61−1〜61−Nが出力したアナログ音声信号を増幅して出力する。   The power amplifiers 63-1 to 63-N amplify and output the analog audio signals output from the D / A converters 61-1 to 61-N.

スピーカアレイ65は、放音手段に相当し、スピーカユニット65−1〜65−Nを1つのパネルに、マトリックス状・ライン状・ハニカム状など所定の配列で配置したものである。スピーカユニット65−1〜65−Nは、パワーアンプ63−1〜63−Nが増幅した音声信号を音声に変換して放音する。   The speaker array 65 corresponds to sound emitting means, and the speaker units 65-1 to 65-N are arranged in a predetermined arrangement such as a matrix, a line, or a honeycomb on one panel. The speaker units 65-1 to 65-N convert the sound signals amplified by the power amplifiers 63-1 to 63-N into sound and emit the sound.

A/Dコンバータ67は、マイク66で収音されたテスト用のアナログ音声をデジタル音声に変換して、制御部75に出力する。   The A / D converter 67 converts analog audio for testing collected by the microphone 66 into digital audio and outputs the digital audio to the control unit 75.

操作部69は、ユーザからのスピーカアレイ装置13に対する設定操作等を受け付けて、その操作に応じた信号を制御部45に出力する。   The operation unit 69 receives a setting operation or the like for the speaker array device 13 from the user, and outputs a signal corresponding to the operation to the control unit 45.

記憶部71は、スピーカユニットの設定パターン等を記憶している。制御部75は操作部69で受け付けた操作に応じたデータを読み出す。また、記憶部71は、音声の再生処理に必要な時間の情報、すなわち音声ビームの遅延処理に必要な時間の情報や音声が視聴位置に伝播するまでの時間等の情報(音声処理時間の情報すなわち再生処理時間情報)を記憶する。   The storage unit 71 stores a setting pattern of the speaker unit and the like. The control unit 75 reads data corresponding to the operation received by the operation unit 69. The storage unit 71 also stores time information necessary for audio reproduction processing, that is, time information necessary for audio beam delay processing and information such as time until the sound propagates to the viewing position (information on audio processing time). That is, reproduction processing time information) is stored.

通信部73は、第2通信手段に相当し、テレビ装置11と制御情報を送受信する。   The communication unit 73 corresponds to the second communication unit, and transmits / receives control information to / from the television apparatus 11.

制御部75は、スピーカアレイ装置13の各部を制御したり演算を行ったりする。   The control unit 75 controls each part of the speaker array device 13 and performs calculations.

テレビ装置11の音声出力部37は、スピーカアレイ装置13の信号入力部51とケーブル12により接続されている。また、テレビ装置11の通信部39は、スピーカアレイ装置13の通信部73とケーブル14により接続されている。   The audio output unit 37 of the television device 11 is connected to the signal input unit 51 of the speaker array device 13 by the cable 12. Further, the communication unit 39 of the television device 11 is connected to the communication unit 73 of the speaker array device 13 by the cable 14.

図3は、本発明の第1実施形態に係るAVシステムにおける映像処理と音声処理のタイミングチャートである。図3(A)は従来のAVシステムのタイミングチャートで、図3(B)・図3(C)・図3(D)・図3(E)は本発明のタイミングチャートである。   FIG. 3 is a timing chart of video processing and audio processing in the AV system according to the first embodiment of the present invention. 3A is a timing chart of a conventional AV system, and FIGS. 3B, 3C, 3D, and 3E are timing charts of the present invention.

既に述べたように、従来のテレビ装置は、内蔵モニタへの映像の表示と、内蔵スピーカや内蔵の音声出力端子からの音声信号の出力と、が一致するように(リップシンクするように)、音声信号の出力を遅延させていた。そのため、AVアンプやスピーカアレイ装置で音響効果を付加すると、図3(A)に示すように、音響効果を付加するための信号処理に必要な時間分だけ映像の表示よりも音声の放音が遅れてしまう(リップシンクのずれが発生してしまう)という問題があった。   As described above, the conventional television apparatus is configured so that the display of the video on the built-in monitor and the output of the audio signal from the built-in speaker or the built-in audio output terminal match (lip-sync). The output of the audio signal was delayed. For this reason, when an acoustic effect is added by an AV amplifier or a speaker array device, as shown in FIG. 3A, sound is emitted more than the display of video for the time required for signal processing for adding the acoustic effect. There was a problem of delay (lip sync misalignment).

そこで、本発明のAVシステム1では、スピーカアレイ装置(AVアンプ)13で音声信号の処理に必要な時間(音声処理時間)の情報(遅延量)や、テレビ装置11で映像信号の処理に必要な時間(映像処理時間)の情報(遅延量)や音声信号の処理に必要な時間(音声処理時間)の情報(遅延量)を相手(接続装置)に通知することで、テレビ装置11で音声信号や映像信号の遅延時間を調整する。これにより、テレビ装置11のモニタ31への映像表示タイミングと、スピーカアレイ装置13のスピーカアレイ65から出力した音声ビームが視聴位置に到達するタイミングと、を一致させることができる。   Therefore, in the AV system 1 of the present invention, information (delay amount) of time (audio processing time) required for processing the audio signal by the speaker array device (AV amplifier) 13 and the video signal processing by the television device 11 are necessary. Information (delay amount) in a long time (video processing time) and information (delay amount) in time (audio processing time) necessary for processing an audio signal are notified to the other party (connection device), so that the TV device 11 Adjust the delay time of signals and video signals. Thereby, the video display timing on the monitor 31 of the television device 11 and the timing at which the sound beam output from the speaker array 65 of the speaker array device 13 reaches the viewing position can be matched.

なお、スピーカアレイ装置13では、前記のように視聴位置へ各チャンネルの音声ビームが同時に到達するように、音声を視聴位置に到達させる時間を調整している。そのため、以下の説明では、スピーカアレイ装置13の音声処理時間は、音声を視聴位置に到達させる時間(音声伝播時間)を含むものとする。   Note that the speaker array device 13 adjusts the time for the sound to reach the viewing position so that the sound beams of the respective channels simultaneously reach the viewing position as described above. Therefore, in the following description, it is assumed that the sound processing time of the speaker array device 13 includes a time for allowing sound to reach the viewing position (sound propagation time).

まず、AVシステム1では、スピーカアレイ装置13で必要な音声信号の処理時間(遅延量)に関する情報を、スピーカアレイ装置13からテレビ装置11へ通知するように構成する。この情報は、例えばHDMI(登録商標)のCECによりスピーカアレイ装置13からテレビ装置11へ通知するように、ベンダコマンドとして設定する。また、この情報の通知は、HDMI(登録商標)に限らず、例えばRS−232C等、スピーカアレイ装置13からテレビ装置11へ情報を送信することが可能な接続線を用いることも可能である。   First, the AV system 1 is configured to notify the television apparatus 11 of information related to the processing time (delay amount) of the audio signal necessary for the speaker array apparatus 13 from the speaker array apparatus 13. This information is set as a vendor command so as to be notified from the speaker array apparatus 13 to the television apparatus 11 by, for example, CEC of HDMI (registered trademark). The notification of this information is not limited to HDMI (registered trademark), but a connection line capable of transmitting information from the speaker array device 13 to the television device 11 such as RS-232C can also be used.

テレビ装置11の制御部45は、
(テレビ装置11での音声信号の処理時間)+(スピーカアレイ装置13での音声信号の処理時間及び音声伝播時間)<(テレビ装置11での映像信号の処理時間)
の場合には、図3(B)に示すように、
(テレビ装置11での音声信号の処理時間)+(テレビ装置11での音声信号の遅延時間)+(スピーカアレイ装置13での音声信号の処理時間及び音声伝播時間)=(テレビ装置11での映像信号の処理時間)
となるように、テレビ装置11での音声信号の遅延時間を音声遅延部33に設定する。すなわち、テレビ装置11側での音声信号の遅延量(音声信号を遅延させる時間)を減少させる処理を行う。
The control unit 45 of the television apparatus 11
(Audio signal processing time in the television device 11) + (Audio signal processing time and audio propagation time in the speaker array device 13) <(Video signal processing time in the television device 11)
In this case, as shown in FIG.
(Audio signal processing time in TV apparatus 11) + (Audio signal delay time in TV apparatus 11) + (Audio signal processing time and audio propagation time in speaker array apparatus 13) = (In TV apparatus 11 Video signal processing time)
Thus, the audio signal delay time in the television apparatus 11 is set in the audio delay unit 33. That is, processing for reducing the delay amount of the audio signal (time for delaying the audio signal) on the television device 11 side is performed.

また、テレビ装置11の制御部45は、
(テレビ装置11での音声信号の処理時間)+(スピーカアレイ装置13での音声信号の処理時間及び音声伝播時間)>(テレビ装置11での映像信号の処理時間)
の場合には、図3(C)に示すように、映像の再生タイミングを、音声処理時間の総和と映像処理時間との差分だけ遅延させる。すなわち、
(テレビ装置11での音声信号の処理時間)+(スピーカアレイ装置13での音声信号の処理時間及び音声伝播時間)=(テレビ装置11での映像信号の処理時間)+(テレビ装置11での映像信号の遅延時間)
となるように、テレビ装置11での映像信号の遅延時間を映像遅延部29に設定する。すなわち、テレビ装置11側で映像信号を遅延させる処理を行う。
Moreover, the control part 45 of the television apparatus 11 is
(Audio signal processing time in the television device 11) + (Audio signal processing time and audio propagation time in the speaker array device 13)> (Video signal processing time in the television device 11)
In this case, as shown in FIG. 3C, the video playback timing is delayed by the difference between the sum of the audio processing times and the video processing time. That is,
(Audio signal processing time in the television device 11) + (Audio signal processing time and audio propagation time in the speaker array device 13) = (Video signal processing time in the television device 11) + (In the television device 11) Video signal delay time)
Thus, the delay time of the video signal in the television apparatus 11 is set in the video delay unit 29. That is, processing for delaying the video signal is performed on the television device 11 side.

一般的に、音声信号の処理時間の方が映像信号の処理時間よりも短いが、スピーカアレイ装置が視聴位置に複数の音声ビームが同時に到達(伝播)するように遅延処理を行ったり、テレビ装置11においてゲームモードが選択されたりした場合には、音声信号の処理時間の方が映像信号の処理時間よりも長くなる。   In general, the audio signal processing time is shorter than the video signal processing time, but the speaker array device performs delay processing so that a plurality of audio beams reach (propagate) simultaneously at the viewing position, 11, when the game mode is selected, the processing time of the audio signal is longer than the processing time of the video signal.

この場合には、テレビ装置11及びスピーカアレイ装置13を以下のように動作させる。図4は、AVシステムの処理動作を説明するためのフローチャートである。ここで、テレビ装置11の通信部39とスピーカアレイ装置13の通信部73はHDMI(登録商標)のCECにより接続されているものとする。   In this case, the television device 11 and the speaker array device 13 are operated as follows. FIG. 4 is a flowchart for explaining the processing operation of the AV system. Here, it is assumed that the communication unit 39 of the television device 11 and the communication unit 73 of the speaker array device 13 are connected by CEC of HDMI (registered trademark).

テレビ装置11の制御部45は、通信部39を介してスピーカアレイ装置13に、音声信号処理時間情報の通知が可能か否かを確認する(s1)。   The control unit 45 of the television device 11 confirms whether or not the audio signal processing time information can be notified to the speaker array device 13 via the communication unit 39 (s1).

スピーカアレイ装置13の制御部75は、テレビ装置11から問い合わせがあるまでは、待機している(s11:N)。制御部75は、テレビ装置11から問い合わせがあると(s11:Y)、音声信号処理時間情報の通知機能を備えておらず通知できない場合には(s12:N)、その旨を通知する(s13)。そして、音声信号が入力されるまで待機する(s16:N)。   The control unit 75 of the speaker array device 13 is on standby until an inquiry is received from the television device 11 (s11: N). When there is an inquiry from the television apparatus 11 (s11: Y), the control unit 75 does not have a notification function of the audio signal processing time information and cannot be notified (s12: N), and notifies that (s13). ). And it waits until an audio | voice signal is input (s16: N).

テレビ装置11の制御部45は、スピーカアレイ装置13から回答があるまで待機している(s2:N)。制御部45は、スピーカアレイ装置13から回答があり(s2:Y)、スピーカアレイ装置13が音声信号処理時間情報の通知機能を備えていない場合には(s3:N)、映像表示と音声信号の出力のタイミングが同時になるように設定する(s4)。そして、制御部45は、ユーザにより選択されたチャンネルの放送信号を受信して音声信号をスピーカアレイ装置13に出力し、映像をモニタに表示させる(s5)。   The control unit 45 of the television device 11 stands by until a response is received from the speaker array device 13 (s2: N). When there is a response from the speaker array device 13 (s2: Y) and the speaker array device 13 does not have a function of notifying the audio signal processing time information (s3: N), the control unit 45 displays video and audio signals. Are set so that the output timings of the two output signals become the same (s4). And the control part 45 receives the broadcast signal of the channel selected by the user, outputs an audio | voice signal to the speaker array apparatus 13, and displays an image | video on a monitor (s5).

スピーカアレイ装置13の制御部75は、音声信号の入力が有ると(s16:Y)、音声を放音する(s17)。   When the audio signal is input (s16: Y), the controller 75 of the speaker array device 13 emits the audio (s17).

一方、スピーカアレイ装置13の制御部75は、音声信号処理時間情報の通知機能を備えており通知可能な場合には(s12:Y)、以下の処理を行う。すなわち、制御部75は、現在設定されている音声信号の処理時間情報を記憶部71から読み出す(s14)。そして、制御部75は、音声信号処理時間情報を通知可能な旨と音声信号の処理時間情報を、通信部73を介してテレビ装置11へ通知する(s15)。   On the other hand, when the control unit 75 of the speaker array device 13 has a function of notifying the audio signal processing time information and can be notified (s12: Y), the following processing is performed. That is, the control unit 75 reads the currently set audio signal processing time information from the storage unit 71 (s14). Then, the control unit 75 notifies the television apparatus 11 of the fact that the audio signal processing time information can be notified and the audio signal processing time information via the communication unit 73 (s15).

テレビ装置11の制御部45は、スピーカアレイ装置13から回答があり(s2:Y)、スピーカアレイ装置13が音声信号処理時間情報の通知機能を備えている場合には(s3:Y)、以下の処理を行う。すなわち、制御部45は、音声信号の処理時間情報に基づいて、テレビ装置11の映像表示タイミングとスピーカアレイ装置13が出力する音声ビームが視聴位置に到達するタイミングが同時になるように再生処理時間情報を算出する。そして、映像遅延部29または音声遅延部33に遅延時間を設定する(s6)(図3(B),(C)を参照)。   The control unit 45 of the television apparatus 11 receives a response from the speaker array apparatus 13 (s2: Y), and when the speaker array apparatus 13 has a notification function of audio signal processing time information (s3: Y), Perform the process. That is, based on the audio signal processing time information, the control unit 45 reproduces the processing time information so that the video display timing of the television device 11 and the audio beam output from the speaker array device 13 reach the viewing position at the same time. Is calculated. Then, a delay time is set in the video delay unit 29 or the audio delay unit 33 (s6) (see FIGS. 3B and 3C).

テレビ装置11の制御部45は、ユーザにより選択されたチャンネルの放送信号を受信して、音声信号をスピーカアレイ装置13に出力し、映像をモニタに表示させる(s7)。   The control unit 45 of the television device 11 receives the broadcast signal of the channel selected by the user, outputs the audio signal to the speaker array device 13, and displays the video on the monitor (s7).

スピーカアレイ装置13の制御部75は、音声信号の入力が有ると(s16:Y)、音声を放音する(s17)。   When the audio signal is input (s16: Y), the controller 75 of the speaker array device 13 emits the audio (s17).

また、スピーカアレイ装置13の制御部75は、ユーザが操作部69を操作して音響効果の設定や音声ビームの本数や視聴位置を変更したことを検出した場合には(s18:Y)、この操作により変更された処理時間をテレビ装置11へ通知する(s19)。   In addition, when the control unit 75 of the speaker array device 13 detects that the user has changed the setting of the sound effect, the number of audio beams, or the viewing position by operating the operation unit 69 (s18: Y), The television apparatus 11 is notified of the processing time changed by the operation (s19).

テレビ装置11の制御部45は、スピーカアレイ装置13からの処理時間の変更通知を検出すると(s8:Y)、ステップs6の処理を実行する。   When detecting the processing time change notification from the speaker array device 13 (s8: Y), the control unit 45 of the television device 11 executes the processing of step s6.

また、スピーカアレイ装置13の制御部75は、ユーザが操作部69を操作して電源オフ(終了)を設定したことを検出した場合には(s20:Y)、その旨をテレビ装置11へ通知して(s21)、処理を終了する。   In addition, when the control unit 75 of the speaker array device 13 detects that the user has operated the operation unit 69 to set power off (end) (s20: Y), the control unit 75 notifies the television device 11 to that effect. (S21), and the process is terminated.

テレビ装置11の制御部45は、スピーカアレイ装置13から終了設定が通知されたことを検出すると(s9)、処理を終了する。   When the control unit 45 of the television device 11 detects that the end setting has been notified from the speaker array device 13 (s9), the control unit 45 ends the processing.

次に、AVシステム1は、テレビ装置11で必要な映像信号の処理時間と音声信号の処理時間の差分情報を、スピーカアレイ装置13へ通知するように構成しても良い。また、スピーカアレイ装置13がテレビ装置11の記憶部41に記録された情報(EDID)を読み取るように構成することも可能である。この場合、テレビ装置11は、音声信号の出力タイミングを遅延させずに出力し、スピーカアレイ装置13が音声信号の出力タイミングを遅延させるように構成する(図3(D)参照)。すなわち、スピーカアレイ装置13側での音声信号の遅延時間を増やす処理を行う。なお、EDID等の情報の送受信については、HDMI(登録商標)のCECのベンダコマンドとして設定することが可能である。また、この情報の通知は、HDMI(登録商標)に限らず、例えばRS−232C等、スピーカアレイ装置13からテレビ装置11へ情報を送信することが可能な接続線を用いることも可能である。   Next, the AV system 1 may be configured to notify the speaker array device 13 of difference information between the processing time of the video signal and the processing time of the audio signal necessary for the television device 11. The speaker array device 13 may be configured to read information (EDID) recorded in the storage unit 41 of the television device 11. In this case, the television apparatus 11 outputs the audio signal without delaying the output timing, and the speaker array apparatus 13 is configured to delay the output timing of the audio signal (see FIG. 3D). That is, processing for increasing the delay time of the audio signal on the speaker array device 13 side is performed. Note that transmission / reception of information such as EDID can be set as an HDMI (registered trademark) CEC vendor command. The notification of this information is not limited to HDMI (registered trademark), but a connection line capable of transmitting information from the speaker array device 13 to the television device 11 such as RS-232C can also be used.

次に、図1に示したAVシステム1では、テレビ装置11で受信した放送のコンテンツの映像をモニタ31に表示させ、このコンテンツの音声をスピーカ36及びスピーカアレイ65から放音させるように構成することも可能である。この構成は、例えば、リビングルームで視聴者Aがモニタ31を見ながらテレビ装置11が内蔵するスピーカ36からの音声を聞き、リビングルームに隣接するキッチンで視聴者Bが、リビングルームに設置されたスピーカアレイ65からの音声(ビーム音声)を聞く場合に好適である。   Next, the AV system 1 shown in FIG. 1 is configured to display the video of the broadcast content received by the television apparatus 11 on the monitor 31 and emit the sound of the content from the speaker 36 and the speaker array 65. It is also possible. In this configuration, for example, the viewer A in the living room listens to the sound from the speaker 36 built in the television apparatus 11 while watching the monitor 31, and the viewer B is installed in the living room in the kitchen adjacent to the living room. This is suitable for listening to sound (beam sound) from the speaker array 65.

このように構成する場合には、モニタ31に表示させる映像と、スピーカ36から放音させる音声と、がリップシンク(同期)するように調整する必要がある。また、視聴者Bには、スピーカアレイ65の音声だけでなく、スピーカ36からの音声も漏れ聞こえる。そのため、スピーカアレイ65から放音させる音声と、スピーカ36から放音させる音声と、を同期させる必要がある。   In the case of such a configuration, it is necessary to adjust so that the video displayed on the monitor 31 and the sound emitted from the speaker 36 are lip-synced (synchronized). In addition, the viewer B hears not only the sound from the speaker array 65 but also the sound from the speaker 36. Therefore, it is necessary to synchronize the sound emitted from the speaker array 65 and the sound emitted from the speaker 36.

そのため、テレビ装置11の音声遅延部33は、スピーカ36から音声を放音させるためにD/Aコンバータ34に出力する音声信号と、音声出力部37に出力する音声信号と、に対してそれぞれ遅延させて、上記のように各音声と映像を同期させる。   Therefore, the audio delay unit 33 of the television apparatus 11 delays the audio signal output to the D / A converter 34 and the audio signal output to the audio output unit 37 in order to emit sound from the speaker 36, respectively. And synchronize each audio and video as described above.

すなわち、図3(E)に示すように、テレビ装置11の制御部45は、モニタ31が映像を表示するのと同じタイミングで内蔵するスピーカ36から音声を放音するように、音声遅延部33に遅延時間(遅延量)Aを設定して遅延処理を実行させて、その音声信号をスピーカ36に出力させる。また、制御部45は、視聴者Bの視聴位置で、スピーカアレイ65からの音声とスピーカ36からの音声が同期して聞こえるように、すなわち、スピーカ36とスピーカアレイ65が同時に音声を放音するように音声遅延部33に遅延時間(遅延量)Bを設定して遅延処理を実行させて、その音声信号を音声出力部37から出力させる。   That is, as shown in FIG. 3E, the control unit 45 of the television apparatus 11 causes the sound delay unit 33 to emit sound from the built-in speaker 36 at the same timing as the monitor 31 displays an image. A delay time (amount of delay) A is set to, delay processing is executed, and the audio signal is output to the speaker 36. In addition, the control unit 45 allows the sound from the speaker array 65 and the sound from the speaker 36 to be heard synchronously at the viewing position of the viewer B, that is, the speaker 36 and the speaker array 65 emit sound simultaneously. As described above, the delay time (delay amount) B is set in the audio delay unit 33 to execute the delay process, and the audio signal is output from the audio output unit 37.

なお、図3に基づいて説明した上記の各形態では、テレビ装置11が放送波を受信してコンテンツを再生する場合を説明したが、これに限るものではなく、他の構成であっても良い。例えば、信号入力部にDVDプレーヤやビデオ再生装置などを接続して、これらの機器で再生したコンテンツの映像信号・音声信号を信号入力部25から入力するようにしても良い。   In addition, although each said form demonstrated based on FIG. 3 demonstrated the case where the television apparatus 11 received a broadcast wave and reproduced | regenerated a content, it is not restricted to this, Another structure may be sufficient. . For example, a DVD player or a video playback device may be connected to the signal input unit, and a video signal / audio signal of content played back by these devices may be input from the signal input unit 25.

図2に基づいて説明したように、スピーカアレイ装置13の設置場所や設定されたビームモードに応じて、スピーカアレイ装置13の音声処理時間(映像音声処理部53や遅延処理部57で音声信号を処理する時間やスピーカアレイ65から放音した音声が視聴位置に到達するまでの時間)が異なる。そのため、スピーカアレイ装置13が、ビームモードに応じた音声処理時間を、予め記憶部71で記憶しておくように構成する。また、スピーカアレイ装置13は、設定されたビームモードに応じた音声処理時間の情報を、テレビ装置11と送受信するように構成する。これにより、スピーカアレイ装置13において、どのビームモードが設定されたとしても、テレビ装置11のモニタ31に表示される画像と、スピーカアレイ65から放音される音声と、が確実に同期する。   As described with reference to FIG. 2, the audio processing time of the speaker array device 13 (the audio signal is processed by the video / audio processing unit 53 and the delay processing unit 57) according to the installation location of the speaker array device 13 and the set beam mode. The processing time and the time until the sound emitted from the speaker array 65 reaches the viewing position are different. For this reason, the speaker array device 13 is configured to store the sound processing time corresponding to the beam mode in the storage unit 71 in advance. In addition, the speaker array device 13 is configured to transmit and receive information on the audio processing time corresponding to the set beam mode to and from the television device 11. This ensures that the image displayed on the monitor 31 of the television device 11 and the sound emitted from the speaker array 65 are synchronized with each other regardless of which beam mode is set in the speaker array device 13.

[第2実施形態]
次に、本発明の第2実施形態に係るAVシステム2について説明する。図5は、本発明の第2実施形態に係るAVシステムの概略構成を示すブロック図である。
[Second Embodiment]
Next, an AV system 2 according to the second embodiment of the present invention will be described. FIG. 5 is a block diagram showing a schematic configuration of an AV system according to the second embodiment of the present invention.

AVシステム2は、テレビ装置11、スピーカアレイ装置13、及びDVDプレーヤ(ソース機器)15を備えた構成である。   The AV system 2 includes a television device 11, a speaker array device 13, and a DVD player (source device) 15.

テレビ装置11及びスピーカアレイ装置13は、図1に示した構成と同様であるため、詳細な説明を省略する。第2実施形態に係るAVシステム2では、DVDプレーヤ15からテレビ装置11及びスピーカアレイ装置13へコンテンツを送信する点が第1実施形態と異なる。   The television device 11 and the speaker array device 13 are the same as those shown in FIG. The AV system 2 according to the second embodiment is different from the first embodiment in that content is transmitted from the DVD player 15 to the television device 11 and the speaker array device 13.

DVDプレーヤ15は、DVD再生部81、デコーダ83、映像信号出力部85、音声信号出力部87、通信部89、制御部91、記憶部93、及び操作部95を備えている。   The DVD player 15 includes a DVD playback unit 81, a decoder 83, a video signal output unit 85, an audio signal output unit 87, a communication unit 89, a control unit 91, a storage unit 93, and an operation unit 95.

DVD再生部81は、DVDに記録されたコンテンツの情報信号を読み出して、デコーダ83に出力する。   The DVD playback unit 81 reads the information signal of the content recorded on the DVD and outputs it to the decoder 83.

デコーダ83は、コンテンツの情報信号をデコードして、映像信号及び音声信号を抽出する。そして、デコーダ83は、映像信号を映像信号出力部85へ出力し、音声信号を音声信号出力部87へ出力する。   The decoder 83 decodes the content information signal and extracts a video signal and an audio signal. Then, the decoder 83 outputs the video signal to the video signal output unit 85 and outputs the audio signal to the audio signal output unit 87.

映像信号出力部85は、デコーダ83から供給された映像信号を外部へ出力するためのインタフェースである。   The video signal output unit 85 is an interface for outputting the video signal supplied from the decoder 83 to the outside.

音声信号出力部87は、デコーダ83から供給された音声信号を外部へ出力するためのインタフェースである。   The audio signal output unit 87 is an interface for outputting the audio signal supplied from the decoder 83 to the outside.

通信部89は、他の装置と制御情報を送受信することが可能である。   The communication unit 89 can transmit and receive control information with other devices.

制御部91は、DVDプレーヤ15の各部を制御する。   The control unit 91 controls each unit of the DVD player 15.

記憶部93は、DVDプレーヤ15が映像処理を行うのに必要な時間情報等を記憶している。   The storage unit 93 stores time information necessary for the DVD player 15 to perform video processing.

操作部95は、DVDプレーヤ15に対するユーザの操作を受け付ける。   The operation unit 95 receives user operations on the DVD player 15.

DVDプレーヤ15の映像信号出力部85は、テレビ装置11の信号入力部25とケーブル16により接続されている。また、DVDプレーヤ15の音声信号出力部87は、スピーカアレイ装置13の信号入力部51とケーブル17により接続されている。さらに、テレビ装置11の通信部39は、スピーカアレイ装置13の通信部73とケーブル14により接続されている。   The video signal output unit 85 of the DVD player 15 is connected to the signal input unit 25 of the television apparatus 11 by the cable 16. The audio signal output unit 87 of the DVD player 15 is connected to the signal input unit 51 of the speaker array device 13 by the cable 17. Further, the communication unit 39 of the television device 11 is connected to the communication unit 73 of the speaker array device 13 by the cable 14.

図5に示したAVシステム2においては、DVDプレーヤ15で再生したDVDのコンテンツの映像信号をテレビ装置11へ出力し、音声信号をスピーカアレイ装置13へ出力する。また、テレビ装置11の通信部39とスピーカアレイ装置13の通信部73は、ケーブル14を介して、テレビ装置11における映像信号の処理時間情報と、スピーカアレイ装置13における音声信号の処理時間情報と、を送受信する。そして、(映像信号の処理時間)>(音声信号の処理時間)の場合には、スピーカアレイ装置13で、両信号の処理時間の差分を算出し、差分の時間だけ音声信号の出力タイミングを遅延させる。また、(映像信号の処理時間)<(音声信号の処理時間)の場合には、テレビ装置11で、両信号の処理時間の差分を算出し、差分の時間だけ映像信号の出力タイミングを遅延させる。このように処理することで、DVDプレーヤ15でコンテンツを再生した場合でも、リップシンクのずれの発生を防止できる。   In the AV system 2 shown in FIG. 5, the video signal of the DVD content reproduced by the DVD player 15 is output to the television device 11 and the audio signal is output to the speaker array device 13. Also, the communication unit 39 of the television device 11 and the communication unit 73 of the speaker array device 13 are connected to the video signal processing time information in the television device 11 and the audio signal processing time information in the speaker array device 13 via the cable 14. , Send and receive. If (video signal processing time)> (audio signal processing time), the speaker array device 13 calculates the difference between the processing times of both signals, and delays the output timing of the audio signal by the difference time. Let If (video signal processing time) <(audio signal processing time), the television apparatus 11 calculates the difference between the processing times of both signals, and delays the output timing of the video signal by the difference time. . By processing in this way, even when the content is reproduced by the DVD player 15, it is possible to prevent the occurrence of lip sync deviation.

以上、第1、第2実施形態において大きく二つのリップシンクの方法を説明したが、実際にシステムとして使用する際は、これらを適宜切り替えることも可能である。つまり、スピーカアレイ装置13への入力コンテンツが、ソース機器からの場合は、第2実施形態の方法を採用し、それ以外のTV装置側等から入力される場合は、第1実施形態の方法でリップシンクさせると良い。   As described above, the two lip sync methods have been described in the first and second embodiments. However, when actually used as a system, these methods can be switched as appropriate. That is, when the input content to the speaker array device 13 is from the source device, the method of the second embodiment is adopted, and when the input content is input from the other TV device side or the like, the method of the first embodiment is used. It is good to let it lip-sync.

更に、本発明の第2実施形態に係るAVシステム2では、テレビ装置11とスピーカアレイ装置13は対等な関係だけでなく、両装置を主従の関係に設定することも可能である。すなわち、図5に示したAVシステム2において、テレビ装置11を主(マスタ)、スピーカアレイ装置13を従(スレーブ)とした場合には、以下のように処理を行う。まず、テレビ装置11の制御部45は、スピーカアレイ装置13の記憶部71に記録された音声信号の処理時間情報を読み出す。続いて、制御部45は、記憶部41から、映像信号の処理時間情報を読み出す。さらに、両信号の処理時間の差分を算出する。そして、制御部45は、(映像信号の処理時間)>(音声信号の処理時間)の場合には、スピーカアレイ装置13に対して、差分時間分だけ音声信号の出力タイミングを遅延させるように指示する。   Furthermore, in the AV system 2 according to the second embodiment of the present invention, the television device 11 and the speaker array device 13 can be set not only in an equal relationship but also in a master-slave relationship. That is, in the AV system 2 shown in FIG. 5, when the television device 11 is the master (master) and the speaker array device 13 is the slave (slave), the following processing is performed. First, the control unit 45 of the television device 11 reads the processing time information of the audio signal recorded in the storage unit 71 of the speaker array device 13. Subsequently, the control unit 45 reads the processing time information of the video signal from the storage unit 41. Further, the difference between the processing times of both signals is calculated. Then, when (video signal processing time)> (audio signal processing time), the control unit 45 instructs the speaker array device 13 to delay the output timing of the audio signal by the difference time. To do.

また、制御部45は、(映像信号の処理時間)<(音声信号の処理時間)の場合には、両信号の処理時間の差分を算出して、映像遅延部29に差分時間分だけ映像信号の出力タイミングを遅延させる。なお、図5に示したAVシステム2において、スピーカアレイ装置13を主(マスタ)、テレビ装置11を従(スレーブ)とした場合には、上記の処理においてテレビ装置11とスピーカアレイ装置13の処理を逆に読み替えた処理を行うように設定すれば良い。   Further, when (video signal processing time) <(audio signal processing time), the control unit 45 calculates the difference between the processing times of both signals, and sends the video signal to the video delay unit 29 for the difference time. Delay the output timing. In the AV system 2 shown in FIG. 5, when the speaker array device 13 is the master (master) and the television device 11 is the slave (slave), the processing of the television device 11 and the speaker array device 13 in the above processing. It is sufficient to set so that the processing is read in reverse.

[第3実施形態]
次に、図6は、本発明の第3実施形態に係るAVシステムの概略構成を示すブロック図である。図7は、AVシステムにおける映像処理と音声処理のタイミングチャートである。本発明の第3実施形態に係るAVシステム3では、DVDプレーヤ15’からスピーカアレイ装置13’を経由してテレビ装置11へコンテンツを送信する点が第1実施形態及び第2実施形態と異なる。
[Third Embodiment]
Next, FIG. 6 is a block diagram showing a schematic configuration of an AV system according to the third embodiment of the present invention. FIG. 7 is a timing chart of video processing and audio processing in the AV system. The AV system 3 according to the third embodiment of the present invention is different from the first and second embodiments in that content is transmitted from the DVD player 15 ′ to the television device 11 via the speaker array device 13 ′.

図6に示すAVシステム3において、テレビ装置11は、図1及び図5に示した構成と同様である。また、スピーカアレイ装置13’は、図5に示したスピーカアレイ装置13と一部を除き同様の構成である。また、DVDプレーヤ15’は図5に示したDVDプレーヤ15と一部を除き同様の構成である。そのため、各装置の構成については、相違点のみ説明する。   In the AV system 3 shown in FIG. 6, the television device 11 has the same configuration as that shown in FIGS. 1 and 5. The speaker array device 13 'has the same configuration as the speaker array device 13 shown in FIG. The DVD player 15 'has the same configuration as the DVD player 15 shown in FIG. Therefore, only differences will be described for the configuration of each device.

スピーカアレイ装置13’は、スピーカアレイ装置13の信号入力部51を信号入力部51’に置き換えたものである。図1・図5に示したスピーカアレイ装置13では、信号入力部51には音声信号のみが入力されていたが、図6に示した信号入力部51’には、映像信号・音声信号が入力される。   The speaker array device 13 'is obtained by replacing the signal input unit 51 of the speaker array device 13 with a signal input unit 51'. In the speaker array device 13 shown in FIGS. 1 and 5, only the audio signal is inputted to the signal input unit 51, but the video signal / audio signal is inputted to the signal input unit 51 ′ shown in FIG. Is done.

DVDプレーヤ15’は、DVDプレーヤ15の映像信号出力部85及び音声信号出力部87を音声・映像信号出力部86に置き換えたものである。音声・映像信号出力部86は、デコーダ83から供給された音声信号及び映像信号を外部へ出力するためのインタフェースである。   The DVD player 15 ′ is obtained by replacing the video signal output unit 85 and the audio signal output unit 87 of the DVD player 15 with an audio / video signal output unit 86. The audio / video signal output unit 86 is an interface for outputting the audio signal and the video signal supplied from the decoder 83 to the outside.

AVシステム3では、DVDプレーヤ15’ (ソース機器)の音声・映像信号出力部86は、スピーカアレイ装置13’ (リピータ機器)の信号入力部51’とケーブル18−1により接続されている。また、DVDプレーヤ15’の通信部89は、スピーカアレイ装置13’の通信部73とケーブル18−2で接続されている。   In the AV system 3, the audio / video signal output unit 86 of the DVD player 15 '(source device) is connected to the signal input unit 51' of the speaker array device 13 '(repeater device) by the cable 18-1. The communication unit 89 of the DVD player 15 ′ is connected to the communication unit 73 of the speaker array device 13 ′ by a cable 18-2.

また、スピーカアレイ装置13’(リピータ機器)の信号出力部54は、テレビ装置11(シンク機器)の信号入力部25とケーブル14−1で接続されている。また、スピーカアレイ装置13’の通信部73は、テレビ装置11の通信部39とケーブル14−2で接続されている。   Further, the signal output unit 54 of the speaker array device 13 '(repeater device) is connected to the signal input unit 25 of the television device 11 (sink device) by a cable 14-1. In addition, the communication unit 73 of the speaker array device 13 ′ is connected to the communication unit 39 of the television device 11 through the cable 14-2.

つまり、AVシステム3は、ソース機器、1つまたは複数のリピータ機器、及びシンク機器が直列接続され、信号を後段の機器に出力する構成である。   That is, the AV system 3 has a configuration in which a source device, one or a plurality of repeater devices, and a sink device are connected in series and a signal is output to a subsequent device.

なお、リピータ機器としては、AVアンプやスピーカアレイ装置の他に、信号切替器などがある。   The repeater device includes a signal switcher in addition to an AV amplifier and a speaker array device.

なお、図6では、ケーブル14−1・ケーブル14−2を別々に示したが、実際には、1本のHDMI(登録商標)ケーブル14であり、ケーブル18−1・ケーブル18−2も1本のHDMI(登録商標)ケーブル18である。   In FIG. 6, the cable 14-1 and the cable 14-2 are shown separately, but in actuality, it is one HDMI (registered trademark) cable 14, and the cable 18-1 and the cable 18-2 are also one. This is an HDMI (registered trademark) cable 18.

図6に示したような構成のAVシステム3でリップシンクさせるためには、各装置での映像信号の処理時間と音声信号の処理時間、または、両信号の処理時間の差分を他の接続装置に知らせるように構成すると良い。   In order to lip-sync with the AV system 3 having the configuration as shown in FIG. 6, the processing time of the video signal and the processing time of the audio signal in each device, or the difference between the processing times of both signals is determined by another connecting device. It is good to be configured to inform the

例えば、DVDプレーヤ15’で再生したコンテンツの映像をテレビ装置11で表示させ、スピーカアレイ装置13’において、このコンテンツの音声に音響効果を付加して、テレビ装置11のスピーカから放音させる場合を説明する。この場合には、図7に示すように、スピーカアレイ装置13’では、音声信号に音響効果を付加し、映像信号に対しては時間が必要な処理を施さない。そのため、スピーカアレイ装置13’においては、音声信号の処理時間の方が、映像信号の処理時間よりも長くなる。一方、テレビ装置11においては、モニタに映像を表示させるために映像信号処理を行うが、音声信号に対しては時間が必要な処理を施さない。そのため、テレビ装置11においては、映像信号の処理時間の方が、音声信号の処理時間よりも長くなる。また、この例ではAVシステム3全体で見た場合には、音声信号の処理時間の方が映像信号の処理時間よりも長い。そこで、AVシステム3では、構成装置のいずれかが主(マスタ)となって、他の接続装置と通信部により通信を行って、各装置での映像信号の処理時間と音声信号の処理時間、または、両信号の処理時間の差分を接続装置から取得する。また、主となる装置が、制御部でAVシステム3全体の映像信号の処理時間と音声信号の処理時間の差分を算出する。そして、この差分情報に基づいてリップシンクのずれが発生しないように、各装置の遅延処理用のバッファメモリ量に応じて、いずれかの装置で、映像信号または音声信号の遅延処理を行うように構成すると良い。   For example, a case where a video of content reproduced by a DVD player 15 ′ is displayed on the television device 11 and a sound effect is added to the sound of the content in the speaker array device 13 ′ to emit sound from the speaker of the television device 11 is used. explain. In this case, as shown in FIG. 7, the speaker array device 13 ′ adds an acoustic effect to the audio signal and does not perform time-consuming processing on the video signal. Therefore, in the speaker array device 13 ′, the audio signal processing time is longer than the video signal processing time. On the other hand, the television apparatus 11 performs video signal processing to display video on a monitor, but does not perform time-consuming processing on audio signals. Therefore, in the television apparatus 11, the processing time of the video signal is longer than the processing time of the audio signal. In this example, the audio signal processing time is longer than the video signal processing time when viewed from the entire AV system 3. Therefore, in the AV system 3, one of the constituent devices becomes the main (master) and communicates with other connection devices by the communication unit, and the processing time of the video signal and the processing time of the audio signal in each device, Alternatively, the difference between the processing times of both signals is acquired from the connection device. Also, the main device calculates the difference between the video signal processing time and the audio signal processing time of the entire AV system 3 by the control unit. Then, in order to prevent a lip sync shift from occurring based on the difference information, one of the devices performs the delay processing of the video signal or the audio signal in accordance with the amount of buffer memory for delay processing of each device. It is good to configure.

これにより、各装置の遅延処理用のバッファメモリ搭載量を抑制することが可能になる。すなわち、図7に示したように、装置毎の映像信号と音声信号の処理時間の差分はかなり大きい。そのため、従来のテレビ装置のように装置毎の差分が無くなるように調整可能なだけのバッファメモリを、各装置に設ける場合には、システム全体としてのバッファメモリ量が多大となる。しかし、本発明では、AVシステム3全体として映像信号と音声信号の処理時間の差分を求めて、ある装置でまとめて遅延処理を行う。そのため、システム全体として、バッファメモリ量を抑制できる。つまり、各装置に搭載するバッファメモリ量を少なくしても、システム全体として差分が無くなるように調整することができる。   As a result, the amount of buffer memory for delay processing of each device can be suppressed. That is, as shown in FIG. 7, the difference between the processing time of the video signal and the audio signal for each apparatus is quite large. Therefore, when each apparatus is provided with a buffer memory that can be adjusted so that there is no difference between apparatuses as in a conventional television apparatus, the amount of buffer memory as a whole system becomes large. However, in the present invention, the difference between the processing times of the video signal and the audio signal is obtained for the AV system 3 as a whole, and the delay processing is collectively performed by a certain device. Therefore, the amount of buffer memory can be suppressed as a whole system. In other words, even if the amount of buffer memory installed in each device is reduced, the entire system can be adjusted so that there is no difference.

次に、DVDプレーヤ15’(ソース機器)で再生したコンテンツの映像をテレビ装置11で表示させ、このコンテンツの音声に音響効果を付加して、スピーカアレイ装置13’のスピーカアレイ65から放音させる場合を説明する。この構成の場合には、音声信号をテレビ装置11から放音しないが、テレビ装置11における映像信号の処理時間と音声信号の処理時間の差分情報をスピーカアレイ装置13’に通知してしまう。   Next, the video of the content reproduced by the DVD player 15 ′ (source device) is displayed on the television device 11, and an acoustic effect is added to the sound of the content, and sound is emitted from the speaker array 65 of the speaker array device 13 ′. Explain the case. In the case of this configuration, an audio signal is not emitted from the television device 11, but the difference information between the video signal processing time and the audio signal processing time in the television device 11 is notified to the speaker array device 13 '.

上記のように構成する場合、すなわち、視聴する際に使用する最終的な映像表示装置と音声再生装置が異なる場合には、いずれか早く出力する装置以降(下流)の装置の遅延量は無視するように設定する。例えば、前記のように、DVDプレーヤ15’(ソース機器)→スピーカアレイ装置13’(リピータ機器)→テレビ装置11(シンク機器)の構成において、スピーカアレイ装置13’が音声を放音し、テレビ装置11が映像を表示する場合、テレビ装置11の音声遅延量を無視して、0秒とする。   When configured as described above, that is, when the final video display device used for viewing is different from the audio reproduction device, the delay amount of the device after the device that outputs one earlier (downstream) is ignored. Set as follows. For example, as described above, in the configuration of DVD player 15 ′ (source device) → speaker array device 13 ′ (repeater device) → TV device 11 (sink device), the speaker array device 13 ′ emits sound, and the TV When the device 11 displays an image, the audio delay amount of the television device 11 is ignored and set to 0 seconds.

次に、図6に示したAVシステム3では、さらに、各装置において映像信号及び音声信号を遅延させることが可能な最大時間(遅延最大量(バッファメモリ量))の情報を通信部によりマスタとなる装置に知らせ、マスタとなる装置がこの情報に基づいて各装置に分担量を通信部により通知するように構成することも可能である。   Next, in the AV system 3 shown in FIG. 6, information on the maximum time (maximum delay amount (buffer memory amount)) in which the video signal and the audio signal can be delayed in each device is transmitted to the master by the communication unit. It is also possible to notify the device, and the device serving as the master notifies each device of the amount of sharing by the communication unit based on this information.

このように構成することで、各装置で処理可能な遅延時間がわかるので、いずれかの装置が主(マスタ)となって、AVシステム3全体の信号遅延を各装置のバッファメモリ量に応じて、分担させることが可能になる。したがって、映像信号と音声信号の処理に必要な時間の差分をAVシステム全体でみることで、差分を小さくすることができるだけでなく、差分の補正を各装置に分散できるので、各装置に設けるバッファメモリの量を抑制することができる。   With this configuration, since the delay time that can be processed by each device is known, one of the devices becomes the master (master), and the signal delay of the entire AV system 3 depends on the amount of buffer memory of each device. , It becomes possible to share. Accordingly, the difference in time required for processing the video signal and the audio signal can be seen in the entire AV system, so that the difference can be reduced and the correction of the difference can be distributed to each device. The amount of memory can be reduced.

なお、図6にはAVシステムの1例として、DVDプレーヤ15’(ソース機器)→スピーカアレイ装置13’(リピータ機器)→テレビ装置11(シンク機器)を直列に接続した構成を示したが、本発明はこれに限るものではなく、他の構成であっても良い。例えば、図1に示したAVシステム1において、テレビ装置11の信号入力部25にDVDプレーヤやビデオ再生装置などのソース機器を接続することが可能である。この場合、テレビ装置11がリピータ機器となり、スピーカアレイ装置13がシンク機器となる。   FIG. 6 shows a configuration in which a DVD player 15 ′ (source device) → speaker array device 13 ′ (repeater device) → TV device 11 (sink device) is connected in series as an example of the AV system. The present invention is not limited to this, and may have other configurations. For example, in the AV system 1 shown in FIG. 1, it is possible to connect a source device such as a DVD player or a video playback device to the signal input unit 25 of the television device 11. In this case, the television device 11 becomes a repeater device, and the speaker array device 13 becomes a sink device.

また、図6に示したAVシステム3において、信号入力部51に切替器(セレクタ)を接続し、この切替器に複数のソース機器を接続することが可能である。複数のソース機器としては、例えば、DVDプレーヤ、ディスクゲーム機、ハードディスクレコーダ等が好適である。このように接続した場合には、ソース機器とシンク機器の間に、2台のリピータ機器が接続されることになる。   In the AV system 3 shown in FIG. 6, a switch (selector) can be connected to the signal input unit 51, and a plurality of source devices can be connected to the switch. As the plurality of source devices, for example, a DVD player, a disk game machine, a hard disk recorder, and the like are suitable. In such a connection, two repeater devices are connected between the source device and the sink device.

なお、上記各実施形態において、映像信号や音声信号の処理に必要な時間や、両信号の処理時間の差分は、テレビ装置11のモニタ31に表示させる映像の解像度や音場処理のモード等、映像や音声の設定によって異なる。   In each of the above embodiments, the time required for processing the video signal and the audio signal, and the difference between the processing times of both signals are the resolution of the video to be displayed on the monitor 31 of the television device 11, the mode of the sound field processing, etc. It depends on the video and audio settings.

例えば、映像信号の処理時間は、映像解像度、ゲームモード、プログレッシブ変換(IP変換)、スケーリング、輪郭強調などの画像補正処理等により異なる。また、音声信号の処理時間は、音声フォーマット(圧縮系、非圧縮系)、DSPモード、音声ビームモード、音声ビームの経路長等により異なる。   For example, the processing time of the video signal differs depending on the image correction processing such as video resolution, game mode, progressive conversion (IP conversion), scaling, and contour enhancement. The processing time of the audio signal varies depending on the audio format (compression system, non-compression system), DSP mode, audio beam mode, audio beam path length, and the like.

前記のように、スピーカアレイ装置13’において、5チャンネルの音声ビームを出力する場合、センタチャンネルは、視聴位置Lに直接到達するので経路長は短い。一方、リアチャンネル(SLch、SRch)は、部屋の壁に2回反射してから視聴位置Lに到達するので、経路長は長くなる。また、設置する部屋の広さによっても経路長が異なるため、部屋のサイズに応じた遅延量(音声信号処理時間)を記憶しておくか、装置の設置時に遅延量(音声信号処理時間)を算出して、記憶部で記憶しておく必要がある。   As described above, in the speaker array device 13 ′, when a 5-channel sound beam is output, the center channel directly reaches the viewing position L, so the path length is short. On the other hand, since the rear channel (SLch, SRch) reaches the viewing position L after being reflected twice on the wall of the room, the path length becomes long. Also, since the path length varies depending on the size of the room to be installed, the amount of delay (audio signal processing time) corresponding to the size of the room is stored, or the amount of delay (audio signal processing time) is set when the apparatus is installed. It is necessary to calculate and store it in the storage unit.

そのため、本発明では、ユーザにより選択された映像や音声の設定(モード)に応じ映像信号や音声信号の処理時間を記憶している。   Therefore, in the present invention, the processing time of the video signal and the audio signal is stored according to the video (audio) setting (mode) selected by the user.

テレビ装置11やスピーカアレイ装置13’は、映像の解像度や音場処理のモード等に応じた映像信号や音声信号の処理時間(遅延量)を、図8に示すようなテーブル形式で記憶部に記憶している。   The television apparatus 11 and the speaker array apparatus 13 ′ store the processing time (delay amount) of the video signal and the audio signal in accordance with the video resolution, the sound field processing mode, etc. in the storage unit in a table format as shown in FIG. I remember it.

図8は、映像の解像度や音場処理のモード等に応じた映像信号や音声信号の処理時間を管理するためのテーブルである。なお、図8に示した処理時間(遅延量)は、説明を容易に理解できるように示した例である。   FIG. 8 is a table for managing the processing time of the video signal and the audio signal according to the video resolution, the sound field processing mode, and the like. The processing time (delay amount) shown in FIG. 8 is an example shown so that the explanation can be easily understood.

例えば、図8(A)に示すように、テレビ装置11において、入力解像度が480i、出力解像度が480iの場合には映像信号の処理時間(遅延量)は5msecである。一方、入力解像度が480i、出力解像度が1080iの場合には映像信号の処理時間(遅延量)は90msecである。   For example, as shown in FIG. 8A, in the television apparatus 11, when the input resolution is 480i and the output resolution is 480i, the processing time (delay amount) of the video signal is 5 msec. On the other hand, when the input resolution is 480i and the output resolution is 1080i, the processing time (delay amount) of the video signal is 90 msec.

また、図8(B)に示すように、スピーカアレイ装置13’において、音声信号に付加する音響効果として、スポーツモードの場合には、音声信号の処理時間(遅延量)は40msecである。また、音響効果としてはコンサートホールモードを選択した場合には、音声信号の処理時間(遅延量)は60msecである。   As shown in FIG. 8B, in the speaker array device 13 ′, as a sound effect to be added to the audio signal, the processing time (delay amount) of the audio signal is 40 msec in the sports mode. When the concert hall mode is selected as the acoustic effect, the audio signal processing time (delay amount) is 60 msec.

さらに、図8(C)に示すように、音声信号のフォーマットがAACの場合には、音声信号の処理時間(遅延量)は15msecであり、音声信号のフォーマットがMP3の場合には、音声信号の処理時間(遅延量)は20msecである。   Furthermore, as shown in FIG. 8C, when the audio signal format is AAC, the audio signal processing time (delay amount) is 15 msec, and when the audio signal format is MP3, the audio signal The processing time (delay amount) is 20 msec.

このように、映像の解像度によって映像信号処理時間が異なり、また、音声プログラムや音声フォーマットによって音声信号処理時間が異なる。したがって、選択された解像度や音声プログラム等に応じて遅延量を変更する必要がある。   Thus, the video signal processing time varies depending on the resolution of the video, and the audio signal processing time varies depending on the audio program or audio format. Therefore, it is necessary to change the delay amount according to the selected resolution, audio program, and the like.

なお、HDMI(登録商標)のベンダコマンドを用いて、音声信号や映像信号の処理時間を管理する場合には、以下のようにすると良い。例えば、EDID内に、音声信号や映像信号の処理時間情報を格納すると良い。また、HDMI(登録商標) Info Frame、HDMI(登録商標) CEC、またはDDCのいずれかを用いて、遅延量情報、または遅延量が変化したことを伝達するように構成する。   When managing the processing time of an audio signal and a video signal using an HDMI (registered trademark) vendor command, the following is preferable. For example, processing time information for audio signals and video signals may be stored in the EDID. Further, the delay amount information or the change of the delay amount is transmitted using any one of HDMI (registered trademark) Info Frame, HDMI (registered trademark) CEC, or DDC.

なお、上記説明では、映像信号や音声信号の処理時間(遅延量)や両信号の処理時間の差分を記憶部で記憶する構成について説明した。しかし、本発明はこれに限るものではなく、他の構成であっても良い。例えば、映像及び音声を同時に出力するようにテストデータが記録されたテストディスク、又は、テスト信号発生器をソースとし、テレビ画面上に受光センサを設置し、ユーザの視聴位置に音声受信用のマイク(マイク66)を設置する。そして、両者の変化(トリガ)タイミングにより、遅延量、またはその差を実測し、上記設定を行うようにする。   In the above description, the configuration has been described in which the storage unit stores the processing time (delay amount) of the video signal and the audio signal and the difference between the processing times of both signals. However, the present invention is not limited to this, and may have other configurations. For example, a test disc on which test data is recorded so that video and audio are output simultaneously, or a test signal generator as a source, a light receiving sensor is installed on the TV screen, and a microphone for receiving audio at the user's viewing position (Mic 66) is installed. Then, according to the change (trigger) timing of the both, the delay amount or the difference between them is measured and the above setting is performed.

なお、以上の説明では、スピーカアレイ装置を用いた場合を例に挙げて説明したが、本発明はこれに限るものではなく、AVアンプに、1台または複数台のスピーカを接続したものをスピーカアレイ装置の代わりに用いても、もちろん問題無い。   In the above description, the case where the speaker array device is used has been described as an example. However, the present invention is not limited to this, and a speaker in which one or a plurality of speakers are connected to an AV amplifier is used. Of course, there is no problem even if it is used instead of the array device.

[第4実施形態]
次に、本発明の第4実施形態に係るAVシステムについて説明する。第1実施形態〜第3実施形態では、映像と音声のずれをなくす処理について説明したが、以下では、同じコンテンツの音声を複数のAV装置で再生する場合において、AV装置間のずれをなくす処理を説明する。図9は、従来のAVシステムの概略構成と、処理時間の関係を示す図である。図10は、本発明の第4実施形態に係るAVシステムの概略構成を示すブロック図である。図11は、本発明の第4実施形態に係るAVシステムにおける処理時間の関係を示す図である。
[Fourth Embodiment]
Next, an AV system according to the fourth embodiment of the present invention will be described. In the first to third embodiments, the processing for eliminating the deviation between video and audio has been described. However, in the following, when the audio of the same content is reproduced by a plurality of AV devices, the processing for eliminating the deviation between the AV devices. Will be explained. FIG. 9 is a diagram showing the relationship between the schematic configuration of a conventional AV system and the processing time. FIG. 10 is a block diagram showing a schematic configuration of an AV system according to the fourth embodiment of the present invention. FIG. 11 is a diagram showing the relationship of processing time in the AV system according to the fourth embodiment of the present invention.

図9(A)に示すAVシステム4は、音声再生装置(ソース機器)であるミュージックプレーヤ10と、第1のAV装置であるスピーカアレイ装置13と、第2のAV装置であるサブウーファ19と、を備えている。ミュージックプレーヤ10は、スピーカアレイ装置13とサブウーファ19にコンテンツの音声信号をブロードキャストする。スピーカアレイ装置13とサブウーファ19は、それぞれ、コンテンツの音声を再生する。   The AV system 4 shown in FIG. 9A includes a music player 10 that is an audio playback device (source device), a speaker array device 13 that is a first AV device, a subwoofer 19 that is a second AV device, It has. The music player 10 broadcasts an audio signal of content to the speaker array device 13 and the subwoofer 19. The speaker array device 13 and the subwoofer 19 each reproduce the audio of the content.

従来のAVシステム4では、スピーカアレイ装置13からサブウーファ19に対してコンテンツの再生に必要な時間の情報を送信する構成や、サブウーファ19が音声を遅延させる構成を備えていなかった。また、サブウーファ19が行う音声再生処理に必要な時間は、スピーカアレイ装置13に比べて短く(僅かであり)、DSP処理のように時間の必要な処理を行っていない。また、前述のように、スピーカアレイ装置13では、チャンネルに応じて音声ビームを、直接または1回乃至2回壁に反射させて、聴取者の聴取位置に同時に伝播(到達)させるので、音声処理時間はサブウーファ19よりもかなり長い。そのため、図9(B)に示すように、サブウーファ19が放音する音声(低音)の方が、スピーカアレイ装置13が放音する音声(音声ビーム)よりも先に聴取位置に伝播していた。   In the conventional AV system 4, the speaker array device 13 does not have a configuration for transmitting time information necessary for content reproduction to the subwoofer 19 or a configuration for the subwoofer 19 to delay audio. Further, the time required for the audio reproduction processing performed by the subwoofer 19 is shorter (slightly) than that of the speaker array device 13, and time-consuming processing such as DSP processing is not performed. Further, as described above, in the speaker array device 13, the sound beam is reflected directly or once or twice on the wall in accordance with the channel and propagates (arrives) to the listener's listening position at the same time. The time is considerably longer than the subwoofer 19. For this reason, as shown in FIG. 9B, the sound (low sound) emitted by the subwoofer 19 propagated to the listening position earlier than the sound (sound beam) emitted by the speaker array device 13. .

このような問題の発生を防止するために、AVシステム4を改良したAVシステム4’では、以下の構成を設けている。すなわち、図10に示すように、スピーカアレイ装置13は、コンテンツの再生処理に必要な時間の情報、すなわち音声ビームの遅延処理に必要な時間の情報やコンテンツの音声が視聴位置に到達するまでの時間等の情報(再生処理時間情報)をサブウーファ19に送信する構成(通信部73)を備えている。また、サブウーファ19は、スピーカアレイ装置13が送信した再生処理時間情報を受信する構成(通信部111)と、スピーカアレイ装置13から受信した再生処理時間情報に基づいて、スピーカから放音する音声を遅延させる遅延回路を備えている。   In order to prevent the occurrence of such a problem, an AV system 4 'improved from the AV system 4 has the following configuration. That is, as shown in FIG. 10, the speaker array device 13 receives time information required for content reproduction processing, that is, time information required for audio beam delay processing and content sound until the audio reaches the viewing position. A configuration (communication unit 73) for transmitting information such as time (reproduction processing time information) to the subwoofer 19 is provided. In addition, the subwoofer 19 receives the reproduction processing time information transmitted from the speaker array device 13 (communication unit 111) and the sound emitted from the speaker based on the reproduction processing time information received from the speaker array device 13. A delay circuit for delaying is provided.

このような構成を備えることで、図11に示すように、サブウーファ19から放音される音声が、最も遅い再生タイミングのAV装置であるスピーカアレイ装置13から放音する音声ビームと同期するように、つまり、同時に聴取位置に伝播するように、サブウーファ19から放音される音声を遅延させることができる。これにより、聴取者に違和感を与えることなく、サラウンド音声を放音することができる。   With such a configuration, as shown in FIG. 11, the sound emitted from the subwoofer 19 is synchronized with the sound beam emitted from the speaker array device 13 which is the AV device having the latest reproduction timing. That is, the sound emitted from the subwoofer 19 can be delayed so as to be simultaneously transmitted to the listening position. Thereby, surround sound can be emitted without giving a sense of incongruity to the listener.

なお、上記のAVシステム4’では、サブウーファ19は、スピーカアレイ装置13よりも再生処理に必要な時間が常に短いことが予めわかっている。このような場合には、再生処理に必要な時間が短いAV装置であるウーファ19は、他のAV装置であるスピーカアレイ装置13からコンテンツの再生を遅延させる情報を受信して、コンテンツの再生を遅延させる構成のみを備えるように構成する。これにより、他のAV装置とコンテンツの再生タイミングを調整しなくても良いので、構成を簡略化できる。   In the AV system 4 ′ described above, it is known in advance that the subwoofer 19 always has a shorter time required for the reproduction process than the speaker array device 13. In such a case, the woofer 19 which is an AV device having a short time required for the reproduction process receives information for delaying the reproduction of the content from the speaker array device 13 which is another AV device, and reproduces the content. It is configured so as to have only a configuration for delaying. As a result, it is not necessary to adjust the playback timing of the content with other AV devices, so that the configuration can be simplified.

一方、複数のAV装置のうち、再生処理に必要な時間が短いAV装置が特定できない場合には、初期設定の時に、各AV装置間で再生処理時間情報を送受信し、この情報に基づいて再生処理に必要な時間が短いAV装置を確定する。そして、コンテンツの再生処理に必要な時間が短いAV装置が、他のAV装置からの再生処理時間情報を受信して、コンテンツの再生を遅延させるように構成する。   On the other hand, when an AV device having a short time required for playback processing cannot be specified among a plurality of AV devices, playback processing time information is transmitted and received between the AV devices at the time of initial setting, and playback is performed based on this information. An AV device having a short processing time is determined. Then, an AV device having a short time required for content playback processing is configured to receive playback processing time information from another AV device and delay the playback of the content.

AVシステム4’の各装置の詳細な構成は図10に示す通りである。ミュージックプレーヤ10は、記憶部101、再生部103、及び通信部105を備えている。スピーカアレイ装置13は、図1に示した構成と同様の構成を備えている。また、サブウ−ハ19は、通信部111、低音生成部113、遅延回路115、アンプ117、及びスピーカ119を備えている。   The detailed configuration of each device of the AV system 4 'is as shown in FIG. The music player 10 includes a storage unit 101, a playback unit 103, and a communication unit 105. The speaker array device 13 has the same configuration as that shown in FIG. The subwoofer 19 includes a communication unit 111, a bass sound generation unit 113, a delay circuit 115, an amplifier 117, and a speaker 119.

ミュージックプレーヤ10は、再生部103が記憶部101からコンテンツのデータ(2チャンネルの音声データ)を読み出して再生する。通信部105は、再生部103が再生した音声信号を電波に重畳して、ブロードキャストで送信する。スピーカアレイ装置13は、ミュージックプレーヤ10がブロードキャストした2チャンネルの音声信号を通信部73で受信すると、映像音声処理部53で、5チャンネルの音声信号(サラウンド音声信号)に拡張する音声処理(DSP処理)を行う。また、遅延処理部57で、聴取位置に伝播(到達)するのが最も遅いチャンネルに合わせて、他のチャンネルの音声信号を遅延処理する。このとき、スピーカアレイ装置13は、通信部73により、再生処理時間情報をサブウ−ハ19に送信する。   In the music player 10, the reproduction unit 103 reads content data (two-channel audio data) from the storage unit 101 and reproduces it. The communication unit 105 superimposes the audio signal reproduced by the reproduction unit 103 on the radio wave and transmits it by broadcast. When the communication unit 73 receives a two-channel audio signal broadcast by the music player 10 by the communication unit 73, the speaker array device 13 uses the audio / video processing unit 53 to expand the audio signal (a surround audio signal) into a five-channel audio signal (DSP process). )I do. In addition, the delay processing unit 57 performs delay processing on the audio signals of other channels in accordance with the slowest channel that propagates (arrives) to the listening position. At this time, the speaker array device 13 transmits reproduction processing time information to the subwoofer 19 through the communication unit 73.

スピーカアレイ装置13は、聴取位置の周囲に各チャンネルの音声ビームが伝播するように、再生処理時間情報に基づいて遅延処理部57で所定の遅延処理を行って、チャンネル毎に音声ビームを生成して、スピーカアレイ65から音声ビームを出力させる。   The speaker array device 13 generates a sound beam for each channel by performing predetermined delay processing in the delay processing unit 57 based on the reproduction processing time information so that the sound beam of each channel propagates around the listening position. Thus, an audio beam is output from the speaker array 65.

サブウ−ハ19は、ミュージックプレーヤ10がブロードキャストした2チャンネルの音声信号を通信部111で受信すると、低音生成部113で、2チャンネルの音声信号を加算し、低音信号のみを抽出する。そして、遅延回路115で低音信号をスピーカアレイ装置13から送信された再生処理時間情報に基づいて遅延させて、アンプ117で増幅してスピーカ119から放音させる。   When the subwoofer 19 receives the two-channel audio signal broadcast by the music player 10 by the communication unit 111, the bass generation unit 113 adds the two-channel audio signal and extracts only the bass signal. Then, the delay circuit 115 delays the bass signal based on the reproduction processing time information transmitted from the speaker array device 13, amplifies it by the amplifier 117, and emits the sound from the speaker 119.

次に、本願発明では、以下に説明するように構成することも可能である。図12及び図13は、本願発明のさらに別の構成を示す概念図である。   Next, the present invention can be configured as described below. 12 and 13 are conceptual diagrams showing still another configuration of the present invention.

図12(A)に示すように、AVシステム5は、ソース機器であるDVDプレーヤ15’、スピーカアレイ装置13−1、スピーカアレイ装置13−2、及びサブウーファ19を備えている。なお、図12及び図13に示す各装置の構成は、図1・図5・図6・図10に示したものと大半が同様であるため、説明を省略する。図12及び図13に示す各装置は、ブロードキャストにより音声信号や再生処理延時間情報を送受信する通信部を備えているものとする。   As shown in FIG. 12A, the AV system 5 includes a DVD player 15 ′ as a source device, a speaker array device 13-1, a speaker array device 13-2, and a subwoofer 19. The configuration of each device shown in FIG. 12 and FIG. 13 is almost the same as that shown in FIG. 1, FIG. 5, FIG. 6, and FIG. Each device illustrated in FIGS. 12 and 13 includes a communication unit that transmits and receives an audio signal and reproduction processing extended time information by broadcasting.

DVDプレーヤ15’は、スピーカアレイ装置13−1、スピーカアレイ装置13−2、及びサブウーファ19に対して、7.1チャンネルの音声信号201をブロードキャストする。スピーカアレイ装置13−1とスピーカアレイ装置13−2は、2台で7チャンネル分の音声ビームを生成する。例えば、スピーカアレイ装置13−1は、Cch、Lch、Rchの音声ビームを生成し、スピーカアレイ装置13−2は、SLch、SRch、BLch、BRchの音声ビームを生成するように構成する。スピーカアレイ装置13−1とスピーカアレイ装置13−2は、お互いの再生処理時間情報203Aを送受信して、聴取位置への到着が最も遅い音声ビームに合わせて他の音声ビームに遅延処理を行う。また、スピーカアレイ装置13−1とスピーカアレイ装置13−2のいずれかがマスタになって、サブウーファ19に対して再生処理時間情報205Aを送信する(図12(A)では、スピーカアレイ装置13−1が送信している。)。このように構成することで、図10に示した構成と同様に、各装置における音声の放音タイミングを調整して、各チャンネルの音声が、聴取位置に同時に伝播(到達)するように設定することができる。   The DVD player 15 ′ broadcasts the 7.1-channel audio signal 201 to the speaker array device 13-1, the speaker array device 13-2, and the subwoofer 19. Two speaker array apparatuses 13-1 and 13-2 generate sound beams for seven channels. For example, the speaker array device 13-1 is configured to generate Cch, Lch, and Rch sound beams, and the speaker array device 13-2 is configured to generate SLch, SRch, BLch, and BRch sound beams. The speaker array device 13-1 and the speaker array device 13-2 transmit and receive each other's reproduction processing time information 203A, and perform delay processing on other sound beams in accordance with the sound beam that has arrived at the listening position the latest. In addition, either the speaker array device 13-1 or the speaker array device 13-2 becomes a master and transmits reproduction processing time information 205A to the subwoofer 19 (in FIG. 12A, the speaker array device 13- 1 is transmitting.) With this configuration, as in the configuration shown in FIG. 10, the sound emission timing of each device is adjusted, and the sound of each channel is set to propagate (arrive) at the listening position at the same time. be able to.

更に、図12(B)に示すように、スピーカアレイ装置の代わりに、AVアンプ装置とすることも可能である。この場合も、図12(A)の構成と同様に、お互いの再生処理時間情報203Bや再生処理時間情報205Bを送受信して、聴取位置への到着が最も遅い音声に合わせて他の音声ビームに遅延処理を行えば良い。   Furthermore, as shown in FIG. 12B, an AV amplifier device can be used instead of the speaker array device. Also in this case, similarly to the configuration of FIG. 12A, the reproduction processing time information 203B and the reproduction processing time information 205B are transmitted / received to another sound beam in accordance with the latest arrival sound at the listening position. What is necessary is just to perform a delay process.

次に、図13(A)に示すように、複数の音声再生装置と映像再生装置とで遅延処理情報を送受信するように構成することも可能である。ここでのAVシステム7は、前述のAVシステム2に対してサブウーファ19を追加した構成となっている。この場合も、お互いの再生処理時間情報203Cや再生処理時間情報205Cを送受信して、視聴位置への到着が最も遅い音声に合わせて他の音声ビームに遅延処理を行い、視聴位置に音声が伝播するタイミングにテレビ11が映像を表示させる。これにより、視聴位置のユーザには、映像と音声が同期している(リップシンクしている)と感じさせることができる。   Next, as shown in FIG. 13A, a plurality of audio reproduction devices and video reproduction devices can be configured to transmit / receive delay processing information. The AV system 7 here has a configuration in which a subwoofer 19 is added to the AV system 2 described above. In this case as well, each other's playback processing time information 203C and playback processing time information 205C are transmitted and received, delay processing is performed on other audio beams in accordance with the latest arrival at the viewing position, and the sound propagates to the viewing position. The television 11 displays an image at the timing to perform. This allows the user at the viewing position to feel that the video and audio are synchronized (lip synced).

また、図13(B)に示すように、ソース機器からの映像と音声のコンテンツがスピーカアレイ装置を経由して、テレビ装置へ送信される構成において、サブウーファ19では、ソース機器(DVDプレーヤ15)からのブロードキャストにより送信された信号(ソース機器から直接受信した信号)202か、スピーカアレイ装置13からの信号(他のAV装置を経由して受信したリピート信号)202Bかに応じて、遅延時間(遅延量)を切り替えるように構成することも可能である。この場合、サブウーファ19が、どの機器から信号を受信する設定なのかをスピーカアレイ装置13が判断し、それに応じた再生処理時間情報205Dをサブウーファ19に送信する。そして、図13(A)の場合と同様に、視聴位置に音声が伝播するタイミングにテレビ11が映像を表示させる。これにより、システム全体で映像と音声が同期するようになり、視聴位置のユーザには、映像と音声が同期している(リップシンクしている)と感じさせることができる。   Further, as shown in FIG. 13B, in the configuration in which video and audio content from the source device is transmitted to the television device via the speaker array device, the subwoofer 19 has the source device (DVD player 15). Delay time (depending on whether the signal is a signal (directly received from the source device) 202 transmitted by the broadcast from 202 or a signal from the speaker array device 13 (repeat signal received via another AV device) 202B. It is also possible to configure so as to switch the delay amount). In this case, the speaker array device 13 determines from which device the subwoofer 19 is set to receive a signal, and transmits the reproduction processing time information 205D corresponding thereto to the subwoofer 19. Then, similarly to the case of FIG. 13A, the television 11 displays the video at the timing when the sound propagates to the viewing position. Thus, the video and audio are synchronized in the entire system, and the user at the viewing position can feel that the video and audio are synchronized (lip-synced).

更なる別構成としては、スピーカアレイ装置13の制御部75(放音制御手段に相当)は、サブウーファ19(再生処理に必要な時間が短いAV装置)に対して、放音開始(ミュート解除)、及び放音終了(ミュート)を出力して放音開始タイミングを制御して、サブウーファ19はこの信号に応じて動作を切り替えるように構成しても良い。   As yet another configuration, the control unit 75 (corresponding to sound emission control means) of the speaker array device 13 starts sound emission (unmute) for the subwoofer 19 (AV device having a short time required for reproduction processing). Further, the subwoofer 19 may be configured to switch the operation in accordance with this signal by outputting a sound emission end (mute) to control the sound emission start timing.

スピーカアレイ装置13は、前記のようにDSP処理や遅延処理を行うので、サブウーファ19と比べて音声を放音するまでの時間が長い。特に、スピーカアレイ装置13は、電源をオンしてから放音するまでの起動時間が、サブウーファ19よりも長く、サブウーファ19に再生処理時間情報を送信する前に、サブウーファ19が起動する。そのため、サブウーファ19だけが先に低音を放音してしまうことになる。そこで、上記のように、スピーカアレイ装置13は、サブウーファ19に対して、放音開始(ミュート解除)、及び放音終了(ミュート)のコマンドを出力し、サブウーファ19はこの信号に応じて動作を切り替えるように構成する。   Since the speaker array device 13 performs DSP processing and delay processing as described above, it takes a longer time to emit sound than the subwoofer 19. In particular, the speaker array device 13 has a longer activation time from when the power is turned on until sound is emitted than the subwoofer 19, and the subwoofer 19 is activated before the reproduction processing time information is transmitted to the subwoofer 19. For this reason, only the subwoofer 19 emits the bass first. Therefore, as described above, the speaker array device 13 outputs a sound emission start (mute release) and sound emission end (mute) command to the subwoofer 19, and the subwoofer 19 operates according to this signal. Configure to switch.

また、スピーカアレイ装置13は、サブウーファ19に対して、ボリューム設定コマンドを出力し、サブウーファ19はこの信号に応じて動作を切り替えるように構成することも可能である。この場合、サブウーファ19は、ボリューム設定コマンドをミュート解除と判断する。   The speaker array device 13 can also be configured to output a volume setting command to the subwoofer 19, and the subwoofer 19 can switch the operation in accordance with this signal. In this case, the subwoofer 19 determines that the volume setting command is to cancel mute.

このように構成することで、サブウーファ19が先に低音を放音するのを防止でき、スピーカアレイ装置13とサブウーファ19を同時に放音させることかできる。   With this configuration, it is possible to prevent the subwoofer 19 from emitting low sounds first, and it is possible to simultaneously emit the speaker array device 13 and the subwoofer 19.

1、2、3…AVシステム 11…テレビ装置 12、14、16、17、18…ケーブル 13…スピーカアレイ装置 15…DVDプレーヤ 20…アンテナ 21…受信部 23…デコーダ 25…信号入力部 27…映像処理部 29…映像遅延部 31…モニタ 33…音声遅延部 34、61…D/Aコンバータ 35…パワーアンプ 36…スピーカ 37…音声出力部 39…通信部 41…記憶部 43…操作部 45…制御部 51…信号入力部 53…映像音声処理部 54…信号出力部 57…遅延処理部 63…パワーアンプ 65…スピーカアレイ 65…スピーカユニット 66…マイク 67…A/Dコンバータ 69…操作部 71…記憶部 73…通信部 75…制御部 81…DVD再生部 83…デコーダ 85…映像信号出力部 87…音声信号出力部 89…通信部 91…制御部 93…記憶部 95…操作部 1, 2, 3 ... AV system 11 ... TV device 12, 14, 16, 17, 18 ... Cable 13 ... Speaker array device 15 ... DVD player 20 ... Antenna 21 ... Receiver 23 ... Decoder 25 ... Signal input unit 27 ... Video Processing unit 29 ... Video delay unit 31 ... Monitor 33 ... Audio delay unit 34, 61 ... D / A converter 35 ... Power amplifier 36 ... Speaker 37 ... Audio output unit 39 ... Communication unit 41 ... Storage unit 43 ... Operation unit 45 ... Control Reference numeral 51 ... Signal input part 53 ... Video / audio processing part 54 ... Signal output part 57 ... Delay processing part 63 ... Power amplifier 65 ... Speaker array 65 ... Speaker unit 66 ... Microphone 67 ... A / D converter 69 ... Operating part 71 ... Memory Unit 73 ... Communication unit 75 ... Control unit 81 ... DVD playback unit 83 ... decoder 85 ... video signal output unit 87 ... audio signal output unit 89 ... communication unit 91 ... control unit 93 ... storage unit 95 ... operation unit

Claims (4)

コンテンツを入出力し、該コンテンツの信号を処理して複数のAV装置で再生するAVシステムにおいて、
前記AV装置は、
コンテンツの再生タイミングに関する情報を送受信する第1通信手段と、コンテンツの映像を再生する表示手段と、映像の再生タイミングに合わせてコンテンツの音声信号を遅延させて他のAV装置へ出力する遅延手段と、を有する映像再生装置と、
コンテンツの再生タイミングに関する情報を送受信する第2通信手段と、該映像再生装置が出力したコンテンツの音声信号を再生する放音手段と、を有する音声再生装置と、
を備え、
前記第2通信手段は、前記コンテンツの音声処理に必要な音声処理時間を前記再生タイミングに関する情報として前記映像再生装置に送信し、
前記映像再生装置の遅延手段は、前記音声再生装置から受信した音声処理時間の情報に基づいて音声信号の遅延時間を減少させることを特徴とするAVシステム。
In an AV system that inputs / outputs content, processes the signal of the content, and reproduces the content on a plurality of AV devices,
The AV device
First communication means for transmitting and receiving information relating to the playback timing of the content, display means for playing back the video of the content, and delay means for delaying the audio signal of the content in accordance with the playback timing of the video and outputting it to another AV device A video playback device having
An audio reproduction device having second communication means for transmitting and receiving information relating to the reproduction timing of the content, and sound emission means for reproducing the audio signal of the content output by the video reproduction device;
With
The second communication means transmits an audio processing time necessary for audio processing of the content as information related to the reproduction timing to the video reproduction device,
The AV system according to claim 1, wherein the delay means of the video reproduction device reduces the delay time of the audio signal based on the information of the audio processing time received from the audio reproduction device.
前記映像再生装置は、前記コンテンツの映像信号の処理を行う映像処理手段と、前記コンテンツの音声信号の処理を行う第1音声処理手段と、を備え、
前記音声再生装置は、前記コンテンツの音声信号の処理を行う第2音声処理手段を備え、
前記遅延手段は、前記第1音声処理手段及び前記第2音声処理手段が音声信号の処理を行うのに必要な音声処理時間の総和が、前記映像処理手段が映像信号の処理を行うのに必要な映像処理時間よりも長い場合には、前記映像の再生タイミングを、前記音声処理時間の総和と前記映像処理時間との差分だけ遅延させる請求項1に記載のAVシステム。
The video playback device includes video processing means for processing the video signal of the content, and first audio processing means for processing the audio signal of the content,
The audio reproduction device includes second audio processing means for processing an audio signal of the content,
The delay means is the sum of the audio processing times required for the first audio processing means and the second audio processing means to process the audio signals, and is necessary for the video processing means to process the video signals. 2. The AV system according to claim 1, wherein when the video processing time is longer than the video processing time, the video playback timing is delayed by a difference between the sum of the audio processing times and the video processing time.
前記音声再生装置は、複数のスピーカからなるスピーカアレイと、前記スピーカアレイの複数のスピーカに音声信号を分配して音声チャンネル毎に放音タイミングを調整して、音声ビーム化した複数の音声を、それぞれ視聴位置に同時に到達させるビーム制御手段と、を備え、
前記音声再生装置における前記音声処理時間は、音声を前記視聴位置に到達させる時間を含む請求項1または2に記載のAVシステム。
The sound reproducing device distributes a sound signal to a plurality of speakers of the speaker array and a plurality of speakers of the speaker array, adjusts sound emission timing for each sound channel, and converts a plurality of sound beams into sound beams, Beam control means for simultaneously reaching the viewing position,
The AV system according to claim 1, wherein the audio processing time in the audio reproduction device includes a time for audio to reach the viewing position.
前記音声再生装置のビーム制御手段は、前記音声ビーム化した複数の音声を壁反射させる位置を変化させる複数のビームモードを備え、
前記音声再生装置において選択されたビームモードに応じて前記音声処理時間を変更する請求項3に記載のAVシステム。
The beam control means of the sound reproducing device includes a plurality of beam modes for changing positions where the plurality of sounds converted into sound beams are reflected on the wall,
The AV system according to claim 3, wherein the audio processing time is changed according to a beam mode selected in the audio reproduction device.
JP2013101539A 2008-05-23 2013-05-13 AV system Expired - Fee Related JP5590186B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013101539A JP5590186B2 (en) 2008-05-23 2013-05-13 AV system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008135349 2008-05-23
JP2008135349 2008-05-23
JP2013101539A JP5590186B2 (en) 2008-05-23 2013-05-13 AV system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009096891A Division JP5316189B2 (en) 2008-05-23 2009-04-13 AV system

Publications (2)

Publication Number Publication Date
JP2013192247A JP2013192247A (en) 2013-09-26
JP5590186B2 true JP5590186B2 (en) 2014-09-17

Family

ID=49392014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013101539A Expired - Fee Related JP5590186B2 (en) 2008-05-23 2013-05-13 AV system

Country Status (1)

Country Link
JP (1) JP5590186B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174753A1 (en) * 2014-05-16 2015-11-19 Samsung Electronics Co., Ltd. Content output apparatus, mobile apparatus, and controlling methods thereof
JP6311784B2 (en) * 2016-12-20 2018-04-18 ソニー株式会社 Television receiver, audio processing method, audio processing program, audio device, audio output method, and audio output program
KR20190056060A (en) * 2017-11-16 2019-05-24 삼성전자주식회사 Electronic device and control method
JP7278373B2 (en) * 2018-10-24 2023-05-19 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. Source device, sink device, method and computer program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282667A (en) * 2003-03-19 2004-10-07 Matsushita Electric Ind Co Ltd Transmitter having correction function of regeneration desynchronization, receiver having the same, and transmission equipment having the transmitter and the receiver
JP4529495B2 (en) * 2004-03-12 2010-08-25 ソニー株式会社 Video / audio reproduction system and amplifier device
JP4660184B2 (en) * 2004-12-27 2011-03-30 株式会社東芝 Signal relay apparatus and signal relay method
JP4352409B2 (en) * 2005-09-28 2009-10-28 日本ビクター株式会社 Multimedia coded data separation and transmission device
JP4175420B2 (en) * 2006-11-27 2008-11-05 ヤマハ株式会社 Speaker array device

Also Published As

Publication number Publication date
JP2013192247A (en) 2013-09-26

Similar Documents

Publication Publication Date Title
JP5316189B2 (en) AV system
JP4830644B2 (en) Control device, synchronization correction method, and synchronization correction program
US7277551B2 (en) Sound reproducing apparatus and sound reproducing method
JP5590186B2 (en) AV system
JP2005051660A (en) Video signal and audio signal reproduction system
JP2009260458A (en) Sound reproducing device and video image sound viewing/listening system containing the same
JP2007318604A (en) Digital audio signal processor
WO2017141977A1 (en) Audio device and control method
JP2022548400A (en) Hybrid near-field/far-field speaker virtualization
KR20080079428A (en) System for controlling volume of home theater and operating method thereof
EP2178308A2 (en) Audio signal processing device and audio signal processing method
JP2006196940A (en) Sound image localization control apparatus
JP2011130236A (en) Audio amplifier
JP5892043B2 (en) Audio processing device
CA3033282A1 (en) A method and a system for presenting media
JP2010050544A (en) Video and sound reproducing device
EP3179739B1 (en) Audio processing device
KR100793790B1 (en) Wireless Video System and Method of Processing a signal in the Wireless Video System
JP2006279247A (en) Acoustic reproducing apparatus
WO2013146602A1 (en) Av amplifier
JP6074899B2 (en) Sound data processing device
KR101634387B1 (en) Apparatus and system for reproducing multi channel audio signal
WO2023195353A1 (en) Sound processing device and karaoke system
KR101403682B1 (en) Image apparatus to transmit audio data and method thereof
JP2009027631A (en) Bi-amplifier correction device, and av amplifier equipped with the same

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140714

R150 Certificate of patent or registration of utility model

Ref document number: 5590186

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees