JP2691906B2 - 映像連動形音像定位制御方法 - Google Patents
映像連動形音像定位制御方法Info
- Publication number
- JP2691906B2 JP2691906B2 JP11119588A JP11119588A JP2691906B2 JP 2691906 B2 JP2691906 B2 JP 2691906B2 JP 11119588 A JP11119588 A JP 11119588A JP 11119588 A JP11119588 A JP 11119588A JP 2691906 B2 JP2691906 B2 JP 2691906B2
- Authority
- JP
- Japan
- Prior art keywords
- sound image
- video
- image
- sound
- localization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【発明の詳細な説明】 「産業上の利用分野」 この発明は受信する複数のオーディオ信号と複数のビ
デオ信号から視聴者の注視映像の選択動作に従って、予
め設定する音像・映像の相対定位関係を保持しつつ音像
定位を移動させる映像連動形音像定位制御方法に関する
ものである。
デオ信号から視聴者の注視映像の選択動作に従って、予
め設定する音像・映像の相対定位関係を保持しつつ音像
定位を移動させる映像連動形音像定位制御方法に関する
ものである。
「従来の技術」 多地点間のテレビ会議に関して、各地点から送られて
くるオーディオ信号とビデオ信号を受信し会議の臨場感
を再現するように音像・映像の再生・表示を行う通信会
議システムが知られている。
くるオーディオ信号とビデオ信号を受信し会議の臨場感
を再現するように音像・映像の再生・表示を行う通信会
議システムが知られている。
第５図及び第６図は従来のシステム例を示している。
第５図はテレビ複数台を用いる例であり、視聴者のまわ
りに地点数だけテレビの台数を設置し、各地点の映像・
音像を対応するテレビに定位させて会議の臨場感を高め
ている。ところがこの従来のシステムでは地点数が増加
するとテレビの台数をその同数分増やす必要が生じ、経
済性に劣るという欠点がある。テレビ台数の増加を極力
おさえる方式として画面分割して多地点映像を表示する
方法が考えられるが、テレビ１台に定位させる音像が複
数となり混同して臨場感が低下するという欠点がある。
またテレビ複数台を用いる方法の欠点として、視聴者が
注視していない不必要な映像を常時表示しているという
非効率性がある。例えば視聴者の頭部が回転し映像Ｘに
注視している場合を考えると映像Y,Zは不必要である。
他方、会議の参加の声を常時聴取する必要があることか
ら音像に関してはy,zは必要となる。
第５図はテレビ複数台を用いる例であり、視聴者のまわ
りに地点数だけテレビの台数を設置し、各地点の映像・
音像を対応するテレビに定位させて会議の臨場感を高め
ている。ところがこの従来のシステムでは地点数が増加
するとテレビの台数をその同数分増やす必要が生じ、経
済性に劣るという欠点がある。テレビ台数の増加を極力
おさえる方式として画面分割して多地点映像を表示する
方法が考えられるが、テレビ１台に定位させる音像が複
数となり混同して臨場感が低下するという欠点がある。
またテレビ複数台を用いる方法の欠点として、視聴者が
注視していない不必要な映像を常時表示しているという
非効率性がある。例えば視聴者の頭部が回転し映像Ｘに
注視している場合を考えると映像Y,Zは不必要である。
他方、会議の参加の声を常時聴取する必要があることか
ら音像に関してはy,zは必要となる。
第６図は大画面スクリーンを用いる例であり、視聴者
を囲むように大画面スクリーンを設置し、各地点から送
られてくる映像を合成編集して会議参加者全員をそのス
クリーンに映し出す方法である。臨場感を高められる方
法であるが、装置の設営が大がかりになり設営の簡便性
が低いという欠点がある。また前述したように視聴者が
注視していない不必要な映像を常時表示するための映像
合成編集処理を行うという非効率的な欠点がある。
を囲むように大画面スクリーンを設置し、各地点から送
られてくる映像を合成編集して会議参加者全員をそのス
クリーンに映し出す方法である。臨場感を高められる方
法であるが、装置の設営が大がかりになり設営の簡便性
が低いという欠点がある。また前述したように視聴者が
注視していない不必要な映像を常時表示するための映像
合成編集処理を行うという非効率的な欠点がある。
「課題を解決するための手段」 この発明によれば再生表示を行う際の音像同士の相対
位置及び映像同士の相対位置を表現する相対定位関係を
設定しておき、所望の注視映像を選択する際の視聴者の
動作情報を検出し、その動作情報に基づき順次映像と音
像との位置を対応付けながらその位置を移動制御するた
めの移動制御情報を生成し、その移動制御情報に従って
隣接関係にある映像画面を接合しつつ画面を移動させる
ための画面合成編集を行い、また移動制御情報に従って
音像の位置を移動させつつ音像定位を形成する。
位置及び映像同士の相対位置を表現する相対定位関係を
設定しておき、所望の注視映像を選択する際の視聴者の
動作情報を検出し、その動作情報に基づき順次映像と音
像との位置を対応付けながらその位置を移動制御するた
めの移動制御情報を生成し、その移動制御情報に従って
隣接関係にある映像画面を接合しつつ画面を移動させる
ための画面合成編集を行い、また移動制御情報に従って
音像の位置を移動させつつ音像定位を形成する。
つまりこの発明では通信会議の臨場感を効率的に再現
することをねらいとし、視聴者の注視映像の選択動作に
従って、予め設定する音像・映像の相対定位関係を保持
しつつ注視映像への表示画面移動を行うと共に音像定位
を映像と対応するように移動させる。
することをねらいとし、視聴者の注視映像の選択動作に
従って、予め設定する音像・映像の相対定位関係を保持
しつつ注視映像への表示画面移動を行うと共に音像定位
を映像と対応するように移動させる。
第１図はこの発明の特徴例を示している。従来の技術
との相違点は視聴者の頭部を回転しないで注視する視野
を固定にし、外界の再生音像・表示映像を移動させると
いう点である。具体的にはその固定視野にテレビ１台を
設置し、例えば映像Ｙを表示する。音像に関しては第１
図に示すようにｘが左側に、ｙが正面に、ｚが右側に相
対定位関係を保持しつつ再生する。ここで映像ＹからＸ
へ表示を変えると、音像に関してはｘが正面に、y,zが
右側に定位を移動させ、会議の臨場感を再現させる点が
従来の技術と異なっている。
との相違点は視聴者の頭部を回転しないで注視する視野
を固定にし、外界の再生音像・表示映像を移動させると
いう点である。具体的にはその固定視野にテレビ１台を
設置し、例えば映像Ｙを表示する。音像に関しては第１
図に示すようにｘが左側に、ｙが正面に、ｚが右側に相
対定位関係を保持しつつ再生する。ここで映像ＹからＸ
へ表示を変えると、音像に関してはｘが正面に、y,zが
右側に定位を移動させ、会議の臨場感を再現させる点が
従来の技術と異なっている。
「実施例」 第２図はこの発明の実施例を示す。制御部11の指令に
よりビデオ入力インタフェース部12はビデオ信号入力端
子13から転送された複数のビデオ信号を受信し、画面合
成編集部14に転送する。同時に制御部11の指令によりオ
ーディオ入力インタフェース部15はオーディオ信号入力
端子16から転送された複数のオーディオ信号を受信し、
音像定位形成部17に転送する。制御部11はビデオ入力イ
ンタフェース部12からの転送開始通知及びオーディオ入
力インタフェース部15からの転送開始通知を受信後、選
択動作検出部18を起動させる。
よりビデオ入力インタフェース部12はビデオ信号入力端
子13から転送された複数のビデオ信号を受信し、画面合
成編集部14に転送する。同時に制御部11の指令によりオ
ーディオ入力インタフェース部15はオーディオ信号入力
端子16から転送された複数のオーディオ信号を受信し、
音像定位形成部17に転送する。制御部11はビデオ入力イ
ンタフェース部12からの転送開始通知及びオーディオ入
力インタフェース部15からの転送開始通知を受信後、選
択動作検出部18を起動させる。
この起動指令により選択動作検出部18は注視映像選択
器接続端子19から転送された入力情報から動作速度、選
択方向、音量調整レベル等から成る動作検出情報を生成
し、その動作検出情報を映像・音像移動制御部21に転送
する。その転送受信後、映像・音像移動制御部21は定位
関係設定部22に対して予め設定されている音像・映像の
相対的な位置関係を表現する定位関係データと現時点で
注目（注視）している音像・映像に対応する識別子であ
る注視ポイントデータを要求する。要求完了後、定位関
係設定部22はその定位関係データとその注視ポイントデ
ータを映像・音像移動制御部21に転送する。
器接続端子19から転送された入力情報から動作速度、選
択方向、音量調整レベル等から成る動作検出情報を生成
し、その動作検出情報を映像・音像移動制御部21に転送
する。その転送受信後、映像・音像移動制御部21は定位
関係設定部22に対して予め設定されている音像・映像の
相対的な位置関係を表現する定位関係データと現時点で
注目（注視）している音像・映像に対応する識別子であ
る注視ポイントデータを要求する。要求完了後、定位関
係設定部22はその定位関係データとその注視ポイントデ
ータを映像・音像移動制御部21に転送する。
その転送完了後、映像・音像移動制御部21はその定位
関係データと注視ポイントデータに基づき、前記動作検
出情報から現時点で表示（注目）している現−映像識別
子と対応する現−音像識別子及びその選択方向（例えば
左画面方向、右画面方向等）にこれらの識別子と隣接す
る次−映像識別子と次−音像識別子とから成る制御用識
別子データを設定する。同時に映像・音像移動制御部21
は、前記動作速度に基づき現−映像識別子から次−映像
識別子までの画面の移動変化速度と現−音像識別子から
次−音像識別子までの音像の移動変化速度とから成る制
御用移動速度データを設定する。
関係データと注視ポイントデータに基づき、前記動作検
出情報から現時点で表示（注目）している現−映像識別
子と対応する現−音像識別子及びその選択方向（例えば
左画面方向、右画面方向等）にこれらの識別子と隣接す
る次−映像識別子と次−音像識別子とから成る制御用識
別子データを設定する。同時に映像・音像移動制御部21
は、前記動作速度に基づき現−映像識別子から次−映像
識別子までの画面の移動変化速度と現−音像識別子から
次−音像識別子までの音像の移動変化速度とから成る制
御用移動速度データを設定する。
その設定完了後、映像・音像移動制御部21はその定位
関係データ及び前記制御用識別子データと前記制御用移
動速度データとを画面合成編集部14及び音像定位形成部
17に転送すると共に、次−映像識別子と次−音像識別子
データを定位関係設定部22に転送する。定位関係設定部
22は転送されたその次−識別子データに基づき前記注視
ポイントデータを書き換える。また前記制御用識別子デ
ータと前記制御用移動速度データが転送完了すると、画
面合成編集部14は前記現−映像識別子に対応する現−ビ
デオ信号とその次−映像識別子に対応する次−ビデオ信
号を抽出し、前記制御用移動速度データに従ってそのビ
デオ信号に対して現画面から次画面へ推移するための画
面合成編集を行い、画面合成編集したビデオ信号をビデ
オ出力インタフェース部23に転送する。
関係データ及び前記制御用識別子データと前記制御用移
動速度データとを画面合成編集部14及び音像定位形成部
17に転送すると共に、次−映像識別子と次−音像識別子
データを定位関係設定部22に転送する。定位関係設定部
22は転送されたその次−識別子データに基づき前記注視
ポイントデータを書き換える。また前記制御用識別子デ
ータと前記制御用移動速度データが転送完了すると、画
面合成編集部14は前記現−映像識別子に対応する現−ビ
デオ信号とその次−映像識別子に対応する次−ビデオ信
号を抽出し、前記制御用移動速度データに従ってそのビ
デオ信号に対して現画面から次画面へ推移するための画
面合成編集を行い、画面合成編集したビデオ信号をビデ
オ出力インタフェース部23に転送する。
他方、前記定位関係データ及び前記制御用識別子デー
タと前記制御用移動速度データの転送完了後、音像定位
形成部17はオーディオ入力インタフェース部15から転送
されるオーディオ信号に対して、前記定位関係データに
基づく相対音像定位を保持しつつ、前記現−音像識別子
に対応する音像定位の位置に前記次−音像識別子に対応
する次−オーディオ信号の音像定位が一致するように音
圧差、位相差（時間おくれ）を制御して音像定位の形成
処理を行い、形成処理したオーディオ信号を再生用のチ
ャネル別にオーディオ再生インタフェース部24に転送す
る。
タと前記制御用移動速度データの転送完了後、音像定位
形成部17はオーディオ入力インタフェース部15から転送
されるオーディオ信号に対して、前記定位関係データに
基づく相対音像定位を保持しつつ、前記現−音像識別子
に対応する音像定位の位置に前記次−音像識別子に対応
する次−オーディオ信号の音像定位が一致するように音
圧差、位相差（時間おくれ）を制御して音像定位の形成
処理を行い、形成処理したオーディオ信号を再生用のチ
ャネル別にオーディオ再生インタフェース部24に転送す
る。
画面合成編集部14からの画面合成編集処理完了及び音
像定位形成部17からの形成処理完了の通知を受けると、
映像・音像移動制御部21は選択動作検出部18からの前記
動作検出情報の転送が終了したか否かを抽出し、終了し
ていない場合は新たに転送されたその動作検出情報に基
づいて前述した一連の動作を繰返す。他方、動作検出情
報の転送が終了した場合、映像・音像移動制御部21は画
像合成編集部14に対してビデオ出力インタフェース部23
に転送する映像画面を保持する旨を通知すると共に、音
像定位形成部17に対してオーディオ再生インタフェース
部24に転送する音像定位を保持する旨を通知する。
像定位形成部17からの形成処理完了の通知を受けると、
映像・音像移動制御部21は選択動作検出部18からの前記
動作検出情報の転送が終了したか否かを抽出し、終了し
ていない場合は新たに転送されたその動作検出情報に基
づいて前述した一連の動作を繰返す。他方、動作検出情
報の転送が終了した場合、映像・音像移動制御部21は画
像合成編集部14に対してビデオ出力インタフェース部23
に転送する映像画面を保持する旨を通知すると共に、音
像定位形成部17に対してオーディオ再生インタフェース
部24に転送する音像定位を保持する旨を通知する。
第３図及び第４図は画面表示移動・音像定位移動を示
す一例である。第３図はシステム構成の一例であり、中
央のテレビに注目している映像が映し出されており、こ
れと対応する音像が中央に定位している。他の人物は映
像表示させず左右にそれぞれの音声の音像が定位してい
る。今ここで視聴者が選択方向を指定する回転式方向ス
イッチを右方向に回わす場合を考える。回転速度が動作
速度となる。第４図は第３図の場合の画面表示移動と音
像定位移動の推移イメージを示している。
す一例である。第３図はシステム構成の一例であり、中
央のテレビに注目している映像が映し出されており、こ
れと対応する音像が中央に定位している。他の人物は映
像表示させず左右にそれぞれの音声の音像が定位してい
る。今ここで視聴者が選択方向を指定する回転式方向ス
イッチを右方向に回わす場合を考える。回転速度が動作
速度となる。第４図は第３図の場合の画面表示移動と音
像定位移動の推移イメージを示している。
「発明の効果」 以上説明したようにこの発明による映像連動形音像定
位制御方式によれば、受信する複数のオーディオ信号と
複数のビデオ信号から、視聴者の注視映像の選択動作に
従って、予め設定する音像・映像の相対定位関係を保持
しつつ音像定位を移動させることから、通信会議の臨場
感を再現できる利点がある。特に注視する映像と隣接す
る映像を順次表示画面移動するだけであるため、テレビ
等の表示装置の台数増加や大がかりな大画面スクリーン
の設営がない。このため経済性が高まると共に設営の簡
便性の利点がある。更に視聴者の視野だけを表示するた
め映像表示の観点から効率的になり、不必要な映像表示
による無駄な電力消費がないことや無駄な映像合成編集
処理がないこと等の利点がある。また会議に参加する全
員の音声の相対的定位を保持しつつ全員の音声が聞こえ
ることから音の臨場感が高まる利点がある。
位制御方式によれば、受信する複数のオーディオ信号と
複数のビデオ信号から、視聴者の注視映像の選択動作に
従って、予め設定する音像・映像の相対定位関係を保持
しつつ音像定位を移動させることから、通信会議の臨場
感を再現できる利点がある。特に注視する映像と隣接す
る映像を順次表示画面移動するだけであるため、テレビ
等の表示装置の台数増加や大がかりな大画面スクリーン
の設営がない。このため経済性が高まると共に設営の簡
便性の利点がある。更に視聴者の視野だけを表示するた
め映像表示の観点から効率的になり、不必要な映像表示
による無駄な電力消費がないことや無駄な映像合成編集
処理がないこと等の利点がある。また会議に参加する全
員の音声の相対的定位を保持しつつ全員の音声が聞こえ
ることから音の臨場感が高まる利点がある。
第１図はこの発明の特徴を示すシステム例の図、第２図
はこの発明の実施例の構成を示すブロック図、第３図は
この発明のシステムの構成例を示す図、第４図は画面表
示移動・音像定位移動の推移例を示す図、第５図及び第
６図はそれぞれ従来のシステムを示す図である。
はこの発明の実施例の構成を示すブロック図、第３図は
この発明のシステムの構成例を示す図、第４図は画面表
示移動・音像定位移動の推移例を示す図、第５図及び第
６図はそれぞれ従来のシステムを示す図である。
Claims (1)
- 【請求項１】受信する複数のオーディオ信号と、複数の
ビデオ信号との組を受信し、そのビデオ信号を表示器に
映像として再生表示し、その表示器を見る視聴者に、上
記複数のオーディオ信号の音像定位を形成し、これら複
数の音像と映像の再生表示を制御する映像連動形音像定
位制御方法において、 再生・表示を行う際の上記音像同士の相対位置及び上記
映像同士の相対位置を表現する相対定位関係情報を設定
しておき、 上記視聴者が所望の注視映像を選択する動作をするとそ
の選択動作情報を検出し、 その動作情報に基づき順次映像と音像との位置を対応付
けながらその位置を移動制御するための移動制御情報を
生成し、 その移動制御情報に従って隣接関係にある映像画面を接
合しつつ上記表示器に再生された画面を移動させるため
の画面合成編集を行い、 上記移動制御情報に従って音像の位置を移動させつつ音
像定位を形成することを特徴とする映像連動形音像定位
制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11119588A JP2691906B2 (ja) | 1988-05-06 | 1988-05-06 | 映像連動形音像定位制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11119588A JP2691906B2 (ja) | 1988-05-06 | 1988-05-06 | 映像連動形音像定位制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01280982A JPH01280982A (ja) | 1989-11-13 |
| JP2691906B2 true JP2691906B2 (ja) | 1997-12-17 |
Family
ID=14554907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11119588A Expired - Lifetime JP2691906B2 (ja) | 1988-05-06 | 1988-05-06 | 映像連動形音像定位制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2691906B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3438737B2 (ja) * | 1992-11-17 | 2003-08-18 | 日本電信電話株式会社 | 仮想社交界実現システム |
| JP4840421B2 (ja) * | 2008-09-01 | 2011-12-21 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラム |
-
1988
- 1988-05-06 JP JP11119588A patent/JP2691906B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01280982A (ja) | 1989-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102209230B (zh) | 一种具有主会场控制模块的视频会议系统 | |
| US5508940A (en) | Random access audio/video processor with multiple outputs | |
| CN102740154B (zh) | 应用于多媒体内容的播放方法与播放装置 | |
| US6092119A (en) | Random access audio/video processor with compressed video resampling to allow higher bandwidth throughput | |
| US5675374A (en) | Video teleconferencing system | |
| EP1472871B1 (en) | Remote server switching of video streams | |
| CN100405832C (zh) | 一种实现可同时接收播放多套节目的电视机装置 | |
| CN104836964B (zh) | 分布式视频融合系统中视频融合设备控制装置 | |
| JPH10304313A (ja) | 記録再生機能を有するテレビジョン受像機および記録再生機能を有するテレビジョン受像機の記録再生方法 | |
| JPH09505448A (ja) | マルチメディアが可能とされたネットワーク | |
| JPH04237288A (ja) | 複数画像ウインドウ表示用音信号出力方法 | |
| JP2691906B2 (ja) | 映像連動形音像定位制御方法 | |
| CN102984575A (zh) | 一种数字电视音响一体机及其控制实现方法 | |
| JP3438737B2 (ja) | 仮想社交界実現システム | |
| JP2688681B2 (ja) | 音像定位制御装置 | |
| JP2897627B2 (ja) | 会議環境制御装置 | |
| JP2006166362A (ja) | 音響装置 | |
| JP2698100B2 (ja) | 多地点間テレビ会議制御装置 | |
| JPS63144664A (ja) | 画像多重再生方法 | |
| KR100284768B1 (ko) | 다화면비디오디스플레이시스템에서의오디오데이타처리장치 | |
| JP2001275197A (ja) | 音源選択方法および音源選択装置並びに音源選択制御プログラムを記録した記録媒体 | |
| CN104244071A (zh) | 一种音频播放系统及控制方法 | |
| JPH03208481A (ja) | 二つのテレビプログラム源のためのビデオ装置 | |
| JP7062328B1 (ja) | コンテンツ配信サーバ | |
| KR20220087322A (ko) | 멀티뷰 스트리밍 화면 제어 방법 및 데이터 동기화 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 10 Free format text: PAYMENT UNTIL: 20070905 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 11 |