JPH1175151A - 音声処理機能付き画像表示システム - Google Patents
音声処理機能付き画像表示システムInfo
- Publication number
- JPH1175151A JPH1175151A JP21728197A JP21728197A JPH1175151A JP H1175151 A JPH1175151 A JP H1175151A JP 21728197 A JP21728197 A JP 21728197A JP 21728197 A JP21728197 A JP 21728197A JP H1175151 A JPH1175151 A JP H1175151A
- Authority
- JP
- Japan
- Prior art keywords
- image
- voice
- processing
- sound
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0091—Means for obtaining special acoustic effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
- G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
- G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
- G10H2220/106—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Television Signal Processing For Recording (AREA)
- Stereophonic System (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】従来技術において、ディジタル画像ではその一
部を切り出して拡大表示したり、拡大した画像をスクロ
ールして別の切り出し位置における拡大画像を表示した
りするような操作を容易に行うことができる。しかしな
がら、静止画像あるいは動画像において、このような画
像操作に連動した音声データ処理が実現されておらずビ
ューが変化しても常に同じ再生音声しか得られない。 【解決手段】上記の課題を解決するため本発明では、画
像の一部を切り出して表示する画像表示手段と、画像に
関連付けられた音声データに対して音声信号処理をほど
こす音声処理手段と、音声処理手段における音声処理パ
ラメータを画像の切り出し位置等に応じて変化させる音
声処理パラメータ制御手段と、単一または複数チャネル
の音声出力手段とを用いて実現する。
部を切り出して拡大表示したり、拡大した画像をスクロ
ールして別の切り出し位置における拡大画像を表示した
りするような操作を容易に行うことができる。しかしな
がら、静止画像あるいは動画像において、このような画
像操作に連動した音声データ処理が実現されておらずビ
ューが変化しても常に同じ再生音声しか得られない。 【解決手段】上記の課題を解決するため本発明では、画
像の一部を切り出して表示する画像表示手段と、画像に
関連付けられた音声データに対して音声信号処理をほど
こす音声処理手段と、音声処理手段における音声処理パ
ラメータを画像の切り出し位置等に応じて変化させる音
声処理パラメータ制御手段と、単一または複数チャネル
の音声出力手段とを用いて実現する。
Description
【０００１】
【産業上の利用分野】本発明はインターネットやＣＤ−
ＲＯＭなどで提供されるような、コンピュータで扱われ
る音声データ付のディジタル画像におけるディジタル音
声処理に関する。
ＲＯＭなどで提供されるような、コンピュータで扱われ
る音声データ付のディジタル画像におけるディジタル音
声処理に関する。
【０００２】
【従来の技術】現在インターネットやＣＤ−ＲＯＭなど
を通じて、ナレーションや背景音、バックグラウンド音
楽などが付加されたディジタル静止画像が数多く提供さ
れている。また、QuickTimeやVideo for windowsなどで
はサウンドを持つ動画像データの再生もコンピュータ上
で可能となっている。さらにVRML2.0では音の３次元モ
デリングも規定されている。VRML2.0に対応したブラウ
ザでは、３次元空間内の任意の位置に置かれた複数の音
源が発生する音に関して、任意の位置において任意の方
向を向いた観測者が観測する音響を再現することができ
る。
を通じて、ナレーションや背景音、バックグラウンド音
楽などが付加されたディジタル静止画像が数多く提供さ
れている。また、QuickTimeやVideo for windowsなどで
はサウンドを持つ動画像データの再生もコンピュータ上
で可能となっている。さらにVRML2.0では音の３次元モ
デリングも規定されている。VRML2.0に対応したブラウ
ザでは、３次元空間内の任意の位置に置かれた複数の音
源が発生する音に関して、任意の位置において任意の方
向を向いた観測者が観測する音響を再現することができ
る。
【０００３】
【発明が解決しようとする課題】従来技術において、デ
ィジタル画像ではその一部を切り出して拡大表示した
り、拡大した画像をスクロールして別の切り出し位置に
おける拡大画像を表示したりするような操作を容易に行
うことができる。しかしながら、静止画像あるいは動画
像いずれの場合にも現在のところ、このような画像操作
に連動した音声データ処理が実装されておらず、ビュー
が変化しても常に同じ再生音声しか得られない。例え
ば、QuickTimeやVideo for windowsなどではサウンドを
持つ動画像データの再生もコンピュータ上で可能であ
る。しかしこれらの動画像データのフォーマットは１本
のビデオクリップに１つの音声データを付加しただけの
ものである。従って動画像に多数の音声データを持たせ
たり、それらを切り出した画面に応じた音声のコントロ
ールをすることができない。
ィジタル画像ではその一部を切り出して拡大表示した
り、拡大した画像をスクロールして別の切り出し位置に
おける拡大画像を表示したりするような操作を容易に行
うことができる。しかしながら、静止画像あるいは動画
像いずれの場合にも現在のところ、このような画像操作
に連動した音声データ処理が実装されておらず、ビュー
が変化しても常に同じ再生音声しか得られない。例え
ば、QuickTimeやVideo for windowsなどではサウンドを
持つ動画像データの再生もコンピュータ上で可能であ
る。しかしこれらの動画像データのフォーマットは１本
のビデオクリップに１つの音声データを付加しただけの
ものである。従って動画像に多数の音声データを持たせ
たり、それらを切り出した画面に応じた音声のコントロ
ールをすることができない。
【０００４】またVRML2.0では観測者の視点に応じて再
生される音声も変化し３次元空間での臨場感を達成でき
る。しかし、VRML2.0で規定される音のモデルはあくま
で３次元音響効果を実現するために特化されたものであ
り、２次元画像に関連付けられた音声データの処理を行
うことはできない。したがって、何れの従来技術を用い
ても、ビューに応じて複数のナレーションを切り替えて
再生したり、単に画像にバックグラウンド音楽やコメン
トのナレーションを付加するといったような処理には適
さない。
生される音声も変化し３次元空間での臨場感を達成でき
る。しかし、VRML2.0で規定される音のモデルはあくま
で３次元音響効果を実現するために特化されたものであ
り、２次元画像に関連付けられた音声データの処理を行
うことはできない。したがって、何れの従来技術を用い
ても、ビューに応じて複数のナレーションを切り替えて
再生したり、単に画像にバックグラウンド音楽やコメン
トのナレーションを付加するといったような処理には適
さない。
【０００５】
【課題を解決するための手段】上記の課題を解決するた
め本発明では、単一解像度画像であれば画像の一部、多
重解像度画像であれば特定の解像度における画像の一部
を切り出して表示する画像表示手段と、前記画像に関連
付けられた音声データに対して音声信号処理をほどこす
音声処理手段と、該音声処理手段における音声処理パラ
メータを画像の切り出し位置、選択した解像度、さらに
動画像であれば表示している画像のフレーム位置に応じ
て変化させる音声処理パラメータ制御手段と、前記音声
処理手段により処理された音声データを出力する単一ま
たは複数チャネルの音声出力手段とを備えている音声処
理機能付き画像表示システムで実現する。
め本発明では、単一解像度画像であれば画像の一部、多
重解像度画像であれば特定の解像度における画像の一部
を切り出して表示する画像表示手段と、前記画像に関連
付けられた音声データに対して音声信号処理をほどこす
音声処理手段と、該音声処理手段における音声処理パラ
メータを画像の切り出し位置、選択した解像度、さらに
動画像であれば表示している画像のフレーム位置に応じ
て変化させる音声処理パラメータ制御手段と、前記音声
処理手段により処理された音声データを出力する単一ま
たは複数チャネルの音声出力手段とを備えている音声処
理機能付き画像表示システムで実現する。
【０００６】
（実施例１）第１図は本発明の一実施例における音声処
理機能付き画像表示システムの全体構成を示すものであ
る。本実施例では静止画像の切り出し位置に従い、ゲイ
ン制御手段（音声分配出力レベル調整手段）によって、
各音声データのステレオ音声出力における左右の出力バ
ランス、および出力レベルを制御する。画像データはそ
の一部分がユーザにより指定された切り出し位置にした
がって切り出され、画像表示手段によって表示される。
一方、画像に関連付けられたｎ個の音声データはステレ
オ音声として出力されるが、本実施例において音声処理
パラメータ制御手段としてゲイン制御手段を用いると、
ゲイン制御手段により左右チャネルバランス、および左
右チャネル出力レベルが制御される。例えば画像データ
として第２図のようにピアノとベースの描かれた画像が
あり、音声データ１としてピアノの演奏データ、音声デ
ータ２としてベースの演奏データがある場合を考える。
理機能付き画像表示システムの全体構成を示すものであ
る。本実施例では静止画像の切り出し位置に従い、ゲイ
ン制御手段（音声分配出力レベル調整手段）によって、
各音声データのステレオ音声出力における左右の出力バ
ランス、および出力レベルを制御する。画像データはそ
の一部分がユーザにより指定された切り出し位置にした
がって切り出され、画像表示手段によって表示される。
一方、画像に関連付けられたｎ個の音声データはステレ
オ音声として出力されるが、本実施例において音声処理
パラメータ制御手段としてゲイン制御手段を用いると、
ゲイン制御手段により左右チャネルバランス、および左
右チャネル出力レベルが制御される。例えば画像データ
として第２図のようにピアノとベースの描かれた画像が
あり、音声データ１としてピアノの演奏データ、音声デ
ータ２としてベースの演奏データがある場合を考える。
【０００７】切り出し位置１の画像が表示されている場
合は、ピアノの画像がほぼ中央、ベースの画像が右端に
表示されているため、両楽器音のステレオ定位もピアノ
音がほぼ中央、ベース音が右に定位しているのが自然で
ある。従って第1図における(R1,L1)、および(R2,L2)は
それぞれ、例えば(R1,L1)=(0.5,0.5)、および(R2,L2)=
(1.0,0.0)となるようにゲイン制御手段により制御され
る。一方、ユーザの指示により画像の表示位置が切り出
し位置２に変更された場合、ピアノの画像が左端、ベー
スの画像がほぼ中央にに表示されるため、両楽器音のス
テレオ定位もピアノ音が左、ベース音がほぼ中央に定位
しているのが自然である。従って第1図における(R1,L
1)、および(R2,L2)はそれぞれ、例えば(R1,L1)=(0.0,1.
0)、および(R2,L2)=(0.5,0.5)となるようにゲイン制御
手段により制御される。式１のように画像内の位置(x,
y)にある画素の属性として、画素値ｖ以外に各音声デー
タの左右チャネルゲインも与えると、任意の切り出し位
置におけるゲイン制御が可能となる。これは、P(x,y)に
ｖだけではなく左右チャネルゲインも付加したベクトル
(v,R1,L1,R2,L2)を割り当てるという意味で次のように
表わすことが出来る。 P(x,y)＝(v,R1,L1,R2,L2) （式１） 例えば切り出し領域の中央の座標が(x,y)の時の各音声
データの左右チャネルゲインを上記P(x,y)の要素として
与えておけば、任意の切り出し位置における左右チャネ
ルゲインは切り出し領域中央の画素の属性から得られる
ことになる。
合は、ピアノの画像がほぼ中央、ベースの画像が右端に
表示されているため、両楽器音のステレオ定位もピアノ
音がほぼ中央、ベース音が右に定位しているのが自然で
ある。従って第1図における(R1,L1)、および(R2,L2)は
それぞれ、例えば(R1,L1)=(0.5,0.5)、および(R2,L2)=
(1.0,0.0)となるようにゲイン制御手段により制御され
る。一方、ユーザの指示により画像の表示位置が切り出
し位置２に変更された場合、ピアノの画像が左端、ベー
スの画像がほぼ中央にに表示されるため、両楽器音のス
テレオ定位もピアノ音が左、ベース音がほぼ中央に定位
しているのが自然である。従って第1図における(R1,L
1)、および(R2,L2)はそれぞれ、例えば(R1,L1)=(0.0,1.
0)、および(R2,L2)=(0.5,0.5)となるようにゲイン制御
手段により制御される。式１のように画像内の位置(x,
y)にある画素の属性として、画素値ｖ以外に各音声デー
タの左右チャネルゲインも与えると、任意の切り出し位
置におけるゲイン制御が可能となる。これは、P(x,y)に
ｖだけではなく左右チャネルゲインも付加したベクトル
(v,R1,L1,R2,L2)を割り当てるという意味で次のように
表わすことが出来る。 P(x,y)＝(v,R1,L1,R2,L2) （式１） 例えば切り出し領域の中央の座標が(x,y)の時の各音声
データの左右チャネルゲインを上記P(x,y)の要素として
与えておけば、任意の切り出し位置における左右チャネ
ルゲインは切り出し領域中央の画素の属性から得られる
ことになる。
【０００８】（実施例２）対象とする画像が多重解像度
静止画像である場合は、解像度レイヤーｒ、位置(x,y)
にある画素の属性P(x,y,r)を次のように与え、ゲイン制
御手段（音声分配出力レベル調整手段）によって任意の
解像度、切り出し位置における音声のゲイン制御が可能
となる。 P(x,y,r)＝(v,R1,L1,R2,L2・・・ Rn,Ln2) （式２） ただし、式２においてｖは当該画素の画素値、R1,L1,R
2,L2,…,Rn,Lnはそれぞれ音声データ１から音声データ
ｎに対する左右チャネルゲインである。これによりビュ
ーエリアの変更に連動して各音源のステレオ定位を変え
るだけでなく、ズームイン／アウトに連動して特定の音
源の音量を変化させることもできる。この場合の応用例
として次のものがある。図１におけるベースの部分を拡
大し解像度を上げベースの画像のみを画面上に表示す
る。この時ベースの音のみを強調して出力させる、ある
いは周りの音を消してベースの音のみを出力させること
が出来る。
静止画像である場合は、解像度レイヤーｒ、位置(x,y)
にある画素の属性P(x,y,r)を次のように与え、ゲイン制
御手段（音声分配出力レベル調整手段）によって任意の
解像度、切り出し位置における音声のゲイン制御が可能
となる。 P(x,y,r)＝(v,R1,L1,R2,L2・・・ Rn,Ln2) （式２） ただし、式２においてｖは当該画素の画素値、R1,L1,R
2,L2,…,Rn,Lnはそれぞれ音声データ１から音声データ
ｎに対する左右チャネルゲインである。これによりビュ
ーエリアの変更に連動して各音源のステレオ定位を変え
るだけでなく、ズームイン／アウトに連動して特定の音
源の音量を変化させることもできる。この場合の応用例
として次のものがある。図１におけるベースの部分を拡
大し解像度を上げベースの画像のみを画面上に表示す
る。この時ベースの音のみを強調して出力させる、ある
いは周りの音を消してベースの音のみを出力させること
が出来る。
【０００９】（実施例３）対象とする画像が動画像であ
る場合は、動画像フレーム位置ｆ、位置(x,y)にある画
素の属性P(x,y,f)を次のように与え、ゲイン制御手段
（音声分配出力レベル調整手段）によって任意のフレー
ム位置、切り出し位置における音声のゲイン制御が可能
となる。 P(x,y,f)＝(v,R1,L1,R2,L2・・・ Rn,Ln2) （式３） ただし、式３においてｖは当該画素の画素値、R1,L1,R
2,L2,…,Rn,Lnはそれぞれ音声データ１から音声データ
ｎに対する左右チャネルゲインである。これによりビュ
ーエリアの変更に連動して各音源のステレオ定位を変え
るだけでなく、時間的な音量制御も可能となる。さら
に、この場合の変形として、対象とする画像が多重解像
度動画像である場合にも適用できる。解像度レイヤーｒ
を与えると次のようになる。 P(x,y,f,r)＝(v,R1,L1,R2,L2・・・ Rn,Ln2) （式３-1）
る場合は、動画像フレーム位置ｆ、位置(x,y)にある画
素の属性P(x,y,f)を次のように与え、ゲイン制御手段
（音声分配出力レベル調整手段）によって任意のフレー
ム位置、切り出し位置における音声のゲイン制御が可能
となる。 P(x,y,f)＝(v,R1,L1,R2,L2・・・ Rn,Ln2) （式３） ただし、式３においてｖは当該画素の画素値、R1,L1,R
2,L2,…,Rn,Lnはそれぞれ音声データ１から音声データ
ｎに対する左右チャネルゲインである。これによりビュ
ーエリアの変更に連動して各音源のステレオ定位を変え
るだけでなく、時間的な音量制御も可能となる。さら
に、この場合の変形として、対象とする画像が多重解像
度動画像である場合にも適用できる。解像度レイヤーｒ
を与えると次のようになる。 P(x,y,f,r)＝(v,R1,L1,R2,L2・・・ Rn,Ln2) （式３-1）
【００１０】（実施例４）第３図のように音声処理パラ
メータ制御手段として音声データ選択手段を用いると、
ユーザの指定したビューエリアや時間の推移にしたがっ
て出力される音楽やナレーションが変化するシステムを
構成することができる。本実施例の一応用例として、オ
ンライン・ショッピングに応用すると次のようになる。
街角に販売したい商品を着用したモデルが立っている。
モデルの靴の部分を切り出すと靴の説明が、上着の部分
を切り出すと上着の説明が、顔の部分を拡大しサングラ
スを切り出すとサングラスの説明が流れてくる。バック
グランドの場面は観察者が所望する場所を指定でき、実
際の着用場所を画面を見ながら選ぶことができる。
メータ制御手段として音声データ選択手段を用いると、
ユーザの指定したビューエリアや時間の推移にしたがっ
て出力される音楽やナレーションが変化するシステムを
構成することができる。本実施例の一応用例として、オ
ンライン・ショッピングに応用すると次のようになる。
街角に販売したい商品を着用したモデルが立っている。
モデルの靴の部分を切り出すと靴の説明が、上着の部分
を切り出すと上着の説明が、顔の部分を拡大しサングラ
スを切り出すとサングラスの説明が流れてくる。バック
グランドの場面は観察者が所望する場所を指定でき、実
際の着用場所を画面を見ながら選ぶことができる。
【００１１】（実施例５）第４図のように音声処理パラ
メータ制御手段としてディジタルフィルタのフィルタ係
数制御手段を用いることもできる。本実施例ではフィル
タリング手段としてディジタルフィルタを用いている。
本実施例では切り出し領域中央の座標が(x,y) 、解像度
レイヤーｒ、動画像フレーム位置ｆに連動して各ディジ
タルフィルタの係数が変化し、伝達関数が変更される。
ディジタルフィルタを用いることにより残響音の制御や
周波数フィルタリングなどの処理も可能となる。デジタ
ルフィルタを使うことにより次のような応用が可能であ
る。演奏会場の場面で音楽が流れている。この画面をズ
ームアウトしていくにつれて、次第にエコーが効いて臨
場感を満喫できる。さらに別の応用例としてバイノーラ
ル録音がある。これは画面のスクロールやズームイン／
アウトに連動して、より自然な音の定位感を得ることを
目的としており、実際の人間の左右の耳で聞こえる音を
ステレオ録音するものである。あるいはトランスオーラ
ル再生への応用も可能である。これはバイノーラル録音
された音をヘッドフォンではなくステレオスピーカを使
って正しい音定位が再現できるようにするものである。
メータ制御手段としてディジタルフィルタのフィルタ係
数制御手段を用いることもできる。本実施例ではフィル
タリング手段としてディジタルフィルタを用いている。
本実施例では切り出し領域中央の座標が(x,y) 、解像度
レイヤーｒ、動画像フレーム位置ｆに連動して各ディジ
タルフィルタの係数が変化し、伝達関数が変更される。
ディジタルフィルタを用いることにより残響音の制御や
周波数フィルタリングなどの処理も可能となる。デジタ
ルフィルタを使うことにより次のような応用が可能であ
る。演奏会場の場面で音楽が流れている。この画面をズ
ームアウトしていくにつれて、次第にエコーが効いて臨
場感を満喫できる。さらに別の応用例としてバイノーラ
ル録音がある。これは画面のスクロールやズームイン／
アウトに連動して、より自然な音の定位感を得ることを
目的としており、実際の人間の左右の耳で聞こえる音を
ステレオ録音するものである。あるいはトランスオーラ
ル再生への応用も可能である。これはバイノーラル録音
された音をヘッドフォンではなくステレオスピーカを使
って正しい音定位が再現できるようにするものである。
【００１２】（実施例６）画像上のすべての画素に各出
力チャネルゲインやフィルタ係数を属性として与えるか
わりに、少数の特定の画素にのみ音声処理パラメータ属
性を与え、他の画素位置における音声処理パラメータ属
性は前記特定の画素に与えられた音声処理パラメータ間
の補間により求めることで音声処理パラメータ制御用の
データ量を大幅に削減できる。例えば実施例１に示した
ようなステレオ音声再生におけるゲイン制御の場合、以
下のようにしてゲイン制御用のデータ量を削減できる。
まず画像内をいくつかの矩形領域に分割し、矩形領域の
４隅に位置する画素にのみ式１に示した属性値を与え
る。画像切り出し領域の中心位置がある矩形内にあり、
かつ矩形領域の４隅の点上にない場合は式４の補間によ
り各音声データの左右チャネルゲインを求める。 (Ri(xc,yc),Li(xc,yc))＝(1-a)(1-b)・(Ri0、Li0) +a(1-b)・(Ri1、Li1) +ab・(Ri2、Li2) +(1-a)b・(Ri3、Li3) （式４） 式４における(Ri(xc,yc),Li(xc,yc))は、画像切り出し
領域の中心位置が(xc, yc)にある時のｉ番目の音源デー
タの左右チャネルゲインである。また式４における(Ri
j, Lij)は画像切り出し領域の中心位置が矩形領域のｊ
番目の隅にある時のｉ番目の音源データの左右チャネル
ゲインである。式４中のａおよびｂは第５図に示すよう
な、画像切り出し領域中心位置が矩形領域の幅および高
さを内分する比率を表わしており、それぞれ０≦ａ≦1.
0、０≦ｂ≦1.0である。
力チャネルゲインやフィルタ係数を属性として与えるか
わりに、少数の特定の画素にのみ音声処理パラメータ属
性を与え、他の画素位置における音声処理パラメータ属
性は前記特定の画素に与えられた音声処理パラメータ間
の補間により求めることで音声処理パラメータ制御用の
データ量を大幅に削減できる。例えば実施例１に示した
ようなステレオ音声再生におけるゲイン制御の場合、以
下のようにしてゲイン制御用のデータ量を削減できる。
まず画像内をいくつかの矩形領域に分割し、矩形領域の
４隅に位置する画素にのみ式１に示した属性値を与え
る。画像切り出し領域の中心位置がある矩形内にあり、
かつ矩形領域の４隅の点上にない場合は式４の補間によ
り各音声データの左右チャネルゲインを求める。 (Ri(xc,yc),Li(xc,yc))＝(1-a)(1-b)・(Ri0、Li0) +a(1-b)・(Ri1、Li1) +ab・(Ri2、Li2) +(1-a)b・(Ri3、Li3) （式４） 式４における(Ri(xc,yc),Li(xc,yc))は、画像切り出し
領域の中心位置が(xc, yc)にある時のｉ番目の音源デー
タの左右チャネルゲインである。また式４における(Ri
j, Lij)は画像切り出し領域の中心位置が矩形領域のｊ
番目の隅にある時のｉ番目の音源データの左右チャネル
ゲインである。式４中のａおよびｂは第５図に示すよう
な、画像切り出し領域中心位置が矩形領域の幅および高
さを内分する比率を表わしており、それぞれ０≦ａ≦1.
0、０≦ｂ≦1.0である。
【００１３】
【発明の効果】本発明によれば音声処理パラメータは表
示する画像の切り出し位置に連動して変化させることが
できるので次の様な効果が期待できる。１）切り出した
画面の位置に応じた音処理が可能となる。画像の切り出
し位置に応じて再生する音声データを切り替えるような
音声処理を行うことにより、画像のどの部分にシステム
の使用者が興味を持っているかによって解説のナレーシ
ョンを自動的に選択することが出来る。オンラインショ
ッピング等で応用すると、使用者が興味を持った商品の
解説を選択的に再生することができる。また、音をステ
レオ再生する場合、画面のスクロールに応じて左右チャ
ネルの出力バランスを変化させることにより音源の方向
性を表現することもできる。２）切り出した画面の解像
度に応じた音処理が可能となる。多重解像度画像では表
示する画像の解像度によっても音声処理パラメータを変
化させることができる。これを利用すると高解像度画像
に対する音声の振幅は大きく、低解像度画像に対する音
声の振幅は小さくなるような音声処理パラメータを設定
することができ、これにより画像のズームイン／アウト
に応じて音源までの距離感を表現できる。また、オンラ
インショッピング等の応用では、システムの使用者が拡
大して見た商品は使用者が特に興味を持った商品である
とみなして、その商品のさらに詳しい解説を再生するこ
ともできる。３）切り出した画面に対応して臨場感のあ
る音質が実現できる。切り出した画面の解像度に応じて
残響音の強弱を調整することにより、より臨場感を持っ
た音声を表現することができる。また、画面のスクロー
ルに応じたバイノーラル／トランスオーラル再生などを
行えば、より自然な音の定位を得ることもできる。
示する画像の切り出し位置に連動して変化させることが
できるので次の様な効果が期待できる。１）切り出した
画面の位置に応じた音処理が可能となる。画像の切り出
し位置に応じて再生する音声データを切り替えるような
音声処理を行うことにより、画像のどの部分にシステム
の使用者が興味を持っているかによって解説のナレーシ
ョンを自動的に選択することが出来る。オンラインショ
ッピング等で応用すると、使用者が興味を持った商品の
解説を選択的に再生することができる。また、音をステ
レオ再生する場合、画面のスクロールに応じて左右チャ
ネルの出力バランスを変化させることにより音源の方向
性を表現することもできる。２）切り出した画面の解像
度に応じた音処理が可能となる。多重解像度画像では表
示する画像の解像度によっても音声処理パラメータを変
化させることができる。これを利用すると高解像度画像
に対する音声の振幅は大きく、低解像度画像に対する音
声の振幅は小さくなるような音声処理パラメータを設定
することができ、これにより画像のズームイン／アウト
に応じて音源までの距離感を表現できる。また、オンラ
インショッピング等の応用では、システムの使用者が拡
大して見た商品は使用者が特に興味を持った商品である
とみなして、その商品のさらに詳しい解説を再生するこ
ともできる。３）切り出した画面に対応して臨場感のあ
る音質が実現できる。切り出した画面の解像度に応じて
残響音の強弱を調整することにより、より臨場感を持っ
た音声を表現することができる。また、画面のスクロー
ルに応じたバイノーラル／トランスオーラル再生などを
行えば、より自然な音の定位を得ることもできる。
【図１】本発明の第１の実施例を示す図である。
【図２】切り出し位置による発生音の変化を説明する図
である。
である。
【図３】本発明の第４の実施例を示す図である。
【図４】本発明の第５の実施例を示す図である。
【図５】音声処理パラメ-タの補間方法を説明する図で
ある。
ある。
Claims (11)
- 【請求項１】静止画像データと該静止画像に関連付けら
れた単一、または複数の音声データに対して前記静止画
像の一部を切り出して表示する画像表示手段と、前記音
声データに対して音声信号処理をほどこす音声処理手段
と、該音声処理手段における音声処理パラメータを前記
静止画像の切り出し位置に応じて変化させる音声処理パ
ラメータ制御手段と、前記音声処理部により処理された
音声データを出力する単一または複数チャネルの音声出
力手段を含むことを特徴とする音声処理機能付き画像表
示システム。 - 【請求項２】多重解像度静止画像データと該多重解像度
静止画像に関連付けられた単一、または複数の音声デー
タに対して前記多重解像度静止画像の特定の解像度にお
ける画像の一部を切り出して表示する画像表示手段と、
前記音声データに対して音声信号処理をほどこす音声処
理手段と、該音声処理手段における音声処理パラメータ
を前記多重解像度静止画像において選択された解像度、
および切り出し位置に応じて変化させる音声処理パラメ
ータ制御手段と、前記音声処理手段により処理された音
声データを出力する単一または複数チャネルの音声出力
手段を含むことを特徴とする音声処理機能付き画像表示
システム。 - 【請求項３】動画像データと該動画像に関連付けられた
単一、または複数の音声データに対して前記動画像の一
部を切り出して表示する画像表示手段と、前記音声デー
タに対して音声信号処理をほどこす音声処理手段と、該
音声処理手段における音声処理パラメータを前記動画像
のフレーム位置、および切り出し位置に応じて変化させ
る音声処理パラメータ制御手段と、前記音声処理手段に
より処理された音声データを出力する単一または複数チ
ャネルの音声出力手段を含むことを特徴とする音声処理
機能付き画像表示システム。 - 【請求項４】多重解像度動画像データと該多重解像度動
画像に関連付けられた単一、または複数の音声データに
対して、前記多重解像度動画像の特定の解像度における
動画像の一部を切り出して表示する画像表示手段と、前
記音声データに対して音声信号処理をほどこす音声処理
手段と、該音声処理手段における音声処理パラメータを
前記多重解像度動画像のフレーム位置、選択された解像
度、および切り出し位置に応じて変化させる音声処理パ
ラメータ制御手段と、前記音声処理手段により処理され
た音声データを出力する単一または複数チャネルの音声
出力手段を含むことを特徴とする音声処理機能付き画像
表示システム。 - 【請求項５】前記音声処理手段が、複数の音声データの
中から出力すべき音声データを選択する音声データ選択
手段を含むことを特徴とする請求項１〜４に記載の音声
処理機能付き画像表示システム。 - 【請求項６】前記音声処理手段を、単一または複数の音
声出力チャネルに分配される前記音声データの出力レベ
ルを調整する音声分配出力レベル調整手段を含むことを
特徴とする請求項１〜４に記載の音声処理機能付き画像
表示システム。 - 【請求項７】前記音声処理手段を、単一または複数の音
声出力チャネルに分配される前記音声データに対して、
それぞれの出力チャネルについて独立のフィルタ処理を
施すフィルタリング手段を含むことを特徴とする請求項
１〜４に記載の音声処理機能付き画像表示システム。 - 【請求項８】前記音声処理手段における音声処理パラメ
ータは、特定の画像切り出し位置における音声処理パラ
メータのみを定義しておき、任意の画像切り出し位置に
おける音声処理パラメータは、前記特定の画像切り出し
位置における音声処理パラメータからの補間により求め
ることを特徴とする請求項１に記載の音声処理機能付き
画像表示システム。 - 【請求項９】前記音声処理手段における音声処理パラメ
ータは、特定の解像度、および特定の画像切り出し位置
における音声処理パラメータのみを定義しておき、任意
の解像度、および任意の切り出し位置における音声処理
パラメータは前記特定の解像度、および前記特定の画像
切り出し位置における音声処理パラメータからの補間に
より求めることを特徴とする請求項２に記載の音声処理
機能付き画像表示システム。 - 【請求項１０】前記音声処理手段における音声処理パラ
メータは、特定のフレーム位置および特定の画像切り出
し位置における音声処理パラメータのみを定義してお
き、任意のフレーム位置および任意の切り出し位置にお
ける音声処理パラメータは前記特定のフレーム位置およ
び前記特定の画像切り出し位置における音声処理パラメ
ータからの補間により求めることを特徴とする請求項３
に記載の音声処理機能付き画像表示システム。 - 【請求項１１】前記音声処理手段における音声処理パラ
メータは、特定のフレーム位置、特定の解像度、および
特定の画像切り出し位置における音声処理パラメータの
みを定義しておき、任意のフレーム位置、任意の解像
度、および任意の画像切り出し位置における音声処理パ
ラメータは前記特定のフレーム位置、前記特定の解像
度、および前記特定の画像切り出し位置における音声処
理パラメータからの補間により求めることを特徴とする
請求項４に記載の音声処理機能付き画像表示システム。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21728197A JPH1175151A (ja) | 1997-08-12 | 1997-08-12 | 音声処理機能付き画像表示システム |
| PCT/US1998/016636 WO1999008180A1 (en) | 1997-08-12 | 1998-08-11 | Multi-media display system |
| EP98939330A EP1002266B1 (en) | 1997-08-12 | 1998-08-11 | Multi-media display system |
| KR1020007001369A KR20010022769A (ko) | 1997-08-12 | 1998-08-11 | 멀티미디어 디스플레이 시스템 및 데이터 처리 장치의 작동 방법 |
| CN98808045.1A CN1126026C (zh) | 1997-08-12 | 1998-08-11 | 多媒体显示系统和操作数据处理系统的方法 |
| DE69836742T DE69836742T2 (de) | 1997-08-12 | 1998-08-11 | Multimedia-anzeigesystem |
| US09/485,213 US6573909B1 (en) | 1997-08-12 | 1998-11-08 | Multi-media display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21728197A JPH1175151A (ja) | 1997-08-12 | 1997-08-12 | 音声処理機能付き画像表示システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1175151A true JPH1175151A (ja) | 1999-03-16 |
Family
ID=16701687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21728197A Pending JPH1175151A (ja) | 1997-08-12 | 1997-08-12 | 音声処理機能付き画像表示システム |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP1002266B1 (ja) |
| JP (1) | JPH1175151A (ja) |
| KR (1) | KR20010022769A (ja) |
| CN (1) | CN1126026C (ja) |
| DE (1) | DE69836742T2 (ja) |
| WO (1) | WO1999008180A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007300220A (ja) * | 2006-04-27 | 2007-11-15 | Olympus Imaging Corp | カメラ、再生装置、音声記録方法、音声再生方法、プログラム、記録媒体 |
| JP2008154065A (ja) * | 2006-12-19 | 2008-07-03 | Roland Corp | 効果付与装置 |
| JP2015142185A (ja) * | 2014-01-27 | 2015-08-03 | 日本電信電話株式会社 | 視聴方法、視聴端末及び視聴プログラム |
| JP2017134713A (ja) * | 2016-01-29 | 2017-08-03 | セイコーエプソン株式会社 | 電子機器、電子機器の制御プログラム |
| WO2023067715A1 (ja) * | 2021-10-20 | 2023-04-27 | 日本電信電話株式会社 | 情報提示システム、装置、方法およびプログラム |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101211642B (zh) * | 2006-12-30 | 2011-05-04 | 上海乐金广电电子有限公司 | 音频播放装置中音频文件播放方法及其装置 |
| KR20110005205A (ko) * | 2009-07-09 | 2011-01-17 | 삼성전자주식회사 | 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치 |
| CN104036789B (zh) * | 2014-01-03 | 2018-02-02 | 北京智谷睿拓技术服务有限公司 | 多媒体处理方法及多媒体装置 |
| WO2017208821A1 (ja) * | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 音響処理装置および方法、並びにプログラム |
| CN111966278B (zh) * | 2020-08-28 | 2022-03-25 | 网易（杭州）网络有限公司 | 终端设备的提示方法、终端设备以及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5027689A (en) * | 1988-09-02 | 1991-07-02 | Yamaha Corporation | Musical tone generating apparatus |
| GB8924334D0 (en) * | 1989-10-28 | 1989-12-13 | Hewlett Packard Co | Audio system for a computer display |
| US5212733A (en) * | 1990-02-28 | 1993-05-18 | Voyager Sound, Inc. | Sound mixing device |
| EP0563929B1 (en) * | 1992-04-03 | 1998-12-30 | Yamaha Corporation | Sound-image position control apparatus |
-
1997
- 1997-08-12 JP JP21728197A patent/JPH1175151A/ja active Pending
-
1998
- 1998-08-11 EP EP98939330A patent/EP1002266B1/en not_active Expired - Lifetime
- 1998-08-11 KR KR1020007001369A patent/KR20010022769A/ko not_active Application Discontinuation
- 1998-08-11 CN CN98808045.1A patent/CN1126026C/zh not_active Expired - Fee Related
- 1998-08-11 WO PCT/US1998/016636 patent/WO1999008180A1/en active IP Right Grant
- 1998-08-11 DE DE69836742T patent/DE69836742T2/de not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007300220A (ja) * | 2006-04-27 | 2007-11-15 | Olympus Imaging Corp | カメラ、再生装置、音声記録方法、音声再生方法、プログラム、記録媒体 |
| JP4686402B2 (ja) * | 2006-04-27 | 2011-05-25 | オリンパスイメージング株式会社 | カメラ、再生装置、再生制御方法 |
| JP2008154065A (ja) * | 2006-12-19 | 2008-07-03 | Roland Corp | 効果付与装置 |
| JP2015142185A (ja) * | 2014-01-27 | 2015-08-03 | 日本電信電話株式会社 | 視聴方法、視聴端末及び視聴プログラム |
| JP2017134713A (ja) * | 2016-01-29 | 2017-08-03 | セイコーエプソン株式会社 | 電子機器、電子機器の制御プログラム |
| WO2023067715A1 (ja) * | 2021-10-20 | 2023-04-27 | 日本電信電話株式会社 | 情報提示システム、装置、方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1002266B1 (en) | 2006-12-27 |
| DE69836742T2 (de) | 2007-04-26 |
| CN1266511A (zh) | 2000-09-13 |
| DE69836742D1 (de) | 2007-02-08 |
| WO1999008180A1 (en) | 1999-02-18 |
| KR20010022769A (ko) | 2001-03-26 |
| CN1126026C (zh) | 2003-10-29 |
| EP1002266A1 (en) | 2000-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU756265B2 (en) | Apparatus and method for presenting sound and image | |
| EP1416769B1 (en) | Object-based three-dimensional audio system and method of controlling the same | |
| CN106954172B (zh) | 用于回放更高阶立体混响音频信号的方法和设备 | |
| US6766028B1 (en) | Headtracked processing for headtracked playback of audio signals | |
| US7336792B2 (en) | Virtual acoustic image localization processing device, virtual acoustic image localization processing method, and recording media | |
| US5715318A (en) | Audio signal processing | |
| Barrett | Spatio-musical composition strategies | |
| US20020103553A1 (en) | Specifying a point of origin of a sound for audio effects using displayed visual information from a motion picture | |
| Patricio et al. | Toward six degrees of freedom audio recording and playback using multiple ambisonics sound fields | |
| US5798922A (en) | Method and apparatus for electronically embedding directional cues in two channels of sound for interactive applications | |
| CN108476367A (zh) | 用于沉浸式音频回放的信号的合成 | |
| US6573909B1 (en) | Multi-media display system | |
| Theile | Multichannel natural recording based on psychoacoustic principles | |
| JPH1175151A (ja) | 音声処理機能付き画像表示システム | |
| US20020037084A1 (en) | Singnal processing device and recording medium | |
| US6754352B2 (en) | Sound field production apparatus | |
| JP2004187288A (ja) | 音源映像の表示領域からその音声を出力させる映像音声再生方法 | |
| JP3461055B2 (ja) | 音声チャンネル選択合成方法およびこの方法を実施する装置 | |
| JP2002176700A (ja) | 信号処理装置および記録媒体 | |
| KR100284768B1 (ko) | 다화면비디오디스플레이시스템에서의오디오데이타처리장치 | |
| JP2003079000A (ja) | 映像音響装置の臨場感制御方式 | |
| KR19990068477A (ko) | 입체음향시스템및그운용방법 | |
| KR20210151792A (ko) | 정보 처리 장치 및 방법, 재생 장치 및 방법, 그리고 프로그램 | |
| JPH1042398A (ja) | サラウンド再生方法及び装置 | |
| JP2947456B2 (ja) | サラウンド信号処理装置及び映像音声再生装置 |