JPH09219858A - 映像音声符号化装置及び映像音声復号化装置 - Google Patents
映像音声符号化装置及び映像音声復号化装置Info
- Publication number
- JPH09219858A JPH09219858A JP5090796A JP5090796A JPH09219858A JP H09219858 A JPH09219858 A JP H09219858A JP 5090796 A JP5090796 A JP 5090796A JP 5090796 A JP5090796 A JP 5090796A JP H09219858 A JPH09219858 A JP H09219858A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- audio
- video
- encoding
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Receiver Circuits (AREA)
Abstract
(57)【要約】
【課題】 映像編集時において音量の調整等の音声編集
を映像に対応させて自動的にできるようにすること。 【解決手段】 有効画素面積生成手段１０５は、入力さ
れた有効画素位置信号から１フレーム内の有効画素数を
求める。有効画素面積音量変換手段１０６は、この有効
画素数と前フレームの有効画素数の比に定数を乗じた値
を求め、この値と現在の音量調整値を乗じた値を新たな
音量調整値として、音量変換手段１０８を制御する。こ
れにより画面の動きに基づいて自動的に音量調整が行わ
れ、臨場感のある音響効果が得られる。
を映像に対応させて自動的にできるようにすること。 【解決手段】 有効画素面積生成手段１０５は、入力さ
れた有効画素位置信号から１フレーム内の有効画素数を
求める。有効画素面積音量変換手段１０６は、この有効
画素数と前フレームの有効画素数の比に定数を乗じた値
を求め、この値と現在の音量調整値を乗じた値を新たな
音量調整値として、音量変換手段１０８を制御する。こ
れにより画面の動きに基づいて自動的に音量調整が行わ
れ、臨場感のある音響効果が得られる。
Description
【０００１】
【発明の属する技術分野】本発明は、画面内の有効領域
及び視線軸上の階層関係が定義された映像信号とそれに
付随する音声信号とを符号化する映像音声符号化装置、
及びこれを復号化する映像音声復号化装置に関するもの
である。
及び視線軸上の階層関係が定義された映像信号とそれに
付随する音声信号とを符号化する映像音声符号化装置、
及びこれを復号化する映像音声復号化装置に関するもの
である。
【０００２】
【従来の技術】従来、映像信号に付随した音声信号を符
号化、あるいは復号化する場合、多チャンネル音声の各
チャンネルの入力音声信号の音量や音響効果の設定は、
通常音声の記録時そのままであるか、又は変更する場合
はミキシング装置により操作する必要がある。
号化、あるいは復号化する場合、多チャンネル音声の各
チャンネルの入力音声信号の音量や音響効果の設定は、
通常音声の記録時そのままであるか、又は変更する場合
はミキシング装置により操作する必要がある。
【０００３】
【発明が解決しようとする課題】しかしながら編集時に
おける音量調整などの音声編集は、映像編集とは別に行
わなければならず、編集者にとっては作業量が増すこと
になる。又実時間で映像音声を送信するときには、音声
のミキシング操作を行うことは困難であった。
おける音量調整などの音声編集は、映像編集とは別に行
わなければならず、編集者にとっては作業量が増すこと
になる。又実時間で映像音声を送信するときには、音声
のミキシング操作を行うことは困難であった。
【０００４】そこで本発明は上記の点に鑑み、画像の内
容から自動的に音声の音量値や音響効果などの調整を行
うことができる映像音声符号化装置、及びこれを復号化
する復号化装置を提供することを目的とする。
容から自動的に音声の音量値や音響効果などの調整を行
うことができる映像音声符号化装置、及びこれを復号化
する復号化装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】この目的を達成するため
に本発明の映像音声符号化装置は、入力された有効画素
位置信号から画面内における有効画素の占める面積を特
徴付ける値を生成する有効画素面積生成手段、又は、入
力有効画素位置信号から画面内における有効画素の位置
を特徴付ける値を生成する有効画素位置生成手段を備
え、有効画素面積生成手段が生成した値、又は有効画素
位置生成手段が生成した値、又は階層画像信号の視線軸
上の階層の上下関係を示す値に従って音声符号化手段の
符号化パラメータを設定するものである。
に本発明の映像音声符号化装置は、入力された有効画素
位置信号から画面内における有効画素の占める面積を特
徴付ける値を生成する有効画素面積生成手段、又は、入
力有効画素位置信号から画面内における有効画素の位置
を特徴付ける値を生成する有効画素位置生成手段を備
え、有効画素面積生成手段が生成した値、又は有効画素
位置生成手段が生成した値、又は階層画像信号の視線軸
上の階層の上下関係を示す値に従って音声符号化手段の
符号化パラメータを設定するものである。
【０００６】本願の請求項１の発明は、画素値信号と有
効画素位置信号で構成される映像信号を入力として、前
記映像信号を符号化して映像符号化信号を出力する映像
符号化手段と、音声信号を入力として、前記音声信号を
符号化して音声符号化信号を出力する音声符号化手段
と、入力された有効画素位置信号から、画面内における
有効画素の占める面積を特徴付ける値を生成する有効画
素面積生成手段と、を具備し、前記音声符号化手段は、
前記有効画素面積生成手段が生成した値に従って符号化
パラメータを設定することを特徴とするものである。
効画素位置信号で構成される映像信号を入力として、前
記映像信号を符号化して映像符号化信号を出力する映像
符号化手段と、音声信号を入力として、前記音声信号を
符号化して音声符号化信号を出力する音声符号化手段
と、入力された有効画素位置信号から、画面内における
有効画素の占める面積を特徴付ける値を生成する有効画
素面積生成手段と、を具備し、前記音声符号化手段は、
前記有効画素面積生成手段が生成した値に従って符号化
パラメータを設定することを特徴とするものである。
【０００７】本願の請求項２の発明は、画素値信号と有
効画素位置信号で構成される映像信号を入力として、前
記映像信号を符号化して映像符号化信号を出力する映像
符号化手段と、複数チャンネルで構成される音声信号を
入力として、前記音声信号を符号化して音声符号化信号
を出力する音声符号化手段と、入力された有効画素位置
信号から、画面内における有効画素の位置を特徴付ける
値を生成する有効画素位置生成手段と、を具備し、前記
音声符号化手段は、前記有効画素位置生成手段が生成し
た値に従って符号化パラメータを設定することを特徴と
するものである。
効画素位置信号で構成される映像信号を入力として、前
記映像信号を符号化して映像符号化信号を出力する映像
符号化手段と、複数チャンネルで構成される音声信号を
入力として、前記音声信号を符号化して音声符号化信号
を出力する音声符号化手段と、入力された有効画素位置
信号から、画面内における有効画素の位置を特徴付ける
値を生成する有効画素位置生成手段と、を具備し、前記
音声符号化手段は、前記有効画素位置生成手段が生成し
た値に従って符号化パラメータを設定することを特徴と
するものである。
【０００８】本願の請求項３の発明は、視線軸上の前後
関係を有する複数の階層画像信号を入力として、前記階
層画像信号を符号化して映像符号化信号を出力する複数
の映像符号化手段と、前記各階層画像信号に対し１対１
に付随する複数の音声信号を入力として、前記各階層画
像信号の視線軸上の階層の上下関係を示す値に従ってそ
の符号化パラメータを設定して前記音声信号を符号化し
て音声符号化信号を出力する複数の音声符号化手段と、
を具備することを特徴とするものである。
関係を有する複数の階層画像信号を入力として、前記階
層画像信号を符号化して映像符号化信号を出力する複数
の映像符号化手段と、前記各階層画像信号に対し１対１
に付随する複数の音声信号を入力として、前記各階層画
像信号の視線軸上の階層の上下関係を示す値に従ってそ
の符号化パラメータを設定して前記音声信号を符号化し
て音声符号化信号を出力する複数の音声符号化手段と、
を具備することを特徴とするものである。
【０００９】本願の請求項４の発明は、前記有効画素面
積生成手段の生成値を前記音声符号化手段の音量設定値
に変換する有効画素面積音量変換手段を更に具備し、前
記音声符号化手段は、入力された音声信号を前記有効画
素面積音量変換手段によって変換された音量に変換する
音量変換手段と、前記音量変換手段によって変換された
音声手段を符号化する符号化手段と、を有することを特
徴とするものである。
積生成手段の生成値を前記音声符号化手段の音量設定値
に変換する有効画素面積音量変換手段を更に具備し、前
記音声符号化手段は、入力された音声信号を前記有効画
素面積音量変換手段によって変換された音量に変換する
音量変換手段と、前記音量変換手段によって変換された
音声手段を符号化する符号化手段と、を有することを特
徴とするものである。
【００１０】本願の請求項５の発明は、前記有効画素位
置生成手段の生成値を前記音声符号化手段の音量設定値
に変換する有効画素位置音量変換手段を更に具備し、前
記音声符号化手段は、入力された音声信号を前記有効画
素位置音量変換手段によって変換された音量に変換する
音量変換手段と、前記音量変換手段によって変換された
音声手段を符号化する符号化手段と、を有することを特
徴とするものである。
置生成手段の生成値を前記音声符号化手段の音量設定値
に変換する有効画素位置音量変換手段を更に具備し、前
記音声符号化手段は、入力された音声信号を前記有効画
素位置音量変換手段によって変換された音量に変換する
音量変換手段と、前記音量変換手段によって変換された
音声手段を符号化する符号化手段と、を有することを特
徴とするものである。
【００１１】本願の請求項６の発明は、各階層画像の視
線上の上下関係を示す値を前記音声符号化手段の音量設
定値に変換する階層位置音量変換手段を更に具備し、前
記音声符号化手段は、入力された音声信号を前記階層位
置音量変換手段によって変換された音量に変換する音量
変換手段と、前記音量変換手段によって変換された音声
手段を符号化する符号化手段と、を有することを特徴と
するものである。
線上の上下関係を示す値を前記音声符号化手段の音量設
定値に変換する階層位置音量変換手段を更に具備し、前
記音声符号化手段は、入力された音声信号を前記階層位
置音量変換手段によって変換された音量に変換する音量
変換手段と、前記音量変換手段によって変換された音声
手段を符号化する符号化手段と、を有することを特徴と
するものである。
【００１２】本願の請求項７の発明では、前記音声符号
化手段は、入力音声信号に対して音響効果を設定する音
響効果付与手段と、前記音響効果付与手段の出力を符号
化する符号化手段と、を有するものであり、前記有効画
素面積生成手段の出力を前記音響効果付与手段に与える
音響効果設定値に変換する有効画素面積効果設定値変換
手段を更に有することを特徴とするものである。
化手段は、入力音声信号に対して音響効果を設定する音
響効果付与手段と、前記音響効果付与手段の出力を符号
化する符号化手段と、を有するものであり、前記有効画
素面積生成手段の出力を前記音響効果付与手段に与える
音響効果設定値に変換する有効画素面積効果設定値変換
手段を更に有することを特徴とするものである。
【００１３】本願の請求項８の発明では、前記音声符号
化手段は、入力音声信号に対して音響効果を設定する音
響効果付与手段と、前記音響効果付与手段の出力を符号
化する符号化手段と、を有するものであり、前記有効画
素位置生成手段の出力を前記音響効果設定値に変換する
有効画素位置音響効果設定値変換手段を更に有すること
を特徴とするものである。
化手段は、入力音声信号に対して音響効果を設定する音
響効果付与手段と、前記音響効果付与手段の出力を符号
化する符号化手段と、を有するものであり、前記有効画
素位置生成手段の出力を前記音響効果設定値に変換する
有効画素位置音響効果設定値変換手段を更に有すること
を特徴とするものである。
【００１４】本願の請求項９の発明では、前記音声符号
化手段は、入力音声信号に対して音響効果を設定する音
響効果付与手段と、前記音響効果付与手段の出力を符号
化する符号化手段と、を有するものであり、階層位置信
号を音響効果設定値に変換する階層位置音響効果設定値
変換手段を更に有することを特徴とするものである。
化手段は、入力音声信号に対して音響効果を設定する音
響効果付与手段と、前記音響効果付与手段の出力を符号
化する符号化手段と、を有するものであり、階層位置信
号を音響効果設定値に変換する階層位置音響効果設定値
変換手段を更に有することを特徴とするものである。
【００１５】本願の請求項１０の発明は、前記映像符号
化手段が出力する映像符号化信号と前記音声符号化手段
が出力する音声符号化信号とデータ信号とを多重化する
多重化手段を備え、前記音声符号化手段に設定する符号
化パラメータを、前記映像符号化信号と、前記音声符号
化信号に多重化して出力することを特徴とするものであ
る。
化手段が出力する映像符号化信号と前記音声符号化手段
が出力する音声符号化信号とデータ信号とを多重化する
多重化手段を備え、前記音声符号化手段に設定する符号
化パラメータを、前記映像符号化信号と、前記音声符号
化信号に多重化して出力することを特徴とするものであ
る。
【００１６】又、本発明の映像音声復号化装置は、入力
された映像符号化信号に重畳された有効画素の占める面
積の変化を特徴付ける値、又は動きベクトル値、又は視
線軸上の階層の上下関係を示す値を、復号化された音声
信号の再生時の音量あるいは音響効果設定値に変換する
ものである。
された映像符号化信号に重畳された有効画素の占める面
積の変化を特徴付ける値、又は動きベクトル値、又は視
線軸上の階層の上下関係を示す値を、復号化された音声
信号の再生時の音量あるいは音響効果設定値に変換する
ものである。
【００１７】本願の請求項１１の発明は、請求項１０記
載の映像音声符号化装置が出力する映像音声符号化信号
を復号化して映像信号，音声信号を出力する映像音声復
号化装置であって、前記映像音声符号化信号を映像符号
化信号と音声符号化信号と符号化パラメータとに分離す
る分離手段と、映像符号化信号を映像信号に復号化する
映像信号復号化手段と、音声符号化信号を音声信号に復
号化する音声信号復号化手段と、前記分離手段によって
分離された符号化パラメータを復号化される音声信号の
再生時の音量設定値に変換する音量変換手段と、を具備
することを特徴とするものである。
載の映像音声符号化装置が出力する映像音声符号化信号
を復号化して映像信号，音声信号を出力する映像音声復
号化装置であって、前記映像音声符号化信号を映像符号
化信号と音声符号化信号と符号化パラメータとに分離す
る分離手段と、映像符号化信号を映像信号に復号化する
映像信号復号化手段と、音声符号化信号を音声信号に復
号化する音声信号復号化手段と、前記分離手段によって
分離された符号化パラメータを復号化される音声信号の
再生時の音量設定値に変換する音量変換手段と、を具備
することを特徴とするものである。
【００１８】本願の請求項１２の発明は、有効画素の占
める面積の変化を特徴付ける値が重畳されて符号化され
た映像符号化信号、及び音声符号化信号を入力とし、前
記映像符号化信号と音声符号化信号を復号化して映像信
号、音声信号を出力する映像音声復号化装置であって、
入力された映像符号化信号に重畳された有効画素の占め
る面積の変化を特徴付ける値を、復号化された音声信号
の再生時の音量設定値に変換する有効画素面積音量変換
手段を備えたことを特徴とするものである。
める面積の変化を特徴付ける値が重畳されて符号化され
た映像符号化信号、及び音声符号化信号を入力とし、前
記映像符号化信号と音声符号化信号を復号化して映像信
号、音声信号を出力する映像音声復号化装置であって、
入力された映像符号化信号に重畳された有効画素の占め
る面積の変化を特徴付ける値を、復号化された音声信号
の再生時の音量設定値に変換する有効画素面積音量変換
手段を備えたことを特徴とするものである。
【００１９】本願の請求項１３の発明は、動きベクトル
値が重畳された映像符号化信号、及び複数チャンネルで
構成される音声符号化信号を入力とし、前記映像符号化
信号と音声符号化信号を復号化して映像信号、音声信号
を出力する映像音声復号化装置であって、入力された映
像符号化信号に重畳された動きベクトル値を、復号化さ
れた各チャンネルの音声信号の再生時の音量設定値に変
換する動きベクトル音量変換手段を備えたことを特徴と
するものである。
値が重畳された映像符号化信号、及び複数チャンネルで
構成される音声符号化信号を入力とし、前記映像符号化
信号と音声符号化信号を復号化して映像信号、音声信号
を出力する映像音声復号化装置であって、入力された映
像符号化信号に重畳された動きベクトル値を、復号化さ
れた各チャンネルの音声信号の再生時の音量設定値に変
換する動きベクトル音量変換手段を備えたことを特徴と
するものである。
【００２０】本願の請求項１４の発明は、視線軸上の前
後関係を有する複数の階層画像信号と各階層画像の視線
軸上の階層の上下関係を示す値とを重畳して符号化され
た映像符号化信号、及び前記各階層画像信号に対し１対
１に付随する複数の音声符号化信号を入力とし、前記映
像符号化信号と音声符号化信号を復号化して映像信号、
音声信号を出力する映像音声復号化装置であって、入力
された映像符号化信号に重畳された視線軸上の階層の上
下関係を示す値を、復号化された音声信号の再生時の音
量設定値に変換する階層位置音量変換手段を備えたこと
を特徴とするものである。
後関係を有する複数の階層画像信号と各階層画像の視線
軸上の階層の上下関係を示す値とを重畳して符号化され
た映像符号化信号、及び前記各階層画像信号に対し１対
１に付随する複数の音声符号化信号を入力とし、前記映
像符号化信号と音声符号化信号を復号化して映像信号、
音声信号を出力する映像音声復号化装置であって、入力
された映像符号化信号に重畳された視線軸上の階層の上
下関係を示す値を、復号化された音声信号の再生時の音
量設定値に変換する階層位置音量変換手段を備えたこと
を特徴とするものである。
【００２１】本願の請求項１５の発明は、複号化された
音声信号に対して音響効果が設定可能な音響効果付与手
段と、有効画素の占める面積の変化を特徴付ける値を前
記音響効果付与手段の音響効果設定値に変換する有効画
素面積音響効果変換手段と、を備え、前記音響効果付与
手段は、前記有効画素面積音響効果変換手段が生成した
音響効果設定値に従って音声信号に対して音響効果を付
与することを特徴とするものである。
音声信号に対して音響効果が設定可能な音響効果付与手
段と、有効画素の占める面積の変化を特徴付ける値を前
記音響効果付与手段の音響効果設定値に変換する有効画
素面積音響効果変換手段と、を備え、前記音響効果付与
手段は、前記有効画素面積音響効果変換手段が生成した
音響効果設定値に従って音声信号に対して音響効果を付
与することを特徴とするものである。
【００２２】本願の請求項１６の発明は、複号化された
音声信号に対して音響効果が設定可能な音響効果付与手
段と、動きベクトル値を前記音響効果付与手段の音響効
果設定値に変換する動きベクトル音響効果変換手段と、
を備え、前記音響効果付与手段は、前記動きベクトル音
響効果変換手段が生成した音響効果設定値に従って音声
信号に対して音響効果を付与することを特徴とするもの
である。
音声信号に対して音響効果が設定可能な音響効果付与手
段と、動きベクトル値を前記音響効果付与手段の音響効
果設定値に変換する動きベクトル音響効果変換手段と、
を備え、前記音響効果付与手段は、前記動きベクトル音
響効果変換手段が生成した音響効果設定値に従って音声
信号に対して音響効果を付与することを特徴とするもの
である。
【００２３】本願の請求項１７の発明は、複号化された
音声信号に対して音響効果が設定可能な音響効果付与手
段と、各階層画像の視線上の階層の上下関係を示す値を
前記音響効果付与手段の音響効果設定値に変換する階層
位置音響効果設定値変換手段と、を備え、前記音響効果
付与手段は、前記階層位置音響効果設定値変換手段が生
成した音響効果設定値に従って音声信号に対して音響効
果を付与することを特徴とするものである。
音声信号に対して音響効果が設定可能な音響効果付与手
段と、各階層画像の視線上の階層の上下関係を示す値を
前記音響効果付与手段の音響効果設定値に変換する階層
位置音響効果設定値変換手段と、を備え、前記音響効果
付与手段は、前記階層位置音響効果設定値変換手段が生
成した音響効果設定値に従って音声信号に対して音響効
果を付与することを特徴とするものである。
【００２４】上記の本発明の映像音声符号化装置、及び
映像音声復号化装置によれば、音量や左右のバランスな
どを画面上の物体の動きに合わせることができるため、
臨場感のある音響効果が得られる。
映像音声復号化装置によれば、音量や左右のバランスな
どを画面上の物体の動きに合わせることができるため、
臨場感のある音響効果が得られる。
【００２５】
【発明の実施の形態】本発明の以下の各実施形態で説明
する映像音声符号化装置には、画素値信号と有効画素位
置信号で構成される映像信号が入力される。又図１３に
示すように、画素値信号と有効画素位置信号を組み合わ
せて１つの階層画像が構成される。ここで画素値信号と
は、画像の輝度や色差といった信号値を表し、有効画素
位置信号とは階層画像において有効とされる画素の位置
を表す。階層画像は多層化されており、各階層画像間で
は視線軸の上下関係が順序付けられており、この順序で
階層画像を重ね合わせて１フレームの画像が構成され
る。有効でない画素位置では、下の階層の階層画像が再
生画像に表示される。
する映像音声符号化装置には、画素値信号と有効画素位
置信号で構成される映像信号が入力される。又図１３に
示すように、画素値信号と有効画素位置信号を組み合わ
せて１つの階層画像が構成される。ここで画素値信号と
は、画像の輝度や色差といった信号値を表し、有効画素
位置信号とは階層画像において有効とされる画素の位置
を表す。階層画像は多層化されており、各階層画像間で
は視線軸の上下関係が順序付けられており、この順序で
階層画像を重ね合わせて１フレームの画像が構成され
る。有効でない画素位置では、下の階層の階層画像が再
生画像に表示される。
【００２６】本発明の実施の形態を図面を用いて説明す
る。図１は請求項１，４記載の発明による映像音声符号
化装置の第１実施形態のブロック図である。図１におい
て、映像符号化手段１０１は画素値信号符号化手段１０
２，画素位置信号符号化手段１０３と多重化手段１０４
とにより構成される。１０５は有効画素面積生成手段、
１０６は有効画素面積音量変換手段である。又音声符号
化手段１０７は外部からの制御により入力された音声信
号の音量レベルを調整する音量変換手段１０８と、その
信号を符号化する符号化手段１０９とにより構成され
る。
る。図１は請求項１，４記載の発明による映像音声符号
化装置の第１実施形態のブロック図である。図１におい
て、映像符号化手段１０１は画素値信号符号化手段１０
２，画素位置信号符号化手段１０３と多重化手段１０４
とにより構成される。１０５は有効画素面積生成手段、
１０６は有効画素面積音量変換手段である。又音声符号
化手段１０７は外部からの制御により入力された音声信
号の音量レベルを調整する音量変換手段１０８と、その
信号を符号化する符号化手段１０９とにより構成され
る。
【００２７】以上のように構成された映像音声符号化装
置の動作を説明する。入力された画素値信号は画素値信
号符号化手段１０２により符号化され、有効画素位置信
号は、画素位置信号符号化手段１０３により符号化され
る。符号化された画素値信号と有効画素位置信号は多重
化手段（ＭＵＸ）１０４により多重化され、映像符号化
信号として出力される。
置の動作を説明する。入力された画素値信号は画素値信
号符号化手段１０２により符号化され、有効画素位置信
号は、画素位置信号符号化手段１０３により符号化され
る。符号化された画素値信号と有効画素位置信号は多重
化手段（ＭＵＸ）１０４により多重化され、映像符号化
信号として出力される。
【００２８】又有効画素面積生成手段１０５は、入力さ
れた有効画素位置信号より１フレーム内の有効画素数を
求める。有効画素面積音量変換手段１０６は、この有効
画素数と前フレームの有効画素数の比に定数を乗じた値
を求め、この値と現在の音量調整値を乗じた値を新たな
音量調整値として、音量変換手段１０８を制御する。
れた有効画素位置信号より１フレーム内の有効画素数を
求める。有効画素面積音量変換手段１０６は、この有効
画素数と前フレームの有効画素数の比に定数を乗じた値
を求め、この値と現在の音量調整値を乗じた値を新たな
音量調整値として、音量変換手段１０８を制御する。
【００２９】入力された音声信号は、音量変換手段１０
８により音量レベルが調整された後、符号化手段１０９
により符号化され、音声符号化信号として出力される。
８により音量レベルが調整された後、符号化手段１０９
により符号化され、音声符号化信号として出力される。
【００３０】又本発明の異なる実施形態として、映像信
号符号化手段１０１がアフィン変換を使用して映像信号
を符号化する場合の構成を説明する。アフィン変換で
は、アフィン変換パラメータにより、画面上の任意の位
置の動きが表現される。この動きベクトルは、次式
（１）で示されるように、その位置を変数とする多項式
関数で表され、ａ0 〜ａ5 をアフィン変換パラメータと
いう。
号符号化手段１０１がアフィン変換を使用して映像信号
を符号化する場合の構成を説明する。アフィン変換で
は、アフィン変換パラメータにより、画面上の任意の位
置の動きが表現される。この動きベクトルは、次式
（１）で示されるように、その位置を変数とする多項式
関数で表され、ａ0 〜ａ5 をアフィン変換パラメータと
いう。
【数１】 ここで、（ｘ，ｙ）は画像中の水平垂直位置、（ｕ，
ｖ）は動きベクトルの水平垂直成分である。
ｖ）は動きベクトルの水平垂直成分である。
【００３１】本実施形態では、図１の画素値信号符号化
手段１０２と画素位置信号符号化手段１０３がアフィン
変換パラメータを生成し、それが有効画素面積生成手段
１０５に入力されるように構成する。有効画素面積生成
手段１０５は、式（２）で示す演算を行い、Ｄを有効画
素数の変化を特徴づける値として有効画素面積音量変換
手段１０６に出力する。
手段１０２と画素位置信号符号化手段１０３がアフィン
変換パラメータを生成し、それが有効画素面積生成手段
１０５に入力されるように構成する。有効画素面積生成
手段１０５は、式（２）で示す演算を行い、Ｄを有効画
素数の変化を特徴づける値として有効画素面積音量変換
手段１０６に出力する。
【数２】 有効画素面積音量変換手段１０６は、この値Ｄに定数と
現在の音量調整値を乗じた値を新たな音量調整値とし
て、音量変換手段１０８を制御する。
現在の音量調整値を乗じた値を新たな音量調整値とし
て、音量変換手段１０８を制御する。
【００３２】以上の構成によれば、画面内の物体の大小
の変化に合わせて音量の大小が調整されるため、画面内
の物体が遠ざかったときに音量が小さくなるといったよ
うな、遠近感のある音響効果が得られる。
の変化に合わせて音量の大小が調整されるため、画面内
の物体が遠ざかったときに音量が小さくなるといったよ
うな、遠近感のある音響効果が得られる。
【００３３】次に第２実施形態を図面を用いて説明す
る。図２は請求項２，５記載の発明による映像音声符号
化装置の第２実施形態のブロック図である。本図におい
て第１実施形態と同一部分は同一符号を付して詳細な説
明を省略する。図２において、２０５は有効画素位置生
成手段、２０６は有効画素位置音量変換手段である。又
音声符号化手段２０７は外部からの制御により右及び左
の音声信号の音量レベルを調整する音量変換手段２０
８，２０９と、符号化手段２１０，２１１と、これらの
信号を多重化する音声多重化手段（ＭＵＸ）２１２で構
成される。
る。図２は請求項２，５記載の発明による映像音声符号
化装置の第２実施形態のブロック図である。本図におい
て第１実施形態と同一部分は同一符号を付して詳細な説
明を省略する。図２において、２０５は有効画素位置生
成手段、２０６は有効画素位置音量変換手段である。又
音声符号化手段２０７は外部からの制御により右及び左
の音声信号の音量レベルを調整する音量変換手段２０
８，２０９と、符号化手段２１０，２１１と、これらの
信号を多重化する音声多重化手段（ＭＵＸ）２１２で構
成される。
【００３４】以上のように構成された映像音声符号化装
置の動作を説明する。第１実施形態と同様に、入力され
た画素値信号と有効画素位置信号は映像符号化手段１０
１により符号化され、映像符号化信号として出力され
る。又有効画素位置生成手段２０５は、入力された有効
画素位置信号より１フレーム内の有効画素の重心位置を
求める。有効画素位置音量変換手段２０６は、画面の中
央を原点、右方向を正として、この重心位置の水平座標
に定数を乗じて１を加えた値を求める。そしてこの値
と、音量変換手段２０８の現在の音量調整値を乗じた値
を新たな音量変換手段２０８の音量調整値として、音量
変換手段２０８を制御する。又有効画素位置音量変換手
段２０６が求めた値の逆数と、音量変換手段２０９の現
在の音量調整値を乗じた値を新たな音量変換手段２０９
の音量調整値として、音量変換手段２０９を制御する。
入力された音声信号は、音量変換手段２０８，２０９に
より音量レベルが調整された後、符号化手段２１０，２
１１により符号化される。そして音声多重化手段２１２
で左右の音声符号化信号が多重化され、音声符号化信号
として出力される。
置の動作を説明する。第１実施形態と同様に、入力され
た画素値信号と有効画素位置信号は映像符号化手段１０
１により符号化され、映像符号化信号として出力され
る。又有効画素位置生成手段２０５は、入力された有効
画素位置信号より１フレーム内の有効画素の重心位置を
求める。有効画素位置音量変換手段２０６は、画面の中
央を原点、右方向を正として、この重心位置の水平座標
に定数を乗じて１を加えた値を求める。そしてこの値
と、音量変換手段２０８の現在の音量調整値を乗じた値
を新たな音量変換手段２０８の音量調整値として、音量
変換手段２０８を制御する。又有効画素位置音量変換手
段２０６が求めた値の逆数と、音量変換手段２０９の現
在の音量調整値を乗じた値を新たな音量変換手段２０９
の音量調整値として、音量変換手段２０９を制御する。
入力された音声信号は、音量変換手段２０８，２０９に
より音量レベルが調整された後、符号化手段２１０，２
１１により符号化される。そして音声多重化手段２１２
で左右の音声符号化信号が多重化され、音声符号化信号
として出力される。
【００３５】又本発明の異なる実施形態として、映像信
号符号化手段１０１がアフィン変換を使用して映像信号
を符号化する場合、アフィン変換パラメータが有効画素
位置生成手段２０５に入力されるように構成する。有効
画素位置生成手段２０５は、式（１）で動きベクトルの
水平成分を表す値ａ0 を有効画素位置音量変換手段２０
６に出力する。有効画素位置音量変換手段２０６は、こ
の値に定数と現在の音量調整値を乗じた値を、現在の音
量と新たな音量の差分値として、音量変換手段２０８，
２０９を制御する。
号符号化手段１０１がアフィン変換を使用して映像信号
を符号化する場合、アフィン変換パラメータが有効画素
位置生成手段２０５に入力されるように構成する。有効
画素位置生成手段２０５は、式（１）で動きベクトルの
水平成分を表す値ａ0 を有効画素位置音量変換手段２０
６に出力する。有効画素位置音量変換手段２０６は、こ
の値に定数と現在の音量調整値を乗じた値を、現在の音
量と新たな音量の差分値として、音量変換手段２０８，
２０９を制御する。
【００３６】以上の構成によれば、画面内の物体の左右
の位置に合わせて音量の左右のバランスが調整されるた
め、画面内の物体の動きに合った音声出力が得られる。
の位置に合わせて音量の左右のバランスが調整されるた
め、画面内の物体の動きに合った音声出力が得られる。
【００３７】次に第３実施形態を図面を用いて説明す
る。図３は請求項３，６記載の発明の映像音声符号化装
置の第３実施形態のブロック図であり、映像信号が２つ
の階層からなる場合の例である。但し階層数が３以上で
あっても、同様の構成で実現可能である。図３におい
て、映像符号化手段１０１ａと１０１ｂは図１の映像符
号化手段１０１と同じであり、音声符号化手段１０７ａ
と１０７ｂは図１の音声符号化手段１０７と同じであ
る。３０６ａ，３０６ｂは階層位置を音量に変換する階
層位置音量変換手段、３０７は映像信号多重化手段、３
０８は音声信号多重化手段である。
る。図３は請求項３，６記載の発明の映像音声符号化装
置の第３実施形態のブロック図であり、映像信号が２つ
の階層からなる場合の例である。但し階層数が３以上で
あっても、同様の構成で実現可能である。図３におい
て、映像符号化手段１０１ａと１０１ｂは図１の映像符
号化手段１０１と同じであり、音声符号化手段１０７ａ
と１０７ｂは図１の音声符号化手段１０７と同じであ
る。３０６ａ，３０６ｂは階層位置を音量に変換する階
層位置音量変換手段、３０７は映像信号多重化手段、３
０８は音声信号多重化手段である。
【００３８】以上のように構成された映像音声符号化装
置の動作を説明する。本実施形態の映像音声符号化装置
には視線軸上の前後関係を有する２つの階層画像信号が
夫々入力される。各階層の画像信号はその階層に固有の
音声信号を含んでおり、又画像信号として画素値信号と
有効画素位置信号を含んでいる。映像符号化手段１０１
ａ，１０１ｂに夫々入力された各階層の画素値信号と有
効画素位置信号は、図１の実施形態と同様に符号化され
る。符号化された各階層の映像符号化信号は映像信号多
重化手段３０７により多重化され、映像符号化信号とし
て出力される。又階層位置音量変換手段３０６ａ，３０
６ｂには階層の視線軸上の位置を示す数値、例えば前景
であれば１、背景であれば２が入力される。階層位置音
量変換手段３０６ａはこの数値を予め設定されている音
量調整比、例えば入力された値が１であれば１，０、２
であれば０，８に変換し、この音量調整比と現在の音量
調整値を乗じた値を新たな音量調整値として、音声符号
化手段１０７ａを制御する。又階層位置音量変換手段３
０６ｂも、同様の手段で音声符号化手段１０７ｂを制御
する。符号化された各音声符号化信号は、音声信号多重
化手段３０８により多重化され、音声符号化信号として
出力される。
置の動作を説明する。本実施形態の映像音声符号化装置
には視線軸上の前後関係を有する２つの階層画像信号が
夫々入力される。各階層の画像信号はその階層に固有の
音声信号を含んでおり、又画像信号として画素値信号と
有効画素位置信号を含んでいる。映像符号化手段１０１
ａ，１０１ｂに夫々入力された各階層の画素値信号と有
効画素位置信号は、図１の実施形態と同様に符号化され
る。符号化された各階層の映像符号化信号は映像信号多
重化手段３０７により多重化され、映像符号化信号とし
て出力される。又階層位置音量変換手段３０６ａ，３０
６ｂには階層の視線軸上の位置を示す数値、例えば前景
であれば１、背景であれば２が入力される。階層位置音
量変換手段３０６ａはこの数値を予め設定されている音
量調整比、例えば入力された値が１であれば１，０、２
であれば０，８に変換し、この音量調整比と現在の音量
調整値を乗じた値を新たな音量調整値として、音声符号
化手段１０７ａを制御する。又階層位置音量変換手段３
０６ｂも、同様の手段で音声符号化手段１０７ｂを制御
する。符号化された各音声符号化信号は、音声信号多重
化手段３０８により多重化され、音声符号化信号として
出力される。
【００３９】以上の構成によれば、画面内の物体の前後
関係に合わせて音量の大小が調整されるため、画面内で
後方にある物体の音声の音量は、前方にある物体の音声
よりも小さくなるといったような、遠近感のある音響効
果が得られる。
関係に合わせて音量の大小が調整されるため、画面内で
後方にある物体の音声の音量は、前方にある物体の音声
よりも小さくなるといったような、遠近感のある音響効
果が得られる。
【００４０】又図１，図２，図３の各実施形態では音量
を調整するようにしているが、その代わりに音響効果を
付与するようにしてもよい。次にその一例を第４実施形
態として図４に示す。本実施形態では、図１で示した第
１実施形態の有効画素面積音量変換手段１０６を有効画
素面積音響効果設定値変換手段１１０に置き換える。又
音量変換手段１０８を音響効果付与手段１１１に置き換
えて音声符号化手段１２０とする。本実施形態では、例
えば有効画素面積音響効果設定値変換手段１１０が連続
する２フレームの有効画素数を比較し、減少した場合に
は、例えば音声にエコーをかけるように音響効果付与手
段１１１を制御する。これにより、より臨場感が高まる
など様々な効果が得られる。
を調整するようにしているが、その代わりに音響効果を
付与するようにしてもよい。次にその一例を第４実施形
態として図４に示す。本実施形態では、図１で示した第
１実施形態の有効画素面積音量変換手段１０６を有効画
素面積音響効果設定値変換手段１１０に置き換える。又
音量変換手段１０８を音響効果付与手段１１１に置き換
えて音声符号化手段１２０とする。本実施形態では、例
えば有効画素面積音響効果設定値変換手段１１０が連続
する２フレームの有効画素数を比較し、減少した場合に
は、例えば音声にエコーをかけるように音響効果付与手
段１１１を制御する。これにより、より臨場感が高まる
など様々な効果が得られる。
【００４１】又第２実施形態における有効画素位置音量
変換手段２０６を、図５に示す第５実施形態のように、
有効画素位置音響効果設定値変換手段２２０に変更して
もよい。この場合にも、音量変換手段２０８，２０９を
音響効果付与手段１１２，１１３とする。こうすれば有
効画素の位置の生成値によって音響効果を付与すること
ができる。
変換手段２０６を、図５に示す第５実施形態のように、
有効画素位置音響効果設定値変換手段２２０に変更して
もよい。この場合にも、音量変換手段２０８，２０９を
音響効果付与手段１１２，１１３とする。こうすれば有
効画素の位置の生成値によって音響効果を付与すること
ができる。
【００４２】又図６に示す第６実施形態では、第３の実
施形態における階層位置音量変換手段３０６ａ，３０６
ｂを階層位置音響効果設定値変換手段３１０ａ，３１０
ｂに変換し、音声符号化手段１２０ａ，１２０ｂを用い
たものである。こうすれば階層位置に応じた音響効果を
付与することができる。
施形態における階層位置音量変換手段３０６ａ，３０６
ｂを階層位置音響効果設定値変換手段３１０ａ，３１０
ｂに変換し、音声符号化手段１２０ａ，１２０ｂを用い
たものである。こうすれば階層位置に応じた音響効果を
付与することができる。
【００４３】次に本願の第７実施形態を図面を用いて説
明する。図７は請求項１０記載の発明の映像音声符号化
装置の第７実施形態を示すブロック図である。図７にお
いて、映像符号化手段１０１，有効画素面積生成手段１
０５は有効画素面積音量変換手段１０６，音声符号化手
段１０７と映像音声データ信号多重化手段３２０を含ん
で構成される。
明する。図７は請求項１０記載の発明の映像音声符号化
装置の第７実施形態を示すブロック図である。図７にお
いて、映像符号化手段１０１，有効画素面積生成手段１
０５は有効画素面積音量変換手段１０６，音声符号化手
段１０７と映像音声データ信号多重化手段３２０を含ん
で構成される。
【００４４】本実施形態は、図１で示した第１実施形態
の有効画素面積音量変換手段１０６が出力する制御信号
を映像音声データ信号多重化手段３２０に出力し、映像
符号化信号，音声符号化信号と共に多重化して出力する
ようにしたものである。第２〜第６実施形態の有効画素
位置や階層位置に対応する音量，音響効果設定値をデー
タ信号として多重化するようにしてもよいことはいうま
でもない。
の有効画素面積音量変換手段１０６が出力する制御信号
を映像音声データ信号多重化手段３２０に出力し、映像
符号化信号，音声符号化信号と共に多重化して出力する
ようにしたものである。第２〜第６実施形態の有効画素
位置や階層位置に対応する音量，音響効果設定値をデー
タ信号として多重化するようにしてもよいことはいうま
でもない。
【００４５】本実施形態の映像音声符号化装置が出力し
た信号を復号化する第８実施形態による復号化装置を図
８に示す。本図において映像音声符号化信号は分離手段
（ＤＥＭＵＸ）５０１を介して分離手段５０２，５０５
に入力される。分離手段５０２は夫々の階層画像を分離
するものである。５０３ａ，５０３ｂは階層画像復号化
手段、５０４は階層画像合成手段である。又分離手段５
０５は夫々各階層の音声信号を分離するものである。音
声復号化手段５０６ａ，５０６ｂはこれらを復号化する
ものである。又５０８ａ，５０８ｂは音声増幅手段、５
０９ｂは音声合成手段である。
た信号を復号化する第８実施形態による復号化装置を図
８に示す。本図において映像音声符号化信号は分離手段
（ＤＥＭＵＸ）５０１を介して分離手段５０２，５０５
に入力される。分離手段５０２は夫々の階層画像を分離
するものである。５０３ａ，５０３ｂは階層画像復号化
手段、５０４は階層画像合成手段である。又分離手段５
０５は夫々各階層の音声信号を分離するものである。音
声復号化手段５０６ａ，５０６ｂはこれらを復号化する
ものである。又５０８ａ，５０８ｂは音声増幅手段、５
０９ｂは音声合成手段である。
【００４６】本実施形態において、図７による映像音声
符号化装置から出力された映像音声符号化信号は、分離
手段５０１で映像符号化信号と音声符号化信号と制御符
号化信号に分離される。映像符号化信号は更に分離手段
５０２で階層画像に分離される。各階層画像は階層画像
復号化手段５０３ａ，５０３ｂで復号化された後、階層
画像合成手段５０４で合成されて映像信号として出力さ
れる。音声符号化信号は分離手段５０５で分離され、音
声復号化手段５０６ａ，５０６ｂで復号化され、音声増
幅手段５０８ａ，５０８ｂで増幅された後、音声合成手
段５０９で合成されて音声信号として出力される。又符
号化パラメータ音量変換手段５１０は各階層の音声の制
御符号化信号を新たな音量調整値に変換し、各階層に対
応する音量となるように音声増幅手段５０８ａ，５０８
ｂを制御する。
符号化装置から出力された映像音声符号化信号は、分離
手段５０１で映像符号化信号と音声符号化信号と制御符
号化信号に分離される。映像符号化信号は更に分離手段
５０２で階層画像に分離される。各階層画像は階層画像
復号化手段５０３ａ，５０３ｂで復号化された後、階層
画像合成手段５０４で合成されて映像信号として出力さ
れる。音声符号化信号は分離手段５０５で分離され、音
声復号化手段５０６ａ，５０６ｂで復号化され、音声増
幅手段５０８ａ，５０８ｂで増幅された後、音声合成手
段５０９で合成されて音声信号として出力される。又符
号化パラメータ音量変換手段５１０は各階層の音声の制
御符号化信号を新たな音量調整値に変換し、各階層に対
応する音量となるように音声増幅手段５０８ａ，５０８
ｂを制御する。
【００４７】図７の実施形態によれば、図８で示した復
号化装置を用いることにより、図１の例で示した符号化
時に音量を調整した場合と同じ効果が得られる。
号化装置を用いることにより、図１の例で示した符号化
時に音量を調整した場合と同じ効果が得られる。
【００４８】又第２，第３の実施形態に示されるよう
に、有効画素位置や階層位置信号を多重化してデータ伝
送した場合に、復号化装置によってこれを復号して復号
時に音声を制御するようにしてもよい。
に、有効画素位置や階層位置信号を多重化してデータ伝
送した場合に、復号化装置によってこれを復号して復号
時に音声を制御するようにしてもよい。
【００４９】次に図９は請求項１２記載の発明の映像音
声復号化装置の第９実施形態のブロック図であり、映像
符号化信号が２つの階層からなる場合の例である。
声復号化装置の第９実施形態のブロック図であり、映像
符号化信号が２つの階層からなる場合の例である。
【００５０】図９において、４０１は映像音声符号化信
号を映像符号化信号と音声符号化信号に分離する分離手
段（ＤＥＭＵＸ）、４０２は映像符号化信号を階層画像
符号化信号に分離する分離手段、４０３ａと４０３ｂは
階層画像復号化手段、４０４は階層画像合成手段、４０
５は音声符号化信号を各階層の音声符号化信号に分離す
る分離手段、４０６ａと４０６ｂは音声復号化手段、４
０７は有効画素面積音量変換手段、４０８は音声合成増
幅手段である。
号を映像符号化信号と音声符号化信号に分離する分離手
段（ＤＥＭＵＸ）、４０２は映像符号化信号を階層画像
符号化信号に分離する分離手段、４０３ａと４０３ｂは
階層画像復号化手段、４０４は階層画像合成手段、４０
５は音声符号化信号を各階層の音声符号化信号に分離す
る分離手段、４０６ａと４０６ｂは音声復号化手段、４
０７は有効画素面積音量変換手段、４０８は音声合成増
幅手段である。
【００５１】以上のように構成された映像音声復号化装
置の動作を説明する。入力された映像音声符号化信号
は、分離手段４０１で映像符号化信号と音声符号化信号
に分離される。映像符号化信号はさらに分離手段４０２
で階層画像に分離される。各階層画像は階層画像復号化
手段４０３ａ，４０３ｂで復号化された後、階層画像合
成手段４０４で合成されて映像信号として出力される。
音声符号化信号は分離手段４０５で分離され、音声復号
化手段４０６ａ，４０６ｂで復号化され、音声合成増幅
手段４０８で合成、及び増幅されて音声信号として出力
される。有効画素面積音．変換手段４０７は、例えば、
映像符号化信号がアフィン変換を用いて符号化されてい
る場合は、アフィン変換パラメータを階層画像復号化手
段４０３ａ，４０３ｂから受け取り、式（２）で示す演
算で求めたＤと現在の音量調整値を乗じた値を、新たな
音量調整値として、音声合成増幅手段４０８を制御す
る。又、図１の実施形態と同様、有効画素数と前フレー
ムの有効画素数の比に定数を乗じた値を求め、この値と
現在の音量調整値を乗じた値を新たな音量調整値とし
て、音声合成増幅手段４０８を制御するようにしてもよ
い。
置の動作を説明する。入力された映像音声符号化信号
は、分離手段４０１で映像符号化信号と音声符号化信号
に分離される。映像符号化信号はさらに分離手段４０２
で階層画像に分離される。各階層画像は階層画像復号化
手段４０３ａ，４０３ｂで復号化された後、階層画像合
成手段４０４で合成されて映像信号として出力される。
音声符号化信号は分離手段４０５で分離され、音声復号
化手段４０６ａ，４０６ｂで復号化され、音声合成増幅
手段４０８で合成、及び増幅されて音声信号として出力
される。有効画素面積音．変換手段４０７は、例えば、
映像符号化信号がアフィン変換を用いて符号化されてい
る場合は、アフィン変換パラメータを階層画像復号化手
段４０３ａ，４０３ｂから受け取り、式（２）で示す演
算で求めたＤと現在の音量調整値を乗じた値を、新たな
音量調整値として、音声合成増幅手段４０８を制御す
る。又、図１の実施形態と同様、有効画素数と前フレー
ムの有効画素数の比に定数を乗じた値を求め、この値と
現在の音量調整値を乗じた値を新たな音量調整値とし
て、音声合成増幅手段４０８を制御するようにしてもよ
い。
【００５２】この実施形態によれば、音量調整なしに符
号化された音声信号に対しても、図１の例で示した符号
化時に音量を調整した場合と同じ効果が得られる。
号化された音声信号に対しても、図１の例で示した符号
化時に音量を調整した場合と同じ効果が得られる。
【００５３】次に本願の第１０実施形態を図面を用いて
説明する。図１０は請求項１３記載の発明の映像音声復
号化装置の一実施形態のブロック図であり、映像符号化
信号が２つの階層からなる場合の例である。
説明する。図１０は請求項１３記載の発明の映像音声復
号化装置の一実施形態のブロック図であり、映像符号化
信号が２つの階層からなる場合の例である。
【００５４】図１０において、４０１は映像音声符号化
信号を映像符号化信号と音声符号化信号に分離する分離
手段（ＤＥＭＵＸ）、４０２は映像符号化信号を階層画
像符号化信号に分離する分離手段、４０３ａと４０３ｂ
は階層画像復号化手段、４０４は階層画像合成手段、４
０５は音声符号化信号を各階層の音声符号化信号に分離
する分離手段、４０６ａと４０６ｂは音声復号化手段、
４０８は音声合成増幅手段、４１０は動きベクトル音量
変換手段である。
信号を映像符号化信号と音声符号化信号に分離する分離
手段（ＤＥＭＵＸ）、４０２は映像符号化信号を階層画
像符号化信号に分離する分離手段、４０３ａと４０３ｂ
は階層画像復号化手段、４０４は階層画像合成手段、４
０５は音声符号化信号を各階層の音声符号化信号に分離
する分離手段、４０６ａと４０６ｂは音声復号化手段、
４０８は音声合成増幅手段、４１０は動きベクトル音量
変換手段である。
【００５５】以上のように構成された映像音声復号化装
置において、動きベクトル音量変換手段４１０は第２実
施形態のうちアフィン変換パラメータを用いた実施形態
における有効画素位置音量変換手段２０６と同様に、動
きベクトルの水平成分から音量調整値を求め、音声合成
増幅手段４０８の音量を調整する。
置において、動きベクトル音量変換手段４１０は第２実
施形態のうちアフィン変換パラメータを用いた実施形態
における有効画素位置音量変換手段２０６と同様に、動
きベクトルの水平成分から音量調整値を求め、音声合成
増幅手段４０８の音量を調整する。
【００５６】第１０実施形態によれば、音量調整なしに
符号化された音声信号に対しても、図２の例で示した符
号化時に音量を調整した場合と同じ効果が得られる。
符号化された音声信号に対しても、図２の例で示した符
号化時に音量を調整した場合と同じ効果が得られる。
【００５７】次に第１１実施形態を図面を用いて説明す
る。図１１は請求項１４記載の発明の映像音声復号化装
置の第１０実施形態のブロック図であり、映像符号化信
号が２つの階層からなる場合の例である。
る。図１１は請求項１４記載の発明の映像音声復号化装
置の第１０実施形態のブロック図であり、映像符号化信
号が２つの階層からなる場合の例である。
【００５８】図１１において、４０１は映像音声符号化
信号を映像符号化信号と音声符号化信号に分離する分離
手段（ＤＥＭＵＸ）、４０２は映像符号化信号を階層画
像符号化信号に分離する分離手段、４０３ａと４０３ｂ
は階層画像復号化手段、４０４は階層画像合成手段、４
０５は音声符号化信号を各階層の音声符号化信号に分離
する分離手段、４０６ａと４０６ｂは音声復号化手段、
４０８は音声合成増幅手段、４１１は階層位置音量変換
手段である。
信号を映像符号化信号と音声符号化信号に分離する分離
手段（ＤＥＭＵＸ）、４０２は映像符号化信号を階層画
像符号化信号に分離する分離手段、４０３ａと４０３ｂ
は階層画像復号化手段、４０４は階層画像合成手段、４
０５は音声符号化信号を各階層の音声符号化信号に分離
する分離手段、４０６ａと４０６ｂは音声復号化手段、
４０８は音声合成増幅手段、４１１は階層位置音量変換
手段である。
【００５９】以上のように構成された映像音声復号化装
置において、階層位置音量変換手段４１１は図３の階層
位置音量変換手段３０６と同様に、階層の視線軸上の位
置を示す数値から音量調整値を求め、音声合成増幅手段
４０８の音量を調整する。
置において、階層位置音量変換手段４１１は図３の階層
位置音量変換手段３０６と同様に、階層の視線軸上の位
置を示す数値から音量調整値を求め、音声合成増幅手段
４０８の音量を調整する。
【００６０】第１１実施形態によれば、音量調整なしに
符号化された音声信号に対しても、図３の例で示した符
号化時に音量を調整した場合と同じ効果が得られる。
符号化された音声信号に対しても、図３の例で示した符
号化時に音量を調整した場合と同じ効果が得られる。
【００６１】次に本願の第１２実施形態を図面を用いて
説明する。図１２は請求項１５記載の発明の映像音声復
号化装置の一実施形態のブロック図であり、図７の有効
画素面積音量変換手段４０７を図４の有効画素面積音響
効果設定値変換手段１１０に置き換え、又音声合成増幅
手段４０８を復号化された音声信号に音響効果を付与す
る音声合成音響効果付与手段４１２に置き換えたもので
ある。
説明する。図１２は請求項１５記載の発明の映像音声復
号化装置の一実施形態のブロック図であり、図７の有効
画素面積音量変換手段４０７を図４の有効画素面積音響
効果設定値変換手段１１０に置き換え、又音声合成増幅
手段４０８を復号化された音声信号に音響効果を付与す
る音声合成音響効果付与手段４１２に置き換えたもので
ある。
【００６２】第１２実施形態によれば、音響効果なしに
符号化された音声信号に対しても、図４の例で示した符
号化時に音響効果を付与した場合と同じ効果が得られ
る。
符号化された音声信号に対しても、図４の例で示した符
号化時に音響効果を付与した場合と同じ効果が得られ
る。
【００６３】又請求項１６記載の発明の実施形態とし
て、図１０の動きベクトル音量変換手段４１０を、各階
層画像の有効画素位置を音響効果付与のためのパラメー
タに変換する有効画素位置音響効果設定値変換手段に、
音声合成増幅手段４０８を音声合成音響効果付与手段４
１２に置き換え、復号化した音声信号に音響効果を付与
するようにしてもよい。更に請求項１７記載の実施形態
として、図１１の階層位置音量変換手段４１１を各階層
画像の視線軸上の位置を示す数値を音響効果付与のため
のパラメータに変換する階層位置音響効果設定値変換手
段に、音声合成増幅手段４０８を音声合成音響効果付与
手段４１２に置き換え、復号化した音声信号に音響効果
を付与するようにしてもよい。
て、図１０の動きベクトル音量変換手段４１０を、各階
層画像の有効画素位置を音響効果付与のためのパラメー
タに変換する有効画素位置音響効果設定値変換手段に、
音声合成増幅手段４０８を音声合成音響効果付与手段４
１２に置き換え、復号化した音声信号に音響効果を付与
するようにしてもよい。更に請求項１７記載の実施形態
として、図１１の階層位置音量変換手段４１１を各階層
画像の視線軸上の位置を示す数値を音響効果付与のため
のパラメータに変換する階層位置音響効果設定値変換手
段に、音声合成増幅手段４０８を音声合成音響効果付与
手段４１２に置き換え、復号化した音声信号に音響効果
を付与するようにしてもよい。
【００６４】
【発明の効果】以上詳細に説明したように本願の請求項
１，４の発明によれば、画面内の有効画素の占める面積
から音量を自動的に設定することができる。又請求項
２，５の発明では有効画素の位置から音量を設定するこ
とができ、請求項３，６の発明では階層画像の階層位置
によって音量を設定することができる。更に請求項７〜
９の発明では、有効画素の面積や位置，階層位置から音
響効果を自動的に設定することができる。更に請求項１
０は音声の符号化時にデータ信号を同時に符号化パラメ
ータとして同時に多重化することができる。更に請求項
１１では、この符号化パラメータを分離して音量に変換
することができ、請求項１２〜１４の発明では、有効画
素の面積変化や動きベクトル及び階層位置に応じて音量
に変換して復号化することができる。更に請求項１５〜
１７の発明では、有効画素の面積変化や動きベクトル，
階層位置に応じた音響効果を復号時に付与することがで
きるという効果が得られる。
１，４の発明によれば、画面内の有効画素の占める面積
から音量を自動的に設定することができる。又請求項
２，５の発明では有効画素の位置から音量を設定するこ
とができ、請求項３，６の発明では階層画像の階層位置
によって音量を設定することができる。更に請求項７〜
９の発明では、有効画素の面積や位置，階層位置から音
響効果を自動的に設定することができる。更に請求項１
０は音声の符号化時にデータ信号を同時に符号化パラメ
ータとして同時に多重化することができる。更に請求項
１１では、この符号化パラメータを分離して音量に変換
することができ、請求項１２〜１４の発明では、有効画
素の面積変化や動きベクトル及び階層位置に応じて音量
に変換して復号化することができる。更に請求項１５〜
１７の発明では、有効画素の面積変化や動きベクトル，
階層位置に応じた音響効果を復号時に付与することがで
きるという効果が得られる。
【００６５】以上のように本発明の映像音声符号化装
置、及び映像音声復号化装置によれば、音量や左右のバ
ランスなどを画面の動きに合わせることにより、臨場感
のある音響効果が得られる。
置、及び映像音声復号化装置によれば、音量や左右のバ
ランスなどを画面の動きに合わせることにより、臨場感
のある音響効果が得られる。
【図１】本発明の映像音声符号化装置の第１の実施形態
のブロック図である。
のブロック図である。
【図２】本発明の映像音声符号化装置の第２の実施形態
のブロック図である。
のブロック図である。
【図３】本発明の映像音声符号化装置の第３の実施形態
のブロック図である。
のブロック図である。
【図４】本発明の映像音声符号化装置の第４の実施形態
のブロック図である。
のブロック図である。
【図５】本発明の映像音声符号化装置の第５の実施形態
のブロック図である。
のブロック図である。
【図６】本発明の映像音声符号化装置の第６の実施形態
のブロック図である。
のブロック図である。
【図７】本発明の映像音声符号化装置の第７の実施形態
のブロック図である。
のブロック図である。
【図８】本発明の映像音声復号化装置の第８の実施形態
のブロック図である。
のブロック図である。
【図９】本発明の映像音声復号化装置の第９の実施形態
のブロック図である。
のブロック図である。
【図１０】本発明の映像音声復号化装置の第１０の実施
形態のブロック図である。
形態のブロック図である。
【図１１】本発明の映像音声復号化装置の第１１の実施
形態のブロック図である。
形態のブロック図である。
【図１２】本発明の映像音声復号化装置の第１２の実施
形態のブロック図である。
形態のブロック図である。
【図１３】階層画像の概念図である。
１０１ 映像符号化手段 １０２ 画素値信号符号化手段 １０３ 画素位置信号符号化手段 １０４ 多重化手段 １０５ 有効画素面積生成手段 １０６ 有効画素面積音量変換手段 １０７ 音声符号化手段 １０８ 音量変換手段 １０９ 符号化手段 １１０ 有効画素面積音響効果設定値変換手段 １１１，１１２，１１３ 音響効果付与手段 ２０５ 有効画素位置生成手段 ２０６ 有効画素位置音量変換手段 ２０７ 音声符号化手段 ２０８，２０９ 音量変換手段 ２１０，２１１ 符号化手段 ２１２ 音声多重化手段 ２２０ 有効画素位置音響効果設定値変換手段 ３０６ 階層位置音量変換手段 ３０７ 映像信号多重化手段 ３０８ 音声信号多重化手段 ３１０ａ，３１０ｂ 階層位置音響効果設定値変換手段 ３２０ 映像音声データ信号多重化手段 ４０１，４０２，４０５，５０１，５０２，５０５ 分
離手段 ４０３，５０３ａ，５０３ｂ 階層画像復号化手段 ４０４，５０４ 階層画像合成手段 ４０６，５０６ａ，５０６ｂ 音声復号化手段 ４０７ 有効画素面積音量変換手段 ４０８ 音声合成増幅手段 ４１０ 動きベクトル音量変換手段 ４１１ 階層位置音量効果変換手段 ４１２ 音声合成音響効果付与手段 ５０８ａ，５０８ｂ 音声増幅手段 ５０９ 音声合成手段 ５１０ 符号化パラメータ音量変換手段
離手段 ４０３，５０３ａ，５０３ｂ 階層画像復号化手段 ４０４，５０４ 階層画像合成手段 ４０６，５０６ａ，５０６ｂ 音声復号化手段 ４０７ 有効画素面積音量変換手段 ４０８ 音声合成増幅手段 ４１０ 動きベクトル音量変換手段 ４１１ 階層位置音量効果変換手段 ４１２ 音声合成音響効果付与手段 ５０８ａ，５０８ｂ 音声増幅手段 ５０９ 音声合成手段 ５１０ 符号化パラメータ音量変換手段
Claims (17)
- 【請求項１】 画素値信号と有効画素位置信号で構成さ
れる映像信号を入力として、前記映像信号を符号化して
映像符号化信号を出力する映像符号化手段と、 音声信号を入力として、前記音声信号を符号化して音声
符号化信号を出力する音声符号化手段と、 入力された有効画素位置信号から、画面内における有効
画素の占める面積を特徴付ける値を生成する有効画素面
積生成手段と、を具備し、 前記音声符号化手段は、前記有効画素面積生成手段が生
成した値に従って符号化パラメータを設定することを特
徴とする映像音声符号化装置。 - 【請求項２】 画素値信号と有効画素位置信号で構成さ
れる映像信号を入力として、前記映像信号を符号化して
映像符号化信号を出力する映像符号化手段と、 複数チャンネルで構成される音声信号を入力として、前
記音声信号を符号化して音声符号化信号を出力する音声
符号化手段と、 入力された有効画素位置信号から、画面内における有効
画素の位置を特徴付ける値を生成する有効画素位置生成
手段と、を具備し、 前記音声符号化手段は、前記有効画素位置生成手段が生
成した値に従って符号化パラメータを設定することを特
徴とする映像音声符号化装置。 - 【請求項３】 視線軸上の前後関係を有する複数の階層
画像信号を入力として、前記階層画像信号を符号化して
映像符号化信号を出力する複数の映像符号化手段と、 前記各階層画像信号に対し１対１に付随する複数の音声
信号を入力として、前記各階層画像信号の視線軸上の階
層の上下関係を示す値に従ってその符号化パラメータを
設定して前記音声信号を符号化して音声符号化信号を出
力する複数の音声符号化手段と、を具備することを特徴
とする映像音声符号化装置。 - 【請求項４】 前記有効画素面積生成手段の生成値を前
記音声符号化手段の音量設定値に変換する有効画素面積
音量変換手段を更に具備し、 前記音声符号化手段は、入力された音声信号を前記有効
画素面積音量変換手段によって変換された音量に変換す
る音量変換手段と、 前記音量変換手段によって変換された音声手段を符号化
する符号化手段と、を有するものであることを特徴とす
る請求項１記載の映像音声符号化装置。 - 【請求項５】 前記有効画素位置生成手段の生成値を前
記音声符号化手段の音量設定値に変換する有効画素位置
音量変換手段を更に具備し、 前記音声符号化手段は、入力された音声信号を前記有効
画素位置音量変換手段によって変換された音量に変換す
る音量変換手段と、 前記音量変換手段によって変換された音声手段を符号化
する符号化手段と、を有するものであることを特徴とす
る請求項２記載の映像音声符号化装置。 - 【請求項６】 各階層画像の視線上の上下関係を示す値
を前記音声符号化手段の音量設定値に変換する階層位置
音量変換手段を更に具備し、 前記音声符号化手段は、入力された音声信号を前記階層
位置音量変換手段によって変換された音量に変換する音
量変換手段と、 前記音量変換手段によって変換された音声手段を符号化
する符号化手段と、を有するものであることを特徴とす
る請求項３記載の映像音声符号化装置。 - 【請求項７】 前記音声符号化手段は、 入力音声信号に対して音響効果を設定する音響効果付与
手段と、 前記音響効果付与手段の出力を符号化する符号化手段
と、を有するものであり、 前記有効画素面積生成手段の出力を前記音響効果付与手
段に与える音響効果設定値に変換する有効画素面積効果
設定値変換手段を更に有するものであることを特徴とす
る請求項１記載の映像音声符号化装置。 - 【請求項８】 前記音声符号化手段は、 入力音声信号に対して音響効果を設定する音響効果付与
手段と、 前記音響効果付与手段の出力を符号化する符号化手段
と、を有するものであり、 前記有効画素位置生成手段の出力を前記音響効果設定値
に変換する有効画素位置音響効果設定値変換手段を更に
有するものであることを特徴とする請求項２記載の映像
音声符号化装置。 - 【請求項９】 前記音声符号化手段は、 入力音声信号に対して音響効果を設定する音響効果付与
手段と、 前記音響効果付与手段の出力を符号化する符号化手段
と、を有するものであり、 階層位置信号を音響効果設定値に変換する階層位置音響
効果設定値変換手段を更に有するものであることを特徴
とする請求項３記載の映像音声符号化装置。 - 【請求項１０】 前記映像符号化手段が出力する映像符
号化信号と前記音声符号化手段が出力する音声符号化信
号とデータ信号とを多重化する多重化手段を備え、前記
音声符号化手段に設定する符号化パラメータを、前記映
像符号化信号と、前記音声符号化信号に多重化して出力
することを特徴とする請求項１，２，又は３記載の映像
音声符号化装置。 - 【請求項１１】 請求項１０記載の映像音声符号化装置
が出力する映像音声符号化信号を復号化して映像信号，
音声信号を出力する映像音声復号化装置であって、 前記映像音声符号化信号を映像符号化信号と音声符号化
信号と符号化パラメータとに分離する分離手段と、 映像符号化信号を映像信号に復号化する映像信号復号化
手段と、 音声符号化信号を音声信号に復号化する音声信号復号化
手段と、 前記分離手段によって分離された符号化パラメータを復
号化される音声信号の再生時の音量設定値に変換する音
量変換手段と、を具備することを特徴とする映像音声復
号化装置。 - 【請求項１２】 有効画素の占める面積の変化を特徴付
ける値が重畳されて符号化された映像符号化信号、及び
音声符号化信号を入力とし、前記映像符号化信号と音声
符号化信号を復号化して映像信号、音声信号を出力する
映像音声復号化装置であって、 入力された映像符号化信号に重畳された有効画素の占め
る面積の変化を特徴付ける値を、復号化された音声信号
の再生時の音量設定値に変換する有効画素面積音量変換
手段を備えたことを特徴とする映像音声復号化装置。 - 【請求項１３】 動きベクトル値が重畳された映像符号
化信号、及び複数チャンネルで構成される音声符号化信
号を入力とし、前記映像符号化信号と音声符号化信号を
復号化して映像信号、音声信号を出力する映像音声復号
化装置であって、 入力された映像符号化信号に重畳された動きベクトル値
を、復号化された各チャンネルの音声信号の再生時の音
量設定値に変換する動きベクトル音量変換手段を備えた
ことを特徴とする映像音声復号化装置。 - 【請求項１４】 視線軸上の前後関係を有する複数の階
層画像信号と各階層画像の視線軸上の階層の上下関係を
示す値とを重畳して符号化された映像符号化信号、及び
前記各階層画像信号に対し１対１に付随する複数の音声
符号化信号を入力とし、前記映像符号化信号と音声符号
化信号を復号化して映像信号、音声信号を出力する映像
音声復号化装置であって、 入力された映像符号化信号に重畳された視線軸上の階層
の上下関係を示す値を、復号化された音声信号の再生時
の音量設定値に変換する階層位置音量変換手段を備えた
ことを特徴とする映像音声復号化装置。 - 【請求項１５】 複号化された音声信号に対して音響効
果が設定可能な音響効果付与手段と、 有効画素の占める面積の変化を特徴付ける値を前記音響
効果付与手段の音響効果設定値に変換する有効画素面積
音響効果変換手段と、を備え、 前記音響効果付与手段は、前記有効画素面積音響効果変
換手段が生成した音響効果設定値に従って音声信号に対
して音響効果を付与することを特徴とする映像音声復号
化装置。 - 【請求項１６】 複号化された音声信号に対して音響効
果が設定可能な音響効果付与手段と、 動きベクトル値を前記音響効果付与手段の音響効果設定
値に変換する動きベクトル音響効果変換手段と、を備
え、 前記音響効果付与手段は、前記動きベクトル音響効果変
換手段が生成した音響効果設定値に従って音声信号に対
して音響効果を付与することを特徴とする映像音声復号
化装置。 - 【請求項１７】 複号化された音声信号に対して音響効
果が設定可能な音響効果付与手段と、 各階層画像の視線上の階層の上下関係を示す値を前記音
響効果付与手段の音響効果設定値に変換する階層位置音
響効果設定値変換手段と、を備え、 前記音響効果付与手段は、前記階層位置音響効果設定値
変換手段が生成した音響効果設定値に従って音声信号に
対して音響効果を付与することを特徴とする映像音声復
号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5090796A JPH09219858A (ja) | 1996-02-13 | 1996-02-13 | 映像音声符号化装置及び映像音声復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5090796A JPH09219858A (ja) | 1996-02-13 | 1996-02-13 | 映像音声符号化装置及び映像音声復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09219858A true JPH09219858A (ja) | 1997-08-19 |
Family
ID=12871852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5090796A Pending JPH09219858A (ja) | 1996-02-13 | 1996-02-13 | 映像音声符号化装置及び映像音声復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09219858A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010061791A1 (ja) * | 2008-11-28 | 2010-06-03 | シャープ株式会社 | 映像制御装置およびそれを備えた撮像装置、表示装置 |
| WO2013008869A1 (ja) * | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
| US8675140B2 (en) | 2010-06-16 | 2014-03-18 | Canon Kabushiki Kaisha | Playback apparatus for playing back hierarchically-encoded video image data, method for controlling the playback apparatus, and storage medium |
| WO2015151131A1 (ja) * | 2014-03-31 | 2015-10-08 | パナソニックＩｐマネジメント株式会社 | 指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システム |
| US9516412B2 (en) | 2014-03-28 | 2016-12-06 | Panasonic Intellectual Property Management Co., Ltd. | Directivity control apparatus, directivity control method, storage medium and directivity control system |
-
1996
- 1996-02-13 JP JP5090796A patent/JPH09219858A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010061791A1 (ja) * | 2008-11-28 | 2010-06-03 | シャープ株式会社 | 映像制御装置およびそれを備えた撮像装置、表示装置 |
| US8675140B2 (en) | 2010-06-16 | 2014-03-18 | Canon Kabushiki Kaisha | Playback apparatus for playing back hierarchically-encoded video image data, method for controlling the playback apparatus, and storage medium |
| WO2013008869A1 (ja) * | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
| US9516412B2 (en) | 2014-03-28 | 2016-12-06 | Panasonic Intellectual Property Management Co., Ltd. | Directivity control apparatus, directivity control method, storage medium and directivity control system |
| WO2015151131A1 (ja) * | 2014-03-31 | 2015-10-08 | パナソニックＩｐマネジメント株式会社 | 指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システム |
| CN105706462A (zh) * | 2014-03-31 | 2016-06-22 | 松下知识产权经营株式会社 | 指向性控制装置、指向性控制方法、存储介质及指向性控制系统 |
| JPWO2015151131A1 (ja) * | 2014-03-31 | 2017-04-13 | パナソニックＩｐマネジメント株式会社 | 指向性制御方法、記憶媒体及び指向性制御システム |
| CN105706462B (zh) * | 2014-03-31 | 2018-11-30 | 松下知识产权经营株式会社 | 指向性控制装置、指向性控制方法、存储介质及指向性控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6914994B2 (ja) | 高次アンビソニックス・オーディオ信号の再生のための方法および装置 | |
| JP6734343B2 (ja) | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 | |
| EP1416769B1 (en) | Object-based three-dimensional audio system and method of controlling the same | |
| US7788690B2 (en) | Receiving apparatus and method | |
| US6377309B1 (en) | Image processing apparatus and method for reproducing at least an image from a digital data sequence | |
| US7054539B2 (en) | Image processing method and apparatus | |
| MXPA96002842A (en) | Method and multip data current search system | |
| KR20010072936A (ko) | 정보 스트림의 포스트-동기화 | |
| CN112673649B (zh) | 空间音频增强 | |
| JP2011061852A (ja) | 画像復号化装置および画像復号化方法 | |
| JPH09219858A (ja) | 映像音声符号化装置及び映像音声復号化装置 | |
| JP3927713B2 (ja) | 放送受信装置およびその方法 | |
| JP4306850B2 (ja) | 放送受信装置およびその方法 | |
| JP4343411B2 (ja) | 画像処理方法及び装置と再生方法とプログラム及び記憶媒体 | |
| JP4289753B2 (ja) | 再生方法及び装置と表示装置 | |
| JP4401463B2 (ja) | 放送受信装置及びその方法 | |
| US7154906B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code | |
| JP2001119302A (ja) | 符号化装置、復号装置、情報処理システム、情報処理方法、及び記憶媒体 | |
| JPH1056644A (ja) | 画像信号復号化装置及び画像信号復号化方法 | |
| JP2000078574A (ja) | 映像音声再生装置 | |
| Funk | Hologlyphics: Volumetric image synthesis performance system | |
| JP2001036913A (ja) | 動画像復号装置 | |
| JPH06284393A (ja) | 圧縮画像データフォーマットと圧縮画像データと圧縮画像データ生成装置 |