JP5174027B2 - ミックス信号処理装置及びミックス信号処理方法 - Google Patents

ミックス信号処理装置及びミックス信号処理方法 Download PDF

Info

Publication number
JP5174027B2
JP5174027B2 JP2009530283A JP2009530283A JP5174027B2 JP 5174027 B2 JP5174027 B2 JP 5174027B2 JP 2009530283 A JP2009530283 A JP 2009530283A JP 2009530283 A JP2009530283 A JP 2009530283A JP 5174027 B2 JP5174027 B2 JP 5174027B2
Authority
JP
Japan
Prior art keywords
signal
mix
additional information
source
mix signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009530283A
Other languages
English (en)
Other versions
JP2010505143A (ja
Inventor
オー オー，ヒェン
ウォン ジュン，ヤン
ヨン ユーン，ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2010505143A publication Critical patent/JP2010505143A/ja
Application granted granted Critical
Publication of JP5174027B2 publication Critical patent/JP5174027B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、信号処理方法及び装置に関するもので、より詳細には、オーディオ信号またはビデオ信号などのミックス信号をエンコーディング及びデコーディングできる信号処理方法及び装置に関する。
一般に、ステレオ信号が最も頻繁に生成され、消費者に最も広く利用されている。最近では、マルチチャネル信号が益々広く利用されてきている。しかし、これらのミックス信号は、ミックス信号を構成するソース信号単位ではなく、チャネル信号単位で処理されるという限界がある。したがって、チャネル信号単位でミックス信号を処理する場合、ミックス信号を構成する特定ソース信号のみを独立して処理できないという問題点がある。例えば、映画を見ながら俳優たちの音声のボリュームを一定に維持したまま、背景音楽のボリュームのみを上げることは不可能である。また、付加情報のビットストリームを構成する方法がまだ定められておらず、付加情報を記憶するのに問題点がある。
また、記録媒体にメディア信号を記憶する場合、該メディア信号に対する付加情報を記憶できる補助データ領域が存在しない場合がある。したがって、このような場合には、メディア信号をソース信号単位で処理できないという問題点がある。また、付加情報を別途記憶したり、または別途伝送する場合には一般的なオーディオ信号フォーマットとの互換性において問題点がある。
また、ユーザがミックス信号（または合成ソース信号）をソース別に、すなわち、ソース信号別にリミキシングしてミックス信号を再生させた後、過去にリミキシングしたミックス信号を後で再生したい場合には、過去に入力した制御情報をそのまま再び入力しなければならないという問題がある。
また、チャネル単位でミックス信号を処理するため、ミックス信号に含まれたソース信号をユーザが提供する特定のソース信号に置き替えることが不可能であるという問題がある。
上記の問題点を解決するために、本発明は、ミックス信号及び付加情報を用いてリミックス信号を生成する方法を提供することを課題とする。
また、本発明は、リミックス信号を生成するのに用いられる付加情報のビットストリームを構成する方法を提供することを課題とする。
また、本発明は、付加情報を用いてメディア信号をソース信号単位で処理するために、メディア信号に対する付加情報を埋め込む符号化／復号化方法及び装置を提供することを課題とする。
また、本発明は、ミックス信号のリミックスにおいて、ユーザが入力した制御情報を記憶させた後に、後でそのミックス信号をリミキシングするのに用いることができるようにするミックス信号制御方法及び装置を提供することを課題とする。
また、本発明は、特に、パニング効果またはフェーディング効果を特定区間に適用する際に、制御情報のデータ容量を最小化できるミックス信号のインターフェース表示方法及び装置を提供することを課題とする。
また、本発明は、ミックス信号に含まれるソース信号が別途存在しない場合に、ソース信号と類似する信号を用いてソース信号別付加情報を生成する方法を提供することを課題とする。
また、本発明は、デコーディング装置でミックス信号を用いて該ミックス信号をリミックスするための付加情報を生成する方法及び装置を提供することを課題とする。
また、本発明は、ミックス信号に含まれた特定のソース信号を、ユーザが提供するソース信号に置き換える方法及び装置を提供することを課題とする。
また、本発明は、ユーザがソース信号を用いてミックス信号を変形できる信号処理方法及び装置を提供することを課題とする。
上記課題を解決するために、本発明は、ミックス信号ビットストリームから１つ以上のソース信号を含むミックス信号を抽出する段階と、付加情報ビットストリームから付加情報を抽出する段階と、ユーザミックスパラメータを獲得する段階と、前記ミックス信号、前記付加情報及び前記ユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、前記付加情報ビットストリームは、第１ヘッダ領域とデータ領域とに区分され、前記データ領域は、１つ以上のフレームデータ領域及び１つ以上の第２ヘッダ領域を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、前記ソース信号からリミックスされるソース信号を獲得する段階と、前記ミックス信号及び前記リミックスされるソース信号を用いて付加情報を生成する段階と、前記ミックス信号及び前記付加情報を用いて各々ミックス信号ビットストリーム及び付加情報ビットストリームを生成する段階と、を含み、前記付加情報ビットストリームは、第１ヘッダ領域とデータ領域とに区分され、前記データ領域は、１つ以上のフレームデータ領域及び１つ以上の第２ヘッダ領域を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に埋め込まれた付加情報を抽出する段階と、前記付加情報及び前記ミックス信号を用いてリミキシング信号を生成する段階と、を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号及び前記ミックス信号に含まれたソース信号を用いて前記ミックス信号をリミキシングするための付加情報を生成する段階と、前記付加情報を前記ミックス信号成分のうち非知覚領域に埋め込む段階と、を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に埋め込まれた結合信号を抽出する段階と、前記結合信号を無損失復号化し、前記非知覚領域に対応する信号成分を復元する段階と、前記復元された信号成分を用いて前記結合信号の抽出されたミックス信号を復元する段階と、を含み、前記結合信号は、前記ミックス信号成分のうち非知覚領域に位置する信号成分を無損失符号化した信号成分及び付加情報を含み、前記付加情報は、前記ミックス信号をリミキシングするための情報を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に位置する信号成分を無損失符号化する段階と、前記無損失符号化された信号成分及び付加情報を結合して結合信号を生成する段階と、前記結合信号を前記非知覚領域に埋め込む段階と、を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に存在する付加情報を抽出する段階と、前記付加情報の抽出されたミックス信号を符号化する段階と、前記符号化されたミックス信号及び前記付加情報を用いてビットストリームを生成する段階と、を含み、前記付加情報は、前記ミックス信号をリミキシングするための情報を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ビットストリームから符号化されたミックス信号及び付加情報を抽出する段階と、前記符号化されたミックス信号を復号化する段階と、前記復号化されたミックス信号成分のうち非知覚領域に前記付加情報を埋め込む段階と、を含み、前記付加情報は、前記ミックス信号をリミキシングするための情報を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に埋め込まれた符号化された付加情報を抽出する埋め込み信号デコーディング部と、前記符号化された付加情報をデコーディングして付加情報を生成する付加情報デコーディング部と、前記付加情報及び前記ミックス信号を用いてリミキシング信号を生成するリミックスレンダリング部と、を含むことを特徴とする信号処理装置を提供する。
また、上記課題を解決するために、本発明は、ミックス信号の識別情報を受信する段階と、前記ミックス信号とマッチングされるソース制御情報を読み取って出力する段階と、を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号の処理装置と連係している信号処理装置であって、ミックス信号の識別情報別ソース制御情報が記憶されているメモリと、ミックス信号の識別情報に基づいて、前記ミックス信号とマッチングするソース制御情報を前記メモリから読み取り、前記ミックス信号の処理装置に出力する制御部と、を含むことを特徴とする信号処理装置を提供する。
また、上記課題を解決するために、本発明は、ミックス信号に該当するソース制御情報を読み取る段階と、前記ソース制御情報を第２ミックス信号制御装置に伝送する段階と、を含み、前記ソース制御情報は、ミックス信号を識別するためのミックス信号の識別情報を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号に該当するソース制御情報が記憶されているメモリと、第２ミックス信号制御装置と通信するための通信部と、前記ソース制御情報を前記通信部を通じて第２ミックス信号制御装置に伝送するようにする制御部と、を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号に該当する付加情報及び制御情報を受信する段階と、前記付加情報及び前記制御情報に基づいて、前記ミックス信号をアップミックスするためのアップミキシングパラメータを生成する段階と、を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号に該当する制御情報を受信するための通信部と、前記制御情報及び付加情報に基づいて前記ミックス信号をアップミックスするためのアップミキシングパラメータを生成するパラメータ生成部と、を含むことを特徴とする信号処理装置を提供する。
また、上記課題を解決するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、ミックスパラメータを獲得する段階と、前記ミックス信号に含まれた特定空間を表す信号成分を用いて付加情報を生成する段階と、前記ミックス信号、前記ミックスパラメータ、及び前記付加情報を用いてリミックス信号を生成する段階と、を含み、前記付加情報は、前記ミックス信号に含まれたソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、ミックス信号に含まれた特定の第１ソース信号を調節して第１リミックス信号を生成する段階と、前記ミックス信号に含まれていない別の第２ソース信号を生成する段階と、前記第１リミックス信号及び前記第２ソース信号を用いて第２リミックス信号を生成する段階と、を含むことを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、１つ以上の第１ソース信号を含む第１ミックス信号を獲得する段階と、前記第１ミックス信号に含まれていない第２ソース信号を獲得する段階と、前記第１ミックス信号及び前記第２ソース信号を用いて第２ミックス信号を生成する段階と、を含むことを特徴とする信号処理方法を提供する。
また、上記目的を解決するために、本発明は、通信網を通じてユーザ端末と結合するソース信号提供サーバで行なうソース信号提供方法であって、前記ユーザ端末からソース信号の選択情報を獲得する段階と、前記選択情報によって、選択されたソース信号に対する付加情報を生成する段階と、前記選択されたソース信号及び前記付加情報を前記ユーザ端末に伝送する段階と、を含み、前記付加情報は、前記ソース信号を用いてリミックス信号を生成するのに用いられる情報であることを特徴とする信号処理方法を提供する。
また、上記課題を解決するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、前記ミックス信号に含まれた特定空間を表す信号成分を用いて付加情報を生成する付加情報生成部と、前記ミックス信号、前記ミックスパラメータ、及び前記付加情報を用いてリミックス信号を生成するリミックスレンダリング部と、を含み、前記付加情報は、前記ミックス信号に含まれたソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理装置を提供する。
また、上記課題を解決するために、本発明は、ミックス信号に含まれた特定の第１ソース信号を調節して第１リミックス信号を生成するリミックスレンダリング部と、前記ミックス信号に含まれていない他の第２ソース信号を生成するソース信号生成部と、前記第１リミックス信号及び前記第２ソース信号を用いて第２リミックス信号を生成するレコーディング部と、を含むことを特徴とする信号処理装置を提供する。
また、上記課題を解決するために、本発明は、１つ以上の第１ソース信号を含む第１ミックス信号を獲得するミックス信号デコーディング部と、前記第１ミックス信号に含まれていない第２ソース信号を獲得するソース信号デコーディング部と、前記第１ミックス信号及び前記第２ソース信号を用いて第２ミックス信号を生成するミックス信号変形部と、を含み、前記第２ミックス信号は、前記第１ソース信号及び前記第２ソース信号のうち、ユーザが選択したソース信号のみを含むことを特徴とする信号処理装置を提供する。
本発明に係る信号処理方法及び装置によれば、リミックス信号を生成するのに必要な付加情報のビットストリームを構成する方法を規定することによってデータをより効率的に管理し、かつ、該ビットストリームで構成されたデータは互いに互換性を持つことができるという効果が得られる。
また、本発明に係る信号処理方法及び装置によれば、オーディオ信号をコーディングするに当たり、低いビット率を持つ付加情報を用いてオーディオ信号に含まれた特定のソース信号をリミックスすることができる。この場合、ソース信号をリミキシングするための付加情報が必要となる。本発明は、この付加情報をオーディオ信号に埋め込むことによって、補助データ領域が存在しない記憶媒体や、補助データ領域が存在しないデータフォーマットにリミックス信号を再生できる方法及び装置を提供するという効果がある。
また、本発明による信号処理方法及び装置によれば、ミックス信号をリミックスするに当たり、ユーザが入力した制御情報を記憶させた後、後でそのミックス信号をリミキシングするのに利用できるため、ユーザが希望通りにリミキシングしたミックス信号を特別な操作なしに反復再生できるという効果がある。
また、本発明による信号処理方法及び装置によれば、パニング効果またはフェーディング効果を特定区間に適用するに当たり、区間内における制御情報を除外させても、以降同じ効果を奏するソース制御情報を再生できるため、制御情報のデータ容量を最小化できるという効果がある。
また、本発明による信号処理方法及び装置によれば、ユーザにより記憶されたソース制御情報がミックス信号またはミックス信号の付加情報とは独立して流通され、他のユーザによっても消費することができるため、ミックス信号をリミキシングしたユーザは編曲者または編集者となることができるという効果がある。
また、本発明による信号処理方法及び装置によれば、低いビット率を持つ付加情報を用いてミックス信号に含まれた特定のソース信号をリミキシングすることができる。また、別のソース信号が存在しないミックス信号からソース信号別パラメータを生成できるという効果を提供する。
また、本発明による信号処理方法及び装置によれば、デコーディング装置でミックス信号を用いてソース信号別パラメータを生成できるという効果を提供する。また、ユーザが直接生成したソース信号が合成されたミックス信号を生成するという効果を提供する。
本発明の一実施例による第１信号処理装置のブロック図である。 ステレオ信号を用いる場合、図１に示す第１信号処理装置の詳細ブロック図である。 本発明の一実施例によるメディア信号を処理するためのドメインである。 本発明の一実施例による第２信号処理装置のブロック図である。 本発明の一実施例による第３信号処理装置のブロック図である。 ステレオ信号を用いる場合、図５に示す第３信号処理装置の詳細ブロック図である。 本発明の一実施例による第４信号処理装置のブロック図である。 通常のエンコーディング装置及び本発明の一実施例による信号処理装置の結合を示すブロック図である。 通常のデコーディング装置及び本発明の一実施例による信号処理装置の結合を示すブロック図である。 本発明の一実施例による第５信号処理装置のブロック図である。 本発明の一実施例によるミックス信号ビットストリーム及び付加情報ビットストリームのデータ構造を示す図である。 図１０に示す付加情報ビットストリームの詳細データ構造を示す図である。 本発明の一実施例による第６信号処理装置のブロック図である。 図１３に示す第６信号処理装置を構成する埋め込み部の詳細ブロック図である。 本発明の一実施例による付加情報を埋め込む方法を示す図である。 本発明の一実施例による付加情報を再構成したデータ構造を示す図である。 本発明の一実施例による埋め込まれた付加情報を用いてオーディオ信号をデコーディングする第７信号処理装置のブロック図である。 元信号を保存しながら付加情報を埋め込む本発明の一実施例による第８信号処理装置を構成する埋め込み部の詳細ブロック図である。 本発明の一実施例による元信号を保存しながら付加情報を埋め込む方法を示す図である。 元信号を完全に復元する本発明の一実施例による第８信号処理装置のブロック図である。 本発明の一実施例による２つのチャネルのオーディオ信号に付加情報を埋め込む第１方法を示す図である。 本発明の一実施例による２つのチャネルのオーディオ信号に付加情報を埋め込む第２方法を示す図である。 本発明の一実施例による埋め込まれた付加情報を除去する第９信号処理装置のブロック図である。 本発明の一実施例による付加情報が埋め込まれたミックス信号のビットストリームを生成する第１０信号処理装置のブロック図である。 図２４に示す第１０信号処理装置の詳細ブロック図である。 本発明の一実施例によるミックス信号に付加情報を埋め込む第１１信号処理装置のブロック図である。 本発明の一実施例によるミックス信号を制御するための第１１信号処理装置のブロック図である。 本発明の一実施例によるパニング効果において、始点情報、終点情報並びに始点及び終点におけるゲインファクタを説明するための図である。 本発明の一実施例によるフェーディング効果において、始点情報、終点情報並びに始点及び終点におけるゲインファクタを説明するための図である。 本発明の一実施例によるソース制御情報の目録を表示した画面例を示す図である。 本発明の一実施例によるソース制御情報の目録を表示した画面例を示す図である。 本発明の一実施例によるミックス信号を制御するための第１２信号処理装置のブロック図である。 本発明の一実施例によるミックス信号処理方法を示すフローチャートである。 本発明の一実施例によるソース制御情報が生成されて用いられる過程を示す図である。 本発明の一実施例によるミックス信号を制御するための第１３信号処理装置のブロック図である。 本発明の一実施例によるミックス信号処理方法を示すフローチャートである。 本発明の一実施例によるミックス信号を制御するための第１４信号処理装置のブロック図である。 本発明の一実施例によるミックス信号処理方法を示すフローチャートである。 本発明の一実施例による付加情報を生成する方法を示すフローチャートである。 本発明の一実施例による特定のソース信号を替えるための第１５信号処理装置を示すブロック図である。 本発明の一実施例による第１６信号処理装置のブロック図である。 本発明の一実施例による第１７信号処理装置のブロック図である。 本発明の一実施例によるミックス信号変形部の内部ブロック図である。 本発明の一実施例によるソース信号提供サーバを用いて信号処理する方法を示す図である。 本発明の一実施例によるミックス信号を変形する方法を示すフローチャートである。 本発明の一実施例によるミックス信号を変形する方法を示すフローチャートである。
以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。ただし、本明細書及び請求範囲に用いられた用語や単語は通常的または辞書的な意味に限定して解釈されてはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適宜定義することができるという原則に立ち、本発明の技術的思想に符合する意味及び概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎないもので、本発明の技術的思想を限定するためのものではない。したがって、本出願時点においてこれらに代わる様々な均等物と変形例が存在しうることは明らかである。
図１は、本発明の一実施例による第１信号処理装置のブロック図である。この第１信号処理装置は、付加情報生成部１０３及び付加情報エンコーディング部１０５を含む。
図１を参照すると、付加情報生成部１０３は、通常のミックス信号１０１及びミックス信号を構成するソース信号１０２を用いて付加情報１０４を生成する。ミックス信号１０１は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができる。ソース信号１０２は、ミックス信号１０１を構成するソース信号の一部を含んでもよく、全部を含んでもよい。付加情報１０４は、ミックス信号をソース信号単位で処理するのに用いられる情報のことを指す。付加情報１０４は、ミックス信号をリミキシングするためのミックスパラメータを含む。このミックスパラメータには、エンコーダでソース信号を用いて生成されたエンコーダミックスパラメータを含み、選択的にミックス信号のみを用いて生成されたブラインドミックスパラメータを含むことができる。ミックスパラメータの例には、それぞれのソース信号に対するゲイン値及びサブバンドパワーなどがある。付加情報１０４に対する具体的な定義及び生成方法は、図２で説明する。本発明は、また、ミックス信号を構成するソース信号１０２のみを用いて付加情報１０４を生成することもできる。付加情報エンコーディング部１０５は、生成された付加情報１０４をエンコーディングし、符号化された付加情報信号１０６を生成する。ミックス信号１０１及び付加情報信号１０６は、デコーディング装置に伝送される。
図２は、ステレオ信号を用いる場合の、図１に示す第１信号処理装置の詳細ブロック図である。前述したように、本発明で用いられるミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができるが、便宜上、ステレオ信号２０１を基準にして説明する。
Figure 0005174027
Figure 0005174027
Figure 0005174027
本発明の目的は、Ｍ個（０≦Ｍ≦Ｉ）のソース信号がリミックスされるように、該ソース信号を含むステレオ信号を修正することにある。これらソース信号は互いに異なるゲインファクタを持ちながらステレオ信号にリミックスすることができる。リミックス信号は式２のように表現することができる。
Figure 0005174027
ここで、ｃi及びｄiは、リミックスされるＭ個のソース信号に対する新しいゲインファクタである。ｃi及びｄiはデコーダ端より提供することができる。この場合、付加情報生成部２０６は、ステレオ信号２０１及びＭ個のソース信号２０２を用いて付加情報２０７を生成することができる。
上述の如く、本発明の目的は、通常のステレオ信号と若干の付加情報が与えられる場合に、ステレオ信号をソース信号単位でリミックスすることにある。本発明におけるように、ごく少ない量の付加情報を用いて上記の式１で表現されるミックス信号から上記の式２で表現されるリミックス信号を完璧に生成することは不可能である。
Figure 0005174027
図２を参照すると、第１信号処理装置に通常のステレオ信号２０１及びステレオ信号２０１に含まれるＭ個のソース信号２０２が入力される。ステレオ信号２０１は、付加情報と同期させるためにある程度ディレーされ、出力信号として直接用いることができる。付加情報を生成するために、ステレオ信号２０１及びソース信号２０２は、フィルタバンク２０３を通じて時間−周波数ドメインのサブバンド別信号２０４及び２０５に分解される。すなわち、ステレオ信号２０１及びソース信号は時間−周波数ドメインで処理される。この時間−周波数ドメインについては図３で後述する。サブバンド別信号２０４は、各サブバンドの中心周波数で同様に処理される。特定の周波数でステレオ信号２０１のサブバンド対２０４はｘ1（ｋ）及びｘ2（ｋ）で表示される。ここで、ｋはサブバンド信号の時間インデックスである。同様に、Ｍ個のソース信号２０２のサブバンド信号２０５は、ｓ1（ｋ），ｓ2（ｋ），…，ｓM（ｋ）で表示される。明瞭な表現のために、サブバンド（周波数）インデックスを使用しなかった。
これらのソース信号２０２のサブバンド信号２０５が与えられると、付加情報生成部２０６は、サブバンド別にショート−タイムサブバンドパワーＥ｛ｓi 2（ｋ）｝を生成する。また、付加情報生成部２０６は、ステレオ信号２０１のサブバンド対２０４を用いて、サブバンド別にゲインファクタａi及びｂiを生成する。このゲインファクタａi及びｂiは、外部から直接与えることができる。このサブバンド別ショート−タイムサブバンドパワー及びゲインファクタを用いてサブバンド別付加情報２０７が生成される。付加情報生成部２０６は、ショート−タイムサブバンドパワー及びゲインファクタの他にステレオ信号に関連した他の情報を付加情報２０７として生成できる。付加情報エンコーディング部２０８は、サブバンド別付加情報２０７を用いて、符号化された付加情報信号２０９を生成する。
多数のステレオ信号２０１に対して、ゲインファクタａi及びｂiは不変とする。ａi及びｂiが時間ｋによって変化するとすれば、これらゲインファクタは時間の関数として生成される。これらゲインファクタは直接量子化及び符号化せずに、まず、より量子化及び符号化に適合した他の値に変形することができる。また、Ｅ｛ｓi 2（ｋ）｝はステレオ信号２０１のサブバンドパワーに相対的な値に正規化することができる。これは、ステレオ信号を効率的に符号化する目的で通常のエンコーディング装置が用いられる場合に、本発明を相対的に変化に強くさせる。例えば、ａi及びｂiは、式３で表現されるゲイン及びデシベル（dB）単位のレベル差に変換して伝送することができる。
Figure 0005174027
また、Ｅ｛ｓi 2（ｋ）｝は付加情報として直接符号化されるのではなく、式４で表現されるステレオ信号に相対的に定義された値に変換して伝送することができる。
Figure 0005174027
ショート−タイムサブバンドパワーを生成するために、本発明は単一ポール平均を使用する。すなわち、Ｅ｛ｓi 2（ｋ）｝は、式５のように計算することができる。
Figure 0005174027
Figure 0005174027
Figure 0005174027
ここで、ｆsはサブバンドサンプリング周波数を表す。例えば、Ｔ＝４０ｍｓを利用できる。
Figure 0005174027
Figure 0005174027
同様に、ｂiは、式８のように計算される。
Figure 0005174027
図３は、本発明の一実施例によるメディア信号を処理するためのドメインを示す。前述したように、オーディオ信号及び付加情報は、図３に示すような時間−周波数ドメインのサブバンド別信号として処理される。この時間−周波数ドメインのサブバンド別信号は知覚的に誘導される。例えば、約２０ｍｓの長さを持つサイン波分析窓及び統合窓を持つＳＴＦＴ（Short Time Fourier transform）を用いてサブバンド別信号を生成できる。この時、ＳＴＦＴ係数は、１つのグループがＥＲＢ（equivalent rectangular bandwidth）の約２倍となる帯域幅を持つようにグループ化することができる。
図４は、本発明の一実施例による第２信号処理装置のブロック図である。図４を参照すると、ダウンミキシング部４０２は、複数のソース信号４０１を合算して１つの和信号４０４を生成する。第２信号処理装置は、第１信号処理装置とは違い、ステレオ信号を伝送する代わりに和信号４０４を伝送する。付加情報生成部４０３は、ソース信号４０１を用いて付加情報４０５を生成する。付加情報４０５は、各ソース信号に対応するサブバンドパワー及びゲインファクタを含む。また、付加情報４０５は、リミックスレンダリング部におけるディレーに対応するパラメータを含むことができる。第１信号処理装置におけると略同様に、付加情報４０５は、より量子化及び符号化に適合した他の値に変換して伝送することができる。付加情報エンコーディング部４０６は、生成された付加情報４０５を用いて、符号化された付加情報信号４０７を生成する。生成された和信号４０４及び付加情報信号４０７はデコーディング装置に伝送される。本発明はまた、ダウンミキシング部４０２を有しないエンコーディング装置を含む。この場合、ソース信号４０１は、和信号４０４に変換されず、各ソース信号４０１が直接伝送される。
図５は、本発明の一実施例による第３信号処理装置のブロック図である。この第３信号処理装置は、付加情報デコーディング部５０３及びリミックスレンダリング部５０５を含む。
図５を参照すると、ミックス信号５０１及び付加情報信号５０２が第３信号処理装置に入力される。ミックス信号５０１は、モノ、ステレオまたはマルチチャネルオーディオ信号とすることができる。付加情報デコーディング部５０３は、付加情報信号５０２をデコーディングして付加情報５０４を生成する。付加情報５０４は、伝送されたオーディオ信号５０１に含まれたソース信号のゲインファクタ及びサブバンドパワーなどを含む。リミックスレンダリング部５０５には、ユーザが直接提供する制御情報を用いて生成されたユーザミックスパラメータ５０６を入力することができる。リミックスレンダリング部５０５は、ミックス信号５０１、伝送された付加情報５０４及びユーザミックスパラメータ５０６を用いてリミックス信号５０７を生成する。リミックス信号を生成する方法についての具体的な説明は、図６で後述する。リミックス信号５０７は、伝送されたミックス信号のチャネル数と同じチャネル数を持つＥｑチャネルミックス信号として生成するか、または、ミックス信号のチャネル数より多いチャネル数を持つアップチャネルミックス信号として生成することができる。
図６は、ステレオ信号を用いる場合における、図５の第３信号処理装置を示す詳細ブロック図である。前述したように、伝送されたミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができるが、便宜上、ステレオ信号６０１とする。
図６を参照すると、ステレオ信号６０１は、フィルタバンク６０３を通じて時間−周波数ドメインのサブバンド別信号６０４に分解される。図６に示すように、特定の周波数におけるサブバンド別信号６０４はｘ1（ｋ）及びｘ2（ｋ）で表現される。付加情報デコーディング部６０５は、伝送された付加情報信号６０２を復号化し、サブバンド別付加情報６０６を生成する。また、リミックスレンダリング部６０７に、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ６０８を入力することができ、ユーザミックスパラメータ６０８はサブバンド別に提供することができる。前述したように、付加情報６０６は、リミックスされるＭ個のソース信号に対するサブバンド別ゲインファクタ（ａi及びｂi）及びＥ｛ｓi 2（ｋ）｝で表現されるサブバンドパワーを含む。
Figure 0005174027
リミックスレンダリング部６０７で生成されたリミックス信号６０９を生成する方法は、次の通りである。
Figure 0005174027
Figure 0005174027
サブバンド別リミックス信号６０９は、式１０のように表現することができる。
Figure 0005174027
リミックス信号６０９を生成するために、最小二乗推定法を用いることができる。サブバンド別ミックス信号６０４ｘ1（ｋ）及びｘ2（ｋ）が与えられると、式１１のように、互いに異なるゲインを持つサブバンド別リミックス信号６０９がサブバンド別ミックス信号６０４の線形結合として推定することができる。
Figure 0005174027
ここで、ｗ11（ｋ），ｗ12（ｋ），ｗ21（ｋ）及びｗ22（ｋ）は、重み係数である。このとき、生成される推定誤差は、式１２のように定義することができる。
Figure 0005174027
重み係数ｗ11（ｋ），ｗ12（ｋ），ｗ21（ｋ）及びｗ22（ｋ）は平均自乗誤差Ｅ｛ｅ1 2（ｋ）｝及びＥ｛ｅ2 2（ｋ）｝が最小となるようにサブバンド別に生成することができる。このとき、推定誤差ｅ1（ｋ）及びｅ2（ｋ）がｘ1（ｋ）及びｘ2（ｋ）に直交する時に、平均自乗誤差が最小となることを利用することができる。生成されるｗ11（ｋ）及びｗ12（ｋ）は、式１３のように表現することができる。
Figure 0005174027
ここで、Ｅ｛ｘ1 2｝、Ｅ｛ｘ2 2｝及びＥ｛ｘ1ｘ2｝は、直接生成することができるが、Ｅ｛ｘ1ｙ1｝及びＥ｛ｘ2ｙ1｝は、伝送された付加情報６０６（例えば、Ｅ｛ｓi 2｝、ａi、ｂi）及びユーザが提供する制御情報６０８（例えば、ゲインファクタｃi及びｄi）を用いて、式１４のように生成することができる。
Figure 0005174027
同様に、ｗ21及びｗ22を式１５のように生成することができる。
Figure 0005174027
ここで、Ｅ｛ｘ1ｙ2｝及びＥ｛ｘ2ｙ2｝は、式１６のように表現することができる。
Figure 0005174027
ミックス信号６０４の位相が互いに同期しているか、ほとんど同期している場合、式１７で表現される値が１に近づく。
Figure 0005174027
この時、加重値は、式１８のように表現することができる。
Figure 0005174027
このように生成されたサブバンド別リミックス信号６０９は、前述したように、逆フィルタバンク６１０を通じて時間−ドメインのリミックス信号６１１に変換される。リミックス信号６１１は、ユーザが提供した制御情報を用いて生成されたユーザミックスパラメータｃi及びｄiを用いてそれぞれのソース信号を独立的にリミックスして生成されたリミックス信号と略同様に聞こえる。
以上では２チャネルステレオ信号のリミキシングに焦点を当てた。しかし、前述したように、本発明は、ステレオ信号に限定されず、マルチチャネルオーディオ信号、例えば５．１チャネルオーディオ信号をリミキシングすることにまで拡張可能である。当業者は、本明細書で記述されたステレオ信号と略同様にしてマルチチャネルオーディオ信号をリミキシングすることができる。この場合に、上記の式１１は式１９のように書き直すことができる。
Figure 0005174027
選択的に、ミックス信号のチャネルのうちの特定のチャネルはリミックスせずにそのまま残すようにすることができる。例えば、５．１サラウンドチャネルに対して、２つの後方チャネルは修正せずに、前方チャネルにのみリミキシングを適用するようにすることができる。この場合に、２または３チャネルリミキシングアルゴリズムが前方チャネルに適用される。
図７は、本発明の一実施例による第４信号処理装置のブロック図である。第４信号処理装置は、付加情報デコーディング部７０３、付加情報統合部７０５及びリミックスレンダリング部７０７を含む。
図７を参照すると、ソース信号の和信号７０１及び付加情報信号７０２が第４信号処理装置に入力される。付加情報デコーディング部７０３は、付加情報信号７０２をデコーディングして付加情報７０４を生成する。付加情報７０４は、ゲインファクタ、ディレー定数及びサブバンドパワーなどを含む。付加情報統合部７０５は、付加情報７０４を用いて、和信号７０１を複数のソース信号７０６に分離する。リミックスレンダリング部７０７は、ソース信号７０６を用いてリミックス信号７０９を生成する。この時、リミックスレンダリング部７０７は、付加情報として伝送されたミックスパラメータを用いてリミックス信号７０９を生成できる。また、リミックスレンダリング部７０７は、選択的に、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ７０８を用いてリミックス信号７０９を生成することができる。
図８は、通常のエンコーディング装置と本発明の一実施例による信号処理装置との結合を示すブロック図である。ミックス信号８０１は、通常のエンコーディング装置８０３により符号化され、符号化されたミックス信号８０５に変換することができる。ミックス信号８０１は、チャネル別信号またはソース信号になりうる。通常のエンコーディング装置８０３は、ＡＡＣ、ＭＰ３エンコーダなどのような従来のエンコーディング装置だけでなく、今後開発されるエンコーディング装置を含む。本発明によるリミックス信号エンコーディング装置８０４は、ミックス信号８０１及びミックス信号に含まれるソース信号８０２を用いて付加情報信号８０６を生成する。多重化部８０７は、符号化されたミックス信号８０５及び付加情報信号８０６を用いてビットストリーム８０８を生成する。前述したように、付加情報信号８０６は従来の装置と互換性を持つように、従来のミックス信号フォーマット内の補助データ領域に挿入することができる。
図９は、通常のデコーディング装置と本発明の一実施例による信号処理装置との結合を示すブロック図である。逆多重化部９０２は、伝送されたビットストリーム９０１から符号化されたミックス信号９０３及び付加情報信号９０４を分離する。その後、通常のデコーディング装置９０５は、符号化されたミックス信号９０３をデコーディングし、本発明によるリミックス信号デコーディング装置９０７で用いられうるようなミックス信号９０６を生成する。通常のデコーディング装置９０５は、ＡＡＣ、ＭＰ３デコーダなどのような従来のデコーディング装置だけでなく、今後開発されるデコーディング装置を含む。ミックス信号９０６は、チャネル別信号またはソース信号になりうる。本発明によるリミックス信号デコーディング装置９０７は、付加情報信号９０４及びユーザミックスパラメータ９０８のうち少なくとも１つを用いてミックス信号９０６をリミックス信号９０９に変換できる。
図１０は、本発明の一実施例による第５信号処理装置のブロック図である。図１０を参照すると、第５信号処理装置は、ミックス信号デコーディング部１００１、パラメータ生成部１００２、及びリミックスレンダリング部１００８を含む。選択的に、エフェクタ１０１１を含むことができる。パラメータ生成部１００２は、ブラインドミックスパラメータ生成部１００３、ユーザミックスパラメータ生成部１００４、及びリミックスパラメータ生成部１００５を含むことができる。リミックスパラメータ生成部１００５は、Ｅｑミックスパラメータ生成部１００６を含み、選択的にアップミックスパラメータ生成部１００７を含むことができる。また、リミックスレンダリング部１００８はＥｑミックスレンダリング部１００９を含み、選択的にアップミックスレンダリング部１０１０を含むことができる。
ミックス信号デコーディング部１００１は、エンコーディング端から伝送された符号化されたミックス信号をデコーディングしてミックス信号を生成する。パラメータ生成部１００２は、エンコーディング端から伝送された付加情報及びユーザ制御情報（または、構成情報）を受信する。ユーザ制御情報はエンコーダ端から伝送されずに、デコーダ端で生成されても良い。ユーザミックスパラメータ生成部１００４は、ユーザ制御情報を用いてユーザミックスパラメータを生成する。エンコーダ端から伝送された付加情報にはエンコーダミックスパラメータを含むことができる。また、ブラインドミックスパラメータ生成部１００３は、ミックス信号を用いてブラインドミックスパラメータを生成することができる。エンコーダミックスパラメータとブラインドミックスパラメータは択一的にリミックスパラメータ生成部１００５に入力される。
リミックスパラメータ生成部１００５は、付加情報及びユーザミックスパラメータを用いてリミックスパラメータを生成する。このリミックスパラメータはリミックス信号のチャネルに適用されうるように生成することができる。リミックスパラメータ生成部１００５に含まれるＥｑミックスパラメータ生成部１００６は、ミックス信号のチャネル数と同じチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成し、リミックスパラメータ生成部１００５に含まれうるアップミックスパラメータ生成部１００７は、ミックス信号のチャネル数よりも多いチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成する。リミックスパラメータはリミックスレンダリング部１００８に入力される。
リミックスレンダリング部１００８に含まれるＥｑミックスレンダリング部１００９は、リミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数と同じチャネル数を持つＥｑチャネルリミックス信号を生成する。リミックスレンダリング部１００８に含まれうるアップミックスレンダリング部１０１０は、アップミックスパラメータ生成部１００７で生成されたリミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数よりも多いチャネル数を持つアップチャネルリミックス信号を生成する。アップミックスレンダリング部１０１０は、Ｅｑチャネルレンダリング部１００９で生成されたリミックス信号を用いてアップチャネルリミックス信号を生成しても良い。
したがって、第５信号処理装置は、エンコーディング端から伝送されたミックス信号をそのまま出力したり、Ｅｑチャネルリミックス信号として出力したり、または、アップチャネルリミックス信号として出力することができる。選択的に、リミックスレンダリング部はエフェクタ１０１１から提供される情報を用いて、リミックス信号に多様な効果を与えることができる。
図１１は、本発明の一実施例によるミックス信号ビットストリーム及び付加情報ビットストリームのデータ構造を示す図である。図１１を参照すると、データ構造は、ミックス信号ビットストリーム１１０１及び付加情報ビットストリーム１１０２を含む。付加情報ビットストリーム１１０２は、ヘッダ領域１１０３及びデータ領域１１０４を含む。前述したように、本発明による信号処理装置は、図１１に示すデータ構造を持つビットストリームを受信する。信号処理装置は、ミックス信号ビットストリーム１１０１をデコーディングして１つ以上のソース信号を含むミックス信号を獲得し、付加情報ビットストリーム１１０２をデコーディングして付加情報を獲得する。
付加情報は、ソース信号のうちリミックスされるソース信号とミックス信号との関係を表す情報を含む。例えば、付加情報は、レベル情報、時間遅延情報、相互相関情報、ミックス情報などを含む。
ここで、レベル情報は、リミックスされるソース信号のレベルを含むことができ、リミックスされるソース信号同士の相対的なレベルや、リミックスされるソース信号とミックス信号間の相対的なレベルを含むことができる。また、ミックス信号のレベルを別に付加情報に含めることができる。
時間遅延情報は、リミックスされるソース信号同士の時間遅延情報、または、リミックスされるソース信号とミックス信号間の時間遅延情報を含むことができる。相互相関情報は、リミックスされるソース信号同士の相互相関情報、または、リミックスされるソース信号とミックス信号間の相互相関情報、ミックス信号同士の相互相関情報を含むことができる。
ミックス情報は、特定ソースがミックス信号にミックスされる程度を表す情報で、例えば、特定ソースが右側に位置する効果が現れるようにミックスしたい場合、左側チャネルよりも右側チャネルにより大きい大きさで含まれるようにミックスを行なうことができる。このようにミックス情報は、各ソースが各チャネルにミックスされる程度を表すことができる。ミックス情報は、大きさの他に、ミックスに関連した時間遅延、相関関係などの情報を含むことが可能である。
本発明による信号処理装置は、付加情報ビットストリーム１１０２からミックスパラメータを獲得できる。ミックスパラメータは、ユーザが提供する制御情報を用いて生成される。このミックスパラメータは、エンコーディング装置で生成するか、または、デコーディング装置で生成することができる。デコーディング装置で生成される場合に、デコーディング装置はユーザから制御情報を受信し、該制御情報を用いてミックスパラメータを生成する。本発明による信号処理装置は、上記のミックス信号、付加情報及びミックスパラメータを用いてリミックス信号を生成する。次に、付加情報ビットストリームに含まれる情報について説明する。
図１２は、図１０に示す付加情報ビットストリームの詳細データ構造である。図１２を参照すると、ヘッダ領域１２０１はヘッダ１ １２０３を含み、データ領域１２０２は複数のフレームデータ１２０４及び複数のヘッダ２ １２０５を含む。ヘッダ１ １２０３には、ミックス信号に含まれるソース信号の名前、ソース信号の特性、及び再生方法などのようなハイレベル情報を含む。
また、ヘッダ１ １２０３は、ソース信号のゲイン、ソース信号の数、サブバンド数などを含むことができる。また、ヘッダ１ １２０３は、選択的にソース信号の再生方法／構成方法を含むことができる。例えば、選択的にあらかじめ定められたユーザミックスパラメータを含めて上記再生方法／構成方法を規定できる。
また、ヘッダ１ １２０３は、選択的にゲイン及びパニングに対するリミキシング範囲を含むことができる。本発明による信号処理装置で、ミックス信号、付加情報、及びユーザミックスパラメータを用いてリミックス信号を生成する。この時、適当な程度の制御、例えば、特定のソース信号のエネルギーを＋２０ｄＢ〜−２０ｄＢ程度調節したりすることは、再生品質に大きな影響を与えない。しかし、特定ソース信号のエネルギーを完全に抑圧するか、または、過度に大きく変形する場合には、再生品質の低下につながりうる。したがって、本発明による信号処理装置で調整可能な最大のゲイン、減衰レベルを設定し、再生品質を保障できる方法を提案する。例えば、減衰は最大−４０ｄＢまで可能にする等の方法を用いることができる。この場合に、ユーザが−８０ｄＢまで減衰するように調節する場合、実際デコーディング装置はこれをそのまま行なわずに、−４０ｄＢまでの減衰を行なうように動作する。この時、ユーザに指示した減衰を行わずに、あらかじめ定められたレベルまで減衰が行なわれていることを知らせることができる。
フレームデータ１２０４は、各サブバンド内に正規化されたソースパワーを含んでもよい。また、フレームデータ１２０４は、各フレームに含まれるデータタイプに関する情報を含んでもよい。例えば、１番目のデータタイプである場合、フレームデータ１２０４は最小の情報を含む。例えば、付加情報と関連したソースパワーのみを含んでもよい。２番目のデータタイプである場合、フレームデータ１２０４は追加的にアップデートされるゲインを含む。これは、時間によって変わるミキシングゲインを用いてリミックス信号を生成する場合に有用である。３番目及び４番目のデータタイプである場合、フレームデータ１２０４は、将来の使用のために保存領域に割り当てることができる。万一、ビットストリームが放送用に用いられる場合に、保存領域は、放送信号のチューニングを合わせるために必要な情報（例えば、サンプリング周波数、サブバンド数等）を含んでもよい。
図１３は、本発明の一実施例による第６信号処理装置のブロック図である。第６信号処理装置は、付加情報生成部１３０３、付加情報エンコーディング部１３０５及び埋め込み部１３０７を含む。
図１３を参照すると、ミックス信号１３０１及びソース信号１３０２が第６信号処理装置に入力される。前述したように、ミックス信号１３０１は、モノ、ステレオまたはマルチチャネルオーディオ信号とすることができる。本明細書では便宜上、ステレオ信号として説明するが、本発明がこれに限定されることはない。付加情報生成部１３０３は、ミックス信号１３０１及びソース信号１３０２を用いて付加情報１３０４を生成する。付加情報１３０４は、ミックス信号に含まれたソース信号がミックス信号チャネルにミックスされる程度を表すミックス情報、ミックス信号に含まれたソース信号同士の時間遅延情報またはソース信号とミックス信号チャネル間の時間遅延情報、及び、ミックス信号に含まれたソース信号同士の相互相関情報またはソース信号とミックス信号チャネル間の相互相関情報を含む。
付加情報エンコーディング部１３０５は、付加情報１３０４を用いて、伝送及び記憶のための付加情報信号１３０６を生成する。埋め込み部１３０７は、付加情報信号１３０６をミックス信号１３０１に埋め込む。この時、“デジタル信号埋め込み技法”を用いることができる。“デジタル信号埋め込み技法”を用いると、ＰＣＭ型のミックス信号１３０１に音質歪み無しで付加情報を埋め込むことができる。
Figure 0005174027
“デジタル信号埋め込み技法”には、ビット置換符号化方法、反響挿入方法、帯域拡散通信法などがある。ビット置換符号化方法は、量子化されたミックス信号サンプルの最下位ビットを変形して所望の情報を挿入する方法で、最下位ビットの変形はミックス信号の品質にほとんど影響を与えないという特性に着目した方法である。反響挿入方法は、人の耳に聞こえない程度の小さな大きさの反響をミックス信号に挿入する方法である。帯域拡散通信法は、離散コサイン変換、離散フーリエ変換等を通じてミックス信号を周波数領域に変換した後に、二進数にした所望の情報をＰＮ（Pseudo Noise）シーケンスに帯域拡散し、周波数領域に変換されたミックス信号に追加する方法である。本発明では、上記埋め込み方法の中でもビット置換符号化方法を中心にして記述するが、本発明がビット置換符号化方法に限定されるわけではない。
図１４は、図１３に示す第６信号処理装置を構成する埋め込み部の詳細ブロック図である。埋め込み部１３０７は、バッファ１４０３、マスキング限界値計算部１４０５、ビットストリーム再構成部１４０７及びミックス信号エンコーディング部１４０９を含む。上記ビット置換符号化方法によって付加情報をミックス信号成分の非知覚領域に埋め込むことができる。この時、非知覚領域の大きさ（以下、Ｋ値という。）は、最下位１ビットのみを使用するのではなく、あらかじめ定められた方法によって特定領域のＫ（Ｋ＞０）ビットを使用することができる。例えば、あらかじめ定められた方法とは、心理音響モデルによるマスキング限界値を求め、このマスキング限界値によって適当なビットを割り当てることをいう。
図１４を参照すると、ミックス信号１４０１は、バッファ１４０３を介してミックス信号エンコーディング部１４０９に入力される。マスキング限界値計算部１４０５は、入力されたミックス信号１４０１の特性に関する情報１４０４を用いて、一定の区間（例えば、ブロック）別にマスキング限界値を求める。また、マスキング限界値計算部１４０５は、マスキング限界値を用いて、聴覚的な歪みを発生させずに変更できるＫ値を求める。すなわち、付加情報１４０２をミックス信号１４０１に埋め込むのに使用できるビット数をブロック別に割り当てる。本明細書で、ブロックとは、フレーム中に存在する１つのＫ値を用いて挿入されたデータ単位のことをいう。１つのフレームには１つ以上の複数のブロックが存在でき、したがって、フレームの長さ固定の場合、ブロックの長さは、ブロックの個数が増加するにつれて減少する。
ビットストリーム再構成部１４０７は、Ｋ値を含むように付加情報を再構成することができる。この時、再構成された付加情報には、シンクワード、エラー検出コードまたはエラー訂正コードなどが含まれる。ミックス信号エンコーディング部１４０９は、再構成された付加情報１４０８をミックス信号１４０１に埋め込み、付加情報の埋め込まれたミックス信号１４１０を出力する。前述したように、再構成された付加情報１４０８は、上記ミックス信号のＫビット内に埋め込まれる。Ｋ値は再構成された付加情報１４０８に挿入されてデコーディング装置に伝送され、デコーディング装置では該Ｋ値を用いてミックス信号から付加情報を抽出することができる。
付加情報がブロック別にミックス信号に埋め込まれる過程には多様な方法が用いられる。第１の方法は、単に、ミックス信号の下位Ｋビットのみを０に置換した後、付加情報を加える方法である。例えば、Ｋ値が３で、ミックス信号の１サンプルデータが１１１０１１０１で、埋め込むべき付加情報データが１１１である場合、１１１０１１０１の下位３ビットを０に替えて１１１０１０００にした後、付加情報データ１１１を加算して１１１０１１１１とする。
第２の方法は、ディザリング方法を用いるもので、まず、付加情報データをミックス信号の下位Ｋビットから減算した後に、該ミックス信号をＫ値に基づいて再量子化し、再量子化したミックス信号に対して付加情報データを加算する方法である。例えば、Ｋ値が３で、ミックス信号の１サンプルデータが１１１０１１０１で、埋め込むべき付加情報データが１１１である場合、この１１１０１１０１から１１１を引いて１１１００１１０にし、下位３ビット以上に対して再量子化して１１１０１０００（四捨五入を適用）にし、その後に１１１を加算して１１１０１１１１にする。
ミックス信号に埋め込まれる付加情報は、任意のビットストリームであるために白色雑音的な特性を持つことができないという可能性もある。ミックス信号に白色雑音形態の信号が加えられるのが音質特性の上で有利なため、付加情報を白色化する過程を行なった後にミックス信号に加えることができる。白色化は、シンクワードを除外した付加情報信号に適用することができる。本発明でいう白色化とは、ミックス信号の音量が全ての周波数領域で同一または類似な大きさを持つランダムな信号とすることを指す。また、付加情報をミックス信号に埋め込む過程に、付加情報にノイズシェービング技法を適用して聴覚的歪みを最小化できる。本発明でいうノイズシェービングとは、量子化過程で生成される量子化ノイズのエネルギーが可聴周波数帯域以上の高周波数帯域に移動するようにノイズ特性を変形させるか、該当のミックス信号からマスキング限界値を求め、該マスキング限界値に対応する時変フィルタを生成し、このフィルタによって量子化過程で発生するノイズの特性を変形させる過程のことを指す。
図１５には、本発明の一実施例による付加情報を埋め込む方法を示す。付加情報は、様々な方式でミックス信号に埋め込むことができ、図１５は、サンプルプレーン順に付加情報を埋め込む方式に該当する。この埋め込み方法は、Ｋビット単位で該当のブロックに対する付加情報を分散して埋め込む。図示の如く、Ｋ値が４で、１ブロック１５０５がＮ個のサンプル１５０４で構成された場合、付加情報は、各サンプルの下位４ビットに埋め込むことができる。前述の如く、本発明は、各サンプルの下位４ビットにのみ付加情報を埋め込むことに限定されるわけではない。そして、各サンプルの下位Ｋビット内で、付加情報は、図１５に示すように上位ビットから埋め込むか（ＭＳＢ（Most Significant Bit） first）、または、下位ビットから埋め込む（ＬＳＢ（Least Significant Bit） first）ことができる。
同図で、矢印１５０３は埋め込まれる方向を表し、括弧中の数字はデータ整列順序を表す。付加情報が埋め込まれる領域で埋め込み可能なビット数よりも埋め込むべき付加情報のビット数が小さい場合には、残っているビットを０で埋めたり（１５０６）、ランダム信号を入れたり、または、元のミックス信号に替えることができる。例えば、ブロックを構成するサンプル数Ｎが１００で、Ｋ値が４の場合、該ブロックに埋め込み可能なビット数Ｗは、Ｗ＝Ｎ＊Ｋ＝１００＊４＝４００ビットとなる。埋め込むべき付加情報のビット数Ｖが３９０ビットである場合（すなわち、Ｖ＜Ｗである場合）、残りの１０ビットは０で埋めたり、ランダム信号を入れたり、元のミックス信号に替えたり、データの終わりを知らせる末端ビット列で埋めたり、または、これらを組み合わせて埋めることができる。末端ビット列とは、該当のブロックにおいて付加情報の終わりを知らせるビット列のことをいう。たとえ、図１５はブロック別に残っているビットを埋めるとしたが、本発明は、挿入フレーム別に残っているビットを上記のような方法で埋めても良い。
図１６は、本発明の一実施例による付加情報を再構成したデータ構造を示す。前述の如く、付加情報は、ビットストリーム再構成部でシンクワード１６０３とＫ値１６０４を含むように再構成することができる。また、再構成過程で、付加情報信号が伝送または記憶過程で損傷したか否かを判断できる少なくとも１つのエラー検出コードまたはエラー訂正コード１６０６，１６０８（以下、‘エラー訂正コード’と総称する。）を、再構成された付加情報信号に含むことができる。エラー訂正コードはＣＲＣ（Cyclic Redundancy Check）を含む。エラー訂正コードは、２段階に分けて含むことができるが、Ｋ値の含まれたヘッダ１６０１に対するエラー訂正コード１ １６０６と付加情報データ１６０７に対するエラー訂正コード２ １６０８を含むことができる。その他、其の他情報１６０５が単独で付加情報信号に含まれうる。其の他情報１６０５には付加情報の埋め込み方法に対する識別情報などを含むことができる。
図１７は、本発明の一実施例による埋め込まれた付加情報を用いてオーディオ信号をデコーディングする第７信号処理装置のブロック図である。第７信号処理装置は、埋め込み信号デコーディング部１７０２、付加情報デコーディング部１７０４及びリミキシング部１７０６を含む。
図１７を参照すると、埋め込み信号デコーディング部１７０２は、ミックス信号１７０１から付加情報信号１７０３を検出できる。付加情報デコーディング部１７０４は付加情報信号を復号化し、付加情報１７０５を生成する。リミックスレンダリング部１７０６は、付加情報１７０５及びミックス信号１７０１を用いて、リミックス信号１７０８を生成する。この時、リミックスレンダリング部１７０６は、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ１７０７を利用できる。
図１８は、元信号を保存しながら付加情報を埋め込む本発明の一実施例による第８信号処理装置を構成する埋め込み部の詳細ブロック図である。第８信号処理装置は、図１３に示す第６信号処理装置と略同様であり、同一部分についての詳細な説明は省略する。第６信号処理装置との差異点は、エンコーディング装置を構成する埋め込み部が異なるように構成されているという点である。
図１８を参照すると、ミックス信号１８０１は、バッファ１８０３を介してミックス信号エンコーディング部１８０９に入力される。マスキング限界値計算部１８０５は、ミックス信号１８０１の特性に関する情報１８０４を用いてマスキング限界値を計算し、マスキング限界値を用いてＫ値１８０６を求める。ビットストリーム再構成部１８０７は、付加情報信号１８０２が埋め込まれる領域のミックス信号データ１８１１を除去せずに、ミックス信号データ１８１１と付加情報信号１８０２とを結合するように再構成する。再構成方法については図１９でより詳細に説明される。ミックス信号エンコーディング部１８０９は、再構成された信号１８０８をミックス信号１８０１に埋め込むことができる。
図１９は、本発明の一実施例による元信号を保存しながら付加情報を埋め込む方法を示す図である。説明の便宜上、ミックス信号の１チャネル１９０１を構成する１つのブロックに付加情報を挿入するとして説明する。図１９を参照すると、ミックス信号１９０１の成分は、付加情報が埋め込まれない領域１９０２と埋め込まれる領域１９０３とに分けられる。埋め込まれる領域１９０３のミックス信号は、無損失符号化１９０４過程を経る。その後、無損失符号化されたミックス信号及び付加情報信号１９０５は結合及びエンコーディングされ、結合信号１９０７を形成する。その後、結合信号１９０７はミックス信号に埋め込まれ、結合信号の埋め込まれたミックス信号１９０８を生成する。
こうすることによって、デコーディング装置では、必要な場合、結合信号１９０７を用いて、元のミックス信号１９０１を完璧に復元できる。上記方法が可能な理由は、埋め込むべき付加情報信号のデータ量が埋め込み可能なデータ量よりも実際に小さく、よって、無損失符号化されたミックス信号を挿入する空間を確保できるためである。単純に付加情報信号を埋め込む方法は、知覚的に埋め込まれた信号と元の信号が同一であることから歪みは生じないが、完全に同一な信号ではないため、完全な元の信号の復元が必要な場合、上記方法を用いることができる。
図２０は、元信号を完全に復元する本発明の一実施例による第８信号処理装置のブロック図である。第８信号処理装置は、埋め込み信号デコーディング部２００２、無損失デコーディング部２００４及びリプレーシング部２００６を含む。
図２０を参照すると、埋め込み信号デコーディング部２００２は、結合信号が埋め込まれたミックス信号２００１から、結合信号２００３を抽出する。無損失デコーディング部２００４は、結合信号２００３を用いて結合信号の埋め込まれた領域に対応するミックス信号２００５を復元する。リプレーシング部２００６は、復元されたミックス信号２００５を用いて元の信号２００７を生成する。
Figure 0005174027
図２１は、本発明の一実施例による２チャネルのミックス信号に付加情報を埋め込む第１の方法を示す。この第１の方法は、各チャネルのフレームが複数のブロック（長さＢ）で構成された場合に、付加情報を少なくとも１チャネルを持つミックス信号に挿入する方法に関する。図示の如く、Ｋ値は、各チャネル別及びブロック別にそれぞれ異なる値を有するか、または、同一値を有することができる。Ｋ1、Ｋ2、Ｋ3及びＫ4値は、フレーム全体に対して１回伝送されるフレームヘッダ内に記憶することができ、該フレームヘッダはＬＳＢに位置することができる。この場合に、ヘッダはビットプレーン単位で挿入することができ、付加情報データはサンプル単位で交互に挿入するか、または、ブロック単位で交互に挿入することができる。図２１は、フレーム内のブロック個数が２の場合を示し、したがって、ブロックの大きさＢはＮ／２となる。この場合に、フレームに挿入されたビット数は（Ｋ1＋Ｋ2＋Ｋ3＋Ｋ4）＊Ｂとなる。
図２２は、本発明の一実施例による２チャネルのミックス信号に付加情報を埋め込む第２の方法を示す。第２の方法は、付加情報を２チャネルに分けて埋め込むもので、その順序をＬＳＢ（またはＭＳＢ）からビットプレーン順に２チャネルに交互に挿入する方法と、サンプル単位で交互に挿入する方法とを混合したものである。この方法は、フレーム単位とするか、または、図示のようにブロック単位とすることができる。図２２に示すように、１乃至Ｃ（ハッチング部分）はヘッダに対応する部分で、挿入フレームシンクワードの探索を容易にするためにＬＳＢまたはＭＳＢにビットプレーン順に挿入することができる。Ｃ＋１以上（非ハッチング部分）はヘッダ以外の部分で、付加情報データを読み取りやすくするようにサンプル単位で２チャネルに交互に挿入することができる。Ｋ値は、各チャネル及びブロック別に異なる値を持つか、または、同一の値を持つことができる。
図２３は、本発明の一実施例による埋め込まれた付加情報を除去する第９信号処理装置を示すブロック図である。コンテンツに対する著作権保護などの目的で、付加情報が挿入されているミックス信号から付加情報のみを除去したり変形させたりして、それ以上リミックスのための付加情報が残らないようにする方法である。
図２３を参照すると、分析部２３０２は、付加情報の埋め込まれたミックス信号２３０１を分析し、付加情報の埋め込まれた領域に関する情報などのような埋め込み情報２３０３を抽出する。除去部２３０４は、埋め込み情報２３０３を用いて、付加情報の埋め込まれたミックス信号２３０１から付加情報を除去し、付加情報の除去されたミックス信号２３０５を生成する。このとき、付加情報を除去するために様々な方法を用いることができる。その第一の方法は、分析部２３０２を通じてミックス信号から、埋め込まれた付加情報の存在の有無を確認し、埋め込まれたレベル値などを見出して除去範囲を確定する。その後、正確に付加情報の埋め込まれたビット列を除去する。第二の方法は、分析部２３０２を通じて音質に歪みを生じさせずに、埋め込み可能なランダムノイズのレベル値（Ｋ値に類似する）を見出し、それに該当するランダム信号を添加して挿入された付加情報を破壊するものである。第三の方法は、オールパスフィルタを用いて信号を変形させるものである。第四の方法は、最下位１ビットを任意のランダム信号に替えることによって、シンクワード情報を除去するものである。
図２４は、本発明の一実施例による付加情報が埋め込まれたミックス信号のビットストリームを生成する第１０信号処理装置のブロック図である。図２４を参照すると、エンコーディング装置は、付加情報抽出部２４０１、ミックス信号エンコーディング部２４０２、及び多重化部２４０３を含む。付加情報の埋め込まれたミックス信号をエンコーディング（例えば、ＡＡＣ（Advanced Audio Coding）エンコーディング）しなければならない場合が発生しうる。この時、一般的なＡＡＣエンコーディングをする場合に、埋め込まれた情報の強じん性が非常に欠けるため、エンコーディングする過程で完全に消滅することがある。しかし、エンコーディングされる前に付加情報の埋め込まれたミックス信号から付加情報を抽出した後にミックス信号を圧縮符号化すると、圧縮されたミックス信号と一緒に付加情報を伝送することができる。このような方法を下記に詳細に説明する。
まず、付加情報抽出部２４０１は、付加情報の埋め込まれたミックス信号から付加情報を抽出する。付加情報の抽出方法は、図１で説明した方法とすれば良い。その後、ミックス信号エンコーディング部２４０２は、付加情報の抽出されたミックス信号を圧縮符号化し、多重化部２４０３は、符号化されたミックス信号及び付加情報を多重化してビットストリームを生成する。付加情報が空間情報であれば、多重化されたビットストリームは空間情報を持つ圧縮されたビットストリームになり得る。例えば、AAC+MPEG サラウンド信号になり得る。
この時、付加情報がＰＣＭ型のミックス信号と時間的に整列されて使われる信号であれば、符号化されるミックス信号のフレーム単位と付加情報の挿入される単位とが整列される必要がある。付加情報の抽出過程からわかるフレームシンク情報を用いてミックス信号のエンコーディング開始位置を合わせる過程が必要である。また、埋め込まれた情報のフレーム長情報を用いてミックス信号のフレーム長を決定することができる。該フレーム長情報を用いる方法については後述する。上記のような方法で生成された最終ビット列は、データレートが非常に低いながらも付加情報を持っているため、マルチチャネル信号を非常に低いビット率を持つ信号として生成し、記憶及び伝送に非常に便利に使用することができる。
図２５は、図２４に示す第１０信号処理装置の詳細ブロック図である。図２５を参照すると、エンコーディング装置は、バッファリング部２５０５をさらに含むことができる。また、エンコーディング装置の構成要素である付加情報抽出部２５０１は、シンク情報抽出部２５０２、ヘッダ情報抽出部２５０３、及びペイロード抽出部２５０４を含む。
まず、シンク情報抽出部２５０２は、付加情報の埋め込まれたミックス信号Ｌｏ’，Ｒｏ’から付加情報のシンク情報を抽出する。シンク情報が見つけられると、該当のシンク情報の最初のサンプルに対応する位置がフレームシンク値となり、このフレームシンク値をバッファリング部２５０５に伝達される。バッファリング部２５０５は、フレームシンク値を用いてフレームの開始位置を把握し、該当の位置からミックス信号フレーム長分のデータをバッファリングし、これをミックス信号エンコーディング部２５０６に伝達する。
一方、ヘッダ情報抽出部２５０３は、シンク情報を抽出した後に存在する付加情報のヘッダ領域をデコーディングし、復号化に必要なヘッダ情報を抽出する。該ヘッダ情報は、付加情報に含まれるデータ情報に該当するペイロード情報を復号化するのに用いることができる。この時、ヘッダ領域から抽出された付加情報のフレーム長情報をバッファリング部２５０５またはミックス信号エンコーディング部２５０６に伝達できる。ミックス信号エンコーディング部２５０６は、フレーム長情報を用いてミックス信号のフレーム長を決定できる。
ペイロード抽出部２５０４は、付加情報のうちシンク情報及びヘッダ情報を除外した実際のデータ情報を抽出する。ミックス信号エンコーディング部２５０６は、シンク情報及びフレーム長情報を用いてミックス信号を符号化する。その後、多重化部２５０７は、符号化されたミックス信号及び付加情報を用いてビットストリームを生成する。
図２６は、本発明の一実施例によるミックス信号に付加情報を埋め込む第１１信号処理装置のブロック図である。図２６を参照すると、第１１信号処理装置は、逆多重化部２６０１、ミックス信号デコーディング部２６０２、及び埋め込み部２６０３を含む。
逆多重化部２６０１は、ビットストリームを逆多重化し、符号化されたミックス信号及び該ミックス信号に埋め込む付加情報を抽出する。その後、ミックス信号デコーディング部２６０２は、符号化されたミックス信号を復号化し、復号化されたミックス信号Ｌd及びＲdを出力する。埋め込み部２６０３は、復号化されたミックス信号に付加情報を埋め込み、付加情報の埋め込まれたミックス信号Ｌd’及びＲd’を生成する。ミックス信号は、ＣＤなどのＰＣＭ信号記憶媒体に記憶及び伝送することができる。
図２７は、本発明の一実施例によるミックス信号を制御するための第１１信号処理装置のブロック図である。図２７を参照すると、第１１信号処理装置は、ミックス信号制御装置２７１０及びミックス信号処理装置２７２０を含む。ミックス信号制御装置２７１０は、ミックス信号処理装置２７２０と連係しており、制御部２７１１、メモリ２７１２、入力部２７１３、ディスプレイ２７１４、及び通信部２７１５を含む。ここで、ミックス信号処理装置２７２０は、図５に基づいて説明した第３信号処理装置と同様であり、その説明は省略する。
メモリ２７１２は、ミックス信号の識別情報別ソース制御情報が記憶されている記憶装置である。この場合、ミックス信号の識別情報は、付加情報デコーディング部２７２３から受信したミックス信号の付加情報ｓｉであっても良く、ミックス信号２７２１それ自体であっても良い。一方、ソース制御情報は、ソース別チャネル別ゲインファクタを含むことができ、ここで、ゲインファクタは、図６と共に上述したゲインファクタ（ｃi及びｄi）６０８と同一なものとすれば良いが、本発明がこれに限定されるわけではない。また、ゲインファクタｃi及びｄiが時間によって変化する場合、時間インデックスｋを付けてｃi(ｋ)、ｄi(ｋ)（ｋは時間インデックス）で表記すると、上記の式１０は、下記の式２０のように書き直すことができる。
Figure 0005174027
一方、ソース制御情報は、特定区間におけるパニング効果に関する制御情報を含むことができ、例えば、２分２４秒から２分４２秒までの区間で人の音声信号が右側チャネルから左側チャネルに徐々に移動するようにすることがパニング効果である。この場合、始点情報（例：ｋs＝２分２４秒）、終点情報（例：ｋf＝２分４２秒）、始点におけるゲインファクタ（例：ｃi(ｋs)＝１、ｄi(ｋs)＝０）、終点におけるゲインファクタ（ｃi(ｋf)＝０、ｄi(ｋf)＝１）のみを含み、始点及び終点間におけるゲインファクタ（ｃi(ｋ)、ｄi(ｋ)、ここで、ｋs＜ｋ＜ｋf）は含まない。
図２８は、本発明の一実施例によるパニング効果の場合、始点情報、終点情報、並びに始点及び終点におけるゲインファクタを説明するための図である。図２８を参照すると、ｋ＝ｋs（始点）及びｋ＝ｋf（終点）におけるゲインファクタｃi，ｄiが表示されており、始点及び終点間のゲインファクタはハッチング表示されている。始点及び終点におけるゲインファクタがソース制御情報としてメモリ２７１２に記憶されていると、それらの区間におけるゲインファクタ（ハッチング部分）は制御部２７１１により生成することができる。
また、ソース制御情報は、特定区間におけるフェーディング効果に関する制御情報を含むことができ、例えば、１分２４秒から１分４２秒までの区間で女性の音声信号が徐々に高まるか、または、徐々に低くなるということがフェーディング効果である。この場合も、パニング効果の場合と同様に、始点情報（例：ｋs＝１分２４秒）、終点情報（例：ｋf＝１分４２秒）、始点におけるゲインファクタ（例：ｃi(ｋs)＝０、ｄi(ｋs)＝０）、終点におけるゲインファクタ（ｃi(ｋf)＝１、ｄi(ｋf)＝１）のみを含み、始点及び終点間におけるゲインファクタ（ｃi(ｋ)、ｄi(ｋ)、ここで、ｋs＜ｋ＜ｋf）は含まない。
図２９は、本発明の一実施例によるフェーディング効果の場合、始点情報、終点情報並びに、始点及び終点におけるゲインファクタを説明するための図である。図２９の場合も、図２８の場合と同様に、始点及び終点区間におけるゲインファクタ（ハッチング部分）は、メモリ２７１２に記憶されていなくても制御部２７１１により生成することができる。
制御部２７１１は、メディア信号の識別情報に基づいてミックス信号とマッチングするソース制御情報ｃiをメモリ２７１２から読み取り、これをミックス信号処理装置２７２０に出力する。好ましくは、ミックス信号とマッチングする制御情報ｃiが存在する場合、制御部２７１１はソース制御情報の目録を表示する。
図３０及び３１は、本発明の一実施例によるソース制御情報の目録を表示した画面の例である。図３１は、ソース制御情報の目録にソース情報まで表示した画面である。以降、ユーザから入力部２７１３を通じて特定ソース制御情報に対する選択命令が入力されると、選択されたソース制御情報ｃiをメモリ２７１２から読み取ってミックス信号処理装置２７２０に出力する。もし、図３１に表示された画面を用いて１つのミックス信号に含まれているソース（例：ピアノ、バイオリン、女性ボーカル、フルート）の中から１つ（例：女性ボーカル）に対する選択命令が入力された場合、制御部２７１１は、選択されたソース（例：女性ボーカル）に該当するソース制御情報（例：ｃｉ＝[ｃ3(ｋ)、ｄ3(ｋ)]）のみを出力する。また、入力部を通じて選択されたソース制御情報に関して変更されたソース制御情報が入力される場合、制御部２７１１は、変更されたソース制御情報をメモリ２７１２に記憶する。
一方、ミックス信号にマッチングするソース制御情報ｃiがメモリ２７１２に記憶されていない場合、制御部２７１１は、ソース制御情報を入力できる画面をディスプレイ２７１４を通じて出力した後、入力部２７１３を通じてソース制御情報が入力されると、ミックス信号の識別情報にマッチングさせ、メモリ２７１２に記憶する。
入力部２７１３は、ソース制御情報、ソース制御情報変更命令、ソース制御情報選択命令などを入力するための入力装置である。
ディスプレイ２７１４は、ソース制御情報入力画面、ソース制御情報の目録、ソース制御情報選択画面などが表示される表示装置である。
通信部２７１５は、制御部２７１１の制御によって、ソース制御情報ｃiを第２リミックス制御装置（図示せず）に通信網を通じて送信するための構成要素で、ここで、ソース制御情報は、ミックス信号を識別するためのミックス信号の識別情報を含むエンコーディングされたビット列でありうる。第２リミックス制御装置（図示せず）については図３４〜図３６に基づいて後述する。
図３２は、本発明の一実施例によるミックス信号を制御するための第１２信号処理装置のブロック図である。図３２を参照すると、第１２信号処理装置は、ミックス信号制御装置３２１０及びミックス信号処理装置３２２０を含む。ミックス信号制御装置３２１０は、ミックス信号処理装置３２２０と連携しており、制御部３２１１、メモリ３２１２、入力部３２１３、及びディスプレイ３２１４を含む。ここで、ミックス信号処理装置３２２０は、図７に基づいて説明された第４信号処理装置と同一であり、その説明は省略する。
一方、第１２信号処理装置に含まれる制御装置３２１０の制御部３２１１、メモリ３２１２、入力部３２１３、及びディスプレイ３２１４は、上記の第１１信号処理装置に含まれる制御装置２７１０における同一名称の構成要素とその機能が略同様なので、それぞれの構成要素についての説明は省略する。
図３３は、本発明の一実施例によるミックス信号処理方法を示すフローチャートである。図３３を参照すると、まず、ユーザが多数のミックス信号のうちリミキシングしようとする特定のミックス信号を選択する（Ｓ３３０１段階）。すると、ミックス信号処理装置は、ミックス信号の付加情報をデコーディングする。ミックス信号制御装置は、ミックス信号の識別情報（ミックス信号またはミックス信号の付加情報）をミックス信号処理装置または外部装置から受信する（Ｓ３３０２段階）。その後、ミックス信号制御装置はＳ３３０２段階で受信したミックス信号の識別情報に基づいて、Ｓ３３０１段階で選択されたミックス信号にマッチングするソース制御情報が記憶されているか否かを照会する（Ｓ３３０３段階）。
記憶されているソース制御情報が存在する場合（Ｓ３３０４段階の‘Ｙｅｓ’）、ソース制御情報の目録をディスプレイに表示する（Ｓ３３０５段階）。ソース制御情報の目録の例は、上述した図３０及び図３１と同様である。ユーザが特定ソース制御情報全体または一部ソースに対する選択命令を入力する（Ｓ３３０５段階）。例えば、図３０のような画面が表示された状態で、２番目のリミックス情報（“２．リミックス情報２”）をクリックするか、図３１のような画面が表示された状態で２番目のリミックス情報（“２．リミックス情報２”）の“ピアノ”のアイコンをクリックする。すると、ミックス信号処理装置は、Ｓ３３０５段階で選択されたソース制御情報全体または一部ソースを読み取ってミックス信号処理装置に出力する（Ｓ３３０６段階）。すると、ミックス信号処理装置は、Ｓ３３０６段階で出力されたソース制御情報を受信した後、そのソース制御情報によってミックス信号をリミキシングする（Ｓ３３０８段階）。もし、ユーザがソース制御情報の一部または全部を変更する場合（Ｓ３３０９段階）、変更された制御情報を記憶する（Ｓ３３１０段階）。
記憶されているソース制御情報が存在しない場合（Ｓ３３０４の‘Ｎｏ’）、ユーザがソース制御情報の記憶を選択するか否か判断する（Ｓ３３１１段階）。もし、ユーザがソース制御情報の記憶を選択する場合（Ｓ３３１１段階の‘Ｙｅｓ’）、ミックス信号制御装置はソース制御情報入力画面を表示し、ユーザがソース制御情報を入力するとそのソース制御情報を受信する（Ｓ３３１２段階）。その後、ミックス信号制御装置は、Ｓ３３１２段階で受信したソース制御情報をミックス信号の識別情報にマッチングさせて記憶する（Ｓ３３１３段階）。
図３４は、本発明の一実施例によるソース制御情報が生成されて用いられる過程を示す図である。図３４を参照すると、第１ミックス信号制御装置３４０１がソース制御情報ｃｉを、通信網を通じて制御情報提供サーバ３４０３に提供するか、第２ミックス信号制御装置３４０２に直接伝送する。ここで、第１ミックス信号制御装置３４０１は、上記の図２７または図３２に基づいて説明されたミックス信号制御装置２７１０，３２１０と同一のものでもよい。一方、ソース制御情報ｃｉを受信した第２ミックス信号制御装置３４０２は、ソース制御情報ｃｉを用いて該当のミックス信号をリミックスする。第２ミックス信号制御装置３４０２についての具体的な説明は、図３５に基づいて後述する。
図３５は、本発明の一実施例によるミックス信号を制御するための第１３信号処理装置のブロック図であり、図３６は、本発明の一実施例によるミックス信号制御方法を示すフローチャートである。まず、図３５を参照すると、第１３信号処理装置は、第２ミックス信号制御装置３５１０及びミックス信号処理装置３５２０を含む。第２ミックス信号制御装置３５１０は、ミックス信号処理装置３５２０と連係しており、通信部３５１１、入力部３５１２、制御部３５１３、及びディスプレイ３５１４を含む。ここで、ミックス信号処理装置３５２０は、上記の図５に基づいて説明された第３信号処理装置と同様なので、その説明は省略する。
通信部３５１１は、ミックス信号に該当する１つ以上のソース制御情報ｃｉを受信するための構成要素である。ここで、１つ以上のソース制御情報ｃｉはそれぞれビット列を構成しても良いが、１つのビット列に構成されても良い。また、ソース制御情報ｃｉは、エンコーディング装置で生成されたもの（ci(preset)）であっても良く、一般ユーザにより生成されたもの（ci(UCC)）であっても良い。入力部３５１２は、受信した１つ以上のソース制御情報ｃｉのうち１つが選択されるようにするための入力装置である。制御部３５１３は、入力部３５１２を通じて選択されたソース制御情報ｃｉをミックス信号処理装置３５２０に出力するようにする。ディスプレイ３５１４は、１つ以上のソース制御情報を表示するための表示装置である。
図３６を参照すると、第２ミックス信号制御装置３５１０は、まず、ミックス信号に該当する１つ以上のソース制御情報を受信する（Ｓ３６０１段階）。すると、ソース制御情報のリストを表示する（Ｓ３６０２段階）。ユーザが、表示されたソース制御情報の中から１つを選択すると（Ｓ３６０３段階の‘Ｙｅｓ’）、選択されたソース制御情報をミックス信号処理装置３５２０に出力する（Ｓ３６０４段階）。
図３７は、本発明の一実施例によるミックス信号を制御するための第１４信号処理装置のブロック図である。図３７を参照すると、本発明のさらに他の実施例によるミックス信号制御装置３７１０は、パラメータ生成部３７１３及びアップミックスレンダリング部３７１４を含む。
パラメータ生成部３７１３は、付加情報３７１２、制御情報ｃｉを受信してアップミキシングパラメータＵＰＢＳを生成する。付加情報３７１２に代えてミックス信号３７１１を受信し、ミックス信号３７１１に基づいて付加情報３７１２を生成しても良い。一方、制御情報ｃｉは、ソース別ゲインファクタ、チャネル別ゲインファクタ及びサブバンド別ソース別ゲインファクタｇ及び出力チャネル構成情報ｃｆを含む概念で、ソース別ゲインファクタ、チャネル別ゲインファクタ及びサブバンド別ソース別ゲインファクタｇは、上記の図６に基づいて説明されたゲインファクタｃi及びｄi６０８と同一のものとなりうるが、本発明はこれに限定されるものではない。パラメータ生成部３７１３が生成するアップミキシングパラメータＵＰＢＳ（Upmix Parameter Bit Stream）はミックス信号３７１１のチャネル数よりも多いチャネル数にレンダリングしようとする場合、これに対応するパラメータである。アップミキシングパラメータは、他の装置に伝送されうるようにエンコーディングされたビット列で構成することができる。
アップミックスレンダリング部３７１４は、アップミキシングパラメータＵＰＢＳ及びミックス信号３７１１を受信し、アップチャネルミックス信号ＵＣＭＳ（Up−channel Mix Signal）を出力する。ここで、アップチャネルミックス信号ＵＣＭＳは、ミックス信号３７１１のチャネル数よりも多いチャネル数を持つ。
図３８は、本発明の一実施例によるミックス信号処理方法を示すフローチャートである。まず、ミックス信号に該当する付加情報を受信し（Ｓ３８０１段階）、ソース別ゲインファクタ、チャネル別ゲインファクタ及びサブバンド別ソース別ゲインファクタ及び出力チャネル構成情報を含む制御情報を受信する（Ｓ３８０２段階）。その後、Ｓ３８０１段階で受信した付加情報及びＳ３８０２段階で受信した制御情報を用いてアップミキシングパラメータを生成する（Ｓ３８０３段階）。その後、このアップミキシングパラメータ及びミックス信号を用いてリミキシングされたアップミックスミックス信号を生成する（Ｓ３８０４段階）。
図３９は、本発明の一実施例による付加情報を生成する方法を示すフローチャートである。エンコーディング装置で付加情報を生成するためには別のソース信号が必要である。ところが、多くのミックス信号において、ミックス信号に含まれたソース信号が別に存在しない場合がある。このような場合に、ミックス信号に含まれたソース信号と類似する信号を用いて付加情報を生成できる。この付加情報は、ゲイン値、サブバンドパワーなどのようなパラメータを含む。
図３９を参照すると、ミックス信号が入力されると（Ｓ３９０１）、該ミックス信号の別のソース信号が独立して存在するか否かを判断する（Ｓ３９０２）。別のソース信号が存在する場合に、当該ソース信号を用いて付加情報を生成する（Ｓ３９０４）。別のソース信号が存在しない場合は、ミックス信号に対するMIDIファイルが存在するか判断する（Ｓ３９０３）。MIDIファイルが存在する場合は、MIDIファイルを用いて付加情報を生成する（Ｓ３９０６）。例えば、MIDIファイルを用いて特定のソース信号（例えば、ピアノ音）を生成し、該特定のソース信号を用いて付加情報を生成できる。
MIDIファイルが存在しない場合は、下記の方法を用いて付加情報を生成すれば良い。その第一の方法は、特定のソース信号と類似する音域帯を使用する楽器を用いて付加情報を生成するものである（Ｓ３９０５）。例えば、ボーカルの場合、ボーカルに似た音域帯を使用する楽器を用いて付加情報を生成することができる。第二の方法は、ミックス信号のうち、特定の空間を表す音成分を用いて付加情報を生成するものである（Ｓ３９０５）。例えば、ボーカルの場合、ミックス信号のうち、中央の空間を表す音成分を分析してボーカルと見なし、この音成分を用いて付加情報を生成できる。第三の方法は、第一の方法と第二の方法とを結合したものである。すなわち、特定のソース信号と類似する音域帯を使用する楽器を用いる他、ミックス信号のうち特定の空間を表す音成分を用いて付加情報を生成する（Ｓ３９０５）。その後、これらミックス信号及び付加情報を用いてミックス信号ファイルを生成することができる（Ｓ３９０７）。
図４０は、本発明の一実施例による特定のソース信号を置き換える第１５信号処理装置を示すブロック図である。第１５信号処理装置は、リミックスレンダリング部４００２、制御部４００３、再生部４００４、ソース信号生成部４００５、メモリ４００８、レコーディング部４００９及び記録媒体４０１１を含むことができる。同図において、再生部４００４はスピーカとしたが、本発明はこの実施例に限定されることはない。
図４０を参照すると、ミックス信号４００１がリミックスレンダリング部４００２に入力される。リミックスレンダリング部４００２は、付加情報、ミックス信号及びユーザミックスパラメータを用いてリミックス信号を生成する。ユーザミックスパラメータは、ユーザから獲得された制御情報を用いて生成される。例えば、ミックス信号に含まれた特定のソース信号（例えば、ボーカル信号）のゲインを下げ、または、黙音状態にすることでリミックス信号を生成できる。
制御部４００３は、リミックス信号を、スピーカ４００４を通じて出力することができる。この時、リミックス信号を出力する過程で、新しいソース４００６を、ソース信号生成部４００５を通じて入力することができる。新しいソース４００６は、ユーザにより提供されるか、別の装置を用いて提供することができる。その後、ソース信号生成部４００５で生成されたソース信号はメモリ４００８に記憶することができる。レコーディング部４００９は、リミックス信号とメモリ４００８に記憶された新しいソース信号を用いて新しいリミックス信号４０１０を生成できる。例えば、ミックス信号に含まれたピアノ信号を黙音としてリミックス信号を生成し、このリミックス信号を出力する過程でユーザが直接演奏して生成されたピアノ信号を入力することで新しいリミックス信号を生成することができる。また、ユーザにより生成されたピアノ信号はメモリに記憶された後、当該リミックス信号と合成され、新しいリミックス信号を生成するのに用いることができる。新しいミックス信号４０１０は記録媒体４０１１に記憶され、外部に出力される（４０１２）。記録媒体４０１１は、本発明による信号処理処置に含まれてもよいし、または独立して存在してもよい。
図４１は、本発明の一実施例による第１６信号処理装置のブロック図である。図４１を参照すると、第１６信号処理装置は、第１付加情報生成部４１０３、第１付加情報エンコーディング部４１０４、第２付加情報生成部４１０６及び第２付加情報エンコーディング部４１０７を含む。エンコーディング装置は、ミックス信号４１０１をデコーディング装置に伝送する。エンコーディング装置は、ミックス信号４１０１を直接デコーディング装置に伝送しても良いが、ミックス信号４１０１が複数である場合はミックス信号４１０１を１つまたは２つのダウンミックス信号にダウンミキシングして伝送しても良い。図示してはいないが、ミックス信号伝送効率のためにミックス信号４１０１は、量子化及び符号化されて伝送することができる。
Figure 0005174027
例えば、ミックス信号４１０１に含まれているソース信号４１０２はドラムとベース信号であり、ミックス信号４１０１に含まれていないソース信号４１０５はボーカル１、ボーカル２、ボーカル３及びピアノとバイオリン信号と仮定する。このとき、第１付加情報生成部４１０３は、ミックス信号４１０１及びミックス信号に含まれているドラム及びベース信号４１０２を用いてドラム及びベース信号を調節するための第１付加情報を生成する。以下、ミックス信号４１０１に含まれているソース信号４１０２に対する付加情報を第１付加情報とし、ミックス信号４１０１に含まれていないソース信号４１０５に対する付加情報を第２付加情報とする。
第２付加情報生成部４１０６は、ボーカル１乃至３及びピアノとバイオリン信号を用いて第２付加情報を生成する。第２付加情報は、ミックス信号４１０１に含まれていないソース信号４１０５をソース信号別に調節するための情報である。第１付加情報及び第２付加情報は、ゲインファクタ、サブバンド別パワーやディレー定数などを含む。第１付加情報エンコーディング部４１０４は、第１付加情報生成部４１０３が生成した第１付加情報をエンコーディングしてデコーディング装置に伝送する。第２付加情報エンコーディング部４１０７は、第２付加情報生成部４１０６で生成した第２付加情報をエンコーディングしてデコーディング装置に伝送する。ミックス信号４１０１に含まれていないソース信号４１０５及びこれに対する第２付加情報は、エンコーディング装置外で生成しても良い。
すなわち、ミックス信号４１０１に含まれていないソース信号４１０５及びこれに対する第２付加情報は、エンコーディング装置とは別個のソース信号提供サーバで生成してデコーディング装置に提供しても良く、ユーザにより直接生成しても良い。デコーディング装置は、ミックス信号４１０１に含まれているソース信号４１０２及びミックス信号に含まれていないソース信号４１０５を用いて新しいミックス信号を生成できる。上の例で、ユーザは、好みによってミックス信号４１０１に含まれているソース信号４１０２からベース信号のみを選択し、ミックス信号４１０１に含まれていないソース信号４１０５からボーカル１及びピアノ音のみを選択し、ベース信号、ボーカル１、ピアノ音を含む新しいミックス信号を生成できる。
ユーザはソース信号提供サーバ及びデコーディング装置から、ミックス信号４１０１に含まれていないソース信号４１０５のそれぞれを受信することができる。ユーザは個別に受信したそれぞれのソース信号４１０５を用いて新しいミックス信号を生成することができる。
図４２は、本発明の一実施例による第１７信号処理装置のブロック図である。図４２を参照すると、第１７信号処理装置は、ミックス信号変形部４２０３、付加情報変形部４２０７及びリミキシング部４２１１を含む。第１７信号処理装置は、エンコーディング装置から受信するか、またはあらかじめ記憶しておいたミックス信号４２０１及びミックス信号４２０１に含まれていないソース信号４２０２を抽出する。ミックス信号変形部４２０３は、ミックス信号４２０１及びミックス信号に含まれていないソース信号４２０２を用いてミックス信号４２０１を変形する。
すなわち、ミックス信号変形部４２０３は、ユーザからソース信号選択情報４２０８を受信し、ミックス信号４２０１に含まれているソース信号とミックス信号４２０１に含まれていないソース信号４２０２のうち、ユーザが選択したソース信号のみを含む新しいミックス信号４２０４を生成する。付加情報変形部４２０７は、ユーザからソース信号選択情報４２０８を受信し、新しいミックス信号４２０４をソース信号別に調節できる付加情報４２０９を生成する。以下、新しいミックス信号４２０４に対する付加情報を第３付加情報４２０９とする。付加情報変形部４２０７は、ミックス信号４２０１をソース信号別に調節するための第１付加情報４２０５及びミックス信号に含まれていないソース信号４２０２を調節するための第２付加情報４２０６を用いて新しいミックス信号４２０４に対する第３付加情報４２０９を生成できる。
また、付加情報変形部４２０７は、ミックス信号４２０１及びミックス信号４２０１に含まれていないソース信号４２０２を用いて直接第３付加情報４２０９を生成することができる。リミキシング部４２１１は、ユーザから制御情報４２１０を受信し、ミックス信号変形部４２０３から変形されたミックス信号４２０４を受信し、付加情報変形部４２０７から新しいミックス信号４２０４に対する第３付加情報４２０９を受信する。リミキシング部４２１１は、制御情報４２１０、変形されたミックス信号４２０４及びこれに対する第３付加情報４２０９を用いてリミキシングされたミックス信号４２１２を生成する。
図４２には示していないが、第１７信号処理装置は、ソース信号を表現するアイコンを抽出し、これを変形し、または新しいアイコンを生成できるようなアイコン処理部を含むことができる。ユーザは、ミックス信号に含まれているソース信号を調節する時に各ソース信号を象徴するアイコンを使用することができる。アイコンは、ソース信号の楽器や歌手の顔などを表現するイメージや、楽器名などを説明するテキストを含んでもよい。ユーザは、エンコーディング装置が伝送したソース信号のアイコンを用いてソース信号を調節することができる。また、ユーザは、エンコーディング装置が伝送したソース信号のアイコンを所望の通りに変形して使用しても良い。また、ユーザは、ソース信号を提供するサーバに接続してソース信号のアイコンを受信し、これを使用しても良い。また、ユーザは、ソース信号のアイコンを直接生成し、これをソース信号と連動して使用しても良い。
図４３は、本発明の一実施例によるミックス信号変形部の内部ブロック図である。図４３を参照すると、ミックス信号変形部４２０３は、ソース信号抽出部４３０１、制御部４３０２及び信号変形部４３０３を含む。ソース信号抽出部４３０１はソース信号を抽出する。このとき、ソース信号は、ミックス信号に含まれているソース信号及びミックス信号に含まれていないソース信号を含む。制御部４３０２は、ユーザからソース信号選択情報４３０４を受け取る。制御部４３０２は、ソース信号抽出部４３０１でユーザが選択したソース信号を抽出し、これを信号変形部４３０３に送る。信号変形部４３０３は、ユーザが選択したソース信号を用いて新しいミックス信号を生成する。すなわち、信号変形部４３０３は、ユーザの選択に応じて、ミックス信号に含まれているソース信号のうち特定のソース信号を新しいミックス信号から除外し、ミックス信号に含まれていないソース信号のうち特定のソース信号を新しいミックス信号に含めることで、ユーザが選択したソース信号を含む新しいミックス信号を生成する。ユーザは好みによって所望のソース信号を選択し、元のミックス信号を新しいミックス信号に変形することができる。
図４４は、本発明の一実施例によるソース信号提供サーバを用いて信号処理する方法を示す図である。図４４を参照すると、ユーザは、ユーザ端末４４０２を用いてソース信号提供サーバ４４０１に接続する。ユーザ端末４４０２は、ユーザＰＣ、携帯電話、ＰＤＡ、ＰＭＰなど、通信網を通じてサーバに接続できる装置を含む。ソース信号提供サーバ４４０１は、ミックス信号には含まれていないがミックス信号と一緒に再生されうるソース信号を含む。ソース信号提供サーバ４４０１は、ミックス信号と同じ拍子、速さなどを持っており、ミックス信号と一緒に演奏できるように同期しているソース信号を含んでいる。例えば、November rainという曲をドラム、ベース、ギター、ピアノで演奏する時に、各ソース信号は同一の曲に対して同一の速さと拍子で演奏される。この時、ソース信号のうち、ドラムとベース信号のみがミックス信号に含まれているとする場合、ユーザは、ソース信号提供サーバに接続してNovember rainという曲を演奏したギターまたはピアノ信号をダウンロードすることができる。
ユーザは、ダウンロードしたギターまたはピアノ信号を元のミックス信号と一緒に再生させることができる。ユーザは、ソース信号提供サーバ４４０１に接続して所望の曲を選択する。ソース信号提供サーバ４４０１は、ユーザが所望する曲に対して現在含んでいるソース信号目録を表示する。ユーザは、ソース信号提供サーバ４４０１が表示するソース信号から所望のソース信号を選択する。ソース信号提供サーバ４４０１は、ユーザが選択したソース信号を抽出し、ユーザ端末４４０２に伝送する。ソース信号提供サーバ４４０１は、場合によって、ユーザが選択したソース信号に対する付加情報を生成し、これをソース信号と一緒にユーザ端末４４０２に伝送することができる。ユーザは、デコーディング装置を用いて、ソース信号提供サーバ４４０１からのソース信号及び元のミックス信号に含まれているソース信号から新しいミックス信号を生成することができる。
ユーザは、ソース信号提供サーバ４４０１からソース信号を受信しても良いが、直接特定曲に対するソース信号を生成しても良い。ユーザは、ミックス信号に含まれているソース信号及び直接生成したソース信号を用いて元のミックス信号を変形して新しいミックス信号を生成することができる。ソース信号提供サーバ４４０１は、ソース信号の他に、ソース信号のアイコンを含むことができる。ユーザは、ソース信号提供サーバ４４０１に接続し、ソース信号のアイコンをダウンロードして使用することができる。また、ユーザは、ソース信号提供サーバ４４０１から受信したソース信号のアイコンを変形して使用することができる。
図４５は、本発明の一実施例によるミックス信号を変形する方法を示すフローチャートである。図４５を参照すると、本発明による信号処理装置は、エンコーディング装置から受信するか、またはあらかじめ記憶しておいたミックス信号を抽出する。この信号処理装置は、ミックス信号に含まれているソース信号を抽出する（Ｓ４５０１）。以下、ミックス信号に含まれているソース信号を第１ソース信号とし、ミックス信号に含まれていないソース信号を第２ソース信号とする。信号処理装置は、エンコーディング装置から受け取ったり、ソース信号提供サーバ４４０１から受け取ったり、または、ユーザが直接生成した第２ソース信号を抽出する（Ｓ４５０２）。信号処理装置は、第１ソース信号及び第２ソース信号を用いてミックス信号を変形する（Ｓ４５０３）。すなわち、信号処理装置は、第１ソース信号と第２ソース信号のうち、ユーザが選択したソース信号のみを含む新しいミックス信号を生成する。
図４６は、本発明の一実施例によるミックス信号を変形する方法を示すフローチャートである。図４６を参照すると、本発明による信号処理装置は、ソース信号を抽出する（Ｓ４６０１）。ここで、ソース信号は、ミックス信号に含まれている第１ソース信号及びミックス信号に含まれていない第２ソース信号を含む。この信号処理装置は、ユーザにより選択されたソース信号を受信する（Ｓ４６０２）。信号処理装置は、ユーザが選択したソース信号を用いて新しいミックス信号を生成する（Ｓ４６０３）。信号処理装置は、元のミックス信号に含まれているソース信号のうち、ユーザが所望しないソース信号は除去し、ミックス信号に含まれていないソース信号のうち、ユーザが所望するソース信号はミックス信号に加えることによって、ユーザが選択したソース信号のみを含む新しいミックス信号を生成する。信号処理装置は、新しいミックス信号をソース信号別に調節するために新しいミックス信号に対する第３付加情報を生成する（Ｓ４６０４）。
本発明による信号処理装置は、ミックス信号に対する第１付加情報及びミックス信号に含まれていないソース信号に対する第２付加情報を用いて新しいミックス信号に対する第３付加情報を生成できる。また、信号処理装置は、第１及び第２付加情報を使用せずに第３付加情報を生成することができる。すなわち、信号処理装置は、新しいミックス信号を生成した後、生成されたミックス信号を用いて新しいミックス信号に対する第３付加情報を直接生成しても良い。信号処理装置はユーザから制御情報を受信する（Ｓ４６０５）。信号処理装置は、ユーザから受信した制御情報及び第３付加情報を用いて新しいミックス信号をソース信号別に制御できるようなリミックスされたミックス信号を生成する（Ｓ４６０６）。
以上では幾つかの実施例に挙げて本発明を具体的に説明してきたが、これらの実施例は、本発明の理解を助ける説明のために提示されたもので、本発明の範囲を制限するためのものではない。当業者には、本発明の技術的思想を逸脱しない範囲内で様々な変形が可能であるということが理解でき、よって、本発明の範囲は、添付した特許請求の範囲によって定められるべきである。

Claims (10)

  1. ミックス信号の識別情報を獲得する段階と、
    前記識別情報にマッチングするソース制御情報がメモリに記憶されているか否かを決定する段階と、
    前記ソース制御情報が前記ミックス信号にマッチングする場合は、ソース制御情報の目録を表示する段階と、
    前記目録のうちの特定のソース制御情報に対する選択命令がユーザにより入力された場合は、選択されたソース制御情報を読み取って出力する段階と、
    前記選択されたソース制御情報及び前記ミックス信号を用いてリミックス信号を生成する段階と、を含み、
    各ソース制御情報は前記ミックス信号におけるソース信号を変形するために使用可能であることを特徴とする信号処理方法。
  2. 前記ミックス信号の識別情報は、前記ミックス信号の付加情報である、請求項１に記載の信号処理方法。
  3. 前記ソース制御情報は、ソース別ゲインファクタを含む、請求項１に記載の信号処理方法。
  4. 前記ソース制御情報は時間によって変化し、前記ソース制御情報の適用時点に関する情報をさらに含む、請求項３に記載の信号処理方法。
  5. 前記選択されたソース制御情報に関する変形命令がユーザにより入力された場合、前記選択されたソース制御情報を変形し、前記の変形されたソース制御情報を記憶する段階をさらに含む、請求項１に記載の信号処理方法。
  6. 前記ソース制御情報の目録は、前記ミックス信号のソース情報を含み、前記選択命令は、一部のソースに関するものであり、前記の選択されたソース制御情報を出力する段階は、選択されたソースに該当するソース制御情報を読み取って出力する段階である、請求項１に記載の信号処理方法。
  7. 前記ミックス信号にマッチングする前記ソース制御情報は記憶しておいた値であるか、入力された値である、請求項１に記載の信号処理方法。
  8. ミックス信号の処理装置と連係している信号処理装置であって、
    前記ミックス信号の識別情報別ソース制御情報が記憶されているメモリと、
    ソース制御情報の目録を表示するディスプレイと、
    前記ミックス信号の識別情報に基づいて、前記ミックス信号にマッチングするソース制御情報を読み取る制御部と、を含み、
    前記識別情報にマッチングするソース制御情報がメモリに記憶されているか否かを決定し、
    前記ソース制御情報が前記ミックス信号にマッチングする場合は、前記ソース制御情報の目録を表示し、
    前記目録のうちの特定のソース制御情報に対する選択命令がユーザにより入力された場合は、選択されたソース制御情報を前記ミックス信号の制御部へ出力し、
    各ソース制御情報は前記ミックス信号におけるソース信号を変形するために使用可能であることを特徴とする信号処理装置。
  9. 前記ディスプレイはインターフェースを出力するためのものであり、
    前記ミックス信号にマッチングするソース制御情報は、前記メモリに記憶された値であるか、入力された値である、請求項８に記載の信号処理装置。
  10. 前記選択されたソース制御情報を用いてミックス信号を生成するミックス信号処理装置と通信する通信部をさらに有する、請求項８に記載の信号処理装置。
JP2009530283A 2006-09-29 2007-10-01 ミックス信号処理装置及びミックス信号処理方法 Expired - Fee Related JP5174027B2 (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US84821806P 2006-09-29 2006-09-29
US60/848,218 2006-09-29
US82923306P 2006-10-12 2006-10-12
US60/829,233 2006-10-12
US82935006P 2006-10-13 2006-10-13
US60/829,350 2006-10-13
US86830406P 2006-12-01 2006-12-01
US60/868,304 2006-12-01
US88574207P 2007-01-19 2007-01-19
US60/885,742 2007-01-19
US89416207P 2007-03-09 2007-03-09
US60/894,162 2007-03-09
PCT/KR2007/004805 WO2008039045A1 (en) 2006-09-29 2007-10-01 Apparatus for processing mix signal and method thereof

Publications (2)

Publication Number Publication Date
JP2010505143A JP2010505143A (ja) 2010-02-18
JP5174027B2 true JP5174027B2 (ja) 2013-04-03

Family

ID=39230402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009530283A Expired - Fee Related JP5174027B2 (ja) 2006-09-29 2007-10-01 ミックス信号処理装置及びミックス信号処理方法

Country Status (5)

Country Link
US (1) US20100040135A1 (ja)
EP (1) EP2084703B1 (ja)
JP (1) JP5174027B2 (ja)
CN (1) CN101652810B (ja)
WO (1) WO2008039045A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031242B2 (en) * 2007-11-06 2015-05-12 Starkey Laboratories, Inc. Simulated surround sound hearing aid fitting system
KR101461685B1 (ko) 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
JP5174527B2 (ja) * 2008-05-14 2013-04-03 日本放送協会 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
US9485589B2 (en) 2008-06-02 2016-11-01 Starkey Laboratories, Inc. Enhanced dynamics processing of streaming audio by source separation and remixing
US8705751B2 (en) 2008-06-02 2014-04-22 Starkey Laboratories, Inc. Compression and mixing for hearing assistance devices
US9185500B2 (en) 2008-06-02 2015-11-10 Starkey Laboratories, Inc. Compression of spaced sources for hearing assistance devices
KR101137360B1 (ko) * 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US20110054917A1 (en) * 2009-08-28 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream
FR2966277B1 (fr) * 2010-10-13 2017-03-31 Inst Polytechnique Grenoble Procede et dispositif de formation d'un signal mixe numerique audio, procede et dispositif de separation de signaux, et signal correspondant
US9246725B2 (en) * 2011-09-06 2016-01-26 Electronics And Telecommunications Research Institute Method of generating and receiving packets in low energy critical infrastructure monitoring system
US8964979B2 (en) * 2011-10-07 2015-02-24 Silicon Image, Inc. Identification and handling of data streams using coded preambles
WO2014007097A1 (ja) 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
EP2741286A4 (en) * 2012-07-02 2015-04-08 Sony Corp DECODING DEVICE AND METHOD, CODING DEVICE AND METHOD AND PROGRAM
KR20150032649A (ko) 2012-07-02 2015-03-27 소니 주식회사 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램
TWI517142B (zh) 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program
KR20140017338A (ko) * 2012-07-31 2014-02-11 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 장치 및 방법
CN103812824A (zh) * 2012-11-07 2014-05-21 中兴通讯股份有限公司 音频多编码传输方法及相应装置
US20150371644A1 (en) * 2012-11-09 2015-12-24 Stormingswiss Gmbh Non-linear inverse coding of multichannel signals
WO2014101169A1 (zh) * 2012-12-31 2014-07-03 北京印声科技有限公司 提供增强音频数据流的方法及装置
JP5591423B1 (ja) 2013-03-13 2014-09-17 パナソニック株式会社 オーディオ再生装置およびオーディオ再生方法
US9607624B2 (en) * 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
WO2014171341A1 (ja) * 2013-04-15 2014-10-23 ソニー株式会社 受信装置、受信方法、及び、プログラム
EP3210206B1 (en) * 2014-10-24 2018-12-05 Dolby International AB Encoding and decoding of audio signals
GB2549922A (en) * 2016-01-27 2017-11-08 Nokia Technologies Oy Apparatus, methods and computer computer programs for encoding and decoding audio signals
US10535357B2 (en) * 2017-10-05 2020-01-14 Qualcomm Incorporated Encoding or decoding of audio signals
CN110428798B (zh) * 2019-08-02 2021-08-10 湖南国声声学科技股份有限公司深圳分公司 人声与伴奏同步方法、蓝牙设备、终端及存储介质
CN111341323B (zh) * 2020-02-10 2022-07-01 厦门快商通科技股份有限公司 声纹识别训练数据扩增方法、系统、移动终端及存储介质

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3503958B2 (ja) * 1992-12-28 2004-03-08 パイオニア株式会社 オムニバスカラオケ演奏装置
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6128597A (en) * 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US6026168A (en) * 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
WO1999053479A1 (en) * 1998-04-15 1999-10-21 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Fast frame optimisation in an audio encoder
JP3770293B2 (ja) * 1998-06-08 2006-04-26 ヤマハ株式会社 演奏状態の視覚的表示方法および演奏状態の視覚的表示プログラムが記録された記録媒体
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
US7103187B1 (en) * 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
US6546299B1 (en) * 1999-06-01 2003-04-08 Martin Fitzgerald Bradley Machine and method for manipulating digital audio
JP3775156B2 (ja) * 2000-03-02 2006-05-17 ヤマハ株式会社 携帯電話機
US6739418B2 (en) * 2000-04-27 2004-05-25 Mitsubishi Fuso Truck And Bus Corporation Engine operation controller for hybrid electric vehicle
WO2002007481A2 (en) * 2000-07-19 2002-01-24 Koninklijke Philips Electronics N.V. Multi-channel stereo converter for deriving a stereo surround and/or audio centre signal
JP2002058100A (ja) * 2000-08-08 2002-02-22 Yamaha Corp 音像定位制御装置および音像定位制御プログラムが記録された記録媒体
JP2002125010A (ja) * 2000-10-18 2002-04-26 Casio Comput Co Ltd 移動体通信装置及びメロディ着信音出力方法
US6888999B2 (en) * 2001-03-16 2005-05-03 Magix Ag Method of remixing digital information
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP3726712B2 (ja) * 2001-06-13 2005-12-14 ヤマハ株式会社 演奏設定情報の授受が可能な電子音楽装置及びサーバ装置、並びに、演奏設定情報授受方法及びプログラム
BR0304542A (pt) * 2002-04-22 2004-07-20 Koninkl Philips Electronics Nv Método e codificador para codificar um sinal de áudio de multicanal, aparelho para fornecer um sinal de áudio, sinal de áudio codificado, meio de armazenamento, e, método e decodificador para decodificar um sinal de áudio
EP1394772A1 (en) * 2002-08-28 2004-03-03 Deutsche Thomson-Brandt Gmbh Signaling of window switchings in a MPEG layer 3 audio data stream
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
JP4084990B2 (ja) * 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
CN1321423C (zh) * 2003-03-03 2007-06-13 三菱重工业株式会社 容器、中子屏蔽体用组合物和中子屏蔽体制造法
US6937737B2 (en) * 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
TWI233091B (en) * 2003-11-18 2005-05-21 Ali Corp Audio mixing output device and method for dynamic range control
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
US7332666B2 (en) * 2004-08-05 2008-02-19 Yamaha Corporation Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program
US7452989B2 (en) * 2004-08-09 2008-11-18 Silverbrook Research Pty Ltd Metal-cyanine dye having improved water solubility
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US20070083365A1 (en) * 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
US8081762B2 (en) * 2006-01-09 2011-12-20 Nokia Corporation Controlling the decoding of binaural audio signals
US9426596B2 (en) * 2006-02-03 2016-08-23 Electronics And Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
EP2092516A4 (en) * 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING

Also Published As

Publication number Publication date
EP2084703A1 (en) 2009-08-05
EP2084703B1 (en) 2019-05-01
EP2084703A4 (en) 2009-09-23
US20100040135A1 (en) 2010-02-18
CN101652810A (zh) 2010-02-17
CN101652810B (zh) 2012-04-11
WO2008039045A1 (en) 2008-04-03
JP2010505143A (ja) 2010-02-18

Similar Documents

Publication Publication Date Title
JP5174027B2 (ja) ミックス信号処理装置及びミックス信号処理方法
JP4787362B2 (ja) オブジェクトベースオーディオ信号をエンコーディング及びデコーディングする方法及び装置
US20120134511A1 (en) Multichannel audio coder and decoder
JP2010515944A (ja) オーディオデコーダ
NO338928B1 (no) Generering av et kodet flerkanalsignal og dekoding av et kodet flerkanalsignal
RU2455708C2 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
US20210343302A1 (en) High resolution audio coding
KR100891666B1 (ko) 믹스 신호의 처리 방법 및 장치
US11735193B2 (en) High resolution audio coding
US6463405B1 (en) Audiophile encoding of digital audio data using 2-bit polarity/magnitude indicator and 8-bit scale factor for each subband
JP7130878B2 (ja) 高分解能オーディオコーディング
KR102664768B1 (ko) 고해상도 오디오 코딩
KR100891671B1 (ko) 믹스신호 제어 방법 및 장치
KR100891669B1 (ko) 믹스 신호의 처리 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120627

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees