JP6201047B2 - オーディオ信号のパラメトリック再構成のための脱相関器構造 - Google Patents
オーディオ信号のパラメトリック再構成のための脱相関器構造 Download PDFInfo
- Publication number
- JP6201047B2 JP6201047B2 JP2016524453A JP2016524453A JP6201047B2 JP 6201047 B2 JP6201047 B2 JP 6201047B2 JP 2016524453 A JP2016524453 A JP 2016524453A JP 2016524453 A JP2016524453 A JP 2016524453A JP 6201047 B2 JP6201047 B2 JP 6201047B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- coefficients
- audio
- upmix
- downmix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Description
本願は2014年4月1日に出願された米国仮特許出願第61/973,646号および2013年10月21日に出願された米国仮特許出願第61/893,770号の優先権を主張するものである。各出願の内容はここに参照によってその全体において組み込まれる。
本稿に開示される発明は、オーディオ信号のエンコードおよびデコードに、詳細にはダウンミックス信号および関連するメタデータからの複数のオーディオ信号のパラメトリック再構成に関する。
第一の側面によれば、例示的実施形態は、複数のオーディオ信号を再構成するためのオーディオ・デコード・システムならびに方法およびコンピュータ・プログラム・プロダクトを提案する。該第一の側面に基づく提案されるデコード・システム、方法およびコンピュータ・プログラム・プロダクトは一般に同じまたは対応する特徴および利点をもつことがある。
(absV)TCRyyCTabsV
の対角部分を−1/4乗したものの乗算に帰着してもよい。ここで、absVは前記目標共分散が分解される前記行列の要素ごとの絶対値を表わし、CRyyCTは前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散に対応する行列である。所与の行列、たとえば上記の行列積の対角部分とは、該所与の行列においてすべての非対角要素を0にすることによって得られる対角行列を意味する。そのような対角行列を−1/4乗するとは、該対角行列における各行列要素が−1/4乗されることを意味する。係数の前記さらなる集合と前記ウェット・アップミックス係数との間の線形スケーリング関係は、たとえば、前記目標共分散が分解された前記行列の列ごとの再スケーリングが、係数の前記さらなる集合を行列要素としてもつ行列の行ごとまたは列ごとの再スケーリングに対応する。ここで、係数の前記さらなる集合を行列要素としてもつ行列の行ごとまたは列ごとの再スケーリングは、前記目標共分散が分解された前記行列の列ごとの再スケーリングにおいて用いられる。
下記では、エンコードおよびデコードの数学的記述が与えられる。より詳細な理論的背景については、非特許文献1参照。
Z=decorr(W) (4)
として表わされうる。ここで、decorr()はこの脱相関動作を表わす。
脱相関信号Zの所与のチャネルがパラメトリック再構成において寄与するオーディオ信号は、ダウンミックス信号Yを介して、脱相関信号Zの該所与のチャネルが生成されるもとになった中間オーディオ信号Wの同じチャネルに、好ましくは対応する/マッチする量だけ寄与するべきである。
Q=(absP)TC (5)
に従って計算するということである。ここで、absPは、ウェット・アップミックス行列Pの要素の絶対値を取ることによって得られる行列を表わす。式(3)および(5)は、処理されて脱相関信号Zになる中間信号Wが、再構成されるべきオーディオ信号Xの近似と見なされてもよい「ドライ」アップミックス信号CYの線形マッピングによって取得可能であることを含意する。これは、脱相関信号Zを導出するための上記の原理を反映している。脱相関前係数Qを計算するための規則(5)は、比較的低い複雑さの計算を伴うだけであり、よってデコーダ側で便利に用いられうる。脱相関前係数Qをドライ・アップミックス係数Cおよびウェット・アップミックス係数Pに基づいて計算するための代替的な諸方法が考えられる。たとえば、Q=(absP0)TCとして計算されてもよい。ここで、行列P0はPの各列を規格化することによって得られる。脱相関前係数Qを計算するためのこの代替法の効果は、式(2)によって与えられるパラメトリック再構成が、ウェット・アップミックス行列Pの大きさ(magnitude)とともに線形にスケールするということである。
CYYT=XYT (6)
を解くことによって、可能な最良の「ドライ」アップミックス信号CYを計算することによって決定されてもよい。ドライ・アップミックスCYによって近似されるオーディオ信号の共分散行列は、
ΔR=Rxx−CRyyCT (7)
を形成することによって、再構成されるべきオーディオ信号Xの共分散行列Rxxと比較されてもよい。ここで、Ryyはダウンミックス信号Yの共分散行列であり、ΔRは、「ウェット」アップミックス信号PZによって完全にまたは部分的に与えられうる「不足している」共分散である。不足共分散ΔRは、固有分解(eigendecomposition)を介して、すなわちその固有値および関連する固有ベクトルに基づいて解析できる。式(2)に基づくパラメトリック再構成がデコーダ側で実行される場合、高々K個の脱相関器を用いて、すなわちK個のチャネルをもつ脱相関信号を用いて、いくつかの最大の固有値の大きさに関連するK個の固有ベクトルに対応するΔRの固有分解の部分のみを保持することによって、すなわち、他の固有ベクトルに対応する不足共分散ΔRの部分を除去することによって、ウェット・アップミックス信号PZについて目標共分散Rwetが設定されうる。式(1)に基づく、エンコーダ側で用いられるダウンミックス行列Dが非縮退であれば、不足共分散ΔRが高々N−Mの階数をもち、不足共分散ΔRをフルに与えるためにK=N−M個の脱相関器しか必要とされないことを示すことができる。証明については、非特許文献1参照。最大のいくつかの固有値に関連する寄与を保持することによって、たとえデコーダ側でより少数K<N−M個の脱相関器しか用いられないとしても、不足共分散ΔRの知覚的に重要/有意な部分が、ウェット・アップミックス信号PZによって再現されうる。特に、単一の脱相関器の使用、すなわちK=1がすでに、脱相関なしのパラメトリック再構成に比べ、デコーダ側での比較的低い追加的な計算量のコストで、再構成されるオーディオ信号の忠実度の有意な改善を与える。脱相関器の数を増すことによって、再構成されたオーディオ信号の忠実度は、伝送されるべき追加的なウェット・アップミックス・パラメータPを代償として、増大させられる。用いられるダウンミックス・チャネルの数Mおよび用いられる脱相関器の数Kは、たとえば、デコーダ側にデータを伝送するための目標ビットレートおよび再構成されたオーディオ信号の要求される忠実度/品質に基づいて選ばれてもよい。
Rwet=VVT (8)
として分解できる。ここで、VはN行K列の行列であり、ウェット・アップミックス行列Pは
P=VS (9)
の形で得られる。ここで、Sは行列Vの列ごとの再スケーリングを与える正の要素をもつ対角行列である。(9)の形をもつウェット・アップミックス行列Pおよび式(6)を解くドライ・アップミックス行列Cについて、再構成された信号(^付きのX)の共分散行列は
VSdiag(QRyyQT)STVT=VVT (10)
と表わせる。これは、行列Sによって与えられる列ごとの再スケーリングにより、脱相関前の線形マッピングをダウンミックス信号Yに適用することから帰結する各信号(すなわちQRyyQTの対角要素を分散としてもつ式(3)を介して得られる中間信号Wのチャネル)の分散が行列Sにおける対応する列ごとの再スケーリング因子の逆二乗に等しいことが保証されれば、満たされる。(5)の形をもつ脱相関前行列Qを用いることで、ウェット・アップミックス行列Pと脱相関前係数Qとの間に線形のスケーリング関係がある。これは、式(10)において行列Sの複数のインスタンスが集められることを許容し、十分条件
S4diag((absV)TCRyyCT(absV))=I
を与える。ここで、Iは恒等行列である。よって、ウェット・アップミックス係数PはP=VSとして得られてもよい。ここで、
S=((absV)TCRyyCT(absV))-1/4 (11)
である。
上記の記述を吟味すれば、当業者には本開示のさらなる実施形態が明白になるであろう。本稿および図面は実施形態および例を開示しているが、本開示はこれらの個別的な例に制約されるものではない。付属の請求項によって定義される本開示の範囲から外れることなく数多くの修正および変形をなすことができる。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。
いくつかの態様を記載しておく。
〔態様1〕
複数のオーディオ信号(X)を再構成する方法であって:
ダウンミックス信号(Y)の時間/周波数タイルを、関連付けられたウェット・アップミックス係数およびドライ・アップミックス係数(P、C)と一緒に受領する段階であって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と;
中間信号(W)を、前記ダウンミックス信号の線形マッピングとして計算する段階であって、係数の第一の集合(Q)が前記ダウンミックス信号のチャネルに適用される、段階と;
前記中間信号の一つまたは複数のチャネルを処理することによって、脱相関信号(Z)を生成する段階と;
ウェット・アップミックス信号を前記脱相関信号の線形マッピングとして計算する段階であって、係数の第二の集合(P)が前記脱相関された中間信号の一つまたは複数のチャネルに適用される、段階と;
ドライ・アップミックス信号を前記ダウンミックス信号の線形マッピングとして計算する段階であって、係数の第三の集合(C)が前記ダウンミックス信号のチャネルに適用される、段階と;
前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間/周波数タイルに対応する多次元の再構成された信号を得る段階とを含み、
係数の前記第二の集合および前記第三の集合は、それぞれ受領されたウェット・アップミックス係数およびドライ・アップミックス係数に対応し、
係数の前記第一の集合は、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいて、あらかじめ定義された規則に従って、計算される、
方法。
〔態様2〕
処理されて前記脱相関信号にされる前記中間信号は、前記ドライ・アップミックス信号の線形マッピングによって取得可能である、態様1記載の方法。
〔態様3〕
前記中間信号は、前記ドライ・アップミックス信号に対して、前記ウェット・アップミックス係数の絶対値である係数の集合を適用することによって取得可能である、態様2記載の方法。
〔態様4〕
係数の前記第一の集合は、あらかじめ定義された規則に従って前記ウェット・アップミックス係数を処理し、処理されたウェット・アップミックス係数および前記ドライ・アップミックス係数を乗算することによって計算される、態様1ないし3のうちいずれか一項記載の方法。
〔態様5〕
前記ウェット・アップミックス係数を処理するための前記あらかじめ定義された規則は、要素ごとの絶対値演算を含む、態様4記載の方法。
〔態様6〕
前記ウェット・アップミックス係数および前記ドライ・アップミックス係数はそれぞれの行列として構成され、前記ウェット・アップミックス係数を処理するための前記あらかじめ定義された規則は、すべての要素の要素ごとの絶対値を計算し、前記ドライ・アップミックス係数の行列との直接的な行列乗算を許容するよう、それらの要素を再配列することを含む、態様5記載の方法。
〔態様7〕
前記計算する段階および組み合わせる段階は、前記信号の直交ミラー・フィルタ(QMF)領域表現に対して実行される、態様1ないし6のうちいずれか一項記載の方法。
〔態様8〕
前記ウェット・アップミックス係数および前記ドライ・アップミックス係数の複数の値が受領され、各値は特定のアンカー点に関連付けられており、当該方法はさらに:
二つの連続するアンカー点に関連付けられた前記ウェット・アップミックス係数および前記ドライ・アップミックス係数の値に基づいて、係数の前記第一の集合の対応する値を計算し、
次いで、すでに計算された係数の前記第一の集合の値に基づいて、前記連続するアンカー点の間に含まれる少なくとも一つの時点についての係数の前記第一の集合の値を補間することを含む、
態様1ないし7のうちいずれか一項記載の方法。
〔態様9〕
ダウンミックス信号の時間/周波数タイルおよび関連付けられたウェット・アップミックス係数およびドライ・アップミックス係数を受領し、複数のオーディオ信号を再構成するよう適応されたパラメトリック再構成部をもつオーディオ・デコード・システムであって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルをもち、前記パラメトリック再構成部は:
前記ダウンミックス信号の前記時間/周波数タイルを受領して、係数の第一の集合に従って線形に前記ダウンミックス信号をマッピングすることによって計算される中間信号(W)を出力するよう構成された前置乗算器と;
前記中間信号を受領してそれに基づいて脱相関信号を出力するよう構成された脱相関部と;
前記ウェット・アップミックス係数および前記脱相関信号を受領して、前記ウェット・アップミックス係数に従って線形に前記脱相関信号をマッピングすることによってウェット・アップミックス信号を計算するよう構成されたウェット・アップミックス部と;
前記ドライ・アップミックス係数および前記前置乗算器と並列に前記ダウンミックス信号の前記時間/周波数タイルを受領して、前記ドライ・アップミックス係数に従って線形に前記ダウンミックス信号をマッピングすることによって計算されたドライ・アップミックス信号を出力するよう構成されたドライ・アップミックス部と;
前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を受領して、これらの信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間/周波数タイルに対応する多次元の再構成された信号を得るよう構成された組み合わせ部とを有しており、
前記パラメトリック再構成部はさらに、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数を受領して、あらかじめ定義された規則に従って係数の前記第一の集合を計算し、これを前記前置乗算器に供給するよう構成された変換器を有する、
オーディオ・デコード・システム。
〔態様10〕
パラメトリック再構成のために好適なデータとして複数のオーディオ信号(X)をエンコードするための方法であって:
前記複数のオーディオ信号の時間/周波数タイルを受領する段階と;
ダウンミックス規則に従って、前記オーディオ信号の線形結合を形成することによってダウンミックス信号(Y)を計算する段階であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と;
前記時間/周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数(C)を決定する段階と;
受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数(P)を決定する段階と;
前記ダウンミックス信号を、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数と一緒に出力する段階であって、それらの係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合(Q)の、あらかじめ定義された規則に基づく計算を可能にする、段階とを含む、
方法。
〔態様11〕
前記オーディオ信号の複数の時間/周波数タイルが受領され、前記ダウンミックス信号は、あらかじめ定義されたダウンミックス規則に従って一様に計算される、態様10記載の方法。
〔態様12〕
前記オーディオ信号の複数の時間/周波数タイルが受領され、前記ダウンミックス信号は、信号適応的なダウンミックス規則に従って計算される、態様10記載の方法。
〔態様13〕
前記ウェット・アップミックス係数は:
前記ダウンミックス信号の前記線形マッピングによって近似される前記オーディオ信号の前記共分散を補足する目標共分散を設定し;
前記目標共分散を行列とその転置の積として分解することによって決定され、前記行列の要素は、任意的な列ごとの再スケーリング後に、前記ウェット・アップミックス係数に対応する、
態様10ないし12のうちいずれか一項記載の方法。
〔態様14〕
前記目標共分散が分解される前記行列の列ごとの再スケーリングをさらに含み、前記列ごとの再スケーリングは、前記脱相関前の線形マッピングを定義する係数が前記あらかじめ定義された規則に従って計算される限り、前記脱相関前の線形マッピングを前記ダウンミックス信号に適用することから帰結する各信号の分散が、前記列ごとの再スケーリングにおいて用いられる対応する再スケーリング因子の逆二乗に等しいことを保証する、態様13記載の方法。
〔態様15〕
前記あらかじめ決定された規則は、係数の前記さらなる集合と前記ウェット・アップミックス係数との間の線形スケーリング関係を含意し、前記列ごとの再スケーリングは、行列積
(absV) T CR yy C T absV
の対角部分を−1/4乗したものの乗算に帰着し、ここで、absVは前記目標共分散が分解される前記行列の要素ごとの絶対値を表わし、CR yy C T は前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散に対応する行列である、
態様14記載の方法。
〔態様16〕
前記目標共分散は、前記目標共分散と、前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散との和が、受領された前記オーディオ信号の前記共分散を近似するために選ばれる、態様13ないし15のうちいずれか一項記載の方法。
〔態様17〕
受領されたオーディオ信号の推定された全エネルギーと、前記ダウンミックス信号、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいてパラメトリックに再構成されたオーディオ信号の推定された全エネルギーとの比を決定し;
前記比の平方根の逆数によって前記ドライ・アップミックス係数を再スケーリングすることによって、
エネルギー補償を実行することをさらに含み、
再スケーリングされたドライ・アップミックス係数は、前記ダウンミックス信号および前記ウェット・アップミックス係数と一緒に出力される、
態様10ないし15のうちいずれか一項記載の方法。
〔態様18〕
パラメトリック再構成のために好適なデータとして複数のオーディオ信号をエンコードするよう適応されたパラメトリック・エンコード部を含むオーディオ・エンコード・システムであって、前記パラメトリック・エンコード部は:
前記複数のオーディオ信号の時間/周波数タイルを受領し、ダウンミックス規則に従って前記オーディオ信号の線形結合を形成することによってダウンミックス信号を計算するよう構成されたダウンミックス部であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、ダウンミックス部と;
前記時間/周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数を決定するよう構成された第一の解析部と;
受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数を決定するよう構成された第二の解析部とを有しており、
前記パラメトリック・エンコード部は、前記ダウンミックス信号を、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数と一緒に出力するよう構成されており、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合の、あらかじめ定義された規則に基づく計算を可能にする、
オーディオ・エンコード・システム。
〔態様19〕
態様1ないし8および10ないし17のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
〔態様20〕
前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、態様1ないし19のうちいずれか一項記載の方法または装置。
Claims (22)
- 複数のオーディオ信号(X)を再構成する方法であって:
ダウンミックス信号(Y)の時間/周波数タイルを、関連付けられたウェット・アップミックス係数およびドライ・アップミックス係数(P、C)と一緒に受領する段階であって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と;
中間信号(W)を、前記ダウンミックス信号の線形マッピングとして計算する段階であって、係数の第一の集合(Q)が前記ダウンミックス信号のチャネルに適用される、段階と;
前記中間信号の一つまたは複数のチャネルを処理することによって、脱相関信号(Z)を生成する段階と;
ウェット・アップミックス信号を前記脱相関信号の線形マッピングとして計算する段階であって、係数の第二の集合(P)が前記脱相関信号の一つまたは複数のチャネルに適用される、段階と;
ドライ・アップミックス信号を前記ダウンミックス信号の線形マッピングとして計算する段階であって、係数の第三の集合(C)が前記ダウンミックス信号のチャネルに適用される、段階と;
前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間/周波数タイルに対応する多次元の再構成された信号を得る段階とを含み、
係数の前記第二の集合および前記第三の集合は、それぞれ受領されたウェット・アップミックス係数およびドライ・アップミックス係数に一致するまたはそれぞれ受領されたウェット・アップミックス係数およびドライ・アップミックス係数から導出され、
当該方法はさらに、係数の前記第一の集合を、受領された前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいて計算する段階であって、処理されて前記脱相関信号にされる前記中間信号が前記ドライ・アップミックス信号の線形マッピングによって得られるようにする、段階を含む、
方法。 - 前記中間信号は、前記ドライ・アップミックス信号に対して、前記ウェット・アップミックス係数の絶対値である係数の集合を適用することによって取得可能である、請求項1記載の方法。
- 係数の前記第一の集合は、あらかじめ定義された規則に従って前記ウェット・アップミックス係数を処理し、処理されたウェット・アップミックス係数および前記ドライ・アップミックス係数を乗算することによって計算される、請求項1または2記載の方法。
- 前記ウェット・アップミックス係数を処理するための前記あらかじめ定義された規則は、要素ごとの絶対値演算を含む、請求項3記載の方法。
- 前記ウェット・アップミックス係数および前記ドライ・アップミックス係数はそれぞれの行列として構成され、前記ウェット・アップミックス係数を処理するための前記あらかじめ定義された規則は、すべての要素の要素ごとの絶対値を計算し、前記ドライ・アップミックス係数の行列との直接的な行列乗算を許容するよう、それらの要素を再配列することを含む、請求項4記載の方法。
- 前記ダウンミックス信号は、中間信号を計算する前記段階およびドライ・アップミックス信号を計算する前記段階より前に直交ミラー・フィルタ(QMF)領域表現に変換される、請求項1ないし5のうちいずれか一項記載の方法。
- 前記ウェット・アップミックス係数および前記ドライ・アップミックス係数の複数の値が受領され、各値はアンカー点に関連付けられており、当該方法はさらに:
二つの連続するアンカー点に関連付けられた前記ウェット・アップミックス係数および前記ドライ・アップミックス係数の値に基づいて、係数の前記第一の集合の対応する値を計算し、
次いで、すでに計算された係数の前記第一の集合の値に基づいて、前記連続するアンカー点の間に含まれる少なくとも一つの時点についての係数の前記第一の集合の値を補間することを含む、
請求項1ないし6のうちいずれか一項記載の方法。 - ダウンミックス信号の時間/周波数タイルおよび関連付けられたウェット・アップミックス係数およびドライ・アップミックス係数を受領し、複数のオーディオ信号を再構成するよう適応されたパラメトリック再構成部をもつオーディオ・デコード・システムであって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルをもち、前記パラメトリック再構成部は:
前記ダウンミックス信号の前記時間/周波数タイルを受領して、係数の第一の集合に従って線形に前記ダウンミックス信号をマッピングすることによって計算される中間信号(W)を出力するよう構成された前置乗算器と;
前記中間信号を受領してそれに基づいて脱相関信号を出力するよう構成された脱相関部と;
前記ウェット・アップミックス係数および前記脱相関信号を受領して、前記ウェット・アップミックス係数に従って線形に前記脱相関信号をマッピングすることによってウェット・アップミックス信号を計算するよう構成されたウェット・アップミックス部と;
前記ドライ・アップミックス係数および前記前置乗算器と並列に前記ダウンミックス信号の前記時間/周波数タイルを受領して、前記ドライ・アップミックス係数に従って線形に前記ダウンミックス信号をマッピングすることによって計算されたドライ・アップミックス信号を出力するよう構成されたドライ・アップミックス部と;
前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を受領して、これらの信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間/周波数タイルに対応する多次元の再構成された信号を得るよう構成された組み合わせ部とを有しており、
前記パラメトリック再構成部はさらに、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数を受領して、あらかじめ定義された規則に従って係数の前記第一の集合を計算し、これを前記前置乗算器に供給するよう構成された変換器を有しており、
前記前置乗算器は、前記ドライ・アップミックス信号の線形マッピングによって前記中間信号を得るようさらに構成されている、
オーディオ・デコード・システム。 - パラメトリック再構成のために好適なデータとして複数のオーディオ信号(X)をエンコードするための方法であって:
前記複数のオーディオ信号の時間/周波数タイルを受領する段階と;
ダウンミックス規則に従って、前記オーディオ信号の線形結合を形成することによってダウンミックス信号(Y)を計算する段階であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と;
前記時間/周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数(C)を決定する段階と;
受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数(P)を決定する段階と;
前記ダウンミックス信号を、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数と一緒に出力する段階であって、それらの係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合(Q)の、あらかじめ定義された規則に基づくデコーダ側での計算を可能にする、段階とを含み、
前記ウェット・アップミックス係数は:
前記ダウンミックス信号の前記線形マッピングによって近似される前記オーディオ信号の前記共分散を補足する目標共分散を設定し;
前記目標共分散を行列とその転置の積として分解することによって決定され、前記行列の要素は、列ごとの再スケーリング後に、前記ウェット・アップミックス係数に対応する、
方法。 - 前記オーディオ信号の複数の時間/周波数タイルが受領され、前記ダウンミックス信号は、あらかじめ定義されたダウンミックス規則に従って一様に計算される、請求項9記載の方法。
- 前記オーディオ信号の複数の時間/周波数タイルが受領され、前記ダウンミックス信号は、信号適応的なダウンミックス規則に従って計算される、請求項9記載の方法。
- 前記目標共分散が分解される前記行列の列ごとの再スケーリングをさらに含み、前記列ごとの再スケーリングは、前記脱相関前の線形マッピングを定義する係数が前記あらかじめ定義された規則に従って計算される限り、前記脱相関前の線形マッピングを前記ダウンミックス信号に適用することから帰結する各信号の分散が、前記列ごとの再スケーリングにおいて用いられる対応する再スケーリング因子の逆二乗に等しいことを保証する、請求項9ないし11のうちいずれか一項記載の方法。
- 前記あらかじめ決定された規則は、係数の前記さらなる集合と前記ウェット・アップミックス係数との間の線形スケーリング関係を含意し、前記列ごとの再スケーリングは、行列積
(absV)TCRyyCTabsV
の対角部分を−1/4乗したものの乗算に帰着し、ここで、absVは前記目標共分散が分解される前記行列の要素ごとの絶対値を表わし、CRyyCTは前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散に対応する行列である、
請求項12記載の方法。 - 前記目標共分散は、前記目標共分散と、前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散との和が、受領された前記オーディオ信号の前記共分散を近似するために選ばれる、請求項9ないし13のうちいずれか一項記載の方法。
- 受領されたオーディオ信号の推定された全エネルギーと、前記ダウンミックス信号、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいてパラメトリックに再構成されたオーディオ信号の推定された全エネルギーとの比を決定し;
前記比の平方根の逆数によって前記ドライ・アップミックス係数を再スケーリングすることによって、
エネルギー補償を実行することをさらに含み、
再スケーリングされたドライ・アップミックス係数は、前記ダウンミックス信号および前記ウェット・アップミックス係数と一緒に出力される、
請求項9ないし13のうちいずれか一項記載の方法。 - パラメトリック再構成のために好適なデータとして複数のオーディオ信号をエンコードするよう適応されたパラメトリック・エンコード部を含むオーディオ・エンコード・システムであって、前記パラメトリック・エンコード部は:
前記複数のオーディオ信号の時間/周波数タイルを受領し、ダウンミックス規則に従って前記オーディオ信号の線形結合を形成することによってダウンミックス信号を計算するよう構成されたダウンミックス部であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、ダウンミックス部と;
前記時間/周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数を決定するよう構成された第一の解析部と;
受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数を決定するよう構成された第二の解析部とを有しており、
前記パラメトリック・エンコード部は、前記ダウンミックス信号を、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数と一緒に出力するよう構成されており、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合の、あらかじめ定義された規則に基づくデコーダ側での計算を可能にし、
前記第二の解析部は、前記ウェット・アップミックス係数を:
前記ダウンミックス信号の前記線形マッピングによって近似される前記オーディオ信号の前記共分散を補足する目標共分散を設定し;
前記目標共分散を行列とその転置の積として分解することによって決定するよう構成されており、前記行列の要素が、列ごとの再スケーリング後に、前記ウェット・アップミックス係数に対応する、
オーディオ・エンコード・システム。 - コンピュータに請求項1ないし7のうちいずれか一項記載の方法を実行させるためのコンピュータ・プログラム。
- コンピュータに請求項9ないし15のうちいずれか一項記載の方法を実行させるためのコンピュータ・プログラム。
- 前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、請求項1ないし7のうちいずれか一項記載の方法。
- 前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、請求項9ないし15のうちいずれか一項記載の方法。
- 前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、請求項8記載のオーディオ・デコード・システム。
- 前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、請求項16記載のオーディオ・エンコード・システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361893770P | 2013-10-21 | 2013-10-21 | |
US61/893,770 | 2013-10-21 | ||
US201461973646P | 2014-04-01 | 2014-04-01 | |
US61/973,646 | 2014-04-01 | ||
PCT/EP2014/072568 WO2015059152A1 (en) | 2013-10-21 | 2014-10-21 | Decorrelator structure for parametric reconstruction of audio signals |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016539358A JP2016539358A (ja) | 2016-12-15 |
JP6201047B2 true JP6201047B2 (ja) | 2017-09-20 |
Family
ID=51830286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016524453A Active JP6201047B2 (ja) | 2013-10-21 | 2014-10-21 | オーディオ信号のパラメトリック再構成のための脱相関器構造 |
Country Status (15)
Country | Link |
---|---|
US (1) | US9848272B2 (ja) |
EP (1) | EP3061088B1 (ja) |
JP (1) | JP6201047B2 (ja) |
KR (1) | KR101805327B1 (ja) |
CN (1) | CN105637581B (ja) |
AU (1) | AU2014339065B2 (ja) |
BR (1) | BR112016008426B1 (ja) |
CA (1) | CA2926243C (ja) |
ES (1) | ES2659019T3 (ja) |
IL (1) | IL244785B (ja) |
MX (1) | MX354832B (ja) |
RU (1) | RU2641463C2 (ja) |
SG (1) | SG11201602628TA (ja) |
UA (1) | UA117258C2 (ja) |
WO (1) | WO2015059152A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018162472A1 (en) | 2017-03-06 | 2018-09-13 | Dolby International Ab | Integrated reconstruction and rendering of audio signals |
EP4054213A1 (en) | 2017-03-06 | 2022-09-07 | Dolby International AB | Rendering in dependence on the number of loudspeaker channels |
TWI792006B (zh) * | 2019-06-14 | 2023-02-11 | 弗勞恩霍夫爾協會 | 音訊合成器、訊號產生方法及儲存單元 |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5956674A (en) * | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
US6252965B1 (en) * | 1996-09-19 | 2001-06-26 | Terry D. Beard | Multichannel spectral mapping audio apparatus and method |
GB2343347B (en) | 1998-06-20 | 2002-12-31 | Central Research Lab Ltd | A method of synthesising an audio signal |
ES2323294T3 (es) | 2002-04-22 | 2009-07-10 | Koninklijke Philips Electronics N.V. | Dispositivo de decodificacion con una unidad de decorrelacion. |
US7502743B2 (en) | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
KR101169596B1 (ko) | 2003-04-17 | 2012-07-30 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 신호 합성 |
US7394903B2 (en) | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
CA2992125C (en) | 2004-03-01 | 2018-09-25 | Dolby Laboratories Licensing Corporation | Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters |
SE0400998D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
SE0402652D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
SE0402649D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
MX2007005262A (es) * | 2004-11-04 | 2007-07-09 | Koninkl Philips Electronics Nv | Codificacion y decodificacion de senales de audio de varios canales. |
CN102013256B (zh) | 2005-07-14 | 2013-12-18 | 皇家飞利浦电子股份有限公司 | 用于生成多个输出音频通道的方法及设备 |
US8626503B2 (en) | 2005-07-14 | 2014-01-07 | Erik Gosuinus Petrus Schuijers | Audio encoding and decoding |
KR101228630B1 (ko) | 2005-09-02 | 2013-01-31 | 파나소닉 주식회사 | 에너지 정형 장치 및 에너지 정형 방법 |
KR100888474B1 (ko) * | 2005-11-21 | 2009-03-12 | 삼성전자주식회사 | 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법 |
RU2008132156A (ru) | 2006-01-05 | 2010-02-10 | Телефонактиеболагет ЛМ Эрикссон (пабл) (SE) | Персонализированное декодирование многоканального объемного звука |
KR100803212B1 (ko) | 2006-01-11 | 2008-02-14 | 삼성전자주식회사 | 스케일러블 채널 복호화 방법 및 장치 |
KR101218776B1 (ko) | 2006-01-11 | 2013-01-18 | 삼성전자주식회사 | 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 |
WO2007106553A1 (en) * | 2006-03-15 | 2007-09-20 | Dolby Laboratories Licensing Corporation | Binaural rendering using subband filters |
US7965848B2 (en) | 2006-03-29 | 2011-06-21 | Dolby International Ab | Reduced number of channels decoding |
JP5133401B2 (ja) * | 2007-04-26 | 2013-01-30 | ドルビー・インターナショナル・アクチボラゲット | 出力信号の合成装置及び合成方法 |
KR101464977B1 (ko) | 2007-10-01 | 2014-11-25 | 삼성전자주식회사 | 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치 |
RU2443075C2 (ru) * | 2007-10-09 | 2012-02-20 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для генерации бинаурального аудиосигнала |
US8091836B2 (en) * | 2007-12-19 | 2012-01-10 | Pratt & Whitney Rocketdyne, Inc. | Rotary wing system with ion field flow control |
WO2009141775A1 (en) | 2008-05-23 | 2009-11-26 | Koninklijke Philips Electronics N.V. | A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder |
EP2144229A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient use of phase information in audio encoding and decoding |
KR101108060B1 (ko) * | 2008-09-25 | 2012-01-25 | 엘지전자 주식회사 | 신호 처리 방법 및 이의 장치 |
WO2010036062A2 (en) * | 2008-09-25 | 2010-04-01 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
EP2175670A1 (en) | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
EP2214162A1 (en) * | 2009-01-28 | 2010-08-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Upmixer, method and computer program for upmixing a downmix audio signal |
PL2394268T3 (pl) | 2009-04-08 | 2014-06-30 | Fraunhofer Ges Forschung | Urządzenie, sposób i program komputerowy do realizacji upmixu sygnału audio downmixu z użyciem wygładzania wartości faz |
US20120039477A1 (en) | 2009-04-21 | 2012-02-16 | Koninklijke Philips Electronics N.V. | Audio signal synthesizing |
CN103489449B (zh) * | 2009-06-24 | 2017-04-12 | 弗劳恩霍夫应用研究促进协会 | 音频信号译码器、提供上混信号表示型态的方法 |
EP2461321B1 (en) | 2009-07-31 | 2018-05-16 | Panasonic Intellectual Property Management Co., Ltd. | Coding device and decoding device |
ES2529219T3 (es) * | 2009-10-20 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato para proporcionar una representación de señal de mezcla ascendente sobre la base de la representación de una señal de mezcla descendente, aparato para proporcionar un flujo de bits que representa una señal de audio de canales múltiples, métodos, programa de computación y un flujo de bits que utiliza una señalización de control de distorsión |
EP2360681A1 (en) | 2010-01-15 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information |
TWI516138B (zh) * | 2010-08-24 | 2016-01-01 | 杜比國際公司 | 從二聲道音頻訊號決定參數式立體聲參數之系統與方法及其電腦程式產品 |
MY180970A (en) * | 2010-08-25 | 2020-12-14 | Fraunhofer Ges Forschung | Apparatus for generating a decorrelated signal using transmitted phase information |
EP2612322B1 (en) | 2010-10-05 | 2016-05-11 | Huawei Technologies Co., Ltd. | Method and device for decoding a multichannel audio signal |
EP2477188A1 (en) | 2011-01-18 | 2012-07-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding and decoding of slot positions of events in an audio signal frame |
EP2817802B1 (en) | 2012-02-24 | 2016-12-07 | Dolby International AB | Audio processing |
US9042867B2 (en) | 2012-02-24 | 2015-05-26 | Agnitio S.L. | System and method for speaker recognition on mobile devices |
ES2624668T3 (es) | 2013-05-24 | 2017-07-17 | Dolby International Ab | Codificación y descodificación de objetos de audio |
RU2648947C2 (ru) | 2013-10-21 | 2018-03-28 | Долби Интернэшнл Аб | Параметрическая реконструкция аудиосигналов |
-
2014
- 2014-10-21 CA CA2926243A patent/CA2926243C/en active Active
- 2014-10-21 JP JP2016524453A patent/JP6201047B2/ja active Active
- 2014-10-21 RU RU2016115360A patent/RU2641463C2/ru active
- 2014-10-21 US US15/029,023 patent/US9848272B2/en active Active
- 2014-10-21 SG SG11201602628TA patent/SG11201602628TA/en unknown
- 2014-10-21 KR KR1020167010187A patent/KR101805327B1/ko active IP Right Grant
- 2014-10-21 EP EP14790039.3A patent/EP3061088B1/en active Active
- 2014-10-21 AU AU2014339065A patent/AU2014339065B2/en active Active
- 2014-10-21 CN CN201480056084.9A patent/CN105637581B/zh active Active
- 2014-10-21 WO PCT/EP2014/072568 patent/WO2015059152A1/en active Application Filing
- 2014-10-21 BR BR112016008426-8A patent/BR112016008426B1/pt active IP Right Grant
- 2014-10-21 UA UAA201604348A patent/UA117258C2/uk unknown
- 2014-10-21 MX MX2016004918A patent/MX354832B/es active IP Right Grant
- 2014-10-21 ES ES14790039.3T patent/ES2659019T3/es active Active
-
2016
- 2016-03-28 IL IL244785A patent/IL244785B/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
MX2016004918A (es) | 2016-07-11 |
KR101805327B1 (ko) | 2017-12-05 |
US9848272B2 (en) | 2017-12-19 |
EP3061088B1 (en) | 2017-12-27 |
CN105637581B (zh) | 2019-09-20 |
BR112016008426A2 (ja) | 2017-08-01 |
AU2014339065A1 (en) | 2016-04-21 |
RU2016115360A (ru) | 2017-11-28 |
MX354832B (es) | 2018-03-21 |
JP2016539358A (ja) | 2016-12-15 |
SG11201602628TA (en) | 2016-05-30 |
KR20160056324A (ko) | 2016-05-19 |
IL244785B (en) | 2019-02-28 |
CA2926243A1 (en) | 2015-04-30 |
CN105637581A (zh) | 2016-06-01 |
ES2659019T3 (es) | 2018-03-13 |
US20160261967A1 (en) | 2016-09-08 |
UA117258C2 (uk) | 2018-07-10 |
RU2641463C2 (ru) | 2018-01-17 |
CA2926243C (en) | 2018-01-23 |
IL244785A0 (en) | 2016-04-21 |
WO2015059152A1 (en) | 2015-04-30 |
BR112016008426B1 (pt) | 2022-09-27 |
AU2014339065B2 (en) | 2017-04-20 |
EP3061088A1 (en) | 2016-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI602444B (zh) | 編碼多通道hoa聲訊訊號以減少雜訊之方法和裝置以及對已減少雜訊的編碼多通道hoa聲訊訊號解碼之方法和裝置 | |
US8964994B2 (en) | Encoding of multichannel digital audio signals | |
JP5292498B2 (ja) | 周波数領域のウィナーフィルターを用いた空間オーディオコーディングのための時間エンベロープの整形 | |
US8249883B2 (en) | Channel extension coding for multi-channel source | |
US11769516B2 (en) | Parametric reconstruction of audio signals | |
US9830918B2 (en) | Enhanced soundfield coding using parametric component generation | |
JP6732739B2 (ja) | オーディオ・エンコーダおよびデコーダ | |
JP6201047B2 (ja) | オーディオ信号のパラメトリック再構成のための脱相関器構造 | |
JP6686015B2 (ja) | オーディオ信号のパラメトリック混合 | |
CN109036441A (zh) | 对高阶高保真立体声信号应用动态范围压缩的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6201047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |