JP5902154B2 - 基本層および少なくとも一つの向上層を含む層構造の階層的ビットストリームを探索し、再生する方法および装置 - Google Patents

基本層および少なくとも一つの向上層を含む層構造の階層的ビットストリームを探索し、再生する方法および装置 Download PDF

Info

Publication number
JP5902154B2
JP5902154B2 JP2013513624A JP2013513624A JP5902154B2 JP 5902154 B2 JP5902154 B2 JP 5902154B2 JP 2013513624 A JP2013513624 A JP 2013513624A JP 2013513624 A JP2013513624 A JP 2013513624A JP 5902154 B2 JP5902154 B2 JP 5902154B2
Authority
JP
Japan
Prior art keywords
base layer
enhancement layer
layer
bitstream
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013513624A
Other languages
English (en)
Other versions
JP2013535023A (ja
Inventor
ジャックス,ピーター
コルドン,スヴェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013535023A publication Critical patent/JP2013535023A/ja
Application granted granted Critical
Publication of JP5902154B2 publication Critical patent/JP5902154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002Dynamic bit allocation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4398Processing of audio elementary streams involving reformatting operations of audio signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、基本層および該基本層より少数のエントリー点をもつ少なくとも一つの向上層を含む層構造の(layered)階層的ビットストリームを探索し、その後再生する方法および装置に関する。
不可逆オーディオ符号化技術(mp3、AACなどのような)とは対照的に、可逆圧縮アルゴリズムはデータレートを削減するためにもとのオーディオ信号の冗長性を活用できるのみである。現状技術の不可逆オーディオ・コーデックにおける音響心理学モデルが特定するような非有意性(irrelevancies)に頼ることは可能ではない。よって、あらゆる可逆オーディオ符号化方式の共通の技術的原理は、脱相関のためのフィルタまたは変換(たとえば予測フィルタまたは周波数変換)を適用し、次いで変換された信号を可逆的な仕方でエンコードするというものである。エンコードされたビットストリームは該変換またはフィルタのパラメータと、変換された信号の可逆的な表現〔無損失の表現〕とを含む。たとえば非特許文献1、2、3参照。
不可逆ベースの可逆符号化(lossy based lossless coding)の基本原理は次のようなものである。エンコード部において、PCMオーディオ入力信号SPCMが不可逆エンコーダを通過して不可逆デコーダに行き、そして不可逆なビットストリームとしてデコード部の不可逆デコーダに行く。ここでは信号を脱相関させるために不可逆エンコードおよびデコードが使われる。エンコード部不可逆デコーダの出力信号は入力信号SPCMから除去され、結果として得られる差信号が拡張ビットストリームとして可逆エンコーダを通過してデコード部可逆デコーダに行く。デコード部不可逆デコーダおよび可逆デコーダの出力信号は組み合わされて、もとの信号SPCMが再現される。
この基本原理は特許文献1、2に開示されており、非特許文献4、5でも論じられている。より詳細には、不可逆エンコーダにおいてPCMオーディオ入力信号SPCMが分解フィルタバンクおよびサブバンド・サンプルの量子化を通過して符号化およびビットストリーム・パッキングに行く。ここで、量子化は、信号SPCMおよび対応する情報を分解フィルタバンクから受け取る知覚モデル計算機によって制御される。デコーダ側では、エンコードされた不可逆ビットストリームはパッキング解除され、不可逆デコーダがサブバンド・サンプルをデコードし、合成フィルタバンクがデコードされた不可逆PCM信号を出力する。
不可逆エンコードおよびデコードの例は標準ISO/IEC11172-3(MPEG-1オーディオ)において詳細に記載されている。
エンコードから帰結する上記二つ以上の異なる信号またはビットストリームが単一の出力信号を形成するよう組み合わされる。同様の解決策はたとえばMPEGサラウンド、mp3PROおよびAAC+についても存在する。最後の二つの例については、基本層データ・ストリーム(AACまたはmp3)に追加されるデータ(SBR情報)の追加的な量は少ない。したがって、この追加的情報は標準準拠のAACまたはmp3ビットストリーム中にたとえば「補助データ」としてパックされることができる。サラウンド情報のための追加的なデータ量はSBR情報のためのものより大きいが、これらのデータはそれでも標準準拠ビットストリーム中に同じようにしてパックされることができる。
同様の技法を使ったもう一つの応用は、http://www.id3.orgに記載されるような、mp3標準オーディオ・ストリームに追加されるID3タグである。データは既存のmp3ファイルの先頭または末尾に追加される。mp3エンコーダがこの追加情報をデコードしようとしないよう、特殊な機構が使われる。
しかしながら、不可逆ベースの可逆符号化については、追加的な情報量は、基本層データ量の数倍も基本層のデータ量を超えてしまう。したがって、追加的データは基本層データ・ストリーム中に、たとえば補助データとして完全にパックすることはできない。不可逆符号化フォーマットの可逆符号化拡張との組み合わせから帰結する上記少なくとも二つのデータ・ストリームは、不可逆符号化情報(たとえば標準的な符号化アルゴリズム)を含む基本層と、数学的に無損失であるもとの入力信号を再構築するための向上データ・ストリームである。さらに、それぞれ独自のデータ・ストリームをもついくつかの中間層が可能である。しかしながら、これらのデータ・ストリームは独立ではない。より高い層はどれも、より低い諸層に依存し、これらより低い諸層との組み合わせでのみ合理的にデコードできる。
より一般的なデータ・フォーマットは、基本層(base layer)BLおよび一つまたは複数の向上層(enhancement layer)ELをもつ階層的な諸層を使う。ある層内のデータはしばしばパケット化される。すなわち、パケットまたはフレームに編成される。BL信号は単独で、再生可能なマルチメディア・データを得るためにデコードでき、基本的なデコードのためのすべての情報を含んでいるが、EL信号が含んでいるのは、有用なマルチメディア・データを得るために単独ではデコードできない追加的な情報である。その代わり、ELデータはBLデータに緊密に結び付けられており、BLデータと一緒でしか使用できない。通例、BLおよびELデータは、共通のデコードのため、あるいは個々のデコード後に、互いに加えられるか重畳される。いずれの場合でも、ELデータをBLデータに同期させることが必要である。さもなければELデータは有用な情報を表さない。
データレートはできるだけ低く保つことが望ましいので、洗練されたデータ圧縮方法が要求される。値ヒストグラムが均等に分布していないデータ語を符号化するためには可変長符号化(VLC: variable length coding)が使われる。より頻繁に現れる、すなわち確率がより高いデータ語ほど短い符号語にエンコードされ、一方、より低い確率で表れるデータ語はより長い符号語にエンコードされる。よって、エンコードされたメッセージ中の平均ビット量は、一定符号語長を使う場合よりも短い。しかしながら、たとえばVLCを使う高圧縮処理はビット誤りに対してより敏感であり、完全なデータ損失につながることがありうる。特にVLCについては、同期が失われると、ある符号語に属するのがどのビットかを決定することは不可能になる。
可能性のあるデータ損失を制限するための既知の解決策は、非常に高い確率で認識できる一意的な同期語を挿入することである。しかしながら、そのような同期語はデータレートを増すことになり、同期語をたくさん入れるほどデータレートも高くなる。
もう一つの課題は、再生中のまたは記憶されたオーディオ・プログラム内で、特定の時点をできるだけ速く探すまたはシークすること、すなわちトラック中の特定のフレームまたはサンプルに直接ジャンプすることである。
以下の記述では、「シーク」はオーディオ・ビットストリーム内の探索を意味する。したがって、シークは、ユーザーがエンコードされた信号内の所望される位置にスキップできるようにする、オーディオ・デコーダの一部である。シーク位置はスキップすべきサンプル数、再生時間またはトラックの総継続時間の割合によって与えられる。
シーク処理はオーディオ・フォーマットの編成に強く依存する。MPEG-1レイヤーIIIまたはAACのような確立されたオーディオ・フォーマットの大半はストリーミング・フォーマットであり、そうしたフォーマットは独立フレームに編成される。したがって、デコーダは、先行フレームからの知識なしに各フレームからデコードを開始できる。そのようなストリーミング・フォーマットについては、次の二つのシーク方法を使用できる。
第一のシーク方法は、各フレームが同じ長さをもち、同数のエンコードされたサンプルを担持するという条件に基づく。そうすれば、総再生時間の百分率によるシーク位置は総ビットストリーム(ファイル)サイズの百分率による位置と等価である。したがって、デコーダは所望されるシーク位置を総再生時間の百分率によるシーク位置に変換し、その後、総ビットストリーム長の同じ百分率のところでデコードを開始する。しかしながら、デコーダは、シーク位置に位置されるビットストリーム・フレームに対する再同期を実行する必要がある。
フレーム・ベースのビットストリームにおけるより堅牢なシーク処理は、ストリームの先頭から所望される位置までフレームごとにパースする(parse)ことである。フレーム毎のエンコードされたサンプル数およびフレームの長さは知られている必要があるが、フレーム・サイズおよびフレーム毎のエンコードされるサンプル数は各フレームについて異なることがある。そのようなシーク処理の欠点は、シーク遅延がシーク位置に依存するということである。所望されるシーク位置がビットストリームの末尾に近いほど、より多くのフレームをパースする必要がある。限られた処理パワーのアーキテクチャでは、要求される処理時間は追加的な遅延または処理負荷のピークを引き起こすことがある。
ファイル・ベースのフォーマットでは、各フレームのサイズは未知であり、上記のストリーミング・フォーマットのフレーム・ヘッダは無視される。デコーダはファイルの先頭からのみデコードを開始できる。ビットストリーム内のシークのために、指定されたエントリー点を定義するため、フレーム・アクセス・テーブル(FAT: Frame Access Tables)またはフレーム・アクセス・テーブルを表すキュー・ポイント・テーブル・データ・ブロックが使われる。これらのテーブルは、たとえばブロック長、フレーム単位での区間(interval)情報、テーブル・エントリー数、ポインタ・テーブルの一つまたは複数を含むことができる。キュー・ポイントは、デコードを開始することを許容するエントリー点を定義する。FATの各エントリー点は、指定されたシーク位置に接続されており、したがって、デコーダは各テーブル・エントリーにおいてデコードを開始できる。シーク精度はFATエントリーまたはキュー・ポイントの数に制限される。
EP-B-0756386 US-B-6498811
J. Makhoul、"Linear prediction: A tutorial review"、Proceedings of the IEEE、Vol.63、pp.561-580、1975 T. Painter, A. Spanias、"Perceptual coding of digital audio"、Proceedings of the IEEE、Vol.88, No.4、pp.451-513、2000 M. Hans, R.W. Schafer、"Lossless compression of digital audio"、IEEE Signal Processing Magazine、July 2001、pp .21-32 P. Craven, M. Gerzon、"Lossless Coding for Audio Discs"、J. Audio Eng. Soc、Vol.44, No.9、September 1996 J. Koller, Th. Sporer, K.H. Brandenburg、"Robust Coding of High Quality Audio Signals"、AES 103rd Convention、Preprint 4621、August 1997
オーディオ・フォーマットがたとえば基本品質の層および該基本品質の層とは異なるアクセス点をもつ改善された品質の層を含む層構造のフォーマットである場合、上記のシーク処理は実行できない。
本発明によって解決すべき課題は、各層が異なるシーク・アクセス点をもつ層構造のオーディオ・ビットストリームのために、シーク精度、オーディオ再生品質、再生遅延および要求される処理パワー負荷の間の良好な妥協を提供するシーク処理を提供することである。
この課題は、請求項1および3に開示される方法によって解決される。この方法を利用する装置は請求項2および4に開示される。
下記では三つの異なる処理法が記載される。特に二番目の種類のシーク処理は、層構造のオーディオ・フォーマットのために、シーク精度、オーディオ再生品質、再生遅延および要求される処理パワー負荷の間の最適な妥協を提供する。
原理としては、本発明の方法は層構造の階層的なオーディオまたはビデオ・ビットストリームにおける探索またはシークおよびそれに続く再生に好適である。前記層構造のビットストリームは、基本層エントリー点から開始して別個にデコードされることのできる基本層を含み、かつ、前記基本層からの再同期されたデータなしでは再生できない、前記基本層より少数のエントリー点をもつ少なくとも一つの向上層を含み、当該方法は:
・所望される基本層エントリー点の直前に位置される向上層エントリー点から、関係する向上層データの部分的デコードを開始し、続いて関係する向上層データの再同期を行い、部分的に並行して、ミュートされた基本層デコードを開始する段階と;
・前記再同期が実行されると、向上層エントリー点である必要はない後続の基本層エントリー点から、前記向上層データのデコードおよび前記基本層データのデコードを開始し、デコードされた基本層データおよびデコードされた向上層データを組み合わせてフル品質のオーディオまたはビデオ信号を出力する段階とを含む。
原理としては、本発明の装置は層構造の階層的なオーディオまたはビデオ・ビットストリームにおける探索またはシークおよびそれに続く再生に好適である。前記層構造のビットストリームは、基本層エントリー点から開始して別個にデコードされることのできる基本層を含み、かつ、前記基本層からの再同期されたデータなしでは再生できない、前記基本層より少数のエントリー点をもつ少なくとも一つの向上層を含み、当該装置は:
・所望される基本層エントリー点の直前に位置される向上層エントリー点から、関係する向上層データの部分的デコードを開始し、続いて関係する向上層データの再同期を行い、部分的に並行して、ミュートされた基本層デコードを開始する段階と;
・前記再同期が実行されると、向上層エントリー点である必要はない後続の基本層エントリー点から、前記向上層データのデコードおよび前記基本層データのデコードを開始し、デコードされた基本層データおよびデコードされた向上層データを組み合わせてフル品質のオーディオまたはビデオ信号を出力する段階とを実行するよう適応された手段を含む。
本発明の例示的な諸実施形態が付属の図面を参照して記述される。
mp3HDビットストリームの基本層および向上層の単純化されたフォーマットを示す図である。 mp3HDビットストリームにおける三通りのシーク方法を示す図である。 本発明に基づくオーディオ・デコーダのブロック図である。
層構造のオーディオ・フォーマットは、一つのビットストリーム内に二つ以上のオーディオ品質を含む。二層の階層的ビットストリーム(mp3HDファイル・フォーマットで使われるような)が図1に描かれている。図1の上部は基本層ビットストリームのフレーム・ベースの構造を示している。基本層BLは一連のKXバイト長のセクションを含んでいる。各セクションは追加的なフレーム・サイズ情報を含む同期ヘッダ(sync header)SHで始まり、そのあとにNx個のエンコードされたサンプルが続く。x=0,1,2,3,…,Lである。この基本層BLはより上位の層とは独立にデコードされることができ、エンコードされたサンプルのデコードは各同期ヘッダSH後から開始できる。各フレームは固定数のエンコードされたサンプルを表す。同期ヘッダおよび追加的なフレーム・サイズ情報は、オーディオ・トラック中で特定のサンプル位置までシークするためにフレームからフレームにジャンプすることを許容する。このフレーム毎のシーク動作のためには、中間のPCMデータをデコードすることは要求されないことを注意しておくことが重要である。シーク動作がエンコードされたビットストリーム・データのみに基づいて実行されるからである。
図1の下部は、拡張層ビットストリームを描いている。拡張層ビットストリームは基本層と同様のサンプルのフレームに編成されているが、重要な相違は、フレーム構造がビットストリーム・レベルで反映されていないということである。換言すれば、ここでもある固定数K個のサンプルがビットストリームのある部分、すなわちLバイトによって表されるものの、「単に」ビットのストリームを解析することによって生のビットストリーム中に隣り合うフレーム間の境界を見出す手段がない。そのように高度に圧縮された拡張層データでのシーク動作を容易にするために、拡張層ビットストリームのヘッダは、シーク目標位置のテーブルFATを有する。このテーブルは、高度に圧縮された拡張層ビットストリーム内の対応する位置EP0、EP1、EP2、…中へのポインタをもつ限られた数のシーク目標位置を含む。各エントリー点EPxには長さLxをもつMx個のエンコードされた向上サンプルが先行する。向上層内では、基本層内の同期ヘッダより少数のエントリー点EPxがある。このテーブル・ベースのアプローチの欠点は、拡張層ビットストリームにおけるシークの精度がこれらのエントリー点の精度に制限され、向上層が一つまたは複数の基本層フレームの事前の(少なくとも部分的な)デコードを必要とし、それから全体的なオーディオ品質を向上させるということである。
デコードを開始し、フル・オーディオ品質を生成するために必要とされる基本層のフレームまたはエンコードされたサンプルの数は、向上層の再同期遅延と呼ばれる。
上記から、本発明に基づくシーク方法について、基本層のシーク精度は向上層のシーク精度より高くなければならない。基本層のシーク精度が向上層のシーク精度より高い限り、このシーク処理が適用できる。
シーク処理1
この種の処理は図2のAに描かれている。三つの品質レベルが縦軸上に与えられている:ミュート(すなわち、デコードされたオーディオ信号が存在しない)、基本層品質のデコードされたオーディオ品質が利用可能および向上層品質のデコードされたオーディオ信号が利用可能。横軸は基本層についてのエントリー点EPBLおよび向上層についてのエントリー点EPELを示す。好ましくはEPBL位置に位置されている所望されるエントリー点(desired entry point)DEPを与えられると、処理は、次のEPEL位置に達するまで一時停止する(すなわち、オーディオ品質レベル「ミュート」)。この処理は、短い遅延(すなわち向上層の再同期遅延)を提供するため、また関係する処理負荷におけるピークを避けるために、向上層の低いシーク精度を使う。さらに、遅延と再生オーディオ品質との間の妥協を提供する。
シークは、向上層のシーク精度だけを使って実行される。この例では、向上層は、限られた数のエントリー点をもつFATを使う。よって、ミュートに続くシーク処理の開始時に、両方の層が向上層FATのエントリー点からデコードを開始する。したがって、基本層は、向上層のFAT中に記憶されている位置からシークすることを可能にする必要がある。しかしながら、基本層は、この位置を、諸フレームをパースすることによって、基本層FATを使うことによって、または基本層FATとFATに記憶されているビットストリーム位置から所望される位置までのパースとの組み合わせによって達成できる。高品質デコード(すべての層のデコード)のためには、基本層を向上層と同期させるために必要とされるフレームまたはサンプルは、ミュートされる必要がある。これは、処理負荷ピークまたは遅延につながる。再同期の処理は非常に短時間で実行される必要があるからである。この問題を克服するため、デコーダは向上層の再同期の間、基本層のデコードされたサンプルを返すことができる。このようにして、再生のための遅延はなくなり、その再生時間は向上層の再同期のために使用されることができる。これはピーク処理負荷を低減させる。この種のシーク処理の欠点は、デコードが基本層のより低いオーディオ品質で始まるということである。
シーク処理2
この方法は基本層のシーク精度を使用するので、上記のミュート期間を回避する利点およびいくつかのサンプルを基本層品質でデコードおよび再生する欠点をもつ。これは高いシーク精度をもち、オーディオ再生を所望される位置DEPで、可能性としては小さなオーディオ・デコード処理遅延は含むが、ただちに開始する。すべてのサンプルを最初からフル品質でデコードすることが要求されない場合には、このシーク処理は、オーディオ再生における遅延なしに、基本層の高いシーク精度を提供する。
基本層だけがシークのために使われる。オーディオ・デコーダは基本層をビットストリーム内の所望される位置に設定し、基本層サンプルのデコードおよび再生を開始する。
このシーク処理は、シーク目標位置の前記テーブルを、基本層ビットストリームにおいてシークすることによって得ることのできる精度と同様の優れたシーク精度を得るために別の仕方で利用する。本機構およびデコードされた信号の得られる品質が図2のBに示されている。最初は、デコーダは基本層のみをビットストリーム内の所望される位置に設定し、基本層サンプルのデコードおよび再生を開始する。上述したように、シーク動作直後のデコード品質は基本層のデコード品質に制限され、向上層は再同期状態に設定される必要がある。これは、向上層が基本層の位置を追跡し、向上層ビットストリームにおける次のエントリー点において同期を開始するということを意味する。このエントリー点から向上層の再同期が始まる。再同期は基本層サンプルの再生中に処理されるので、処理負荷におけるピークが防止される。向上層が基本層に同期されるとき、オーディオ品質は自動的に向上層のフル・オーディオ品質に切り替えられる。後続部分では、ビットストリームのデコードは、基本層および拡張層両方からの情報を使って、フル品質で継続される。第一のシーク処理とは対照的に、第二のシーク処理はオーディオ・トラック内の任意の位置に、非常に高い精度でシークすることを許容する。ただし、この位置からFATテーブルにおける次のシーク目標位置までのデコードは、基本層品質のオーディオ・サンプルのみを与える。このシーク方法の著しい利点は、計算パフォーマンスをパフォーマンス・ピークのない連続的なレベルに保ちつつ(BLの再生期間がELデータを同期するために使用できるため)、このトレードオフが得られるということである。
シーク処理3
この処理は、フル・オーディオ品質での高精度シークを提供するが、遅延または処理負荷ピークの欠点をもつ(リアルタイム条件によって引き起こされる:シーク期間中は、短い時間期間内に、多くのデータがデコードされる必要がある)。一方では、高精細度オーディオ再生システムのためには、再生をより低い基本層品質で開始することは望ましくないことがありうる。他方では、それでも基本層の高いシーク精度が所望される。しかしながら、そのような場合、シーク処理によって引き起こされる再生遅延または高い処理負荷は防止はできないが、最小化することはできる。
高品質および高精度でシークする際に考慮すべき第一の点は、向上層の再同期遅延である。再同期遅延が一定である、または最悪ケースの推定によって予測できる場合、所望されるシーク位置から差し引くことができる。すると、高品質デコードは所望される位置で開始できる。ただし、シークは、向上層を同期させるために必要とされる位置まで実行される。向上層は、基本層のシーク位置において同期を開始する必要がある。これは、向上層ビットストリームにおける、再同期位置より前の最も近いエントリー点を使うことによって達成される。その向上層エントリー点から、向上層デコーダは向上層ビットストリームを所望される位置までパースする。いくつかのビットストリーム・フォーマットについては、パースは基本層からの情報を必要とすることなく実現可能である。たとえば、mp3HDフォーマットでは、向上層は、フレームをパースするために、向上層のエントロピー・デコードを実行することができる。他のフォーマットでは、向上層ビットストリームをパースするために基本層が必要とされる。その際、基本層は向上層のエントリー点までシークする必要があり、両方の層が自分のビットストリームを再同期点までパースする必要がある。それらのビットストリームのパースの間、オーディオ出力はゼロであるまたはオフにされる。したがって、ビットストリームをパースするために必要とされないデコード処理のすべての機能もオフにできる。たとえば、そのような関数は合成フィルタバンクまたはサンプルの再量子化である。両方の層が再同期位置に到達したら、所望される位置と現在位置との間のサンプルが基本層および向上層の再同期のために使われる。再同期は、所望されるシーク位置においてなされ、オーディオ再生はフル品質で始まることができる。

層構造のオーディオ・フォーマットの各シーク処理は、シーク精度、遅延およびオーディオ品質の間の異なる妥協を提供する。
標準的なデコードのためには、図3のスイッチSW1がポジション3にあり、スイッチSW2およびSW3が閉じられる。基本層ビットストリーム読み取り器31は基本層BLビットストリームを読み、ビットストリーム・データを基本層デコーダ・ステップまたは段32に送る。ステップまたは段32はデコードされた基本層オーディオ信号を出力する。向上層ビットストリーム読み取り器34は向上層ELデータをELビットストリームから読む。向上層デコーダ・ステップまたは段37はこれらのデータをデコードし、デコードされた向上層オーディオ信号を出力する。組み合わせ器39はデコードされたBLおよびEL信号を組み合わせ、スイッチSW3が高精細度オーディオ信号(high definition audio signal)HDASを出力する。
シーク処理1モードで動作するとき、オーディオ・デコーダは基本的には上述したように動作する。マウスまたはキーで制御されるまたはグラフィカルなユーザー・インターフェースGUI 382が所望されるエントリー点EPをシーク制御ステップまたは段381に送り、ステップまたは段381は現在の通常再生を停止し、スイッチSW3を開き、スイッチSW1をポジション2に設定し、バイト単位でのELのEPを計算し、バイト単位での関係するBLビットストリームEPを決定し、BLビットストリーム位置をBLビットストリーム位置設定ステップまたは段30に供給し、ELビットストリーム位置をELビットストリーム位置設定ステップまたは段33に供給する。
ステップ/段30は、ステップ/段31のビットストリーム・ポインタを新しいBL位置に設定し、ステップ/段33は、ステップ/段34のビットストリーム・ポインタを新しいEL位置に設定する。
基本層ビットストリーム読み取り器31は対応する位置で基本層BLビットストリームを読み、基本層デコーダ・ステップまたは段32はデコードされた基本層オーディオ信号を出力する。EL再同期中のBLの再生のために、シーク制御ステップまたは段381によって、スイッチSW3は閉じられる。
向上層ビットストリーム読み取り器34は対応する位置で向上層ELビットストリームを読み、対応する信号をSW1を介して向上層同期ステップまたは段36に送る。ステップまたは段36は、基本層デコーダ・ステップまたは段32からの関係した情報を使ってELをBLと同期させる。ステップ/段36はEL再同期の終わりをシーク制御ステップまたは段381に対して信号伝達する。
フル品質再生を開始するために、ステップ/段381はスイッチSW1をポジション3に設定し、スイッチSW2を閉じる。向上層デコーダ・ステップ/段37は基本層デコーダ・ステップまたは段32からの関係した情報を使いつつ、ステップ/段34からのEL信号をデコードし、SW3が閉じられる。
シーク処理2モードで動作するとき、マウスまたはキーで制御されるまたはグラフィカルなユーザー・インターフェースGUI 382が所望されるエントリー点EPをシーク制御ステップまたは段381に送り、ステップまたは段381は現在の通常再生を停止し、スイッチSW3を開き、スイッチSW2を開くことによって向上層デコーダ・ステップ/段37を停止し、バイト単位でのBLビットストリームのEPを計算し、スイッチSW3を閉じ、BLビットストリーム位置をBLビットストリーム位置設定ステップまたは段30に送り、該ステップまたは段30がBLビットストリーム読み取り器31のビットストリーム・ポインタを新しいBL位置に設定する。読み取り器31は対応してBLビットストリームを読み、BLデコーダ32が基本層信号をデコードする。次のEL EPを待つために、BLデコーダ32はサンプルにおける現在位置をシーク制御ステップ/段381に送り、ステップ/段381は、サンプルにおける現在位置をEL EPと比較して次のEL EPを見出すことによって、次のEL EPに到達したかどうかを検査する。
次のEL EPに到達していた場合にEL再同期を開始するために、シーク制御ステップ/段381はスイッチSW1をポジション2に設定し、新しいELビットストリーム位置をELビットストリーム位置設定ステップまたは段33に供給する。ステップ/段33はELビットストリーム読み取り器34のビットストリーム・ポインタを新しいEL位置に設定する。読み取り器34は、ELビットストリームを読み、その出力信号をEL同期ステップ/段36に送る。ステップ/段36は、BLデコーダ32からの対応する情報を使ってELをBLと同期させるとともに、制御ステップ/段381に対して、再同期が実行されたことを確証する。
フル品質再生を開始するために、シーク制御ステップ/段381はスイッチSW1をポジション3に設定してスイッチSW2を閉じる。ELデコーダ・ステップ/段37はBLデコーダ32からの対応する情報を使ってEL信号をデコードする。BLデコーダ32およびELデコーダ37の出力信号は組み合わせ器39で組み合わされる。組み合わせ器39はスイッチSW3を介してフル品質のデコードされたオーディオ信号HDASを出力する。
シーク処理3モードで動作するとき、マウスまたはキーで制御されるまたはグラフィカルなユーザー・インターフェースGUI 382が所望されるエントリー点EPをシーク制御ステップまたは段381に送り、ステップまたは段381は現在の通常再生を停止し、スイッチSW2およびSW3を開き、バイト単位でのBLビットストリームのEPを計算し、GUI 382によって与えられるエントリー点の直前の、バイト単位でのELビットストリームのEPを計算する。
部分デコードを開始するために、シーク制御ステップ/段381は計算されたELビットストリーム位置をELビットストリーム位置設定ステップまたは段33に送り、該ステップまたは段33がELビットストリーム読み取り器34のビットストリーム・ポインタを新しいEL位置に設定する。さらに、ステップ/段381は、部分的にデコードされたサンプルの数をEL部分デコーダ35に送り、スイッチSW1をポジション1に設定する。EL部分デコーダ35は、任意的にBLデコーダ32からの情報を使って、いくつかの与えられたサンプルをデコードし、部分デコードの終了をシーク制御ステップ/段381に信号伝達する。
再生なしにBLデコードを開始するために、ステップ/段381はスイッチSW1をポジション2に設定し、BLビットストリーム位置をBLビットストリーム位置設定ステップ/段30に送る。ステップ/段30はBLビットストリーム読み取り器31のビットストリーム・ポインタを新しいBL位置に設定する。読み取り器31は、対応してBLビットストリームを読み、BLデコーダ32が基本層信号をデコードする。
EL再同期を開始するために、ELビットストリーム読み取り器34はELビットストリームを読み、その出力信号をEL同期ステップ/段36に送る。ステップ/段36は、BLデコーダ32からの対応する情報を使ってELをBLと同期させるとともに、再同期が実行されたことをシーク制御ステップ/段381に対して確証する。
フル品質再生を開始するために、シーク制御ステップ/段381はスイッチSW1をポジション3に設定してスイッチSW2およびSW3を閉じる。ELデコーダ・ステップ/段37はBLデコーダ32からの対応する情報を使ってEL信号をデコードする。BLデコーダ32およびELデコーダ37の出力信号は組み合わせ器39で組み合わされる。組み合わせ器39はスイッチSW3を介してフル品質のデコードされたオーディオ信号HDASを出力する。
いくつかの付記を記載しておく。
〔付記1〕
層構造の階層的なオーディオまたはビデオ・ビットストリームにおける探索およびそれに続く再生の方法であって、前記層構造のビットストリームは、基本層エントリー点から開始して別個にデコードされることのできる基本層を含み、かつ、前記基本層からの再同期されたデータなしでは再生できない、前記基本層より少数のエントリー点をもつ少なくとも一つの向上層を含み、当該方法は:
・所望される基本層エントリー点の直前に位置される向上層エントリー点から、関係する向上層データの部分的デコードを開始し、続いて関係する向上層データの再同期を行い、部分的に並行して、ミュートされた基本層デコードを開始する段階と;
・前記再同期が実行されると、向上層エントリー点である必要はない後続の基本層エントリー点から、前記向上層データのデコードおよび前記基本層データのデコードを開始し、デコードされた基本層データおよびデコードされた向上層データを組み合わせてフル品質のオーディオまたはビデオ信号を出力する段階とを特徴とする、
方法。
〔付記2〕
層構造の階層的なオーディオまたはビデオ・ビットストリームにおける探索およびそれに続く再生のための装置であって、前記層構造のビットストリームは、基本層エントリー点から開始して別個にデコードされることのできる基本層を含み、かつ、前記基本層からの再同期されたデータなしでは再生できない、前記基本層より少数のエントリー点をもつ少なくとも一つの向上層を含み、当該装置は:
・所望される基本層エントリー点の直前に位置される向上層エントリー点から、関係する向上層データの部分的デコードを開始し、続いて関係する向上層データの再同期を行い、部分的に並行して、ミュートされた基本層デコードを開始する段階と;
・前記再同期が実行されると、向上層エントリー点である必要はない後続の基本層エントリー点から、前記向上層データのデコードおよび前記基本層データのデコードを開始し、デコードされた基本層データおよびデコードされた向上層データを組み合わせてフル品質のオーディオまたはビデオ信号を出力する段階とを実行するよう適応された手段を含む、
装置。




Claims (4)

  1. 層構造の階層的なオーディオまたはビデオ・ビットストリームにおける探索およびそれに続く再生の方法であって、前記層構造のビットストリームは、基本層エントリー点から開始して別個にデコードされることのできる基本層を含み、かつ、前記基本層からの再同期された基本層データなしでは再生できない少なくとも一つの向上層を含み、当該方法は:
    ・所望される基本層エントリー点の直前に位置される向上層エントリー点から、関係する向上層データの部分的デコードを開始し、続いて関係する向上層データの再同期を行い、部分的に並行して、ミュートされた基本層デコードを開始する段階と;
    ・前記再同期が実行されると、向上層エントリー点である必要はない後続の基本層エントリー点から開始して、前記向上層データのデコードおよび前記基本層データのデコードを行い、デコードされた基本層データおよびデコードされた向上層データを組み合わせてフル品質のオーディオまたはビデオ信号を出力する段階とを特徴とする、
    方法。
  2. 前記向上層は前記基本層より少数のエントリー点をもつ、請求項1記載の方法。
  3. 層構造の階層的なオーディオまたはビデオ・ビットストリームにおける探索およびそれに続く再生のための装置であって、前記層構造のビットストリームは、基本層エントリー点から開始して別個にデコードされることのできる基本層を含み、かつ、前記基本層からの再同期された基本層データなしでは再生できない少なくとも一つの向上層を含み、当該装置は:
    ・所望される基本層エントリー点の直前に位置される向上層エントリー点から、関係する向上層データの部分的デコードを開始し、続いて関係する向上層データの再同期を行い、部分的に並行して、ミュートされた基本層デコードを開始する段階と;
    ・前記再同期が実行されると、向上層エントリー点である必要はない後続の基本層エントリー点から開始して、前記向上層データのデコードおよび前記基本層データのデコードを行い、デコードされた基本層データおよびデコードされた向上層データを組み合わせてフル品質のオーディオまたはビデオ信号を出力する段階とを実行するよう適応された手段を含む、
    装置。
  4. 前記向上層は前記基本層より少数のエントリー点をもつ、請求項3記載の装置。
JP2013513624A 2010-06-11 2011-06-01 基本層および少なくとも一つの向上層を含む層構造の階層的ビットストリームを探索し、再生する方法および装置 Active JP5902154B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10305628.9 2010-06-11
EP10305628A EP2395505A1 (en) 2010-06-11 2010-06-11 Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer
PCT/EP2011/059040 WO2011154297A1 (en) 2010-06-11 2011-06-01 Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer

Publications (2)

Publication Number Publication Date
JP2013535023A JP2013535023A (ja) 2013-09-09
JP5902154B2 true JP5902154B2 (ja) 2016-04-13

Family

ID=42829936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013513624A Active JP5902154B2 (ja) 2010-06-11 2011-06-01 基本層および少なくとも一つの向上層を含む層構造の階層的ビットストリームを探索し、再生する方法および装置

Country Status (6)

Country Link
US (1) US9355644B2 (ja)
EP (2) EP2395505A1 (ja)
JP (1) JP5902154B2 (ja)
KR (1) KR101826375B1 (ja)
CN (1) CN102934162B (ja)
WO (1) WO2011154297A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
EP2922057A1 (en) * 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
CN106412597A (zh) * 2015-07-29 2017-02-15 飞思卡尔半导体公司 多核视频解码器中的工作负载均衡
ES2903247T3 (es) 2015-10-08 2022-03-31 Dolby Int Ab Codificación en capas y estructura de datos para representaciones comprimidas de campo sonoro o sonido ambisónico de orden superior
AR106308A1 (es) 2015-10-08 2018-01-03 Dolby Int Ab Codificación en capas para representaciones de sonido o campo de sonido comprimidas
ME03762B (me) * 2015-10-08 2021-04-20 Dolby Int Ab Slojevito kodiranje za prezentacije komprimovanog zvuka ilizvučnog polja
US11269951B2 (en) 2016-05-12 2022-03-08 Dolby International Ab Indexing variable bit stream audio formats
TWI731063B (zh) * 2017-04-13 2021-06-21 物聯智慧科技(深圳)有限公司 影音檔案處理方法及建置方法
US10083754B1 (en) * 2017-06-05 2018-09-25 Western Digital Technologies, Inc. Dynamic selection of soft decoding information
CN109584891B (zh) * 2019-01-29 2023-04-25 乐鑫信息科技(上海)股份有限公司 嵌入式环境下的音频解码方法、装置、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0756386B1 (en) 1995-07-27 2003-09-17 Victor Company Of Japan, Limited Method and apparatus for coding a digital, acoustic signal
DE69944788C5 (de) 1998-04-09 2023-10-19 Koninklijke Philips N.V. Verlustfreie kodierung/dekodierung in einem übertragungssystem
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
JP2005079793A (ja) * 2003-08-29 2005-03-24 Nec Corp 画像通信方法、画像通信システム、画像送信装置および画像受信装置
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
EP1949701A1 (en) * 2005-10-11 2008-07-30 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
US8306827B2 (en) * 2006-03-10 2012-11-06 Panasonic Corporation Coding device and coding method with high layer coding based on lower layer coding results
EP1852848A1 (en) * 2006-05-05 2007-11-07 Deutsche Thomson-Brandt GmbH Method and apparatus for lossless encoding of a source signal using a lossy encoded data stream and a lossless extension data stream
EP1881485A1 (en) 2006-07-18 2008-01-23 Deutsche Thomson-Brandt Gmbh Audio bitstream data structure arrangement of a lossy encoded signal together with lossless encoded extension data for said signal
CN101796835B (zh) * 2007-07-02 2012-08-08 Lg电子株式会社 数字广播系统和数据处理方法
JP4973422B2 (ja) * 2007-09-28 2012-07-11 ソニー株式会社 信号記録再生装置及び方法
EP2131590A1 (en) 2008-06-02 2009-12-09 Deutsche Thomson OHG Method and apparatus for generating or cutting or changing a frame based bit stream format file including at least one header section, and a corresponding data structure
EP2146343A1 (en) * 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
WO2010014123A1 (en) * 2008-07-26 2010-02-04 Thomson Licensing A real-time transport protocol (rtp) packetization method for fast channel change applications using scalable video coding (svc)

Also Published As

Publication number Publication date
CN102934162B (zh) 2014-12-10
KR20130112708A (ko) 2013-10-14
EP2395505A1 (en) 2011-12-14
JP2013535023A (ja) 2013-09-09
CN102934162A (zh) 2013-02-13
EP2580752A1 (en) 2013-04-17
US20130096929A1 (en) 2013-04-18
US9355644B2 (en) 2016-05-31
WO2011154297A1 (en) 2011-12-15
KR101826375B1 (ko) 2018-02-06
EP2580752B1 (en) 2014-08-13

Similar Documents

Publication Publication Date Title
JP5902154B2 (ja) 基本層および少なくとも一つの向上層を含む層構造の階層的ビットストリームを探索し、再生する方法および装置
KR101386270B1 (ko) 손실 인코딩된 신호와 함께 상기 신호에 대한 무손실 인코딩된 확장 데이터의 오디오 비트스트림 데이터 구조 배열
TWI474316B (zh) 使用具隨機存取點及多重預測參數集合能力的適應性分段技術之無損多聲道音訊編解碼器
CN1961351B (zh) 可缩放的无损音频编解码器和创作工具
JP6214765B2 (ja) 音声デコーダ、符号化音声出力データを生成するための装置、及びデコーダの初期化を可能にする方法
JP5135330B2 (ja) ロッシー符号化されたデータ・ストリームおよびロスレス拡張データ・ストリームを使用する、ソース信号のロスレス符号化を行う方法および装置
KR100717600B1 (ko) 오디오 파일 포맷 변환
JP2002520760A (ja) 固定及び可変転送速度データストリームのためのトランスコーダー
US20150104158A1 (en) Digital signal reproduction device
JP4649901B2 (ja) 曲の符号化伝送のための方法および装置
CN101740075B (zh) 音频信号播放装置、音频信号播放方法和程序
JP4862136B2 (ja) 音声信号処理装置
JP2003058195A (ja) 再生装置、再生システム、再生方法、記憶媒体、及びプログラム
JP2006235322A (ja) 再生装置および再生方法
JP2000347693A (ja) オーディオ符号化復号化システム、符号化装置、復号化装置及びこれらの方法並びに記憶媒体
JP2003099095A (ja) オーディオ符号化装置、方法、記録媒体及びプログラム
JP2000214894A (ja) 音声符号化装置、記録媒体、音声復号装置、音声伝送方法及び伝送媒体
JP2007079455A (ja) 音声符号化復号化装置
JP2008176340A (ja) 音声符号化方法及び音声復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160309

R150 Certificate of patent or registration of utility model

Ref document number: 5902154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250