JP5973058B2 - レイアウト及びフォーマットに依存しない3dオーディオ再生のための方法及び装置 - Google Patents
レイアウト及びフォーマットに依存しない3dオーディオ再生のための方法及び装置 Download PDFInfo
- Publication number
- JP5973058B2 JP5973058B2 JP2015507389A JP2015507389A JP5973058B2 JP 5973058 B2 JP5973058 B2 JP 5973058B2 JP 2015507389 A JP2015507389 A JP 2015507389A JP 2015507389 A JP2015507389 A JP 2015507389A JP 5973058 B2 JP5973058 B2 JP 5973058B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- space
- channel
- input audio
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 230000005236 sound signal Effects 0.000 claims description 78
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 2
- 230000001788 irregular Effects 0.000 claims 1
- 230000001172 regenerating effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 15
- 238000005192 partition Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 235000013616 tea Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Description
Claims (25)
- 入力オーディオ信号を、多元ラウドスピーカシステムに対する再生のためのマルチチャネル出力オーディオ信号を有するチャネル非依存表現へと符号化する装置であって、
複数の個別的チャネルNを有する前記入力オーディオ信号を受信する手段と、
標的の聴衆をカバーする空間Dを定義し、該空間Dを前記複数のチャネルNとは無関係の複数の部分kに分割する手段と、
入力オーディオチャネルと部分kとの夫々の組み合わせについて少なくとも1つの空間存在係数mを生成し、夫々の空間存在係数mが、前記空間Dの夫々の部分k内への夫々の入力オーディオ信号の存在の程度を定量化する、手段と、
夫々の空間存在係数mへ割り当てられた値に基づき、前記複数の部分k内での再生のために、前記入力オーディオ信号を前記出力オーディオ信号へマッピングする手段と、
前記少なくとも1つの空間存在係数mを有するメタデータを生成し、該メタデータを前記出力オーディオ信号と関連付けて出力する手段と
を有し、
前記出力オーディオ信号と前記メタデータとの組み合わせは、前記チャネル非依存表現を形成する、装置。 - 前記出力オーディオ信号と関連付けられる前記メタデータは、前記標的の聴衆を囲む前記空間Dと、前記複数の部分kへの前記空間Dの分割とを記述する情報を更に有し、前記空間Dは、任意の形状、球形形状、又は長方形形状を有する空間Dを選択することによって定義される、
請求項1に記載の装置。 - 前記空間Dは、より細かい部分、若しくはより粗い部分、又はより細かい部分とより粗い部分との組み合わせに分割され、前記部分は、規則的な又は不規則な形状であることができる、
請求項1に記載の装置。 - 夫々の空間存在係数mは、値を割り当てることによって生成され、夫々の空間存在係数mへ割り当てられる値は、一定であるか、又は時間変化し、該時間変化は、手動により決定されるか、又は予め設定された命令に従うか、又は前記入力オーディオ信号のコンテンツに依存して自動で生成される、
請求項1に記載の装置。 - 前記空間Dの特定の部分は、前記空間又は該空間の部分が表示されている触知性ユーザインターフェースにおける接触を検出することによって、選択される、
請求項1に記載の装置。 - 夫々の選択された部分に対応する前記空間存在係数mは、高い値を割り当てられ、残りの部分は、漸減するより低い値を割り当てられる、
請求項5に記載の装置。 - 残りの部分の夫々の空間存在係数mへ割り当てられる値は、隣接する選択された部分の数に比例して増大する、
請求項6に記載の装置。 - 残りの部分の夫々の空間存在係数mへ割り当てられる値は、選択された部分からの距離に比例して低減する、
請求項6に記載の装置。 - 残りの部分の夫々の空間存在係数mへ割り当てられる値は、選択された部分に存在する相対音響エネルギに比例して増大し、該相対音響エネルギは、全ての部分の全ての入力オーディオ信号における音響エネルギの総量と比較した音響エネルギである、
請求項6に記載の装置。 - 選択された又は残りの部分の夫々の空間存在係数mへ割り当てられる値は、前記触知性ユーザインターフェースの前記選択された部分で検知される触圧に比例して増大する、
請求項6に記載の装置。 - 前記入力オーディオ信号は、ステレオトラックのただ2つの個別的なチャネルを有し、当該装置は、前記チャネル非依存表現の生成より前に、2つの前記入力オーディオ信号を、夫々4、6、及び8のチャネルを有する4.0、5.1、又は7.1個のオーディオ信号へアップミキシングする前処理手段を更に有する、
請求項6に記載の装置。 - 入力オーディオ信号を、多元ラウドスピーカシステムに対する再生に適した出力オーディオ信号を有するチャネル非依存表現へと符号化する方法であって、
複数の個別的なチャネルNを有する前記入力オーディオ信号を受信するステップと、
標的の聴衆をカバーする空間Dを定義し、該空間Dを前記複数のチャネルNとは無関係の複数の部分kに分割するステップと、
入力オーディオチャネルと部分kとの夫々の組み合わせについて少なくとも1つの空間存在係数mを生成し、夫々の空間存在係数mが、前記空間Dの夫々の部分k内への夫々の入力オーディオ信号の存在の程度を定量化する、ステップと、
夫々の空間存在係数mへ割り当てられた値に基づき、前記複数の部分k内での再生のために、前記少なくとも1つの入力オーディオ信号を前記少なくとも1つの出力オーディオ信号へマッピングするステップと、
前記少なくとも1つの空間存在係数mを有するメタデータを生成し、該メタデータを前記出力オーディオ信号と関連付けて出力するステップと
を有し、
前記出力オーディオ信号と前記メタデータとの組み合わせは、前記チャネル非依存表現を形成する、方法。 - 前記出力オーディオ信号と関連付けられる前記メタデータは、前記標的の聴衆を囲む前記空間Dと、前記複数の部分kへの前記空間Dの分割とを記述する情報を更に有し、前記入力オーディオ信号は、ステレオトラックのただ2つの個別的なチャネルを有し、当該方法は、前記チャネル非依存表現の生成より前に、2つの前記入力オーディオ信号を、夫々4、6及び8のチャネルを有する4.0、5.1、又は7.1個のオーディオ信号へアップミキシングするステップを更に有する、
請求項12に記載の方法。 - 多元ラウドスピーカシステムに対する再生のためにマルチチャネル出力信号を復号する装置であって、
標的の聴衆をカバーする空間Dの複数の部分kにわたる再生のための前記多元ラウドスピーカシステムの夫々のスピーカへの伝送のために個別的なチャネルを有するNチャネル信号を有する前記出力信号を受け取る手段と、
前記出力信号を復号して、前記空間Dと前記複数の部分kを記述する少なくとも1つの空間存在係数mを有するメタデータ及び前記出力信号において前記メタデータと関連付けられた出力オーディオ信号を取り出す手段と、
前記少なくとも1つの空間存在係数mに基づき前記出力オーディオ信号から前記マルチチャネル出力信号を生成する手段と、
前記多元ラウドスピーカシステムに対して前記マルチチャネル出力信号を再生する手段と
を有する装置。 - 前記メタデータは、前記標的の聴衆を囲む前記空間Dと、前記複数の部分kへの前記空間Dの分割とを記述する情報を更に有し、前記空間存在係数mの1又はそれ以上の値は、前記出力信号を供給する符号化装置においてグラフィカルユーザインターフェースツールを介してユーザにより定義された値である、
請求項14に記載の装置。 - 多元ラウドスピーカシステムに対する再生のためにマルチチャネル出力信号を復号する方法であって、
標的の聴衆をカバーする空間Dの複数の部分kにわたる再生のための前記多元ラウドスピーカシステムの夫々のスピーカへの伝送のために個別的なチャネルを有するNチャネル信号を有する前記出力信号を受け取るステップと、
前記出力信号を復号して前記空間Dと前記複数の部分kを記述する少なくとも1つの空間存在係数mを有するメタデータ及び前記出力信号において前記メタデータと関連付けられた出力オーディオ信号を取り出すステップと、
前記少なくとも1つの空間存在係数mに基づき前記出力オーディオ信号から前記マルチチャネル出力信号を生成するステップと、
前記多元ラウドスピーカシステムに対して前記マルチチャネル出力信号を再生するステップと
を有する方法。 - 前記メタデータは、前記標的の聴衆を囲む前記空間Dと、前記複数の部分kへの前記空間Dの分割とを記述する情報を更に有し、前記空間存在係数mの1又はそれ以上の値は、前記出力信号を供給する符号化装置においてグラフィカルユーザインターフェースツールを介してユーザにより定義された値である、
請求項16に記載の方法。 - マルチチャネルコンテンツの個別的なトラック又はストリームを有する少なくとも1つの入力オーディオ信号から、任意のラウドスピーカレイアウトに対する再生に適した少なくとも1つの出力オーディオ信号を有するチャネル非依存表現を生成するシステムであって、
少なくとも1つの入力オーディオ信号を収集する手段と、
請求項1乃至11のうちいずれか一項に記載の符号化する装置と、
請求項14又は15に記載の復号する装置と
を有するシステム。 - 前記入力オーディオ信号は、ただ2つの個別的なトラック、又はステレオトラックのストリームを有し、当該システムは、前記チャネル非依存表現の生成より前に、2つの前記入力オーディオ信号を4.0、5.1、又は7.1個のオーディオ信号へアップミキシングする前処理段階を更に有する、
請求項18に記載のシステム。 - マルチチャネルコンテンツの個別的なトラック又はストリームを有する少なくとも1つの入力オーディオ信号から、任意のラウドスピーカレイアウトに対する再生に適した少なくとも1つの出力オーディオ信号を有するチャネル非依存表現を生成する方法であって、
少なくとも1つの入力オーディオ信号を収集するステップと、
請求項12又は13に記載の符号化する方法のステップと、
請求項16又は17に記載の復号する方法のステップと
を有する方法。 - 前記入力オーディオ信号は、ただ2つの個別的なトラック、又はステレオトラックのストリームを有し、当該方法は、前記チャネル非依存表現の生成より前に、2つの前記入力オーディオ信号を4.0、5.1、又は7.1個のオーディオ信号へアップミキシングするステップを更に有する、
請求項20に記載の方法。 - コンピュータマシンで実行される場合に、請求項12又は13、あるいは20又は21のうちいずれか一項に記載の方法のステップを再現するコンピュータプログラム。
- コンピュータマシンで実行される場合に、請求項16又は17に記載の方法のステップを再現するコンピュータプログラム。
- コンピュータマシンで実行される場合に、請求項12又は13、あるいは20又は21のうちいずれか一項に記載の方法のステップを実行する命令を有するコンピュータ可読媒体。
- コンピュータマシンで実行される場合に、請求項16又は17に記載の方法のステップを実行する命令を有するコンピュータ可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2012/058382 WO2013167164A1 (en) | 2012-05-07 | 2012-05-07 | Method and apparatus for layout and format independent 3d audio reproduction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015518182A JP2015518182A (ja) | 2015-06-25 |
JP5973058B2 true JP5973058B2 (ja) | 2016-08-23 |
Family
ID=46147419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015507389A Active JP5973058B2 (ja) | 2012-05-07 | 2012-05-07 | レイアウト及びフォーマットに依存しない3dオーディオ再生のための方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9378747B2 (ja) |
EP (1) | EP2848009B1 (ja) |
JP (1) | JP5973058B2 (ja) |
CN (1) | CN104303522B (ja) |
WO (1) | WO2013167164A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589571B2 (en) | 2012-07-19 | 2017-03-07 | Dolby Laboratories Licensing Corporation | Method and device for improving the rendering of multi-channel audio signals |
US10334387B2 (en) | 2015-06-25 | 2019-06-25 | Dolby Laboratories Licensing Corporation | Audio panning transformation system and method |
CN114040153B (zh) | 2016-05-09 | 2024-04-12 | 格拉班谷公司 | 用于在环境内计算机视觉驱动应用的系统 |
WO2018013439A1 (en) | 2016-07-09 | 2018-01-18 | Grabango Co. | Remote state following devices |
US10409548B2 (en) | 2016-09-27 | 2019-09-10 | Grabango Co. | System and method for differentially locating and modifying audio sources |
US10419866B2 (en) * | 2016-10-07 | 2019-09-17 | Microsoft Technology Licensing, Llc | Shared three-dimensional audio bed |
CN110462669B (zh) | 2017-02-10 | 2023-08-11 | 格拉班谷公司 | 自动化购物环境内的动态顾客结账体验 |
US10778906B2 (en) | 2017-05-10 | 2020-09-15 | Grabango Co. | Series-configured camera array for efficient deployment |
AU2018289552B2 (en) | 2017-06-21 | 2023-01-05 | Grabango Co. | Linking observed human activity on video to a user account |
US20190079591A1 (en) | 2017-09-14 | 2019-03-14 | Grabango Co. | System and method for human gesture processing from video input |
CN111052770B (zh) * | 2017-09-29 | 2021-12-03 | 苹果公司 | 空间音频下混频的方法及系统 |
CN111133411B (zh) * | 2017-09-29 | 2023-07-14 | 苹果公司 | 空间音频上混 |
US10963704B2 (en) | 2017-10-16 | 2021-03-30 | Grabango Co. | Multiple-factor verification for vision-based systems |
US11481805B2 (en) | 2018-01-03 | 2022-10-25 | Grabango Co. | Marketing and couponing in a retail environment using computer vision |
US11288648B2 (en) | 2018-10-29 | 2022-03-29 | Grabango Co. | Commerce automation for a fueling station |
US11507933B2 (en) | 2019-03-01 | 2022-11-22 | Grabango Co. | Cashier interface for linking customers to virtual data |
US11832077B2 (en) | 2021-06-04 | 2023-11-28 | Apple Inc. | Spatial audio controller |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5857026A (en) * | 1996-03-26 | 1999-01-05 | Scheiber; Peter | Space-mapping sound system |
US7676047B2 (en) * | 2002-12-03 | 2010-03-09 | Bose Corporation | Electroacoustical transducing with low frequency augmenting devices |
DE10344638A1 (de) * | 2003-08-04 | 2005-03-10 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene |
JP4886242B2 (ja) * | 2005-08-18 | 2012-02-29 | 日本放送協会 | ダウンミックス装置およびダウンミックスプログラム |
WO2008018012A2 (en) | 2006-08-10 | 2008-02-14 | Koninklijke Philips Electronics N.V. | A device for and a method of processing an audio signal |
DE102006053919A1 (de) * | 2006-10-11 | 2008-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert |
US8180062B2 (en) * | 2007-05-30 | 2012-05-15 | Nokia Corporation | Spatial sound zooming |
US8509454B2 (en) * | 2007-11-01 | 2013-08-13 | Nokia Corporation | Focusing on a portion of an audio scene for an audio signal |
KR100998913B1 (ko) | 2008-01-23 | 2010-12-08 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 이의 장치 |
EP2146522A1 (en) * | 2008-07-17 | 2010-01-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating audio output signals using object based metadata |
KR101567461B1 (ko) * | 2009-11-16 | 2015-11-09 | 삼성전자주식회사 | 다채널 사운드 신호 생성 장치 |
CN102860048B (zh) | 2010-02-26 | 2016-02-17 | 诺基亚技术有限公司 | 用于处理产生声场的多个音频信号的方法和设备 |
US9020152B2 (en) * | 2010-03-05 | 2015-04-28 | Stmicroelectronics Asia Pacific Pte. Ltd. | Enabling 3D sound reproduction using a 2D speaker arrangement |
EP2373054B1 (de) | 2010-03-09 | 2016-08-17 | Deutsche Telekom AG | Wiedergabe in einem beweglichen Zielbeschallungsbereich mittels virtueller Lautsprecher |
JP5826996B2 (ja) * | 2010-08-30 | 2015-12-02 | 日本放送協会 | 音響信号変換装置およびそのプログラム、ならびに、3次元音響パンニング装置およびそのプログラム |
KR102049602B1 (ko) * | 2012-11-20 | 2019-11-27 | 한국전자통신연구원 | 멀티미디어 데이터 생성 장치 및 방법, 멀티미디어 데이터 재생 장치 및 방법 |
US10725726B2 (en) * | 2012-12-20 | 2020-07-28 | Strubwerks, LLC | Systems, methods, and apparatus for assigning three-dimensional spatial data to sounds and audio files |
RS1332U (en) | 2013-04-24 | 2013-08-30 | Tomislav Stanojević | FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS |
-
2012
- 2012-05-07 EP EP12722693.4A patent/EP2848009B1/en active Active
- 2012-05-07 JP JP2015507389A patent/JP5973058B2/ja active Active
- 2012-05-07 US US14/398,060 patent/US9378747B2/en active Active
- 2012-05-07 WO PCT/EP2012/058382 patent/WO2013167164A1/en active Application Filing
- 2012-05-07 CN CN201280073062.4A patent/CN104303522B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US9378747B2 (en) | 2016-06-28 |
CN104303522B (zh) | 2017-04-19 |
CN104303522A (zh) | 2015-01-21 |
EP2848009B1 (en) | 2020-12-02 |
US20150124973A1 (en) | 2015-05-07 |
EP2848009A1 (en) | 2015-03-18 |
WO2013167164A1 (en) | 2013-11-14 |
JP2015518182A (ja) | 2015-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5973058B2 (ja) | レイアウト及びフォーマットに依存しない3dオーディオ再生のための方法及び装置 | |
JP7493559B2 (ja) | 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理 | |
JP7348320B2 (ja) | オーディオ信号処理システム及び方法 | |
CN112262585B (zh) | 环境立体声深度提取 | |
TWI744341B (zh) | 使用近場/遠場渲染之距離聲相偏移 | |
JP6732764B2 (ja) | 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法 | |
JP6186435B2 (ja) | ゲームオーディオコンテンツを示すオブジェクトベースオーディオの符号化及びレンダリング | |
US9712939B2 (en) | Panning of audio objects to arbitrary speaker layouts | |
JP5688030B2 (ja) | 三次元音場の符号化および最適な再現の方法および装置 | |
KR101325402B1 (ko) | 오브젝트 기반 메타데이터를 이용한 오디오 출력 신호를 생성하는 장치 및 방법 | |
US20170098452A1 (en) | Method and system for audio processing of dialog, music, effect and height objects | |
US9489954B2 (en) | Encoding and rendering of object based audio indicative of game audio content | |
US9858932B2 (en) | Processing of time-varying metadata for lossless resampling | |
KR20140027954A (ko) | 3차원 오디오 사운드트랙의 인코딩 및 재현 | |
US11924627B2 (en) | Ambience audio representation and associated rendering | |
Tsingos | Object-based audio | |
WO2022014326A1 (ja) | 信号処理装置および方法、並びにプログラム | |
Vilkaitis et al. | Ambisonic Sound Design for Theatre with Virtual Reality Demonstration-A Case Study | |
Silzle et al. | Implementation and Evaluation of the Usage of Low-Complexity Early Reflection Patterns for Real-time 6DOF Auditory Virtual Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5973058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |