JPWO2019198486A1 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JPWO2019198486A1
JPWO2019198486A1 JP2020513170A JP2020513170A JPWO2019198486A1 JP WO2019198486 A1 JPWO2019198486 A1 JP WO2019198486A1 JP 2020513170 A JP2020513170 A JP 2020513170A JP 2020513170 A JP2020513170 A JP 2020513170A JP WO2019198486 A1 JPWO2019198486 A1 JP WO2019198486A1
Authority
JP
Japan
Prior art keywords
attenuation
information
amount
positional relationship
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020513170A
Other languages
English (en)
Other versions
JP7347412B2 (ja
Inventor
本間　弘幸
弘幸 本間
徹 知念
徹 知念
芳明 及川
芳明 及川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019198486A1 publication Critical patent/JPWO2019198486A1/ja
Priority to JP2023144759A priority Critical patent/JP2023164970A/ja
Application granted granted Critical
Publication of JP7347412B2 publication Critical patent/JP7347412B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、少ない演算量で高い臨場感を得ることができるようにする情報処理装置および方法、並びにプログラムに関する。情報処理装置は、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、その減衰量に基づいて所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える。本技術は信号処理装置に適用することができる。

Description

本技術は、情報処理装置および方法、並びにプログラムに関し、特に、少ない演算量で高い臨場感を得ることができるようにした情報処理装置および方法、並びにプログラムに関する。
従来、映画やゲーム等でオブジェクトオーディオ技術が使われ、オブジェクトオーディオを扱える符号化方式も開発されている。具体的には、例えば国際標準規格であるMPEG（Moving Picture Experts Group）-H Part 3:3D audio規格などが知られている（例えば、非特許文献１参照）。
このような符号化方式では、従来の２チャンネルステレオ方式や５．１チャンネル等のマルチチャンネルステレオ方式とともに、移動する音源等を独立したオーディオオブジェクトとして扱い、オーディオオブジェクトの信号データとともにオブジェクトの位置情報をメタデータとして符号化することが可能である。
このようにすることで、スピーカの数や配置の異なる様々な視聴環境で再生を行うことができる。また、従来の符号化方式では困難であった特定の音源の音の音量調整や、特定の音源の音に対するエフェクトの追加など、特定の音源の音を再生時に加工することが容易にできる。
例えば非特許文献１の規格では、レンダリング処理に３次元VBAP（Vector Based Amplitude Panning）（以下、単にVBAPと称する）と呼ばれる方式が用いられる。
これは一般的にパニングと呼ばれるレンダリング手法の１つで、ユーザ位置を原点とする球表面上に存在するスピーカのうち、同じく球表面上に存在するオーディオオブジェクトに最も近い３個のスピーカに対しゲインを分配することでレンダリングを行う方式である。
また、VBAP以外にも、例えばゲインをx軸、y軸、およびz軸のそれぞれに対して分配するSpeaker-anchored coordinates pannerと呼ばれるパニング手法によるレンダリング処理も知られている（例えば、非特許文献２参照）。
INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio ETSI TS 103 448 v1.1.1(2016-09)
ところで、上述したレンダリング方式では、複数のオーディオオブジェクトのオブジェクト信号は個々のオーディオオブジェクトごとにレンダリングされ、オーディオオブジェクト間の相対的な位置関係による音響の変化は全く考慮されていない。そのため、音声再生時に高い臨場感を得ることができなかった。
例えば受聴者の位置から見て、ある第１のオーディオオブジェクトの背後で別の第２のオーディオオブジェクトから音が放射されたとする。そのような場合に、その第２のオーディオオブジェクトの音について、第１のオーディオオブジェクトで生じる音の反射や回析、吸収によって生じる減衰効果は全く無視されてしまう。
なお、上述したレンダリング方式では、ユーザ位置が固定されているため、例えばユーザ位置と複数のオーディオオブジェクトの位置関係によって、事前にオブジェクト信号のレベルを調整することが可能である。
このようなレベル調整によって、オーディオオブジェクト間の相対的な位置関係による音響の変化を表現することが可能となる。したがって、例えばオーディオオブジェクトにおける音の反射や回析、吸収により生じる減衰効果を物理法則に基づいて計算し、その計算結果に基づいてオーディオオブジェクトのオブジェクト信号のレベル調整を事前に行えば、高い臨場感を得ることができる。
しかし、このような音の反射や回析、吸収により生じる減衰効果を物理法則に基づいて計算すると、多数のオーディオオブジェクトが存在する場合には演算量が多くなってしまうので現実的ではない。
しかも、ユーザ位置が固定である固定視点では予めレベル調整を行うことで、音の反射や回析等を考慮したオブジェクト信号を生成しておくことができるが、ユーザ位置を移動可能な自由視点では、そのような事前のレベル調整は全く意味をなさなくなってしまう。
本技術は、このような状況に鑑みてなされたものであり、少ない演算量で高い臨場感を得ることができるようにするものである。
本技術の一側面の情報処理装置は、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える。
本技術の一側面の情報処理方法またはプログラムは、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するステップを含む。
本技術の一側面においては、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量が決定され、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインが決定される。
本技術の一側面によれば、少ない演算量で高い臨場感を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
VBAPについて説明する図である。 信号処理装置の構成例を示す図である。 座標変換について説明する図である。 座標変換について説明する図である。 座標系について説明する図である。 減衰距離と半径比について説明する図である。 メタデータについて説明する図である。 減衰テーブルについて説明する図である。 補正テーブルについて説明する図である。 オーディオ出力処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術について〉
本技術は、オーディオオブジェクトのレンダリングを行う場合に、空間内における複数のオーディオオブジェクトの位置関係に基づいてオーディオオブジェクトのゲイン情報を決定することで、少ない演算量でも十分に高い臨場感を得ることができるようにするものである。
なお、本技術は、オーディオオブジェクトのレンダリングに限らず、空間内に存在する複数の各オブジェクトについて、それらのオブジェクトに関するパラメータをオブジェクト間の位置関係に応じて調整する場合に適用可能である。例えば本技術は、オブジェクト間の位置関係に応じて、オブジェクトの画像信号に関する輝度（光量）等のパラメータの調整量を決定する場合などにも適用可能である。
以下では、オーディオオブジェクトのレンダリングを行う場合を具体的な例として説明を続ける。また、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。
例えばレンダリング時には、上述したVBAPなどの所定の方式のレンダリング処理が行われる。VBAPでは空間におけるユーザ位置を原点とする球表面上に存在するスピーカのうち、同じく球表面上に存在するオブジェクトに最も近い３個のスピーカに対しゲインが分配される。
例えば図１に示すように、３次元空間に受聴者であるユーザU11がおり、そのユーザU11の前方に３つのスピーカSP1乃至スピーカSP3が配置されているとする。
また、ユーザU11の頭部の位置を原点Ｏとし、その原点Ｏを中心とする球の表面上にスピーカSP1乃至スピーカSP3が位置しているとする。
いま、球表面上におけるスピーカSP1乃至スピーカSP3に囲まれる領域TR11内にオブジェクトが存在しており、そのオブジェクトの位置VSP1に音像を定位させることを考えるとする。
そのような場合、VBAPではオブジェクトについて、位置VSP1の周囲にあるスピーカSP1乃至スピーカSP3に対してゲインが分配されることになる。
具体的には、原点Ｏを基準（原点）とする３次元座標系において、原点Ｏを始点とし、位置VSP1を終点とする３次元のベクトルPにより位置VSP1を表すこととする。
また、原点Ｏを始点とし、各スピーカSP1乃至スピーカSP3の位置を終点とする３次元のベクトルをベクトルL1乃至ベクトルL3とすると、ベクトルPは次式（１）に示すように、ベクトルL1乃至ベクトルL3の線形和によって表すことができる。
Figure 2019198486
ここで、式（１）においてベクトルL1乃至ベクトルL3に乗算されている係数g1乃至係数g3を算出し、これらの係数g1乃至係数g3を、スピーカSP1乃至スピーカSP3のそれぞれから出力する音のゲインとすれば、位置VSP1に音像を定位させることができる。
例えば係数g1乃至係数g3を要素とするベクトルをg123＝［g1,g2,g3］とし、ベクトルL1乃至ベクトルL3を要素とするベクトルをL123＝［L1,L2,L3］とすると、上述した式（１）を変形して次式（２）を得ることができる。
Figure 2019198486
このような式（２）を計算して求めた係数g1乃至係数g3をゲインとして用いて、オブジェクトの音の信号であるオブジェクト信号を各スピーカSP1乃至スピーカSP3に出力することで、位置VSP1に音像を定位させることができる。
なお、各スピーカSP1乃至スピーカSP3の配置位置は固定されており、それらのスピーカの位置を示す情報は既知の情報であるため、逆行列であるL123 -1は事前に求めておくことができる。そのため、VBAPでは比較的容易な計算で、つまり少ない演算量でレンダリングを行うことが可能である。
しかし、上述したようにVBAP等によるレンダリングにおいて空間内に複数のオブジェクトがある場合に、それらのオブジェクト間の相対的な位置関係による音響の変化は全く考慮されていないため、音声再生時に高い臨場感を得ることができなかった。
また、予めオブジェクト信号のレベル調整を行っておくことも考えられるが、レベル調整のための減衰効果を物理法則に基づいて計算することは演算量が多く、現実的ではない。さらに、自由視点ではユーザの位置が変化するので、予めレベル調整を行っておくことは全く意味をなさなくなってしまう。
そこで、本技術ではオブジェクトの減衰に関する情報を利用して、音の再生側においてオブジェクト信号のレベル調整を行うようにすることで、少ない演算量で高い臨場感を得ることができるようにした。
特に、本技術ではオブジェクト間の相対的な位置関係に基づいて、オブジェクト信号のレベル調整のためのゲイン情報を決定することで、少ない演算量でも音の反射や回析、吸収により生じる減衰効果、すなわち音響の変化を生じさせることができる。これにより、高い臨場感を得ることができる。
〈信号処理装置の構成例〉
次に、本技術を適用した信号処理装置の構成例について説明する。
図２は本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。
図２に示す信号処理装置１１はデコード処理部２１、座標変換処理部２２、オブジェクト減衰処理部２３、およびレンダリング処理部２４を有している。
デコード処理部２１は、送信されてきた入力ビットストリームを受信して復号（デコード）し、その結果得られたオブジェクトのメタデータおよびオブジェクト信号を出力する。
ここで、オブジェクト信号は、オブジェクトの音を再生するためのオーディオ信号である。また、メタデータには、オブジェクトごとにオブジェクト位置情報、オブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報が含まれている。
オブジェクト位置情報は、オブジェクトが存在する空間（以下、受聴空間とも称する）におけるオブジェクトの絶対的な位置を示す情報である。
例えばオブジェクト位置情報は、所定の位置を原点とする３次元直交座標系、すなわちｘｙｚ座標系のｘ座標、ｙ座標、およびｚ座標により表される、オブジェクトの位置を示す座標情報とされる。
オブジェクト外径情報は、オブジェクトの外径を示す情報である。例えば、ここではオブジェクトが球形状であるものとし、その球の半径がオブジェクトの外径を示すオブジェクト外径情報とされることとする。
なお、以下では、オブジェクトが球状であるものとして説明を行うが、オブジェクトはどのような形状であってもよい。例えばオブジェクトがｘ軸、ｙ軸、およびｚ軸の各方向に径を有する形状であるとし、それらの各軸方向のオブジェクトの半径を示す情報をオブジェクト外径情報とするようにしてもよい。
また、spreadのための外径情報をオブジェクト外径情報として用いるようにしてもよい。例えばMPEG-H Part 3:3D audio規格では、音源の大きさを広げる技術としてspreadと呼ばれる技術が採用されており、音源の大きさを広げるために各オブジェクトの外径情報が記録できるフォーマットとなっている。そこで、このようなspreadのための外径情報をオブジェクト外径情報として用いるようにしてもよい。
オブジェクト減衰情報は、オブジェクトに起因して他のオブジェクトからの音が減衰されるときの音の減衰量に関する情報である。オブジェクト減衰情報を用いることで、オブジェクト間の位置関係に応じた、所定のオブジェクトにおける他のオブジェクトのオブジェクト信号の減衰量を得ることができる。
オブジェクト減衰無効情報は、オブジェクトの音、すなわちオブジェクト信号に対する減衰処理を行うか否か、つまりオブジェクト信号を減衰させるか否かを示す情報である。
例えばオブジェクト減衰無効情報の値が１である場合、オブジェクト信号に対する減衰処理は無効とされる。すなわち、オブジェクト減衰無効情報の値が１である場合、オブジェクト信号に対する減衰処理は行われない。
例えば音源制作者の意図として、あるオブジェクトは重要なものであり、そのオブジェクトの音については他のオブジェクトとの位置関係による減衰効果を生じさせたくないなどといった意図がある場合には、オブジェクト減衰無効情報の値が１に設定される。なお、以下では、オブジェクト減衰無効情報の値が１とされたオブジェクトを減衰無効オブジェクトとも称することとする。
これに対して、オブジェクト減衰無効情報の値が０である場合、オブジェクトと他のオブジェクトの位置関係に応じて、オブジェクト信号に対する減衰処理が行われる。以下では、オブジェクト減衰無効情報の値が０である、減衰処理の対象となり得るオブジェクトを減衰処理オブジェクトとも称することとする。
オブジェクトゲイン情報は、予め音源制作者側で定められた、オブジェクト信号のレベル調整を行うためのゲインを示す情報である。例えばオブジェクトゲイン情報は、ゲインを示すデシベル値などとされる。
デコード処理部２１における復号により、各オブジェクトのオブジェクト信号とメタデータが得られると、デコード処理部２１は、得られたオブジェクト信号をレンダリング処理部２４に供給する。
また、デコード処理部２１は、復号により得られたメタデータのオブジェクト位置情報を座標変換処理部２２に供給する。さらに、デコード処理部２１は、復号により得られたメタデータのオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報をオブジェクト減衰処理部２３に供給する。
座標変換処理部２２は、デコード処理部２１から供給されたオブジェクト位置情報と、外部から供給されたユーザ位置情報とに基づいてオブジェクト球面座標位置情報を生成し、オブジェクト減衰処理部２３に供給する。換言すれば、座標変換処理部２２は、オブジェクト位置情報をオブジェクト球面座標位置情報へと変換する。
ここで、ユーザ位置情報は、オブジェクトが存在する受聴空間内における受聴者となるユーザの絶対的な位置、すなわちユーザが所望する受聴点の絶対的な位置を示す情報であり、ｘｙｚ座標系のｘ座標、ｙ座標、およびｚ座標により表される座標情報とされる。
このユーザ位置情報は、入力ビットストリームに含まれる情報ではなく、例えば信号処理装置１１に接続された外部ユーザインターフェースなどから供給される情報である。
また、オブジェクト球面座標位置情報は球面座標系の座標、すなわち球面座標により表される、受聴空間におけるユーザから見たオブジェクトの相対的な位置を示す情報である。
オブジェクト減衰処理部２３は、座標変換処理部２２から供給されたオブジェクト球面座標位置情報と、デコード処理部２１から供給されたオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報とに基づいて、オブジェクトゲイン情報を適宜、補正して得られる補正オブジェクトゲイン情報を求める。
換言すれば、オブジェクト減衰処理部２３はオブジェクト球面座標位置情報、オブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報に基づいて補正オブジェクトゲイン情報を決定するゲイン決定部として機能する。
ここで、補正オブジェクトゲイン情報により示されるゲイン値は、オブジェクトの位置関係を考慮してオブジェクトゲイン情報により示されるゲイン値を適宜、補正することで得られるものである。
このような補正オブジェクトゲイン情報は、オブジェクトの位置関係に起因してオブジェクトで生じる音の反射や回析、吸収によって生じる減衰、すなわち音響の変化が考慮されたオブジェクト信号のレベル調整を実現するためのものである。
レンダリング処理部２４では、レンダリング時に補正オブジェクトゲイン情報に基づいてオブジェクト信号のレベル調整を行う処理が減衰処理として行われる。このような減衰処理は音の反射や回析、吸収に応じてオブジェクト信号のレベルを減衰させる処理であるということができる。
オブジェクト減衰処理部２３は、オブジェクト球面座標位置情報および補正オブジェクトゲイン情報をレンダリング処理部２４に供給する。
信号処理装置１１では、座標変換処理部２２およびオブジェクト減衰処理部２３が、各オブジェクトについて、他のオブジェクトとの位置関係に応じたオブジェクト信号のレベル調整のための補正オブジェクトゲイン情報を決定する情報処理装置として機能する。
レンダリング処理部２４は、デコード処理部２１から供給されたオブジェクト信号と、オブジェクト減衰処理部２３から供給されたオブジェクト球面座標位置情報および補正オブジェクトゲイン情報とに基づいて出力オーディオ信号を生成し、後段のスピーカやヘッドホン、記録部などに供給する。
具体的にはレンダリング処理部２４は、レンダリング処理としてVBAP等のパニング処理を行って出力オーディオ信号を生成する。
例えばパニング処理としてVBAPが行われる場合には、オブジェクト球面座標位置情報と各スピーカの配置情報に基づいて上述した式（２）と同様の計算が行われ、スピーカごとのゲイン情報が求められる。そして、レンダリング処理部２４は、求めたゲイン情報と補正オブジェクトゲイン情報とに基づいて、各スピーカに対応するチャンネルのオブジェクト信号のレベル調整を行うことで、複数の各チャンネルの信号からなる出力オーディオ信号を生成する。複数のオブジェクトがある場合には、それらの各オブジェクトの同じチャンネルの信号が加算されて、最終的な出力オーディオ信号とされる。
なお、レンダリング処理部２４で行われるレンダリング処理は、例えばMPEG-H Part 3:3D audio規格で採用されているVBAPや、Speaker-anchored coordinates pannerと呼ばれるパニング手法による処理など、どのような処理であってもよい。
また、VBAPによるレンダリング処理では、球面座標系の位置情報であるオブジェクト球面座標位置情報が用いられるが、Speaker-anchored coordinates pannerによるレンダリング処理では、直交座標系の位置情報が用いられて直接レンダリングが行われる。したがって、直交座標系を用いたレンダリングを行う場合には、座標変換処理部２２では、ユーザの位置から見た各オブジェクトの位置を示す直交座標系の位置情報が座標変換により求められるようにすればよい。
〈座標変換および補正オブジェクトゲイン情報の決定について〉
続いて、座標変換処理部２２において行われる座標変換、およびオブジェクト減衰処理部２３において行われる処理について、より詳細に説明する。
座標変換処理部２２では、オブジェクト位置情報およびユーザ位置情報が入力とされて座標変換が行われ、オブジェクト球面座標位置情報が出力される。
ここで、座標変換の入力とされるオブジェクト位置情報およびユーザ位置情報は、例えば図３に示すようなｘ軸、ｙ軸、およびｚ軸を用いた３次元直交座標系、すなわちｘｙｚ座標系の座標で表される。
図３では、ｘｙｚ座標系の原点Ｏから見たユーザLP11の位置を示す座標がユーザ位置情報とされる。また、ｘｙｚ座標系の原点Ｏから見たオブジェクトOBJ1の位置を示す座標が、そのオブジェクトOBJ1のオブジェクト位置情報とされ、ｘｙｚ座標系の原点Ｏから見たオブジェクトOBJ2の位置を示す座標が、そのオブジェクトOBJ2のオブジェクト位置情報とされる。
座標変換時には、座標変換処理部２２は、例えば図４に示すようにユーザLP11の位置が原点Ｏの位置となるように、全オブジェクトの受聴空間内の並行移動を行った後、それらの全オブジェクトのｘｙｚ座標系の座標を球面座標系の座標へと変換する。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
具体的には、座標変換処理部２２は、ユーザ位置情報に基づいて、ユーザLP11の位置をｘｙｚ座標系の原点Ｏへと移動させる移動ベクトルMV11を求める。この移動ベクトルMV11は、ユーザ位置情報により示されるユーザLP11の位置を始点とし、原点Ｏの位置を終点とするベクトルである。
また、座標変換処理部２２は、移動ベクトルMV11と同じ大きさ（長さ）および方向で、かつオブジェクトOBJ1の位置を始点とするベクトルを移動ベクトルMV12とする。そして、座標変換処理部２２は、オブジェクトOBJ1のオブジェクト位置情報に基づいて、そのオブジェクトOBJ1の位置を移動ベクトルMV12に示される分だけ移動させる。
同様にして、座標変換処理部２２は、移動ベクトルMV11と同じ大きさおよび方向で、かつオブジェクトOBJ2の位置を始点とするベクトルを移動ベクトルMV13とし、オブジェクトOBJ2のオブジェクト位置情報に基づいて、オブジェクトOBJ2の位置を移動ベクトルMV13に示される分だけ移動させる。
さらに、座標変換処理部２２は、原点Ｏから見た移動後のオブジェクトOBJ1の位置を示す球面座標系の座標を求め、得られた座標をオブジェクトOBJ1のオブジェクト球面座標位置情報とする。同様に、座標変換処理部２２は、原点Ｏから見た移動後のオブジェクトOBJ2の位置を示す球面座標系の座標を求め、得られた座標をオブジェクトOBJ2のオブジェクト球面座標位置情報とする。
ここで、球面座標系とｘｙｚ座標系との関係は、図５に示す関係となっている。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図５では原点Ｏを通り、互いに垂直なｘ軸、ｙ軸、およびｚ軸がｘｙｚ座標系の軸となっている。例えばｘｙｚ座標系では、移動ベクトルMV12による移動後のオブジェクトOBJ1の位置はｘ座標であるX1、ｙ座標であるY1、およびｚ座標であるZ1が用いられて（X1,Y1,Z1）と表される。
これに対して球面座標系では、方位角position_azimuth、仰角position_elevation、および半径position_radiusが用いられてオブジェクトOBJ1の位置が表される。
いま、原点Ｏと、オブジェクトOBJ1の位置とを結ぶ直線を直線ｒとし、この直線ｒをｘｙ平面上に投影して得られた直線を直線Ｌとする。
このとき、ｘ軸と直線Ｌとのなす角θがオブジェクトOBJ1の位置を示す方位角position_azimuthとされる。また、直線ｒとｘｙ平面とのなす角φがオブジェクトOBJ1の位置を示す仰角position_elevationとされ、直線ｒの長さがオブジェクトOBJ1の位置を示す半径position_radiusとされる。
したがって、ユーザの位置、すなわち原点Ｏを基準としたオブジェクトの方位角、仰角、および半径からなる球面座標の情報が、そのオブジェクトのオブジェクト球面座標位置情報となる。なお、より詳細には、例えばｘ軸の正の方向がユーザの正面の方向などとされてオブジェクト球面座標位置情報が求められる。
次に、オブジェクト減衰処理部２３において行われる処理について説明する。
なお、ここでは説明を簡単にするため、受聴空間にはオブジェクトOBJ1およびオブジェクトOBJ2の２つのオブジェクトのみが存在するものとして説明を行う。
具体的には、例えば図６に示すように受聴空間内にオブジェクトOBJ1およびオブジェクトOBJ2が存在しており、オブジェクトOBJ1の補正オブジェクトゲイン情報を決定するものとする。なお、図６において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図６の例では、オブジェクトOBJ1は減衰無効オブジェクトではないオブジェクト、すなわちオブジェクト減衰無効情報の値が０である減衰処理オブジェクトであるものとする。
オブジェクトOBJ1の補正オブジェクトゲイン情報を決定するにあたっては、まずオブジェクトOBJ1の位置を示すベクトルOP1が求められる。
このベクトルOP1は、原点Ｏを始点とし、オブジェクトOBJ1のオブジェクト球面座標位置情報により示される位置O11を終点とするベクトルである。原点Ｏに位置するユーザは、位置O11にあるオブジェクトOBJ1から原点Ｏに向けて放射された音を聴取することになる。なお、より詳細には位置O11は、オブジェクトOBJ1の中心位置を示している。
次に、オブジェクトOBJ1よりも原点Ｏからの距離が近いオブジェクト、つまりオブジェクトOBJ1よりもユーザ位置である原点Ｏ側にあるオブジェクトが被減衰オブジェクトとして選択される。被減衰オブジェクトは、減衰処理オブジェクトと原点Ｏとの間に位置するために減衰処理オブジェクトからの音の減衰要因となり得るオブジェクトである。
図６の例では、オブジェクトOBJ2は、オブジェクト球面座標位置情報により示される位置O12に位置しており、その位置O12はオブジェクトOBJ1の位置O11よりも原点Ｏ側に位置している。すなわち、原点Ｏを始点とし、位置O12を終点とするベクトルOP2の大きさは、ベクトルOP1の大きさよりも小さい。
そのため、図６の例では、オブジェクトOBJ1よりも原点Ｏ側に位置しているオブジェクトOBJ2がオブジェクトOBJ1に対する被減衰オブジェクトとして選択される。なお、より詳細には、位置O12はオブジェクトOBJ2の中心位置を示している。
オブジェクトOBJ2の形状は位置O12を中心とする、オブジェクト外径情報により示される半径OR2の球の形状となっており、オブジェクトOBJ2は点音源ではない、所定の大きさを有するオブジェクトである。
続いて、被減衰オブジェクトであるオブジェクトOBJ2について、オブジェクトOBJ2から、すなわち位置O12からベクトルOP1への法線ベクトルN2_1が求められる。
位置O12を通り、ベクトルOP1と直交する直線と、ベクトルOP1との交点の位置を位置P2_1とすると、位置O12を始点とし、位置P2_1を終点とするベクトルが法線ベクトルN2_1となる。換言すれば、ベクトルOP1と法線ベクトルN2_1との交点が位置P2_1である。
さらに、法線ベクトルN2_1と、オブジェクトOBJ2のオブジェクト外径情報により示される半径OR2とが比較されて、法線ベクトルN2_1の大きさが、被減衰オブジェクトであるオブジェクトOBJ2の外径の1/2である半径OR2以下であるかが判定される。
この判定処理は、オブジェクトOBJ1から放射され、原点Ｏへと進む音の進路上に被減衰オブジェクトであるオブジェクトOBJ2があるか否かを判定する処理である。
換言すれば、この判定処理は、オブジェクトOBJ2の中心位置である位置O12が、ユーザ位置である原点ＯとオブジェクトOBJ1の中心位置である位置O11とを結ぶ直線から、所定距離の範囲内に位置しているか否かを判定する処理であるともいえる。
なお、ここでいう所定距離の範囲はオブジェクトOBJ2の大きさにより定まる範囲であり、具体的には所定距離とは、オブジェクトOBJ2における、位置O12から、原点Ｏと位置O11とを結ぶ直線側の端の位置までの距離、つまり半径OR2である。
例えば図６の例では、法線ベクトルN2_1の大きさは、半径OR2以下となっている。すなわち、ベクトルOP1は、オブジェクトOBJ2と交差する。したがって、オブジェクトOBJ1から原点Ｏに向けて放射された音は、オブジェクトOBJ2において反射したり回析したり、吸収されたりして減衰し、原点Ｏへと向かうことになる。
そこで、オブジェクト減衰処理部２３では、オブジェクトOBJ1とオブジェクトOBJ2の相対的な位置関係に応じて、オブジェクトOBJ1のオブジェクト信号のレベルを減衰させるための補正オブジェクトゲイン情報が決定される。換言すれば、オブジェクトゲイン情報が補正され、補正オブジェクトゲイン情報とされる。
具体的には、オブジェクトOBJ1とオブジェクトOBJ2の相対的な位置関係を示す情報である減衰距離および半径比に基づいて、補正オブジェクトゲイン情報が決定される。
なお、減衰距離とはオブジェクトOBJ1とオブジェクトOBJ2との間の距離である。
この場合、原点Ｏを始点とし、位置P2_1を終点とするベクトルをベクトルOP2_1とすると、ベクトルOP1の大きさとベクトルOP2_1の大きさとの差、つまり位置P2_1から位置O11までの距離が、オブジェクトOBJ1のオブジェクトOBJ2についての減衰距離となる。換言すれば、｜OP1｜-｜OP2_1｜が減衰距離となる。
また、この場合における半径比は、オブジェクトOBJ2の中心位置である位置O12から、原点Ｏと位置O11とを結ぶ直線までの距離と、位置O12からその直線側にあるオブジェクトOBJ2の端までの距離との比となる。
ここでは、オブジェクトOBJ2の形状は球形状であるから、オブジェクトOBJ2の半径比は、法線ベクトルN2_1の大きさと半径OR2の比、つまり｜N2_1｜/OR2となる。
半径比は、オブジェクトOBJ2の中心位置である位置O12のベクトルOP1からのずれ量、つまり原点Ｏと位置O11とを結ぶ直線からの位置O12のずれ量を示す情報である。このような半径比はオブジェクトOBJ2の大きさに依存するオブジェクトOBJ1との位置関係を示す情報であるといえる。
なお、ここではオブジェクトの大きさに依存する位置関係を示す情報として半径比が用いられる例について説明するが、その他、原点Ｏと位置O11とを結ぶ直線から、その直線側にあるオブジェクトOBJ2の端の位置までの距離を示す情報等が用いられてもよい。
オブジェクト減衰処理部２３では、例えばメタデータのオブジェクト減衰情報としての減衰テーブルインデックスおよび補正テーブルインデックスと、減衰距離および半径比とに基づいて、オブジェクトOBJ1のオブジェクトゲイン情報の補正値が求められる。そして、オブジェクト減衰処理部２３は、その補正値によりオブジェクトOBJ1のオブジェクトゲイン情報を補正することにより、補正オブジェクトゲイン情報を得る。
ここで、減衰テーブルインデックスにより示される減衰テーブルと、補正テーブルインデックスにより示される補正テーブルについて説明する。
例えば入力ビットストリームに含まれる所定の時間フレームのメタデータは、図７に示すようになっている。
図７の例では、文字「オブジェクト１位置情報」はオブジェクトOBJ1のオブジェクト位置情報を示しており、文字「オブジェクト１ゲイン情報」はオブジェクトOBJ1のオブジェクトゲイン情報を示しており、文字「オブジェクト１減衰無効情報」はオブジェクトOBJ1のオブジェクト減衰無効情報を示している。
また、文字「オブジェクト２位置情報」はオブジェクトOBJ2のオブジェクト位置情報を示しており、文字「オブジェクト２ゲイン情報」はオブジェクトOBJ2のオブジェクトゲイン情報を示しており、文字「オブジェクト２減衰無効情報」はオブジェクトOBJ2のオブジェクト減衰無効情報を示している。
さらに、文字「オブジェクト２外径情報」はオブジェクトOBJ2のオブジェクト外径情報を示しており、文字「オブジェクト２減衰テーブルインデックス」は、オブジェクトOBJ2の減衰テーブルインデックスを示しており、文字「オブジェクト２補正テーブルインデックス」は、オブジェクトOBJ2の補正テーブルインデックスを示している。
ここでは、減衰テーブルインデックスおよび補正テーブルインデックスが、オブジェクト減衰情報となっている。
減衰テーブルインデックスは、上述した減衰距離に応じたオブジェクト信号の減衰量を示す減衰テーブルを識別するためのインデックスである。
減衰処理オブジェクトと被減衰オブジェクトとの間の距離によって、被減衰オブジェクトによる音の減衰量は変化する。減衰距離に応じた適切な減衰量を少ない演算量で簡単に得るために、減衰距離と減衰量とが対応付けられた減衰テーブルが用いられる。
例えばオブジェクトの材質などにより、音の吸収率や、回折、反射の効果は異なるため、オブジェクトの材質や形状、オブジェクト信号の周波数帯域などに応じて複数の減衰テーブルが予め用意されている。減衰テーブルインデックスは、それらの複数の減衰テーブルのうちの何れかを示すインデックスとなっており、オブジェクトの材質等に応じて音源制作者側で、オブジェクトごとに適切な減衰テーブルインデックスが指定される。
また、補正テーブルインデックスは、上述した半径比に応じたオブジェクト信号の減衰量の補正率を示す補正テーブルを識別するためのインデックスである。
半径比は、減衰処理オブジェクトから放射された音の進路を示す直線が、被減衰オブジェクトの中心からどれだけずれているかを示している。
減衰距離が同じであっても、減衰処理オブジェクトから放射された音の進路からの被減衰オブジェクトのずれ量、すなわち半径比によって実際の減衰量は変化する。
例えば、一般的に原点Ｏと減衰処理オブジェクトとを結ぶ直線が被減衰オブジェクトの中心から遠い外側部分を通る場合、その直線が被減衰オブジェクトの中心を通る場合と比べて回折効果により減衰量が少なくなる。そこで、半径比に応じてオブジェクト信号の減衰量を補正するために、半径比と補正率とが対応付けられた補正テーブルが用いられる。
減衰テーブルにおける場合と同様に、オブジェクトの材質などにより半径比に応じた適切な補正率は変化するため、オブジェクトの材質や形状、オブジェクト信号の周波数帯域などに応じて複数の補正テーブルが予め用意されている。補正テーブルインデックスは、それらの複数の補正テーブルのうちの何れかを示すインデックスとなっており、オブジェクトの材質等に応じて音源制作者側で、オブジェクトごとに適切な補正テーブルインデックスが指定される。
図７に示す例では、オブジェクトOBJ1はオブジェクト外径情報をもたない点音源として処理されるオブジェクトとなっているため、オブジェクトOBJ1のメタデータとしてオブジェクト位置情報、オブジェクトゲイン情報、およびオブジェクト減衰無効情報のみが与えられている。
これに対して、オブジェクトOBJ2はオブジェクト外径情報を有し、他のオブジェクトからの放射音を減衰させるオブジェクトとなっている。そのため、オブジェクトOBJ2のメタデータとしてオブジェクト位置情報、オブジェクトゲイン情報、およびオブジェクト減衰無効情報に加えてオブジェクト外径情報とオブジェクト減衰情報も与えられている。
特に、ここではオブジェクト減衰情報として、減衰テーブルインデックスと補正テーブルインデックスが与えられており、これらの減衰テーブルインデックスと補正テーブルインデックスがオブジェクトゲイン情報の補正値の算出に用いられる。
例えばある１つの減衰テーブルインデックスにより示される減衰テーブルは、図８に示す減衰距離と減衰量の関係を示す情報となっている。
図８において、縦軸は減衰量のデシベル値を示しており、横軸はオブジェクト間の距離、すなわち減衰距離を示している。例えば図６に示した例では、位置P2_1から位置O11までの距離が減衰距離となる。
図８の例では、減衰距離が小さくなるほど減衰量が大きくなっており、減衰距離が小さいほど、減衰距離の変化量に対する減衰量の変化も大きくなっている。このことから減衰処理オブジェクトに対して被減衰オブジェクトが近くにあるほど、減衰処理オブジェクトの音の減衰量が大きくなることが分かる。
また、例えばある１つの補正テーブルインデックスにより示される補正テーブルは、図９に示す半径比と補正率の関係を示す情報となっている。
図９において、縦軸は減衰量の補正率を示しており、横軸は半径比を示している。例えば図６に示した例では、法線ベクトルN2_1の大きさと半径OR2の比が半径比となる。
例えば半径比が０である場合、減衰処理オブジェクトから原点Ｏ、すなわちユーザへと向かって進む音は、被減衰オブジェクトの中心を通ることになり、半径比が１である場合、減衰処理オブジェクトから原点Ｏへと向かって進む音は、被減衰オブジェクトの境界部分を通ることになる。
この例では半径比が大きくなるほど補正率が小さくなっており、半径比が大きいほど半径比の変化量に対する補正率の変化も大きくなっている。例えば補正率が1.0である場合、減衰テーブルで得られた減衰量がそのまま用いられ、補正率が０の場合には減衰テーブルで得られた減衰量が０とされて減衰効果が０となる。なお、半径比が１よりも大きい場合には、減衰処理オブジェクトから原点Ｏへと向かって進む音は被減衰オブジェクトのある領域を通らないので減衰処理は行われない。
減衰距離と半径比に基づいて、それらの減衰距離および半径比に応じた減衰量と補正率が得られると、それらの減衰量と補正率に基づいて補正値が求められ、オブジェクトゲイン情報が補正される。
具体的には、減衰量に補正率を乗算して得られる値、すなわち（補正率×減衰量）が補正値とされる。この補正値は、減衰量を補正率により補正して得られる最終的な減衰量である。補正値が得られると、その補正値がオブジェクトゲイン情報に加算されることでオブジェクトゲイン情報が補正される。そして、このようにして得られた補正後のオブジェクトゲイン情報、つまり補正値とオブジェクトゲイン情報の和が補正オブジェクトゲイン情報とされる。
補正率と減衰量の積である補正値は、オブジェクト間の位置関係に基づいて決定された、あるオブジェクトの音の他のオブジェクトにおいて生じる減衰に対応するレベル調整を実現するためのオブジェクト信号の減衰量を示しているということができる。
なお、ここでは事前に用意された減衰テーブルインデックスおよび補正テーブルインデックスがオブジェクト減衰情報としてメタデータに含められる例について説明した。しかし、図８や図９に示した減衰テーブルや補正テーブルに対応する折れ線の変化点をオブジェクト減衰情報とするなど、減衰量と補正率を得ることができれば、オブジェクト減衰情報はどのようなものであってもよい。
その他、例えば減衰距離を入力として減衰量を出力する連続関数である減衰関数と、半径比を入力として補正率を出力する連続関数である補正率関数とを複数用意し、それらの複数の減衰関数の何れかを示すインデックスと、複数の補正率関数の何れかを示すインデックスとをオブジェクト減衰情報としてもよい。さらに、減衰量と半径比を入力として補正値を出力する連続関数を予め複数用意し、それらの関数のうちの何れかを示すインデックスをオブジェクト減衰情報としてもよい。
〈オーディオ出力処理の説明〉
次に、信号処理装置１１の具体的な動作について説明する。すなわち、以下、図１０のフローチャートを参照して、信号処理装置１１によるオーディオ出力処理について説明する。
ステップＳ１１において、デコード処理部２１は、受信した入力ビットストリームを復号（デコード）し、メタデータおよびオブジェクト信号を得る。
デコード処理部２１は、得られたメタデータのオブジェクト位置情報を座標変換処理部２２に供給するとともに、得られたメタデータのオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報をオブジェクト減衰処理部２３に供給する。また、デコード処理部２１は、得られたオブジェクト信号をレンダリング処理部２４に供給する。
ステップＳ１２において、座標変換処理部２２は、各オブジェクトについて、デコード処理部２１から供給されたオブジェクト位置情報と、外部から供給されたユーザ位置情報とに基づいて座標変換を行ってオブジェクト球面座標位置情報を生成し、オブジェクト減衰処理部２３に供給する。
ステップＳ１３において、オブジェクト減衰処理部２３は、デコード処理部２１から供給されたオブジェクト減衰無効情報、および座標変換処理部２２から供給されたオブジェクト球面座標位置情報に基づいて、処理対象とする減衰処理オブジェクトを１つ選択するとともに、その減衰処理オブジェクトの位置ベクトルを求める。
例えばオブジェクト減衰処理部２３は、オブジェクト減衰無効情報の値が０であるオブジェクトを１つ選択し、そのオブジェクトを減衰処理オブジェクトとする。そしてオブジェクト減衰処理部２３は、その減衰処理オブジェクトのオブジェクト球面座標位置情報に基づいて、原点Ｏ、つまりユーザの位置を始点とし、減衰処理オブジェクトの位置を終点とするベクトルを位置ベクトルとして算出する。
したがって、例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択された場合には、ベクトルOP1が位置ベクトルとして求められる。
ステップＳ１４においてオブジェクト減衰処理部２３は、処理対象の減衰処理オブジェクトと他のオブジェクトのオブジェクト球面座標位置情報に基づいて、処理対象の減衰処理オブジェクトよりも原点Ｏからの距離が小さい（短い）１つのオブジェクトを、その減衰処理オブジェクトに対する被減衰オブジェクトとして選択する。
例えば図６の例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択された場合には、そのオブジェクトOBJ1よりも原点Ｏに近い位置にあるオブジェクトOBJ2が被減衰オブジェクトとして選択される。
ステップＳ１５においてオブジェクト減衰処理部２３は、ステップＳ１３で得られた減衰処理オブジェクトの位置ベクトル、および被減衰オブジェクトのオブジェクト球面座標位置情報に基づいて、減衰処理オブジェクトの位置ベクトルに対する被減衰オブジェクトの中心からの法線ベクトルを求める。
例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合には、法線ベクトルN2_1が求められることになる。
ステップＳ１６においてオブジェクト減衰処理部２３は、ステップＳ１５で求めた法線ベクトルと、被減衰オブジェクトのオブジェクト外径情報とに基づいて、法線ベクトルの大きさが被減衰オブジェクトの半径以下であるか否かを判定する。
例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合には、法線ベクトルN2_1の大きさが、オブジェクトOBJ2の外径の半分である半径OR2以下であるか否かが判定される。
ステップＳ１６において法線ベクトルの大きさが被減衰オブジェクトの半径以下でないと判定された場合、被減衰オブジェクトは、減衰処理オブジェクトから原点Ｏ（ユーザ）へと向かって進む音の進路上にないのでステップＳ１７およびステップＳ１８の処理は行われず、処理はステップＳ１９へと進む。
これに対してステップＳ１６において法線ベクトルの大きさが被減衰オブジェクトの半径以下であると判定された場合、被減衰オブジェクトは減衰処理オブジェクトから原点Ｏ（ユーザ）へと向かって進む音の進路上にあるので、処理はステップＳ１７へと進む。この場合、ユーザから見て略同一方向に減衰処理オブジェクトと被減衰オブジェクトが位置していることになる。
ステップＳ１７においてオブジェクト減衰処理部２３は、ステップＳ１３で得られた減衰処理オブジェクトの位置ベクトル、およびステップＳ１５で得られた被減衰オブジェクトの法線ベクトルに基づいて減衰距離を求める。また、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト外径情報と法線ベクトルに基づいて半径比も求める。
例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合、位置P2_1から位置O11までの距離、すなわち｜OP1｜-｜OP2_1｜が減衰距離として求められる。さらにこの場合、法線ベクトルN2_1の大きさと半径OR2の比｜N2_1｜/OR2が半径比として求められる。
ステップＳ１８においてオブジェクト減衰処理部２３は、減衰処理オブジェクトのオブジェクトゲイン情報と、被減衰オブジェクトのオブジェクト減衰情報と、ステップＳ１７で得られた減衰距離および半径比とに基づいて、減衰処理オブジェクトの補正オブジェクトゲイン情報を求める。
例えばオブジェクト減衰情報として、上述した減衰テーブルインデックスおよび補正テーブルインデックスがメタデータに含まれている場合、オブジェクト減衰処理部２３は予め複数の減衰テーブルと補正テーブルを保持している。
この場合、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト減衰情報としての減衰テーブルインデックスにより示される減衰テーブルから、減衰距離に対して定まる減衰量を読み出す。
また、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト減衰情報としての補正テーブルインデックスにより示される補正テーブルから、半径比に対して定まる補正率を読み出す。
そして、オブジェクト減衰処理部２３は、読み出した減衰量に補正率を乗算して補正値を求め、その補正値を減衰処理オブジェクトのオブジェクトゲイン情報に加算することで補正オブジェクトゲイン情報を求める。
このようにして補正オブジェクトゲイン情報を求める処理は減衰距離や半径比、つまりオブジェクト間の位置関係に基づいてオブジェクト信号の減衰量を示す補正値を決定し、さらにその補正値に基づいてオブジェクト信号のレベル調整のためのゲインである補正オブジェクトゲイン情報を決定する処理であるということができる。
補正オブジェクトゲイン情報が得られると、その後、処理はステップＳ１９へと進む。
ステップＳ１８の処理が行われたか、またはステップＳ１６において法線ベクトルの大きさが半径以下でないと判定されるとステップＳ１９において、オブジェクト減衰処理部２３は、処理対象の減衰処理オブジェクトについて、未処理の被減衰オブジェクトがあるか否かを判定する。
ステップＳ１９において、まだ未処理の被減衰オブジェクトがあると判定された場合、処理はステップＳ１４に戻り、上述した処理が繰り返し行われる。
この場合、ステップＳ１８の処理では、既に求められている補正オブジェクトゲイン情報に対して、新たな被減衰オブジェクトについて求められた補正値が加算されて補正オブジェクトゲイン情報が更新されることになる。したがって、減衰処理オブジェクトに対して、法線ベクトルの大きさが半径以下となる複数の被減衰オブジェクトがある場合、オブジェクトゲイン情報に、複数の被減衰オブジェクトについて求められた各補正値を加算して得られたものが最終的な補正オブジェクトゲイン情報として得られることになる。
また、ステップＳ１９において未処理の被減衰オブジェクトがない、つまり全ての被減衰オブジェクトについて処理が行われたと判定された場合、処理はステップＳ２０へと進む。
ステップＳ２０において、オブジェクト減衰処理部２３は、全ての減衰処理オブジェクトを処理したか否かを判定する。
ステップＳ２０において、まだ全ての減衰処理オブジェクトを処理していないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返し行われる。
これに対して、ステップＳ２０において全ての減衰処理オブジェクトを処理したと判定された場合、処理はステップＳ２１へと進む。
この場合、オブジェクト減衰処理部２３は、ステップＳ１７およびステップＳ１８の処理が行われなかったオブジェクト、つまり減衰処理が行われないオブジェクトについては、そのオブジェクトのオブジェクトゲイン情報を、そのまま補正オブジェクトゲイン情報とする。
また、オブジェクト減衰処理部２３は、座標変換処理部２２から供給された全オブジェクトのオブジェクト球座面標位置情報と、補正オブジェクトゲイン情報とをレンダリング処理部２４に供給する。
ステップＳ２１において、レンダリング処理部２４は、デコード処理部２１から供給されたオブジェクト信号と、オブジェクト減衰処理部２３から供給されたオブジェクト球面座標位置情報および補正オブジェクトゲイン情報とに基づいてレンダリング処理を行い、出力オーディオ信号を生成する。
このようにして出力オーディオ信号が得られると、レンダリング処理部２４は、得られた出力オーディオ信号を後段に出力し、オーディオ出力処理は終了する。
以上のようにして信号処理装置１１は、オブジェクト間の位置関係に応じてオブジェクトゲイン情報を補正し、補正オブジェクトゲイン情報とする。このようにすることで、少ない演算量で高い臨場感を得ることができる。
すなわち、受聴空間においてユーザから見て略同一方向に複数のオブジェクトが存在する場合に、オブジェクトの音の吸収や回析、反射等による減衰効果を物理法則に基づいて計算するのではなく、テーブルを利用して減衰距離と半径比に応じた補正値を求めるという簡単な計算により、物理法則に基づく計算を行う場合と略同等の効果を得ることができる。したがって、受聴空間内をユーザが自由に移動する場合であっても、ユーザに対して少ない演算量で高い臨場感の３次元音響効果を与えることができる。
なお、ここでは受聴空間内で任意の位置へとユーザが移動可能な自由視点における場合について説明したが、受聴空間内におけるユーザの位置が固定されている固定視点における場合も、自由視点における場合と同様にして、少ない演算量で高い臨場感を得ることができる。
そのような場合、ユーザ位置情報により示されるユーザ位置は常に原点Ｏの位置となるので、座標変換処理部２２による座標変換処理は不要であり、オブジェクト位置情報は球面座標で表される位置情報とされる。特に、この場合、オブジェクト位置情報は、原点Ｏから見たオブジェクトの位置を示す情報とされる。また、オブジェクト減衰処理部２３による処理は、コンテンツの配信を受けるクライアント側で行われてもよいし、コンテンツを配信するサーバ側において行われるようにしてもよい。
〈変形例〉
その他、以上においてはオブジェクト減衰無効情報が０または１である場合について説明したが、オブジェクト減衰無効情報が３以上の複数の値のうちの何れかとされるようにしてもよい。そのような場合、例えばオブジェクト減衰無効情報の値は、減衰無効オブジェクトであるか否かだけでなく、減衰量の補正量も示すようにされる。したがって、例えば補正率と減衰量から求まる補正値が、さらにオブジェクト減衰無効情報の値に応じて補正され、最終的な補正値とされる。
さらに、以上においてはオブジェクトごとに減衰処理を無効とするか否かを示すオブジェクト減衰無効情報が定められる例について説明したが、受聴空間内の領域に対して減衰処理を無効とするか否かが定められるようにしてもよい。
例えば、音源制作者の意図として受聴空間内のある特定の空間領域においては、オブジェクトの減衰効果を生じさせたくないといった意図があるときには、オブジェクト減衰無効情報に代えて、減衰効果を生じさせない空間領域を示すオブジェクト減衰無効領域情報が入力ビットストリームに格納されるようにすればよい。
そのような場合、オブジェクト減衰処理部２３では、オブジェクト位置情報により示される位置が、オブジェクト減衰無効領域情報により示される空間領域内の位置となるオブジェクトは減衰無効オブジェクトとされる。これにより、音源制作者の意図を反映させたオーディオ再生を実現することができる。
また、例えばユーザから見て略正面の方向に位置するオブジェクトは減衰無効オブジェクトとし、ユーザの後方に位置するオブジェクトは減衰処理オブジェクトとするなど、ユーザとオブジェクトの位置関係も考慮されるようにしてもよい。すなわち、ユーザとオブジェクトの位置関係に基づいて、オブジェクトが減衰無効オブジェクトとされるか否かが決定されるようにしてもよい。
その他、以上においてはオブジェクト間の相対的な位置関係に応じてオブジェクト信号が減衰される例について説明したが、オブジェクト間の相対的な位置関係に応じてオブジェクト信号に対する残響効果の付与などを行うようにしてもよい。
古くから、森の木々などにより残響効果が生じることはよく知られており、Kuttruffは、木々を球とみなし拡散方程式を解くことによって森林の残響をモデル化している。
そこで、例えばユーザ位置と音源となるオブジェクトの位置を含む一定の空間内に、所定個数以上のオブジェクトが存在する場合には、その空間内にある各オブジェクトのオブジェクト信号に対して特定の残響効果を付与することなどが考えられる。
この場合、残響効果を付与するためのパラメトリックリバーブの係数を入力ビットストリームに含め、ユーザ位置と音源となるオブジェクトの位置との相対的な関係に応じて、直接音と残響音の混合比を変化させることで残響効果付与の実現が可能となる。
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
（１）
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える
情報処理装置。
（２）
前記他のオブジェクトは、前記所定のオブジェクトよりもユーザ位置側にある
（１）に記載の情報処理装置。
（３）
前記他のオブジェクトは、ユーザ位置と前記所定のオブジェクトとを結ぶ直線から所定の距離の範囲内に位置している
（１）または（２）に記載の情報処理装置。
（４）
前記範囲は前記他のオブジェクトの大きさにより定まる
（３）に記載の情報処理装置。
（５）
前記所定の距離は、前記他のオブジェクトの中心から前記他のオブジェクトにおける前記直線側の端までの距離である
（３）または（４）に記載の情報処理装置。
（６）
前記位置関係は、前記他のオブジェクトの大きさに依存する位置関係である
（３）乃至（５）の何れか一項に記載の情報処理装置。
（７）
前記位置関係は、前記他のオブジェクトの中心の前記直線からのずれ量である
（６）に記載の情報処理装置。
（８）
前記位置関係は、前記他のオブジェクトの中心から前記直線までの距離と、前記他のオブジェクトの中心から前記他のオブジェクトの前記直線側の端までの距離との比である
（６）に記載の情報処理装置。
（９）
前記ゲイン決定部は、前記位置関係と、前記他のオブジェクトの減衰情報とに基づいて前記減衰量を決定する
（１）乃至（８）の何れか一項に記載の情報処理装置。
（１０）
前記減衰情報は、前記他のオブジェクトにおける、前記位置関係に応じた前記信号の減衰量を得るための情報である
（９）に記載の情報処理装置。
（１１）
前記位置関係は、前記他のオブジェクトと前記所定のオブジェクトとの間の距離である
（１）乃至（１０）の何れか一項に記載の情報処理装置。
（１２）
前記ゲイン決定部は、前記所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記位置関係とに基づいて前記減衰量を決定する
（１）乃至（１１）の何れか一項に記載の情報処理装置。
（１３）
前記所定のオブジェクトの信号は、オーディオ信号である
（１）乃至（１１）の何れか一項に記載の情報処理装置。
（１４）
情報処理装置が、
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
情報処理方法。
（１５）
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
ステップを含む処理をコンピュータに実行させるプログラム。
１１ 信号処理装置， ２１ デコード処理部， ２２ 座標変換処理部， ２３ オブジェクト減衰処理部， ２４ レンダリング処理部

Claims (15)

  1. 所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える
    情報処理装置。
  2. 前記他のオブジェクトは、前記所定のオブジェクトよりもユーザ位置側にある
    請求項１に記載の情報処理装置。
  3. 前記他のオブジェクトは、ユーザ位置と前記所定のオブジェクトとを結ぶ直線から所定の距離の範囲内に位置している
    請求項１に記載の情報処理装置。
  4. 前記範囲は前記他のオブジェクトの大きさにより定まる
    請求項３に記載の情報処理装置。
  5. 前記所定の距離は、前記他のオブジェクトの中心から前記他のオブジェクトにおける前記直線側の端までの距離である
    請求項３に記載の情報処理装置。
  6. 前記位置関係は、前記他のオブジェクトの大きさに依存する位置関係である
    請求項３に記載の情報処理装置。
  7. 前記位置関係は、前記他のオブジェクトの中心の前記直線からのずれ量である
    請求項６に記載の情報処理装置。
  8. 前記位置関係は、前記他のオブジェクトの中心から前記直線までの距離と、前記他のオブジェクトの中心から前記他のオブジェクトの前記直線側の端までの距離との比である
    請求項６に記載の情報処理装置。
  9. 前記ゲイン決定部は、前記位置関係と、前記他のオブジェクトの減衰情報とに基づいて前記減衰量を決定する
    請求項１に記載の情報処理装置。
  10. 前記減衰情報は、前記他のオブジェクトにおける、前記位置関係に応じた前記信号の減衰量を得るための情報である
    請求項９に記載の情報処理装置。
  11. 前記位置関係は、前記他のオブジェクトと前記所定のオブジェクトとの間の距離である
    請求項１に記載の情報処理装置。
  12. 前記ゲイン決定部は、前記所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記位置関係とに基づいて前記減衰量を決定する
    請求項１に記載の情報処理装置。
  13. 前記所定のオブジェクトの信号は、オーディオ信号である
    請求項１に記載の情報処理装置。
  14. 情報処理装置が、
    所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
    情報処理方法。
  15. 所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2020513170A 2018-04-09 2019-03-26 情報処理装置および方法、並びにプログラム Active JP7347412B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023144759A JP2023164970A (ja) 2018-04-09 2023-09-06 情報処理装置および方法、並びにプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018074616 2018-04-09
JP2018074616 2018-04-09
PCT/JP2019/012723 WO2019198486A1 (ja) 2018-04-09 2019-03-26 情報処理装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023144759A Division JP2023164970A (ja) 2018-04-09 2023-09-06 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2019198486A1 true JPWO2019198486A1 (ja) 2021-04-22
JP7347412B2 JP7347412B2 (ja) 2023-09-20

Family

ID=68163347

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020513170A Active JP7347412B2 (ja) 2018-04-09 2019-03-26 情報処理装置および方法、並びにプログラム
JP2023144759A Pending JP2023164970A (ja) 2018-04-09 2023-09-06 情報処理装置および方法、並びにプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023144759A Pending JP2023164970A (ja) 2018-04-09 2023-09-06 情報処理装置および方法、並びにプログラム

Country Status (9)

Country Link
US (1) US11337022B2 (ja)
EP (2) EP3780659B1 (ja)
JP (2) JP7347412B2 (ja)
KR (1) KR102643841B1 (ja)
CN (1) CN111937413B (ja)
BR (1) BR112020020279A2 (ja)
RU (1) RU2020132590A (ja)
SG (1) SG11202009081PA (ja)
WO (1) WO2019198486A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230007423A1 (en) 2019-12-17 2023-01-05 Sony Group Corporation Signal processing device, method, and program
JP7457525B2 (ja) * 2020-02-21 2024-03-28 日本放送協会 受信装置、コンテンツ伝送システム、及びプログラム
WO2022179701A1 (en) * 2021-02-26 2022-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering audio objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236833A (ja) * 2006-03-13 2007-09-20 Konami Digital Entertainment:Kk ゲーム音出力装置、ゲーム音制御方法、および、プログラム
JP2013102842A (ja) * 2011-11-11 2013-05-30 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2014090293A (ja) * 2012-10-30 2014-05-15 Fujitsu Ltd 情報処理装置、音像定位強調方法、及び音像定位強調プログラム
JP2017192103A (ja) * 2016-04-15 2017-10-19 日本電信電話株式会社 音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188769B1 (en) * 1998-11-13 2001-02-13 Creative Technology Ltd. Environmental reverberation processor
US20080240448A1 (en) * 2006-10-05 2008-10-02 Telefonaktiebolaget L M Ericsson (Publ) Simulation of Acoustic Obstruction and Occlusion
JP5672741B2 (ja) * 2010-03-31 2015-02-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5923994B2 (ja) * 2012-01-23 2016-05-25 富士通株式会社 音声処理装置及び音声処理方法
EP3209034A1 (en) * 2016-02-19 2017-08-23 Nokia Technologies Oy Controlling audio rendering
CN106686520B (zh) * 2017-01-03 2019-04-02 南京地平线机器人技术有限公司 能跟踪用户的多声道音响系统和包括其的设备
CA3090281A1 (en) * 2018-02-15 2019-08-22 Magic Leap, Inc. Dual listener positions for mixed reality
GB2575511A (en) * 2018-07-13 2020-01-15 Nokia Technologies Oy Spatial audio Augmentation
WO2020030303A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method for providing loudspeaker signals
US10645522B1 (en) * 2019-05-31 2020-05-05 Verizon Patent And Licensing Inc. Methods and systems for generating frequency-accurate acoustics for an extended reality world

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236833A (ja) * 2006-03-13 2007-09-20 Konami Digital Entertainment:Kk ゲーム音出力装置、ゲーム音制御方法、および、プログラム
JP2013102842A (ja) * 2011-11-11 2013-05-30 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2014090293A (ja) * 2012-10-30 2014-05-15 Fujitsu Ltd 情報処理装置、音像定位強調方法、及び音像定位強調プログラム
JP2017192103A (ja) * 2016-04-15 2017-10-19 日本電信電話株式会社 音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2023164970A (ja) 2023-11-14
EP3780659A1 (en) 2021-02-17
CN111937413A (zh) 2020-11-13
EP4258260A2 (en) 2023-10-11
JP7347412B2 (ja) 2023-09-20
KR102643841B9 (ko) 2024-04-16
EP3780659B1 (en) 2023-06-28
CN111937413B (zh) 2022-12-06
KR20200139149A (ko) 2020-12-11
US20210152968A1 (en) 2021-05-20
BR112020020279A2 (pt) 2021-01-12
EP3780659A4 (en) 2021-05-19
EP4258260A3 (en) 2023-12-13
SG11202009081PA (en) 2020-10-29
RU2020132590A (ru) 2022-04-04
US11337022B2 (en) 2022-05-17
KR102643841B1 (ko) 2024-03-07
WO2019198486A1 (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
EP2954702B1 (en) Mapping virtual speakers to physical speakers
KR102561608B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
KR102615550B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
US11277707B2 (en) Spatial audio signal manipulation
WO2018008395A1 (ja) 音場形成装置および方法、並びにプログラム
JP2023164970A (ja) 情報処理装置および方法、並びにプログラム
US20190007783A1 (en) Audio processing device and method and program
US11122386B2 (en) Audio rendering for low frequency effects
KR20210007122A (ko) 오디오 신호 처리 방법 및 장치
KR20210004250A (ko) 오디오 신호 처리 방법 및 장치
CN114128312B (zh) 用于低频效果的音频渲染
KR20240054885A (ko) 오디오 렌더링 방법 및 이를 수행하는 전자 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R151 Written notification of patent or utility model registration

Ref document number: 7347412

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151