JP7107036B2 - スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム - Google Patents

スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム Download PDF

Info

Publication number
JP7107036B2
JP7107036B2 JP2018128159A JP2018128159A JP7107036B2 JP 7107036 B2 JP7107036 B2 JP 7107036B2 JP 2018128159 A JP2018128159 A JP 2018128159A JP 2018128159 A JP2018128159 A JP 2018128159A JP 7107036 B2 JP7107036 B2 JP 7107036B2
Authority
JP
Japan
Prior art keywords
speaker
sound
similarity
reproduced sound
reproduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018128159A
Other languages
English (en)
Other versions
JP2020010132A (ja
Inventor
篤志 臼井
浩太郎 中林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2018128159A priority Critical patent/JP7107036B2/ja
Priority to US16/502,782 priority patent/US11102571B2/en
Publication of JP2020010132A publication Critical patent/JP2020010132A/ja
Application granted granted Critical
Publication of JP7107036B2 publication Critical patent/JP7107036B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/227Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only  using transducers reproducing the same frequency band
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002Loudspeaker arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024Positioning of loudspeaker enclosures for spatial sound reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former

Description

本開示はスピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラムに関する。
下記特許文献1には、複数のスピーカを備えるマルチチャンネル再生システムが開示されている。この特許文献1におけるマルチチャンネル再生システムは、インパルス性の測定音を複数のスピーカから一つずつ順に出力させ、出力される音を複数の位置で収音することにより、それら複数のスピーカの位置を判定している。スピーカの位置が判れば、各スピーカに再生音のチャンネルを正しく割当てることができる。
国際公開第2008/126161号
しかし、上記従来構成においては、スピーカの位置を判定するため、相対的位置が既知である複数の位置で該スピーカから出力される音を収音する必要があり、収音装置の構造が複雑化する問題がある。
本開示は、上記背景に鑑みてなされたものであり、その目的は、簡易な収音装置の構造でスピーカの位置を判定することである。
本開示に係るスピーカの位置判定方法は、判定対象であるスピーカの位置にある収音装置により収音される、第1のスピーカから出力される第1の再生音と、第2のスピーカから前記第1の再生音と同一タイミングで出力される第2の再生音と、を取得すること、前記第1の再生音の出力タイミングから該第1の再生音の収音タイミングまでのずれ時間を示す第1のずれ時間、前記第2の再生音の出力タイミングから該第2の再生音の収音タイミングまでのずれ時間を示す第2のずれ時間を計算すること、前記第1のずれ時間及び第2のずれ時間に基づいて、前記判定対象であるスピーカの位置を判定すること、を含み、前記取得することは、前記収音装置を用いて前記第1の再生音と前記第2の再生音との混合音を取得することを含み、前記計算することは、前記混合音のデータと前記第1の再生音のデータとの類似性を示す第1の類似度が最大となる、前記混合音のデータの位置を前記第1のずれ時間として計算すること、前記混合音のデータと前記第2の再生音のデータとの類似性を示す第2の類似度が最大となる、前記混合音のデータの位置を前記第2のずれ時間として計算すること、及び、前記第1の再生音のデータと前記第2の再生音のデータとの類似性を示す第3の類似度を算出することを含み、前記判定することは、前記第3の類似度が所定値よりも低い場合に、前記第1の類似度及び前記第2の類似度を算出することを含む。
本開示に係るスピーカの位置判定システムは、判定対象であるスピーカの位置にある収音装置により収音される、第1のスピーカから出力される第1の再生音と、第2のスピーカから前記第1の再生音と同一タイミングで出力される第2の再生音と、を取得する再生音取得部と、前記第1の再生音の出力タイミングから該第1の再生音の収音タイミングまでのずれ時間を示す第1のずれ時間、前記第2の再生音の出力タイミングから該第2の再生音の収音タイミングまでのずれ時間を示す第2のずれ時間を計算する計算部と、前記第1のずれ時間及び第2のずれ時間に基づいて、前記判定対象であるスピーカの位置を判定する判定部と、を含み、前記取得部は、前記収音装置を用いて前記第1の再生音と前記第2の再生音との混合音を取得し、前記計算部は、前記混合音のデータと前記第1の再生音のデータとの類似性を示す第1の類似度が最大となる、前記混合音のデータの位置を前記第1のずれ時間として計算し、前記混合音のデータと前記第2の再生音のデータとの類似性を示す第2の類似度が最大となる、前記混合音のデータの位置を前記第2のずれ時間として計算するとともに、前記第1の再生音のデータと前記第2の再生音のデータとの類似性を示す第3の類似度を算出し、前記判定部は、前記第3の類似度が所定値よりも低い場合に、前記第1の類似度及び前記第2の類似度を算出する
本開示に係る音響装置は、判定対象であるスピーカの位置にある収音装置により収音される、第1のスピーカから出力される第1の再生音と、第2のスピーカから前記第1の再生音と同一タイミングで出力される第2の再生音と、を取得する再生音取得部と、前記第1の再生音の出力タイミングから該第1の再生音の収音タイミングまでのずれ時間を示す第1のずれ時間、前記第2の再生音の出力タイミングから該第2の再生音の収音タイミングまでのずれ時間を示す第2のずれ時間を計算する計算部と、前記第1のずれ時間及び第2のずれ時間に基づいて、前記判定対象であるスピーカの位置を判定する判定部と、を含み、前記取得部は、前記収音装置を用いて前記第1の再生音と前記第2の再生音との混合音を取得し、前記計算部は、前記混合音のデータと前記第1の再生音のデータとの類似性を示す第1の類似度が最大となる、前記混合音のデータの位置を前記第1のずれ時間として計算し、前記混合音のデータと前記第2の再生音のデータとの類似性を示す第2の類似度が最大となる、前記混合音のデータの位置を前記第2のずれ時間として計算するとともに、前記第1の再生音のデータと前記第2の再生音のデータとの類似性を示す第3の類似度を算出し、前記判定部は、前記第3の類似度が所定値よりも低い場合に、前記第1の類似度及び前記第2の類似度を算出する
本開示に係るプログラムは、判定対象であるスピーカの位置にある収音装置により収音される、第1のスピーカから出力される第1の再生音と、第2のスピーカから前記第1の再生音と同一タイミングで出力される第2の再生音と、を取得すること、前記第1の再生音の出力タイミングから該第1の再生音の収音タイミングまでのずれ時間を示す第1のずれ時間、前記第2の再生音の出力タイミングから該第2の再生音の収音タイミングまでのずれ時間を示す第2のずれ時間を計算すること、前記第1のずれ時間及び第2のずれ時間に基づいて、前記判定対象であるスピーカの位置を判定すること、をコンピュータに実行させるためのものであって、前記取得することは、前記収音装置を用いて前記第1の再生音と前記第2の再生音との混合音を取得することを含み、前記計算することは、前記混合音のデータと前記第1の再生音のデータとの類似性を示す第1の類似度が最大となる、前記混合音のデータの位置を前記第1のずれ時間として計算すること、前記混合音のデータと前記第2の再生音のデータとの類似性を示す第2の類似度が最大となる、前記混合音のデータの位置を前記第2のずれ時間として計算すること、及び、前記第1の再生音のデータと前記第2の再生音のデータとの類似性を示す第3の類似度を算出することを含み、前記判定することは、前記第3の類似度が所定値よりも低い場合に、前記第1の類似度及び前記第2の類似度を算出することを含む
図1は、部屋におけるスピーカの配置例を示す模式図である。 図2(a)は、フロント・レフトスピーカから出力される音の波形を示す図であり、図2(b)は、フロント・ライトスピーカから出力される音の波形を示す図であり、図2(c)は、マイクで収音される混合音の波形を示す図である。 図3は、音響装置のハードウェア構成例を示す図である。 図4は、音響装置に含まれるCPUを機能的に示すブロック図である。 図5は、スピーカユニットのハードウェア構成例を示す図である。 図6は、音響装置によるスピーカの位置判定処理を示すフロー図である。 図7は、音響装置によるスピーカの位置判定処理の変形例を示すフロー図である。
図1は、本開示に係るスピーカの位置判定システムを備えたAV(Audio & Visual)システムを示す模式図である。このAVシステムは、家庭内のAV視聴スペースに設置されており、AVレシーバなどの音響装置100、及び該音響装置100に接続されたフロント・レフトスピーカFL、フロント・ライトスピーカFR、センタースピーカC、サラウンド・レフトスピーカSL、サラウンド・ライトスピーカSRを含んでいる。音響装置100には、サブウーファなどの他のスピーカがさらに接続されてよい。
図示しない視聴者は、視聴スペースの中央付近に位置しており、その周囲にこれらスピーカが配置されている。ここで、フロント・レフトスピーカFLは視聴者の前方左側に、フロント・ライトスピーカFRは視聴者の前方右側に、センタースピーカCは視聴者の前方中央に、それぞれ配置されている。フロント・レフトスピーカFL、フロント・ライトスピーカFR、及びセンタースピーカCは、別個独立したスピーカであってもよいが、ここでは一体型のスピーカユニットであるサウンドバー300として構成されている。なお、サウンドバー300と音響装置100とは一体的に構成されてもよい。
また、サラウンド・レフトスピーカSLは視聴者の後方左側に、サラウンド・ライトスピーカSRは視聴者の後方右側に、それぞれ配置されている。ここでサラウンド・レフトスピーカSLは、共通ハウジングにマイクMLとともに収容され、スピーカユニット200Lとして一体的に構成されている。同様に、サラウンド・ライトスピーカSRは、共通ハウジングにマイクMRとともに収容され、スピーカユニット200Rとして一体的に構成されている。ここでは、マイクMLをサラウンド・レフトスピーカSLと一体化させたが、もちろんマイクMLはサラウンド・レフトスピーカSLと別体であってもよい。この場合、マイクMLはサラウンド・レフトスピーカSLのすぐ傍に配置される。同様に、マイクMRは、サラウンド・ライトスピーカSRと別体に形成されてよく、その場合、サラウンド・ライトスピーカSRのすぐ傍に配置されてよい。
スピーカユニット200L及び200Rは、例えば各種のスマートスピーカであってよく、視聴者が音響機器100等を音声で操作するのに用いられるものであってよい。ここでは、スピーカユニット200L及び200Rに設けられたマイクML及びMRは、スピーカユニット200L及び200Rの位置判定のため、フロント・レフトスピーカFL及びフロント・ライトスピーカFRから出力される音を収音するのに用いられる。なお、マイクML及びMRは、互いに離間して配置されたフロント・レフトスピーカFL及びフロント・ライトスピーカFRから出力される音を等しく収音するため、全指向性であってよい。
音響装置100は複数チャンネルのそれぞれに対応するスピーカ端子を備えており、上記5つのスピーカのうち、フロント・レフトスピーカFL、フロント・ライトスピーカFR、センタースピーカCは、それぞれ対応するスピーカ端子に接続される。これらのスピーカには、音響装置100から、映像や音楽などの1つのコンテンツに含まれている、それぞれ異なるサウンドチャンネルの音響信号が送られており、それぞれ対応するチャネルの音を出力する。
また、スピーカユニット200L及び200Rは、有線又は無線LANなどのデータ通信により音響装置100と接続される。上述のようにサウンドバー300と音響装置100とが一体的に構成される場合、スピーカユニット200L及び200Rは、有線又は無線LANなどのデータ通信により当該一体化された装置と接続される。スピーカユニット200L及び200Rにも、音響装置100から、映像や音楽などの1つのコンテンツに含まれている、それらに割り当てられたサウンドチャンネルの音響信号のデータが無線送信されており、サラウンド・レフトスピーカSL及びサラウンド・ライトスピーカSRは、それぞれ対応するチャネルの音を出力する。なお、音響装置100は、事前に音響装置100からスピーカユニット200L及び200Rまでの各通信時間を計測しており、計測された通信時間に応じて、スピーカユニット200L及び200R、サウンドバー300における放音タイミングを制御するようにしている。このため、上記5つのスピーカは、1つのコンテンツに含まれる複数チャンネルの音を同期して出力することができる。
本開示において、音響装置100は特に、マイクMLで収録される音のデータ、及び再生コンテンツに含まれるフロント・レフトチャネルFL及びフロント・ライトチャンネルFRの音のデータに基づいて、スピーカユニット200Lの位置を判定する。音響装置100は、同様に、スピーカユニット200Rの位置も判定する。すなわち、音響装置100は、本開示に係るスピーカの位置判定システムを含んでいる。なお、ここではスピーカユニット200L及び200Rの位置判定について説明するが、本開示に係るスピーカの位置判定システム及び方法は同様にして、他のスピーカの位置判定に適用されてよい。
ここで、スピーカユニット200Lの場合を例にして、本開示に係るスピーカ位置判定処理の原理について説明する。スピーカ位置判定処理では、フロント・レフトスピーカFL及びフロント・ライトスピーカFRから、フロント・レフトチャンネルFL及びフロント・ライトチャンネルFRの音を出力する。その他のチャンネルの音は、スピーカ位置判定処理の際、好ましくは出力音量が抑制されるか、若しくは出力されない。
このため、フロント・レフトスピーカFLから出力される音が図2(a)に示す波形を有し、フロント・ライトスピーカFRから同一タイミングで出力される音が同図(b)に示す波形を有する場合、マイクMLにより収音される音は同図(c)に示す波形を有する。すなわち、マイクMLは、フロント・レフトスピーカFLから出力される音と、フロント・ライトスピーカFRから出力される音と、の混合音を収音する(ピックアップする)。
ここで、スピーカユニット200Lが上述のように視聴者の左後ろに正しく配置されている場合には、フロント・レフトスピーカFLとマイクMLまでの距離は、フロント・ライトスピーカFRまでの距離よりも短い。このため、フロント・レフトスピーカFLから出力される音は、フロント・ライトスピーカFRから出力される音より、早くマイクMLまで到達する。このため、同図(c)に示すように、マイクMLで取得される混合音には、フロント・レフトチャンネルFLの音がずれ時間TLで、フロント・ライトチャンネルFRの音がずれ時間TRで、含まれるとしたとき、ずれ時間TLはずれ時間TRより短い。逆に、スピーカユニット200Lが誤って視聴者の右後ろに配置されている場合、ずれ時間TLはずれ時間TRより長くなる。
このずれ時間TLを得るため、本開示に係るスピーカ位置判定処理では、マイクMLによる収音データにおいて、フロント・レフトチャンネルFLの音のデータFLがどのタイミングで含まれているかを検出する。このため、収音データとデータFLとの類似度が最大となる両データのずれを計算する。例えば、データFLと収音データとの相互相関関数(変数τだけずらした2つのデータの畳み込み積分)の最大値を与えるτを、ずれ時間TLとしてよい。同様にして、ずれ時間TRも取得される。そして、ずれ時間TLがずれ時間TRより短ければ、スピーカユニット200Lは視聴者の左後ろに配置されていると判断する。
図3は、音響装置100のハードウェア構成を示す図である。同図に示すように、音響装置100は、バスに接続された音響出力部101、表示部102、操作部103、CPU104、メモリ105及び通信部106を含んでいる。すなわち、音響装置100は、CPU104及びメモリ105を備え、コンピュータとしての機能を有している。
音響出力部101は、CDやDVD、ブルーレイなどのメディアからコンテンツを読み出したり、通信部106を介してコンテンツを受信したりして、こうして取得されるコンテンツを再生する。このとき、音響出力部101は、取得したコンテンツに含まれる複数チャンネルの音データを音信号に変換し、それぞれのチャンネルのスピーカ端子から出力する。また、スピーカユニット200L及び200Rのように、音響装置100とデータ通信する装置に対しては、音響出力部101は各チャンネルの音をデータ化し、そのデータを通信部106により送信する。
表示部102は、LCD(Liquid Crystal Display)やOLED(Organic Light Emitting Diode)などの表示デバイスを含んでおり、CPU104からの指示に従って各種情報を表示する。操作部103は、物理キーやタッチパネルを含んで構成され、視聴者が音響装置100を操作するのに用いられる。
CPU104は、内蔵プログラムに従って、音響装置100の各部を制御する。特に、CPU104は、この内蔵プログラムに従って、上述のスピーカ位置判定処理を行う。メモリ105は内蔵プログラムを記憶したり、CPU104の作業領域が確保されたりする。通信部106は、有線LANや無線LANなどの通信モジュールを含んで構成されており、スピーカユニット200L及び200Rと通信したり、インターネットを介してコンテンツなどのデータを受信したりするのに用いられる。内蔵プログラムは、例えば通信部106を用いてインターネットからダウンロードされてもよいし、半導体メモリなどの外部記憶媒体からインストールされてもよい。
図4は、音響装置100に含まれるCPU104を機能的に示すブロック図である。同図には、CPU104で実現される各種機能のうち、スピーカの位置判定処理に係るものだけが示されている。同図に示された機能は、メモリ105に記憶された内蔵プログラムをCPU104が実行することにより実現される。
再生音取得部104aは、判定対象であるサラウンド・レフトスピーカSLやサラウンド・ライトスピーカSRの位置にあるマイクMLやマイクMRにより収音される、フロント・レフトスピーカFLから出力されるコンテンツの再生音と、フロント・ライトスピーカFRから出力されるコンテンツ再生音と、を、通信部106を用いてスピーカユニット200Lやスピーカユニット200Rから取得する。
なお、再生音取得部104aは、マイクMLやマイクMRでの収音中、スピーカユニット200Lやスピーカユニット200Rからの放音を制限するよう、音響出力部101にそれらに対応するチャンネルのミュートを指示してもよい。同様に、再生音取得部104aは、マイクMLやマイクMRでの収音中、センタースピーカCからの放音を制限するよう、l音響出力部101にセンターチャンネルのミュートを指示してもよい。こうすれば、マイクMLやマイクMRで、フロント・レフトチャンネルFLやフロント・ライトチャンネルFRの音以外の音が入らないようにでき、判定精度を向上できる。
計算部104bは、フロント・レフトスピーカFLでの再生音の出力タイミングから、マイクMLやマイクMRでの該再生音の収音タイミングまでのずれ時間TLを計算する。また、フロント・ライトスピーカFRでの再生音の出力タイミングから、マイクMLやマイクMRでの該再生音の収音タイミングまでのずれ時間TRを計算する。具体的には、計算部104bは、マイクMLやマイクMRで取得される混合音のデータと、フロント・レフトチャンネルFLの再生音のデータと、の相互相関関数の最大値に対応するずれ時間TLを計算する。また、計算部104bは、マイクMLやマイクMRで取得される混合音のデータと、フロント・ライトチャンネルFRの再生音のデータと、の相互相関関数の最大値に対応するずれ時間TRを計算する。
判定部104cは、ずれ時間TL及びTRに基づいて、スピーカユニット200L及び200Rの位置を判定する。例えば、判定部104cは、マイクMLで取得される収音データから計算されるずれ時間TLとずれ時間TRとを比較し、ずれ時間TLがずれ時間TRより短ければ、スピーカユニット200Lはフロント・ライトスピーカFRよりフロント・レフトスピーカFLに近く、視聴者の左後ろにあると判定する。
切替部104dは、スピーカユニット200Lや200Rの位置に応じて、サラウンド・レフトスピーカSLから出力される音と、サラウンド・ライトスピーカSRから出力される音と、を入れ替える。具体的には、判定部104cにより、スピーカユニット200Lが視聴者の右後ろにあり、且つスピーカユニット200Rが視聴者の左後ろにあると判定されると、サラウンド・レフトスピーカSLにサラウンド・ライトチャンネルSRを割当て、サラウンド・ライトスピーカSRにサラウンド・レフトチャンネルSLを割当てる。こうすれば、ユーザがスピーカユニット200Lや200Rの設置位置を変更することや、ユーザがスピーカユニット200Lや200Rから出力されるチャンネルの設定を変更することなく、適正な音場を実現することができる。
図5は、スピーカユニット200L及び200Rのハードウェア構成を示す図である。スピーカユニット200L及び200Rは同一のハードウェア構成を有しており、バスに接続された収音部201、放音部202、CPU203、メモリ204及び通信部205を含んでいる。すなわち、スピーカユニット200L及び200Rは、CPU203及びメモリ204を備え、コンピュータとしての機能を有している。
CPU203は、内蔵プログラムに従って、スピーカユニット200Lや200Rの各部を制御する。メモリ204は内蔵プログラムを記憶したり、CPU203の作業領域が確保されたりする。通信部205は、有線LANや無線LANなどの通信モジュールを含んで構成されており、音響装置100と通信したり、インターネットを介してコンテンツなどのデータを受信したりするのに用いられる。内蔵プログラムは、例えば通信部205を用いてインターネットからダウンロードされてもよいし、半導体メモリなどの外部記憶媒体からインストールされてもよい。
収音部201は、ADコンバータ201a及びマイクML(MR)を含んでいる。マイクMLやマイクMRで取得される混合音のアナログ電気信号は、ADコンバータ201aによりデジタルデータ化され、バスを介してCPU203に渡される。そして、この混合音のデータは通信部205により音響装置100に送信される。
放音部202は、サラウンド・レフトスピーカSL(サラウンド・ライトスピーカSR)、アンプ202a及びDAコンバータ202bを含んでいる。通信部205により音響装置100から受信した音データは、DAコンバータ202bによりアナログ電気信号に変換されると、アンプ202aにより増幅される。そして、増幅された各チャンネルの音がスピーカSL(SR)から出力される。
図6は、音響装置100によるスピーカの位置判定処理を示すフロー図である。同図に示す処理は、音響装置100の内蔵プログラムに従って実行されるものである。この位置判定処理では、まず音響装置100が音響出力部101によりコンテンツの再生を開始する(S101)。このとき、フロント・レフトスピーカFL及びフロント・ライトスピーカFRのみ放音し、その他のスピーカは放音しないようにしてよい。次に、音響装置100の計算部104bは、フロント・レフトチャンネルFLの音データFL、及びフロント・ライトチャンネルFRの音データFRをコンテンツのデータから抽出する(S102)。また、音響装置100はスピーカユニット200L及び200Rに収音を指示するコマンドを送信する(S103)。スピーカユニット200L及び200Rは、通信部205によりこのコマンドを受信し、マイクML及びマイクMRにより収音を開始する。そして、スピーカユニット200L及び200Rは、それぞれ収音データを音響装置100に送信する。音響装置100はスピーカユニット200Lから送信される収音データLを受信するとともに、スピーカユニット200Rから送信される収音データRを受信する(S104)。こうして、再生音取得部104aがマイクML及びMRを用いて取得した収音データL及びRを取得する。
音データFLと音データFRとは同じタイミングのデータである。そして、スピーカユニット200Lから受信した収音データLと音データFLとの相互相関関数が最大となる変数τをずれ時間TL-Lとして算出する。さらに、スピーカユニット200Lから受信した収音データLと音データFRとの相互相関関数が最大となる変数τをずれ時間TR-Lとして算出する(S105)。
同様に、スピーカユニット200Rから受信した収音データRと音データFLとの相互相関関数が最大となる変数τをずれ時間TL-Rとして算出する。さらに、スピーカユニット200Rから受信した収音データRと音データFRとの相互相関関数が最大となる変数τをずれ時間TR-Rとして算出する(S106)。
判定部104cは、ずれ時間TL-Lがずれ時間TR-Lより小さく、かつずれ時間TL-Rがずれ時間TR-Rより大きいという第1条件を満足するかを判断する(S107)。第1条件を充足していれば、スピーカユニット200Lにサラウンド・レフトチャンネルSLが割当てられ、且つスピーカユニット200Rにサラウンド・ライトチャンネルSRが割当てられた状態を維持し、処理を終了する。
一方、第1条件を充足していなければ、次に判定部104cは、ずれ時間TL-Lがずれ時間TR-Lより大きく、かつずれ時間TL-Rがずれ時間TR-Rより小さいという第2条件を満足するかを判断する(S108)。第2条件を充足していれば、切替部104dは、スピーカユニット200Lにサラウンド・ライトチャンネルSRを割当て、且つスピーカユニット200Rにサラウンド・レフトチャンネルSLを割当て(S109)、処理を終了する。第2条件も充足していなければ、判定部104cは、例えば表示部102に「サラウンドスピーカの配置を確認してください。」などのエラーメッセージを表示し(S110)、処理を終了する。
以上の処理によれば、複雑な構成のマイクを用いなくても、サラウンドスピーカの位置を判定できる。特に、スピーカユニット200L及び200Rとして、スマートスピーカを用いる場合には、既存のマイクを利用して、それらスマートスピーカの位置を判定することができる。
なお、ここでは音楽や映像のコンテンツを用いてスピーカの位置を判定したが、特定のパルス音をフロント・レフトスピーカFL及びフロント・ライトスピーカFRから順に放音し、それらがマイクML及びMRで収音されるまでの時間を計測して、ずれ時間TL-L,TR-L,TL-R,TR-Rとしてもよい。
また、音楽や映像のコンテンツを用いてスピーカの位置を判定する場合には、フロント・レフトスピーカFL及びフロント・ライトスピーカFRから出力される音が相互に類似しない方が、ずれ時間の検出精度が高くになる。そこで、フロント・レフトチャンネルFLとフロント・ライトチャンネルFRとで、チャンネル間の相関値が閾値より低い区間を特定し、その区間にスピーカの位置判定を行うようにしてよい。
図7は、音響装置100によるスピーカの接続状態処理の変形例を示すフロー図である。同図において、S200乃至S201、及びS207乃至S210の処理は、図6に示すフロー図の対応する処理と同様であるので、ここでは説明を省略する。
この変形例においては、計算部104bが、S201で読みだされる、再生コンテンツに含まれる音データFL及びFRを用いて、相互相関値(ずれ時間を零とした、ふたつの音データの畳み込み積分値)が閾値未満となる、一定の長さの区間を特定する(S202)。そして、その区間及びそれに続く短時間の区間において、フロント・レフトスピーカFL及びフロント・ライトスピーカFRからの音を収音するよう、スピーカユニット200L及び200Rにコマンドを送信する(S203)。
これに応じて、スピーカユニット200L及び200Rは、コマンドで指定された区間において、マイクML及びMRをそれぞれ用いて、フロント・レフトスピーカFL及びフロント・ライトスピーカFRからの再生音の混合音を収音する。そして、収音データを音響装置100に送信する。
音響装置100では、再生音取得部104aがマイクML及びMRを用いて取得した収音データL及びRを取得する(S204)。次に、音響装置100の計算部104bは、収音データLと、S202で特定された区間の音データFLとを用いてずれ時間TL-Lを算出する。さらに、スピーカユニット200Lから受信した収音データLと、S202で特定された区間の音データFRとを用いてずれ時間TR-Lを算出する(S205)。計算部104bは、同様にして、スピーカユニット200Rについて、ずれ時間TL-R及びTR-Rを算出する(S206)。以上の処理によれば、音楽や映像の任意のコンテンツを用いてスピーカの位置判定を行う場合に、その判定精度を向上できる。
なお、以上の説明では、図4に示す各機能が音響装置100で実装される例について説明したが、その一部又は全部を他の装置で実装されてもよい。例えば、スマートフォンやタブレットなどの可搬型コンピュータにおいて図4に示す機能の一部又は全部が実装されてよい。また、一部の機能はインターネット上のサーバコンピュータ(例えばクラウドサーバ)で実装されてもよい。
100 音響装置、101 音響出力部、102 表示部、103 操作部、104,203 CPU、105,204 メモリ、106,205 通信部、200L,200R スピーカユニット、201 収音部、202 放音部、300 サウンドバー。

Claims (16)

  1. 判定対象であるスピーカの位置にある収音装置により収音される、第1のスピーカから出力される第1の再生音と、第2のスピーカから前記第1の再生音と同一タイミングで出力される第2の再生音と、を取得すること、
    前記第1の再生音の出力タイミングから該第1の再生音の収音タイミングまでのずれ時間を示す第1のずれ時間、前記第2の再生音の出力タイミングから該第2の再生音の収音タイミングまでのずれ時間を示す第2のずれ時間を計算すること、
    前記第1のずれ時間及び第2のずれ時間に基づいて、前記判定対象であるスピーカの位置を判定すること、
    を含み、
    前記取得することは、
    前記収音装置を用いて前記第1の再生音と前記第2の再生音との混合音を取得することを含み、
    前記計算することは、
    前記混合音のデータと前記第1の再生音のデータとの類似性を示す第1の類似度が最大となる、前記混合音のデータの位置を前記第1のずれ時間として計算すること、
    前記混合音のデータと前記第2の再生音のデータとの類似性を示す第2の類似度が最大となる、前記混合音のデータの位置を前記第2のずれ時間として計算すること、及び、
    前記第1の再生音のデータと前記第2の再生音のデータとの類似性を示す第3の類似度を算出することを含み、
    前記判定することは、
    前記第3の類似度が所定値よりも低い場合に、前記第1の類似度及び前記第2の類似度を算出することを含む、
    スピーカの位置判定方法。
  2. 請求項1に記載のスピーカの位置判定方法において、
    前記第1及び第2の再生音は、それぞれ、音楽コンテンツ又は映像コンテンツに含まれる、同一タイミングで出力される複数のチャンネルの音のいずれかである、
    スピーカの位置判定方法。
  3. 請求項1又は2に記載のスピーカの位置判定方法において、
    前記収音装置と前記判定対象であるスピーカとは一体的に設けられる、
    スピーカの位置判定方法。
  4. 請求項1乃至のいずれかに記載のスピーカの位置判定方法において、
    前記収音装置による収音中、前記判定対象であるスピーカからの放音を制限する、
    スピーカの位置判定方法。
  5. 請求項1乃至のいずれかに記載のスピーカの位置判定方法において、
    前記第1のスピーカと前記第2のスピーカとは一体的に設けられる、
    スピーカの位置判定方法。
  6. 請求項1乃至のいずれかに記載のスピーカの位置判定方法において、
    前記判定することは、前記第1のずれ時間と前記第2のずれ時間とを比較し、比較結果に基づいて、前記判定対象であるスピーカの位置を判定することを含む、
    スピーカの位置判定方法。
  7. 請求項に記載のスピーカの位置判定方法において、
    前記判定することは、前記第1のずれ時間が前記第2のずれ時間より小さい場合に、前記判定対象であるスピーカの位置は前記第2のスピーカより前記第1のスピーカに近いと判定することを含む、
    スピーカの位置判定方法。
  8. 判定対象であるスピーカの位置にある収音装置により収音される、第1のスピーカから出力される第1の再生音と、第2のスピーカから前記第1の再生音と同一タイミングで出力される第2の再生音と、を取得する再生音取得部と、
    前記第1の再生音の出力タイミングから該第1の再生音の収音タイミングまでのずれ時間を示す第1のずれ時間、前記第2の再生音の出力タイミングから該第2の再生音の収音タイミングまでのずれ時間を示す第2のずれ時間を計算する計算部と、
    前記第1のずれ時間及び第2のずれ時間に基づいて、前記判定対象であるスピーカの位置を判定する判定部と、
    を含み、
    前記取得部は、前記収音装置を用いて前記第1の再生音と前記第2の再生音との混合音を取得し、
    前記計算部は、前記混合音のデータと前記第1の再生音のデータとの類似性を示す第1の類似度が最大となる、前記混合音のデータの位置を前記第1のずれ時間として計算し、前記混合音のデータと前記第2の再生音のデータとの類似性を示す第2の類似度が最大となる、前記混合音のデータの位置を前記第2のずれ時間として計算するとともに、前記第1の再生音のデータと前記第2の再生音のデータとの類似性を示す第3の類似度を算出し、
    前記判定部は、前記第3の類似度が所定値よりも低い場合に、前記第1の類似度及び前記第2の類似度を算出する、
    スピーカの位置判定システム。
  9. 請求項に記載のスピーカの位置判定システムにおいて、
    前記第1及び第2の再生音は、それぞれ、音楽コンテンツ又は映像コンテンツに含まれる、同一タイミングで出力される複数のチャンネルの音のいずれかである、
    スピーカの位置判定システム。
  10. 請求項8又は9に記載のスピーカの位置判定システムにおいて、
    前記判定対象であるスピーカと一体的に設けられる前記収音装置をさらに含む、
    スピーカの位置判定システム。
  11. 請求項乃至10のいずれかに記載のスピーカの位置判定システムにおいて、
    前記収音装置による収音中、前記判定対象であるスピーカからの放音を制限する、
    スピーカの位置判定システム。
  12. 請求項乃至11のいずれかに記載のスピーカの位置判定システムにおいて、
    前記第1のスピーカと前記第2のスピーカとを一体的に含むスピーカユニットを含む、
    スピーカの位置判定システム。
  13. 請求項乃至12のいずれかに記載のスピーカの位置判定システムにおいて、
    前記判定部は、前記第1のずれ時間と前記第2のずれ時間とを比較し、比較結果に基づいて、前記判定対象であるスピーカの位置を判定する、
    スピーカの位置判定システム。
  14. 請求項13に記載のスピーカの位置判定システムにおいて、
    前記判定部は、前記第1のずれ時間が前記第2のずれ時間より小さい場合に、前記判定対象であるスピーカの位置は前記第2のスピーカより前記第1のスピーカに近いと判定する、
    スピーカの位置判定システム。
  15. 判定対象であるスピーカの位置にある収音装置により収音される、第1のスピーカから出力される第1の再生音と、第2のスピーカから前記第1の再生音と同一タイミングで出力される第2の再生音と、を取得する再生音取得部と、
    前記第1の再生音の出力タイミングから該第1の再生音の収音タイミングまでのずれ時間を示す第1のずれ時間、前記第2の再生音の出力タイミングから該第2の再生音の収音タイミングまでのずれ時間を示す第2のずれ時間を計算する計算部と、
    前記第1のずれ時間及び第2のずれ時間に基づいて、前記判定対象であるスピーカの位置を判定する判定部と、
    を含み、
    前記取得部は、前記収音装置を用いて前記第1の再生音と前記第2の再生音との混合音を取得し、
    前記計算部は、前記混合音のデータと前記第1の再生音のデータとの類似性を示す第1の類似度が最大となる、前記混合音のデータの位置を前記第1のずれ時間として計算し、前記混合音のデータと前記第2の再生音のデータとの類似性を示す第2の類似度が最大となる、前記混合音のデータの位置を前記第2のずれ時間として計算するとともに、前記第1の再生音のデータと前記第2の再生音のデータとの類似性を示す第3の類似度を算出し、
    前記判定部は、前記第3の類似度が所定値よりも低い場合に、前記第1の類似度及び前記第2の類似度を算出する、
    音響装置。
  16. 判定対象であるスピーカの位置にある収音装置により収音される、第1のスピーカから出力される第1の再生音と、第2のスピーカから前記第1の再生音と同一タイミングで出力される第2の再生音と、を取得すること、
    前記第1の再生音の出力タイミングから該第1の再生音の収音タイミングまでのずれ時間を示す第1のずれ時間、前記第2の再生音の出力タイミングから該第2の再生音の収音タイミングまでのずれ時間を示す第2のずれ時間を計算すること、
    前記第1のずれ時間及び第2のずれ時間に基づいて、前記判定対象であるスピーカの位置を判定すること、
    をコンピュータに実行させるためのプログラムであって、
    前記取得することは、
    前記収音装置を用いて前記第1の再生音と前記第2の再生音との混合音を取得することを含み、
    前記計算することは、
    前記混合音のデータと前記第1の再生音のデータとの類似性を示す第1の類似度が最大となる、前記混合音のデータの位置を前記第1のずれ時間として計算すること、
    前記混合音のデータと前記第2の再生音のデータとの類似性を示す第2の類似度が最大となる、前記混合音のデータの位置を前記第2のずれ時間として計算すること、及び、
    前記第1の再生音のデータと前記第2の再生音のデータとの類似性を示す第3の類似度を算出することを含み、
    前記判定することは、
    前記第3の類似度が所定値よりも低い場合に、前記第1の類似度及び前記第2の類似度を算出することを含む、プログラム
JP2018128159A 2018-07-05 2018-07-05 スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム Active JP7107036B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018128159A JP7107036B2 (ja) 2018-07-05 2018-07-05 スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム
US16/502,782 US11102571B2 (en) 2018-07-05 2019-07-03 Speaker position determination method, speaker position determination system, and audio apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018128159A JP7107036B2 (ja) 2018-07-05 2018-07-05 スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020010132A JP2020010132A (ja) 2020-01-16
JP7107036B2 true JP7107036B2 (ja) 2022-07-27

Family

ID=69102411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018128159A Active JP7107036B2 (ja) 2018-07-05 2018-07-05 スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム

Country Status (2)

Country Link
US (1) US11102571B2 (ja)
JP (1) JP7107036B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036113A (ja) * 2018-08-28 2020-03-05 シャープ株式会社 音響システム
KR20210008779A (ko) * 2019-07-15 2021-01-25 엘지전자 주식회사 스피커를 포함하는 복수의 전자기기들에 다채널 서라운드 오디오 신호를 제공하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236502A (ja) 2004-02-18 2005-09-02 Yamaha Corp 音響再生装置
JP2013148576A (ja) 2012-01-20 2013-08-01 Fuji Xerox Co Ltd 変調された背景音を利用して位置特定を行う携帯装置、コンピュータプログラム、および方法
US20150016642A1 (en) 2013-07-15 2015-01-15 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
JP2016517679A (ja) 2013-03-19 2016-06-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. マイクロフォンの位置を決定するための方法及び機器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP702498A0 (en) * 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART77)
KR100905966B1 (ko) * 2002-12-31 2009-07-06 엘지전자 주식회사 홈시어터의 오디오 출력 조정 장치 및 그 방법
US20060083391A1 (en) * 2004-10-20 2006-04-20 Ikuoh Nishida Multichannel sound reproduction apparatus and multichannel sound adjustment method
CN101194536B (zh) * 2005-06-09 2012-11-14 皇家飞利浦电子股份有限公司 用于确定扬声器之间距离的方法和系统
WO2008126161A1 (ja) 2007-03-06 2008-10-23 Pioneer Corporation マルチチャンネル再生システムのチャンネル割り当て装置及び方法
US8199941B2 (en) * 2008-06-23 2012-06-12 Summit Semiconductor Llc Method of identifying speakers in a home theater system
JP5572701B2 (ja) * 2009-06-03 2014-08-13 コーニンクレッカ フィリップス エヌ ヴェ ラウドスピーカの位置の推定
US9668072B2 (en) * 2009-07-11 2017-05-30 Steven W. Hutt Loudspeaker rectification method
US20120113224A1 (en) * 2010-11-09 2012-05-10 Andy Nguyen Determining Loudspeaker Layout Using Visual Markers
US9538309B2 (en) * 2015-02-24 2017-01-03 Bang & Olufsen A/S Real-time loudspeaker distance estimation with stereo audio
US9794692B2 (en) * 2015-04-30 2017-10-17 International Business Machines Corporation Multi-channel speaker output orientation detection
US9826332B2 (en) * 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
JP2018170539A (ja) * 2017-03-29 2018-11-01 ソニー株式会社 スピーカ装置、オーディオデータ供給装置及びオーディオデータ再生システム
US10523171B2 (en) * 2018-02-06 2019-12-31 Sony Interactive Entertainment Inc. Method for dynamic sound equalization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236502A (ja) 2004-02-18 2005-09-02 Yamaha Corp 音響再生装置
JP2013148576A (ja) 2012-01-20 2013-08-01 Fuji Xerox Co Ltd 変調された背景音を利用して位置特定を行う携帯装置、コンピュータプログラム、および方法
JP2016517679A (ja) 2013-03-19 2016-06-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. マイクロフォンの位置を決定するための方法及び機器
US20150016642A1 (en) 2013-07-15 2015-01-15 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation

Also Published As

Publication number Publication date
US20200015002A1 (en) 2020-01-09
US11102571B2 (en) 2021-08-24
JP2020010132A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
KR101150326B1 (ko) 재생장치 및 재생시스템
JP5973465B2 (ja) オーディオ処理デバイス
CN105812991B (zh) 音频信号处理设备
US20220393658A1 (en) Audio calibration of a portable playback device
KR102081336B1 (ko) 오디오 시스템, 오디오 장치 및 오디오 장치의 채널 맵핑 방법
CN112188368A (zh) 定向增强声音的方法及系统
US7155017B2 (en) System and method for controlling audio signals for playback
WO2020056163A1 (en) Networked devices, systems, & methods for associating playback devices based on sound codes
JP7107036B2 (ja) スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム
JP2022081381A (ja) オーディオ再生方法及び装置、電子機器並びに記憶媒体
WO2016080536A1 (ja) コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
US20220312136A1 (en) Reproduction device, reproduction system, and reproduction method
JP2006148880A (ja) マルチチャネル音声再生装置、およびマルチチャネル音声調整方法
JP5626586B2 (ja) 遅延測定装置、遅延測定方法およびコンピュータプログラム
EP3350790B1 (en) System and method for determining proximity of a controller to a media rendering device
US20040213411A1 (en) Audio data processing device, audio data processing method, its program and recording medium storing the program
JP5489537B2 (ja) 音響再生システム、音響再生装置、及びそれらの制御方法
JP7000926B2 (ja) スピーカの接続状態判定システム、音響装置及びスピーカの接続状態判定方法
WO2009125466A1 (ja) コンテンツ再生システム及びコンテンツ再生方法
US20230362570A1 (en) Playback Device Self-Calibration Using PCA-Based Room Response Estimation
US8155351B2 (en) Sound signal output device and program for controlling sound output
WO2023056280A1 (en) Noise reduction using synthetic audio
CN202334864U (zh) 人脸辨识喇叭装置
JP2008233920A (ja) 音響再生装置及び音響再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R151 Written notification of patent or utility model registration

Ref document number: 7107036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151