JP7310939B2 - 評価方法、評価装置、およびプログラム - Google Patents
評価方法、評価装置、およびプログラム Download PDFInfo
- Publication number
- JP7310939B2 JP7310939B2 JP2021574356A JP2021574356A JP7310939B2 JP 7310939 B2 JP7310939 B2 JP 7310939B2 JP 2021574356 A JP2021574356 A JP 2021574356A JP 2021574356 A JP2021574356 A JP 2021574356A JP 7310939 B2 JP7310939 B2 JP 7310939B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- acoustic
- speaker
- evaluation value
- seat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Quality & Reliability (AREA)
- Telephone Function (AREA)
Description
まず、拡声系通信システムでの音響品質評価試験を概念的に説明する。この音響品質評価試験では、近端話者と遠端話者とが拡声系通信システムを通じて会話を行い、近端話者側に位置する評価者が当該拡声系通信システムの品質評価を行う。なお、拡声系通信システムとは、マイクロホンとスピーカとを備えた端末装置間で音響信号を送受信する通信システムであって、端末装置のスピーカから出力された音の少なくとも一部がその端末装置のマイクロホンで受音されるもの(音の回り込みが生じるもの)をいう。拡声系通信システムの一例は、音声会議システムやテレビ会議システム、そしてインカーコミュニケーションである。
〔参考文献2〕阪内澄宇,羽田陽一,田中雅史,佐々木潤子,片岡章俊,“雑音抑圧及びエコー抑圧機能を備えた音響エコーキャンセラ”,電子情報通信学会論文誌,Vol.J87-A,No.4,pp.448-457,2004年4月
会話試験による主観評価は以下のように行う。評価者は、近端話者側のスピーカから出力される音響信号を受聴し、予め定めた所定数の段階に分類された評価カテゴリーから近端話者の主観に基づいて最も適合する評価カテゴリーを選択する。例えば、非特許文献1に挙げたITU-T Recommendation P.800では"Excellent", "Good", "Fair", "Poor", "Bad"の5段階の評価カテゴリーに分類し、各評価カテゴリーに順に5,4,3,2,1の評価値を割り当てることが提案されている。この主観評価を、複数の評価者が通話相手を入れ替えながらそれぞれ複数回行い、収集した評価値を集計することで音響品質の評価が行われる。
受聴試験による主観評価は以下のように行う。評価者は、ヘッドフォンやイヤホン等の両耳装着型音響再生装置を用い、遠端話者側での音の回り込みがないと仮定した場合の近端話者側のスピーカから出力される音(すなわち、基準音)を表す音響信号と、遠端話者側での音の回り込みがある場合の近端話者側のスピーカから出力される音(すなわち、評価対象音)を表す音響信号と、を交互に聴き比べ、通話品質を主観評価(オピニオン評価)する。この主観評価を、複数の評価者が基準音を表す音響信号と評価対象音を表す音響信号の複数の組に対して複数回行い、収集した評価値を集計することで音響品質の評価が行われる。
PESQによる客観評価では、上述のように取得した基準音を表す音響信号と評価対象音を表す音響信号の組を入力とし、例えば非特許文献2に記載された算出方法に従ってPESQ値を算出する。非特許文献2に記載された“original signal X(t)”が基準音を表す音響信号に、“degraded signal Y(t)”が評価対象音を表す音響信号に、それぞれ該当する。
ICCは拡声系通信システムの一つの応用であって、自動車内で各座席に座る乗員同士がマイクロホンとスピーカを通じて行う会話をサポートする技術である。各座席の近傍には少なくとも1個のマイクロホンと1個のスピーカを備える端末が配置され、各端末が自動車内に構築された音声通信網を通じて音声信号を送受信することで会話が行われる。すなわち、第一の座席の近傍に配置されたマイクロホンにより収音された音声信号が第二の座席の近傍に配置されたスピーカから放音され、第二の座席の近傍に配置されたマイクロホンにより収音された音声信号が第一の座席の近傍に配置されたスピーカから放音されることで、第一の座席の乗員と第二の座席の乗員との間の会話が行われる。なお、少なくとも1個のマイクロホンと1個のスピーカが配置され、少なくとも1個の音源(例えば自動車の乗員)が存在し得る空間を「音響領域」と呼ぶものとする。すなわち、ICCでは対象とする自動車内に、複数の音響領域が予め設定されており、各音響領域には少なくとも1個の座席が配置されている。
実施形態の音響品質評価システムは、PESQによる客観評価値を会話試験による主観評価値に変換するための情報通信システムである。実施形態の音響品質評価システム10は、図2に示すように、近端話者が用いる近端端末1と、遠端話者が用いる遠端端末2と、評価値変換装置3とを含む。音響品質評価システム10には、近端話者と近端端末1とが存在する近端音響領域100と、遠端話者と遠端端末2とが存在する遠端音響領域200とが予め定められている。近端端末1は、少なくとも送話部11、受話部12、録音部13、表示部15、および入力部16を備え、さらに信号処理部14を備えてもよい。遠端端末2は、少なくとも送話部21、受話部22、および録音部23を備え、さらに信号処理部24を備えてもよい。評価値変換装置3は、主観評価値提示部31、主観評価値取得部32、客観評価値取得部33、分析部34、および変換部35を備える。この音響品質評価システム10が図3および図7に例示する各ステップの処理を行うことにより実施形態の音響品質評価方法が実現される。
以下、図3を参照して、実施形態の音響品質評価方法のうち客観評価値と主観評価値の関係を分析する処理を説明する。
以下、図7を参照して、実施形態の音響品質評価方法のうち客観評価値を主観評価値に変換する処理を説明する。なお、ステップS1からステップS33までの処理は、上述した関係分析処理と同様であるため、ここでは説明を省略する。
図8に、実施形態の音響品質評価システムの変形例1を示す。変形例1の音響品質評価システムは、遠端話者が存在する音響領域と遠端端末2が存在する音響領域とが分離されていることを特徴とする。以下、実施形態の音響品質評価システムとの相違点を中心に説明する。遠端音響領域200には実施形態と同様に遠端端末2が存在するが、遠端話者は遠端音響領域200とは異なる第三音響領域300に存在する。遠端端末2が備えるスピーカS2とマイクロホンM2は実施形態と同様に遠端音響領域200に配置されるが、遠端話者の発話した音声を録音するマイクロホンM3は第三音響領域300に配置される。遠端話者はヘッドフォン等の密閉型スピーカS3を装着する。遠端音響領域200には、マイクロホンM3とオーディオケーブル等で接続されたスピーカS4と、密閉型スピーカS3とオーディオケーブル等で接続されたマイクロホンM4とが配置される。遠端端末2のスピーカS2から出力された近端話者の音声は、遠端音響領域200のマイクロホンM4により収音され、第三音響領域300の密閉型スピーカS3から放音されることで、遠端話者により聴取される。遠端話者が発話した音声は、第三音響領域300のマイクロホンM3により収音され、遠端音響領域200のスピーカS4から放音される。さらに、スピーカS4から放音された遠端話者の音声は遠端端末2のマイクロホンM2により音響信号に変換され、近端端末1のスピーカS1から放音されることで、近端話者により聴取される。このとき、客観評価に用いる評価対象音は近端端末1のスピーカS1から出力される際に録音され、基準音はマイクロホンM3に入力されたときに録音される。
ICCの音響品質を評価する方法について、図9を参照しながら説明する。ICCは自動車90に搭載されたマイクロホン1F,1Rとスピーカ2F,2Rを利用して、各座席に着席している人間の間で行われる会話をサポートする。例えば、マイクロホン1F(1R)で収音された音声信号は、エコーキャンセルやゲインコントロール等の信号処理をされた後、スピーカ2R(2F)から放音される。マイクロホン1は車内の座席列ごとに設置されてもよいし、座席ごとに設置されてもよい。図9に例示したように、1列目の前(例えばダッシュボード上やフロントミラー周辺)と、2列目と3列目の間(例えば中部座席と後部座席の間の床面もしくは天井面)にのみ設置されてもよい。
変形例2では、図2に示した音響品質評価システム10を用いてICCの音響品質を評価する方法を説明した。ここでは、評価対象音響信号が、ICCを経由して到来したものであることを想定していた。しかしながら、ICCでは、複数の音響領域が同一の自動車内に設定されるため、一方の音響領域に設置したスピーカから放音した音声信号が、ICCを経由せずに直接、他方の音響領域に設置したマイクロホンへ到来することがある。したがって、ICCの品質評価では、評価対象音響信号に他の音響経路で到来する音声信号が含まれることも想定する必要がある。また、変形例2では、第一の座席に着席した乗員から第二の座席に着席した乗員へ話しかける一方向のシングルトークを想定していた。しかしながら、ICCは自動車内における乗員同士の会話をサポートすることが目的であるため、第二の座席に着席した乗員から第一の座席に着席した乗員へも同時に話しかける双方向のダブルトークも想定する必要がある。すなわち、変形例3の音響品質評価システムでは、ICCを用いて行われる会話の一方向もしくは双方向の音声の品質を評価する。
図2に示した音響品質評価システム10や図9に示した音響品質評価システム20を用いてICCの音響品質を評価する場合、自動車内のすべての座席の組み合わせで評価を行う必要がある。しかしながら、同じ列にある座席間では音響的な条件が類似することが想定されるため、ある座席で取得した評価値を、その座席と同じ列の他の座席の評価値として利用してもよい。例えば、図1に例示した3列に座席が配置された自動車90内での評価を想定した場合、運転席91と後部座席97との間で取得した評価値を、運転席91と後部座席95との間、運転席91と後部座席96との間、助手席92と後部座席95との間、助手席92と後部座席96との間、および助手席92と後部座席97との間、それぞれの評価値として用いることができる。これにより、実際に評価値を取得する座席の組み合わせが少なくなり、音響品質評価試験に必要なコストを低減することができる。
変形例3で示したような、ダブルトークが行われた際の評価の適切性を判定する手法について説明する。
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
Claims (5)
- 複数の音響領域のいずれかに属する少なくとも3つの座席を有する自動車内において座席間で行われる会話の品質を評価する評価方法であって、
前記音響領域ごとに少なくとも1個のスピーカと1個のマイクロホンとが配置され、
第一の音響領域に配置された第一のマイクロホンにより収音された音声信号が第二の音響領域に配置された第二のスピーカから放音され、
第一評価値取得部が、前記第一の音響領域に属する第一の座席の音源から発せられた第一音声信号が前記第一のマイクロホンにより収音され前記第二のスピーカから放音された音声信号と、前記第一音声信号が前記自動車内の空間を伝達して前記第二の音響領域に属する第二の座席に到来した音声信号とを加算した音声信号を評価対象音とし、前記第一音声信号を基準音として、前記第一の座席と前記第二の座席の間で行われる会話の評価値である第一評価値を取得し、
第二評価値取得部が、前記第一の座席と前記第二の座席の間を除く前記第一の音響領域に属するいずれかの座席と前記第二の音響領域に属するいずれかの座席の間で行われる会話の評価値として前記第一評価値を取得する、
評価方法。 - 請求項1に記載の評価方法であって、
前記音響領域は、前記自動車における座席の列ごとに設定されている、
評価方法。 - 請求項2に記載の評価方法であって、
前記音響領域は、スピーカおよびマイクロホンのいずれかまたは両方が前記自動車の直進方向に対して左右対称に配置されている、
評価方法。 - 複数の音響領域のいずれかに属する少なくとも3つの座席を有する自動車内において座席間で行われる会話の品質を評価する評価装置であって、
前記音響領域ごとに少なくとも1個のスピーカと1個のマイクロホンとが配置され、
第一の音響領域に配置された第一のマイクロホンにより収音された音声信号が第二の音響領域に配置された第二のスピーカから放音され、
前記第一の音響領域に属する第一の座席の音源から発せられた第一音声信号が前記第一のマイクロホンにより収音され前記第二のスピーカから放音された音声信号と、前記第一音声信号が前記自動車内の空間を伝達して前記第二の音響領域に属する第二の座席に到来した音声信号とを加算した音声信号を評価対象音とし、前記第一音声信号を基準音として、前記第一の座席と前記第二の座席の間で行われる会話の評価値である第一評価値を取得する第一評価値取得部と、
前記第一の座席と前記第二の座席の間を除く前記第一の音響領域に属するいずれかの座席と前記第二の音響領域に属するいずれかの座席の間で行われる会話の評価値として前記第一評価値を取得する第二評価値取得部と、
を有する評価装置。 - 請求項4に記載の評価装置としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/003338 WO2021152759A1 (ja) | 2020-01-30 | 2020-01-30 | 評価方法、評価装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021152759A1 JPWO2021152759A1 (ja) | 2021-08-05 |
JP7310939B2 true JP7310939B2 (ja) | 2023-07-19 |
Family
ID=77078797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021574356A Active JP7310939B2 (ja) | 2020-01-30 | 2020-01-30 | 評価方法、評価装置、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230076338A1 (ja) |
JP (1) | JP7310939B2 (ja) |
WO (1) | WO2021152759A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11749297B2 (en) * | 2020-02-13 | 2023-09-05 | Nippon Telegraph And Telephone Corporation | Audio quality estimation apparatus, audio quality estimation method and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017038727A1 (ja) | 2015-08-28 | 2017-03-09 | 旭化成株式会社 | 伝達装置、伝達システム、伝達方法、およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6163468B2 (ja) * | 2014-08-25 | 2017-07-12 | 日本電信電話株式会社 | 音響品質評価装置、音響品質評価方法、およびプログラム |
-
2020
- 2020-01-30 JP JP2021574356A patent/JP7310939B2/ja active Active
- 2020-01-30 WO PCT/JP2020/003338 patent/WO2021152759A1/ja active Application Filing
- 2020-01-30 US US17/795,851 patent/US20230076338A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017038727A1 (ja) | 2015-08-28 | 2017-03-09 | 旭化成株式会社 | 伝達装置、伝達システム、伝達方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021152759A1 (ja) | 2021-08-05 |
US20230076338A1 (en) | 2023-03-09 |
WO2021152759A1 (ja) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6266849B1 (ja) | 共有された音響空間における強められた会話のコミュニケーションに関するフィードバックキャンセレーション | |
US11297178B2 (en) | Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters | |
JP6163468B2 (ja) | 音響品質評価装置、音響品質評価方法、およびプログラム | |
JP7238978B2 (ja) | 評価装置、評価方法、およびプログラム | |
JP6571623B2 (ja) | 音響品質評価装置、音響品質評価方法、およびプログラム | |
JP7310939B2 (ja) | 評価方法、評価装置、およびプログラム | |
WO2020017284A1 (ja) | 集音拡声装置、その方法、およびプログラム | |
JP6363429B2 (ja) | データ構造、データ生成装置、データ生成方法、およびプログラム | |
WO2020027061A1 (ja) | 会話サポートシステム、その方法、およびプログラム | |
US7515703B1 (en) | Method and system for determining conference call embellishment tones and transmission of same | |
JP7184173B2 (ja) | 音響品質評価装置、音響品質評価方法、およびプログラム | |
JP7184174B2 (ja) | データ補正装置、データ補正方法、およびプログラム | |
JPH09130306A (ja) | 拡声通話装置およびエコーキャンセラ | |
Müsch | Subjective rating and PESQ prediction of listener echo and duplex impairments | |
Möller et al. | Extending the e-model for capturing noise reduction and echo canceller impairments | |
JP6126053B2 (ja) | 音響品質評価装置、音響品質評価方法、およびプログラム | |
Kurihara et al. | Subjective Quality Estimation Using PESQ For Hands-Free Terminals | |
JP6594840B2 (ja) | 音響品質評価装置、音響品質評価方法、データ構造、およびプログラム | |
Möller et al. | Prediction of Background Noise Degradations in Fullband Speech Communication Scenarios | |
Rumsey | Sound field control | |
Gierlich | Car Hands-Free Testing and Optimization: An Overview | |
Gros et al. | The impact of real environments on transmitted speech quality judgments | |
Maebashi et al. | Aural effects of an acoustic echo canceller with shorter tap length than reverberation time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220727 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A801 Effective date: 20220727 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20220727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7310939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |