JP7315591B2 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP7315591B2 JP7315591B2 JP2020569356A JP2020569356A JP7315591B2 JP 7315591 B2 JP7315591 B2 JP 7315591B2 JP 2020569356 A JP2020569356 A JP 2020569356A JP 2020569356 A JP2020569356 A JP 2020569356A JP 7315591 B2 JP7315591 B2 JP 7315591B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- vibration
- machine learning
- teacher
- waveform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
s(i,j)=f(i,j)・y1(i,j)+y2(i,j)
このs(i,j)をi=1,2,…,n、及びj=1,2,…,mの全ての組み合わせについて計算すると、前述した実施例における出力特徴量データOFDと同様に、振動波形を構成するn×m個の成分値が取得できる。機械学習部53は、このn×m個の成分値によって表される振動波形が教師振動データTVDに近づくように機械学習を行うこととする。また、振動データ生成部54は、変換モデルMが出力する生成特徴量データGFDに基づいて、ここで説明した機械学習実行時の場合と同様の計算を行うことによって、生成振動データGVDを生成することができる。
Claims (10)
- 音声データを取得する音声データ取得部と、
前記音声データに基づいて制作された、振動デバイスを振動させるために用いられる振動データに関する情報を、教師振動データとして取得する教師振動データ取得部と、
前記音声データ、及び前記教師振動データを入力として用いて機械学習を実行し、音声波形を振動波形に変換するために用いられる学習済みモデルデータを生成する機械学習部と、
を含み、
前記機械学習部は、前記音声データを周波数解析して得られる複数の周波数帯それぞれの成分値を入力特徴量として、前記機械学習を実行する
ことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
前記機械学習部は、前記複数の周波数帯それぞれの成分値に対して、当該周波数帯の全体に対する位置の情報を付加した入力特徴量を用いて、前記機械学習を実行する
ことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
前記機械学習部は、前記入力特徴量である複数の周波数帯それぞれの成分値について、前記機械学習によって当該成分値に対する倍率、及び加算値を示す2種類の特徴量を出力し、
当該2種類の特徴量を用いて、音声波形から振動波形への変換が行われる
ことを特徴とする情報処理装置。 - 音声データを取得する音声データ取得部と、
前記音声データに基づいて制作された、振動デバイスを振動させるために用いられる振動データに関する情報を、教師振動データとして取得する教師振動データ取得部と、
前記音声データ、及び前記教師振動データを入力として用いて機械学習を実行し、音声波形を振動波形に変換するために用いられる学習済みモデルデータを生成する機械学習部と、
を含み、
前記音声データ取得部は、前記音声データとともに振動の種類を示すタグ情報を取得し、
前記機械学習部は、前記タグ情報を参照して前記振動の種類ごとに互いに独立に機械学習を実行し、それぞれ前記振動の種類に関連づけられた複数の学習済みモデルデータを生成する
ことを特徴とする情報処理装置。 - 音声データを取得する音声データ取得部と、
前記音声データに基づいて制作された、振動デバイスを振動させるために用いられる振動データに関する情報を、教師振動データとして取得する教師振動データ取得部と、
前記音声データ、及び前記教師振動データを入力として用いて機械学習を実行し、音声波形を振動波形に変換するために用いられる学習済みモデルデータを生成する機械学習部と、
を含み、
前記教師振動データ取得部は、前記音声データに複数種類の加工処理を適用して制作された教師振動データに関する情報を取得し、
前記機械学習部は、それぞれ前記複数種類の加工処理の少なくとも一部を適用した結果の振動データに関する情報を教師データとして用いる複数種類の機械学習を実行し、それぞれ加工処理の種類に関連づけられた複数の学習済みモデルデータを生成する
ことを特徴とする情報処理装置。 - 音声データを取得する音声データ取得部と、
前記音声データに基づいて制作された、振動デバイスを振動させるために用いられる振動データに関する情報を、教師振動データとして取得する教師振動データ取得部と、
前記音声データ、及び前記教師振動データを入力として用いて機械学習を実行し、音声波形を振動波形に変換するために用いられる学習済みモデルデータを生成する機械学習部と、
を含み、
前記機械学習部は、音声波形を振動波形に変換するために用いられる変換モデルに対して互いに異なる複数種類のノイズを付加して複数のノイズ付加変換モデルを生成し、当該複数のノイズ付加変換モデルのそれぞれに前記音声データを入力して得られる複数の出力特徴量データのうち、前記教師振動データに近い一部の出力特徴量データを選択的に用いて、前記機械学習を行う
ことを特徴とする情報処理装置。 - 音声データを取得する音声データ取得ステップと、
前記音声データに基づいて制作された、振動デバイスを振動させるために用いられる振動データに関する情報を、教師振動データとして取得する教師振動データ取得ステップと、
前記音声データ、及び前記教師振動データを入力として用いて機械学習を実行し、音声波形を振動波形に変換するために用いられる学習済みモデルデータを生成する機械学習ステップと、
を含み、
前記機械学習ステップでは、前記音声データを周波数解析して得られる複数の周波数帯それぞれの成分値を入力特徴量として、前記機械学習を実行する、
又は、
前記音声データ取得ステップでは、前記音声データとともに振動の種類を示すタグ情報を取得し、
前記機械学習ステップでは、前記タグ情報を参照して前記振動の種類ごとに互いに独立に機械学習を実行し、それぞれ前記振動の種類に関連づけられた複数の学習済みモデルデータを生成する、
又は、
前記教師振動データ取得ステップでは、前記音声データに複数種類の加工処理を適用して制作された教師振動データに関する情報を取得し、
前記機械学習ステップでは、それぞれ前記複数種類の加工処理の少なくとも一部を適用した結果の振動データに関する情報を教師データとして用いる複数種類の機械学習を実行し、それぞれ加工処理の種類に関連づけられた複数の学習済みモデルデータを生成する、
又は、
前記機械学習ステップでは、音声波形を振動波形に変換するために用いられる変換モデルに対して互いに異なる複数種類のノイズを付加して複数のノイズ付加変換モデルを生成し、当該複数のノイズ付加変換モデルのそれぞれに前記音声データを入力して得られる複数の出力特徴量データのうち、前記教師振動データに近い一部の出力特徴量データを選択的に用いて、前記機械学習を行う、
ことを特徴とする情報処理方法。 - 音声データを取得する音声データ取得ステップと、
前記音声データに基づいて制作された、振動デバイスを振動させるために用いられる振動データに関する情報を、教師振動データとして取得する教師振動データ取得ステップと、
前記音声データ、及び前記教師振動データを入力として用いて機械学習を実行し、音声波形を振動波形に変換するために用いられる学習済みモデルデータを生成する機械学習ステップと、
をコンピュータに実行させるためのプログラムであって、
前記機械学習ステップでは、前記音声データを周波数解析して得られる複数の周波数帯それぞれの成分値を入力特徴量として、前記機械学習を実行する、
又は、
前記音声データ取得ステップでは、前記音声データとともに振動の種類を示すタグ情報を取得し、
前記機械学習ステップでは、前記タグ情報を参照して前記振動の種類ごとに互いに独立に機械学習を実行し、それぞれ前記振動の種類に関連づけられた複数の学習済みモデルデータを生成する、
又は、
前記教師振動データ取得ステップでは、前記音声データに複数種類の加工処理を適用して制作された教師振動データに関する情報を取得し、
前記機械学習ステップでは、それぞれ前記複数種類の加工処理の少なくとも一部を適用した結果の振動データに関する情報を教師データとして用いる複数種類の機械学習を実行し、それぞれ加工処理の種類に関連づけられた複数の学習済みモデルデータを生成する、
又は、
前記機械学習ステップでは、音声波形を振動波形に変換するために用いられる変換モデルに対して互いに異なる複数種類のノイズを付加して複数のノイズ付加変換モデルを生成し、当該複数のノイズ付加変換モデルのそれぞれに前記音声データを入力して得られる複数の出力特徴量データのうち、前記教師振動データに近い一部の出力特徴量データを選択的に用いて、前記機械学習を行う、
ことを特徴とするプログラム。 - 音声データと、前記音声データに基づいて制作された、振動デバイスを振動させるために用いられる振動データに関する情報である教師振動データと、を入力として用いて機械学習を実行した結果得られる学習済みデータを用いて、処理対象となる対象音声データを振動波形に変換して前記振動デバイスを振動させるための振動データを生成するよう、コンピュータを機能させるための学習済みモデルであって、
前記学習済みモデルは、前記音声データを周波数解析して得られる複数の周波数帯それぞれの成分値を入力特徴量として実行される機械学習によって生成された学習済みデータを用いて、前記対象音声データを振動波形に変換する、
又は、
前記学習済みモデルは、前記音声データとともに取得された振動の種類を示すタグ情報を参照して、前記振動の種類ごとに互いに独立に実行される機械学習によって生成された、それぞれ前記振動の種類に関連づけられた複数の学習済みデータの一つを用いて、前記対象音声データを振動波形に変換する、
又は、
前記教師振動データは、前記音声データに複数種類の加工処理を適用して制作された振動データであって、
前記学習済みモデルは、それぞれ前記複数種類の加工処理の少なくとも一部を適用した結果の振動データに関する情報を教師データとして用いて実行される複数種類の機械学習によって生成された、それぞれ加工処理の種類に関連づけられた複数の学習済みデータを用いて、前記対象音声データを振動波形に変換する、
又は、
前記学習済みモデルは、音声波形を振動波形に変換するために用いられる変換モデルに対して互いに異なる複数種類のノイズを付加して複数のノイズ付加変換モデルを生成し、当該複数のノイズ付加変換モデルのそれぞれに前記音声データを入力して得られる複数の出力特徴量データのうち、前記教師振動データに近い一部の出力特徴量データを選択的に用いて実行される機械学習によって生成された学習済みデータを用いて、前記対象音声データを振動波形に変換する、
ことを特徴とする学習済みモデル。 - 処理対象となる対象音声データを取得する対象音声データ取得部と、
音声データと、前記音声データに基づいて制作された、振動デバイスを振動させるために用いられる振動データに関する情報である教師振動データと、を入力として用いて機械学習を実行した結果得られる学習済みデータを用いて、前記対象音声データを振動波形に変換して前記振動デバイスを振動させるための振動データを生成する振動データ生成部と、
を含み、
前記振動データ生成部は、前記音声データを周波数解析して得られる複数の周波数帯それぞれの成分値を入力特徴量として実行される機械学習によって生成された学習済みデータを用いて、前記対象音声データを振動波形に変換する、
又は、
前記振動データ生成部は、前記音声データとともに取得された振動の種類を示すタグ情報を参照して、前記振動の種類ごとに互いに独立に実行される機械学習によって生成された、それぞれ前記振動の種類に関連づけられた複数の学習済みデータの一つを用いて、前記対象音声データを振動波形に変換する、
又は、
前記教師振動データは、前記音声データに複数種類の加工処理を適用して制作された振動データであって、
前記振動データ生成部は、それぞれ前記複数種類の加工処理の少なくとも一部を適用した結果の振動データに関する情報を教師データとして用いて実行される複数種類の機械学習によって生成された、それぞれ加工処理の種類に関連づけられた複数の学習済みデータを用いて、前記対象音声データを振動波形に変換する、
又は、
前記振動データ生成部は、音声波形を振動波形に変換するために用いられる変換モデルに対して互いに異なる複数種類のノイズを付加して複数のノイズ付加変換モデルを生成し、当該複数のノイズ付加変換モデルのそれぞれに前記音声データを入力して得られる複数の出力特徴量データのうち、前記教師振動データに近い一部の出力特徴量データを選択的に用いて実行される機械学習によって生成された学習済みデータを用いて、前記対象音声データを振動波形に変換する、
ことを特徴とする情報処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/003737 WO2020157978A1 (ja) | 2019-02-01 | 2019-02-01 | 情報処理装置 |
JPPCT/JP2019/003737 | 2019-02-01 | ||
PCT/JP2019/035521 WO2020158036A1 (ja) | 2019-02-01 | 2019-09-10 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020158036A1 JPWO2020158036A1 (ja) | 2021-09-30 |
JP7315591B2 true JP7315591B2 (ja) | 2023-07-26 |
Family
ID=71840509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569356A Active JP7315591B2 (ja) | 2019-02-01 | 2019-09-10 | 情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220187916A1 (ja) |
JP (1) | JP7315591B2 (ja) |
WO (2) | WO2020157978A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023171422A1 (ja) * | 2022-03-10 | 2023-09-14 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御システム、表示制御方法、プログラム |
CN115905819B (zh) * | 2023-03-09 | 2023-05-12 | 中国民用航空飞行学院 | 基于生成对抗网络的rPPG信号生成方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010502086A (ja) | 2006-08-24 | 2010-01-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ハプティックな刺激を発生させるために音声信号及び/又はビデオ信号を処理するデバイス及び方法 |
JP2015053038A (ja) | 2013-09-06 | 2015-03-19 | イマージョン コーポレーションImmersion Corporation | 周波数シフトを用いたハプティック変換システム |
WO2015145893A1 (ja) | 2014-03-26 | 2015-10-01 | ソニー株式会社 | 体感導入装置、体感導入システム、及び体感導入方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8378964B2 (en) * | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US9448626B2 (en) * | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US8717152B2 (en) * | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US8754757B1 (en) * | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
-
2019
- 2019-02-01 WO PCT/JP2019/003737 patent/WO2020157978A1/ja active Application Filing
- 2019-09-10 JP JP2020569356A patent/JP7315591B2/ja active Active
- 2019-09-10 US US17/425,706 patent/US20220187916A1/en active Pending
- 2019-09-10 WO PCT/JP2019/035521 patent/WO2020158036A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010502086A (ja) | 2006-08-24 | 2010-01-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ハプティックな刺激を発生させるために音声信号及び/又はビデオ信号を処理するデバイス及び方法 |
JP2015053038A (ja) | 2013-09-06 | 2015-03-19 | イマージョン コーポレーションImmersion Corporation | 周波数シフトを用いたハプティック変換システム |
WO2015145893A1 (ja) | 2014-03-26 | 2015-10-01 | ソニー株式会社 | 体感導入装置、体感導入システム、及び体感導入方法 |
Non-Patent Citations (1)
Title |
---|
廣芝 和之 外,畳込みニューラルネットワークを用いた音響特徴量変換とスペクトログラム高精細化による声質変換,情報処理学会 研究報告 音声言語情報処理(SLP) 2018-SLP-122 [online] ,日本,情報処理学会,2018年06月09日,pp. 1-4 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020158036A1 (ja) | 2021-09-30 |
WO2020157978A1 (ja) | 2020-08-06 |
US20220187916A1 (en) | 2022-06-16 |
WO2020158036A1 (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210110841A1 (en) | System and method for transforming authored haptic data to fit into haptic bandwidth | |
US11966660B2 (en) | Method, system and artificial neural network | |
US8565908B2 (en) | Systems, methods, and apparatus for equalization preference learning | |
JP7315591B2 (ja) | 情報処理装置 | |
EP3982362B1 (en) | Audio processing method, apparatus, computer device, and storage medium | |
JP2016123075A (ja) | 高帯域幅の触覚効果の音声増幅シミュレーション | |
KR20120126446A (ko) | 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치 | |
CN105448305A (zh) | 语音处理装置和语音处理方法 | |
CN107578062A (zh) | 一种基于属性概率向量引导注意模式的图片描述方法 | |
KR102254522B1 (ko) | 인공지능을 이용한 파라메트릭 이퀄라이징 음향 조율 시스템의 제어 방법, 장치 및 프로그램 | |
CN111354367A (zh) | 一种语音处理方法、装置及计算机存储介质 | |
Bresin et al. | Sonification of the self vs. sonification of the other: Differences in the sonification of performed vs. observed simple hand movements | |
Böttcher et al. | Procedural audio in computer games using motion controllers: an evaluation on the effect and perception | |
JP7422867B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6322780B1 (ja) | 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法 | |
Jiralerspong et al. | Generating diverse vocal bursts with StyleGAN2 and mel-spectrograms | |
US20230147412A1 (en) | Systems and methods for authoring immersive haptic experience using spectral centroid | |
Verma et al. | Learning to model aspects of hearing perception using neural loss functions | |
Zhang et al. | The NWPU-ByteAudio System for CHiME-7 Task 2 UDASE Challenge | |
JP6644293B1 (ja) | コンテンツ供給装置、コンテンツ提供システム、コンテンツ提供サーバ装置、コンテンツ提供方法およびコンテンツ提供用プログラム | |
Deepak et al. | A convolutional neural-network model of human cochlear mechanics and filter tuning for real-time applications | |
Miner et al. | A wavelet synthesis technique for creating realistic virtual environment sounds | |
Villalpando et al. | Predictive Models for Robot Ego-Noise Learning and Imitation | |
JP4580812B2 (ja) | 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム | |
DE112021002539T5 (de) | Decodiervorrichtung, decodierverfahren, programm, codiervorrichtung und codierverfahren |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7315591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |