JP7220780B2 - Information processing system, controller, information processing device, control method for information processing device, and program - Google Patents
Information processing system, controller, information processing device, control method for information processing device, and program Download PDFInfo
- Publication number
- JP7220780B2 JP7220780B2 JP2021516025A JP2021516025A JP7220780B2 JP 7220780 B2 JP7220780 B2 JP 7220780B2 JP 2021516025 A JP2021516025 A JP 2021516025A JP 2021516025 A JP2021516025 A JP 2021516025A JP 7220780 B2 JP7220780 B2 JP 7220780B2
- Authority
- JP
- Japan
- Prior art keywords
- mute
- audio
- information processing
- audio signal
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、情報処理システム、コントローラ、情報処理装置、情報処理装置の制御方法、及びプログラムに関する。 The present invention relates to an information processing system, a controller, an information processing device, a control method for an information processing device, and a program.
携帯電話機やタブレット端末、パーソナルコンピュータ、家庭用ゲーム機等の情報処理装置に接続される周辺装置には、マイク等の音声入力デバイスを備えて、当該音声入力デバイスが集音して得た音声信号を、情報処理装置に対して出力するものがある。 Peripheral devices connected to information processing devices such as mobile phones, tablet terminals, personal computers, home-use game consoles, etc. are equipped with voice input devices such as microphones, and voice signals obtained by collecting sound with the voice input devices. is output to the information processing device.
また、このような周辺装置の一部には、情報処理装置に対する音声信号の出力を停止させるミュート機能を備えているものも存在する。このようなミュート機能は、例えば音声信号の送信先に、一時的に周囲の音を聞かせないよう制御する場合などで利用される。 Further, some of such peripheral devices have a mute function for stopping the output of audio signals to the information processing device. Such a mute function is used, for example, when controlling the transmission destination of an audio signal so as to temporarily prevent surrounding sounds from being heard.
しかしながら、上記従来のミュート機能は、個々の周辺装置側に備えられているものであるため、例えば多数のユーザがそれぞれ音声入力デバイスを備えた周辺装置を利用して、一つの情報処理装置に音声信号が出力可能な状態にある場合、あるいは、ユーザが一人であっても、音声入力デバイスを備えた複数の周辺装置を一斉に使用している場合(ゲーム用のコントローラとヘッドセットを使用している場合等)、ミュートをしようとすると、個々の周辺装置でミュート機能を制御しなければならず、操作性が低い。 However, since the above-described conventional mute function is provided on each peripheral device, for example, a large number of users can use peripheral devices each equipped with an audio input device to transmit audio to a single information processing device. When a signal is ready to be output, or when a single user is using multiple peripherals with audio input devices at the same time (using a game controller and headset) , etc.), if you try to mute, you have to control the mute function with each peripheral device, and the operability is low.
本発明は上記実情に鑑みて為されたもので、複数の音声入力デバイスを含む場合のミュート制御の操作性を向上できる情報処理システム、コントローラ、情報処理装置、情報処理装置の制御方法、及びプログラムを提供することを、その目的の一つとする。 The present invention has been made in view of the above circumstances, and includes an information processing system, a controller, an information processing apparatus, an information processing apparatus control method, and a program that can improve operability of mute control when a plurality of audio input devices are included. One of its purposes is to provide
上記従来例の問題点を解決する本発明の一態様は、ユーザが使用する複数の周辺装置と、情報処理装置とを含む情報処理システムであって、前記周辺装置は、それぞれ、周囲の音声を表す音声信号を出力する音声入力手段を備え、前記情報処理装置は、前記ユーザが使用する各周辺装置が出力する音声信号を受け入れる手段と、前記周辺装置のいずれかから、ミュートの指示を受けたときに、前記各周辺装置から受け入れた音声信号を遮断するミュート制御手段と、を含むこととしたものである。 One aspect of the present invention that solves the problems of the above conventional example is an information processing system that includes a plurality of peripheral devices used by a user and an information processing device, wherein the peripheral devices each emit ambient sounds. and the information processing apparatus receives an instruction to mute from either the means for accepting the audio signal output by each peripheral device used by the user or the peripheral device. and sometimes mute control means for muting audio signals received from each of said peripherals.
本発明によると、複数の音声入力デバイスを含む場合のミュート制御の操作性を向上できる。 According to the present invention, it is possible to improve the operability of mute control when a plurality of audio input devices are included.
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム1は、図1に例示するように、家庭用ゲーム機やPC等の情報処理装置10と、コントローラ20とを含んで構成される。ここでコントローラ20は複数あってもよい。またこの情報処理システム1には、チャットコントローラ30や、ヘッドセット40、あるいはヘッドマウントディスプレイ50等、音声入力デバイスを備えた周辺装置がさらに含まれ、情報処理装置10に接続されていてもよい。
An embodiment of the present invention will be described with reference to the drawings. An information processing system 1 according to an embodiment of the present invention includes an
情報処理装置10は、図1に例示したように、制御部11と、記憶部12と、操作制御部13と、出力制御部14と、音声入力制御部15と、通信部16とを含んで構成される。またコントローラ20は、操作部21と、マイク22と、通信部23と、表示部24と、音声出力部25とを含む。さらにチャットコントローラ30は、操作部31と、マイク32と、通信部33と、表示部34とを含んでなる。
The
情報処理装置10の制御部11は、CPU等のプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。本実施の形態では、この制御部11は、複数のアプリケーションプログラムを並列的に実行(いわゆるマルチタスキング処理を)しているものとする。
The
具体的に情報処理装置10が家庭用ゲーム機である場合、制御部11は、ゲームのアプリケーションや、ネットワークを介して音声信号を授受するチャットアプリケーション等種々のアプリケーションプログラムを実行している。またこの制御部11は、システムプログラムを実行しており、このシステムプログラムの処理として、コントローラ20やヘッドセット40等、装置ごとに、当該装置を利用するユーザを認証する処理を実行して、コントローラ20等、各装置を特定する情報ごとに、ユーザを特定する情報(例えばユーザ名)を関連付けて記憶する。
Specifically, when the
そして制御部11は、操作制御部13からコントローラ20を特定する情報とともに操作情報の入力を受けると、実行中のアプリケーションのうちから操作情報の出力先となるアプリケーションを選択する(例えばゲームアプリケーションが起動しているときには、原則としてゲームアプリケーションを選択し、所定の操作情報については例外的にシステムで処理する、などとしてここでの出力先の選択の条件を予め定めておき、当該条件に従って選択すればよい)。
When the
制御部11は、操作情報の出力先のアプリケーションやシステムの処理として、操作制御部13から入力された、コントローラ20を特定する情報と操作情報とを用いた処理を実行する。またこの制御部11は、複数の装置から受信した音声情報の各々をミキシングする際の、各音声信号のミキシングの音量を決定する。これらの制御部11の動作については後に述べる。
The
記憶部12は、メモリデバイスやハードディスクドライブ等であり、制御部11によって実行されるプログラムを保持する。またこの記憶部12は制御部11のワークメモリとしても動作する。
The
操作制御部13は、コントローラ20との間で無線または有線にて通信可能に接続され、コントローラ20からコントローラ20にてユーザが行った操作の内容を表す操作情報を受信して、当該操作情報の受信元であるコントローラ20を特定する情報とともに制御部11に出力する。
The
さらに本実施の形態では、この操作制御部13は、制御部11から入力される指示に従い、表示制御信号等を、指示されたコントローラ20に対して送出する。
Furthermore, in the present embodiment, this
出力制御部14は、家庭用テレビや、モニタ、ヘッドマウントディスプレイ50等の表示デバイスに接続され、制御部11から入力される指示に従って、音声や映像等の信号をこれらの表示デバイスに出力する。またこの出力制御部14は、映像と音声信号とを異なる装置に対して出力してもよい。例えば映像についてはモニタに出力し、音声信号についてはコントローラ20やヘッドセット40に出力するようにしてもよい。
The
音声入力制御部15は、コントローラ20やチャットコントローラ30、ヘッドセット40、ヘッドマウントディスプレイ50等、音声入力デバイスを備えた周辺装置から音声信号を受信する。またこの音声入力制御部15は、図2に例示するように、ミキサ部151と、ミュート部152と、スイッチ部153と、出力部154とを含んで構成され、受信した音声信号のうち、予め定められた装置(例えばチャットコントローラ30)以外の装置から入力された音声信号をミキサ部151にて合成する。
The voice
具体的に、このミキサ部151での合成は、コントローラ20やヘッドセット40、ヘッドマウントディスプレイ50等の各装置から受信した音声信号ごとに音量を定めて、当該定めた音量で各装置から受信した音声信号を合成することによって行う。本実施の形態のある例では、このミキサ部151は、制御部11から入力される指示に従って、各装置から受信した音声信号の音量を定める。
Specifically, in the synthesis in the
また、例えば制御部11が、ヘッドセット40からの音声信号の音量を「255」、その他の音量を「0」とした場合は、このミキサ部151は選択手段としても機能する。この例ではミキサ部151は、ヘッドセット40のみからの音声信号を選択的に出力することとなる。そしてこの場合、ヘッドセット40以外のコントローラ20やヘッドマウントディスプレイ50等から受信した音声信号があっても、ミキサ部151の出力には含められない。
Further, for example, when the
さらに本実施の形態の一例では、この情報処理装置10には複数のコントローラ20が接続されることがあり得る。この場合も、ミキサ部151は、制御部11から入力される指示に従って各コントローラ20から受信した音声信号の音量を定める。例えばユーザAが利用するコントローラ20aから受信した音声信号の音量を「255」、その他のユーザB,Cが利用するコントローラ20b,cから受信した音声信号の音量を「0」とする指示が制御部11から入力された場合、ミキサ部151は、コントローラ20aから受信した音声信号を選択的に出力することとなる。
Furthermore, in one example of the present embodiment, a plurality of
ミュート部152は、ミキサ部151が出力する音声信号について、そのまま出力するか、あるいは出力しない(ミュートする)かを、制御部11から入力される指示に従って切り替える。このミュート部152は、制御部11がミュートしない旨の指示を出力しているときには、ミキサ部151が出力する音声信号をそのまま出力する。またこのミュート部152は、制御部11がミュートする旨の指示を出力しているときには、ミキサ部151が出力する音声信号をスイッチ部153に出力せず破棄する(ミュートする)。
The
スイッチ部153は、情報処理装置10が受信した音声信号のうち、ミキサ部151に入力されていない装置からの音声信号(以下、割り込み音声信号と呼ぶ。ここでの例ではチャットコントローラ30から受信した音声信号)からの入力を受け入れる。またこのスイッチ部153は、ミュート部152が音声信号を出力するときには、当該音声信号の入力を受け入れる。スイッチ部153は、ミュート部152から受け入れた音声信号(あれば)と、割り込み音声信号(あれば)とのいずれかを、制御部11から入力される指示に従って選択して出力する。
Among the audio signals received by the
出力部154は、スイッチ部153が出力する音声信号を、制御部11に出力する。このように本実施の形態の一例に係る音声入力制御部15は、音声入力デバイスを備えた各周辺装置から音声信号を受信し、ミキシングし、あるいはいずれかを選択して出力し、制御部11の処理に供する。
The
通信部16は、ネットワークインタフェース等であり、制御部11から入力される指示に従い、ネットワークを介して種々の情報を送信する。またこの通信部16はネットワークを介して受信した情報を制御部11に出力している。
The
コントローラ20の操作部21は、ボタンやジョイスティック等を含み、ユーザの操作を受け入れて、当該ユーザが行った操作の内容を表す操作情報を、通信部23に出力する。またマイク22は、周囲の音声を集音し、当該集音した音声を表すディジタルの音声信号を出力している。さらに本実施の形態では、この操作部21には、情報処理装置10に対してミュートの状態を切り替える旨の指示を出力するためのボタンが配されていてもよい。
The
通信部23は、例えばブルートゥース(登録商標)等の無線通信手段であり、操作部21にてユーザが行った操作の内容を表す情報(操作情報)を情報処理装置10に送出する。またこの通信部23は、マイク22が出力する音声信号を、情報処理装置10に出力する。またこの通信部23は、情報処理装置10が出力する表示制御信号を表示部24に出力する。さらにこの通信部23は、情報処理装置10から音声信号を受信すると、当該受信した音声信号を音声出力部25に出力する。
The
表示部24は、例えばLED等を含む。この表示部24は、通信部23から表示制御信号の入力を受けて、LEDを点灯ないし消灯する。音声出力部25は、スピーカー等の振動子を備えたデバイスであり、情報処理装置10から受信した音声信号に基づいて音声を鳴動する。
The
さらにチャットコントローラ30は、ユーザが音声入力を指示している間だけ音声の入力を受け入れて出力する、いわゆるプッシュ・トゥー・トーク装置(PTT装置)であり、その操作部31は、例えばボタンを含む。またマイク32は、周囲の音声を集音して音声信号に変換して出力している。
Further, the
通信部33は、例えばブルートゥース(登録商標)等の無線通信手段であり、ユーザが操作部31のボタンを押下している間に、マイク32が出力する音声信号を、情報処理装置10に出力する。またこの通信部33は、ユーザが操作部31のボタンを押下していないときには、マイク32が出力する音声信号を、情報処理装置10に出力することなく破棄する。さらにこの通信部33は、情報処理装置10が出力する表示制御信号を表示部34に出力する。
The
表示部34は、例えばLED等を含む。この表示部34は、通信部33から表示制御信号の入力を受けて、LEDを点灯ないし消灯する。このチャットコントローラ30の動作についても後に述べる。
The
ヘッドセット40は、例えばヘッドフォンやマイク等を備える。このヘッドセット40は、情報処理装置10が出力する音声信号に基づいてスピーカーを鳴動する。またこのヘッドセット40は、マイクにて集音した音声信号を、情報処理装置10に対して送出する。
The
ヘッドマウントディスプレイ50は、ディスプレイとスピーカーとマイクとを含んで構成される。このヘッドマウントディスプレイ50は、情報処理装置10が出力する映像信号や音声信号を受け入れて、ディスプレイに映像を表示し、また、スピーカーを鳴動させる。またこのヘッドマウントディスプレイ50は、マイクにて集音した音声信号を、情報処理装置10に対して送出する。
The head mounted
ここで情報処理装置10の制御部11の動作について説明する。本実施の形態では、この制御部11は、システムの処理として図3に例示するように、機能的に、音声入力処理部111と、ミュート処理部112と、割り込み処理部113と、表示処理部114とを含む。
The operation of the
なお、本実施の形態の以下の例では、制御部11は、情報処理装置10に接続された、音声入力デバイスを備えた装置のうちの一つを、割り込み装置として定めておくものとする。
Note that in the following example of the present embodiment, the
音声入力処理部111は、音声入力デバイスを備えた装置(割り込み装置を定める場合、割り込み装置を除くこととする)を対象装置として、次の処理を行う。音声入力処理部111は、所定の規則に従って、情報処理装置10に接続されている対象装置ごとのミキシングの音量を定める。この所定の規則は、例えば次のようなものとすることができる。すなわち、制御部11は、予め対象装置ごとに優先順位を定めておき、接続された装置のうち、優先順位の最も高い対象装置から受信する音声信号のミキシングの音量を予め定められた0より大きい値(0を含まない)とする。この値は、例えば最大値、あるいは、対象装置ごとに、対象装置の種類に応じて異なった値が設定されてもよい。以下、この0より大きい値を出力値と呼ぶ。また、接続された装置のうち、優先順位の最も高い対象装置以外の対象装置から受信する音声信号のミキシングの音量を最低値とする。この最低値は、例えば音量「0」を表す値とすればよい。この最低値を、以下では遮断値と呼ぶ。
The voice
なお、ここでの規則や音量の設定の例は一例であり、他にも種々の方法があり得る。例えば制御部11は、ユーザが選択した対象装置について、当該対象装置から受信する音声信号のミキシングの音量を予め定められた出力値、それ以外の対象装置から受信する音声信号のミキシングの音量を遮断値としてもよい。
It should be noted that the examples of rules and volume settings here are only examples, and there are various other possible methods. For example, for a target device selected by the user, the
また複数のユーザが情報処理装置10を利用している場合を考慮して、ここでの規則は、次のようなものであってもよい。すなわち、
(1)原則としてユーザごとに一つの対象装置を選択する。
(2)ユーザごとに選択した対象装置が当該ユーザの音声以外を集音しにくい音声入力デバイスを備えるものとして予め定められた対象装置である場合は、当該対象装置のミキシングの音量を出力値とする。
(3)ユーザごとに選択した対象装置が当該ユーザの音声以外を集音しにくい音声入力デバイスを備えるものとして予め定められた対象装置でない(ここでは便宜的に広集音装置と呼ぶ)場合、選択された対象装置が広集音装置であるユーザについては、いずれかのユーザを一人選び、当該選ばれたユーザについて選択した対象装置のミキシングの音量を出力値とする。
(4)(2),(3)でミキシングの音量を出力値としていない対象装置についてのミキシングの音量を遮断値とする。Also, considering the case where a plurality of users use the
(1) In principle, one target device is selected for each user.
(2) If the target device selected for each user is a predetermined target device equipped with a voice input device that makes it difficult to collect sounds other than the user's voice, the volume of the mixing of the target device is used as the output value. do.
(3) When the target device selected for each user is not a predetermined target device having a voice input device that is difficult to collect sounds other than the user's voice (here, it is called a wide sound collection device for convenience), For a user whose selected target device is a wide sound collecting device, one of the users is selected, and the volume of the mixing of the selected target device for the selected user is set as the output value.
(4) The volume of mixing for the target device that does not have the volume of mixing as the output value in (2) and (3) is set as the cut-off value.
この例によると、マイクの指向性が比較的強いヘッドセット40等を音声入力デバイスとして利用しているユーザについては、当該ヘッドセット40が集音した音声信号がアプリケーションとしての処理で利用可能となるとともに、マイクの指向性が比較的弱い、広集音装置であるコントローラ20等を音声入力デバイスとして利用しているユーザについては、コントローラ20を音声入力デバイスとするユーザのうち一人のユーザが操作するコントローラ20が集音した音声信号のみが、アプリケーションとしての処理で利用されるようになる。
According to this example, for a user using a
なお、いずれの場合も、広集音装置を利用しているユーザがコントローラ20を操作して、音声信号の入力を要求したときには、当該ユーザのコントローラ20等の広集音装置のミキシング音量を出力値とし、その他の広集音装置のミキシング音量を遮断値とする。
In either case, when the user using the wide sound collecting device operates the
ミュート処理部112は、現在のミュートの状態を表すミュート状態情報を保持している。このミュート状態情報は当初は所定の状態(例えばミュートしていない(アンミュートの)状態としておく。そしてこのミュート処理部112は、ユーザが操作するコントローラ20から受信した操作情報として、ミュートの状態を切り替える旨の操作情報を受け入れたときに、ミュート状態情報を切り替える。つまり、ミュート状態情報がアンミュート状態を表すものであったときには、この操作情報を受け入れたミュート処理部112は、ミュート状態情報をミュートした状態であることを表すものに設定する。またミュート状態情報がミュートした状態を表すものであったときには、この操作情報を受け入れたミュート処理部112は、ミュート状態情報をアンミュートの状態であることを表すものに設定する。そしてミュート処理部112は、ミュート状態情報をミュートした状態であることを表すものに設定したときには、音声入力制御部15に対してミュートの指示を出力する。
The
割り込み処理部113は、予め定めた割り込み装置から入力される指示(例えば選択を要求する指示)に従い、当該割り込み装置から受信される音声信号を選択する指示を、音声入力制御部15に出力してもよい。また割り込み装置から、選択を解除するべき旨の指示が受信されると、制御部11は、この割り込み装置以外の装置から受信した音声信号を選択するべき旨の指示を、音声入力制御部15に出力する。
The interrupt
表示処理部114は、音声信号の入力の状態を示すために、音声入力処理部111、ミュート処理部112、及び割り込み処理部113が出力する指示に応じて、各装置に対する表示制御信号を出力する。この表示制御信号の具体的な例については後に述べる。
The
[動作例]
本実施の形態の情報処理システム1は以上のような構成を基本的に備えており、次のように動作する。以下では、1つの情報処理装置10をユーザA,B,Cの3人が共用してゲームを行う例(図4(a))について説明する。[Example of operation]
The information processing system 1 of this embodiment basically has the configuration described above, and operates as follows. An example in which three users A, B, and C share one
このとき、各ユーザA,B,Cはそれぞれのコントローラ20a,b,cを持って操作するものとする。すなわち、情報処理装置10は当初、各コントローラ20を操作するユーザを認証し、各コントローラを特定する情報に関連付けて、認証したユーザを特定する情報を記録する。またこの情報処理装置10には、割り込み装置としてのチャットコントローラ30が接続されているものとする。
At this time, each of the users A, B, and C shall hold and operate the
このとき情報処理装置10は、予め定めた規則として、次の規則に従うものとする:
(1)原則としてユーザごとに一つの対象装置を選択する。
(2)ユーザごとに選択した対象装置が当該ユーザの音声以外を集音しにくい音声入力デバイスを備えるものとして予め定められた対象装置である場合は、当該対象装置のミキシングの音量を出力値(図4では「255」)とする。
(3)ユーザごとに選択した対象装置が当該ユーザの音声以外を集音しにくい音声入力デバイスを備えるものとして予め定められた対象装置でない(ここでは便宜的に広集音装置と呼ぶ)場合、選択された対象装置が広集音装置であるユーザについては、いずれかのユーザを一人選び、当該選ばれたユーザについて選択した対象装置のミキシングの音量を出力値とする。
(4)(2),(3)でミキシングの音量を出力値としていない対象装置についてのミキシングの音量を遮断値とする。At this time, the
(1) In principle, one target device is selected for each user.
(2) If the target device selected for each user is a predetermined target device equipped with a voice input device that makes it difficult to collect sounds other than the user's voice, the volume of the mixing of the target device is the output value ( In FIG. 4, it is "255").
(3) When the target device selected for each user is not a predetermined target device having a voice input device that is difficult to collect sounds other than the user's voice (here, it is called a wide sound collection device for convenience), For a user whose selected target device is a wide sound collecting device, one of the users is selected, and the volume of the mixing of the selected target device for the selected user is set as the output value.
(4) The volume of mixing for the target device that does not have the volume of mixing as the output value in (2) and (3) is set as the cut-off value.
そして情報処理装置10は、この規則に従い、当該情報処理装置10に接続されているコントローラ20a,b,cを対象装置として、これら対象装置ごとのミキシングの音量を定める。ここではコントローラ20は広集音装置であるものとする。この例では、情報処理装置10は、上記所定の規則に基づき、例えば最初に接続されたコントローラ20(ユーザAのコントローラ20aとする)のミキシングの音量を出力値、それ以外の対象装置から受信する音声信号のミキシングの音量を遮断値とする。
Then, according to this rule, the
このため、情報処理装置10では、ユーザAが使用しているコントローラ20aが集音して情報処理装置10へ送出した音声信号がアプリケーションの処理に供されることとなる。
Therefore, in the
例えばアプリケーションがチャットアプリケーションであれば、情報処理装置10は、コントローラ20aが集音して情報処理装置10へ送出した音声信号を、チャットの相手先へ送出することとなる。また相手先から受信した音声信号は、所定の方法で定めた出力先(例えばここでは各コントローラ20a,b,c)に出力する。
For example, if the application is a chat application, the
このときコントローラ20b,cの送出した音声信号は情報処理装置10の音声入力制御部15の動作により破棄される。これにより、各コントローラ20a,b,cで集音された音が混合され、音声がこもってしまったり、エコーが生じてしまうことが回避される。
At this time, the audio signals sent by the
またここでユーザCが、ヘッドセット40を装着し、ヘッドセット40のユーザとして情報処理装置10の認証を受けると(図4(b))、情報処理装置10は、新たな装置の認証を行ったことを契機として、再度、上記規則に従って、情報処理装置10に接続されているコントローラ20a,b,c、及びユーザCの利用するヘッドセット40を対象装置として、これら対象装置ごとのミキシングの音量を定める。
When user C wears
ここでヘッドセット40は広集音装置でないものとすると、ここでは情報処理装置10は、上記所定の規則に基づき、まずユーザCについてはヘッドセット40のミキシングの音量を出力値とする。また、他のユーザA,Bについては、例えば最初に接続されたコントローラ20(ユーザAのコントローラ20aとする)のミキシングの音量を出力値、それ以外の対象装置(ユーザBのコントローラ20b)から受信する音声信号のミキシングの音量を遮断値とする。
Here, assuming that the
このときには、ユーザCの発声した声はヘッドセット40によって集音される。そしてユーザAが使用しているコントローラ20aが集音して情報処理装置10へ送出した音声信号と、このヘッドセット40が送出した音声信号とミキシングされて、アプリケーションの処理に供されることとなる。
At this time, the voice uttered by user C is collected by the
このときコントローラ20b,cの送出した音声信号は情報処理装置10の音声入力制御部15の動作により破棄される。これにより、各コントローラ20a,b,cで集音された音が混合され、音声がこもってしまったり、エコーが生じてしまうことが回避される。なお、ヘッドセット40は比較的指向性が強いため、ヘッドセット40が出力する音声信号に含まれるユーザAの音声は十分小さいものとなる。このため、ヘッドセット40が集音して得た音声信号がコントローラ20aが送出した音声信号とミキシングされても音声がこもってしまったり、エコーが生じてしまうことはない。
At this time, the audio signals sent by the
さらにここでユーザBがコントローラ20bを操作して、音声信号の入力を要求する操作を行うと、当該操作の内容を表す情報が情報処理装置10に伝達される。情報処理装置10では、当該要求を受けて、ユーザCについてはヘッドセット40のミキシングの音量を出力値のままとし、ここで音声信号の入力を要求したコントローラ20bのミキシングの音量を出力値、それ以外の対象装置(ユーザAのコントローラ20a)から受信する音声信号のミキシングの音量を遮断値とする。
Further, when the user B operates the
このとき、コントローラ20a,cの送出した音声信号は情報処理装置10の音声入力制御部15の動作により破棄される。これにより、各コントローラ20a,b,cで集音された音が混合され、音声がこもってしまったり、エコーが生じてしまうことが回避される。
At this time, the audio signals sent by the
またこのチャットアプリケーションの処理を行う情報処理装置10は、チャットの相手先から受信した音声信号を、各コントローラ20に出力して、各コントローラ20にて音声を鳴動させる。
The
[ミュート]
また本実施の形態の一例では、いずれかのユーザがコントローラ20を操作してミュートの状態を切り替える指示を行い、制御部11がミュートする状態となったと判断すると(ミュート状態情報がミュートしている状態に設定されると)、音声入力デバイスを備える各装置(割り込み装置を除く)からの音声信号がミュートされる。つまり本実施の形態の一例では、いずれかのコントローラ20等からミュートの指示が行われると、すべての音声入力が遮断される。[mute]
Further, in one example of the present embodiment, when one of the users operates the
具体的にユーザA,B,Cのいずれかのユーザが自己の操作するコントローラ20を操作してミュートの切り替え指示を行うと、当該ミュートの切り替え指示の操作が行われたことを表す操作情報が情報処理装置10に送出される。
Specifically, when one of the users A, B, and C operates the
情報処理装置10では、コントローラ20からミュートの状態を切り替えるべき旨の操作情報を受け入れて、当該操作情報を受け入れた時点でのミュート状態情報(ミュートするか否かを表す情報)を切り替える。つまり、この時点でミュート状態情報がアンミュート状態を表すものであったときには、この操作情報を受け入れた情報処理装置10は、ミュート状態情報をミュートした状態であることを表すものに設定して、音声入力制御部15に対してミュートの指示を出力する。
The
一方、この時点でミュート状態情報がミュートした状態を表すものであったときには、この操作情報を受け入れたミュート処理部112は、ミュート状態情報をアンミュートの状態であることを表すものに設定して、音声入力制御部15に対してミュートしない旨の指示(ミュートを解除する指示)を出力する。
On the other hand, if the mute state information indicates a muted state at this point, the
そしてミュートの指示が出力されたときには、音声入力制御部15では、ミキサ部151がどのような音量の設定で、各装置が送出する音声信号をミキシングしていたとしても、ミュート部152が、ミキサ部151が出力する音声信号を出力しない(ミュートする)よう制御する。
Then, when a mute instruction is output, the audio
ミュートしない旨の指示が出力されているときには、ミュート部152は、ミキサ部151が出力する音声信号をそのまま出力する。
When the instruction not to mute is output,
これにより、ユーザの一つの操作によって、全体的にミュートの切り替えが行われることとなり、装置ごとにミュートを設定する手間がなく、ミュートの操作性が向上する。 As a result, muting can be switched as a whole by one user operation, eliminating the need to set muting for each device, and improving operability of muting.
またミュートの切り替えの指示の内容によっては(例えばミュートを切り替える指示をするためのボタンを長押しするなどした場合は)、制御部11は、出力制御部14の処理として、音声信号を出力しないよう制御してもよい(全ミュート)。このようにすると、テレビやヘッドセット、コントローラ20からの音声出力も停止される。
Depending on the content of the instruction to switch mute (for example, when a button for instructing to switch mute is pressed for a long time), the
[音声入力デバイスを備える周辺装置側でのミュート]
またここで、コントローラ20等、音声入力デバイスを備える周辺装置側で音声信号の送出をするか否かを制御可能な場合は、情報処理装置10は、いずれかのユーザがコントローラ20を操作してミュートの状態を切り替える指示を行ってミュートをしたときには、このような装置に対して、音声信号の送出を停止するよう指示してもよい。[Mute on the side of a peripheral device equipped with an audio input device]
Further, here, if it is possible to control whether or not to transmit an audio signal on the side of a peripheral device equipped with an audio input device such as the
[出力モード]
さらに本実施の形態では音声入力制御部15から音声信号の入力を受けた制御部11は、通常は当該入力された音声信号を、制御部11にて実行中の任意のアプリケーションで利用可能なように制御する。以下では、この制御を行う制御部11の動作モードを、便宜的に共有モードと呼ぶ。しかしながら本実施の形態のある例では、入力された音声信号を、特定のアプリケーションにのみ利用させることが好適な場合もある。[Output mode]
Furthermore, in the present embodiment, the
具体的には、割り込み装置(ここでの例ではチャットコントローラ30)からの音声信号については特定のアプリケーションにのみ利用させることとしてもよい。
Specifically, the audio signal from the interrupt device (
また、アプリケーションが音声入力を求めているのに、ミュートされた状態にあると、音声入力ができないので、アプリケーション側からの要求により一時的にミュートを解除可能な状態としたときには、当該一時的にミュートを解除した状態で入力される音声信号については、専ら当該要求したアプリケーションに対して音声信号を出力すべきである。 Also, if the application requests voice input but is muted, voice input cannot be performed. An audio signal that is input while unmuted should be output exclusively to the requesting application.
そこで制御部11は、一つのアプリケーションの処理において、音声入力の必要が生じると、音声入力が要求されている旨の表示をモニタ等に出力し、また、このアプリケーションを特定する情報(アプリケーション名でよい)を一時的に保持する。
Therefore, when the need for voice input arises in the processing of one application, the
ここでユーザがコントローラ20にて所定のアンミュートの操作(ミュートの状態を切り替える操作)を行うと、制御部11は当該操作が為されたことを検出して、音声入力制御部15のミキサ部151に対して、当該操作が行われたコントローラ20のミキシング音量を最大とする(他のコントローラ20等についてはミキシング音量を遮断値とする)。なお、複数のコントローラ20にてアンミュートの操作が行われたときには、最も早くアンミュートの操作が行われたコントローラ20についてのみミキシング音量を最大としてもよい。
Here, when the user performs a predetermined unmute operation (an operation to switch the mute state) with the
そして制御部11は、次にユーザがコントローラ20にてミュートの操作(ミュートの状態を切り替える操作)を行うまでの間、あるいは所定の時間が経過するまでの間にコントローラ20から受信した音声信号を、先に一時的に保持した情報で特定されるアプリケーションの処理に供する(一時アンミュート)。この音声信号については、当該情報で特定されるアプリケーション以外の、他のアプリケーションに対しては利用不能に設定する。この設定を行ったときの制御部11の動作モードを、便宜的に排他モードと呼ぶ。
Then, the
このような排他モードの制御については、入力される情報を特定のアプリケーションのみの処理に供するための広く知られたオペレーティングシステムの動作と同様であるので、ここでの詳しい説明は省略する。 Such exclusive mode control is the same as the well-known operation of the operating system for providing input information for processing only by a specific application, so a detailed description thereof will be omitted here.
[ミュート状態等の表示]
次に、表示処理部114による表示制御信号の例について説明する。本実施の形態の一例では、制御部11は、
(1)ミュートしていない状態(ミュート状態情報がアンミュートであることを表すものとなっている状態)では表示部24のLEDを消灯させる表示制御信号、
(2)ミュートしている状態(ミュート状態情報がミュートしていることを表すものとなっている状態)では表示部24のLEDを点灯させる表示制御信号、
(3)全ミュートの場合(ミュート状態情報がアンミュートであることを表すものとなっており、かつ情報処理装置10自身も音声信号の出力をしないよう制御している場合)は、表示部24のLEDを点滅させる表示制御信号、
をそれぞれの場合に出力する。[Display of mute status, etc.]
Next, an example of a display control signal by the
(1) A display control signal that turns off the LED of the
(2) a display control signal for lighting the LED of the
(3) In the case of full muting (when the muting state information indicates that it is unmuted, and when the
in each case.
これによると、ミュートの状態にあるか否かを表す表示制御信号が情報処理装置10から出力され、コントローラ20等が当該表示制御信号に応じて表示部24の表示を変化させて(消灯、点灯、点滅などと変化させることによって)、ミュートの状態にあるか否かを明示するので、ユーザは音声入力が可能な状態にあるか否かがわかりやすい。
According to this, a display control signal indicating whether or not the
さらに本実施の形態では、制御部11は、
(4)ミキシング音量を遮断値としているデバイスに対しては、表示部24のLEDを全ミュートの場合とは区別可能な態様で点滅させる表示制御信号を出力してもよい。Furthermore, in the present embodiment, the
(4) A display control signal may be output to a device that uses the mixing volume as a cut-off value to cause the LEDs of the
ここで区別可能な態様としては、点滅の周期を、全ミュートの場合に比べて長くするなどといったものでよい。これによると、他者が音声入力を行っている場合など、自分が所持するコントローラ20を介して音声入力ができない場合を明示できる。
Here, as a distinguishable mode, the period of blinking may be made longer than in the case of full mute. According to this, it is possible to specify a case where voice input cannot be performed via the
またここでは表示部24のLEDを制御するものとしたが、表示部24を例えば液晶表示部として、液晶表示部のバックライトの色や、表示内容を変更することでユーザに状態を通知することとしてもよい。
In addition, although the LED of the
1 情報処理システム、10 情報処理装置、11 制御部、12 記憶部、13 操作制御部、14 出力制御部、15 音声入力制御部、16 通信部、20 コントローラ、21 操作部、22 マイク、23 通信部、24 表示部、25 音声出力部、30 チャットコントローラ、31 操作部、32 マイク、33 通信部、34 表示部、40 ヘッドセット、50 ヘッドマウントディスプレイ、111 音声入力処理部、112 ミュート処理部、113 割り込み処理部、114 表示処理部、151 ミキサ部、152 ミュート部、153 スイッチ部、154 出力部。
1 information processing system, 10 information processing device, 11 control unit, 12 storage unit, 13 operation control unit, 14 output control unit, 15 voice input control unit, 16 communication unit, 20 controller, 21 operation unit, 22 microphone, 23 communication Unit, 24 Display Unit, 25 Audio Output Unit, 30 Chat Controller, 31 Operation Unit, 32 Microphone, 33 Communication Unit, 34 Display Unit, 40 Headset, 50 Head Mounted Display, 111 Audio Input Processing Unit, 112 Mute Processing Unit, 113 interrupt processing unit, 114 display processing unit, 151 mixer unit, 152 mute unit, 153 switch unit, 154 output unit.
Claims (5)
前記ユーザが使用する各周辺装置が出力する音声信号を受け入れる手段と、
音声信号を出力する手段と、
前記周辺装置のいずれかから、第1のミュートの指示を受けたときに、前記各周辺装置から受け入れた音声信号を遮断してミュートの状態とし、第2のミュートの指示を受けると、音声出力を行うデバイスに対しての音声信号の出力を停止する全ミュートの状態とするミュート制御手段と、
を含み、
前記ミュート制御手段が、ミュートの状態としているか、全ミュートの状態としているか、またはミュートしていない状態としているかのいずれかを表す表示制御信号を出力する情報処理装置。 A plurality of peripheral devices used by a user, each connected to a plurality of peripheral devices each comprising an audio input means for outputting an audio signal representative of ambient audio;
means for receiving audio signals output by each peripheral device used by the user;
means for outputting an audio signal;
When a first mute instruction is received from any of the peripheral devices, the audio signal received from each of the peripheral devices is cut off to put in a mute state, and when a second mute instruction is received, audio is output. mute control means for setting all mute states to stop outputting audio signals to devices that perform
including
The information processing apparatus, wherein the mute control means outputs a display control signal indicating any of a mute state, a full mute state, and a non-muted state.
周囲の音声を集音し、当該集音した音声を表す音声信号を出力する手段と、
前記情報処理装置に対してミュートの指示を出力する手段と、
前記情報処理装置から、当該情報処理装置が前記各周辺装置から受け入れた音声信号を遮断するミュートの状態か、音声出力を行うデバイスに対しての音声信号の出力を停止する全ミュートの状態か、またはミュートしていない状態かのいずれかを表す表示制御信号を受け入れて当該表示制御信号に基づいて表示部を制御する手段と、
を備えるコントローラ。 A controller as a peripheral device connected to an information processing device connected to a plurality of peripheral devices and provided with mute control means for blocking an audio signal received from each peripheral device when a mute instruction is received, the controller comprising: ,
means for collecting ambient sound and outputting an audio signal representing the collected sound;
means for outputting a mute instruction to the information processing device;
From the information processing device, either a mute state in which the information processing device blocks audio signals received from the peripheral devices , or a full mute state in which audio signal output to a device that outputs audio is stopped ; means for receiving a display control signal representing either a non-muted state or a non-muted state, and for controlling the display unit based on the display control signal;
A controller with
前記周辺装置は、それぞれ、周囲の音声を表す音声信号を出力する音声入力手段を備え、
前記情報処理装置は、前記ユーザが使用する各周辺装置が出力する音声信号を受け入れる手段と、
音声信号を出力する手段と、
前記周辺装置のいずれかから、第1のミュートの指示を受けたときに、前記各周辺装置から受け入れた音声信号を遮断してミュートの状態とし、第2のミュートの指示を受けると、音声出力を行うデバイスに対しての音声信号の出力を停止する全ミュートの状態とするミュート制御手段と、
を含み、
前記ミュート制御手段が、ミュートの状態としているか、全ミュートの状態としているか、またはミュートしていない状態としているかのいずれかを表す表示制御信号を前記周辺装置へ出力する
情報処理システム。 An information processing system including a plurality of peripheral devices used by a user and an information processing device,
each of the peripheral devices includes audio input means for outputting an audio signal representing ambient audio;
The information processing device includes means for receiving audio signals output from each peripheral device used by the user;
means for outputting an audio signal;
When a first mute instruction is received from any of the peripheral devices, the audio signal received from each of the peripheral devices is cut off to put in a mute state, and when a second mute instruction is received, audio is output. mute control means for setting all mute states to stop outputting audio signals to devices that perform
including
The information processing system, wherein the mute control means outputs to the peripheral device a display control signal indicating a mute state, a fully mute state, or an unmuted state.
この情報処理装置は、音声信号を出力する手段と、制御部とを備え、
前記制御部が、前記ユーザが使用する各周辺装置が出力する音声信号を受け入れる工程と、
前記周辺装置のいずれかから、第1のミュートの指示を受けたときに、前記各周辺装置から受け入れた音声信号を遮断してミュートの状態とし、第2のミュートの指示を受けると、音声出力を行うデバイスに対しての音声信号の出力を停止する全ミュートの状態とする工程と、
ミュートの状態としているか、全ミュートの状態としているか、またはミュートしていない状態としているかのいずれかを表す表示制御信号を前記周辺装置へ出力する工程と、
を実行する情報処理装置の制御方法。 A control method for an information processing apparatus connected to a plurality of peripheral devices used by a user, each of which has an audio input means for outputting an audio signal representing ambient audio,
This information processing device comprises means for outputting an audio signal and a control section,
a step in which the control unit receives an audio signal output by each peripheral device used by the user;
When a first mute instruction is received from any of the peripheral devices, the audio signal received from each of the peripheral devices is cut off to put in a mute state, and when a second mute instruction is received, audio is output. a step of muting all devices to stop outputting audio signals to a device that performs
outputting to the peripheral device a display control signal indicating a muted state, a fully muted state, or an unmuted state;
A control method for an information processing device that executes
前記ユーザが使用する各周辺装置が出力する音声信号を受け入れる手段と、
前記周辺装置のいずれかから、第1のミュートの指示を受けたときに、前記各周辺装置から受け入れた音声信号を遮断してミュートの状態とし、第2のミュートの指示を受けると、音声出力を行うデバイスに対しての音声信号の出力を停止する全ミュートの状態とするミュート制御手段と、
ミュートの状態としているか、全ミュートの状態としているか、またはミュートしていない状態としているかのいずれかを表す表示制御信号を前記周辺装置へ出力する手段と、
として機能させるプログラム。
A plurality of peripheral devices used by a user, each of which is connected to a plurality of peripheral devices each provided with an audio input means for outputting an audio signal representing ambient audio, and an information processing apparatus provided with means for outputting an audio signal ,
means for receiving audio signals output by each peripheral device used by the user;
When a first mute instruction is received from any of the peripheral devices, the audio signal received from each of the peripheral devices is cut off to put in a mute state, and when a second mute instruction is received, audio is output. mute control means for setting all mute states to stop outputting audio signals to devices that perform
means for outputting a display control signal indicating a muted state, a fully muted state, or an unmuted state to the peripheral device;
A program that acts as a
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019086344 | 2019-04-26 | ||
JP2019086344 | 2019-04-26 | ||
PCT/JP2020/016481 WO2020218095A1 (en) | 2019-04-26 | 2020-04-14 | Information processing system, controller, information processing device, method for controlling information processing device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020218095A1 JPWO2020218095A1 (en) | 2021-10-21 |
JP7220780B2 true JP7220780B2 (en) | 2023-02-10 |
Family
ID=72942497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021516025A Active JP7220780B2 (en) | 2019-04-26 | 2020-04-14 | Information processing system, controller, information processing device, control method for information processing device, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7220780B2 (en) |
WO (1) | WO2020218095A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070021205A1 (en) | 2005-06-24 | 2007-01-25 | Microsoft Corporation | Voice input in a multimedia console environment |
JP2010283719A (en) | 2009-06-08 | 2010-12-16 | Lenovo Singapore Pte Ltd | Mute control of microphone |
JP2017102516A (en) | 2015-11-30 | 2017-06-08 | セイコーエプソン株式会社 | Display device, communication system, control method for display device and program |
US20170206054A1 (en) | 2016-01-14 | 2017-07-20 | Performance Designed Products Llc | Gaming peripheral with built-in audio support |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003224643A (en) * | 2002-01-30 | 2003-08-08 | Matsushita Electric Ind Co Ltd | Cordless headset |
-
2020
- 2020-04-14 WO PCT/JP2020/016481 patent/WO2020218095A1/en active Application Filing
- 2020-04-14 JP JP2021516025A patent/JP7220780B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070021205A1 (en) | 2005-06-24 | 2007-01-25 | Microsoft Corporation | Voice input in a multimedia console environment |
JP2010283719A (en) | 2009-06-08 | 2010-12-16 | Lenovo Singapore Pte Ltd | Mute control of microphone |
JP2017102516A (en) | 2015-11-30 | 2017-06-08 | セイコーエプソン株式会社 | Display device, communication system, control method for display device and program |
US20170206054A1 (en) | 2016-01-14 | 2017-07-20 | Performance Designed Products Llc | Gaming peripheral with built-in audio support |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020218095A1 (en) | 2021-10-21 |
WO2020218095A1 (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8064972B2 (en) | User interface for wireless headset on a gaming console | |
US20080146290A1 (en) | Changing a mute state of a voice call from a bluetooth headset | |
JP2005519555A (en) | A method, apparatus, and system for providing a single user interface to a plurality of devices. | |
US10306366B2 (en) | Audio system, audio device, and audio signal playback method | |
US9716947B1 (en) | Headset audio system | |
JP2014515140A (en) | System and apparatus for controlling a user interface comprising a bone conduction transducer | |
JP7220780B2 (en) | Information processing system, controller, information processing device, control method for information processing device, and program | |
JP7189334B2 (en) | Information processing system, information processing device, control method for information processing device, and program | |
JP7170851B2 (en) | Information processing system, information processing device, control method for information processing device, and program | |
US20170318386A1 (en) | Audio Device and Method of Controlling Audio Device | |
US10681483B2 (en) | Sound processing apparatus and method | |
JP7388061B2 (en) | Sound signal processing method, sound signal processing system, and program | |
JP2022063332A (en) | Controller device and control method thereof | |
US11524224B2 (en) | Operating device | |
EP2835984A1 (en) | Audio system | |
JP2012248990A (en) | Electronic apparatus and video telephone method | |
JP4324134B2 (en) | Communication system and communication terminal device | |
JP2007110477A (en) | Volume recognition talkback device | |
JP2024036087A (en) | Conference system, server, audio output method, and user terminal | |
JP2023097781A (en) | Audio processing system and audio processing method | |
JP2007259236A (en) | Portable electronic equipment and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221118 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221118 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221130 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7220780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |