JP6229071B2 - 制御装置、制御方法、プログラム及び情報記憶媒体 - Google Patents

制御装置、制御方法、プログラム及び情報記憶媒体 Download PDF

Info

Publication number
JP6229071B2
JP6229071B2 JP2016555123A JP2016555123A JP6229071B2 JP 6229071 B2 JP6229071 B2 JP 6229071B2 JP 2016555123 A JP2016555123 A JP 2016555123A JP 2016555123 A JP2016555123 A JP 2016555123A JP 6229071 B2 JP6229071 B2 JP 6229071B2
Authority
JP
Japan
Prior art keywords
voice
program
output
received
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016555123A
Other languages
English (en)
Other versions
JPWO2016063621A1 (ja
Inventor
啓悟 田村
啓悟 田村
徹 小木曽
徹 小木曽
俊雅 青木
俊雅 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2016063621A1 publication Critical patent/JPWO2016063621A1/ja
Application granted granted Critical
Publication of JP6229071B2 publication Critical patent/JP6229071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/209Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform characterized by low level software layer, relating to hardware management, e.g. Operating System, Application Programming Interface
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Description

本発明は、制御装置、制御方法、プログラム及び情報記憶媒体に関する。
ユーザが入力した音声を受け付けて、当該音声の認識結果に応じたコマンドを特定し、特定されるコマンドに応じた処理を実行する技術が存在する。
ゲームコンソールやパーソナルコンピュータなどといった情報処理装置に複数のプログラムがインストールされていることがある。例えば情報処理装置に、オペレーティングシステム等のシステムプログラムとともに、システムプログラムとは別に実行されるゲームプログラムがインストールされていることがある。そして情報処理装置にインストールされている複数のプログラムのいずれもが、受け付ける音声を利用した処理が実行可能であることがある。
例えば情報処理装置にインストールされているシステムプログラムもゲームプログラムも、受け付けた音声の認識結果に応じたコマンドを特定し、特定されるコマンドに応じた処理を実行できることとする。そして同一の音声に対応付けられるコマンドがシステムプログラム及びゲームプログラムにおいて独立して設定されている、すなわちコマンドの競合が発生していることとする。この場合には、当該音声を受け付けた際に、システムプログラム及びゲームプログラムにおいてそれぞれ個別にコマンドの特定が可能であり、その結果、システムプログラム及びゲームプログラムにおいてそれぞれ個別に処理の実行が可能となる。そのため例えばユーザがシステムプログラムにおける処理を実行しようとしていたのに、当該処理だけではなくゲームプログラムにおける処理が実行されてしまうおそれがある。
このように、入力される音声を利用した処理が実行可能な複数のプログラムがインストールされている情報処理装置においては、音声の入力に応じて所望の処理とは異なる処理が実行されるおそれがある。
本発明は上記課題に鑑みてなされたものであって、その目的の1つは、音声の入力に応じて所望の処理とは異なる処理が実行されることを防止できる制御装置、制御方法、プログラム及び情報記憶媒体を提供することにある。
上記課題を解決するために、本発明に係る制御装置は、音声を受け付ける音声受付部と、前記音声受付部が受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるよう制御する出力制御部と、を含み、前記出力制御部は、前記音声受付部が受け付ける音声が所与の情報を表すことが認識された場合に、その後に前記音声受付部が受け付ける音声が前記プログラムに出力されないよう制御する。
また、本発明に係る制御方法は、音声を受け付けるステップと、受け付ける音声が当該音声を利用するプログラムに出力されるよう制御するステップと、受け付ける音声が所与の情報を表すことが認識された場合に、その後に受け付ける音声が前記プログラムに出力されないよう制御するステップと、を含む。
また、本発明に係るプログラムは、音声を受け付ける手順、受け付ける音声が当該音声を利用するプログラムに出力されるよう制御する手順、受け付ける音声が所与の情報を表すことが認識された場合に、その後に受け付ける音声が前記プログラムに出力されないよう制御する手順、をコンピュータに実行させる。
また、本発明に係る情報記憶媒体は、音声を受け付ける手順、受け付ける音声が当該音声を利用するプログラムに出力されるよう制御する手順、受け付ける音声が所与の情報を表すことが認識された場合に、その後に受け付ける音声が前記プログラムに出力されないよう制御する手順、をコンピュータに実行させるプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。
本発明の一態様では、前記出力制御部は、前記音声受付部が受け付ける音声を示す音声データが、当該音声データを利用するプログラムに出力されるよう制御し、前記音声受付部が受け付ける音声が所与の情報を表すことが認識された場合に、その後は前記音声受付部が受け付ける音声を示す音声データの代わりに無音を表す音声データが前記プログラムに出力されるよう制御する。
また、本発明の一態様では、前記プログラムは、前記音声を認識する音声認識部とは別に独立して動作するプログラムである。
また、本発明の一態様では、前記出力制御部は、前記音声受付部が受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるか否かを、当該プログラムに設定されている優先度と、システムプログラムに設定されている優先度と、の比較結果に基づいて制御する。
本発明の一実施形態に係る情報処理システムの全体構成の一例を示す図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 プレイ画面の一例を示す図である。 プレイ画面の一例を示す図である。 本発明の一実施形態に係る情報処理装置で動作するプログラムの一例を説明する説明図である。 優先度データの一例を示す図である。 優先度データの一例を示す図である。 本発明の一実施形態に係る情報処理装置で実現される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る情報処理システム10の全体構成の一例を示す図である。図1に示すように、本実施形態に係る情報処理システム10は、情報処理装置12とディスプレイ14とカメラマイクユニット16とコントローラ18とを含んでいる。
本実施形態に係る情報処理装置12は、例えばゲームコンソールなどといったエンタテインメント装置等のコンピュータであり、例えば図2に示すように、制御部20、記憶部22、通信部24、入出力部26を含んでいる。制御部20は、例えば情報処理装置12にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。本実施形態に係る制御部20には、CPUから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するGPU(Graphics Processing Unit)も含まれている。記憶部22は、例えばROMやRAM等の記憶素子やハードディスクドライブなどである。記憶部22には、制御部20によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部22には、GPUにより画像が描画されるフレームバッファの領域が確保されている。通信部24は、例えばイーサネット(登録商標)モジュールや無線LANモジュールなどの通信インタフェースなどである。入出力部26は、HDMI(登録商標)(High-Definition Multimedia Interface)ポートやUSBポートなどの入出力ポートである。
本実施形態に係るディスプレイ14は、液晶ディスプレイ等であり、情報処理装置12が生成する画面などを表示させる。また、本実施形態に係るディスプレイ14は、情報処理装置12が生成する音声データが表す音声を出力するスピーカも備えている。本実施形態に係るカメラマイクユニット16は、例えば被写体を撮像した画像を情報処理装置12に出力するカメラ16a及び周囲の音声を取得して当該音声を音声データに変換して情報処理装置12に出力するマイク16bを含んでいる。
情報処理装置12とディスプレイ14とは、例えば、AVケーブルや、HDMIケーブル等を介して接続されている。情報処理装置12とカメラマイクユニット16とは、例えば、USBケーブルや、AVケーブルや、HDMIケーブル等を介して接続されている。
本実施形態に係るコントローラ18は、情報処理装置12に対する操作入力を行うための操作入力装置である。本実施形態に係るコントローラ18には、例えばボタン、タッチパネル、操作スティックなどの操作子が設けられている。また、本実施形態に係るコントローラ18は、角速度を検出するジャイロセンサ、加速度を検出する加速度センサ等のセンサを備えている。また、本実施形態に係るコントローラ18はジャックを備えており、当該ジャックにマイクが備えるプラグを差し込むことにより、当該マイクによる音声入力も行うことができるようになっている。コントローラ18に差し込まれたマイクに入力された音声はコントローラ18で音声データに変換されて情報処理装置12に出力される。
本実施形態では、カメラマイクユニット16が備えるマイク16b又はコントローラ18に接続されたマイクにユーザが音声を入力することにより、情報処理装置12は当該音声を認識する。そして本実施形態に係る情報処理装置12では、認識が成功した場合に、当該情報処理装置12に入力される音声(当該情報処理装置12が受け付ける音声)の認識結果に応じたコマンドの特定が可能となっている。そして本実施形態に係る情報処理装置12は、特定されたコマンドに応じた処理を実行する。このようにして本実施形態では、ユーザは音声によって情報処理装置12に対する操作を行えるようになっている。なお本実施形態では、コントローラ18のジャックにマイクのプラグが差し込まれている際には、当該マイクに入力された音声の認識結果をカメラマイクユニット16が備えるマイク16bに入力された音声の認識結果よりも優先して取り扱うようになっている。
またユーザは、ボタンを押下したり、操作スティックを傾けたりすることで、コントローラ18を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ18は、操作入力に対応付けられる入力データを情報処理装置12に出力する。
また、本実施形態に係るコントローラ18は、USBポートを備えている。コントローラ18は、USBケーブルで情報処理装置12と接続することで、入出力部26を介して有線で入力データを情報処理装置12に出力することができる。また、本実施形態に係るコントローラ18は、無線通信モジュール等を備えており、通信部24を介して無線で入力データを情報処理装置12に出力することができるようにもなっている。
図3は、本実施形態に係る情報処理装置12のユーザがプレイするゲームのプレイ内容を表すプレイ画面30の一例を示す図である。本実施形態に係る情報処理装置12には、システムプログラム40とゲームプログラム42とがインストールされている(図5参照)。そして図3に示すプレイ画面30がディスプレイ14に表示されている際には、ユーザは当該ゲームに関するコマンドを音声により入力することができるようになっている。ここでのゲームに関するコマンドとは、例えば音声の入力に応じてゲームプログラム42で対応する処理が実行されるコマンドを指すこととする。ユーザにより音声が入力された際には、ゲームプログラム42は、当該音声に応じたコマンドを特定し、当該コマンドに応じた、ゲームに関する処理を実行する。本実施形態では例えば、図3に示すプレイ画面30がディスプレイ14に表示されている際に、「ホーム画面」との語句を表す音声が入力された際には、ディスプレイ14に表示された画面は、当該ゲームにおけるホーム画面に切り替わる。
ここで例えば情報処理装置12が、例えば「音声認識開始」などといった、システムプログラム40における音声認識を開始するための所与の語句を表す音声を受け付けたとする。以下、システムプログラム40における音声認識を開始するための音声を表す所与の語句をマジックワードと呼ぶこととする。すると本実施形態では、表示されているプレイ画面30が、図4に示す状態に切り替わる。図4に示す状態では、プレイ画面30に、入力すべき音声をユーザに案内するための音声入力案内画像32が配置されている。音声入力案内画像32には、システムに関するコマンドを表す語句が配置されている。ここでのシステムに関するコマンドとは、例えば音声の入力に応じて対応する処理がシステムプログラム40で実行されるコマンドを指すこととする。
本実施形態では、プレイ画面30に音声入力案内画像32が配置されている際には、ユーザが音声入力案内画像32に配置されている語句を表す音声を入力すると、システムプログラム40は、当該音声の認識結果に基づいて当該音声が表すコマンドを特定する。そしてシステムプログラム40は、当該コマンドに応じた処理を実行する。例えば図4の例では情報処理装置12が「ホーム画面」との語句を表す音声を受け付けた際には、ディスプレイ14に表示された画面は、情報処理装置12で実行されるプログラムを選択するメニューが配置された、システムにおけるホーム画面に切り替わる。当該ホーム画面は、システムプログラム40によって生成される画面である。
また、本実施形態に係る情報処理装置12では、音声入力案内画像32に語句が配置されていないシステムに関するコマンドについても、当該コマンドを表す音声が入力された場合には、当該コマンドに応じた処理が実行される。例えば図4に例示するプレイ画面30が表示されている際に「スクリーンショットを撮る」との語句を表す音声が入力された場合には、プレイ画面30の表示内容を静止画像としてキャプチャしたキャプチャ画像が情報処理装置12の記憶部22に保存される。
なおシステムに関するコマンドは上述した、システムにおけるホーム画面を表示させるコマンドやスクリーンショットを撮るコマンドには限定されない。例えば、ゲームのプレイ内容を表す動画像のブロードキャストを行うためのコマンド、ビデオクリップを保存するためのコマンド、ログインするためのコマンド、などもシステムに関するコマンドに該当する。
そして本実施形態では、図4に示すプレイ画面30が表示されている状態で所定時間以上、所定の音量よりも大きな音量の音声が入力されなかった場合には、表示されているプレイ画面30が、図3に示す状態に切り替わる。
上述のように本実施形態では「ホーム画面」とのコマンドがゲームプログラム42とシステムプログラム40とで競合している。ここで例えば図4に示すプレイ画面30がディスプレイ14に表示されている際にユーザがゲームに関するコマンドを音声で入力した場合に、ゲームプログラム42が当該音声に応じた処理を実行すると仮定する。そうすると、例えば図4に示すプレイ画面30がディスプレイ14に表示されている際に「ホーム画面」との語句を表す音声が入力された場合に、ディスプレイ14に表示された画面が、当該ゲームにおけるホーム画面には切り替わるおそれがある。こうなると、システムにおけるホーム画面を表示させるという所望の処理が実行されないこととなる。
そこで本実施形態では、図4に示すプレイ画面30がディスプレイ14に表示されている際にはユーザがゲームに関するコマンドを音声で入力しても、ゲームプログラム42は当該音声に応じた処理を実行しないようになっている。そのため例えば図4の例では情報処理装置12が「ホーム画面」との語句を表す音声を受け付けた際には、ディスプレイ14に表示された画面は、システムにおけるホーム画面に確実に切り替わる。
一方本実施形態では、図3に示すプレイ画面30がディスプレイ14に表示されている際にはユーザがシステムに関するコマンドを音声で入力しても、システムプログラム40は当該音声に応じた処理を実行しないようになっている。
このようにして本実施形態によれば、音声の入力に応じて所望の処理とは異なる処理が実行されることを防止できることとなる。
以下、図5を参照しながら上述の制御についてさらに説明する。
図5は、本実施形態に係る情報処理装置12で動作するプログラムの一例を説明する説明図である。上述のように本実施形態に係る情報処理装置12には、システムプログラム40とゲームプログラム42とがインストールされている。本実施形態ではシステムプログラム40とゲームプログラム42とは独立しており、ゲームプログラム42はシステムプログラム40上で動作する。システムにおけるホーム画面は、情報処理装置12がシステムプログラム40を実行することで生成されてディスプレイ14に表示される。また本実施形態では図3、図4に例示するプレイ画面30、ゲームにおけるホーム画面は、情報処理装置12がゲームプログラム42を実行することにより生成されてディスプレイ14に表示される。
図5に示すように、本実施形態に係るシステムプログラム40は、例えば、ボイスチャットモジュール50、オーディオドライバ52、ポート管理モジュール54、音声認識エンジン56、を含んで構成されている。なお本実施形態に係るシステムプログラム40には、他のモジュールが含まれていてもよい。
本実施形態に係るゲームプログラム42がマイクを使用するプログラムである場合には、当該ゲームプログラム42は、どのような用途でマイクを使用するかを示すポートタイプ情報がオーディオドライバ52に出力されるよう実装される。本実施形態に係るポートタイプ情報は「音声認識」、「ボイスチャット」、「一般」のいずれかの値をとることとする。例えば上述のようにゲームプログラム42において、入力された音声に応じたゲームに関するコマンドの特定、及び、当該コマンドに応じた処理の実行が行われることとする。この場合には、当該ゲームプログラム42は、値が「音声認識」であるポートタイプ情報がオーディオドライバ52に出力されるよう実装される。またゲームプログラム42においてボイスチャットを行う場合には、当該ゲームプログラム42は、値が「ボイスチャット」であるポートタイプ情報がオーディオドライバ52に出力されるよう実装される。またゲームプログラム42が例えばカラオケのゲームのプログラムであって入力された音声を増幅させてスピーカから出力させる場合には、当該ゲームプログラム42は、値が「一般」であるポートタイプ情報がオーディオドライバ52に出力されるよう実装される。以下の説明においては、ゲームプログラム42は、値が「音声認識」であるポートタイプ情報がオーディオドライバ52に出力されるよう実装されることとする。
ボイスチャットモジュール50は、情報処理装置12のユーザが他のユーザとの音声によるチャットを行うためのモジュールである。本実施形態では、アプリケーションプログラムがシステムプログラム40の一部として含まれており、ボイスチャットモジュール50は、そのようなアプリケーションプログラムの一例である。なおシステムプログラム40に、ボイスチャットモジュール以外のアプリケーションプログラムが含まれていてもよい。
本実施形態ではボイスチャットモジュール50も、ゲームプログラム42と同様にポートタイプ情報がオーディオドライバ52に出力されるよう実装されていることとする。ここでは例えば、ボイスチャットモジュール50は、値が「ボイスチャット」であるポートタイプ情報がオーディオドライバ52に出力されるよう実装されることとする。
オーディオドライバ52は、本実施形態では例えば、情報処理装置12にマイク16bやコントローラ18に接続されたマイクを介して入力された音声を受け付けるドライバである。本実施形態では例えば、マイク16bやコントローラ18に接続されたマイクは、受け付けた音声を音声データに変換する。そしてオーディオドライバ52は、このようにして変換された音声データを受け付ける。そして本実施形態に係るオーディオドライバ52は、受け付けた音声データを、ゲームプログラム42、ボイスチャットモジュール50、音声認識エンジン56に出力することができるようになっている。ゲームプログラム42、ボイスチャットモジュール50、音声認識エンジン56のそれぞれは、音声データを受け付けた際に、当該音声データを用いて各種の処理を実行する。
またオーディオドライバ52は、本実施形態では、プログラムからポートタイプ情報を受け付けると、当該ポートタイプ情報を当該プログラムの識別情報に関連付けて、ポート管理モジュール54に出力する。そしてポート管理モジュール54は、プログラムの識別情報に関連付けられたポートタイプ情報を保持する。
ポート管理モジュール54は、本実施形態では例えば、オーディオドライバ52による音声データの出力を制御するプログラムである。本実施形態では、ポート管理モジュール54は、オーディオドライバ52による音声データの出力先となるプログラムが利用するポートのステータスを示すステータス情報をオーディオドライバ52に出力する。本実施形態では例えば、音声データの出力先となるプログラムの識別情報が、当該プログラムが利用するポートのステータスを示すステータス情報に関連付けられていることとする。なお本実施形態における音声データの出力先は、ゲームプログラム42、ボイスチャットモジュール50、音声認識エンジン56である。
またポート管理モジュール54は、本実施形態では、最後に出力されたステータス情報、すなわち最新のステータスを示すステータス情報を保持する。
オーディオドライバ52は、ポート管理モジュール54から出力されるステータス情報を受け付けると、当該ステータス情報が示すステータスに応じて、当該ステータスに関連付けられているプログラムへの音声データの供給を制御する。
例えばオーディオドライバ52が、値が「1」であるステータス情報をポート管理モジュール54から受け付けたとする。この場合、オーディオドライバ52は、本実施形態では、当該ステータス情報に関連付けられているプログラムに、マイクから受け付けた音声を示す音声データを出力することとする。一方例えばオーディオドライバ52が、値が「0」であるステータス情報をポート管理モジュール54から受け付けたとする。この場合、オーディオドライバ52は、本実施形態では、当該ステータス情報に関連付けられているプログラムにマイクから受け付けた音声を示す音声データを出力しないこととする。
そして本実施形態では、マイクから受け付けた音声を示す音声データがプログラムに出力されない場合は、その代わりに、無音を表す音声データが当該プログラムに出力される。そのため本実施形態では、音声データの出力先となるプログラムにおいて、マイクから受け付けた音声を示す音声データがプログラムに出力されないよう制御される場合に対応するための特別な実装を行う必要がない。従って音声データの出力先となるプログラムの実装が複雑になることを防ぐことができる。なお、マイクから受け付けた音声を示す音声データがプログラムに出力されない場合は、当該プログラムへの音声データの出力自体が行われないようにしても構わない。
音声認識エンジン56は、例えば公知の音声認識エンジン56であって、オーディオドライバ52から受け付けた音声データを認識して、当該音声データが示す音声の認識が成功した場合には、音声の認識結果に応じたコマンドを特定する。本実施形態では、音声認識エンジン56は、システムに関するコマンドを特定する。
一方音声の入力に応じたゲームに関するコマンドの特定は、本実施形態では、音声認識エンジン56とは別に独立して動作するプログラムで行われる。本実施形態では例えば、ゲームに関するコマンドの特定は、ゲームプログラム42の一部として音声認識エンジン56とは別に実装されている、音声の認識結果に応じたコマンドの特定が可能なモジュールで行われることとする。
そして本実施形態では上述したように、情報処理装置12が、マジックワードを表す音声を受け付けた際には、オーディオドライバ52が当該音声を示す音声データを受け付ける。そして当該音声データは上述のように音声認識エンジン56に出力される。すると本実施形態では、音声認識エンジン56は、システムプログラム40における音声認識を開始させるためのステータス制御情報をポート管理モジュール54に出力する。
するとポート管理モジュール54は、音声認識エンジン56から受け付けたステータス制御情報に基づいて、最新のステータス情報の値を決定する。ポート管理モジュール54が保持しているステータス情報の値はこのようにして決定される値に更新される。そしてポート管理モジュール54は、決定された最新の値が設定されたステータス情報をオーディオドライバ52に出力する。オーディオドライバ52は、当該ステータス情報が示すステータスに応じて、当該ステータスに関連付けられているプログラムへの音声データの供給を制御する。
本実施形態ではステータス情報の値の決定は、図6A及び図6Bに例示する優先度データに基づいて行われる。図6Aは、図3に例示するプレイ画面が表示されている際における優先度データの一例を示す図である。図6Bは、図4に例示するプレイ画面が表示されている際における優先度データの一例を示す図である。
図6A及び図6Bに示すように、優先度データは、音声データの出力先となるプログラムに対応付けられている。そして優先度データは、共有可否情報と、優先度情報と、を含んでいる。共有可否情報は、他のプログラムにも音声データが出力されることを許可するか否かを示す情報である。本実施形態では例えば、他のプログラムにも音声データが出力されることを許可するプログラムについては共有可否情報の値として「共有」が設定される。一方本実施形態では例えば、他のプログラムにも音声データが出力されることを許可しないプログラムについては共有可否情報の値として「専有」が設定される。優先度情報は、音声データの出力を優先させる程度を示すデータであり、値が大きいほど音声データが優先して出力される。
なお、ポート管理モジュール54が受け付ける上述のポートタイプ情報に基づいて、当該ポートタイプ情報に関連付けられているプログラムの共有可否情報の値、及び、優先度情報の値が決定されても構わない。また図6A及び図6Bの例では、ボイスチャットモジュール50の優先度情報の値が、ゲームプログラム42の優先度情報の値よりも大きいが、ゲームプログラム42の優先度情報の値が、ボイスチャットモジュール50の優先度情報の値よりも大きくても構わない。
図6Aの例では、優先度情報の値が最も大きいボイスチャットモジュール50もその次に大きいゲームプログラム42も、共有可否情報の値が「共有」である。そのため、この場合はシステムプログラム40も含む3つのプログラムのすべてにオーディオドライバ52から音声データが出力されるよう制御される。すなわち、値が「1」であるステータス情報がポート管理モジュール54からオーディオドライバ52に出力される。
ここで上述のように、ポート管理モジュール54がシステムプログラム40における音声認識を開始させるためのステータス制御情報を音声認識エンジン56から受け付けたとする。この場合は、ポート管理モジュール54は、システムプログラム40の優先度の値を10から40に変更する。図6Bには、当該変更後の優先度データが示されている。こうなると、優先度情報の値が最も大きいプログラムはシステムプログラム40となる。そしてシステムプログラム40の共有可否情報の値は「専有」である。従ってこの場合は、オーディオドライバ52がマイクから受け付けた音声を示す音声データをボイスチャットモジュール50及びゲームプログラム42に出力しないよう制御されることとなる。すなわち、ボイスチャットモジュール50に関連付けられた、値が「0」であるステータス情報、及び、ゲームプログラム42に関連付けられた、値が「0」であるステータス情報がポート管理モジュール54からオーディオドライバ52に出力されることとなる。なおこの場合、上述のようにオーディオドライバ52が無音を表す音声データを出力しても構わない。
なお特定のプログラムの優先度情報の値を上げるための音声を表す所与の語句を表す音声を受け付けた際に、当該プログラムの優先度情報の値が増加するようにしてもよい。
また優先度情報の値が数値ではなく、例えば「高」、「中」、「低」などのランクを示していてもよい。そして優先度情報が示すランクが最も高いプログラムにオーディオドライバ52から音声データが出力されるよう制御されても構わない。なお優先度情報が示すランクが最も高いプログラムが複数存在する場合は、当該複数のプログラムにオーディオドライバ52から音声データが出力されるよう制御されても構わない。
また例えば、優先度データが、音声データの出力先となるプログラムの種類に対応付けられていてもよい。そして、音声データの出力先となるプログラムの種類に対応付けられる優先度データに基づいて、当該プログラムのステータス情報の値が決定されてもよい。
また図6Aの例においてシステムプログラム40の共有可否情報の値が「共有」であってもよい。そして上述のステータス制御情報の受付に応じて、システムプログラム40の共有可否情報の値が「専有」に変更されるとともにシステムプログラム40の優先度の値を10から40に変更されてもよい。
なおステータス情報の値の決定の方法は上述のものには限定されない。例えば、上述のステータス制御情報を音声認識エンジン56から受け付けた際に、ポートタイプ情報の値が「音声認識」であるプログラムには、オーディオドライバ52がマイクから受け付けた音声を示す音声データが出力されないよう制御されても構わない。こうすれば当該プログラムとシステムプログラム40との間での音声認識におけるコマンドが競合することを防ぐことができる。
また例えば、上述のステータス制御情報を音声認識エンジン56から受け付けた際に、ポートタイプ情報の値が「ボイスチャット」であるプログラムには、マイクから受け付けた音声を示す音声データが出力されないよう制御されても構わない。こうすればボイスチャットの相手のユーザが使用する情報処理装置12に、システムプログラム40による音声認識におけるコマンドが出力されることを防ぐことができる。
以下、音声データの出力制御に関して、情報処理装置12で実装される機能及び情報処理装置12で行われる処理についてさらに説明する。
図7は、音声データの出力制御に関して、本実施形態に係る情報処理装置12で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置12で、図7に示す機能のすべてが実装される必要はなく、また、図7に示す機能以外の機能が実装されていても構わない。
本実施形態に係る情報処理装置12は、図7に示すように、機能的には例えば、音声受付部60、音声出力部62、音声認識部64、実行部66、優先度データ記憶部68、優先度変更部70、出力制御部72、を含んでいる。音声受付部60、出力制御部72は、入出力部26を主として実装される。音声出力部62、音声認識部64、実行部66、優先度変更部70は、制御部20を主として実装される。優先度データ記憶部68は、記憶部22を主として実装される。
音声受付部60、音声出力部62の機能は、例えば図5におけるオーディオドライバ52で実装される機能に相当する。優先度データ記憶部68、優先度変更部70、出力制御部72の機能は、例えば図5におけるポート管理モジュール54で実装される機能に相当する。音声認識部64の機能は、たとえば図5における音声認識エンジン56で実装される機能に相当する。
そして、以上の機能は、コンピュータである情報処理装置12にインストールされた、以上の機能に対応する指令を含むプログラムを制御部20で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置12に供給される。
音声受付部60は、本実施形態では、音声を受け付ける。
音声出力部62は、本実施形態では、音声受付部60が受け付ける音声を、当該音声を利用した処理を実行可能なプログラムに出力する。以下、音声受付部60が受け付ける音声が出力される、当該音声を利用した処理を実行可能なプログラムをターゲットプログラムと呼ぶこととする。本実施形態では、ゲームプログラム42、ボイスチャットモジュール50、音声認識エンジン56(音声認識部64)が、ターゲットプログラムに相当する。当該音声を受け付けたターゲットプログラムは、当該音声データを用いて各種の処理を実行する。
音声認識部64は、本実施形態では、音声受付部60が受け付ける音声を認識して、当該音声に応じた、システムに関するコマンドを特定する。音声認識部64は、本実施形態では、音声出力部62から出力される音声を認識して、当該音声に応じた、システムに関するコマンドを特定する。
実行部66は、音声認識部64が特定したシステムに関するコマンドに応じた処理を実行する。
優先度データ記憶部68は、図6A及び図6Bに例示する優先度データを記憶する。
優先度変更部70は、音声認識部64がマジックワードを表す音声を認識した際に、優先度データ記憶部68に記憶されている優先度データを上述したように変更する。
出力制御部72は、音声受付部60が受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるよう制御する。出力制御部72は、本実施形態では例えば、上述のステータス情報を音声出力部62に出力する。また本実施形態では、出力制御部72は、音声受付部60が受け付ける音声が所与の情報を表すことが認識された場合に、その後に音声受付部60が受け付ける音声が、音声出力部62によってターゲットプログラムの少なくとも一部に出力されないよう制御する。例えば上述のように、出力制御部72は、マジックワードを表す音声が認識された場合に、その後に音声受付部60が受け付ける音声が、例えばゲームプログラム42等に出力されないよう制御してもよい。なおこのとき出力制御部72が、上述の通り、音声受付部60が受け付ける音声が出力されないよう制御されるターゲットプログラムに、音声受付部60が受け付ける音声を示す音声データの代わりに無音を表す音声データが出力されるよう制御してもよい。
また出力制御部72は、上述のように、音声受付部60が受け付ける音声がターゲットプログラムに出力されるか否かを、当該ターゲットプログラムに設定されている優先度と、システムプログラムに設定されている優先度と、の比較結果に基づいて制御してもよい。
ここで音声認識部64がマジックワードを表す音声を認識した際に、本実施形態に係る情報処理装置12で行われる処理の流れの一例を、図8に例示するフロー図を参照しながら説明する。
音声認識部64がマジックワードを表す音声を認識すると、音声認識部64は、システムプログラム40における音声認識を開始させるためのステータス制御情報を優先度変更部70に出力する(S101)。すると、優先度変更部70は、当該ステータス制御情報に基づいて優先度データ記憶部68に記憶されている優先度データを変更する(S102)。すると、出力制御部72が、更新された優先度データに基づいてステータス情報の値を決定する(S103)。そして、出力制御部72が、決定された値が設定されたステータス情報を音声出力部62に出力する(S104)。すると、当該ステータス情報を受け付けた音声出力部62は、当該ステータス情報が示すステータスに応じて音声データのターゲットプログラムへの出力を行う(S105)。そして本処理例に示す処理は終了される。
なお、本発明は上述の実施形態に限定されるものではない。
例えば、情報処理装置12が、カメラ16aやマイク16bを備えた携帯型ゲーム装置であってもよい。また、情報処理装置12は、パーソナルコンピュータ、タブレット端末、スマートフォン、ヘッドマウントディスプレイなどであっても構わない。
また、情報処理装置12、ディスプレイ14、カメラマイクユニット16、の役割分担は上述のものに限定されない。また、情報処理装置12が複数の筐体から構成されていてもよい。
また、上記の具体的な文字列や数値、図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (7)

  1. 音声を受け付ける音声受付部と、
    前記音声受付部が受け付ける音声を示す音声データが、当該音声データを利用するプログラムに出力されるよう制御する出力制御部と、を含み、
    前記出力制御部は、前記音声受付部が受け付ける音声が所与の情報を表すことが認識された場合に、その後は前記音声受付部が受け付ける音声を示す音声データの代わりに無音を表す音声データが前記プログラムに出力されるよう制御する、
    ことを特徴とする制御装置。
  2. 音声を受け付ける音声受付部と、
    前記音声受付部が受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるよう制御する出力制御部と、を含み、
    前記出力制御部は、
    前記音声受付部が受け付ける音声が所与の情報を表すことが認識された場合に、その後に前記音声受付部が受け付ける音声が前記プログラムに出力されないよう制御し、
    前記音声受付部が受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるか否かを、当該プログラムに設定されている優先度と、システムプログラムに設定されている優先度と、の比較結果に基づいて制御する、
    ことを特徴とする制御装置。
  3. 前記プログラムは、前記音声を認識する音声認識部とは別に独立して動作するプログラムである、
    ことを特徴とする請求項1又は2に記載の制御装置。
  4. 音声を受け付けるステップと、
    受け付ける音声を示す音声データが当該音声データを利用するプログラムに出力されるよう制御するステップと、
    受け付ける音声が所与の情報を表すことが認識された場合に、その後は受け付ける音声を示す音声データの代わりに無音を表す音声データが前記プログラムに出力されるよう制御するステップと、
    を含むことを特徴とする制御方法。
  5. 音声を受け付けるステップと、
    受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるよう制御するステップと、
    受け付ける音声が所与の情報を表すことが認識された場合に、その後に受け付ける音声が前記プログラムに出力されないよう制御するステップと、
    受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるか否かを、当該プログラムに設定されている優先度と、システムプログラムに設定されている優先度と、の比較結果に基づいて制御するステップと、
    を含むことを特徴とする制御方法。
  6. 音声を受け付ける手順、
    受け付ける音声を示す音声データが当該音声データを利用するプログラムに出力されるよう制御する手順、
    受け付ける音声が所与の情報を表すことが認識された場合に、その後は受け付ける音声を示す音声データの代わりに無音を表す音声データが前記プログラムに出力されるよう制御する手順、
    をコンピュータに実行させることを特徴とするプログラム。
  7. 音声を受け付ける手順、
    受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるよう制御する手順、
    受け付ける音声が所与の情報を表すことが認識された場合に、その後に受け付ける音声が前記プログラムに出力されないよう制御する手順、
    受け付ける音声が当該音声を利用した処理を実行可能なプログラムに出力されるか否かを、当該プログラムに設定されている優先度と、システムプログラムに設定されている優先度と、の比較結果に基づいて制御する手順、
    をコンピュータに実行させることを特徴とするプログラム。
JP2016555123A 2014-10-24 2015-08-27 制御装置、制御方法、プログラム及び情報記憶媒体 Active JP6229071B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014217762 2014-10-24
JP2014217762 2014-10-24
PCT/JP2015/074188 WO2016063621A1 (ja) 2014-10-24 2015-08-27 制御装置、制御方法、プログラム及び情報記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2016063621A1 JPWO2016063621A1 (ja) 2017-05-25
JP6229071B2 true JP6229071B2 (ja) 2017-11-08

Family

ID=55760669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016555123A Active JP6229071B2 (ja) 2014-10-24 2015-08-27 制御装置、制御方法、プログラム及び情報記憶媒体

Country Status (3)

Country Link
US (1) US10339928B2 (ja)
JP (1) JP6229071B2 (ja)
WO (1) WO2016063621A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580405B1 (en) * 2016-12-27 2020-03-03 Amazon Technologies, Inc. Voice control of remote device
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
JP6928882B2 (ja) * 2017-08-02 2021-09-01 パナソニックIpマネジメント株式会社 情報処理装置、音声認識システム、及び、情報処理方法
KR20200134544A (ko) 2019-05-22 2020-12-02 라인플러스 주식회사 대화방의 컨텐츠 저작권을 보호하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
CN111681654A (zh) * 2020-05-21 2020-09-18 北京声智科技有限公司 语音控制方法、装置、电子设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02272624A (ja) * 1989-04-13 1990-11-07 Nec Corp 聴覚情報入力管理方式
JP3725566B2 (ja) * 1992-12-28 2005-12-14 株式会社東芝 音声認識インターフェース
EP0607615B1 (en) * 1992-12-28 1999-09-15 Kabushiki Kaisha Toshiba Speech recognition interface system suitable for window systems and speech mail systems
JPH10222337A (ja) 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
JPH11337362A (ja) 1998-05-29 1999-12-10 Clarion Co Ltd ナビゲーションシステム及び方法並びにナビゲーション用ソフトウェアを記録した記録媒体
JP2001222293A (ja) 2000-02-08 2001-08-17 Ishida Co Ltd 商品処理装置
US6928329B1 (en) 2000-02-29 2005-08-09 Microsoft Corporation Enabling separate chat and selective enablement of microphone
EP1422936B1 (en) * 2001-08-28 2012-03-21 Panasonic Corporation Broadcast reception method
JP4107093B2 (ja) 2003-01-30 2008-06-25 株式会社日立製作所 対話型端末装置及び対話アプリケーション提供方法
JP2005027885A (ja) 2003-07-24 2005-02-03 ▲黄▼賢達 単音音声コントロールによる制御装置
US7931537B2 (en) 2005-06-24 2011-04-26 Microsoft Corporation Voice input in a multimedia console environment
JP5062171B2 (ja) * 2006-03-23 2012-10-31 日本電気株式会社 音声認識システム、音声認識方法および音声認識用プログラム
JP4940887B2 (ja) 2006-10-20 2012-05-30 富士通株式会社 音声入力支援プログラム、音声入力支援装置、音声入力支援方法
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8264422B1 (en) 2007-11-08 2012-09-11 Sprint Communications Company L.P. Safe head-up display of information
US8412531B2 (en) * 2009-06-10 2013-04-02 Microsoft Corporation Touch anywhere to speak
US8995625B2 (en) * 2009-09-30 2015-03-31 T-Mobile Usa, Inc. Unified interface and routing module for handling audio input
US9111538B2 (en) * 2009-09-30 2015-08-18 T-Mobile Usa, Inc. Genius button secondary commands
WO2013022218A2 (en) 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing user interface thereof
US9256396B2 (en) 2011-10-10 2016-02-09 Microsoft Technology Licensing, Llc Speech recognition for context switching
JP5326066B1 (ja) 2011-10-25 2013-10-30 オリンパスメディカルシステムズ株式会社 内視鏡手術システム
KR20130068303A (ko) 2011-12-15 2013-06-26 포항공과대학교 산학협력단 음성 명령 수행장치, 이를 구비한 이동 단말기 및 음성 명령 수행방법
JP2012185861A (ja) * 2012-07-03 2012-09-27 Toshiba Corp 操作装置及び操作方法
US9316400B2 (en) * 2013-09-03 2016-04-19 Panasonic Intellctual Property Corporation of America Appliance control method, speech-based appliance control system, and cooking appliance
JP5955299B2 (ja) 2013-11-08 2016-07-20 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法、プログラム及び情報記憶媒体
US9589567B2 (en) 2014-06-11 2017-03-07 Honeywell International Inc. Plant control system using voice as a control mechanism

Also Published As

Publication number Publication date
US10339928B2 (en) 2019-07-02
US20170287479A1 (en) 2017-10-05
WO2016063621A1 (ja) 2016-04-28
JPWO2016063621A1 (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6259530B2 (ja) 制御装置、制御方法、プログラム及び情報記憶媒体
JP6229071B2 (ja) 制御装置、制御方法、プログラム及び情報記憶媒体
JP5955299B2 (ja) 表示制御装置、表示制御方法、プログラム及び情報記憶媒体
JP6405316B2 (ja) エンタテインメント装置、表示制御方法、プログラム及び情報記憶媒体
US10063804B2 (en) Display apparatus and method for controlling display of display apparatus
JP6383409B2 (ja) 案内装置、案内方法、プログラム及び情報記憶媒体
US20190230403A1 (en) Apparatus and control method for displaying content of peripheral device
CN107430856B (zh) 信息处理系统和信息处理方法
US10917687B2 (en) Methods, systems, and media for presenting caption information based on volume setting adjustments
EP3631606B1 (en) Display device, user terminal device, display system including the same and control method thereof
JP6216892B2 (ja) キャプチャ装置、キャプチャ方法、プログラム及び情報記憶媒体
US9839839B2 (en) Information processing system including a portable terminal and a wireless controller each wirelessly connected to an information processing device
JP5370314B2 (ja) 通信装置、通信制御方法、および通信制御プログラム
US20140085187A1 (en) Display apparatus and control method thereof
JP2017220089A (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171016

R150 Certificate of patent or registration of utility model

Ref document number: 6229071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250