JPWO2016063564A1 - 制御装置、制御方法、プログラム及び情報記憶媒体 - Google Patents

制御装置、制御方法、プログラム及び情報記憶媒体 Download PDF

Info

Publication number
JPWO2016063564A1
JPWO2016063564A1 JP2016555098A JP2016555098A JPWO2016063564A1 JP WO2016063564 A1 JPWO2016063564 A1 JP WO2016063564A1 JP 2016555098 A JP2016555098 A JP 2016555098A JP 2016555098 A JP2016555098 A JP 2016555098A JP WO2016063564 A1 JPWO2016063564 A1 JP WO2016063564A1
Authority
JP
Japan
Prior art keywords
execution
voice
information
processing
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016555098A
Other languages
English (en)
Other versions
JP6259530B2 (ja
Inventor
啓悟 田村
啓悟 田村
史明 久松
史明 久松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2016063564A1 publication Critical patent/JPWO2016063564A1/ja
Application granted granted Critical
Publication of JP6259530B2 publication Critical patent/JP6259530B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/87Communicating with other players during game play, e.g. by e-mail or chat
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221Announcement of recognition results
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

音声認識による処理の実行が不可である場合に、受け付ける音声の認識が成功した際に音声認識による処理の実行が不可であることをユーザが認識できる制御装置、制御方法、プログラム及び情報記憶媒体を提供する。音声受付部(74)は、音声を受け付ける。実行部(78)は、音声の認識結果に応じた処理を実行する。出力制御部(80)は、音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する。音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われる。

Description

本発明は、制御装置、制御方法、プログラム及び情報記憶媒体に関する。
ユーザが入力した音声を受け付けて、当該音声の認識結果に応じたコマンドを特定し、当該コマンドに応じた処理を実行する技術が存在する。
例えばボイスチャットのプログラムやボイスメッセージのプログラムなどといった音声に関するプログラムが実行されている場合には、入力される音声の認識結果に応じた処理が、ユーザの意図に反して実行されるおそれがある。またオペレーティングシステム等のシステムプログラムでもシステムプログラムとは別に実行されるゲームプログラムでも音声の認識結果に応じた処理の実行が可能である場合にはコマンドが競合するおそれがある。また実行されるゲームプログラムによってはゲームの世界観を保つために音声の認識結果に応じた処理が実行されないことが望ましい場合がある。例えば以上のような場合には、音声認識による処理の実行が不可となることが望ましい。
そして音声認識による処理の実行が不可である場合に、受け付ける音声の認識が成功した際に音声認識による処理の実行が不可であることをユーザが認識できれば便利である。しかしこのような際に音声認識による処理の実行が不可であることをユーザが認識できるような技術は従来なかった。
本発明は上記課題に鑑みてなされたものであって、その目的の1つは、音声認識による処理の実行が不可である場合に、受け付ける音声の認識が成功した際に音声認識による処理の実行が不可であることをユーザが認識できる制御装置、制御方法、プログラム及び情報記憶媒体を提供することにある。
上記課題を解決するために、本発明に係る制御装置は、音声を受け付ける音声受付部と、前記音声の認識結果に応じた処理を実行する実行部と、音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する出力制御部と、を含み、前記音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われる。
また、本発明に係る制御方法は、音声を受け付けるステップと、前記音声の認識結果に応じた処理を実行するステップと、音声認識による処理の実行が不可であることを表す情報が出力されるよう制御するステップと、を含み、前記音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われる。
また、本発明に係るプログラムは、音声を受け付ける手順、前記音声の認識結果に応じた処理を実行する手順、音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する手順、をコンピュータに実行させ、前記音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われる。
また、本発明に係る情報記憶媒体は、音声を受け付ける手順、前記音声の認識結果に応じた処理を実行する手順、音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する手順、をコンピュータに実行させ、前記音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われるプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。
本発明の一態様では、前記音声の認識結果に応じた処理の実行として、入力すべき音声を案内する情報の出力制御が行われる。
また、本発明の一態様では、音声認識による処理の実行の可否を制御する実行可否制御部、をさらに含み、前記出力制御部は、前記音声の認識が成功した際に、音声認識による処理の実行が不可となるよう制御される場合は当該認識の成功に応じて音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する。
この態様では、実行されているプログラムから音声認識による処理の実行の可否を制御する制御情報を受け付ける制御情報受付部、をさらに含み、前記実行可否制御部は、前記制御情報受付部が受け付ける前記制御情報に基づいて、前記音声の認識結果に応じた処理の実行の可否を制御してもよい。
さらに、前記制御情報受付部は、実行されている複数のプログラムから前記制御情報を受け付け、前記複数のプログラムのうちの少なくとも1つが、前記制御装置で実行されるシステムプログラムとは別に実行されるゲームプログラムであってもよい。
あるいは、前記出力制御部によって出力されるよう制御される、前記音声認識による処理の実行が不可であることを表す情報には、前記制御情報を出力したプログラムが示されていてもよい。
また、前記実行部は、コントローラから受け付ける操作入力に応じて、前記音声の認識結果に応じて実行されないよう制御されている処理を実行してもよい。
また、前記実行可否制御部は、複数のコマンドのうちの一部につき音声認識による当該コマンドに応じた処理の実行が不可となるよう制御し、前記出力制御部は、前記音声の認識結果として前記一部であるコマンドが特定される際に当該コマンドの特定に応じて当該コマンドに応じた処理が実行されないことを表す情報が出力されるよう制御してもよい。
本発明の一実施形態に係る情報処理システムの全体構成の一例を示す図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 プレイ画面の一例を示す図である。 プレイ画面の一例を示す図である。 プレイ画面の一例を示す図である。 本発明の一実施形態に係る情報処理装置で動作するプログラムの一例を説明する説明図である。 制御情報の値とボイスコマンド実行可否情報の値との関係の一例を示す図である。 本発明の一実施形態に係る情報処理装置で実現される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る情報処理システム10の全体構成の一例を示す図である。図1に示すように、本実施形態に係る情報処理システム10は、情報処理装置12とディスプレイ14とカメラマイクユニット16とコントローラ18とを含んでいる。
本実施形態に係る情報処理装置12は、例えばゲームコンソールなどといったエンタテインメント装置等のコンピュータであり、例えば図2に示すように、制御部20、記憶部22、通信部24、入出力部26を含んでいる。制御部20は、例えば情報処理装置12にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。本実施形態に係る制御部20には、CPUから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するGPU(Graphics Processing Unit)も含まれている。記憶部22は、例えばROMやRAM等の記憶素子やハードディスクドライブなどである。記憶部22には、制御部20によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部22には、GPUにより画像が描画されるフレームバッファの領域が確保されている。通信部24は、例えばイーサネット(登録商標)モジュールや無線LANモジュールなどの通信インタフェースなどである。入出力部26は、HDMI(登録商標)(High-Definition Multimedia Interface)ポートやUSBポートなどの入出力ポートである。
本実施形態に係るディスプレイ14は、液晶ディスプレイ等であり、情報処理装置12が生成する画面などを表示させる。また、本実施形態に係るディスプレイ14は、情報処理装置12が生成する音声データが表す音声を出力するスピーカも備えている。本実施形態に係るカメラマイクユニット16は、例えば被写体を撮像した画像を情報処理装置12に出力するカメラ16a及び周囲の音声を取得して当該音声を音声データに変換して情報処理装置12に出力するマイク16bを含んでいる。
情報処理装置12とディスプレイ14とは、例えば、AVケーブルや、HDMIケーブル等を介して接続されている。情報処理装置12とカメラマイクユニット16とは、例えば、USBケーブルや、AVケーブルや、HDMIケーブル等を介して接続されている。
本実施形態に係るコントローラ18は、情報処理装置12に対する操作入力を行うための操作入力装置である。本実施形態に係るコントローラ18には、例えばボタン、タッチパネル、操作スティックなどの操作子が設けられている。また、本実施形態に係るコントローラ18は、角速度を検出するジャイロセンサ、加速度を検出する加速度センサ等のセンサを備えている。また、本実施形態に係るコントローラ18はジャックを備えており、当該ジャックにマイクが備えるプラグを差し込むことにより、当該マイクによる音声入力も行うことができるようになっている。コントローラ18に差し込まれたマイクに入力された音声はコントローラ18で音声データに変換されて情報処理装置12に出力される。
本実施形態では、カメラマイクユニット16が備えるマイク16b又はコントローラ18に接続されたマイクにユーザが音声を入力することにより、情報処理装置12は当該音声を認識する。そして本実施形態に係る情報処理装置12では、認識が成功した場合に、当該情報処理装置12に入力される音声(当該情報処理装置12が受け付ける音声)の認識結果に応じたコマンドの特定が可能となっている。そして本実施形態に係る情報処理装置12は、特定されたコマンドに応じた処理を実行する。このようにして本実施形態では、ユーザは音声によって情報処理装置12に対する操作を行えるようになっている。なお本実施形態では、コントローラ18のジャックにマイクのプラグが差し込まれている際には、当該マイクに入力された音声の認識結果をカメラマイクユニット16が備えるマイク16bに入力された音声の認識結果よりも優先して取り扱うようになっている。
また本実施形態に係る情報処理装置12は、音声による所定のコマンドの入力が不可能な通常状態又は音声による所定のコマンドの入力が可能な音声認識状態のいずれかの実行状態で各種処理を実行する。そしてユーザは情報処理装置12の実行状態を適宜切り替えることができるようになっている。
またユーザは、ボタンを押下したり、操作スティックを傾けたりすることで、コントローラ18を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ18は、操作入力に対応付けられる入力データを情報処理装置12に出力する。
また、本実施形態に係るコントローラ18は、USBポートを備えている。コントローラ18は、USBケーブルで情報処理装置12と接続することで、入出力部26を介して有線で入力データを情報処理装置12に出力することができる。また、本実施形態に係るコントローラ18は、無線通信モジュール等を備えており、通信部24を介して無線で入力データを情報処理装置12に出力することができるようにもなっている。
図3は、本実施形態に係る情報処理装置12のユーザがプレイするゲームのプレイ内容を表すプレイ画面30の一例を示す図である。本実施形態では、図3に例示するプレイ画面30がディスプレイ14に表示されている際は、情報処理装置12は上述の通常状態である。
ここで例えば情報処理装置12が、例えば「音声認識開始」などといった、音声認識を開始するための所与の語句を表す音声を受け付けたとする。以下、音声認識を開始するための音声を表す所与の語句をマジックワードと呼ぶこととする。すると本実施形態では、表示されているプレイ画面30が、図4に示す状態に切り替わる。図4に示す状態では、プレイ画面30に、入力すべき音声をユーザに案内するための音声入力案内画像32が配置されている。音声入力案内画像32には、コマンドを表す語句が配置されている。本実施形態では、このようにプレイ画面30に音声入力案内画像32が配置されている際には、情報処理装置12は上述の音声認識状態である。
本実施形態では、プレイ画面30に音声入力案内画像32が配置されている際には、ユーザが音声入力案内画像32に配置されている語句を表す音声を入力すると、情報処理装置12は、当該音声の認識結果に基づいて当該音声が表すコマンドを特定する。そして情報処理装置12は、当該コマンドに応じた処理を実行する。例えば図4の例では情報処理装置12が「ホーム画面」との語句を表す音声を受け付けた際には、ディスプレイ14に表示された画面は、情報処理装置12で実行されるプログラムを選択するメニューが配置されたホーム画面に切り替わる。
また、本実施形態に係る情報処理装置12では、音声入力案内画像32に語句が配置されていないコマンドについても当該コマンドを表す音声が入力された場合には、当該コマンドに応じた処理が実行される。例えば図4に例示するプレイ画面30が表示されている際に「スクリーンショットを撮る」との語句を表す音声を受け付けた際には、プレイ画面30の表示内容を静止画像としてキャプチャしたキャプチャ画像が情報処理装置12の記憶部22に保存される。
また本実施形態に係る情報処理装置12は音声認識による処理の実行が不可となるよう制御できるようになっている。このように制御されている場合には、図3に例示するプレイ画面30が表示されている際に情報処理装置12がマジックワードを表す音声を受け付けると、表示されているプレイ画面30は図5に示す状態に切り替わる。図5に示す状態ではプレイ画面30には、入力すべき音声をユーザに案内するための音声入力案内画像32は配置されず、その代わりに、音声認識による処理の実行が不可であることを表す案内情報34が配置される。この場合は、情報処理装置12は音声認識状態とはならない。そのため情報処理装置12が例えば「ホーム画面」などといった所定のコマンドを表す音声を受け付けても、当該コマンドに応じた処理は実行されない。
また例えば音声認識による処理の実行が不可となるよう制御されている場合に、図3に例示するプレイ画面30が表示されている際に「ホーム画面」などといった所定のコマンドを表す音声を受け付けたとする。この場合についてもマジックワードを表す音声が入力された場合と同様、図5に例示するように表示されているプレイ画面30に案内情報34が配置される。そしてこの場合は、当該コマンドに応じた処理は実行されない。
以下、図6を参照しながら上述の制御についてさらに説明する。
図6は、本実施形態に係る情報処理装置12で動作するプログラムの一例を説明する説明図である。図6に例示するように、本実施形態に係る情報処理装置12には、システムプログラム40とゲームプログラム42とがインストールされている。本実施形態ではシステムプログラム40とゲームプログラム42とは独立しており、ゲームプログラム42はシステムプログラム40上で動作する。本実施形態では上述のホーム画面は、情報処理装置12がシステムプログラム40を実行することで生成されてディスプレイ14に表示される。また本実施形態では図3〜図5に例示するプレイ画面30は、情報処理装置12がゲームプログラム42を実行することにより生成されてディスプレイ14に表示される。
図6に示すように、本実施形態に係るシステムプログラム40は、例えば、システムアプリケーションモジュール50、フォーカス管理モジュール52、ポート管理モジュール54、オーディオドライバ56、音声認識エンジン58、出力モジュール60、を含んで構成されている。なお本実施形態に係るシステムプログラム40には、他のモジュールが含まれていてもよい。
システムアプリケーションモジュール50は、本実施形態では例えば、システムプログラム40の一部として含まれているアプリケーションプログラムである。そしてシステムアプリケーションモジュール50は、本実施形態では例えば、ボイスチャットサブモジュール50aと、ボイスメッセージサブモジュール50bと、を含んでいる。ボイスチャットサブモジュール50aは、情報処理装置12のユーザが他のユーザとの音声によるチャットを行うためのモジュールである。ボイスメッセージサブモジュール50bは、マイクから入力される音声の録音や、録音された音声の再生を行うためのモジュールである。
そして本実施形態に係るボイスチャットサブモジュール50aは、ボイスチャットサブモジュール50aが実行されている際に、ボイスチャットサブモジュール50aの実行状況を示すステータス情報をポート管理モジュール54に出力する。本実施形態では例えば、ボイスチャットサブモジュール50aは、当該ボイスチャットサブモジュール50aによるユーザ間のボイスチャットが開始された際に値が「1」であるステータス情報をポート管理モジュール54に出力する。一方、ボイスチャットサブモジュール50aは、当該ボイスチャットサブモジュール50aによるユーザ間のボイスチャットが終了された際に値が「0」であるステータス情報をポート管理モジュール54に出力する。
また本実施形態に係るボイスメッセージサブモジュール50bは、ボイスメッセージサブモジュール50bが実行されている際に、ボイスメッセージサブモジュール50bの実行状況を示すステータス情報をポート管理モジュール54に出力する。本実施形態では例えば、ボイスメッセージサブモジュール50bは、当該ボイスメッセージサブモジュール50bによる音声の録音又は再生が開始された際に値が「1」であるステータス情報をポート管理モジュール54に出力する。一方、ボイスメッセージサブモジュール50bは、当該ボイスメッセージサブモジュール50bによる音声の録音又は再生が終了された際に値が「0」であるステータス情報をポート管理モジュール54に出力する。
フォーカス管理モジュール52は、本実施形態では例えば、画面のフォーカス状態を管理するためのプログラムである。本実施形態に係る情報処理装置12は、システムプログラム40とゲームプログラム42の両方を同時に実行することが可能である。この場合本実施形態では、いずれか一方のプログラムが生成する画面がフォーカスされる。例えば、図3〜図5に例示するプレイ画面30がディスプレイ14に表示されている場合は、当該プレイ画面30がフォーカスされている状態であるといえる。そして本実施形態では、ユーザが所定の操作を行うことで、ゲームプログラム42が生成する画面をフォーカスさせるか、システムプログラム40が生成する画面をフォーカスさせるかを切り替えることができるようになっている。また本実施形態では、画面がフォーカスされているプログラムはフォアグラウンドで実行され、画面がフォーカスされていないプログラムはバックグラウンドで実行される。
そしてフォーカス管理モジュール52は、本実施形態では例えば、画面のフォーカス状態を示すフォーカス状態情報をポート管理モジュール54に出力する。本実施形態では例えば、フォーカス管理モジュール52は、ゲームプログラム42が生成する画面がフォーカスされた際に値が「1」であるフォーカス状態情報をポート管理モジュールに出力する。一方、フォーカス管理モジュール52は、システムプログラム40が生成する画面がフォーカスされた際に値が「0」であるフォーカス状態情報をポート管理モジュールに出力する。
また本実施形態では、ゲームプログラム42は、音声認識による処理の実行が可又は不可となるよう要求する可不可要求情報をポート管理モジュール54に出力できるようになっている。本実施形態では例えば、ゲームプログラム42は、音声認識による処理の実行が不可となるよう要求する際には値が「1」である可不可要求情報をポート管理モジュール54に出力する。一方、ゲームプログラム42は、音声認識による処理の実行が可となるよう要求する際には値が「0」である可不可要求情報をポート管理モジュール54に出力する。例えばゲームプログラム42によっては、実行されるゲームの世界観を保つために音声の認識結果に応じた処理が実行されないことが望ましい場合がある。また例えば音声の認識結果に応じた処理の実行が可能なゲームプログラム42については、システムプログラム40とコマンドが競合するおそれがある。例えば以上のような、音声の認識結果に応じた処理が実行されないことが望ましい状況が発生した際には、値が「1」である可不可要求情報がポート管理モジュール54に出力されるようにすればよい。また例えば音声の認識結果に応じた処理が実行されないことが望ましい状況ではなくなった際には、値が「0」である可不可要求情報がポート管理モジュール54に出力されるようにすればよい。なお本実施形態では、値が「1」又は「0」である可不可要求情報が出力されるタイミングはゲームプログラム42において自由に実装できるようになっている。
ポート管理モジュール54は、本実施形態では例えば、音声認識による処理の実行の可否を制御する制御情報を受け付けるプログラムである。例えば上述の、ステータス情報、フォーカス状態情報、可不可要求情報が、当該制御情報に相当する。
本実施形態では、ポート管理モジュール54は、情報処理装置12で実行されているプログラムやモジュールから出力される制御情報を受け付けた際に、当該制御情報を保持する。そしてポート管理モジュール54は、保持されている制御情報とは異なる値の制御情報を受け付けた際には、保持されている制御情報の値を受け付けた制御情報の値に更新する。
そのため本実施形態では例えば、ユーザ間のボイスチャットが行われている期間は、ボイスチャットサブモジュール50aから出力されたステータス情報の値として「1」が保持される。一方、ユーザ間のボイスチャットが行われていない期間は、ボイスチャットサブモジュール50aから出力されたステータス情報の値として「0」が保持される。また例えば、音声の録音又は再生が行われている期間は、ボイスメッセージサブモジュール50bから出力されたステータス情報の値として「1」が保持される。一方音声の録音又は再生が行われていない期間は、ボイスメッセージサブモジュール50bから出力されたステータス情報の値として「0」が保持される。
また本実施形態では例えば、ゲームプログラム42が生成する画面がフォーカスされている状態である期間は、フォーカス状態情報の値として「1」が保持される。一方、システムプログラム40が生成する画面がフォーカスされている状態である期間は、フォーカス状態情報の値として「0」が保持される。
また本実施形態では例えば、ゲームプログラム42から音声認識による処理の実行が不可となるよう要求されている期間は、可不可要求情報の値として「1」が保持される。一方、ゲームプログラム42から音声認識による処理の実行が可となるよう要求されている期間は、可不可要求情報の値として「0」が保持される。
そして本実施形態では、保持されているいずれかの制御情報の値の更新に応じて、保持されている制御情報の値に基づくボイスコマンド実行可否情報の値の決定、及び、決定されたボイスコマンド実行可否情報の値のオーディオドライバ56への出力が行われる。本実施形態では、値が「1」であるボイスコマンド実行可否情報は、音声認識による処理の実行が不可であることを示し、値が「0」であるボイスコマンド実行可否情報は、音声認識による処理の実行が可であることを示すこととする。本実施形態では、値が「1」であるボイスコマンド実行可否情報が出力されると、後述するように音声認識による処理の実行が不可となるよう制御される。一方、値が「0」であるボイスコマンド実行可否情報が出力されると、後述するように音声認識による処理の実行が可となるよう制御される。
図7は、制御情報の値とボイスコマンド実行可否情報の値との関係の一例を示す図である。図7に示すように本実施形態では、保持されているステータス情報の値のうち少なくとも1つが「1」である場合には、ボイスコマンド実行可否情報の値は「1」と決定される。このようにして本実施形態では、ユーザ間のボイスチャット、音声の録音、音声の再生のいずれかが行われている期間は、音声認識による処理の実行が不可となるよう制御されることとなる。
また図7に示すように本実施形態では、保持されているステータス情報の値がすべて0である場合には、保持されているフォーカス状態情報の値と可不可要求情報の値の両方が「1」である場合に、ボイスコマンド実行可否情報の値は「1」と決定される。このようにして本実施形態では、ゲームプログラム42が生成する画面がフォーカスされており、ゲームプログラム42から音声認識による処理の実行が不可となるよう要求されている場合には、音声認識による処理の実行が不可となるよう制御されることとなる。
そして本実施形態では、保持されているステータス情報の値がすべて0であり、保持されているフォーカス状態情報の値と可不可要求情報の値のいずれかが「0」である場合には、ボイスコマンド実行可否情報の値は「0」と決定される。
オーディオドライバ56は、本実施形態では例えば、情報処理装置12にマイク16bやコントローラ18に接続されたマイクを介して入力された音声を受け付けるドライバである。本実施形態では例えば、マイク16bやコントローラ18に接続されたマイクは、受け付けた音声を音声データに変換する。そしてオーディオドライバ56は、このようにして変換された音声データを受け付ける。そしてオーディオドライバ56は、受け付けた音声データを音声認識エンジン58に出力する。またオーディオドライバ56は、ポート管理モジュール54からボイスコマンド実行可否情報を受け付けた際に、当該ボイスコマンド実行可否情報を音声認識エンジン58に出力する。
なお本実施形態では、オーディオドライバ56は、受け付けた音声データを、当該音声データを利用するプログラムにも出力する。当該音声データは、ここでは例えば、ボイスチャットサブモジュール50aやボイスメッセージサブモジュール50bに出力される。ボイスチャットサブモジュール50aは、例えばユーザ間のボイスチャットが行われている期間には、オーディオドライバ56から受け付ける音声データを例えばボイスチャットの相手であるユーザが使用する情報処理装置12に出力する。またボイスメッセージサブモジュール50bは、例えば音声の録音が行われている期間は、オーディオドライバ56から受け付ける音声データを記憶部22に記憶させる。また例えばオーディオドライバ56は、受け付けた音声データをゲームプログラム42に出力してもよい。そしてゲームプログラム42が、オーディオドライバ56から受け付ける音声データを用いて当該ゲームプログラム42における各種処理を実行してもよい。
音声認識エンジン58は、例えば公知の音声認識エンジン58であって、オーディオドライバ56から受け付けた音声データを認識して、当該音声データが示す音声の認識が成功した場合には、音声の認識結果に応じたコマンドを特定する。また音声認識エンジン58は、オーディオドライバ56から出力されるボイスコマンド実行可否情報を受け付ける。
そして音声認識エンジン58は、音声の認識が成功した際に、受け付けたボイスコマンド実行可否情報の値が「1」である場合は、音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する出力制御情報を出力モジュール60に出力する。
一方、音声認識エンジン58は、音声の認識が成功した際に、受け付けたボイスコマンド実行可否情報の値が「0」である場合は、特定されたコマンドを示すコマンド情報をポート管理モジュール54に出力する。
本実施形態では、ポート管理モジュール54は、コマンド情報に基づいて当該コマンド情報が示すコマンドに応じた処理を実行すべきプログラムを特定可能となっている。そして本実施形態では、ポート管理モジュール54は、コマンド情報を音声認識エンジン58から受け付けると、当該コマンド情報が示すコマンドに応じた処理を実行すべきプログラムに当該コマンド情報を出力する。そして当該コマンド情報をポート管理モジュール54から受け付けたプログラムは、当該コマンド情報が示すコマンドに応じた処理を実行する。
出力モジュール60は、本実施形態では例えば、音声認識エンジン58から上述の出力制御情報を受け付けた際に、音声認識による処理の実行が不可であることを表す情報が出力されるよう制御するプログラムである。出力モジュール60は、例えば、音声認識エンジン58から上述の出力制御情報を受け付けた際に、図5に例示する案内情報34がディスプレイ14に表示されるよう制御する。なお出力モジュール60が、音声認識エンジン58から上述の出力制御情報を受け付けた際に、音声認識による処理の実行が不可であることを表す音声を例えばディスプレイ14が備えるスピーカから音声出力するようにしてもよい。
以上のようにして本実施形態によれば、音声認識による処理の実行が不可である場合に、受け付ける音声の認識が成功した際に音声認識による処理の実行が不可であることをユーザが認識できることとなる。
なお、ポート管理モジュール54が、ボイスコマンド実行可否情報を、オーディオドライバ56を経由せずに音声認識エンジン58に直接出力するようにしてもよい。
また例えば、音声認識エンジン58がシステムアプリケーションモジュール50からステータス情報を直接受け付けてもよい。また例えば音声認識エンジン58がフォーカス管理モジュール52からフォーカス状態情報を直接受け付けてもよい。また例えば音声認識エンジン58がゲームプログラム42から可不可要求情報を直接受け付けてもよい。
以下、音声認識による処理の実行が不可であることをユーザに認識させる制御に関して、情報処理装置12で実装される機能及び情報処理装置12で行われる処理についてさらに説明する。
図8は、音声認識による処理の実行が不可であることをユーザに認識させる制御に関して、本実施形態に係る情報処理装置12で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置12で、図8に示す機能のすべてが実装される必要はなく、また、図8に示す機能以外の機能が実装されていても構わない。
本実施形態に係る情報処理装置12は、図8に示すように、機能的には例えば、制御情報受付部70、実行可否制御部72、音声受付部74、音声認識部76、実行部78、出力制御部80、を含んでいる。制御情報受付部70、実行可否制御部72、音声認識部76、実行部78は、制御部20を主として実装される。音声受付部74は、入出力部26を主として実装される。出力制御部80は、入出力部26を主として実装される。
制御情報受付部70、実行可否制御部72の機能は、例えば図6におけるポート管理モジュール54で実装される機能に相当する。音声受付部74の機能は、例えば図6におけるオーディオドライバ56で実装される機能に相当する。音声認識部76の機能は、例えば図6における音声認識エンジン58で実装される機能に相当する。実行部78の機能は、図6におけるポート管理モジュール54によって出力されるコマンド情報の出力先であるプログラムで実装される機能に相当する。出力制御部80の機能は、例えば図6における出力モジュール60で実装される機能に相当する。
そして、以上の機能は、コンピュータである情報処理装置12にインストールされた、以上の機能に対応する指令を含むプログラムを制御部20で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置12に供給される。
制御情報受付部70は、本実施形態では、情報処理装置12で実行されているプログラムから音声認識による処理の実行の可否を制御する制御情報を受け付ける。制御情報受付部70は、例えばステータス情報、フォーカス情報、可不可要求情報を受け付ける。このように、制御情報受付部70は、例えばボイスチャットサブモジュール50a、ボイスメッセージサブモジュール50b、フォーカス管理モジュール52、ゲームプログラム42、などといった、実行されている複数のプログラムから制御情報を受け付けてもよい。またこのように、制御情報を出力する複数のプログラムのうちの少なくとも1つが、情報処理装置12で実行されるシステムプログラム40とは別に実行されるゲームプログラム42であってもよい。
実行可否制御部72は、本実施形態では、音声認識による処理の実行の可否を制御する。実行可否制御部72は、制御情報受付部70が受け付ける制御情報に基づいて、音声認識による処理の実行の可否を制御してもよい。こうすれば、情報処理装置12で実行されているプログラムが音声認識による処理の実行の可否を制御できることとなる。実行可否制御部72は、例えば上述したように、ボイスコマンド実行可否情報を生成して音声認識部76に出力する。
音声受付部74は、本実施形態では、音声を受け付ける。
音声認識部76は、本実施形態では、音声受付部74が受け付ける音声を認識する。本実施形態では、音声認識部76は、音声の認識に成功した際には、実行可否制御部72による制御に従って、上述の出力制御情報の出力制御部80への出力、又は、上述のコマンド情報の実行部78への出力を行う。本実施形態では、例えば、実行可否制御部72により音声認識による処理の実行が不可となるよう制御される場合は、出力制御情報を出力制御部80に出力する。一方、実行可否制御部72により音声認識による処理の実行が可となるよう制御される場合は、音声の認識結果に応じたコマンドを特定して、当該特定されるコマンドを示すコマンド情報を実行部78に出力する。
実行部78は、実行可否制御部72により音声認識による処理の実行が可となるよう制御される場合は、音声認識部76による音声の認識が成功した際に、音声の認識結果に応じた処理を実行する。実行部78は、例えば音声認識部76からコマンド情報を受け付ける場合は、当該コマンド情報が示すコマンドに応じた処理を実行する。
なお、音声による入力が可能なコマンドが、例えば所定のボタンの押下操作などといったコントローラ18に対する操作によっても入力可能であっても構わない。そして、実行部78が、コントローラ18から受け付ける操作入力に応じて、音声による入力も可能なコマンドに応じた処理を実行してもよい。また実行可否制御部72により音声認識による処理の実行が不可となるよう制御される場合に、実行部78が、コントローラ18から受け付ける操作入力に応じて、音声の認識結果に応じて実行されないよう制御されている処理を実行してもよい。また実行可否制御部72により音声認識による処理の実行が可となるよう制御される場合に、実行部78が、コントローラ18から受け付ける操作入力に応じて、音声による入力も可能なコマンドに応じた処理を実行してもよい。
出力制御部80は、音声認識部76による音声の認識が成功した際に、音声認識による処理の実行が不可となるよう制御される場合は、当該認識の成功に応じて音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する。出力制御部80は、例えば、音声認識部76から出力制御情報を受け付ける場合は、図5に例示する案内情報34をディスプレイ14に表示させる。なお出力制御部80が出力されるよう制御する案内情報に、制御情報を出力したプログラムが示されていてもよい。こうすれば、ユーザは、音声認識による処理の実行が不可である原因となっているプログラムを認識することができる。
なお実行可否制御部72は、複数のコマンドのうちの一部につき音声認識による当該コマンドに応じた処理の実行が不可となるよう制御してもよい。また出力制御部80は、処理の実行が不可となるよう制御されているコマンドが音声の認識結果として特定される際に当該コマンドの特定に応じて当該コマンドに応じた処理が実行されないことを表す情報が出力されるよう制御してもよい。例えば図6の例において、音声認識エンジン58がボイスチャットサブモジュール50aから値が「1」であるステータス情報を直接受け付けたとする。この場合に、ボイスチャットサブモジュール50aで実行される処理については、音声認識に応じた処理の実行が不可となるよう制御されてもよい。そして他のプログラムで実行される処理については、音声認識に応じた処理の実行が可となるよう制御されてもよい。こうすれば、一部のコマンドについて音声認識に応じた処理の実行が不可となるよう制御されても他のコマンドについては音声認識による入力が可能となる。
ここで、音声受付部74が受け付ける音声の音声認識部76による認識が成功した場合に、本実施形態に係る情報処理装置12で行われる処理の流れの一例を、図9に例示するフロー図を参照しながら説明する。
まず、音声認識部76は、実行可否制御部72により音声認識による処理の実行が不可となるよう制御されているか否かを確認する(S101)。S101に示す処理では、上述の例では、音声認識エンジン58がオーディオドライバ56から受け付けたボイスコマンド実行可否情報の値が「1」であるか「0」であるかを確認する。
そして、音声認識による処理の実行が不可となるよう制御されている場合は(S101:Y)、出力制御部80が、図5に例示する案内情報34などといった、音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する(S102)。そして本処理例に示す処理は終了される。
一方、実行可否制御部72により音声認識による処理の実行が可となるよう制御されている場合は(S101:N)、音声認識部76が、音声認識が成功した音声に応じたコマンドを特定する(S103)。そして、実行部78が、S103に示す処理で特定されたコマンドに応じた処理を実行する(S104)。そして本処理例に示す処理は終了される。
なお、本発明は上述の実施形態に限定されるものではない。
例えば本実施形態は、ユーザが、当該ユーザがプレイしたゲームや、他のユーザがプレイしているゲームあるいはプレイしたゲームなどを視聴している場面に応用されてもよい。例えばユーザがゲームのプレイを視聴している際に、音声の認識結果に応じた処理が実行されないことが望ましいシーンが表示されることがある。例えばこの状況で受け付ける音声の認識が成功した際に、上述のようにして音声認識による処理の実行が不可であることをユーザが認識できるようにしてもよい。
また例えば、情報処理装置12が、カメラ16aやマイク16bを備えた携帯型ゲーム装置であってもよい。また、情報処理装置12は、パーソナルコンピュータ、タブレット端末、スマートフォン、などであっても構わない。
また例えば、情報処理装置12が、複数のチャンネルの番組が表示可能で音声によって表示されるチャンネルを切り替えることができるヘッドマウントディスプレイであっても構わない。例えば当該ヘッドマウントディスプレイが音声を受け付け、当該音声の認識に成功したとする。この場合に、音声認識による処理の実行が不可となるよう制御される場合は当該認識の成功に応じて音声認識によるチャンネルを切り替えることが不可であることを表す情報が当該ヘッドマウントディスプレイに出力されるようにしてもよい。
また、情報処理装置12、ディスプレイ14、カメラマイクユニット16、の役割分担は上述のものに限定されない。また、情報処理装置12が複数の筐体から構成されていてもよい。
また、上記の具体的な文字列や図面中の具体的な文字列は例示であり、これらの文字列には限定されない。

Claims (11)

  1. 音声を受け付ける音声受付部と、
    前記音声の認識結果に応じた処理を実行する実行部と、
    音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する出力制御部と、を含み、
    前記音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われる、
    ことを特徴とする制御装置。
  2. 前記音声の認識結果に応じた処理の実行として、入力すべき音声を案内する情報の出力制御が行われる、
    ことを特徴とする請求項1に記載の制御装置。
  3. 音声認識による処理の実行の可否を制御する実行可否制御部、をさらに含み、
    前記出力制御部は、前記音声の認識が成功した際に、音声認識による処理の実行が不可となるよう制御される場合は当該認識の成功に応じて音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する、
    ことを特徴とする請求項1又は2に記載の制御装置。
  4. 実行されているプログラムから音声認識による処理の実行の可否を制御する制御情報を受け付ける制御情報受付部、をさらに含み、
    前記実行可否制御部は、前記制御情報受付部が受け付ける前記制御情報に基づいて、前記音声の認識結果に応じた処理の実行の可否を制御する、
    ことを特徴とする請求項3に記載の制御装置。
  5. 前記制御情報受付部は、実行されている複数のプログラムから前記制御情報を受け付け、
    前記複数のプログラムのうちの少なくとも1つが、前記制御装置で実行されるシステムプログラムとは別に実行されるゲームプログラムである、
    ことを特徴とする請求項4に記載の制御装置。
  6. 前記出力制御部によって出力されるよう制御される、前記音声認識による処理の実行が不可であることを表す情報には、前記制御情報を出力したプログラムが示されている、
    ことを特徴とする請求項4又は5に記載の制御装置。
  7. 前記実行部は、コントローラから受け付ける操作入力に応じて、前記音声の認識結果に応じて実行されないよう制御されている処理を実行する、
    ことを特徴とする請求項3から6のいずれか一項に記載の制御装置。
  8. 前記実行可否制御部は、複数のコマンドのうちの一部につき音声認識による当該コマンドに応じた処理の実行が不可となるよう制御し、
    前記出力制御部は、前記音声の認識結果として前記一部であるコマンドが特定される際に当該コマンドの特定に応じて当該コマンドに応じた処理が実行されないことを表す情報が出力されるよう制御する、
    ことを特徴とする請求項3から7のいずれか一項に記載の制御装置。
  9. 音声を受け付けるステップと、
    前記音声の認識結果に応じた処理を実行するステップと、
    音声認識による処理の実行が不可であることを表す情報が出力されるよう制御するステップと、を含み、
    前記音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われる、
    ことを特徴とする制御方法。
  10. 音声を受け付ける手順、
    前記音声の認識結果に応じた処理を実行する手順、
    音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する手順、をコンピュータに実行させ、
    前記音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われる、
    ことを特徴とするプログラム。
  11. 音声を受け付ける手順、
    前記音声の認識結果に応じた処理を実行する手順、
    音声認識による処理の実行が不可であることを表す情報が出力されるよう制御する手順、をコンピュータに実行させ、
    前記音声の認識の成功に応じて、当該音声の認識結果に応じた処理の実行、又は、音声認識による処理の実行が不可であることを表す情報の出力制御、のいずれかが行われる、
    ことを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
JP2016555098A 2014-10-24 2015-05-26 制御装置、制御方法、プログラム及び情報記憶媒体 Active JP6259530B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014217764 2014-10-24
JP2014217764 2014-10-24
PCT/JP2015/065133 WO2016063564A1 (ja) 2014-10-24 2015-05-26 制御装置、制御方法、プログラム及び情報記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2016063564A1 true JPWO2016063564A1 (ja) 2017-05-25
JP6259530B2 JP6259530B2 (ja) 2018-01-10

Family

ID=55760616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016555098A Active JP6259530B2 (ja) 2014-10-24 2015-05-26 制御装置、制御方法、プログラム及び情報記憶媒体

Country Status (6)

Country Link
US (1) US10434412B2 (ja)
EP (1) EP3211638B1 (ja)
JP (1) JP6259530B2 (ja)
KR (2) KR102111983B1 (ja)
CN (1) CN107077846B (ja)
WO (1) WO2016063564A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521723B2 (en) 2016-12-14 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
WO2018155810A1 (ko) * 2017-02-21 2018-08-30 삼성전자 주식회사 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
AU2018246806B2 (en) 2017-03-29 2022-05-12 Ligachem Biosciences Inc. Pyrrolobenzodiazepine dimer precursor and ligand-linker conjugate compound thereof
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
KR20200084802A (ko) 2019-01-03 2020-07-13 주식회사 레고켐 바이오사이언스 안전성이 향상된 피롤로벤조디아제핀 이량체 화합물 및 이의 용도
WO2020141923A2 (ko) 2019-01-03 2020-07-09 주식회사 레고켐 바이오사이언스 안전성이 향상된 피롤로벤조디아제핀 이량체 화합물 및 이의 용도
CN112581969A (zh) * 2019-09-29 2021-03-30 百度在线网络技术(北京)有限公司 语音控制方法、装置、电子设备和可读存储介质
CN112581945A (zh) * 2019-09-29 2021-03-30 百度在线网络技术(北京)有限公司 语音控制方法、装置、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265190A (ja) * 1998-03-18 1999-09-28 Ricoh Co Ltd 音楽演奏装置
JPH11337362A (ja) * 1998-05-29 1999-12-10 Clarion Co Ltd ナビゲーションシステム及び方法並びにナビゲーション用ソフトウェアを記録した記録媒体
JP2004233794A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 音声認識装置、及び音声認識方法
JP2013041580A (ja) * 2011-08-05 2013-02-28 Samsung Electronics Co Ltd 電子装置及びその制御方法
WO2013061857A1 (ja) * 2011-10-25 2013-05-02 オリンパスメディカルシステムズ株式会社 内視鏡手術システム

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02272624A (ja) 1989-04-13 1990-11-07 Nec Corp 聴覚情報入力管理方式
JP3725566B2 (ja) 1992-12-28 2005-12-14 株式会社東芝 音声認識インターフェース
US5632002A (en) 1992-12-28 1997-05-20 Kabushiki Kaisha Toshiba Speech recognition interface system suitable for window systems and speech mail systems
JPH10222337A (ja) 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
US6108592A (en) * 1998-05-07 2000-08-22 International Business Machines Corporation Voice-controlled motorized wheelchair with sensors and displays
JP2001222293A (ja) * 2000-02-08 2001-08-17 Ishida Co Ltd 商品処理装置
US6928329B1 (en) * 2000-02-29 2005-08-09 Microsoft Corporation Enabling separate chat and selective enablement of microphone
JP2004521392A (ja) * 2001-06-22 2004-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 発話制御手段と、発話制御手段の機能をテストするためのテスト手段とを有する装置
US7369997B2 (en) * 2001-08-01 2008-05-06 Microsoft Corporation Controlling speech recognition functionality in a computing device
EP1422936B1 (en) 2001-08-28 2012-03-21 Panasonic Corporation Broadcast reception method
JP2003162295A (ja) * 2001-11-27 2003-06-06 Kenwood Corp 車載用音声認識装置
US20040203520A1 (en) * 2002-12-20 2004-10-14 Tom Schirtzinger Apparatus and method for application control in an electronic device
JP4107093B2 (ja) 2003-01-30 2008-06-25 株式会社日立製作所 対話型端末装置及び対話アプリケーション提供方法
JP2005027885A (ja) 2003-07-24 2005-02-03 ▲黄▼賢達 単音音声コントロールによる制御装置
US7931537B2 (en) * 2005-06-24 2011-04-26 Microsoft Corporation Voice input in a multimedia console environment
US8781837B2 (en) 2006-03-23 2014-07-15 Nec Corporation Speech recognition system and method for plural applications
CN101141722B (zh) * 2006-09-05 2012-07-11 北京三星通信技术研究有限公司 基于用户语音特征的安全手机及实现方法
JP4940887B2 (ja) 2006-10-20 2012-05-30 富士通株式会社 音声入力支援プログラム、音声入力支援装置、音声入力支援方法
CN101327373B (zh) * 2007-06-18 2010-10-13 柳州市蓝海科技有限公司 娱乐健身机
US8165886B1 (en) * 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8264422B1 (en) * 2007-11-08 2012-09-11 Sprint Communications Company L.P. Safe head-up display of information
US8123615B2 (en) * 2008-02-14 2012-02-28 Aruze Gaming America, Inc. Multiplayer gaming machine capable of changing voice pattern
JP2010057085A (ja) * 2008-08-29 2010-03-11 Canon Inc Tv受信装置及びその制御方法
US8412531B2 (en) 2009-06-10 2013-04-02 Microsoft Corporation Touch anywhere to speak
KR20110010939A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 휴대용 단말기에서 음성 인식 성능을 향상시키기 위한 장치 및 방법
US8995625B2 (en) 2009-09-30 2015-03-31 T-Mobile Usa, Inc. Unified interface and routing module for handling audio input
US9111538B2 (en) 2009-09-30 2015-08-18 T-Mobile Usa, Inc. Genius button secondary commands
KR20110064263A (ko) * 2009-12-07 2011-06-15 엘지이노텍 주식회사 캡션 데이터를 이용한 시청 제한장치 및 방법
JP5136586B2 (ja) * 2010-03-31 2013-02-06 ブラザー工業株式会社 通信装置、通信方法、および通信プログラム
US9949221B2 (en) * 2011-07-27 2018-04-17 Sharp Kabushiki Kaisha Devices for multi-cell communications
US9256396B2 (en) * 2011-10-10 2016-02-09 Microsoft Technology Licensing, Llc Speech recognition for context switching
KR20130068303A (ko) * 2011-12-15 2013-06-26 포항공과대학교 산학협력단 음성 명령 수행장치, 이를 구비한 이동 단말기 및 음성 명령 수행방법
JP5974498B2 (ja) * 2012-01-24 2016-08-23 株式会社デンソー 車車間通信装置
JP2012185861A (ja) 2012-07-03 2012-09-27 Toshiba Corp 操作装置及び操作方法
KR101995428B1 (ko) * 2012-11-20 2019-07-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN104050966B (zh) * 2013-03-12 2019-01-01 百度国际科技(深圳)有限公司 终端设备的语音交互方法和使用该方法的终端设备
CN103198831A (zh) * 2013-04-10 2013-07-10 威盛电子股份有限公司 语音操控方法与移动终端装置
CN103309618A (zh) * 2013-07-02 2013-09-18 姜洪明 移动操作系统
US9316400B2 (en) 2013-09-03 2016-04-19 Panasonic Intellctual Property Corporation of America Appliance control method, speech-based appliance control system, and cooking appliance
JP5955299B2 (ja) * 2013-11-08 2016-07-20 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法、プログラム及び情報記憶媒体
US9589567B2 (en) * 2014-06-11 2017-03-07 Honeywell International Inc. Plant control system using voice as a control mechanism

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265190A (ja) * 1998-03-18 1999-09-28 Ricoh Co Ltd 音楽演奏装置
JPH11337362A (ja) * 1998-05-29 1999-12-10 Clarion Co Ltd ナビゲーションシステム及び方法並びにナビゲーション用ソフトウェアを記録した記録媒体
JP2004233794A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 音声認識装置、及び音声認識方法
JP2013041580A (ja) * 2011-08-05 2013-02-28 Samsung Electronics Co Ltd 電子装置及びその制御方法
WO2013061857A1 (ja) * 2011-10-25 2013-05-02 オリンパスメディカルシステムズ株式会社 内視鏡手術システム

Also Published As

Publication number Publication date
WO2016063564A1 (ja) 2016-04-28
JP6259530B2 (ja) 2018-01-10
EP3211638B1 (en) 2023-11-29
KR102111983B1 (ko) 2020-05-18
US10434412B2 (en) 2019-10-08
KR20170042737A (ko) 2017-04-19
EP3211638A1 (en) 2017-08-30
CN107077846A (zh) 2017-08-18
KR20180110207A (ko) 2018-10-08
US20170239567A1 (en) 2017-08-24
CN107077846B (zh) 2021-03-16
EP3211638A4 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
JP6259530B2 (ja) 制御装置、制御方法、プログラム及び情報記憶媒体
JP5955299B2 (ja) 表示制御装置、表示制御方法、プログラム及び情報記憶媒体
JP6193272B2 (ja) 音声認識を通じる端末機のロック/ロック解除状態を制御する方法及び装置
JP6383409B2 (ja) 案内装置、案内方法、プログラム及び情報記憶媒体
JP6405316B2 (ja) エンタテインメント装置、表示制御方法、プログラム及び情報記憶媒体
US10869079B2 (en) Apparatus and control method for displaying content of peripheral device
JP6229071B2 (ja) 制御装置、制御方法、プログラム及び情報記憶媒体
BR102013000553A2 (pt) Aparelho de exibição de imagem possibilitando o reconhecimento de voz, e método de controlar um aparelho de exibição de imagem incluindo uma unidade de entrada de voz e uma unidade de saída de áudio
TWI675687B (zh) 一種儀器和由用戶控制儀器之方法
CN107430856B (zh) 信息处理系统和信息处理方法
US20220134226A1 (en) Information processing apparatus, information processing method, and program
JP6216892B2 (ja) キャプチャ装置、キャプチャ方法、プログラム及び情報記憶媒体
US20240293754A1 (en) Data processing apparatus and method
JP2014068343A (ja) ディスプレイ装置およびその制御方法
JP2015049515A (ja) 言語学習プログラムおよびそれを記録したコンピュータで読み取り可能な記録媒体
JP2015116240A (ja) 端末装置、ゲームシステムおよびゲームシステムの制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171208

R150 Certificate of patent or registration of utility model

Ref document number: 6259530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250