JP6414241B2 - インタラクティブ・ホワイトボード機器の音声制御 - Google Patents

インタラクティブ・ホワイトボード機器の音声制御 Download PDF

Info

Publication number
JP6414241B2
JP6414241B2 JP2017020157A JP2017020157A JP6414241B2 JP 6414241 B2 JP6414241 B2 JP 6414241B2 JP 2017020157 A JP2017020157 A JP 2017020157A JP 2017020157 A JP2017020157 A JP 2017020157A JP 6414241 B2 JP6414241 B2 JP 6414241B2
Authority
JP
Japan
Prior art keywords
interactive whiteboard
command
whiteboard device
audio
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017020157A
Other languages
English (en)
Other versions
JP2017157204A (ja
Inventor
マラテシャ ラトナーカラ
マラテシャ ラトナーカラ
ウォン ラナ
ウォン ラナ
北田　博之
博之 北田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2017157204A publication Critical patent/JP2017157204A/ja
Application granted granted Critical
Publication of JP6414241B2 publication Critical patent/JP6414241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Stored Programmes (AREA)

Description

本開示は概括的には遠隔会議技術に関し、より詳細にはインタラクティブ・ホワイトボード機器を介して遠隔会議機能を提供することに関する。
遠隔会議技術は制御するのがぎこちなく、わずらわしいことがある。その困難のため、ユーザーは遠隔会議技術の利用可能な機能を活用できなかったり、活用する気がしなかったりすることがある。たとえばユーザーは複雑なメニューをナビゲートするのを学習したり、一般的なコマンドに対応するアイコンを暗記したりする必要があることがある。さらに、熟練ユーザーは利用可能な機能を学習する時間をもったものの、新米ユーザーは、他者にプレゼンするときに新しい機能を使うときにつまづいたり、目に見えてためらったりすることがあり、その新米ユーザーの信頼性を低下させることになる。
多くの電子装置はキーボード、マウスまたはタッチスクリーンのような、ユーザーが手を使って制御する入力装置を使って制御できる。音声認識技術はユーザーが声を使って電子装置と対話する方法を提供し、ハンズフリーのユーザー経験を与える。米国カリフォルニア州キューパーティーノのアップル・コンピューターによって生産されている「アイフォーン」（登録商標）または米国カリフォルニア州マウンテンビューのアルファベット社によって公開されている「アンドロイド」（登録商標）オペレーティング・システム上で走る「アンドロイド」（登録商標）装置は、装置上の互換アプリケーションと対話して装置に音声コマンドに応答させる、音声制御されるアプリケーションを含んでいる。
本節に記載されたアプローチは追求されることができたアプローチであるが、必ずしも以前に着想または追求されたアプローチではない。したがって、特に断わりのない限り、本節に記載されるアプローチのどれも、単に本節に含まれているために従来技術としての資格をもつと想定されるべきではない。
インタラクティブ・ホワイトボード機器は：一つまたは複数のプロセッサと；命令が具現されている非一時的なコンピュータ可読媒体とを有しており、前記命令は、前記一つまたは複数のプロセッサによって実行されたときに：当該インタラクティブ・ホワイトボード機器での注釈ウィンドーの実行中に、ユーザーから受領される音声入力を検出する段階と；前記音声入力の録音をオーディオ・パケットに格納する段階と；前記オーディオ・パケットを発話‐テキスト・サービスに送信する段階と；前記発話‐テキスト・サービスから前記音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記コマンド・ストリングから、当該インタラクティブ・ホワイトボード機器によって実行可能な実行可能コマンドを識別する段階と；当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記実行可能コマンドを実行させる段階との実行を引き起こす。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記命令は、実行されたときにさらに：インタラクティブ・ホワイトボード機器での前記注釈ウィンドーの実行中に、前記注釈ウィンドーにおいてユーザーからのスタイラス入力を検出する段階と；前記コマンド・プロセッサ内のペン・モード・コマンド処理を使って、前記スタイラス入力から、追加的コマンドを同定する段階と；当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記追加的コマンドを実行させる段階との実行を引き起こす。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記音声入力を検出する段階は：連続的なオーディオ・フィードを捕捉する連続聴取モードでマイクロフォンを動作させ；前記連続的なオーディオ・フィードから前記音声入力を捕捉することを含む。いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記音声入力を検出する段階は：開始コマンド・モードにおいてマイクロフォンを動作させ；開始コマンドを検出し；前記開始コマンドの検出に応答して、その後のオーディオ・フィードから前記音声入力を捕捉することを含む。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記発話‐テキスト・サービスからコマンド・ストリングを受領する段階は：当該インタラクティブ・ホワイトボード機器に関連付けられたクライアント装置を使って、当該インタラクティブ・ホワイトボード機器に関連付けられた前記クライアント装置のアプリケーションの実行中に、第二のユーザーからの第二の音声入力を検出し、前記第二の音声入力の録音を第二のオーディオ・パケットに格納し、前記第二のオーディオ・パケットを発話‐テキスト・サービスに送信することを含み、前記命令は、実行されたときにさらに：当該インタラクティブ・ホワイトボード機器において、前記発話‐テキスト・サービスから前記第二の音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；当該インタラクティブ・ホワイトボード機器において、前記コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記第二の音声入力の録音の文字起こしから、第二の実行可能コマンドを同定する段階と；当該インタラクティブ・ホワイトボード機器において、当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記第二の実行可能コマンドを実行させる段階との実行を引き起こす。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記クライアント装置は、前記モバイル装置上の前記アプリケーションを介してユーザーから受領される当該インタラクティブ・ホワイトボード機器の選択を使って、当該インタラクティブ・ホワイトボード機器に関連付けられる。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記クライアント装置はモバイル装置を含む。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記クライアント装置は別のインタラクティブ・ホワイトボード機器を含む。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記オーディオ・パケットは、複数のインタラクティブ・ホワイトボード機器から当該インタラクティブ・ホワイトボード機器を識別する当該インタラクティブ・ホワイトボード機器の識別子を含む。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記オーディオ・パケットを発話‐テキスト・サービスに送信することは：前記オーディオ・パケットを、前記複数のインタラクティブ・ホワイトボード機器によって送信される、待ち行列に入れられた複数のオーディオ・パケットを格納するオーディオ・パケット待ち行列を介して送信することを含む。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記発話‐テキスト・サービスからコマンド・ストリングを受領する段階は：前記複数のインタラクティブ・ホワイトボード機器に送られるべき、待ち行列に入れられた複数のコマンド・ストリングを格納するコマンド・ストリング待ち行列を介して前記コマンド・ストリングを受領し；前記オーディオ・パケットに含まれている前記インタラクティブ・ホワイトボード機器の前記識別子が、当該インタラクティブ・ホワイトボード機器の識別子に一致することを判別することを含む。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記音声入力の録音の文字起こしから、前記実行可能コマンドを識別する段階は：前記文字起こしから一つまたは複数のキャラクタを追加または除去することによって前記録音の文字起こしを修正して、修正された文字起こしを与え；該修正された文字起こしを実行可能コマンドにマッチさせることを含む。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記実行可能コマンドを実行させる段階は：アプリケーション・プログラミング・インターフェース（API）を介して当該インタラクティブ・ホワイトボード機器のオペレーティング・システムに前記実行可能コマンドを通信することを含む。
いくつかの事例では、当該インタラクティブ・ホワイトボード機器において、前記発話‐テキスト・サービスは、当該インタラクティブ・ホワイトボード機器上で実装される。
さまざまな実施形態が実施されうるネットワーク接続された環境を描く図である。 いくつかの実施形態に基づく、インタラクティブ・ホワイトボード機器の音声制御を提供するシステムを描く図である。 いくつかの実施形態に基づく、インタラクティブ・ホワイトボード機器の音声制御を提供するプロセスのマルチレーン・フローチャートである。 さまざまな実施形態が実施されうるさらなるネットワーク接続された環境を描く図である。 本発明のある実施形態が実装されうるコンピュータ・システムを示すブロック図である。
以下の記述では、説明の目的で、本発明の十全な理解を提供するために数多くの個別的詳細が記述される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他の事例では、よく知られた構造および装置は、本発明を無用に埋没させるのを避けるためにブロック図の形で示されている。
〈全般的概観〉
インタラクティブ・ホワイトボード機器は音声制御機能をもつ。音声制御機能により、インタラクティブ・ホワイトボード機器のユーザーは複数の音声コマンドを使ってインタラクティブ・ホワイトボード機器を制御できる。音声コマンドは、インタラクティブ・ホワイトボード機器のハンズフリーの操作を提供する。さらに、音声制御機能により、ユーザーがメニュー・フローやディスプレイに含まれる対話的アイコンの事前の知識をもつことを要求することなく、ユーザーがインタラクティブ・ホワイトボード機器をより直観的に制御することを許容する。音声制御機能は、インタラクティブ・ホワイトボード機器が、向上した機能を提供しつつ、比較的単純なグラフィカル・ユーザー・インターフェースを提供することを許容する。ここで、向上した機能は、多分に装置外のコンピューティング資源によってサポートされる。これは、インタラクティブ・ホワイトボード機器に対する計算負荷を低減する。さらに、音声コマンドの使用は、グラフィカル・ユーザー・インターフェースをナビゲートすることにおけるユーザー誤りを低減し、望まれないメニュー、ヘルプ機能およびアイコンをユーザーに提供することに費やされる計算資源の消費をなくす。
インタラクティブ・ホワイトボード（IWB: interactive whiteboard）機器において、マイクロフォンを介して、ユーザーは音声コマンドを提供する。インタラクティブ・ホワイトボード機器の音声認識プロセッサは音声コマンドの録音を捕捉する。音声認識プロセッサは、該録音と、インタラクティブ・ホワイトボード機器の識別子を含むメタデータとをオーディオ・パケットにパッケージングし、該オーディオ・パケットをオーディオ待ち行列マネージャに送る。オーディオ待ち行列マネージャは、そのオーディオ・パケットをオーディオ待ち行列に入れ、適宜、オーディオ・パケットを発話‐テキスト・サービスに送る。発話‐テキスト・サービスは録音を文字に変換して、文字起こしを与える。発話‐テキスト・サービスは該文字起こしおよびメタデータをコマンド・ストリングとしてコマンド・ストリング待ち行列マネージャに送る。コマンド・ストリング待ち行列マネージャはコマンド・ストリングを待ち行列に入れ、適宜、コマンド・ストリングをIWB機器内のコマンド・プロセッサに送る。コマンド・プロセッサは前記文字起こしにおける実行可能コマンドを識別し、IWB機器に、IWB機器上のAPIを呼び出すことによって前記実行可能コマンドを実行させる。
〈ネットワーク接続された環境〉
図１は、さまざまな実施形態が実施されうるネットワーク接続された環境１００を描いている。ネットワーク接続された環境１００は、ローカル・エリア・ネットワーク（LAN）、広域ネットワーク（WAN）またはインターネットのような電子ネットワークを介して互いと通信するよう構成された二つ以上のコンピューティング装置を含んでいる。いくつかの事例では、コンピューティング装置のいくつかは、LANを介して通信してもよく、他のものはWANまたはインターネットを介して通信してもよい。ネットワーク接続された環境１００は、IWB機器自身への実質的な変更を要求することなく、IWB機器が発話‐テキスト・サービスの追加的機能にアクセスすることを許容する。
IWB機器１０２は、ネットワークを介してリモートの発話‐テキスト・サービス１１２と通信するよう構成されている。IWB機器１０２は、複数のユーザーのためにリアルタイムで通信および注釈機能を提供する協働・会議装置である。IWB機器１０２のいくつかの機能は、これに限られないが：文書の注釈付け；ファイルの共有；複数のIWB機器（図示せず）、モバイル・アプリおよびサードパーティー・ソリューションを横断したリアルタイム注釈付け；クラウド・ベースのサービスとのデータの共有および同期；光学式文字認識；およびローカリゼーション（localization）機能を含む。IWB機器１０２は、スタイラスまたはタッチスクリーンを介してユーザーによって制御されうる。IWB機器１０２は、ネットワーキング機能、オペレーティング・システム、ウェブ・ブラウザーといったコンピューティング装置インフラストラクチャーを含み、サードパーティーからの専用のアプリケーションを実行できる。IWB機器１０２はさらに、文書を検索して開くこと、文書に注釈付けすること、文書および注釈のリアルタイム共有、ビデオ会議、電話会議および文書の保存のための、IWB機器固有のアプリケーションを含む。
IWB機器１０２は、IWB機器１０２の直近における音を捕捉するマイクロフォン１０４を有している。マイクロフォン１０４は、IWB機器１０２に組み込まれた内蔵マイクロフォンであってもよい。いくつかの事例では、マイクロフォン１０４はIWB機器１０２の直近に位置されており有線もしくは無線技術を介してIWB機器１０２に接続されている一つまたは複数のマイクロフォンを含んでいてもよい。有線マイクロフォンの例は、IWB機器１０２のオーディオ・ジャックまたはUSBポートを介してIWB機器１０２につなぐマイクロフォンを含む。無線マイクロフォンの例は、ブルートゥース（登録商標）・リンクを介してブルートゥース（登録商標）対応IWB機器１０２と通信するブルートゥース（登録商標）対応マイクロフォンを含む。
マイクロフォン１０４と通信する音声認識プロセッサ１０６は、捕捉された音の一部を潜在的な音声コマンドとして識別する。音声認識プロセッサ１０６は、IWB機器１０２のオペレーティング・システムに含まれている音声認識プログラム、たとえば米国ワシントン州レドモンドのマイクロソフトによって開発されたWINDOWS（登録商標） SPEECH RECOGNITION発話認識コンポーネントを含んでいてもよい。あるいはまた、音声認識プロセッサ１０６はIWB機器１０２上で実行されるアプリケーションであってもよい。
音声認識プロセッサ１０６は、所与の時点において二つのモードのうちの一方で動作でき、任意の時点でモード間の切り換えができる。第一のモード、連続聴取モードは、常時音を捕捉し、その音を解析して潜在的な音声コマンドを識別しようとすることに関わる。連続聴取モードでは、音声認識プロセッサ１０６は、閾値継続時間続く、音の長い休止を識別することによって、潜在的な音声コマンドを検出する。閾値継続時間はたとえば、1秒未満、1秒または1秒超でありうる。閾値継続時間を検出すると、音声認識プロセッサ１０６は、休止の前に捕捉された音のセグメントを解析し、休止の直前に生起した音の録音を保存しうる。録音は、休止前の指定された時間期間、たとえば10秒の間に捕捉された音を含んでいてもよい。他の実施形態では、音声認識プロセッサ１０６は、該セグメントに対して初期音声認識解析を実行して潜在的なコマンドを識別するよう構成されていてもよい。該潜在的なコマンドが話されていた時間期間の間に捕捉された音が次いで録音として保存される。
音声認識プロセッサ１０６の第二のモードは、開始コマンド・モードである。開始コマンド・モードでは、音声認識ソフトウェア１０６が、マイクロフォンによって捕捉された音において、ユーザーによって話される開始コマンドを識別することによって、潜在的な音声コマンドを検出する。開始コマンドはたとえば「やあ、ボブ！」であってもよい。ここで、「ボブ」は音声認識プロセッサ１０６のニックネームである。開始コマンドが検出されるとき、音声認識プロセッサ１０６は開始コマンドが話された後または後刻に生起する音の録音を保存し始める。録音は、3秒、5秒または10秒といった時間期間にわたって続いてもよい。他の実施形態では、音声認識プロセッサ１０６は、捕捉された音のそのセグメントに対して初期音声認識解析を実行して潜在的なコマンドを識別するよう構成されていてもよい。潜在的なコマンドが話された時間期間の間に捕捉された音は次いで録音として保存される。
音声認識プロセッサ１０６は録音をオーディオ・パケットにまとめる。オーディオ・パケットの内容および構造は、ネットワーキング・パケットのようないかなる特定のデータ構造にもフォーマットにも限定されるものではなく、オーディオ・データおよびメタデータの両方を含むデータを一般的に指すために使われる。オーディオ・パケットは、これに限られないがその録音を記録したIWB機器１０２の識別子およびその録音から識別されるコマンドを実行することが意図されているIWB機器１０２の識別子などの追加的なメタデータを含む。いくつかの事例では、これらの識別子は同じIWB機器１０２を同定していてもよいが、他の事例では、これらは異なるIWB機器１０２を同定してもよい。メタデータはさらに、オーディオ・パケット待ち行列マネージャ（図２参照）の識別子および発話‐テキスト・サービス１１０の識別子およびコマンド・ストリング待ち行列マネージャ（図２参照）の識別子を含んでいてもよい。メタデータに含まれる識別子は、メタデータによって同定される各エンティティに関連付けられたインターネット・プロトコル（IP）アドレスおよび／またはポートを含んでいてもよい。音声認識プロセッサ１０６は、オーディオ・パケットを組み立てると、オーディオ・パケットを発話‐テキスト・サービス１１２に送る。
IWB機器１０２のコマンド・プロセッサ１０８は、発話‐テキスト・サービス１１２からコマンド・ストリングを受領し、音声認識プロセッサ１０６によって記憶された録音の文字起こしからコマンドを識別し、IWB機器１０２にそのコマンドを実行させる。コマンド・プロセッサ１０８は、文字起こしがある記憶されたコマンドに一致するよう一つまたは複数のキャラクタを追加または除去することによって、コマンドを識別するために文字起こしされたコマンド・ストリングを修正してもよい。これは、音声入力およびユーザーの大きな変動がホワイトボード上でうまく扱われることを保証し、発話‐テキストの文字起こしを誤りから意図されたコマンドに訂正するためである。記憶されたコマンドの限定しない例およびその説明を表１に掲げる。
Figure 0006414241
 コマンド・プロセッサは、文字起こしから実行可能コマンドを識別すると、オペレーティング・システムまたは該オペレーティング・システム上で実行中のアプリケーションに、コマンドに対応するアクションを実行させる。
図１の任意的なクラウド１１０は発話‐テキスト・サービス１１２をホストする。クラウド１１０は、クラウド環境においてサービスを提供するコンピューティング装置のネットワーク接続された集合である。発話‐テキスト・サービス１１２は代替的には、クラウド環境の外部の伝統的なオンライン・サービス・プロバイダーによってホストされてもよい。代替的な諸実施形態において、発話‐テキスト・サービス１１２は、ファイアウォール内でオンプレミスでホストされてもよい。他の代替的な諸実施形態では、発話‐テキスト・サービス１１２はIWB機器１０２において実行され、その一つのIWB機器１０２だけのためにコマンドを処理する独立なプロセスであってもよい。これらの代替的な実施形態は、IWB機器１０２のより高い安全性およびプライバシーを提供しうる。
発話‐テキスト・サービス１１２は、オーディオ・パケットの自動化された文字起こしのサードパーティー・プロバイダーであってもよい。そのようなプロバイダーの例は、これに限られないが、米国ニューヨーク州アーモンクのインターナショナル・ビジネス・マシーンズによる「ワトソン」（登録商標）および米国マサチューセッツ州バーリントンのニュアンス・エンタープライズによる「ドラゴン」発話認識を含む。
クライアント装置１１４は、ユーザーのモバイル・コンピューティング装置または別のIWB機器を含んでいてもよい。クライアント装置１１４は、インタラクティブ・ホワイトボード・アプリ１１６を含む。インタラクティブ・ホワイトボード・アプリ１１６は、IWB機器１０２と対話するための専用アプリケーションである。インタラクティブ・ホワイトボード・アプリ１１６は、ユーザーが、クライアント装置１１４およびIWB機器１０２とインタラクティブ・ホワイトボード・アプリ１１６との間の関連付けを確立することを許容するユーザー・インターフェースを提供する。関連付けは、クライアント装置１１４によって開始されたコマンドを実行するためにIWB機器１０２にコマンドを送るために、クライアント装置１１４上の音声認識プロセッサ１０６によって、使われる。インタラクティブ・ホワイトボード・アプリ１１６はユーザーが複数のIWB機器からIWB機器１０２を選択することを許容してもよい。たとえば、インタラクティブ・ホワイトボード・アプリ１１６は、ユーザーが、クライアント装置１１４を介してリモートにコマンドするための特定のIWB機器またはIWB機器のグループを選択することを許容するグラフィカル・ユーザー・インターフェースを提供してもよい。クライアント装置１１４上の音声認識プロセッサ１０６は、IWB機器１０２上の音声認識プロセッサ１０６に関して本稿で述べたのと同じ機能を実行してもよい。
クライアント装置１１４はさらに、上述した音声認識プロセッサ１０６を有する。音声認識プロセッサ１０６は、マイクロフォン１０４との関連で述べたようにクライアント装置１１４に接続されたまたは統合されたマイクロフォンを介して音入力を受領する。モバイル・アプリを有するクライアントを使うと、ユーザーは、コマンドを話してIWB機器１０２にコマンドを実行させるためにホワイトボードの前にいる必要がない。ユーザーは、リモートにIWB機器１０２を制御しうる。IWB機器１０２を制御することは、複数のIWB機器１０２がリモート参加者によってリモートに制御されうる状況では貴重である。
図２は、いくつかの実施形態に基づく、インタラクティブ・ホワイトボード機器の音声制御を提供するシステム２００を描いている。システム２００は、ネットワーク接続された環境１００の、より微妙なところまで表わした図を与えている。システム２００は、完全にIWB機器１０２内にあるなど、単一位置に位置していてもよく、あるいは複数の位置にまたがって実装され、複数のIWB機器１０２を含むのでもよい。たとえば、点線２１８の左側に描かれたシステム２００の部分（音声認識プロセッサ１０６、ホワイトボード注釈付けアプリケーション２０２、インタラクティブ・ホワイトボードAPI ２１６およびコマンド・プロセッサ１０８を含む）はIWB機器１０２機器自身の一部であってもよい。点線２１８と点線２２０の間に描かれているシステム２００の部分（オーディオ・パケット待ち行列マネージャ２０４、オーディオ・パケット待ち行列２０６、コマンド・ストリング待ち行列マネージャ２０８およびコマンド・ストリング待ち行列２１０を含む）はエンティティにわたって広がるLANにまたはクラウド環境に位置されてもよい。点線２２０の右側に描かれるシステム２００の部分（発話‐テキスト・サービス１１２を含む）は、クラウド環境またはサードパーティー・サーバーに位置していてもよい。このように、諸実施形態は、単一位置、複数位置およびクラウド・ベースの実装に適用可能である。
ホワイトボード注釈付けアプリケーション２０２は、IWB機器１０２によって実行されるアプリケーションであって、ユーザーがスタイラスまたは指を使ってドローすることでリアルタイムに電子文書を作成する、開く、注釈付けするおよび保存することができるような電子ドロー表面（electronic drawing surface）を含む注釈ウィンドーを提供する。たとえば、ユーザーは、注釈ウィンドーを介して、ワードプロセシング文書、スプレッドシード、描画などといった既存の文書を閲覧し、編集してもよい。ホワイトボード注釈付けアプリケーション２０２は典型的には、IWB機器１０２の電源投入時に自動的に呼び出され、IWB機器１０２のグラフィカル・ユーザー・インターフェースは、ユーザーが注釈ウィンドーとビデオ会議ウィンドーのような他のウィンドーとの間で切り換えることを許容するグラフィカル・ユーザー・インターフェース・コントロールを含む。ホワイトボード注釈付けアプリケーション２０２の実行中、上記で論じたように、音声認識プロセッサ１０６によって音声コマンドが検出されてもよい。
音声コマンドの録音を含むオーディオ・パケットを生成すると、音声認識プロセッサ１０６はそのオーディオ・パケットをオーディオ・パケット待ち行列マネージャ２０４に送る。オーディオ・パケット待ち行列マネージャ２０４は複数のIWB機器１０２および／またはクライアント装置１１４からオーディオ・パケットを受領してもよい。ファイル待ち行列マネージャ２０４は、受領されたオーディオ・パケットをオーディオ・パケット待ち行列２０６に入れる。オーディオ・パケット待ち行列２０６は、先入れ先出し（FIFO）待ち行列として実装され、管理されてもよいが、実施形態はFIFO待ち行列実装に限定されるものではなく、他の実装が使われてもよい。受領されたオーディオ・パケットがFIFO待ち行列の先頭に達すると、オーディオ・パケット待ち行列マネージャ２０４はそのオーディオ・パケットを発話‐テキスト・サービス１１２に送る。
いくつかの実装では、発話‐テキスト・サービス１１２はコマンドを知らず、既存の文字起こしプログラムを使って録音を文字起こしするだけである。いくつかの実施形態では、発話‐テキスト・サービスは、記憶されている実行可能なコマンドおよび記憶されている音声入力を使って、特定のコマンドを認識し、文字転写するようトレーニングされる。トレーニングは、発話‐テキスト・サービス１１２が特定の製品またはサービスについてのコマンドを、よりよい精度をもって、より少ない誤りで認識する助けとなることがある。さらなる実施形態は、フィードバック機構を含んでいてもよく、それによりIWB機器１０２上のコマンド・プロセッサ１０８が、特定の録音を特定の記憶されている実行可能なコマンドと関連付けるフィードバックを提供する。たとえば、IWB機器１０２は、ユーザーが話したコマンドがIWB機器１０２によって成功裏に処理され、認識されたという、ユーザーへの視覚的および／または可聴な指示を提供してもよい。
発話‐テキスト・サービス１１２は、前記録音の文字起こしおよび前記メタデータを含むコマンド・ストリングを、前記オーディオ・パケットに含まれるメタデータを使って、コマンド・ストリング待ち行列マネージャ２０８に送る。コマンド・ストリング待ち行列マネージャ２０８は、受領されたコマンド・ストリングをコマンド・ストリング待ち行列２１０に入れる。コマンド・ストリング待ち行列２１０はFIFO待ち行列として実装されてもよいが、他の待ち行列手法が使われてもよい。受領されたコマンド・ストリングがFIFO待ち行列の先頭に達すると、コマンド・ストリング待ち行列マネージャ２０８は、そのコマンド・ストリングに含まれているメタデータを使って複数のIWB機器からIWB機器１０２を同定し、そのコマンド・ストリングを同定されたIWB機器１０２に送る。
IWB機器１０２では、コマンド・プロセッサ１０８は、音声モード・コマンド処理２１２およびペン・モード・コマンド処理２１４を含む。音声モード・コマンド処理２１２は、コマンド・ストリング待ち行列マネージャ２０８からコマンド・ストリングを受領することを含む。音声モード・コマンド処理２１２は、前記録音の文字起こしにアクセスして、該文字起こしが、表１に挙げたような、ある記憶されている実行可能コマンドに一致するかどうかを判定する。一致するものがなければ、音声モード・コマンド処理２１２は、前記文字起こしからキャラクタを追加または除去することによって前記文字起こしを修正してもよい。これは、たとえば、前記録音の前記文字起こしに最もよく一致する記憶されている実行可能コマンドを判別し、次いで、その記憶されている実行可能コマンドに一致するよう前記文字起こしを修正することを含んでいてもよい。コマンド・プロセッサ１０８は、前記コマンド・ストリングを受領すると、サポートされているコマンドについて知識ベース（たとえば表１参照）に問い合わせする。そのコマンド・ストリングが正確な一致であれば、IWB機器１０２はそのコマンドを実行する。そうでなければ、IWB機器１０２は、サポートされているコマンドの一つに一致するよう、そのコマンド・ストリングをパースして最も近い一致を近似する（たとえば、"Color reed"を"Color Red"〔色 赤〕に、"Add Pager"を"Add Page"〔ページ追加〕に）。IWB機器１０２上でアクションを実行する前に、IWB機器１０２は、パースされたコマンド・ストリングを確認するメッセージをユーザーに提供してもよい。たとえば、メッセージは「色を赤に変えたいですか［はい／いいえ］」と尋ねてもよく、ユーザー入力に基づいて、コマンド・プロセッサ１０８はIWB機器１０２に対してアクションを実行してもよい。
ペン・モード・コマンド処理２１４は、ユーザーからのスタイラス入力の検出に応答して、実行可能コマンドを同定するよう構成される。これはたとえば、IWB機器１０２における実行可能コマンドに対応する一つまたは複数のグラフィカル・ユーザー・インターフェース・コントロールの選択を検出することを含んでいてもよい。
実行可能コマンドが音声モード・コマンド処理２１２またはペン・モード・コマンド処理２１４によって同定されると、コマンド・プロセッサ１０８は、IWB機器１０２のインタラクティブ・ホワイトボード・アプリケーション・プログラム・インターフェース（API）を介して、その実行可能コマンドをIWB機器１０２によって実行させる。たとえば、ユーザーがコマンド「会議開始」を話すことに応答して、IWB機器１０２はIWB機器１０２上でビデオ会議ウィンドーをインスタンス生成してもよい。ホワイトボード注釈付けアプリケーション２０２によって管理される注釈付けウィンドーを含む既存のウィンドーに関するコマンドが処理されてもよい。
図３は、いくつかの実施形態に基づく、インタラクティブ・ホワイトボード機器の音声制御を提供するプロセスのマルチレーン・フローチャートである。このプロセスは、音声コマンドを認識し、同定し、実行するために、IWB機器１０２に機能を提供する。IWB機器１０２は音声コマンドを実行するので、ユーザーは、IWB機器１０２でハンズフリー経験をもちうる。
動作３０２では、IWB機器１０２は該IWB機器上でアプリケーションを実行する。アプリケーションの例は、注釈付けアプリケーション２０２、遠隔会議アプリケーション、協働アプリケーションまたはクラウド記憶アプリケーションのようなサードパーティー・アプリケーションを含むことができる。
動作３０４では、音声認識プロセッサ１０６が、マイクロフォン１０４によって捕捉された音を使って、実行中のアプリケーションにおける音声入力を検出する。音声認識プロセッサ１０６は、連続聴取モードまたは開始コマンド・モードで走っていることができる。
動作３０６では、音声認識プロセッサ１０６は、前記録音と、前記録音を記録したIWB機器１０２の識別子および前記録音から識別されるコマンドを実行することが意図されているIWB機器の識別子を含むメタデータとを含むオーディオ・パケットを生成する。いくつかの事例では、これらの識別子は同じIWB機器１０２を同定していてもよいが、他の事例では、これらは異なるIWB機器を同定してもよい。メタデータはさらに、オーディオ・パケット待ち行列マネージャの識別子および発話‐テキスト・サービス１１０の識別子およびコマンド・ストリング待ち行列マネージャの識別子を含んでいてもよい。メタデータに含まれる識別子は、メタデータによって同定される各エンティティに関連付けられたインターネット・プロトコル（IP）アドレスおよび／またはポートを含んでいてもよい。音声認識プロセッサ１０６は、生成されたオーディオ・パケットをオーディオ・パケット待ち行列２０６に送る。
〈モバイル・アプリケーション〉
代替的な実施形態では、動作３０２、３０４および３０６は、クライアント装置１１４によって実行されてもよい。クライアント装置１１４はユーザーのモバイル装置または別のIWB機器であってもよい。クライアント装置１１４は、クライアント装置１１４またはクライアント装置１１４上のインタラクティブ・ホワイトボード・アプリ１１６を、音声コマンドを実行することになるIWB機器１０２と関連付けるアプリケーションを含んでいてもよい。この実施形態では、クライアント装置１１４上の音声認識プロセッサ１０６が動作３０４および３０６を実行する。クライアント装置１１４で生成されたオーディオ・パケットは、IWB機器１０２を同定するメタデータを含む。クライアント装置１１４上の音声認識プロセッサ１０６は、オーディオ・パケットをオーディオ・パケット待ち行列２０６に送る。これは、クライアント装置１１４のユーザーが、ローカルなIWB機器またはリモートのIWB機器のいずれかを制御することを許容する。クライアント装置１１４のユーザーが複数のIWB機器を選択する状況では、次いで、クライアント装置１１４上の音声認識プロセッサ１０６が複数のオーディオ・パケットを生成し、オーディオ・パケット待ち行列２０６に送信する。オーディオ・パケットは、結果として得られるコマンド・ストリングが送られるべきIWB機器１０２のリストを含むメタデータをもつ一つのパケットであってもよい。このようにして、オーディオ・パケットが複数のIWB機器１０２のために意図されていたとしても、オーディオ・パケット待ち行列１０６は、複数のオーディオ・パケットの負担をかけられることはない。オーディオ・パケット待ち行列マネージャ２０４は、オーディオ・パケットに含まれるメタデータに基づいて複数のIWB機器１０２に、結果として得られるコマンド・ストリングを送る命令を含んでいてもよい。これは、クライアント装置１１４のユーザーが、インタラクティブ・ホワイトボード・アプリ１１６を介して複数のIWB機器を制御することを許容する。
動作３０８では、オーディオ・パケット待ち行列２０６は、そのオーディオ・パケットを、IWB機器１０２からおよび／またはオーディオ・パケット待ち行列２０６と電子的に通信する複数の他のIWB機器からの他のオーディオ・パケットと一緒に、FIFO待ち行列に入れる。オーディオ・パケットが待ち行列の先頭に到達すると、オーディオ・パケット待ち行列２０６はそのオーディオ・パケットを発話‐テキスト・サービス１１２に送る。
動作３１０では、発話‐テキスト・サービス１１２は、オーディオ・パケット中の録音にアクセスし、録音の文字起こしを生成する。文字起こしは、コマンド・ストリングのテキスト・フィールドまたはペイロードであってもよい。コマンド・ストリングは、発話‐テキスト・サービスによって組み立てられ、前記文字起こしと、前記オーディオ・パケットに含まれる前記メタデータとを含む。コマンド・ストリング中のメタデータを使って、発話‐テキスト・サービス１１２はコマンド・ストリングをコマンド・ストリング待ち行列２１０に送る。
動作３１２では、コマンド・ストリング待ち行列２１０は、コマンド・ストリングを、IWB機器１０２へおよび／またはコマンド・ストリング待ち行列２１０と電子的に通信する複数の他のIWB機器へ送られるべき他のコマンド・ストリングと一緒に、FIFO待ち行列に入れる。コマンド・ストリングが待ち行列の先頭に到達すると、コマンド・ストリング待ち行列２１０はそのオーディオ・パケットをIWB機器１０２におけるコマンド・プロセッサ１０８に送る。
動作３１４では、コマンド・プロセッサ１０８は、コマンド・ストリングから実行可能コマンドを識別する。コマンド・プロセッサ１０８は、前記文字起こしを、記憶されている実行可能コマンドの集合におけるあるコマンドとマッチさせる。コマンド・プロセッサ１０８は、前記文字起こしを修正し、修正された文字起こしを、記憶されている実行可能コマンドの集合におけるあるコマンドとマッチさせてもよい。コマンド・プロセッサ１０８が前記文字起こしから実行可能コマンドを識別できない場合は、コマンド・プロセッサ１０８はそのコマンドをドロップしてもよく、あるいは、音声コマンドを繰り返すようユーザーに求めるユーザーへのプロンプトを呈示するようIWB機器１０２に命令してもよい。ユーザーが音声コマンドを繰り返す場合、プロセスは動作３０４に戻る。実行可能コマンドが識別されると、コマンド・プロセッサ１０８は実行可能コマンドを、インタラクティブ・ホワイトボードAPI ２１６を介してIWB機器１０２に上で走っているアプリケーションに送る。
動作３１６では、IWB機器１０２は、前記コマンドを、オペレーティング・システムを使って、あるいは前記コマンドをIWB機器１０２上で走っているアプリケーションに送ることによって、実行する。このアプリケーションは、動作３０２のアプリケーションであってもよく、あるいは別のアプリケーションであってもよい。
図４は、さまざまな実施形態が実施されうるさらなるネットワーク接続された環境４００を描いている。ネットワーク接続された環境４００は、二つのサイトが遠隔会議に参加している例示的な環境を描いている。各サイトは、IWB機器４０２、４０４、４０８および４１０として描かれている一つまたは複数のIWB機器１０２を有していてもよい。さらに、遠隔会議の参加者はクライアント装置１１４のように、上記のようなIWBアプリ１１６および音声認識プロセス１０６を有する個人のモバイル装置４０６を有していてもよい。IWB機器４０２またはモバイル装置４０６は、たとえば、IWB機器４０８および／またはIWB機器４１０によって、あるいはさらなる実施形態ではIWB機器４０２およびIWB機器４０４によっても実行されるべき音声コマンドを捕捉してもよい。
図４では、IWB機器４０２、４０４およびモバイル装置４０６は、たとえばマイクロフォン１０４を介して捕捉された音声入力から、音声認識プロセッサ１０６を使ってオーディオ・パケットを生成する。IWB機器４０２、４０４およびモバイル装置４０６は、そのオーディオ・パケットを、たとえばインタラクティブ・ホワイトボード・アプリ１１６を使ってIWB機器４０８および／または４１０と関連付ける。待ち行列に入れられたオーディオ・パケットは発話‐テキスト・サービス１２２に送られる。結果として得られるコマンド・ストリングはコマンド・ストリング待ち行列２１０に入れられる。コマンド・ストリング待ち行列２１０は、コマンド・ストリングに関連付けられたメタデータにアクセスして、該メタデータから、コマンド・ストリングがIWB機器４０８および／またはIWB機器４１０に送られるべきであることを判別する。その判別に基づいて、コマンド・ストリングはIWB機器４０８および／またはIWB機器４１０に送られる。
〈実施例〉
ある実施形態によれば、本稿に記載される技法は一つまたは複数の特殊目的コンピューティング装置によって実装される。特殊目的コンピューティング装置は、本技法を実行するよう固定構成にされていてもよいし、あるいは本技法を実行するよう恒久的にプログラムされている一つまたは複数の特定用途向け集積回路（ASIC）またはフィールドプログラマブルゲートアレイ（FPGA）といったデジタル電子デバイスを含んでいてもよく、あるいはファームウェア、メモリ、他の記憶または組み合わせにおけるプログラム命令に従って本技法を実行するようプログラムされる一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的コンピューティング装置は、カスタムの固定構成論理、ASICまたはFPGAをカスタムのプログラミングと組み合わせて本技法を達成してもよい。特殊目的コンピューティング装置はデスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド装置、ネットワーキング装置または本技法を実装するために固定構成および／またはプログラム論理を組み込んでいる他の任意の装置であってもよい。
図５は、本発明のある実施形態が実装されうる例示的なコンピュータ・システム５００を示すブロック図である。コンピュータ・システム５００は、情報を通信するためのバス５０２または他の通信機構と、情報を処理するための、バス５０２に結合されたプロセッサ５０４とを含む。ハードウェア・プロセッサ５０４はたとえば汎用マイクロプロセッサであってもよい。
コンピュータ・システム５００は、ランダム・アクセス・メモリ（RAM）または他の動的記憶装置のような、情報およびプロセッサ５０４によって実行されるべき命令を記憶するための、バス５０２に結合されたメイン・メモリ５０６をも含む。メイン・メモリ５０６はまた、一時変数または他の中間的な情報を、プロセッサ５０４によって実行されるべき命令の実行の間、記憶しておくために使われてもよい。そのような命令は、プロセッサ５０４とってアクセス可能な非一時的な記憶媒体に記憶されたとき、コンピュータ・システム５００を、前記命令において指定された動作を実行するようカスタマイズされた特殊目的機械にする。
コンピュータ・システム５００はさらに、バス５０２に結合された、静的な情報およびプロセッサ５０４のための命令を記憶するための読み出し専用メモリ（ROM）５０８または他の静的記憶装置を含む。磁気ディスク、光ディスクまたは半導体ドライブのような記憶装置５１０が提供され、情報および命令を記憶するためにバス５０２に結合される。
コンピュータ・システム５００は、コンピュータ・ユーザーに対して情報を表示するための、陰極線管（CRT）のようなディスプレイ５１２にバス５０２を介して結合されていてもよい。英数字その他のキーを含む入力装置５１４が、情報およびコマンド選択をプロセッサ５０４に伝えるためにバス５０２に結合される。もう一つの型のユーザー入力装置は、方向情報およびコマンド選択をプロセッサ５０４に伝えるとともにディスプレイ５１２上でのカーソル動きを制御するための、マウス、トラックボールまたはカーソル方向キーのようなカーソル・コントロール５１６である。この入力装置は典型的には、第一軸（たとえばx）および第二軸（たとえばy）の二つの軸方向において二つの自由度をもち、これにより該装置は平面内での位置を指定できる。
コンピュータ・システム５００は、本稿に記載される技法を実施するのに、カスタマイズされた固定構成論理、一つまたは複数のASICもしくはFPGA、コンピュータ・システムと組み合わさってコンピュータ・システム５００を特殊目的機械にするまたはプログラムするファームウェアおよび／またはプログラム論理を使ってもよい。ある実施形態によれば、それらの技法は、プロセッサ５０４がメイン・メモリ５０６に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行するのに応答して、コンピュータ・システム５００によって実行される。そのような命令は、記憶装置５１０のような別のコンピュータ可読媒体からメイン・メモリ５０６に読み込まれてもよい。メイン・メモリ５０６に含まれる命令のシーケンスの実行により、プロセッサ５０４は、本稿に記載されるプロセス段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて固定構成の回路が使用されてもよい。
本稿で用いられる用語「記憶媒体」は、機械に特定の仕方で動作させるデータおよび／または命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は不揮発性媒体および／または揮発性媒体を含みうる。不揮発性媒体は、たとえば、記憶装置５１０のような光ディスク、磁気ディスクまたは半導体ドライブを含む。揮発性媒体は、メイン・メモリ５０６のような動的メモリを含む。記憶媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、半導体ドライブ、磁気テープまたは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、穿孔パターンをもつ任意の物理的媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリ・チップまたはカートリッジを含む。
記憶媒体は、伝送媒体とは異なるが、伝送媒体との関連で使われてもよい。伝送媒体は記憶媒体の間で情報を転送することに参加する。たとえば、伝送媒体は、同軸ケーブル、銅線および光ファイバーを含み、バス５０２をなすワイヤを含む。伝送媒体は、音響波または光波、たとえば電波および赤外線データ通信の際に生成されるものの形を取ることもできる。
実行のためにプロセッサ５０４に一つまたは複数の命令の一つまたは複数のシーケンスを搬送することにおいて、さまざまな形の媒体が関わりうる。たとえば、命令は最初、リモート・コンピュータの磁気ディスクまたは半導体ドライブ上に担持されていてもよい。リモート・コンピュータは該命令をその動的メモリにロードし、該命令をモデムを使って電話線を通じて送ることができる。コンピュータ・システム５００にローカルなモデムが、電話線上のデータを受信し、赤外線送信器を使ってそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号において担持されるデータを受信することができ、適切な回路がそのデータをバス５０２上に載せることができる。バス５０２はそのデータをメイン・メモリ５０６に搬送し、メイン・メモリ５０６から、プロセッサ５０４が該命令を取り出し、実行する。メイン・メモリ５０６によって受信される命令は、任意的に、プロセッサ５０４による実行の前または後に記憶装置５１０上に記憶されてもよい。
コンピュータ・システム５００は、バス５０２に結合された通信インターフェース５１８をも含む。通信インターフェース５１８は、ローカル・ネットワーク５２２に接続されているネットワーク・リンク５２０への双方向データ通信結合を提供する。たとえば、通信インターフェース５１８は、対応する型の電話線へのデータ通信接続を提供するための、統合サービス・デジタル通信網（ISDN）カード、ケーブル・モデム、衛星モデムまたはモデムであってもよい。もう一つの例として、通信インターフェース５１８は、互換LANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク（LAN）カードであってもよい。無線リンクも実装されてもよい。そのようないかなる実装でも、通信インターフェース５１８は、さまざまな型の情報を表すデジタル・データ・ストリームを搬送する電気的、電磁的または光学的信号を送受信する。
ネットワーク・リンク５２０は典型的には、一つまたは複数のネットワークを通じた他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク５２０は、ローカル・ネットワーク５２２を通じてホスト・コンピュータ５２４またはインターネット・サービス・プロバイダー（ISP）５２６によって運営されているデータ設備への接続を提供してもよい。ISP ５２６は、現在一般に「インターネット」５２８と称される世界規模のパケット・データ通信網を通じたデータ通信サービスを提供する。ローカル・ネットワーク５２２およびインターネット５２８はいずれも、デジタル・データ・ストリームを担持する電気的、電磁的または光学的信号を使う。さまざまなネットワークを通じた信号ならびにネットワーク・リンク５２０上のおよび通信インターフェース５１８を通じた信号は、デジタル・データをコンピュータ・システム５００に／から搬送し、伝送媒体の例示的な形である。
コンピュータ・システム５００は、ネットワーク（単数または複数）、ネットワーク・リンク５２０および通信インターフェース５１８を通じて、メッセージを送り、プログラム・コードを含めデータを受信することができる。インターネットの例では、サーバー５３０は、インターネット５２８、ISP ５２６、ローカル・ネットワーク５２２および通信インターフェース５１８を通じてアプリケーション・プログラムのための要求されたコードを送信してもよい。
受信されたコードは、受信される際にプロセッサ５０４によって実行されても、および／または、のちの実行のために記憶装置５１０または他の不揮発性記憶に記憶されてもよい。
以上の明細書では、本発明の実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。よって、明細書および図面は制約する意味ではなく、例解するものとみなされるべきである。本発明および何が出願人によって本発明の範囲であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の一組の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものの文字通りの範囲および等価な範囲である。
いくつかの態様を記載しておく。
〔態様１〕
インタラクティブ・ホワイトボード機器であって：
一つまたは複数のプロセッサと；
命令が具現されている非一時的なコンピュータ可読媒体とを有しており、前記命令は、前記一つまたは複数のプロセッサによって実行されたときに：
当該インタラクティブ・ホワイトボード機器での注釈ウィンドーの実行中に、ユーザーから受領される音声入力を検出する段階と；
前記音声入力の録音をオーディオ・パケットに格納する段階と；
前記オーディオ・パケットを発話‐テキスト・サービスに送信する段階と；
前記発話‐テキスト・サービスから前記音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記コマンド・ストリングから、当該インタラクティブ・ホワイトボード機器によって実行可能な実行可能コマンドを識別する段階と；
当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記実行可能コマンドを実行させる段階と
の実行を引き起こすものである、インタラクティブ・ホワイトボード機器。
〔態様２〕
前記命令は、実行されたときにさらに：
インタラクティブ・ホワイトボード機器での前記注釈ウィンドーの実行中に、前記注釈ウィンドーにおいてユーザーからのスタイラス入力を検出する段階と；
前記コマンド・プロセッサ内のペン・モード・コマンド処理を使って、前記スタイラス入力から、追加的コマンドを識別する段階と；
当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記追加的コマンドを実行させる段階と
の実行を引き起こす、態様１記載のインタラクティブ・ホワイトボード機器。
〔態様３〕
前記音声入力を検出する段階が：
連続的なオーディオ・フィードを捕捉する連続聴取モードでマイクロフォンを動作させ；
前記連続的なオーディオ・フィードから前記音声入力を捕捉することを含む、
態様１記載のインタラクティブ・ホワイトボード機器。
〔態様４〕
前記音声入力を検出する段階が：
開始コマンド・モードにおいてマイクロフォンを動作させ；
開始コマンドを検出し；
前記開始コマンドの検出に応答して、その後のオーディオ・フィードから前記音声入力を捕捉することを含む、
態様１記載のインタラクティブ・ホワイトボード機器。
〔態様５〕
前記発話‐テキスト・サービスからコマンド・ストリングを受領する段階は：
当該インタラクティブ・ホワイトボード機器に関連付けられたクライアント装置を使って、当該インタラクティブ・ホワイトボード機器に関連付けられた前記クライアント装置のアプリケーションの実行中に、第二のユーザーからの第二の音声入力を検出し；
前記クライアント装置を使って、前記第二の音声入力の録音を第二のオーディオ・パケットに格納し；
前記クライアント装置を使って、前記第二のオーディオ・パケットを発話‐テキスト・サービスに送信することを含み、
前記命令は、実行されたときにさらに：
当該インタラクティブ・ホワイトボード機器において、前記発話‐テキスト・サービスから前記第二の音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
当該インタラクティブ・ホワイトボード機器において、前記コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記第二の音声入力の録音の前記文字起こしから、第二の実行可能コマンドを識別する段階と；
当該インタラクティブ・ホワイトボード機器において、当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記第二の実行可能コマンドを実行させる段階と
の実行を引き起こす、態様１記載のインタラクティブ・ホワイトボード機器。
〔態様６〕
前記クライアント装置は、前記モバイル装置上の前記アプリケーションを介してユーザーから受領される当該インタラクティブ・ホワイトボード機器の選択を使って、当該インタラクティブ・ホワイトボード機器に関連付けられる、態様５記載のインタラクティブ・ホワイトボード機器。
〔態様７〕
前記クライアント装置がモバイル装置を含む、態様５記載のインタラクティブ・ホワイトボード機器。
〔態様８〕
前記クライアント装置が別のインタラクティブ・ホワイトボード機器を含む、態様５記載のインタラクティブ・ホワイトボード機器。
〔態様９〕
前記オーディオ・パケットは、複数のインタラクティブ・ホワイトボード機器から当該インタラクティブ・ホワイトボード機器を識別する当該インタラクティブ・ホワイトボード機器の識別子を含む、態様１記載のインタラクティブ・ホワイトボード機器。
〔態様１０〕
前記オーディオ・パケットを発話‐テキスト・サービスに送信することは：
前記複数のインタラクティブ・ホワイトボード機器によって送信された、待ち行列に入れられた複数のオーディオ・パケットを格納するオーディオ・パケット待ち行列を介して、前記オーディオ・パケットを送信することを含む、
態様９記載のインタラクティブ・ホワイトボード機器。
〔態様１１〕
前記発話‐テキスト・サービスからコマンド・ストリングを受領する段階は：
前記複数のインタラクティブ・ホワイトボード機器に送られるべき、待ち行列に入れられた複数のコマンド・ストリングを格納するコマンド・ストリング待ち行列を介して、前記コマンド・ストリングを受領し；
前記オーディオ・パケットに含まれているインタラクティブ・ホワイトボード機器の前記識別子が、当該インタラクティブ・ホワイトボード機器の識別子に一致することを判別することを含む、
態様９記載のインタラクティブ・ホワイトボード機器。
〔態様１２〕
前記音声入力の録音の文字起こしから、前記実行可能コマンドを識別する段階は：
前記文字起こしから一つまたは複数のキャラクタを追加または除去することによって前記録音の文字起こしを修正して、修正された文字起こしを与え；
前記修正された文字起こしを実行可能コマンドにマッチさせることを含む、
態様１記載のインタラクティブ・ホワイトボード機器。
〔態様１３〕
当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記実行可能コマンドを実行させる段階は：
アプリケーション・プログラミング・インターフェース（API）を介して当該インタラクティブ・ホワイトボード機器のオペレーティング・システムに前記実行可能コマンドを通信することを含む、
態様１記載のインタラクティブ・ホワイトボード機器。
〔態様１４〕
前記発話‐テキスト・サービスは、当該インタラクティブ・ホワイトボード機器上で実装される、態様１記載のインタラクティブ・ホワイトボード機器。
〔態様１５〕
インタラクティブ・ホワイトボード機器での注釈ウィンドーの実行中に、ユーザーから受領される音声入力を検出する段階と；
前記音声入力の録音をオーディオ・パケットに格納する段階と；
前記オーディオ・パケットを発話‐テキスト・サービスに送信する段階と；
前記発話‐テキスト・サービスから前記音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記コマンド・ストリングから、前記インタラクティブ・ホワイトボード機器によって実行可能な実行可能コマンドを識別する段階と；
前記インタラクティブ・ホワイトボード機器の前記アプリケーションに前記実行可能コマンドを実行させる段階とを含む、
方法。
〔態様１６〕
前記発話‐テキスト・サービスからコマンド・ストリングを受領する段階が：
前記インタラクティブ・ホワイトボード機器に関連付けられたクライアント装置を使って、前記インタラクティブ・ホワイトボード機器に関連付けられた前記クライアント装置のアプリケーションの実行中に、第二のユーザーからの第二の音声入力を検出し；
前記クライアント装置を使って、前記第二の音声入力の録音を第二のオーディオ・パケットに格納し；
前記クライアント装置を使って、前記第二のオーディオ・パケットを発話‐テキスト・サービスに送信することを含み、
前記命令は、実行されたときにさらに：
前記インタラクティブ・ホワイトボード機器において、前記発話‐テキスト・サービスから前記第二の音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
前記インタラクティブ・ホワイトボード機器において、前記コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記第二の音声入力の録音の前記文字起こしから、第二の実行可能コマンドを識別する段階と；
前記インタラクティブ・ホワイトボード機器において、前記インタラクティブ・ホワイトボード機器の前記アプリケーションに前記第二の実行可能コマンドを実行させる段階と
の実行を引き起こす、態様１５記載の方法。
〔態様１７〕
前記クライアント装置は、前記モバイル装置上の前記アプリケーションを介してユーザーから受領される前記インタラクティブ・ホワイトボード機器の選択を使って、前記インタラクティブ・ホワイトボード機器に関連付けられる、態様１６記載の方法。
〔態様１８〕
前記クライアント装置がモバイル装置を含む、態様１６記載の方法。
〔態様１９〕
前記クライアント装置が別のインタラクティブ・ホワイトボード機器を含む、態様１６記載の方法。
〔態様２０〕
命令が具現されている非一時的なコンピュータ可読媒体であって、前記命令は、一つまたは複数のプロセッサによって実行されたときに：
インタラクティブ・ホワイトボード機器での注釈ウィンドーの実行中に、ユーザーから受領される音声入力を検出する段階と；
前記音声入力の録音をオーディオ・パケットに格納する段階と；
前記オーディオ・パケットを発話‐テキスト・サービスに送信する段階と；
前記発話‐テキスト・サービスから前記音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記コマンド・ストリングから、前記インタラクティブ・ホワイトボード機器によって実行可能な実行可能コマンドを識別する段階と；
前記インタラクティブ・ホワイトボード機器の前記アプリケーションに前記実行可能コマンドを実行させる段階と
の実行を引き起こすものである、媒体。
１００ 環境
１０２ インタラクティブ・ホワイトボード機器
１０４ マイクロフォン
１０６ 音声認識プロセッサ
１０８ コマンド・プロセッサ
１１０ クラウド
１１２ 発話‐テキスト変換サービス
１１４ クライアント装置
１１６ インタラクティブ・ホワイトボード・アプリ
２００ システム
２０２ ホワイトボード注釈付けアプリケーション
２０４ オーディオ・パケット待ち行列マネージャ
２０６ オーディオ・パケット待ち行列
２０８ コマンド・ストリング待ち行列マネージャ
２１０ コマンド・ストリング待ち行列
２１２ 音声モード・コマンド処理
２１４ ペン・モード・コマンド処理
２１６ インタラクティブ・ホワイトボードAPI
３０２ アプリケーションを実行
３０４ アプリケーションにおいて音声入力を検出
３０６ オーディオ・ファイルを生成
３０８ オーディオ・パケットを待ち行列に入れる
３１０ オーディオ・ファイルを文字起こししてコマンド・ストリングを生成
３１２ コマンド・ストリングを待ち行列に入れる
３１４ コマンド・ストリングからコマンドを識別
３１６ コマンドを実行
４０２、４０４、４０８、４１０ IWB機器

Claims (20)

  1. インタラクティブ・ホワイトボード機器であって：
    一つまたは複数のプロセッサと；
    命令が具現されている非一時的なコンピュータ可読媒体とを有しており、前記命令は、前記一つまたは複数のプロセッサによって実行されたときに：
    当該インタラクティブ・ホワイトボード機器での注釈ウィンドーの実行中に、ユーザーから受領される音声入力を検出する段階と；
    前記音声入力の録音をオーディオ・パケットに格納する段階と；
    前記オーディオ・パケットを発話‐テキスト・サービスに送信する段階と；
    前記発話‐テキスト・サービスから前記音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
    当該インタラクティブ・ホワイトボード機器のコマンド・プロセッサ内の音声モード・コマンド処理を使って、前記コマンド・ストリングから、当該インタラクティブ・ホワイトボード機器によって実行可能な実行可能コマンドを識別する段階と；
    当該インタラクティブ・ホワイトボード機器のアプリケーションに前記実行可能コマンドを実行させる段階と
    の実行を引き起こすものである、インタラクティブ・ホワイトボード機器。
  2. 前記命令は、実行されたときにさらに：
    インタラクティブ・ホワイトボード機器での前記注釈ウィンドーの実行中に、前記注釈ウィンドーにおいてユーザーからのスタイラス入力を検出する段階と；
    前記コマンド・プロセッサ内のペン・モード・コマンド処理を使って、前記スタイラス入力から、追加的コマンドを識別する段階と；
    当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記追加的コマンドを実行させる段階と
    の実行を引き起こす、請求項１記載のインタラクティブ・ホワイトボード機器。
  3. 前記音声入力を検出する段階が：
    連続的なオーディオ・フィードを捕捉する連続聴取モードでマイクロフォンを動作させ；
    前記連続的なオーディオ・フィードから前記音声入力を捕捉することを含む、
    請求項１記載のインタラクティブ・ホワイトボード機器。
  4. 前記音声入力を検出する段階が：
    開始コマンド・モードにおいてマイクロフォンを動作させ；
    開始コマンドを検出し；
    前記開始コマンドの検出に応答して、その後のオーディオ・フィードから前記音声入力を捕捉することを含む、
    請求項１記載のインタラクティブ・ホワイトボード機器。
  5. 前記発話‐テキスト・サービスからコマンド・ストリングを受領する段階は：
    当該インタラクティブ・ホワイトボード機器に関連付けられたクライアント装置を使って、当該インタラクティブ・ホワイトボード機器に関連付けられた前記クライアント装置のアプリケーションの実行中に、第二のユーザーからの第二の音声入力を検出し；
    前記クライアント装置を使って、前記第二の音声入力の録音を第二のオーディオ・パケットに格納し；
    前記クライアント装置を使って、前記第二のオーディオ・パケットを発話‐テキスト・サービスに送信することを含み、
    前記命令は、実行されたときにさらに：
    当該インタラクティブ・ホワイトボード機器において、前記発話‐テキスト・サービスから前記第二の音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
    当該インタラクティブ・ホワイトボード機器において、前記コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記第二の音声入力の録音の前記文字起こしから、第二の実行可能コマンドを識別する段階と；
    当該インタラクティブ・ホワイトボード機器において、当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記第二の実行可能コマンドを実行させる段階と
    の実行を引き起こす、請求項１記載のインタラクティブ・ホワイトボード機器。
  6. 前記クライアント装置は、前記モバイル装置上の前記アプリケーションを介してユーザーから受領される当該インタラクティブ・ホワイトボード機器の選択を使って、当該インタラクティブ・ホワイトボード機器に関連付けられる、請求項５記載のインタラクティブ・ホワイトボード機器。
  7. 前記クライアント装置がモバイル装置を含む、請求項５記載のインタラクティブ・ホワイトボード機器。
  8. 前記クライアント装置が別のインタラクティブ・ホワイトボード機器を含む、請求項５記載のインタラクティブ・ホワイトボード機器。
  9. 前記オーディオ・パケットは、複数のインタラクティブ・ホワイトボード機器から当該インタラクティブ・ホワイトボード機器を識別する当該インタラクティブ・ホワイトボード機器の識別子を含む、請求項１記載のインタラクティブ・ホワイトボード機器。
  10. 前記オーディオ・パケットを発話‐テキスト・サービスに送信することは：
    前記複数のインタラクティブ・ホワイトボード機器によって送信された、待ち行列に入れられた複数のオーディオ・パケットを格納するオーディオ・パケット待ち行列を介して、前記オーディオ・パケットを送信することを含む、
    請求項９記載のインタラクティブ・ホワイトボード機器。
  11. 前記発話‐テキスト・サービスからコマンド・ストリングを受領する段階は：
    前記複数のインタラクティブ・ホワイトボード機器に送られるべき、待ち行列に入れられた複数のコマンド・ストリングを格納するコマンド・ストリング待ち行列を介して、前記コマンド・ストリングを受領し；
    前記オーディオ・パケットに含まれているインタラクティブ・ホワイトボード機器の前記識別子が、当該インタラクティブ・ホワイトボード機器の識別子に一致することを判別することを含む、
    請求項９記載のインタラクティブ・ホワイトボード機器。
  12. 前記音声入力の録音の文字起こしから、前記実行可能コマンドを識別する段階は：
    前記文字起こしから一つまたは複数のキャラクタを追加または除去することによって前記録音の文字起こしを修正して、修正された文字起こしを与え；
    前記修正された文字起こしを実行可能コマンドにマッチさせることを含む、
    請求項１記載のインタラクティブ・ホワイトボード機器。
  13. 当該インタラクティブ・ホワイトボード機器の前記アプリケーションに前記実行可能コマンドを実行させる段階は：
    アプリケーション・プログラミング・インターフェース（API）を介して当該インタラクティブ・ホワイトボード機器のオペレーティング・システムに前記実行可能コマンドを通信することを含む、
    請求項１記載のインタラクティブ・ホワイトボード機器。
  14. 前記発話‐テキスト・サービスは、当該インタラクティブ・ホワイトボード機器上で実装される、請求項１記載のインタラクティブ・ホワイトボード機器。
  15. インタラクティブ・ホワイトボード機器での注釈ウィンドーの実行中に、ユーザーから受領される音声入力を検出する段階と；
    前記音声入力の録音をオーディオ・パケットに格納する段階と；
    前記オーディオ・パケットを発話‐テキスト・サービスに送信する段階と；
    前記発話‐テキスト・サービスから前記音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
    前記インタラクティブ・ホワイトボード機器のコマンド・プロセッサ内の音声モード・コマンド処理を使って、前記コマンド・ストリングから、前記インタラクティブ・ホワイトボード機器によって実行可能な実行可能コマンドを識別する段階と；
    前記インタラクティブ・ホワイトボード機器のアプリケーションに前記実行可能コマンドを実行させる段階とを含む、
    方法。
  16. 請求項１５記載の方法であって、
    前記発話‐テキスト・サービスからコマンド・ストリングを受領する段階が：
    前記インタラクティブ・ホワイトボード機器に関連付けられたクライアント装置を使って、前記インタラクティブ・ホワイトボード機器に関連付けられた前記クライアント装置のアプリケーションの実行中に、第二のユーザーからの第二の音声入力を検出し；
    前記クライアント装置を使って、前記第二の音声入力の録音を第二のオーディオ・パケットに格納し；
    前記クライアント装置を使って、前記第二のオーディオ・パケットを発話‐テキスト・サービスに送信することを含み、
    当該方法はさらに：
    前記インタラクティブ・ホワイトボード機器において、前記発話‐テキスト・サービスから前記第二の音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
    前記インタラクティブ・ホワイトボード機器において、前記コマンド・プロセッサ内の音声モード・コマンド処理を使って、前記第二の音声入力の録音の前記文字起こしから、第二の実行可能コマンドを識別する段階と；
    前記インタラクティブ・ホワイトボード機器において、前記インタラクティブ・ホワイトボード機器の前記アプリケーションに前記第二の実行可能コマンドを実行させる段階とを含む、
    方法。
  17. 前記クライアント装置がモバイル装置を含む、請求項１６記載の方法。
  18. 前記クライアント装置は、前記モバイル装置上の前記アプリケーションを介してユーザーから受領される前記インタラクティブ・ホワイトボード機器の選択を使って、前記インタラクティブ・ホワイトボード機器に関連付けられる、請求項１７記載の方法。
  19. 前記クライアント装置が別のインタラクティブ・ホワイトボード機器を含む、請求項１６記載の方法。
  20. 命令が具現されている非一時的なコンピュータ可読媒体であって、前記命令は、一つまたは複数のプロセッサによって実行されたときに：
    インタラクティブ・ホワイトボード機器での注釈ウィンドーの実行中に、ユーザーから受領される音声入力を検出する段階と；
    前記音声入力の録音をオーディオ・パケットに格納する段階と；
    前記オーディオ・パケットを発話‐テキスト・サービスに送信する段階と；
    前記発話‐テキスト・サービスから前記音声入力の録音の文字起こしを含むコマンド・ストリングを受領する段階と；
    前記インタラクティブ・ホワイトボード機器のコマンド・プロセッサ内の音声モード・コマンド処理を使って、前記コマンド・ストリングから、前記インタラクティブ・ホワイトボード機器によって実行可能な実行可能コマンドを識別する段階と；
    前記インタラクティブ・ホワイトボード機器のアプリケーションに前記実行可能コマンドを実行させる段階と
    の実行を引き起こすものである、媒体。
JP2017020157A 2016-03-04 2017-02-07 インタラクティブ・ホワイトボード機器の音声制御 Active JP6414241B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/061,806 2016-03-04
US15/061,806 US10409550B2 (en) 2016-03-04 2016-03-04 Voice control of interactive whiteboard appliances

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018187540A Division JP6575658B2 (ja) 2016-03-04 2018-10-02 インタラクティブ・ホワイトボード機器の音声制御

Publications (2)

Publication Number Publication Date
JP2017157204A JP2017157204A (ja) 2017-09-07
JP6414241B2 true JP6414241B2 (ja) 2018-10-31

Family

ID=58054053

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017020157A Active JP6414241B2 (ja) 2016-03-04 2017-02-07 インタラクティブ・ホワイトボード機器の音声制御
JP2018187540A Active JP6575658B2 (ja) 2016-03-04 2018-10-02 インタラクティブ・ホワイトボード機器の音声制御
JP2019151784A Pending JP2020009459A (ja) 2016-03-04 2019-08-22 インタラクティブ・ホワイトボード機器の音声制御

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2018187540A Active JP6575658B2 (ja) 2016-03-04 2018-10-02 インタラクティブ・ホワイトボード機器の音声制御
JP2019151784A Pending JP2020009459A (ja) 2016-03-04 2019-08-22 インタラクティブ・ホワイトボード機器の音声制御

Country Status (4)

Country Link
US (2) US10409550B2 (ja)
EP (1) EP3214542A1 (ja)
JP (3) JP6414241B2 (ja)
CN (1) CN107153499B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120342B2 (en) 2015-11-10 2021-09-14 Ricoh Company, Ltd. Electronic meeting intelligence
US10417021B2 (en) 2016-03-04 2019-09-17 Ricoh Company, Ltd. Interactive command assistant for an interactive whiteboard appliance
US10771969B2 (en) * 2016-07-11 2020-09-08 T-Mobile Usa, Inc. Voice control and telecommunications service integration
US10555172B2 (en) 2016-09-07 2020-02-04 T-Mobile Usa, Inc. Untrusted device access to services over a cellular network
US10510051B2 (en) 2016-10-11 2019-12-17 Ricoh Company, Ltd. Real-time (intra-meeting) processing using artificial intelligence
US10572858B2 (en) 2016-10-11 2020-02-25 Ricoh Company, Ltd. Managing electronic meetings using artificial intelligence and meeting rules templates
US11307735B2 (en) 2016-10-11 2022-04-19 Ricoh Company, Ltd. Creating agendas for electronic meetings using artificial intelligence
US10860985B2 (en) 2016-10-11 2020-12-08 Ricoh Company, Ltd. Post-meeting processing using artificial intelligence
US10565989B1 (en) * 2016-12-16 2020-02-18 Amazon Technogies Inc. Ingesting device specific content
US10298635B2 (en) 2016-12-19 2019-05-21 Ricoh Company, Ltd. Approach for accessing third-party content collaboration services on interactive whiteboard appliances using a wrapper application program interface
US10250592B2 (en) 2016-12-19 2019-04-02 Ricoh Company, Ltd. Approach for accessing third-party content collaboration services on interactive whiteboard appliances using cross-license authentication
US10375130B2 (en) * 2016-12-19 2019-08-06 Ricoh Company, Ltd. Approach for accessing third-party content collaboration services on interactive whiteboard appliances by an application using a wrapper application program interface
US10395405B2 (en) 2017-02-28 2019-08-27 Ricoh Company, Ltd. Removing identifying information from image data on computing devices using markers
CN109093627A (zh) * 2017-06-21 2018-12-28 富泰华工业（深圳）有限公司 智能机器人
US10565986B2 (en) * 2017-07-20 2020-02-18 Intuit Inc. Extracting domain-specific actions and entities in natural language commands
US11062271B2 (en) 2017-10-09 2021-07-13 Ricoh Company, Ltd. Interactive whiteboard appliances with learning capabilities
US11030585B2 (en) 2017-10-09 2021-06-08 Ricoh Company, Ltd. Person detection, person identification and meeting start for interactive whiteboard appliances
US10553208B2 (en) 2017-10-09 2020-02-04 Ricoh Company, Ltd. Speech-to-text conversion for interactive whiteboard appliances using multiple services
US10956875B2 (en) 2017-10-09 2021-03-23 Ricoh Company, Ltd. Attendance tracking, presentation files, meeting services and agenda extraction for interactive whiteboard appliances
US10552546B2 (en) 2017-10-09 2020-02-04 Ricoh Company, Ltd. Speech-to-text conversion for interactive whiteboard appliances in multi-language electronic meetings
JP2019101754A (ja) * 2017-12-01 2019-06-24 キヤノン株式会社 要約装置及びその制御方法、要約システム、プログラム
US10757148B2 (en) * 2018-03-02 2020-08-25 Ricoh Company, Ltd. Conducting electronic meetings over computer networks using interactive whiteboard appliances and mobile devices
CN111427529B (zh) * 2019-01-09 2023-05-30 斑马智行网络(香港)有限公司 交互方法、装置、设备及存储介质
US11720741B2 (en) 2019-03-15 2023-08-08 Ricoh Company, Ltd. Artificial intelligence assisted review of electronic documents
US11263384B2 (en) 2019-03-15 2022-03-01 Ricoh Company, Ltd. Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11080466B2 (en) 2019-03-15 2021-08-03 Ricoh Company, Ltd. Updating existing content suggestion to include suggestions from recorded media using artificial intelligence
US11573993B2 (en) 2019-03-15 2023-02-07 Ricoh Company, Ltd. Generating a meeting review document that includes links to the one or more documents reviewed
US11270060B2 (en) 2019-03-15 2022-03-08 Ricoh Company, Ltd. Generating suggested document edits from recorded media using artificial intelligence
US11392754B2 (en) 2019-03-15 2022-07-19 Ricoh Company, Ltd. Artificial intelligence assisted review of physical documents
US11854551B2 (en) * 2019-03-22 2023-12-26 Avaya Inc. Hybrid architecture for transcription of real-time audio based on event data between on-premises system and cloud-based advanced audio processing system
US11349888B2 (en) * 2020-03-31 2022-05-31 Ricoh Company, Ltd. Text data transmission-reception system, shared terminal, and method of processing information
CN112767943A (zh) * 2021-02-26 2021-05-07 湖北亿咖通科技有限公司 一种语音交互系统
US11705125B2 (en) * 2021-03-26 2023-07-18 International Business Machines Corporation Dynamic voice input detection for conversation assistants
CN113593571A (zh) * 2021-07-30 2021-11-02 思必驰科技股份有限公司 声音信息传输方法和装置

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711672B2 (en) 1998-05-28 2010-05-04 Lawrence Au Semantic network methods to disambiguate natural language meaning
JPH11355747A (ja) * 1998-06-10 1999-12-24 Nec Corp 映像・音声通信装置と同装置を用いたテレビ会議装置
US6581033B1 (en) * 1999-10-19 2003-06-17 Microsoft Corporation System and method for correction of speech recognition mode errors
US7299405B1 (en) * 2000-03-08 2007-11-20 Ricoh Company, Ltd. Method and system for information management to facilitate the exchange of ideas during a collaborative effort
WO2001052230A1 (en) * 2000-01-10 2001-07-19 Ic Tech, Inc. Method and system for interacting with a display
JP2002268581A (ja) * 2001-03-09 2002-09-20 Matsushita Electric Ind Co Ltd 電子機器及びその模様替えサービス方式
US7100432B2 (en) * 2002-06-06 2006-09-05 Mineral Lassen Llc Capacitive pressure sensor
US7260257B2 (en) * 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
JP2004102632A (ja) * 2002-09-09 2004-04-02 Ricoh Co Ltd 音声認識装置および画像処理装置
US8972266B2 (en) * 2002-11-12 2015-03-03 David Bezar User intent analysis extent of speaker intent analysis system
JP2004239963A (ja) 2003-02-03 2004-08-26 Mitsubishi Electric Corp 車載制御装置
WO2004093648A2 (en) 2003-04-18 2004-11-04 Insulet Corporation User interface for infusion pump remote controller and method of using the same
JP2005072764A (ja) * 2003-08-21 2005-03-17 Hitachi Ltd 機器制御システムとそのための装置及び機器制御方法
US20070080801A1 (en) * 2003-10-16 2007-04-12 Weismiller Matthew W Universal communications, monitoring, tracking, and control system for a healthcare facility
WO2005045806A1 (en) * 2003-11-10 2005-05-19 Philips Intellectual Property & Standards Gmbh Audio dialogue system and voice browsing method
JP2005175627A (ja) * 2003-12-08 2005-06-30 Fuji Photo Film Co Ltd 議事録作成システム
US9224394B2 (en) * 2009-03-24 2015-12-29 Sirius Xm Connected Vehicle Services Inc Service oriented speech recognition for in-vehicle automated interaction and in-vehicle user interfaces requiring minimal cognitive driver processing for same
JP2006164177A (ja) * 2004-12-10 2006-06-22 Ricoh Co Ltd 電子会議システム
US8890882B2 (en) * 2005-02-28 2014-11-18 Microsoft Corporation Computerized method and system for generating a display having a physical information item and an electronic information item
JP2006279492A (ja) * 2005-03-29 2006-10-12 Tsuken Denki Kogyo Kk 電話会議システム
US7603413B1 (en) 2005-04-07 2009-10-13 Aol Llc Using automated agents to facilitate chat communications
US20070020604A1 (en) 2005-07-19 2007-01-25 Pranaya Chulet A Rich Media System and Method For Learning And Entertainment
US20070239453A1 (en) * 2006-04-06 2007-10-11 Microsoft Corporation Augmenting context-free grammars with back-off grammars for processing out-of-grammar utterances
JP2009545786A (ja) * 2006-06-16 2009-12-24 ケタブ・テクノロジーズ・リミテッド インタラクティブな位置コード化パターンがプリントされたホワイトボード
US20100145729A1 (en) * 2006-07-18 2010-06-10 Barry Katz Response scoring system for verbal behavior within a behavioral stream with a remote central processing system and associated handheld communicating devices
DE102006049716A1 (de) * 2006-10-12 2008-04-17 Thyssenkrupp Transrapid Gmbh Magnetpol für Magnetschwebefahrzeuge
US7706904B2 (en) 2006-12-08 2010-04-27 Universal City Studios Lllp Attraction multilanguage audio device and method
US7958104B2 (en) * 2007-03-08 2011-06-07 O'donnell Shawn C Context based data searching
TWI345218B (en) * 2007-04-20 2011-07-11 Asustek Comp Inc Portable computer with function for identiying speech and processing method thereof
US8553865B2 (en) * 2007-07-27 2013-10-08 Clear-Com Research, Inc. Multi-point to multi-point intercom system
US9201527B2 (en) * 2008-04-04 2015-12-01 Microsoft Technology Licensing, Llc Techniques to remotely manage a multimedia conference event
US8862731B2 (en) * 2008-04-25 2014-10-14 Smart Technologies Ulc Method and system for coordinating data sharing in a network with at least one physical display device
US8316089B2 (en) * 2008-05-06 2012-11-20 Microsoft Corporation Techniques to manage media content for a multimedia conference event
CN101286865B (zh) 2008-05-14 2010-11-10 华为技术有限公司 音视频会议中实现电子白板的方法、装置及系统
US9935793B2 (en) 2009-02-10 2018-04-03 Yahoo Holdings, Inc. Generating a live chat session in response to selection of a contextual shortcut
US20100235854A1 (en) * 2009-03-11 2010-09-16 Robert Badgett Audience Response System
JP5212334B2 (ja) * 2009-10-22 2013-06-19 コニカミノルタホールディングス株式会社 会議支援システム
JP5229209B2 (ja) * 2009-12-28 2013-07-03 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9210200B1 (en) * 2010-02-15 2015-12-08 Insors Integrated Communications Methods, systems and program products for connecting users to operating nodes
US8554280B2 (en) * 2010-03-23 2013-10-08 Ebay Inc. Free-form entries during payment processes
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
CN101893993B (zh) * 2010-07-15 2012-05-23 杭州华银视讯科技有限公司 电子白板系统及其语音处理方法
US20120059655A1 (en) * 2010-09-08 2012-03-08 Nuance Communications, Inc. Methods and apparatus for providing input to a speech-enabled application program
US20120260176A1 (en) * 2011-04-08 2012-10-11 Google Inc. Gesture-activated input using audio recognition
US20120321062A1 (en) * 2011-06-17 2012-12-20 Fitzsimmons Jeffrey E Telephonic Conference Access System
US9393001B2 (en) * 2011-07-29 2016-07-19 Olympus Corporation Operation method of endoscope
JP6085907B2 (ja) * 2011-09-13 2017-03-01 株式会社リコー 会議システム、イベント管理サーバ、および、プログラム
US20130096919A1 (en) * 2011-10-12 2013-04-18 Research In Motion Limited Apparatus and associated method for modifying media data entered pursuant to a media function
KR101402506B1 (ko) 2011-12-01 2014-06-03 라인 가부시키가이샤 인스턴트 메시징 어플리케이션을 이용한 대화형 정보제공 시스템 및 방법
CN102662631B (zh) * 2012-03-15 2014-09-10 龙芯中科技术有限公司 间接分支指令处理方法和装置
US20130275317A1 (en) * 2012-04-11 2013-10-17 Alamy Limited Managing digital media objects
US8909536B2 (en) * 2012-04-20 2014-12-09 Nuance Communications, Inc. Methods and systems for speech-enabling a human-to-machine interface
CN102664009B (zh) * 2012-05-07 2015-01-14 乐视致新电子科技（天津）有限公司 一种通过移动通信终端对视频播放装置进行语音控制的系统及方法
US20150319203A1 (en) 2012-05-17 2015-11-05 Leo Jeremias Computer system and methods for chat enabled online search
JP6075971B2 (ja) * 2012-05-29 2017-02-08 シャープ株式会社 画像表示装置
US20130339537A1 (en) 2012-06-13 2013-12-19 Harman International Industries, Incorporated System for dynamic stream management in audio video bridged networks
KR101309794B1 (ko) * 2012-06-27 2013-09-23 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
US8880398B1 (en) * 2012-07-13 2014-11-04 Google Inc. Localized speech recognition with offload
CN103678269A (zh) 2012-08-30 2014-03-26 国际商业机器公司 一种信息处理方法和装置
WO2014047171A1 (en) * 2012-09-18 2014-03-27 Draeger Medical Systems, Inc. System and method of generating a user interface display of patient parameter data
US20140115456A1 (en) 2012-09-28 2014-04-24 Oracle International Corporation System for accessing software functionality
GB201219231D0 (en) * 2012-10-25 2012-12-12 Soleis As Teaching support system
CN103839549A (zh) * 2012-11-22 2014-06-04 腾讯科技（深圳）有限公司 一种语音指令控制方法及系统
US9070367B1 (en) * 2012-11-26 2015-06-30 Amazon Technologies, Inc. Local speech recognition of frequent utterances
SG11201502432UA (en) * 2012-11-30 2015-05-28 Hitachi Maxell Picture display device, and setting modification method and setting modification program therefor
US9368114B2 (en) * 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
GB201305837D0 (en) * 2013-03-29 2013-05-15 Mid City Holdings Llc Electronic presentation aid
KR101799294B1 (ko) * 2013-05-10 2017-11-20 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20140144104A (ko) 2013-06-10 2014-12-18 삼성전자주식회사 전자기기 및 이의 서비스 제공 방법
US9252151B2 (en) * 2013-07-08 2016-02-02 Sandisk Technologies Inc. Three dimensional NAND device with birds beak containing floating gates and method of making thereof
US9665259B2 (en) * 2013-07-12 2017-05-30 Microsoft Technology Licensing, Llc Interactive digital displays
JP2015053020A (ja) * 2013-09-09 2015-03-19 株式会社リコー 情報表示装置、情報表示方法およびプログラム
CN104469256B (zh) * 2013-09-22 2019-04-23 思科技术公司 沉浸式和交互式的视频会议房间环境
JP6229403B2 (ja) * 2013-09-26 2017-11-15 日本電気株式会社 議事録作成補助装置、電子会議装置および電子会議システム
EP2866153A1 (en) 2013-10-22 2015-04-29 Agfa Healthcare Speech recognition method and system with simultaneous text editing
JP6232930B2 (ja) * 2013-10-30 2017-11-22 株式会社リコー 会議支援装置、会議支援システム及び会議支援方法
US9372543B2 (en) * 2013-12-16 2016-06-21 Dell Products, L.P. Presentation interface in a virtual collaboration session
JP6088414B2 (ja) * 2013-12-16 2017-03-01 日本電信電話株式会社 端末制御装置、端末制御方法及び端末制御プログラム
EP3089157B1 (en) * 2013-12-26 2020-09-16 Panasonic Intellectual Property Management Co., Ltd. Voice recognition processing device, voice recognition processing method, and display device
US9514748B2 (en) 2014-01-15 2016-12-06 Microsoft Technology Licensing, Llc Digital personal assistant interaction with impersonations and rich multimedia in responses
US20150199965A1 (en) * 2014-01-16 2015-07-16 CloudCar Inc. System and method for recognition and automatic correction of voice commands
WO2015116151A1 (en) 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Voice input command
US9430186B2 (en) * 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
US9754503B2 (en) * 2014-03-24 2017-09-05 Educational Testing Service Systems and methods for automated scoring of a user's performance
US10117600B2 (en) * 2014-04-15 2018-11-06 Apple Inc. Pacing activity data of a user
US9361068B2 (en) * 2014-05-21 2016-06-07 International Business Machines Corporation System and method for using development objectives to guide implementation of source code
US9462112B2 (en) 2014-06-19 2016-10-04 Microsoft Technology Licensing, Llc Use of a digital assistant in communications
US20160117730A1 (en) 2014-07-08 2016-04-28 Expertbeacon, Inc. System and method for user controlled interactive online advertisements
CN104066254B (zh) * 2014-07-08 2017-01-04 昂宝电子（上海）有限公司 使用triac调光器进行智能调光控制的系统和方法
US9939132B2 (en) * 2014-07-18 2018-04-10 Iunu, Inc. RFI shielding for luminaires using reflection optics
WO2016018111A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Message service providing device and method of providing content via the same
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US9354841B2 (en) * 2014-08-13 2016-05-31 Smart Technologies Ulc Wirelessly communicating configuration data for interactive display devices
KR102304052B1 (ko) * 2014-09-05 2021-09-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US20160071486A1 (en) * 2014-09-09 2016-03-10 Cisco Technology, Inc. Immersive projection lighting environment
CN104332159B (zh) * 2014-10-30 2017-05-10 上海修源网络科技有限公司 一种车载语音操作系统人机互动方法及装置
US9741342B2 (en) * 2014-11-26 2017-08-22 Panasonic Intellectual Property Corporation Of America Method and apparatus for recognizing speech by lip reading
CN104468572A (zh) * 2014-12-08 2015-03-25 上海大学 一种Android手机语音远程控制菌种挑选仪的方法
KR101643560B1 (ko) * 2014-12-17 2016-08-10 현대자동차주식회사 음성 인식 장치, 그를 가지는 차량 및 그 방법
KR20160076201A (ko) 2014-12-22 2016-06-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20160182579A1 (en) * 2014-12-23 2016-06-23 Smart Technologies Ulc Method of establishing and managing messaging sessions based on user positions in a collaboration space and a collaboration system employing same
KR20160085614A (ko) 2015-01-08 2016-07-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US10200653B2 (en) 2015-01-12 2019-02-05 MathYak Inc. System and method for network-based provision of on-demand real-time video communication
US20160292897A1 (en) * 2015-04-03 2016-10-06 Microsoft Technology Licensing, LLP Capturing Notes From Passive Recordings With Visual Content
US9699411B2 (en) * 2015-05-09 2017-07-04 Ricoh Company, Ltd. Integration of videoconferencing with interactive electronic whiteboard appliances
US20160337416A1 (en) * 2015-05-14 2016-11-17 Smart Technologies Ulc System and Method for Digital Ink Input
WO2016186399A1 (ko) 2015-05-15 2016-11-24 삼성전자 주식회사 사용자 단말 장치, 서버 및 그 제어 방법
US10268340B2 (en) 2015-06-11 2019-04-23 International Business Machines Corporation Organizing messages in a hierarchical chat room framework based on topics
US20170018282A1 (en) * 2015-07-16 2017-01-19 Chunghwa Picture Tubes, Ltd. Audio processing system and audio processing method thereof
US11196739B2 (en) * 2015-07-16 2021-12-07 Avaya Inc. Authorization activation
US20170017861A1 (en) * 2015-07-17 2017-01-19 Xerox Corporation Methods and systems for recommending content
US9635413B2 (en) * 2015-09-23 2017-04-25 Echostar Technologies L.L.C. Advance decryption key acquisition for streaming media content
US10455088B2 (en) 2015-10-21 2019-10-22 Genesys Telecommunications Laboratories, Inc. Dialogue flow optimization and personalization
US20170223069A1 (en) 2016-02-01 2017-08-03 Microsoft Technology Licensing, Llc Meetings Conducted Via A Network
US10102844B1 (en) 2016-03-29 2018-10-16 Amazon Technologies, Inc. Systems and methods for providing natural responses to commands
US9728188B1 (en) 2016-06-28 2017-08-08 Amazon Technologies, Inc. Methods and devices for ignoring similar audio being received by a system

Also Published As

Publication number Publication date
JP2020009459A (ja) 2020-01-16
JP2017157204A (ja) 2017-09-07
JP2019049985A (ja) 2019-03-28
EP3214542A1 (en) 2017-09-06
JP6575658B2 (ja) 2019-09-18
CN107153499B (zh) 2021-02-09
US10606554B2 (en) 2020-03-31
CN107153499A (zh) 2017-09-12
US10409550B2 (en) 2019-09-10
US20170255446A1 (en) 2017-09-07
US20190377546A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6575658B2 (ja) インタラクティブ・ホワイトボード機器の音声制御
US9666190B2 (en) Speech recognition using loosely coupled components
CN105915436B (zh) 基于主题的即时消息隔离的系统和方法
US8768705B2 (en) Automated and enhanced note taking for online collaborative computing sessions
US8296139B2 (en) Adding real-time dictation capabilities for speech processing operations handled by a networked speech processing system
US9093071B2 (en) Interleaving voice commands for electronic meetings
US20130211826A1 (en) Audio Signals as Buffered Streams of Audio Signals and Metadata
US20230164273A1 (en) Systems and methods to automatically join conference
US10403272B1 (en) Facilitating participation in a virtual meeting using an intelligent assistant
JP2013541042A (ja) 音声対応アプリケーション・プログラムに入力を与える方法および装置
WO2013127367A1 (zh) 一种即时通信的语音识别方法和终端
CN103973542B (zh) 一种语音信息处理方法及装置
JP2022050309A (ja) 情報処理方法、装置、システム、電子機器、記憶媒体およびコンピュータプログラム
US11430444B2 (en) Systems and methods for a wireless microphone to access remotely hosted applications
CN111968630B (zh) 信息处理方法、装置和电子设备
US20200395020A1 (en) Systems, methods, and apparatus for real-time dictation and transcription with multiple remote endpoints
JP2022114742A (ja) サーバ装置、通信端末装置及び表示方法
US11722572B2 (en) Communication platform shifting for voice-enabled device
US20230188488A1 (en) Voice user interface sharing of content

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180917

R151 Written notification of patent or utility model registration

Ref document number: 6414241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151