JP7152191B2 - 操作支援装置、操作支援システム、及び操作支援方法 - Google Patents

操作支援装置、操作支援システム、及び操作支援方法 Download PDF

Info

Publication number
JP7152191B2
JP7152191B2 JP2018103827A JP2018103827A JP7152191B2 JP 7152191 B2 JP7152191 B2 JP 7152191B2 JP 2018103827 A JP2018103827 A JP 2018103827A JP 2018103827 A JP2018103827 A JP 2018103827A JP 7152191 B2 JP7152191 B2 JP 7152191B2
Authority
JP
Japan
Prior art keywords
terminal
display device
input terminal
operation support
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018103827A
Other languages
English (en)
Other versions
JP2019207640A (ja
Inventor
康二 佐藤
洋樹 棟朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2018103827A priority Critical patent/JP7152191B2/ja
Priority to US16/419,722 priority patent/US11037569B2/en
Priority to CN201910437152.0A priority patent/CN110556112B/zh
Publication of JP2019207640A publication Critical patent/JP2019207640A/ja
Application granted granted Critical
Publication of JP7152191B2 publication Critical patent/JP7152191B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、ユーザーによる表示機器の操作を支援する操作支援装置、操作支援システム、及び操作支援方法に関する。
音声認識技術を利用してユーザーによる操作を支援する放送受信装置が特許文献1に開示されている。特許文献1に開示された放送受信装置は、ユーザー音声に対応する外部入力装置が接続されている外部入力端子を活性化させて、ユーザー音声に対応する外部入力装置から受信する映像を表示する。具体的には、特許文献1に開示された放送受信装置は、外部入力端子と、呼出し語設定部と、保存部と、音声認識部と、制御部と、ディスプレー部とを備える。また、放送受信装置は、サーバーと通信可能に接続する。
外部入力端子には、外部入力装置が接続される。呼出し語設定部は、外部入力装置の呼出し語を設定する。保存部は、呼出し語と、呼出し語に対応する外部入力装置が接続される外部入力端子とをマッチングして保存する。音声認識部は、ユーザー音声をデジタル信号に変換して、サーバーに送信する。サーバーは、デジタル信号に基づいて、ユーザー音声に対応するテキスト情報を生成する。
制御部は、サーバーから受信したテキスト情報に基づいて、ユーザー音声に呼出し語が含まれているか否かを判断し、ユーザー音声に呼出し語が含まれている場合、呼出し語に対応する外部入力端子を活性化させ、呼出し語に対応する外部入力端子が受信する映像を表示するようにディスプレー部を制御する。特許文献1に開示されている呼出し語は、例えばビデオ、DVD、ブルーレイである。
特開2014-021493号公報
しかしながら、特許文献1に開示された放送受信装置では、外部入力装置の所有者のような人物を示すキーワードをユーザーが発声しても、表示する映像が切り替わらない。
本発明は上記課題に鑑みてなされたものであり、その目的は、表示機器が表示する画像情報を、人物を示すキーワードに応じて切り替えることができる操作支援装置、操作支援システム、及び操作支援方法を提供することにある。
本発明の操作支援装置は、表示機器の操作を支援する。前記操作支援装置は、音声認識部と、コマンド生成部とを備える。前記音声認識部は、音声データをテキスト情報に変換する。前記コマンド生成部は、前記表示機器が備える入力端子のうちの少なくとも1つを活性化させる切替コマンドを生成する。前記コマンド生成部は、人物を示すキーワードが前記テキスト情報に含まれている場合、前記表示機器が備える前記入力端子のうちから、前記人物に関連付けられた入力端子を特定する。前記コマンド生成部は、特定した前記入力端子を活性化させる前記切替コマンドを生成する。
本発明の操作支援システムは、表示機器と、前記表示機器の操作を支援する操作支援装置とを備える。前記操作支援装置は、音声認識部と、コマンド生成部とを備える。前記音声認識部は、音声データをテキスト情報に変換する。前記コマンド生成部は、前記表示機器が備える入力端子のうちの少なくとも1つを活性化させる切替コマンドを生成する。前記コマンド生成部は、人物を示すキーワードが前記テキスト情報に含まれている場合、前記表示機器が備える前記入力端子のうちから、前記人物に関連付けられた入力端子を特定する。前記コマンド生成部は、特定した前記入力端子を活性化させる前記切替コマンドを生成する。前記表示機器は、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示する。
本発明の操作支援方法は、表示機器の操作を支援する方法である。前記操作支援方法は、音声データをテキスト情報に変換する音声認識ステップと、前記表示機器が備える入力端子のうちの少なくとも1つを活性化させる切替コマンドを生成するコマンド生成ステップと、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示するステップとを含む。前記コマンド生成ステップは、人物を示すキーワードが前記テキスト情報に含まれている場合、前記表示機器が備える前記入力端子のうちから、前記人物に関連付けられた入力端子を特定するステップと、特定した前記入力端子を活性化させる前記切替コマンドを生成するステップとを含む。
本発明によれば、表示機器が表示する画像情報を、人物を示すキーワードに応じて切り替えることができる。
本発明の実施形態に係る会議システムを示す図である。 本発明の実施形態に係る会議支援サーバーの構成を示す図である。 本発明の実施形態に係る第1端末機器の構成を示す図である。 本発明の実施形態に係る第2端末機器の構成を示す図である。 本発明の実施形態に係るマイク/スピーカ装置の構成を示す図である。 本発明の実施形態に係る表示機器の構成を示す図である。 本発明の実施形態に係る登録画面を示す図である。 本発明の実施形態に係る管理テーブルを示す図である。 本発明の実施形態に係る第1キーワード群を示す図である。 本発明の実施形態に係る第2キーワード群を示す図である。 本発明の実施形態に係る第1登録処理を示す図である。 本発明の実施形態に係る第2登録処理を示す図である。 本発明の実施形態に係る削除処理を示す図である。 本発明の実施形態に係る表示切替処理を示す図である。 本発明の実施形態に係る表示切替処理を示す図である。 本発明の実施形態に係る表示画面設定処理を示す図である。 本発明の他の実施形態に係る表示画面設定処理を示す図である。
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されない。図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。また、説明が重複する箇所については、適宜説明を省略する場合がある。
図1は、本実施形態に係る会議システム1を示す図である。会議システム1は、会議に使用される。会議システム1は、操作支援システムの一例である。図1に示すように、会議システム1は、会議支援サーバー2、アクセスポイント3、第1端末機器4~第3端末機器6、マイク/スピーカ装置7、及び表示機器8を備える。
本実施形態において、会議支援サーバー2は、操作支援装置の一例であり、表示機器8の操作を支援する。具体的には、会議支援サーバー2は、ユーザーが発声した音声に所定のキーワードが含まれる場合、ユーザーが発声した音声に応じて表示機器8の表示画面を切り替える。なお、以下の説明において、ユーザーが発声した音声を、「ユーザー音声」と記載する場合がある。
アクセスポイント3は、インターネット回線9とLAN(Local Area Network)ケーブル10とを接続する。LANケーブル10には、第1端末機器4~第3端末機器6、及び表示機器8が接続する。会議支援サーバー2は、インターネット回線9、アクセスポイント3、及びLANケーブル10を介して、第1端末機器4~第3端末機器6との間で通信を行う。
アクセスポイント3は、無線LANを介してマイク/スピーカ装置7と接続する。会議支援サーバー2は、インターネット回線9、アクセスポイント3、及び無線LANを介して、マイク/スピーカ装置7との間で通信を行う。
なお、アクセスポイント3は、無線LANを介して第1端末機器4~第3端末機器6と接続してもよいし、LANケーブルを介してマイク/スピーカ装置7と接続してもよい。
第1端末機器4~第3端末機器6は、表示機器8に接続されて、表示機器8に画像情報を出力する。第1端末機器4は、LANケーブル10を介して表示機器8との間で通信を行う。なお、第1端末機器4は、無線LANを介して表示機器8との間で通信を行ってもよい。
第1端末機器4は、画像情報を出力できる限り、特に限定されない。本実施形態において、第1端末機器4は、会議室PC(パーソナルコンピューター)である。会議室PCには、汎用のパーソナルコンピューターを用いることができる。
第2端末機器5及び第3端末機器6は、画像情報を出力できる限り、特に限定されない。第2端末機器5及び第3端末機器6は、例えば、インターネット回線9を介して外部のサーバーから取得した映像情報を出力する機器であり得る。あるいは、第2端末機器5及び第3端末機器6は、汎用のパーソナルコンピューター、ビデオカメラ、DVD再生装置、又はブルーレイ再生装置であり得る。本実施形態において、第2端末機器5及び第3端末機器6は、ゲストPCである。
マイク/スピーカ装置7は、集音装置の一例であり、ユーザーが発声した音声を集音し、集音した音声を音声データ(デジタルデータ)に変換して、会議支援サーバー2へ送信する。また、マイク/スピーカ装置7は、会議支援サーバー2から受信した音声データ(デジタルデータ)に基づいて音声を出力する。
表示機器8は、画像情報を表示する。具体的には、表示機器8は、第1入力端子81~第3入力端子83を備える。第1入力端子81~第3入力端子83には、画像情報を出力できる機器が接続される。第1入力端子81~第3入力端子83は、例えば、D-SUB端子、HDMI(登録商標)端子、又はDisplayportである。
本実施形態において、第1入力端子81には第1端末機器4が接続される。第2入力端子82には第2端末機器5が接続される。第3入力端子83には第3端末機器6が接続される。表示機器8は、第1入力端子81~第3入力端子83のうちの少なくとも1つを活性化させ、活性化した入力端子が受信した画像情報を表示する。例えば、第1入力端子81を活性化させた場合、表示機器8は、第1入力端子81が第1端末機器4から受信する画像情報を表示する。
続いて図1及び図2を参照して、会議支援サーバー2の構成を説明する。図2は、会議支援サーバー2の構成を示す図である。図2に示すように、会議支援サーバー2は、通信部21、音声認識部22、記憶部23、及び制御部24を備える。
通信部21は、インターネット回線9(図1)に接続する。例えば、通信部21は、LANボード又はLANモジュールを備える。通信部21は、第1端末機器4~第3端末機器6(図1)及びマイク/スピーカ装置7(図1)との間の通信を制御する。
音声認識部22は、マイク/スピーカ装置7(図1)から受信した音声データを音声認識技術によりテキスト情報(以下、「認識結果テキスト」と記載する場合がある。)に変換する。音声認識部22は、例えば、音声認識LSI(Large Scale Integration)を備える。
記憶部23は、例えばRAM(Random Access Memory)、及びROM(Read Only Memory)のような半導体メモリーを備える。更に、記憶部23は、HDD(Hard Disk Drive)のようなストレージデバイスを備える。記憶部23は、制御部24が実行する制御プログラムを記憶する。本実施形態の記憶部23は、更に、管理テーブル231と、第1キーワード群232と、第2キーワード群233とを記憶する。
管理テーブル231は、表示機器8の第1入力端子81~第3入力端子83(図1)と、人物とを関連付ける。本実施形態において、人物は、第1端末機器4~第3端末機器6(図1)のそれぞれの所有者と、第1端末機器4~第3端末機器6(図1)のそれぞれにログオンしているログオンユーザーとを含む。より具体的には、各所有者を示す識別子と、各ログオンユーザーを示す識別子とが管理テーブル231に登録される。
第1キーワード群232は、各所有者を示すキーワードを含む。第2キーワード群233は、各ログオンユーザーを示すキーワードを含む。本実施形態において、第1キーワード群232は、各所有者の識別子を示すキーワードを含む。第2キーワード群233は、各ログオンユーザーの識別子を示すキーワードを含む。
所有者の識別子は、所有者を識別できる限り、特に限定されない。例えば、所有者の識別子は、所有者の氏名、姓名、名前、又は任意に設定された所有者のニックネームであり得る。同様に、ログオンユーザーの識別子は、ログオンユーザーを識別できる限り、特に限定されない。例えば、ログオンユーザーの識別子は、ログオンユーザーの氏名、姓名、名前、又は任意に設定されたログオンユーザーのニックネームであり得る。
制御部24は、例えばCPU(Central Processing Unit)又はMPU(Micro Processing Unit)のようなプロセッサを備える。また、制御部24(コンピューター)は、記憶部23に記憶された制御プログラム(コンピュータープログラム)に基づいて、会議支援サーバー2の動作を制御する。本実施形態において、制御部24は、制御プログラムを実行することにより、判定部25及びコマンド生成部26として機能する。
判定部25は、第1キーワード群232及び第2キーワード群233を参照して、認識結果テキストに含まれるキーワードを判定する。判定部25が、認識結果テキストに含まれるキーワードを判定できた場合、コマンド生成部26は、判定部25によって判定されたキーワードに対応する切替コマンドを生成する。コマンド生成部26は、切替コマンドを生成すると、通信部21を介して、生成した切替コマンドを第1端末機器4(図1)に送信する。切替コマンドは、表示機器8の第1入力端子81~第3入力端子83(図1)のうちの少なくとも1つを活性化させる命令を示す。
詳しくは、認識結果テキストが、所有者の識別子又はログオンユーザーの識別子を示すキーワードを含む場合、コマンド生成部26は、管理テーブル231を参照して、表示機器8の第1入力端子81~第3入力端子83(図1)のうちから、認識結果テキストに含まれるキーワードに対応する入力端子を特定する。具体的には、コマンド生成部26は、認識結果テキストが示す所有者の識別子又はログオンユーザーの識別子に関連付けられた入力端子を特定する。コマンド生成部26は、入力端子を特定すると、特定した入力端子を活性化させる切替コマンドを生成する。例えば、認識結果テキストが、第1端末機器4(図1)の所有者又は第1端末機器4(図1)にログオンしているユーザーに対応する識別子を示す場合、コマンド生成部26は、第1入力端子81(図1)を活性化させる切替コマンドを生成する。
一方、判定部25が、認識結果テキストに含まれるキーワードを判定できなかった場合、制御部24は、音声データ出力処理を実行する。具体的には、制御部24は、通信部21を介してマイク/スピーカ装置7に所定の音声データを送信する。所定の音声データは、記憶部23に予め記憶されている。所定の音声データは、ユーザーに再度発声してもらうためのメッセージを示す。例えば、メッセージの内容は、「もう一度話して下さい」である。
以上、図1及び図2を参照して、会議支援サーバー2について説明した。なお、図2に示す会議支援サーバー2は音声認識部22を備えたが、制御部24が音声認識部22の機能を有してもよい。この場合、音声認識部22は省略される。
続いて図1及び図3を参照して、第1端末機器4(会議室PC)の構成について説明する。図3は、第1端末機器4の構成を示す図である。図3に示すように、第1端末機器4は、出力端子41、通信部42、操作部43、表示部44、記憶部45、及び制御部46を備える。
出力端子41は、画像情報を出力する。出力端子41は、表示機器8の第1入力端子81(図1)に接続する。表示機器8の第1入力端子81(図1)が活性化している場合、出力端子41から出力された画像情報が表示機器8(図1)によって表示される。
通信部42は、LANケーブル10(図1)に接続する。通信部42は、例えば、LANボード又はLANモジュールを備える。通信部42は、会議支援サーバー2(図1)との間の通信を制御する。また、通信部42は、表示機器8(図1)との間の通信を制御する。具体的には、通信部42は、会議支援サーバー2(図1)から切替コマンドを受信する。また、通信部42は、切替コマンドを表示機器8(図1)に送信する。
操作部43は、ユーザーによって操作されて、ユーザーからの指示を受け付ける。操作部43は、ユーザーの操作に応じた信号を制御部46に出力する。この結果、第1端末機器4は、操作部43が受け付けた操作に応じた動作を実行する。操作部43は、例えば、ポインティングデバイスと、キーボードとを備える。なお、操作部43は、タッチセンサを備えてもよい。タッチセンサは、表示部44の表示面に重畳される。例えば、ユーザーは、操作部43を操作して、第1端末機器4にログオンする。また、ユーザーは、操作部43を操作して、第1端末機器4からログアウトする。
表示部44は各種の画面を表示する。本実施形態において、表示部44は、図6を参照して後述する登録画面60を表示する。登録画面60は、ユーザーインターフェイス画面であり、各種情報の登録を受け付ける。表示部44は、例えば、液晶ディスプレー又は有機EL(electroluminescence)ディスプレーである。なお、タッチセンサが表示部44の表示面に重畳される場合、表示部44は、タッチディスプレーとして機能する。
記憶部45は、例えばRAM及びROMのような半導体メモリーを備える。更に、記憶部45は、HDDのようなストレージデバイスを備える。記憶部45は、制御部46が実行する制御プログラムを記憶する。本実施形態の記憶部45は、更に、表示切替制御プログラム451、及びユーザー名通知プログラム452を記憶する。
表示切替制御プログラム451は、会議支援サーバー2(図1)から受信した切替コマンドを表示機器8(図1)に送信するためのプログラムである。ユーザー名通知プログラム452は、第1端末機器4にログオンしたユーザーの識別子を会議支援サーバー2(図1)に送信するためのプログラムである。
制御部46は、例えばCPUのようなプロセッサを備える。また、制御部46(コンピューター)は、記憶部45に記憶された制御プログラム(コンピュータープログラム)に基づいて、第1端末機器4の動作を制御する。
本実施形態において、制御部46は、表示切替制御プログラム451を実行することにより、会議支援サーバー2(図1)から受信した切替コマンドを表示機器8(図1)に送信する。また、制御部46は、ユーザー名通知プログラム452を実行することにより、第1端末機器4にログオンしたユーザーの識別子を示す情報を会議支援サーバー2(図1)に送信する。更に、制御部46は、ユーザー名通知プログラム452を実行することにより、第1端末機器4からログアウトしたユーザーの識別子を示す情報を会議支援サーバー2(図1)に送信する。
なお、制御部46は、表示部44に表示されている画像の画像データを、出力端子41(図1)及びLANケーブル10(図1)を介して第1入力端子81(図1)に送信して、表示部44に表示されている画像を表示機器8(図1)に表示させてもよい。
続いて図1及び図4を参照して、第2端末機器5(ゲストPC)の構成について説明する。図4は、第2端末機器5の構成を示す図である。図4に示すように、第2端末機器5は、出力端子51、通信部52、操作部53、表示部54、記憶部55、及び制御部56を備える。
出力端子51は、画像情報を出力する。出力端子51は、表示機器8の第2入力端子82(図1)に接続する。表示機器8の第2入力端子82(図1)が活性化している場合、出力端子51から出力された画像情報が表示機器8(図1)によって表示される。
通信部52は、LANケーブル10(図1)に接続する。通信部52は、例えば、LANボード又はLANモジュールを備える。通信部52は、会議支援サーバー2(図1)との間の通信を制御する。具体的には、通信部52は、第2端末機器5にログオンしたユーザーの識別子を示す情報を会議支援サーバー2(図1)に送信する。更に、通信部52は、第2端末機器5からログアウトしたユーザーの識別子を示す情報を会議支援サーバー2(図1)に送信する。
操作部53は、ユーザーによって操作されて、ユーザーからの指示を受け付ける。操作部53は、ユーザーの操作に応じた信号を制御部56に出力する。この結果、第2端末機器5は、操作部53が受け付けた操作に応じた動作を実行する。操作部53は、例えば、ポインティングデバイスと、キーボードとを備える。なお、操作部53は、タッチセンサを備えてもよい。タッチセンサは、表示部54の表示面に重畳される。例えば、ユーザーは、操作部53を操作して、第2端末機器5にログオンする。また、ユーザーは、操作部53を操作して、第2端末機器5からログアウトする。
表示部54は各種の画面を表示する。表示部54は、例えば、液晶ディスプレー又は有機ELディスプレーである。なお、タッチセンサが表示部54の表示面に重畳される場合、表示部54は、タッチディスプレーとして機能する。
記憶部55は、例えばRAM及びROMのような半導体メモリーを備える。更に、記憶部55は、HDDのようなストレージデバイスを備える。記憶部55は、制御部56が実行する制御プログラムを記憶する。また、記憶部55は、ユーザー名通知プログラム452を記憶する。
制御部56は、例えばCPUのようなプロセッサを備える。また、制御部56(コンピューター)は、記憶部55に記憶された制御プログラム(コンピュータープログラム)に基づいて、第2端末機器5の動作を制御する。
本実施形態において、制御部56は、ユーザー名通知プログラム452を実行することにより、第2端末機器5にログオンしたユーザーの識別子を示す情報を会議支援サーバー2(図1)に送信する。更に、制御部56は、ユーザー名通知プログラム452を実行することにより、第2端末機器5からログアウトしたユーザーの識別子を示す情報を会議支援サーバー2(図1)に送信する。
以上、第2端末機器5について説明した。なお、第3端末機器6の構成は第2端末機器5と同様であるため、その説明は割愛する。
続いて図1及び図5を参照して、マイク/スピーカ装置7の構成について説明する。図5は、マイク/スピーカ装置7の構成を示す図である。図5に示すように、マイク/スピーカ装置7は、通信部71、音声入力部72、音声出力部73、記憶部74、及び制御部75を備える。
通信部71は、アクセスポイント3(図1)に接続する。通信部71は、会議支援サーバー2(図1)との間の通信を制御する。具体的には、通信部71は、音声データを会議支援サーバー2(図1)に送信する。また、通信部71は、会議支援サーバー2(図1)から音声データを受信する。通信部71は、例えば、無線LANボード又は無線LANモジュールである。
音声入力部72は、ユーザーが発声した音声を集音して、アナログ電気信号に変換する。アナログ電気信号は、制御部75に入力される。音声入力部72は、例えば、マイクロフォンである。音声出力部73は、会議支援サーバー2(図1)から受信した音声データに対応する音声を出力する。音声出力部73は、例えば、スピーカである。
記憶部74は、例えばRAM及びROMのような半導体メモリーを備える。記憶部74は更に、HDDのようなストレージデバイスを備えてもよい。記憶部74は、制御部75が実行する制御プログラムを記憶する。
制御部75は、例えばCPU又はMPUのようなプロセッサを備える。また、制御部75(コンピューター)は、記憶部74に記憶された制御プログラム(コンピュータープログラム)に基づいて、マイク/スピーカ装置7の動作を制御する。
続いて図1及び図6を参照して、表示機器8の構成について説明する。図6は、表示機器8の構成を示す図である。図6に示すように、表示機器8は、図1を参照して説明した第1入力端子81~第3入力端子83に加えて、通信部84、入力端子切替部85、表示部86、記憶部87、及び制御部88を備える。
通信部84は、LANケーブル10(図1)に接続する。通信部84は、例えば、LANボード又はLANモジュールを備える。通信部84は、第1端末機器4(図1)との間の通信を制御する。具体的には、通信部84は、第1端末機器4(図1)から切替コマンドを受信する。
入力端子切替部85は、第1入力端子81~第3入力端子83のうちの少なくとも1つを活性化させる。本実施形態において、入力端子切替部85は、切替コマンドに応じて、第1入力端子81~第3入力端子83のうちのいずれか1つを活性化させる。
表示部86は、第1入力端子81~第3入力端子83のうち活性化した入力端子が受信する画像情報を表示する。表示部86は、例えば、液晶ディスプレー又は有機ELディスプレーである。なお、表示部86は、タッチセンサを備え得る。換言すると、表示部86は、タッチディスプレーであり得る。
記憶部87は、例えばRAM及びROMのような半導体メモリーを備える。更に、記憶部87は、HDDのようなストレージデバイスを備え得る。記憶部87は、制御部88が実行する制御プログラムを記憶する。
制御部88は、例えばCPU又はMPUのようなプロセッサを備える。また、制御部88(コンピューター)は、記憶部87に記憶された制御プログラム(コンピュータープログラム)に基づいて、表示機器8の動作を制御する。本実施形態の制御部88は、切替コマンドに応じて、入力端子切替部85を制御する。具体的には、制御部88は、切替コマンドに基づいて、第1入力端子81~第3入力端子83のうちのいずれかを活性化させる。
以上、図1~図6を参照して本実施形態について説明した。なお、本実施形態では、会議支援サーバー2が音声認識処理を実行したが、マイク/スピーカ装置7が音声認識処理を実行して、認識結果テキストを会議支援サーバー2に送信してもよい。
本実施形態によれば、表示機器8が表示する画像情報を、人物を示すキーワードに応じて切り替えることができる。例えば、ユーザー音声に含まれるキーワードが、第1端末機器4の所有者の識別子を示す場合、第1入力端子81が活性化して、第1端末機器4の表示部44が表示している画像を表示機器8に表示させることができる。
また、本実施形態によれば、管理テーブル231を参照して切替コマンドを生成するため、切替コマンドを容易に生成することができる。
続いて図1~図3、図6及び図7を参照して、登録画面60について説明する。図7は、本実施形態に係る登録画面60を示す図である。登録画面60は、第1端末機器4の表示部44(図3)に表示されるユーザーインターフェイス画面である。ユーザーは、第1端末機器4の操作部43(図3)を操作して、登録画面60に各種の情報を設定(登録)することができる。なお、第1端末機器4(図3)は、ユーザーインターフェイス画面の画像データを表示機器8(図6)に送信して、第1端末機器4の表示部44(図3)に表示されているユーザーインターフェイス画面を表示機器8の表示部86(図6)に表示させてもよい。
図7に示すように、本実施形態の登録画面60は、入力端子名欄61、接続機器名登録欄62、及び所有者情報登録欄63を表示する。また、登録画面60は、保存ボタン64及びキャンセルボタン65を表示する。
入力端子名欄61には、第1入力端子81~第3入力端子83(図1)の各々の名称として事前に設定された名称(デフォルト名)が設定される。具体的には、入力端子名欄61には、D-SUB端子、HDMI(登録商標)端子、又はDisplayport等が設定される。
接続機器名登録欄62には、第1入力端子81~第3入力端子83(図1)の各々に接続される機器の名称(機器名)が設定される。機器名は、ユーザーが任意に決定する。本実施形態では、第1端末機器4~第3端末機器6(図1)の名称が設定される。
所有者情報登録欄63には、第1入力端子81~第3入力端子83(図1)の各々に接続される機器の所有者を示す識別子が設定される。本実施形態において、所有者情報登録欄63には、第1端末機器4~第3端末機器6(図1)のそれぞれの所有者を示す識別子が設定される。
保存ボタン64は、登録画面60に設定された情報を保存するためのボタンであり、ユーザーが操作部43(図3)を操作して保存ボタン64を押下する指示を入力すると、登録画面60に設定された情報が保存されて、会議支援サーバー2の制御部24(図2)が、管理テーブル231(図2)を作成する。
キャンセルボタン65は、登録画面60を用いた情報登録処理をキャンセルするためのボタンであり、ユーザーが操作部43(図3)を操作してキャンセルボタン65を押下する指示を入力すると、登録画面60に設定された情報が保存されることなく、登録画面60が閉じる。
続いて図1、図2、図7及び図8を参照して、管理テーブル231について説明する。図8は、本実施形態に係る管理テーブル231を示す図である。図8に示すように、管理テーブル231は、表示機器ID欄701、第1タグ欄702、第2タグ欄703、所有者情報欄704、及びログオンユーザー情報欄705を有する。
表示機器ID欄701には、表示機器8(図1)の識別番号(デフォルト値)が設定される。表示機器8(図1)の識別番号は、予め設定される。
第1タグ欄702には、第1入力端子81~第3入力端子83(図1)の第1タグが設定される。第1入力端子81~第3入力端子83(図1)の第1タグには、第1入力端子81~第3入力端子83(図1)の各々の名称として事前に設定された名称(デフォルト名)が用いられる。詳しくは、第1タグ欄702には、図7を参照して説明した入力端子名欄61に設定された名称が反映される。具体的には、会議支援サーバー2の制御部24(図2)が、図7を参照して説明した入力端子名欄61に設定された情報に基づいて、第1タグ欄702を作成する。
第2タグ欄703には、第1入力端子81~第3入力端子83(図1)の第2タグが設定される。第1入力端子81~第3入力端子83(図1)の第2タグには、第1入力端子81~第3入力端子83(図1)の各々に接続される機器(第1端末機器4~第3端末機器6)の名称(機器名)が設定される。詳しくは、第2タグ欄703には、図7を参照して説明した接続機器名登録欄62に設定された名称が反映される。具体的には、会議支援サーバー2の制御部24(図2)が、図7を参照して説明した接続機器名登録欄62に設定された情報に基づいて、第2タグ欄703を作成する。
所有者情報欄704には、第1入力端子81~第3入力端子83(図1)の各々に接続される機器(第1端末機器4~第3端末機器6)の所有者を示す識別子が設定される。詳しくは、所有者情報欄704には、図7を参照して説明した所有者情報登録欄63に設定された識別子が反映される。具体的には、会議支援サーバー2の制御部24(図2)が、図7を参照して説明した所有者情報登録欄63に設定された情報に基づいて、所有者情報欄704を作成する。
ログオンユーザー情報欄705には、第1入力端子81~第3入力端子83(図1)の各々に接続される機器(第1端末機器4~第3端末機器6)にログオンしたユーザーの識別子が設定される。会議支援サーバー2の制御部24(図2)が、第1端末機器4~第3端末機器6(図1)から受信するログオンユーザーの識別子を示す情報、及び第1端末機器4~第3端末機器6(図1)から受信するログアウトユーザーの識別子を示す情報に基づいて、ログオンユーザー情報欄705を作成する。なお、ユーザーがログオンしていない場合、ログオンユーザー情報欄705には「Null」が設定される。
続いて図1、図2、図8及び図9を参照して、第1キーワード群232について説明する。図9は、本実施形態に係る第1キーワード群232を示す図である。本実施形態において、第1キーワード群232は、第1入力端子81~第3入力端子83(図1)に接続する第1端末機器4~第3端末機器6(図1)の所有者を示す識別子を含む。具体的には、会議支援サーバー2の制御部24(図2)が、図8を参照して説明した所有者情報欄704に設定された情報に基づいて、第1キーワード群232を作成する。
続いて図1、図2、図8及び図10を参照して、第2キーワード群233について説明する。図10は、本実施形態に係る第2キーワード群233を示す図である。本実施形態において、第2キーワード群233は、第1入力端子81~第3入力端子83(図1)に接続する第1端末機器4~第3端末機器6(図1)にログオンしたユーザーを示す識別子を含む。具体的には、会議支援サーバー2の制御部24(図2)が、図8を参照して説明したログオンユーザー情報欄705に設定された情報に基づいて、第2キーワード群233を作成する。
続いて図1~図16を参照して、会議システム1が実行する処理(動作)について説明する。まず、図1~図3、図7~図9、及び図11を参照して、第1登録処理について説明する。第1登録処理は、図7を参照して説明した登録画面60を用いて各種の情報を登録する処理である。図11は、本実施形態に係る第1登録処理を示す図である。
ユーザーが、第1端末機器4の操作部43を操作して、第1端末機器4の表示部44に登録画面60を表示させる指示を入力すると、図11に示す第1登録処理が開始する。
図11に示すように、ユーザーが登録画面60を表示させる指示を入力すると、第1端末機器4の制御部46は、第1端末機器4の表示部44に登録画面60を表示させる(ステップS1)。
第1端末機器4の制御部46は、第1端末機器4の表示部44に登録画面60を表示させると、登録画面60の保存ボタン64及びキャンセルボタン65のうちのいずれのボタンが押下されたのかを判定する(ステップS2)。
ユーザーが、第1端末機器4の操作部43を操作して、保存ボタン64を押下すると(ステップS2;保存)、第1端末機器4の制御部46は、登録画面60に設定された各種の情報を会議支援サーバー2へ送信して(ステップS3)、処理を終了する。また、ユーザーが、第1端末機器4の操作部43を操作して、キャンセルボタン65を押下すると(ステップS2;キャンセル)、第1端末機器4の制御部46は、登録画面60に設定された各種の情報を会議支援サーバー2へ送信することなく、処理を終了する。
会議支援サーバー2の制御部24は、第1端末機器4から受信した情報を、管理テーブル231に登録する(ステップS4)。会議支援サーバー2の制御部24は、管理テーブル231を参照して、第1キーワード群232を作成すると、処理を終了する。
続いて図1~図3、図8、図10及び図12を参照して、第2登録処理について説明する。第2登録処理は、ログオンユーザーの識別子を登録する処理である。図12は、本実施形態に係る第2登録処理を示す図である。詳しくは、図12は、第1端末機器4にログオンしたユーザーの識別子を登録する処理を示す。
図12に示すように、ユーザーが第1端末機器4の操作部43を操作して第1端末機器4にログオンすると、第1端末機器4の制御部46は、ログオンユーザーの識別子を示す情報を会議支援サーバー2へ送信して(ステップS11)、処理を終了する。
会議支援サーバー2の制御部24は、第1端末機器4から受信した情報に基づいて、管理テーブル231のログオンユーザー情報欄705にログオンユーザーの識別子を登録する(ステップS12)。会議支援サーバー2の制御部24は、管理テーブル231を参照して、第2キーワード群233を作成するか、又は第2キーワード群233を更新すると、処理を終了する。
以上、図1~図3、図8、図10及び図12を参照して、第2登録処理について説明した。なお、第2端末機器5又は第3端末機器6にユーザーがログオンした場合も、図12に示す処理と同様に第2登録処理が実行される。
続いて図1~図3、図8、図10及び図13を参照して、削除処理について説明する。削除処理は、ログオンユーザーの識別子を削除する処理である。図13は、本実施形態に係る削除処理を示す図である。詳しくは、図13は、第1端末機器4からログアウトしたユーザーの識別子を削除する処理を示す。
図13に示すように、ユーザーが第1端末機器4の操作部43を操作して第1端末機器4からログアウトすると、第1端末機器4の制御部46は、ログアウトユーザーの識別子を示す情報を会議支援サーバー2へ送信して(ステップS21)、処理を終了する。
会議支援サーバー2の制御部24は、第1端末機器4から受信した情報に基づいて、管理テーブル231のログオンユーザー情報欄705から、ログアウトユーザーに対応するログオンユーザーの識別子を削除する(ステップS22)。会議支援サーバー2の制御部24は、管理テーブル231を参照して、第2キーワード群233から、ログアウトユーザーに対応するキーワードを削除すると、処理を終了する。
以上、図1~図3、図8、図10及び図13を参照して、削除処理について説明した。なお、第2端末機器5又は第3端末機器6からユーザーがログアウトした場合も、図13に示す処理と同様に削除処理が実行される。
続いて図1~図3、図5~図10、及び図14~図16を参照して、会議システム1が実行する表示切替処理について説明する。表示切替処理は、表示機器8の表示画面を切り替える処理である。
まず図1、図2、図5、及び図14を参照して、会議支援サーバー2及びマイク/スピーカ装置7が実行する処理について説明する。図14は、本実施形態に係る表示切替処理を示す図であり、詳しくは、会議支援サーバー2及びマイク/スピーカ装置7が実行する処理を示す。
表示切替処理は、ユーザーが音声を発声することにより開始する。図14に示すように、ユーザーが音声を発声すると、マイク/スピーカ装置7が、ユーザー音声を集音し(ステップS31)、ユーザー音声に対応する音声データを会議支援サーバー2へ送信する(ステップS32)。
会議支援サーバー2が、マイク/スピーカ装置7から音声データを受信すると(ステップS41)、会議支援サーバー2の音声認識部22が音声データをテキスト情報に変換する。この結果、会議支援サーバー2の制御部24が、認識結果テキストを取得する(ステップS42)。
会議支援サーバー2の制御部24は、認識結果テキストを取得すると、表示画面設定処理を実行する(ステップS43)。具体的には、図2を参照して説明した切替コマンドを生成する処理を実行する。表示画面設定処理については、図16を参照して後述する。
会議支援サーバー2の制御部24は、表示画面設定処理の実行後、表示画面の設定に失敗したか否かを判定する(ステップS44)。会議支援サーバー2の制御部24は、表示画面の設定に失敗しなかったと判定した場合(ステップS44;No)、切替コマンドを第1端末機器4へ送信して(ステップS45)、図14に示す処理を終了する。
一方、会議支援サーバー2の制御部24は、表示画面の設定に失敗したと判定した場合(ステップS44;Yes)、図2を参照して説明した音声データ出力処理を実行する。具体的には、会議支援サーバー2の制御部24は、ユーザーに再度発声してもらうためのメッセージを示す音声データを、マイク/スピーカ装置7に送信する(ステップS46)。会議支援サーバー2の制御部24は、音声データ出力処理を実行すると、図14に示す処理を終了する。
マイク/スピーカ装置7は、音声データを送信した後、会議支援サーバー2から音声データを受信したか否かを判定する(ステップS33)。マイク/スピーカ装置7は、会議支援サーバー2から音声データを受信しなかった場合(ステップS33;No)、図14に示す処理を終了する。
一方、マイク/スピーカ装置7は、会議支援サーバー2から音声データを受信した場合(ステップS33;Yes)、会議支援サーバー2から受信した音声データに対応する音声を出力して(ステップS34)、図14に示す処理を終了する。したがって、ユーザーは、再度、表示画面を所望の画面に切り替える指示を音声によって行うことができる。
続いて図1、図3、図6、及び図15を参照して、第1端末機器4(会議室PC)及び表示機器8が実行する処理について説明する。図15は、本実施形態に係る表示切替処理を示す図であり、詳しくは、第1端末機器4(会議室PC)及び表示機器8が実行する処理を示す。
図15に示すように、第1端末機器4の制御部46は、会議支援サーバー2から切替コマンドを受信すると(ステップS51)、受信した切替コマンドを表示機器8へ送信する(ステップS52)。
表示機器8の制御部88は、第1端末機器4から切替コマンドを受信すると(ステップS61)、切替コマンドに従って切替処理を実行する(ステップS62)。具体的には、表示機器8の制御部88は、切替コマンドに従って、第1入力端子81~第3入力端子83のうちの少なくとも1つの入力端子を活性化させる。
表示機器8の制御部88は、切替処理を実行した後、応答信号を第1端末機器4へ送信して(ステップS63)、図15に示す処理を終了する。応答信号は、切替処理が完了したことを示す。第1端末機器4の制御部46は、表示機器8から応答信号を受信すると(ステップS53)、図15に示す処理を終了する。
続いて図1、図2、図7~図10、及び図16を参照して、表示画面設定処理(図14のステップS43)について説明する。図16は、本実施形態に係る表示画面設定処理を示す図である。
図16に示すように、会議支援サーバー2の制御部24は、認識結果テキストを取得すると、認識結果テキストが第1キーワード群232のキーワードを含むか否かを判定する(ステップS431)。詳しくは、第1端末機器4~第3端末機器6のいずれかの所有者の識別子を示すキーワードを含むか否かを判定する。本実施形態において、会議支援サーバー2の制御部24は、認識結果テキストが、キーワード「○○○○」、キーワード「□□□□」、及びキーワード「△△△△」のいずれかを含むか否かを判定する(図9)。
会議支援サーバー2の制御部24は、認識結果テキストが第1キーワード群232のキーワードを含むと判定した場合(ステップS431;Yes)、管理テーブル231を参照して、切替コマンドを生成する(ステップS432)。例えば、認識結果テキストがキーワード「○○○○」を含む場合、会議支援サーバー2の制御部24は、所有者情報欄704の各行のうちから、キーワード「○○○○」に対応する識別子「○○○○」が設定された行を探索する(図8)。次に、会議支援サーバー2の制御部24は、探索した行に設定されている入力端子「第1入力端子」を、第1タグ欄702から探索する(図8)。そして、会議支援サーバー2の制御部24は、第1入力端子81を活性化させる切替コマンドを生成する。会議支援サーバー2の制御部24は、切替コマンドを生成すると、図14の処理に戻る。
会議支援サーバー2の制御部24は、認識結果テキストが第1キーワード群232のキーワードを含まないと判定した場合(ステップS431;No)、認識結果テキストが第2キーワード群233のキーワードを含むか否かを判定する(ステップS433)。詳しくは、第1端末機器4~第3端末機器6のいずれかのログオンユーザーの識別子を示すキーワードを含むか否かを判定する。本実施形態において、会議支援サーバー2の制御部24は、認識結果テキストが、キーワード「XXXX」、又はキーワード「YYYY」を含むか否かを判定する(図10)。
会議支援サーバー2の制御部24は、認識結果テキストが第2キーワード群233のキーワードを含むと判定した場合(ステップS433;Yes)、管理テーブル231を参照して、切替コマンドを生成する(ステップS432)。例えば、認識結果テキストがキーワード「XXXX」を含む場合、会議支援サーバー2の制御部24は、ログオンユーザー情報欄705の各行のうちから、キーワード「XXXX」に対応する識別子「XXXX」が設定された行を探索する(図8)。次に、会議支援サーバー2の制御部24は、探索した行に設定されている入力端子「第1入力端子」を、第1タグ欄702から探索する(図8)。そして、会議支援サーバー2の制御部24は、第1入力端子81を活性化させる切替コマンドを生成する。会議支援サーバー2の制御部24は、切替コマンドを生成すると、図14の処理に戻る。
会議支援サーバー2の制御部24は、認識結果テキストが第2キーワード群233のキーワードを含まないと判定した場合(ステップS433;No)、表示画面の設定に失敗したことを示すフラグを設定して(ステップS434)、図14に示す処理に戻る。
以上、図1、図2、図7~図10、及び図16を参照して、表示画面設定処理について説明した。なお、図16に示す表示画面設定処理を実行する場合、第1端末機器4~第3端末機器6に対して互いに異なる所有者の識別子を設定する必要がある。
続いて図17を参照して、表示画面設定処理の他例について説明する。図17は、他の実施形態に係る表示画面設定処理を示す図である。図17に示す表示画面設定処理は、図16に示す表示画面設定処理と比べて、ステップS431及びステップS433の処理の順序が入れ替えられている。すなわち、図17に示す表示画面設定処理において、会議支援サーバー2の制御部24は、認識結果テキストが第2キーワード群233のキーワードを含むか否かを判定した後に(ステップS433)、認識結果テキストが第1キーワード群232のキーワードを含むか否かを判定する(ステップS431)。
図17に示す表示画面設定処理によれば、第1端末機器4~第3端末機器6のうちの2台以上に同じ所有者の識別子が設定されている場合であっても、適切に表示切替を実行することができる。
具体的には、共用のPCである会議室PC(第1端末機器4)に所有者として設定されている人物Xが、会議参加者としてPC(第2端末機器5又は第3端末機器6)を会議に持参する場合がある。この場合、会議室PCに設定されている所有者の識別子と、持参PCに設定されている所有者の識別子とが一致する可能性がある。また、人物Xが会議室PCにログオンする際に使用するログオンユーザーの識別子と、人物Xが持参PCにログオンする際に使用するログオンユーザーの識別子とが一致する可能性もある。このような場合であっても、図17に示す表示画面設定処理によれば、人物Xが会議室PC及び持参PCのうちの1台にのみログオンすることにより、人物XがログオンしているPCに表示されている画面を表示機器8に表示させることができる。例えば、表示機器8に表示させることが必要なデータファイルを記憶しているPCにのみ人物Xがログオンし、他のPCから人物Xがログアウトすることにより、人物XがログオンしているPCに表示されている画面を表示機器8に表示させることができる。あるいは、Windows(登録商標)による同時ログオンセッションの制限を可能にするアドオンツールのようなシステムツールにより、人物Xが複数のPCに同時にログオンすることを制限してもよい。
以上、本発明の実施形態について図面を参照しながら説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。
例えば、表示機器8は、ユーザー音声に基づいて活性化させた入力端子をユーザーに通知する画像を表示してもよい。活性化させた入力端子をユーザーに通知する画像は、例えば、活性化させた入力端子の名称(D-SUB端子、HDMI(登録商標)端子、及びDisplayport等)を示す。もしくは、表示機器8は、ユーザー音声に基づいて活性化させた入力端子に接続されている端末機器をユーザーに通知する画像を表示してもよい。活性化させた入力端子に接続されている端末機器をユーザーに通知する画像は、例えば、端末機器の名称(第1端末、第2端末等)を示す。
また、本発明の実施形態では、会議システム1を説明したが、本発明が適用されるシステムは、表示機器を備えるシステムである限り、特に限定されない。例えば、本発明は、塾又は学校で使用される講義システム、家庭で使用される表示システムに適用することができる。
また、本発明の実施形態では、マイク/スピーカ装置7が使用されたが、第1端末機器4(会議室PC)又は表示機器8が、マイク/スピーカ装置7の機能を有してもよい。
また、本発明の実施形態では、操作支援装置として会議支援サーバー2が使用されたが、操作支援装置として第1端末機器4(会議室PC)が使用されてもよいし、表示機器8が使用されてもよい。
また、本発明の実施形態では、第1端末機器4が、会議支援サーバー2から送信された切替コマンドを表示機器8へ送信したが、会議支援サーバー2が表示機器8へ切替コマンドを送信してもよい。
また、本発明の実施形態において、表示機器8は3つの入力端子(第1入力端子81~第3入力端子83)を備えたが、表示機器8が備える入力端子の数は3つに限定されるものではなく、表示機器8は複数の入力端子を備えていればよい。
また、本発明の実施形態では、ユーザー音声を取得するために、音声を集音する機能と音声を出力する機能とを備えた装置(マイク/スピーカ装置7)が使用されたが、音声を集音する機能と音声を出力する機能とのうちの音声を集音する機能のみを備えた装置が使用されてもよい。
また、本発明の実施形態において、管理テーブル231は、表示機器ID欄701、第1タグ欄702、第2タグ欄703、所有者情報欄704、及びログオンユーザー情報欄705を有したが、第2タグ欄703は省略されてもよい。この場合、登録画面60から、接続機器名登録欄62が省略されてもよい。
本発明は、会議システム、講義システム、及び授業システムのような表示機器を使用するシステムに有用である。
1 会議システム
2 会議支援サーバー
4 第1端末機器
5 第2端末機器
6 第3端末機器
7 スピーカ装置
8 表示機器
21 通信部
22 音声認識部
23 記憶部
24 制御部
25 判定部
26 コマンド生成部
41 出力端子
42 通信部
43 操作部
44 表示部
45 記憶部
46 制御部
81 第1入力端子
82 第2入力端子
83 第3入力端子
84 通信部
85 入力端子切替部
86 表示部
87 記憶部
88 制御部
231 管理テーブル
232 第1キーワード群
233 第2キーワード群
451 表示切替制御プログラム
452 ユーザー名通知プログラム
702 第1タグ欄
704 所有者情報欄
705 ログオンユーザー情報欄

Claims (7)

  1. 表示機器の操作を支援する操作支援装置であって、
    音声データをテキスト情報に変換する音声認識部と、
    前記表示機器が備える入力端子のうちの少なくとも1つを活性化させる切替コマンドを生成するコマンド生成部と
    を備え、
    前記コマンド生成部は、
    端末の所有者又は端末にログオンしている人物を示すキーワードが前記テキスト情報に含まれている場合、前記表示機器が備える前記入力端子のうちから、前記端末の所有者又は前記端末にログオンしている人物に関連付けられた入力端子を特定し、
    特定した前記入力端子を活性化させる前記切替コマンドを生成する、操作支援装置。
  2. 前記端末の所有者又は前記端末にログオンしている人物と、前記表示機器が備える前記入力端子とを関連付ける管理テーブルを記憶する記憶部を更に備え、
    前記コマンド生成部は、前記管理テーブルを参照して、前記端末の所有者又は前記端末にログオンしている人物に関連付けられた入力端子を特定する、請求項1に記載の操作支援装置。
  3. 表示機器と、前記表示機器の操作を支援する操作支援装置と、前記表示機器が備える入力端子に接続する機器とを備えた操作支援システムであって、
    前記機器は、前記機器にユーザーがログオンすると、ログオンした前記ユーザーを示す情報を前記操作支援装置に送信し、
    前記操作支援装置は、
    音声データをテキスト情報に変換する音声認識部と、
    前記表示機器が備える前記入力端子のうちの少なくとも1つを活性化させる切替コマンドを生成するコマンド生成部と
    を備え、
    前記コマンド生成部は、
    人物を示すキーワードが前記テキスト情報に含まれている場合、前記表示機器が備える前記入力端子のうちから、前記人物に関連付けられた入力端子を特定し、
    特定した前記入力端子を活性化させる前記切替コマンドを生成し、
    前記表示機器は、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示する、操作支援システム。
  4. 表示機器と、前記表示機器の操作を支援する操作支援装置と、前記表示機器が備える入力端子に接続する機器とを備えた操作支援システムであって
    前記機器は、前記機器からユーザーがログアウトすると、ログアウトした前記ユーザーを示す情報を前記操作支援装置に送信
    前記操作支援装置は、
    音声データをテキスト情報に変換する音声認識部と、
    前記表示機器が備える前記入力端子のうちの少なくとも1つを活性化させる切替コマンドを生成するコマンド生成部と
    を備え、
    前記コマンド生成部は、
    人物を示すキーワードが前記テキスト情報に含まれている場合、前記表示機器が備える前記入力端子のうちから、前記人物に関連付けられた入力端子を特定し、
    特定した前記入力端子を活性化させる前記切替コマンドを生成し、
    前記表示機器は、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示する、操作支援システム。
  5. 前記機器は、前記機器からユーザーがログアウトすると、ログアウトした前記ユーザーを示す情報を前記操作支援装置に送信する、請求項3に記載の操作支援システム。
  6. 表示機器と、前記表示機器の操作を支援する操作支援装置とを備えた操作支援システムであって、
    前記操作支援装置は、
    音声データをテキスト情報に変換する音声認識部と、
    前記表示機器が備える入力端子のうちの少なくとも1つを活性化させる切替コマンドを生成するコマンド生成部と
    を備え、
    前記コマンド生成部は、
    端末の所有者又は端末にログオンしている人物を示すキーワードが前記テキスト情報に含まれている場合、前記表示機器が備える前記入力端子のうちから、前記端末の所有者又は前記端末にログオンしている人物に関連付けられた入力端子を特定し、
    特定した前記入力端子を活性化させる前記切替コマンドを生成し、
    前記表示機器は、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示する、操作支援システム。
  7. 表示機器の操作を支援する操作支援方法であって、
    音声データをテキスト情報に変換する音声認識ステップと、
    前記表示機器が備える入力端子のうちの少なくとも1つを活性化させる切替コマンドを生成するコマンド生成ステップと、
    前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示するステップと
    を含み、
    前記コマンド生成ステップは、
    端末の所有者又は端末にログオンしている人物を示すキーワードが前記テキスト情報に含まれている場合、前記表示機器が備える前記入力端子のうちから、前記端末の所有者又は前記端末にログオンしている人物に関連付けられた入力端子を特定するステップと、
    特定した前記入力端子を活性化させる前記切替コマンドを生成するステップと
    を含む、操作支援方法。
JP2018103827A 2018-05-30 2018-05-30 操作支援装置、操作支援システム、及び操作支援方法 Active JP7152191B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018103827A JP7152191B2 (ja) 2018-05-30 2018-05-30 操作支援装置、操作支援システム、及び操作支援方法
US16/419,722 US11037569B2 (en) 2018-05-30 2019-05-22 Operational support apparatus, operational support system, and operational support method
CN201910437152.0A CN110556112B (zh) 2018-05-30 2019-05-24 操作辅助装置、操作辅助系统以及操作辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018103827A JP7152191B2 (ja) 2018-05-30 2018-05-30 操作支援装置、操作支援システム、及び操作支援方法

Publications (2)

Publication Number Publication Date
JP2019207640A JP2019207640A (ja) 2019-12-05
JP7152191B2 true JP7152191B2 (ja) 2022-10-12

Family

ID=68694129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018103827A Active JP7152191B2 (ja) 2018-05-30 2018-05-30 操作支援装置、操作支援システム、及び操作支援方法

Country Status (3)

Country Link
US (1) US11037569B2 (ja)
JP (1) JP7152191B2 (ja)
CN (1) CN110556112B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405232B (zh) * 2020-03-05 2021-08-06 深圳震有科技股份有限公司 视频会议主讲人画面切换处理方法及装置、设备、介质
CN111554291B (zh) * 2020-05-18 2023-04-28 中移(杭州)信息技术有限公司 设备控制方法、语音输入终端、语音平台及存储介质
CN117640861A (zh) * 2022-08-16 2024-03-01 华为技术有限公司 一种导播控制方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304286A (ja) 2001-04-04 2002-10-18 Nec Viewtechnology Ltd 音声認識機能を内蔵した映像表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US9288421B2 (en) 2012-07-12 2016-03-15 Samsung Electronics Co., Ltd. Method for controlling external input and broadcast receiving apparatus
KR101743514B1 (ko) * 2012-07-12 2017-06-07 삼성전자주식회사 외부 입력 제어 방법 및 이를 적용한 방송 수신 장치
CN104144315B (zh) * 2013-05-06 2017-12-29 华为技术有限公司 一种多点视频会议的显示方法及多点视频会议系统
KR101638963B1 (ko) * 2014-08-14 2016-07-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2017124225A1 (zh) * 2016-01-18 2017-07-27 王晓光 一种视频网络会议的人物跟踪方法及系统
US10642231B1 (en) * 2016-11-02 2020-05-05 Edison Labs, Inc. Switch terminal system with an activity assistant
CN107396036A (zh) * 2017-09-07 2017-11-24 北京小米移动软件有限公司 视频会议中视频处理方法及终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304286A (ja) 2001-04-04 2002-10-18 Nec Viewtechnology Ltd 音声認識機能を内蔵した映像表示装置

Also Published As

Publication number Publication date
US11037569B2 (en) 2021-06-15
US20190371336A1 (en) 2019-12-05
CN110556112A (zh) 2019-12-10
CN110556112B (zh) 2023-06-06
JP2019207640A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
JP7152191B2 (ja) 操作支援装置、操作支援システム、及び操作支援方法
JP6548045B2 (ja) 会議システム、会議システム制御方法、およびプログラム
US10403272B1 (en) Facilitating participation in a virtual meeting using an intelligent assistant
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
JP6432177B2 (ja) 対話型通信システム、端末装置およびプログラム
US11113027B2 (en) Apparatus, system, and method that support operation to switch to input terminal to be activated among input terminals included in display apparatus
US11855935B2 (en) Information processing system and information processing method
US10996923B2 (en) Display control device, display control system, and display control method
JP2015126524A (ja) 遠隔会議プログラム、端末装置および遠隔会議方法
JP6624476B2 (ja) 翻訳装置および翻訳システム
CN110060670B (zh) 操作辅助装置、操作辅助系统以及操作辅助方法
JP2012253478A (ja) 会議支援システム、会議支援装置、会議支援方法およびコンピュータープログラム
CN115623133A (zh) 线上会议方法、装置、电子设备及可读存储介质
JP2019117997A (ja) ウェブ会議システム、ウェブ会議システムの制御方法、およびプログラム
JP2023046590A (ja) 表示方法、表示装置、及び、表示システム
CN111277675A (zh) 群成员的排序方法及电子设备
JP2020086364A (ja) 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
US20220377177A1 (en) Conferencing System, Server, Information Processing Device and Non-Transitory Recording Medium
US11568866B2 (en) Audio processing system, conferencing system, and audio processing method
JP7292765B1 (ja) コミュニケーション制御装置及びコンピュータープログラム
TWI788741B (zh) 遠端視訊協作系統與遠端視訊協作方法
US20230224345A1 (en) Electronic conferencing system
JP7139839B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP3598509B2 (ja) 端末装置およびその制御方法
JP2022121643A (ja) 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7152191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150