JP6374854B2 - 画面共有システム及び画面共有方法 - Google Patents

画面共有システム及び画面共有方法 Download PDF

Info

Publication number
JP6374854B2
JP6374854B2 JP2015220775A JP2015220775A JP6374854B2 JP 6374854 B2 JP6374854 B2 JP 6374854B2 JP 2015220775 A JP2015220775 A JP 2015220775A JP 2015220775 A JP2015220775 A JP 2015220775A JP 6374854 B2 JP6374854 B2 JP 6374854B2
Authority
JP
Japan
Prior art keywords
screen
data
input
text data
shared area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015220775A
Other languages
English (en)
Other versions
JP2017091226A (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2015220775A priority Critical patent/JP6374854B2/ja
Priority to US15/049,211 priority patent/US9959083B2/en
Publication of JP2017091226A publication Critical patent/JP2017091226A/ja
Application granted granted Critical
Publication of JP6374854B2 publication Critical patent/JP6374854B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、画面データを提供する画面送信機器と他の一以上の画面受信機器とが、画面共有する画面共有システムに関する。
近年、作業者が操作する画面送信機器と、指示者が操作する画面受信機器とにおいて、インターネット等の公衆回線網等を介して、画面共有の実行が行われている。このような画面共有において、作業者が作業空間を撮影した撮影画像を、画面送信機器と画面受信機器とが画面共有し、指示者が撮影画像を閲覧しつつ、作業指示の内容を通話等により音声で伝えることにより作業指示を出すことが行われている。
例えば、特許文献1では、インターネットを介して画像及び音声の送受信による情報共有を行い、一の拠点で用いられる端末に、他の拠点から送信された音声データを音声として出力する構成が開示されている。
特開2014−241524号公報
しかしながら、特許文献1の構成では、工事現場等において、作業指示を音声により受ける場合、周囲の騒音により、音声が聞き取りにくく、作業指示の内容を作業者が把握しにくいという問題があった。
そこで、本発明は、指示者からの音声を、テキストメッセージとして表示することにより、作業指示の内容を把握しやすくする点に着目した。
本発明の目的は、周囲の騒音等により、音声が聞き取りにくい場合であっても、作業指示の内容を把握しやすくした画面共有システム及び画面共有方法を提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第1の特徴に係る発明は、遠隔での作業指示を行う際に、画面共有する画面共有システムであって、
音声入力を受け付ける音声入力受付手段と、
入力された前記音声を音声認識でテキストデータに変換する変換手段と、
前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更する変更手段と、
指定を受け付けた前記共有領域内の画面データと、前記変したテキストデータと、を前記共有領域内に表示する表示手段と、
を備えることを特徴とする画面共有システムを提供する。
第1の特徴に係る発明によれば、遠隔での作業指示を行う際に、画面共有する画面共有システムは、音声入力を受け付け、入力された前記音声を音声認識でテキストデータに変換し、前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更し、指定を受け付けた前記共有領域内の画面データと、前記変したテキストデータと、を前記共有領域内に表示する。
ここで、第1の特徴に係る発明は、画面共有システムのカテゴリであるが、画面共有方法等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
第2の特徴に係る発明は、遠隔での作業指示を行う際に、画面共有する画面共有システムであって、
音声入力を受け付ける音声入力受付手段と、
入力された前記音声を音声認識でテキストデータに変換する変換手段と、
前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更する変更手段と、
指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変したテキストデータを前記共有領域外に表示する表示手段と、
を備えることを特徴とする画面共有システムを提供する。
第2の特徴に係る発明によれば、遠隔での作業指示を行う際に、画面共有する画面共有システムは、音声入力を受け付け、入力された前記音声を音声認識でテキストデータに変換し、前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更し、指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変したテキストデータを前記共有領域外に表示する。
ここで、第2の特徴に係る発明は、画面共有システムのカテゴリであるが、画面共有方法等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
第3の特徴に係る発明は、前記テキストデータをファイル出力する出力手段を備えることを特徴とする第1又は第2の特徴に係る発明である画面共有システムを提供する。
第3の特徴に係る発明によれば、第1又は第2の特徴に係る発明である画面共有システムは、前記テキストデータをファイル出力する。
第4の特徴に係る発明は、前記テキストデータと、前記共有領域の画面データと、を対応付ける対応付手段を備えることを特徴とする第1乃至第3の何れかの特徴に係る発明である画面共有システムを提供する。
第4の特徴に係る発明によれば、第1乃至第3の何れかの特徴に係る発明である画面共有システムは、前記テキストデータと、前記共有領域の画面データと、を対応付ける。
の特徴に係る発明は、遠隔での作業指示を行う際に、画面共有する画面共有方法であって、
音声入力を受け付けるステップと、
入力された前記音声を音声認識でテキストデータに変換するステップと、
前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更するステップと、
指定を受け付けた前記共有領域内の画面データと、前記変したテキストデータと、を前記共有領域内に表示するステップと、
を備えることを特徴とする画面共有方法を提供する。
の特徴に係る発明は、遠隔での作業指示を行う際に、画面共有する画面共有方法であって、
音声入力を受け付けるステップと、
入力された前記音声を音声認識でテキストデータに変換するステップと、
前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更するステップと、
指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変したテキストデータを前記共有領域外に表示するステップと、
を備えることを特徴とする画面共有システムを提供する。
本発明によれば、周囲の騒音等により、音声が聞き取りにくい場合であっても、作業指示の内容を把握しやすくした画面共有システム及び画面共有方法を提供することが可能となる。
図1は、画面共有システム1の概要を示す図である。 図2は、画面共有システム1の遠隔指示システム1の全体構成図である。 図3は、画面送信機器10、第1の画面受信機器100及び第2の画面受信機器200の機能ブロック図である。 図4は、画面送信機器10、第1の画面受信機器100及び第2の画面受信機器200が実行する画面共有処理を示すフローチャートである。 図5は、画面送信機器10が表示する共有領域400を示す図である。 図6は、第1の画面受信機器100が表示する撮影画像310を示す図である。 図7は、第1の画面受信機器100が受け付けた入力操作を示す図である。 図8は、表示方法テーブルを示す図である。 図9は、画面送信機器10が表示する撮影画像310及びメッセージを示す図である。 図10は、画面送信機器10が表示する撮影画像310及びメッセージを示す図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[画面共有システム1の概要]
本発明の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である画面共有システム1の概要を説明するための図である。画面共有システム1は、画面送信機器10、第1の画面受信機器100及び第2の画面受信機器200から構成される。なお、画面受信機器は、2つに限らず3つ以上でも良いし、1つでも良い。また、画面送信機器10も、1つに限らず複数であっても良い。また、後述する各処理は、画面送信機器又は画面受信機器の何れか又は双方が実行していても良い。
画面送信機器10は、データ通信機能、カメラ機能等を備えるウェアラブル端末や電化製品である。画面送信機器10は、例えば、メガネ型端末、ヘッドマウントディスプレイ等のウェアラブル端末や、携帯電話、携帯情報端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品である。
また、第1の画面受信機器100及び第2の画面受信機器200は、データ通信機能等を備える電化製品である。第1の画面受信機器100及び第2の画面受信機器200は、画面送信機器10と同様のウェアラブル端末や電化製品や、据置型の端末装置である。
はじめに、画面送信機器10と、第1の画面受信機器100及び第2の画面受信機器200とは、画面共有に必要なネットワークを確立するとともに、音声通話に必要な通信を確立する(ステップS01)。
画面送信機器10は、作業者が作業する空間である作業空間を撮影する(ステップS02)。
画面送信機器10は、画像表示を共有する共有領域の指定を受け付ける(ステップS03)。画面送信機器10は、共有領域に撮影画像を表示する。
画面送信機器10は、撮影画像のデータである撮影画像データを、第1の画面受信機器100及び第2の画面受信機器200に送信する(ステップS04)。
第1の画面受信機器100及び第2の画面受信機器200は、撮影画像データを受信し、表示する。第1の画面受信機器100と第2の画面受信機器200とは、指示者からの音声入力を受け付ける(ステップS05)。
第1の画面受信機器100は、受け付けた音声入力に基づいた音声データを音声認識し、テキストデータに変換し、メッセージ表示領域にメッセージとして表示するとともに、画面送信機器10に送信する(ステップS06)。ステップS06において、第1の画面受信機器100は、音声データと同時に、自身に関するデータである機器データを送信する。機器データには、端末を識別する識別子や、端末のIPアドレスや、端末のMACアドレス等が含まれる。
第2の画面受信機器200は、受け付けた音声入力に基づいた音声データを音声認識し、テキストデータに変換し、メッセージ表示領域にメッセージとして表示するとともに、画面送信機器10に送信する(ステップS07)。ステップS07において、第2の画面受信機器100は、音声データと同時に、自身に関するデータである機器データを送信する。機器データには、端末を識別する識別子や、端末のIPアドレスや、端末のMACアドレス等が含まれる。
画面送信機器10は、テキストデータを受信し、メッセージ表示領域にメッセージとして表示する(ステップS08)。ステップS08において、画面送信機器10は、所定の入力や所定の条件に基づいて、共有領域内に撮影画像及びメッセージ表示領域を表示する。あるいは、ステップS08において、画面送信機器10は、所定の入力や所定の条件に基づいて、共有領域内に撮影画像を表示するとともに、共有領域外にメッセージ表示領域を表示する。
なお、上述した各ステップは、全ての処理を、画面送信機器10又は第1の画面受信機器100と第2の画面受信機器200の何れか又は双方が実行しても良い。また、上述した各ステップのうち、特定のステップを、画面送信機器10又は第1の画面受信機器100及び第2の画面受信機器200が実行しても良い。
以上が、画面共有システム1の概要である。
[画面共有システム1のシステム構成]
図2に基づいて、画面共有システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である画面共有システム1のシステム構成を示す図である。画面共有システム1は、画面送信機器10、第1の画面受信機器100、第2の画面受信機器200及び公衆回線網5(インターネット網や第3、第4世代通信網等)から構成される。なお、画面共有システム1は、画面送信機器10と、第1の画面受信機器100と、第2の画面受信機器200とがサーバ装置を介して接続されていても良い。この場合、画面送信機器10と、第1の画面受信機器100と、第2の画面受信機器200とは、各種データ通信をサーバ装置を介して実行すれば良い。
画面送信機器10は、後述の機能を備え、データ通信を実行可能であり、上述したウェアラブル端末や電化製品である。
第1の画面受信機器100及び第2の画面受信機器200は、後述の機能を備え、データ通信を実行可能であり、上述したウェアラブル端末や電化製品や据置型の端末装置である。
[各機能の説明]
図3に基づいて、各装置の構成について説明する。図3は、本発明の好適な実施形態である画面送信機器10、第1の画面受信機器100及び第2の画面受信機器200の機能ブロック図である。
画面送信機器10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。
また、画面送信機器10は、入出力部13として、制御部11で制御したデータや画像を出力表示する表示部と、音声を集音するマイクや、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部に加え、音声を放音するスピーカ等の出力部や、GPSから自身の位置情報を取得可能なデバイス等を備える。また、画面送信機器10は、記憶部14として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、画面送信機器10は、撮影部15として、動画や静止画等の画像を撮影するレンズや撮影素子等の撮影デバイスを備える。
画面送信機器10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、接続要求送信モジュール20、データ送受信モジュール21を実現する。また、画面送信機器10において、制御部11が所定のプログラムを読み込むことにより、入出力部13と協働して、共有領域指定モジュール30、表示モジュール31、音声入力受付モジュール32、表示方法変更モジュール33、表示方法指定モジュール34、ファイル出力入力受付モジュール35を実現する。また、画面送信機器10において、制御部11が所定のプログラムを読み込むことにより、記憶部14と協働して、データ対応付モジュール40、データ記憶モジュール41を実現する。また、画面送信機器10において、制御部11が所定のプログラムを読み込むことにより、撮影部15と協働して、撮影モジュール50を実現する。
第1の画面受信機器100は、画面送信機器10と同様に、制御部110として、CPU、RAM、ROM等を備え、通信部120として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi対応デバイスを備える。
また、第1の画面受信機器100は、画面送信機器10と同様に入出力部130として、制御部110で制御したデータや画像を出力表示する表示部と、音声を集音するマイクや、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部に加え、音声を放音するスピーカ等の出力部や、GPSから自身の位置情報を取得可能なデバイス等を備える。また、第1の画面受信機器100は、記憶部として、画面送信機器10と同様に、データのストレージ部を備える。
第1の画面受信機器100において、制御部110が所定のプログラムを読み込むことにより、通信部120と協働して、接続要求受信モジュール150、データ送受信モジュール151を実現する。また、第1の画面受信機器100において、制御部110が所定のプログラムを読み込むことにより、入出力部130と協働して、表示モジュール160、入力受付モジュール161を実現する。
第2の画面受信機器200は、第1の画面受信機器100と同様に、制御部210として、CPU、RAM、ROM等を備え、通信部220として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi対応デバイスを備える。
また、第2の画面受信機器100は、第1の画面受信機器100と同様に入出力部230として、制御部210で制御したデータや画像を出力表示する表示部と、音声を集音するマイクや、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部に加え、音声を放音するスピーカ等の出力部や、GPSから自身の位置情報を取得可能なデバイス等を備える。また、第2の画面受信機器200は、記憶部として、第1の画面受信機器100と同様に、データのストレージ部を備える。
第2の画面受信機器200において、制御部210が所定のプログラムを読み込むことにより、通信部220と協働して、接続要求受信モジュール250、データ送受信モジュール251を実現する。また、第2の画面受信機器200において、制御部210が所定のプログラムを読み込むことにより、入出力部230と協働して、表示モジュール260、入力受付モジュール261を実現する。
[画面共有処理]
図4に基づいて、画面送信機器10、第1の画面受信機器100及び第2の画面受信機器200が実行する画面共有処理について説明する。図4は、画面送信機器10、第1の画面受信機器100及び第2の画面受信機器200が実行する画面共有処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
はじめに、接続要求送信モジュール20は、第1の画面受信機器100と第2の画面受信機器200との画面共有及び音声通話に必要なネットワーク接続の確立に係る接続要求を送信する(ステップS10)。
接続要求受信モジュール150は、画面送信機器10が送信した接続要求を受信する。第1の画面受信機器100と画面送信機器10とは、画面共有及び音声通話に係るネットワーク接続を確立する(ステップS11)。
接続要求受信モジュール250は、画面送信機器10が送信した接続要求を受信する。第2の画面受信機器200と画面送信機器10とは、画面共有及び音声通話に係るネットワーク接続を確立する(ステップS12)。
撮影モジュール50は、作業空間の撮影指示を受け付けたか否かを判断する(ステップS13)。ステップS13において、撮影モジュール50は、撮影指示を受け付けていないと判断した場合(ステップS13 NO)、撮影指示を受け付けるまで本処理を繰り返す。
一方、撮影モジュール50は、作業空間の撮影指示を受け付けたと判断した場合(ステップS13 YES)、作業空間を撮影する(ステップS14)。
共有領域指定モジュール30は、撮影画像において、画面表示の共有をする共有領域の指定を受け付ける(ステップS15)。ステップS15において、共有領域指定モジュール30は、作業者の入力に基づいて、共有領域を指定する。
図5は、共有領域指定モジュール30が指定する共有領域400を示す図である。図5において、表示モジュール31は、画面表示ウインドウ300内部に撮影画像310を表示する。共有領域指定モジュール30は、撮影画像310において、共有領域400を指定する。共有領域400は、ユーザがタップした地点を示す指示アイコン410により、撮影画像310の所定の領域を囲うことにより、指定される。なお、共有領域400は、所定の形状のアイコン等をドラッグすることにより指定しても良いし、他の方法により指定しても良い。
データ送受信モジュール21は、ステップS14において撮影した撮影画像のデータである撮影画像データを、第1の画面受信機器100及び第2の画面受信機器200に送信する(ステップS16)。
データ送受信モジュール151は、撮影画像データを受信する。表示モジュール160は、受信した撮影画像データに基づいて、撮影画像を表示する(ステップS17)。
図6は、第1の画面受信機器100が表示する撮影画像310を示す図である。図6において、表示モジュール160は、画面共有を実行する撮影画像310を、画面表示ウインドウ500内部に表示した共有領域400内に表示する。共有領域400は、画面送信機器10が指定した共有領域である。
データ送受信モジュール251は、撮影画像データを受信する。表示モジュール260は、受信した撮影画像データに基づいて、撮影画像を表示する(ステップS18)。ステップS18において、第2の画面受信機器200は、第1の画面受信機器100と同様に撮影画像を表示する。
入力受付モジュール161は、指示者から共有領域への入力操作を受け付けたか否かを判断する(ステップS19)。
ステップS19において、入力受付モジュール161は、入力操作を受け付けたと判断した場合(ステップS19 YES)、受け付けた入力内容を共有領域に表示する(ステップS20)。
図7は、入力受付モジュール161が受け付けた入力操作を示す図である。図7において、入力受付モジュール161は、指示アイコン420を操作することにより、指示線430の入力を受け付ける。表示モジュール160は、受け付けた入力に基づいて、指示線430を共有領域400内に表示する。なお、指示線430は、指示アイコン420を操作するのではなく、所定の形状のアイコン等をドラッグすることにより指定しても良いし、他の方法により指定しても良い。また、指示線430の形状は適宜変更可能である。
一方、入力受付モジュール161は、入力操作を受け付けていないと判断した場合(ステップS19 NO)、指示者からの音声入力を受け付けたか否かを判断する(ステップS21)。
ステップS21において、入力受付モジュール161は、音声入力を受け付けていないと判断した場合(ステップS21 NO)、上述したステップS19の処理を再度実行する。
入力受付モジュール161は、音声入力を受け付けたと判断した場合(ステップS21 YES)、入力された音声を、音声認識し、テキストデータへと変換する(ステップS22)。
データ送受信モジュール151は、変換したテキストデータと、受け付けた指示線のデータである指示データと、自身を識別する機器データと、現在時刻を示す時刻データとを、画面送信機器10に送信する(ステップS23)。機器データには、端末を識別する識別子や、端末のIPアドレスや、端末のMACアドレス等が含まれる。
受付モジュール261は、指示者から共有領域への入力操作を受け付けたか否かを判断する(ステップS24)。なお、ステップS24における処理は、上述したステップS19の処理と同様である。
ステップS24において、入力受付モジュール261は、入力操作を受け付けたと判断した場合(ステップS24 YES)、受け付けた入力内容を共有領域に表示する(ステップS25)。なお、ステップS25における処理は、上述したステップS20の処理と同様である。
一方、入力受付モジュール261は、入力操作を受け付けていないと判断した場合(ステップS24 NO)、指示者からの音声入力を受け付けたか否かを判断する(ステップS26)。なお、ステップS26における処理は、上述したステップS21の処理と同様である。
ステップS26において、入力受付モジュール261は、音声入力を受け付けていないと判断した場合(ステップS26 NO)、上述したステップS24の処理を再度実行する。
入力受付モジュール261は、音声入力を受け付けたと判断した場合(ステップS26 YES)、入力された音声を、音声認識し、テキストデータへと変換する(ステップS27)。なお、ステップS27における処理は、上述したステップS22の処理と同様である。
データ送受信モジュール251は、変換したテキストデータと、受け付けた指示線のデータである指示データと、自身を識別する機器データと、現在時刻を示す時刻データとを、画面送信機器10に送信する(ステップS28)。機器データには、端末を識別する識別子や、端末のIPアドレスや、端末のMACアドレス等が含まれる。なお、ステップS28における処理は、上述したステップS23の処理と同様である。
データ送受信モジュール21は、第1の画面受信機器100及び第2の画面受信機器200が送信したテキストデータと、指示データと、機器データと、時刻データとを受信する。データ対応付モジュール40は、受信したテキストデータと、共有領域に表示した撮影画像の撮影画像データと、時刻データとを対応付けて記憶する(ステップS29)。
表示方法変更モジュール33は、受信した機器データに基づいて、データ記憶モジュール41が記憶する表示方法テーブルを検索し、テキストデータの表示方法を決定する(ステップS30)。ステップS30において、表示方法変更モジュール33は、第1の画面受信機器100が送信したテキストデータの表示方法と、第2の画面受信機器100が送信したテキストデータの表示方法とを、其々決定する。
[表示方法テーブル]
図8は、データ記憶モジュール41が記憶する表示方法テーブルを示す図である。表示方法テーブルは、機器識別子と、文字の大きさと、文字の色とを対応付けたテーブルである。本実施形態において、第1の画面受信機器100は、機器データとしてAAAAが含まれており、また、第2の画面受信機器200は、機器データとしてBBBBが含まれているものとして説明する。
図8において、データ記憶モジュール41は、機器データ「AAAA」と、色「赤」と、サイズ「10pt」とを対応付けて記憶する。すなわち、表示方法変更モジュール33は、この対応付けに基づいて、第1の画面受信機器100が送信したテキストデータを後述するメッセージとして表示する際、その文字色を「赤」で表示し、その文字サイズを「10pt」として表示する。また、データ記憶モジュール41は、機器データ「BBBB」と、色「青」と、サイズ「10pt」とを対応付けて記憶する。すなわち、表示方法変更モジュール33は、この対応付けに基づいて、第2の画面受信機器200が送信したテキストデータを後述するメッセージとして表示する際、その文字色を「青」で表示し、その文字サイズを「10p」として表示する。なお、データ記憶モジュール41は、文字の色及びサイズに加え、フォントやその他の内容が対応付けられていても良い。また、機器データは、機器を識別する識別子の代わりに、機器のMACアドレスやIPアドレス等であっても良いし、他のデータであっても良い。
表示方法指定モジュール34は、表示方法の指定を受け付けたか否かを判断する(ステップS31)。ステップS31において、表示方法指定モジュール34は、表示方法の指定として、テキストデータの表示方法の指定を受け付ける。ステップS31において、表示方法指定モジュール34は、テキストデータに基づいたメッセージを、共有領域外に表示するか否かの入力を受け付けたか否かを判断する。なお、ステップS31において、音声入力受付モジュール32が、周囲の音声を集音し、所定デシベル以上であるか否かを判断し、判断した結果に基づいて、表示方法の指定を行っても良い。また、ステップS31において、表示方法指定モジュール34は、テキストデータに基づいたメッセージを、共有領域内に表示するか否かの入力を受け付けるようにしても良い。
ステップS31において、表示方法指定モジュール34は、表示方法の指定を受け付けていないと判断した場合(ステップS31 NO)、表示モジュール31は、撮影画像と、受信したテキストデータに基づいたメッセージと、を図9に示す共有画面として表示する(ステップS32)。
図9は、表示モジュール31が表示する撮影画像及びメッセージを示す共有画面である。図9において、表示モジュール31は、画面表示ウインドウ500内部に表示した共有領域400内に、撮影画像310と、テキストデータに基づいたメッセージを表示するメッセージ表示領域600とを表示する。すなわち、表示モジュール31は、メッセージを撮影画像310に重畳させて表示する。
表示モジュール31が表示するメッセージ表示領域600には、機器データに基づいて、発信者の識別子と、発信者が入力した音声をテキスト変換したメッセージと、発信者が発信した時刻とを表示する。
一方、ステップS31において、表示方法の指定を受け付けたと判断した場合(ステップS31 YES)、表示モジュール31は、撮影画像と、受信したテキストデータに基づいたメッセージとを、図10に示す共有画面として表示する(ステップS33)。
図10は、表示モジュール31が表示する撮影画像及びメッセージを示す共有画面である。図10において、表示モジュール31は、画面表示ウインドウ500内部に、共有領域400と、メッセージ表示領域610と、を別個に表示する。表示モジュール31は、共有領域400に撮影画像310を表示する。また、表示モジュール31は、メッセージ表示領域610に、テキストデータに基づいたメッセージを表示する。
表示モジュール31が表示するメッセージ表示領域600には、機器データに基づいて、発信者の識別子と、発信者が入力した音声をテキスト変換したメッセージと、発信者が発信した時刻とを表示する。
ファイル出力入力受付モジュール35は、テキストデータをファイル出力する入力を受け付けたか否かを判断する(ステップS34)。ステップS34において、ファイル出力入力受付モジュール35は、入力を受け付けていないと判断した場合(ステップS34 NO)、本処理を終了する。
ファイル出力入力受付モジュール35は、入力を受け付けたと判断した場合(ステップS34 YES)、データ記憶モジュール41は、受信したテキストデータをファイルとして出力し、記憶する(ステップS35)。ステップS35において、データ記憶モジュール41が記憶するテキストデータのファイルであるテキストファイルには、複数のテキストデータを一のファイルとして出力する。すなわち、出力されるテキストファイルは、発信者の識別子と、テキスト変換したメッセージと、発信時刻とを一のメッセージとし、複数のメッセージを時系列順に並べたデータとして一のファイルとして出力して、記憶する。
以上が、画面共有処理である。
なお、上述した実施形態において、説明した各モジュールは、必ずしも上述した実施形態の各装置が有する必要はなく、例えば、画面送信機器10又は第1の画面受信機器100と第2の画面受信機器200の何れか又は双方が、各モジュールを各々全て有していても良いし、特定のモジュールのみを有していても良い。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 画面共有システム、10 画面送信機器、100 第1の画面受信機器、200 第2の画面受信機器

Claims (6)

  1. 遠隔での作業指示を行う際に、画面共有する画面共有システムであって、
    音声入力を受け付ける音声入力受付手段と、
    入力された前記音声を音声認識でテキストデータに変換する変換手段と、
    前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更する変更手段と、
    共有領域内の画面データと、前記変したテキストデータと、を前記共有領域内に表示する表示手段と、
    を備えることを特徴とする画面共有システム。
  2. 遠隔での作業指示を行う際に、画面共有する画面共有システムであって、
    音声入力を受け付ける音声入力受付手段と、
    入力された前記音声を音声認識でテキストデータに変換する変換手段と、
    前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更する変更手段と、
    指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変したテキストデータを前記共有領域外に表示する表示手段と、
    を備えることを特徴とする画面共有システム。
  3. 前記テキストデータをファイル出力する出力手段を備えることを特徴とする請求項1又は2に記載の画面共有システム。
  4. 前記テキストデータと、前記共有領域の画面データと、を対応付ける対応付手段を備えることを特徴とする請求項1乃至3の何れか一項に記載の画面共有システム。
  5. 遠隔での作業指示を行う際に、画面共有する画面共有方法であって、
    音声入力を受け付けるステップと、
    入力された前記音声を音声認識でテキストデータに変換するステップと、
    前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更するステップと、
    指定を受け付けた前記共有領域内の画面データと、前記変したテキストデータと、を前記共有領域内に表示するステップと、
    を備えることを特徴とする画面共有方法。
  6. 遠隔での作業指示を行う際に、画面共有する画面共有方法であって、
    音声入力を受け付けるステップと、
    入力された前記音声を音声認識でテキストデータに変換するステップと、
    前記音声入力を受け付けた機器に関する機器データの内容に応じて、前記変換されたテキストデータの表示方法を変更するステップと、
    指定を受け付けた前記共有領域内に画面データを表示するとともに、前記変したテキストデータを前記共有領域外に表示するステップと、
    を備えることを特徴とする画面共有システム。
JP2015220775A 2015-11-10 2015-11-10 画面共有システム及び画面共有方法 Active JP6374854B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015220775A JP6374854B2 (ja) 2015-11-10 2015-11-10 画面共有システム及び画面共有方法
US15/049,211 US9959083B2 (en) 2015-11-10 2016-02-22 System and method for sharing screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015220775A JP6374854B2 (ja) 2015-11-10 2015-11-10 画面共有システム及び画面共有方法

Publications (2)

Publication Number Publication Date
JP2017091226A JP2017091226A (ja) 2017-05-25
JP6374854B2 true JP6374854B2 (ja) 2018-08-15

Family

ID=58668081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015220775A Active JP6374854B2 (ja) 2015-11-10 2015-11-10 画面共有システム及び画面共有方法

Country Status (2)

Country Link
US (1) US9959083B2 (ja)
JP (1) JP6374854B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808733B (zh) * 2016-03-10 2019-06-21 深圳创维-Rgb电子有限公司 显示方法及装置
WO2019049312A1 (ja) * 2017-09-08 2019-03-14 三菱電機株式会社 表示制御装置及び表示制御方法
JP7058052B2 (ja) * 2018-07-31 2022-04-21 株式会社オプティム コンピュータシステム、画面共有方法及びプログラム
KR20220139049A (ko) * 2021-04-07 2022-10-14 현대두산인프라코어(주) 건설 현장의 호출 공유 시스템 및 호출 공유 방법
JP6945905B1 (ja) * 2021-04-27 2021-10-06 株式会社クアンド 情報処理システム、情報処理方法及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816514A (ja) * 1994-07-01 1996-01-19 Hitachi Ltd 共同作業支援システム
US5844979A (en) * 1995-02-16 1998-12-01 Global Technologies, Inc. Intelligent switching system for voice and data
US5950167A (en) * 1998-01-26 1999-09-07 Lucent Technologies Inc. Screen-less remote voice or tone-controlled computer program operations via telephone set
US20060161624A1 (en) * 2001-04-13 2006-07-20 Elaine Montgomery Methods and apparatuses for dynamically sharing a portion of a display for application based screen sampling
JP4816266B2 (ja) * 2006-06-07 2011-11-16 ソニー株式会社 記録システム、記録方法
JP2011123868A (ja) * 2009-11-13 2011-06-23 Dowango:Kk コミュニケーションシステム、コミュニケーション方法およびユーザ管理サーバ
CN102934107B (zh) * 2010-02-18 2016-09-14 株式会社尼康 信息处理装置、便携式装置以及信息处理系统
JP5773733B2 (ja) * 2011-05-02 2015-09-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US8897500B2 (en) * 2011-05-05 2014-11-25 At&T Intellectual Property I, L.P. System and method for dynamic facial features for speaker recognition
EP2786376A1 (en) * 2012-11-20 2014-10-08 Unify GmbH & Co. KG Method, device, and system for audio data processing
US9286889B2 (en) * 2013-01-29 2016-03-15 International Business Machines Corporation Improving voice communication over a network
KR102063072B1 (ko) * 2013-02-01 2020-01-07 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2014229272A (ja) * 2013-05-27 2014-12-08 株式会社東芝 電子機器
JP6147098B2 (ja) * 2013-05-31 2017-06-14 株式会社Nttぷらら コメント管理装置、端末装置、コメント管理プログラム、および端末プログラム
JP2014241524A (ja) 2013-06-12 2014-12-25 株式会社リコー 通信装置、通信システム、プログラム及び通信装置の使用方法
JP2015041885A (ja) * 2013-08-22 2015-03-02 株式会社日立製作所 テレビ会議システム
JP6233798B2 (ja) * 2013-09-11 2017-11-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データを変換する装置及び方法
JPWO2015059976A1 (ja) * 2013-10-24 2017-03-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6230113B2 (ja) * 2014-01-20 2017-11-15 Kddi株式会社 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム
AU2015263042B2 (en) * 2014-05-21 2018-08-09 N.Io Innovation, Llc System and method for fully configurable real time processing
KR20150144031A (ko) * 2014-06-16 2015-12-24 삼성전자주식회사 음성 인식을 이용하는 사용자 인터페이스 제공 방법 및 사용자 인터페이스 제공 장치
KR20160026317A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 음성 녹음 방법 및 장치
CA2869245A1 (en) * 2014-10-27 2016-04-27 MYLE Electronics Corp. Mobile thought catcher system
US9582496B2 (en) * 2014-11-03 2017-02-28 International Business Machines Corporation Facilitating a meeting using graphical text analysis
KR20160055337A (ko) * 2014-11-07 2016-05-18 삼성전자주식회사 텍스트 표시 방법 및 그 전자 장치
US10397166B2 (en) * 2015-01-06 2019-08-27 International Business Machines Corporation Saving communication content to a social network environment
US10410131B2 (en) * 2015-03-26 2019-09-10 International Business Machines Corporation Reducing graphical text analysis using physiological priors
US20160344567A1 (en) * 2015-05-22 2016-11-24 Avaya Inc. Multi-channel conferencing
US11106417B2 (en) * 2015-06-23 2021-08-31 Airwatch, Llc Collaboration systems with managed screen sharing
US10554728B2 (en) * 2015-10-22 2020-02-04 Ricoh Company, Ltd. Approach for sharing electronic documents during electronic meetings

Also Published As

Publication number Publication date
US9959083B2 (en) 2018-05-01
JP2017091226A (ja) 2017-05-25
US20170131961A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
JP6374854B2 (ja) 画面共有システム及び画面共有方法
US9648153B2 (en) Method and device for incoming call notification
US9830128B2 (en) Voice control device, voice control method and program
JP5688061B2 (ja) 携帯端末内でメッセージを管理するための装置及び方法、並びに電子装置
KR20110051351A (ko) 휴대 단말기의 원격 제어 방법 및 이를 위한 시스템
CN114371824B (zh) 一种音频处理方法、系统及相关装置
JP6463545B1 (ja) 情報処理装置、コンピュータプログラムおよび情報処理方法
JP2018186366A (ja) 会議システム
JP6093967B2 (ja) 発呼システム、制御装置、プログラム及び発呼方法
CN116419196A (zh) 数据传输方法、装置、设备及计算机可读存储介质
JP2008010935A (ja) 移動無線端末装置
US10432894B2 (en) Communication system, communication method, and program
JP5972302B2 (ja) オペレータ端末、携帯端末、指示送信方法、オペレータ端末用プログラム
JP6391219B2 (ja) システム
KR20060131478A (ko) 휴대단말기에서 외부장치의 리소스 제어방법
JP2013073309A (ja) 画像注目領域抽出方法、並びに当該方法を実現する電子機器、システム、及びプログラム
JP2005277884A (ja) 通信端末装置
JP2015015623A (ja) テレビ電話機、及び、プログラム
JP4557812B2 (ja) テレビ電話装置
JP2011114453A (ja) 録音情報伝達システム、録音情報伝達方法及び録音情報管理装置
JP5815650B2 (ja) 遠隔ファイルアクセス端末、ストレージ端末、遠隔ファイルアクセス方法、遠隔ファイルアクセス端末用プログラム
KR101328923B1 (ko) 통신 단말기의 무선 통신 연결시 사용자 정보 제공 방법
JP2020030788A (ja) 情報処理装置、コンピュータプログラムおよび情報処理方法
WO2016194726A1 (ja) コンピュータプログラム、発呼システム及び発呼方法
JP2018170664A (ja) 情報処理装置、及びプログラム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170613

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170619

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180720

R150 Certificate of patent or registration of utility model

Ref document number: 6374854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250