JP7058052B2 - コンピュータシステム、画面共有方法及びプログラム - Google Patents

Description

本発明は、画面共有を行って遠隔から指示を受けるコンピュータシステム、画面共有方法及びプログラムに関する。

近年、作業現場や工事現場等における現場作業員に対して、ウェアラブル端末や携帯端末等の端末装置を利用して、遠隔から様々な指示を行うことが行われている。このような指示の方法として、例えば、現場作業員が作業対象をカメラ等の撮影装置により撮影し、撮影した画像を、指示者が所持する指示者端末と、現場作業員が所持する被指示者端末とで画面共有し、指示者が被指示者に対して指示を行うことが行われている。

しかしながら、近年グローバルな環境や外国人労働者の増加に伴って、このような遠隔での指示において、指示者と被指示者とが使用する言語が異なっている場合が増加してきている。このような状況において、指示者が被指示者に適切な指示を行う構成として、指示者が使用する言語を翻訳し、翻訳後の指示内容を被指示者端末に表示することが開示されている（特許文献１参照）。

特開２００９－２８９１９７号公報

しかしながら、特許文献１の構成では、翻訳した結果の言語が、被指示者にとって必ずしも適切な言語でないおそれがあったため、指示内容を適切に伝達することができないおそれがあった。

本発明は、より容易に指示内容を適切に伝達することが容易なコンピュータシステム、画面共有方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

本発明は、画面共有を行って遠隔から指示を受けるコンピュータシステムであって、
予め登録されたデータベースから被指示者が使用する言語を抽出する抽出手段と、
指示者からテキスト又は音声のメッセージを取得する取得手段と、
所定のキーワードと複数の言葉とを対応付けて記憶する記憶手段と、
前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力する代替メッセージ出力手段と、
前記代替メッセージに対する選択を、前記指示者から受け付ける選択受付手段と、
前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成する翻訳データ生成手段と、
生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する翻訳データ出力手段と、
を備えることを特徴とするコンピュータシステムを提供する。

本発明によれば、画面共有を行って遠隔から指示を受けるコンピュータシステムは、 予め登録されたデータベースから被指示者が使用する言語を抽出する抽出手段と、指示者からテキスト又は音声のメッセージを取得し、所定のキーワードと複数の言葉とを対応付けて記憶し、前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力し、前記代替メッセージに対する選択を、前記指示者から受け付け、前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成し、生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する。

本発明は、コンピュータシステムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

本発明によれば、より容易に指示内容を適切に伝達することが容易なコンピュータシステム、画面共有方法及びプログラムを提供することが可能となる。

図１は、画面共有システム１の概要を示す図である。 図２は、画面共有システム１の全体構成図である。 図３は、指示者端末１００、被指示者端末２００が実行するメッセージ出力処理を示すフローチャートである。 図４は、指示者端末１００、被指示者端末２００が実行する代替メッセージ出力処理を示すフローチャートである。 図５は、使用言語データベースの一例を示す図である。 図６は、指示者端末１００と被指示者端末２００とがメッセージを出力した状態の一例を模式的に示した図である。 図７は、指示者端末１００が出力する代替メッセージの一例を示す図である。 図８は、指示者端末１００と被指示者端末２００とがメッセージを出力した状態の一例を模式的に示した図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれらに限られるものではない。

［画面共有システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である画面共有システム１の概要を説明するための図である。画面共有システム１は、指示者端末１００と被指示者端末２００とから構成され、画面共有を行って遠隔から指示を受けるコンピュータシステムである。

なお、画面共有システム１は、指示者端末１００と被指示者端末２００とに加え、コンピュータ等の他の装置や端末が含まれていてもよい。

指示者端末１００と被指示者端末２００とは、公衆回線網等を介してデータ通信可能に接続されており、其々に設定された共有領域に表示した画像やオブジェクト等の共有対象を画面共有する。

指示者端末１００は、現場作業員等の被指示者に遠隔から作業内容を指示する指示者が所持する端末である。指示者端末１００は、被指示者とこの被指示者が使用する言語とを対応付けて登録した使用言語データベースを予め記憶している。指示者端末１００は、指示者が指示した作業内容（テキストや音声によるメッセージ）を、被指示者の使用する言語に翻訳した翻訳データを生成し、被指示者端末２００にこの翻訳データ出力する。

また、指示者端末１００は、上述した構成に加え、作業内容を、同じニュアンスであり、かつ、被指示者が使用する言語に翻訳しやすい代替メッセージを複数出力する。指示者端末１００は、出力した複数の代替メッセージの何れかを選択する入力を受け付け、受け付けた代替メッセージを、被指示者の使用する言語に翻訳した翻訳データを生成し、被指示者端末２００に出力する。

被指示者端末２００は、この指示者端末１００が出力した翻訳データを取得し、この翻訳データに基づいたメッセージを出力する。被指示者端末２００は、このメッセージを出力することにより、指示者が指示した作業内容を被指示者に対して表示する。

画面共有システム１が実行する処理の概要について説明する。

はじめに、指示者端末１００と被指示者端末２００とは、画面共有を実行する（ステップＳ０１）。このとき、指示者端末１００は、今回、画面共有を実行した被指示者端末２００の所持者を、被指示者として特定する。この特定内容としては、例えば、被指示者端末２００に対応付けられた被指示者の識別子（名称、ＩＤ等）を特定する。指示者端末１００と被指示端末２００とは、互いに予め設定された共有領域に表示した画像やオブジェクト等の共有対象を画面共有する。

指示者端末１００は、予め登録された使用言語データベースから被指示者が使用する言語を抽出する（ステップＳ０２）。指示者端末１００は、特定した被指示者の識別子に対応付けられたこの被指示者が使用する言語を、データベースから抽出する。

指示者端末１００は、指示者からテキスト又は音声のメッセージを取得する（ステップＳ０３）。指示者端末１００は、指示者からタッチパネルやキーボード等の入力部へのテキスト入力又はマイク等の入力部への音声入力を受け付けることにより、作業内容の指示を、メッセージとして受け付けることにより、指示者からの指示をメッセージとして取得する。

指示者端末１００は、取得したメッセージを、抽出した被使用者が使用する言語に翻訳した翻訳データを生成する（ステップＳ０４）。指示者端末１００は、ルール翻訳や統計翻訳やディープニュートラルネットによる翻訳等の翻訳により、取得したメッセージを、被指示者が使用する言語に翻訳する。指示者端末１００は、この翻訳したメッセージを、翻訳データとして生成する。

指示者端末１００は、生成した翻訳データを、被指示者端末２００に出力する（ステップＳ０５）。指示者端末１００は、画面共有を実行する被指示者端末２００に、この翻訳データを送信することにより、出力する。

被指示者端末２００は、翻訳データを取得する。被指示者端末２００は、この取得した翻訳データに基づいて、指示者が入力したメッセージを被指示者が使用する言語に翻訳したものを出力する（ステップＳ０６）。被指示者端末２００は、共有領域の内部又は共有領域の外部に、このメッセージを出力することにより、指示者からの作業内容の指示を、被指示者に通知する。

以上が、画面共有システム１の概要である。

［画面共有システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である画面共有システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である画面共有システム１のシステム構成を示す図である。図２において、画面共有システム１は、指示者端末１００及び被指示者端末２００から構成され、画面共有を行って遠隔から指示を受けるコンピュータシステムである。指示者端末１００と被指示者端末２００とは、公衆回線網（インターネット網や、第３、第４世代通信網等）を介して、データ通信可能に接続されている。

なお、画面共有システム１は、上述した通り、コンピュータ等の他の端末や装置等が含まれていてもよい。

指示者端末１００は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部として、被指示者端末２００と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、指示者端末１００は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、指示者端末１００は、処理部として、各種処理を実行する各種デバイス等を備える。

指示者端末１００において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、翻訳データ出力モジュール１１０を実現する。また、指示者端末１００において、制御部が所定のプログラムを読み込むことにより、記憶部と協働して、記憶モジュール１２０を実現する。また、指示者端末１００において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、被指示者特定モジュール１３０、言語抽出モジュール１３１、メッセージ取得モジュール１３２、メッセージ解析モジュール１３３、翻訳データ生成モジュール１３４、代替メッセージ出力モジュール１３５、選択受付モジュール１３６を実現する。

被指示者端末２００は、指示者端末１００と同様に、制御部として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部として、指示者端末１００と通信可能にするためのデバイスを備え、処理部として、各種処理を実行する各種デバイス等を備える。

被指示者端末２００において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、翻訳データ取得モジュール２１０を実現する。また、被指示者端末２００において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、メッセージ出力モジュール２３０を実現する。

［メッセージ出力処理］
図３に基づいて、画面共有システム１が実行するメッセージ出力処理について説明する。図３は、指示者端末１００、被指示者端末２００が実行するメッセージ出力処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

はじめに、指示者端末１００と被指示者端末２００とは、画面共有を実行する（ステップＳ１０）。ステップＳ１０において、指示者端末１００に予め設定された画面を共有する領域である共有領域と、被指示者端末２００に予め設定された共有領域とにおいて、一方の共有領域に表示した画像やオブジェクト等の共有対象を他方の共有領域に表示する。

このとき、被指示者端末２００は、自身に設けられたカメラ等の撮影装置により作業現場の動画や静止画等の画像を撮影し、この撮影した画像を共有領域に表示する。指示者端末１００は、この画像を共有対象として画面共有する。指示者は、この画像を閲覧しつつ、被指示者に対して遠隔から指示を出す。

ステップＳ１０で行われる画面共有それ自体は、一般的な画面共有と同様のものであるため、その詳細な説明は省略する。

被指示者特定モジュール１３０は、被指示者を特定する（ステップＳ１１）。ステップＳ１１において、被指示者特定モジュール１３０は、画面共有を行った被指示者端末２００の識別子（電話番号、ＩＰアドレス、ＭＡＣアドレス、各種ＩＤ等の対象を一意に特定可能な情報）に基づいて、被指示者を特定する。被指示者特定モジュール１３０は、この被指示者端末２００の識別子に予め対応付けられた被指示者の識別子（名称、識別番号、各種ＩＤ等の対象を一意に特定可能な情報）を特定する。被指示者特定モジュール１３０は、被指示者の識別子を特定することにより、被指示者を特定する。

言語抽出モジュール１３１は、予め登録された使用言語データベースから、被指示者が使用する言語を抽出する（ステップＳ１２）。ステップＳ１２において、言語抽出モジュール１３１は、予め被指示者の名称と識別子と使用言語とを対応付けて登録した使用言語データベースを参照することにより、今回の被指示者が使用する言語を抽出する。このとき、言語抽出モジュール１３１は、特定した被指示者の識別子に対応付けられた使用言語を抽出することにより、被指示者が使用する言語を抽出する。

［使用言語データベース］
図５に基づいて、使用言語データベースについて説明する。図５は、記憶モジュール１２０が記憶する使用言語データベースの一例を示す図である。使用言語データベースは、予め、被指示者の名称と、この被指示者の識別子と、この被指示者が使用する言語とを対応付けて登録したものである。記憶モジュール１２０は、予めこの使用言語データベースを記憶しておく。本例では、名称が、「被指示者Ａ」には、識別子「０００１」と使用言語「英語」とが対応付けて登録されている。その他の被指示者にとっても同様に、識別子と、使用言語とが対応付けて登録されている。

ステップＳ１２において、言語抽出モジュール１３１が被指示者の使用言語を抽出する処理について、図５に基づいて説明する。上述した処理において、被指示者特定モジュール１３０は、今回の被指示者を特定する際、画面共有を行っている被指示者端末２００の識別子に対応付けられた被指示者の識別子を特定する。このとき、被指示者特定モジュール１３０は、特定した被指示者の識別子が、「被指示者Ａ」及び「０００１」であるとする。言語抽出モジュール１３１は、この使用言語データベースを参照し、この特定した被指示者の識別子に対応付けられた使用言語を抽出する。このとき、言語抽出モジュール１３１は、特定した被指示者の識別子である「被指示者Ａ」及び「０００１」に対応付けられた使用言語である「英語」を抽出する。この時抽出した被指示者の使用言語を、後述する処理において活用する。

なお、上述した例では、使用言語を使用言語データベースに登録しているが、使用言語の代わりに、国籍を登録していてもよい。この場合、この国籍にさらに公用語を対応付けて登録しておき、被指示者が使用する言語として、この公用語を抽出すればよい。

このようにすることにより、指示者端末１００は、被指示者が使用する言語を抽出する。予め被指示者と使用言語とを対応付けた使用言語データベースを用いることにより、指示者や被指示者が遠隔での指示を受ける際に、翻訳する言語を選択する必要がなくなり、作業効率を向上させることも可能となる。また、翻訳する言語を選択する必要がなくなり、より容易に指示内容を適切に伝達することが可能となる。

メッセージ取得モジュール１３２は、指示者からテキスト又は音声のメッセージを取得する（ステップＳ１３）。ステップＳ１３において、メッセージ取得モジュール１３２は、指示者からタッチパネルやキーボード等の入力部へのテキスト入力又はマイク等の集音装置等の入力部への音声入力を受け付けることにより、指示者からテキスト又は音声の入力を受け付ける。メッセージ取得モジュール１３２は、このように受け付けたテキスト又は音声を、メッセージとして取得する。

ステップＳ１３の処理について、一例に基づいて説明する。メッセージ取得モジュール１３２は、例えば、指示者がメッセージとして、入力部に入力した「もうちょっと近づいてくれる？」とのテキストの入力を受け付けることにより、この「もうちょっと近づいてくれる？」をメッセージとして取得する。また、メッセージ取得モジュール１３２は、例えば、指示者がメッセージとして、集音装置に発話した「もうちょっと近づいてくれる？」との音声の入力を受け付けることにより、この「もうちょっと近づいてくれる？」をメッセージとして取得する。

このとき、メッセージ取得モジュール１３２は、取得したメッセージがテキストである場合、取得したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ取得モジュール１３２は、メッセージを取得した時点では、共有領域内部又は共有領域外部に表示せずに、後述するメッセージを翻訳する処理が完了した時点で、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、取得したメッセージが音声である場合、取得したメッセージを、スピーカ等の放音装置から出力する構成であってもよい。また、メッセージ取得モジュール１３２は、メッセージを取得した時点では、放音装置から出力せずに、後述するメッセージを翻訳する処理が完了した時点で、放音装置から出力する構成であってもよい。また、取得したメッセージが音声である場合であっても、後述するテキスト認識した結果のテキストを、上述した取得したメッセージがテキストである場合と同様のタイミングで表示する構成であってもよい。

メッセージ解析モジュール１３３は、取得したメッセージを解析する（ステップＳ１４）。ステップＳ１４において、メッセージ解析モジュール１３３は、取得したメッセージがテキストであるか音声であるかを解析する。メッセージ解析モジュール１３３は、
メッセージがテキストである場合、後述するステップＳ１５の処理を実行する。メッセージ解析モジュール１３３は、取得したメッセージが音声である場合、音声解析を実行する。メッセージ解析モジュール１３３は、音声解析の結果として、取得した音声を、テキスト認識し、認識したテキストに基づいて、後述する処理を実行する。

翻訳データ生成モジュール１３４は、取得したメッセージを抽出した被指示者が使用する言語に翻訳した翻訳データを生成する（ステップＳ１５）。ステップＳ１５において、翻訳データ生成モジュール１３４は、取得したメッセージがテキストである場合、このテキストを翻訳する。また、翻訳データ生成モジュール１３４は、取得したメッセージが音声である場合、音声解析の結果、認識したテキストを翻訳する。翻訳データ生成モジュール１３４は、この翻訳において、ルール翻訳、統計翻訳又はディープニュートラルネットによる翻訳等の翻訳により、メッセージを翻訳する。翻訳データ生成モジュール１３４は、この翻訳した結果を、翻訳データとして生成する。

翻訳データ生成モジュール１３４が実行する翻訳について、上述した例に基づいて説明する。翻訳データ生成モジュール１３４は、今回の被指示者の使用言語が英語であることから、取得したメッセージである「もうちょっと近づいてくれる？」を英語に翻訳する。その結果、翻訳データ生成モジュール１３４は、このメッセージの英訳である「Ｃａｎ ｙｏｕ ｃｏｍｅ ａ ｃｌｏｓｅｒ？」を翻訳データとして生成する。

翻訳データ出力モジュール１１０は、生成した翻訳データを、被指示者端末２００に出力する（ステップＳ１６）。

翻訳データ取得モジュール２１０は、指示者端末１００が出力した翻訳データを取得する。

メッセージ出力モジュール２３０は、取得した翻訳データに基づいて、指示者が入力したメッセージを被指示者が使用する言語に翻訳した翻訳後メッセージを出力する（ステップＳ１７）。ステップＳ１７において、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキストである場合、メッセージとして入力されたテキストを翻訳したものをテキスト又は音声として出力する。メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージが音声である場合、メッセージとして入力された音声をテキスト認識した結果のテキストを翻訳したものをテキスト又は音声として出力する。

このとき、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキストである場合、翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージが音声である場合、翻訳したメッセージを、放音装置から出力する構成であってもよい。また、放音装置から出力する構成であってもよい。また、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキスト又は音声のいずれであっても、翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方にテキストとして表示するとともに、放音装置から出力する構成であってもよい。

図６に基づいて、指示者端末１００と被指示者端末２００とがメッセージを出力した状態を説明する。図６は、指示者端末１００と被指示者端末２００とがメッセージを出力した状態の一例を模式的に示した図である。図６において、指示者端末１００と、被指示者端末２００の其々の共有領域を模式的に示している。このとき、指示者端末１００が取得したメッセージはテキストであるものとして説明する。また、メッセージは、上述した「もうちょっと近づいてくれる？」であるものとして説明する。また、被指示者は、上述した「被指示者Ａ」であり、この被指示者Ａが使用する言語は「英語」であるものとして説明する。なお、図６において、画像やオブジェクト等の共有対象についての記載は省略している。

メッセージ取得モジュール１３２は、取得したメッセージ３００である「もうちょっと近づいてくれる？」を共有領域内に表示する。メッセージ出力モジュール２３０は、この取得したメッセージ３００を英語に翻訳した翻訳後メッセージ３１０である「Ｃａｎ ｙｏｕ ｃｏｍｅ ａ ｃｌｏｓｅｒ？」」を共有領域内に表示する。このとき、取得したメッセージ３００が音声である場合、メッセージ取得モジュール１３２は、取得したメッセージ３００を音声又はテキストとして出力し、メッセージ出力モジュール２３０は、この取得したメッセージ３００を英語に翻訳した翻訳後メッセージ３１０を音声又はテキストとして出力する。

なお、メッセージ取得モジュール１３２は、取得したメッセージ３００がテキスト又は音声のいずれの場合であっても、このメッセージ３００を、共有領域内に表示するとともに、音声として出力し、メッセージ出力モジュール２３０は、翻訳後メッセージ３１０を共有領域内に表示するとともに、音声として出力してもよい。

また、メッセージ３００及び翻訳後メッセージ３１０の表示場所は、共有領域内であれば適宜変更可能である。また、メッセージ３００及び翻訳後メッセージ３１０の表示場所は、共有領域内に限らず、共有領域外であってもよい。

このようにすることにより、指示者からの作業内容の指示を被指示者に通知する。

以上が、メッセージ出力処理である。

［代替メッセージ出力処理］
図４に基づいて、画面共有システム１が実行する代替メッセージ出力処理について説明する。図４は、指示者端末１００、被指示者端末２００が実行する代替メッセージ出力処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。なお、上述したメッセージ出力処理と同様の処理については、その詳細な説明は省略する。

はじめに、指示者端末１００と被指示者端末２００とは、画面共有を実行する（ステップＳ２０）。ステップＳ２０の処理は、上述したステップＳ１０の処理と同様である。

被指示者特定モジュール１３０は、被指示者を特定する（ステップＳ２１）。ステップＳ２１の処理は、上述したステップＳ１１の処理と同様である。

言語抽出モジュール１３１は、予め登録された使用言語データベースから、被指示者が使用する言語を抽出する（ステップＳ２２）。ステップＳ２２の処理は、上述したステップＳ１２の処理と同様である。

メッセージ取得モジュール１３２は、指示者からテキスト又は音声のメッセージを取得する（ステップＳ２３）。ステップＳ２３の処理は、上述したステップＳ１３の処理と同様である。

メッセージ解析モジュール１３３は、取得したメッセージを解析する（ステップＳ２４）。ステップＳ２４の処理は、上述したステップＳ１４の処理と同様である。

メッセージ解析モジュール１３３は、メッセージが翻訳に適したものであるか否かを判断する（ステップＳ２５）。ステップＳ２５において、メッセージ解析モジュール１３３は、メッセージを解析した結果、テキストとして入力されたメッセージに誤字や脱字が含まれているか否か、テキスト又は音声により入力されたメッセージが複数の意味にとれるか否か、テキスト又は音声として入力されたメッセージが不明瞭（例えば、方言が含まれている、環境音によりはっきりとしてない、口語により意味が不鮮明）か否かを判断する。すなわち、メッセージ解析モジュール１３３は、取得したメッセージが、翻訳先の言語に一意に変換可能なメッセージであるか否かを判断する。特に、メッセージが音声である場合、口述により入力が行われることから、複数の意味が含まれている場合や方言による違いが含まれている場合があることから有効となる。

メッセージ解析モジュール１３３は、メッセージが翻訳に適したものであると判断した場合（ステップＳ２５ ＹＥＳ）、指示者端末１００及び被指示者端末２００は、上述したメッセージ出力処理でのステップＳ１５以降の処理を実行する。本処理においては、説明の簡略化のために、処理を終了するものとして説明する。

メッセージ解析モジュール１３３は、メッセージが翻訳に適したものでないと判断した場合（ステップＳ２５ ＮＯ）、代替メッセージ出力モジュール１３５は、取得したメッセージと同様のニュアンスであって、被指示者が使用する言語に翻訳しやすい代替メッセージを生成する（ステップＳ２６）。ステップＳ２６において、同様のニュアンスとは、類似したメッセージではあるものの、翻訳後の意味が異なるものを意味する。すなわち、取得したメッセージを核として、内容やメッセージの文言等を補完したものを代替メッセージとして生成する。

記憶モジュール１２０は、現場においてよく使われる言葉（戻って、片付けて、先に進んで等）をキーワードとして予め記憶させておき、このキーワードにさらに複数の言葉（工程を進める、作業者が進む等）を対応付けて記憶する。メッセージ解析モジュール１３３は、今回取得したメッセージに、このキーワードが含まれている場合、代替メッセージ出力モジュール１３５は、このキーワードに対応付けられた言葉を、取得したメッセージに補完したテキストを生成する。また、代替メッセージ出力モジュール１３５は、今回取得したメッセージに、このキーワードが含まれていない場合、一般的な言葉を、取得したメッセージに補完したテキストを生成する。

具体的な説明として、取得したメッセージが「ちょっと戻って」である場合について説明する。メッセージ解析モジュール１３３は、この「ちょっと戻って」をメッセージとして取得した場合、このメッセージに「戻って」という予め記憶したキーワードが含まれていることを解析する。代替メッセージ出力モジュール１３５は、この「戻って」というキーワードに対応付けられた「工程を進める」、「作業者が進む」を取得したメッセージに補完し、補完後のメッセージとして、「少し前の位置に戻ってくれませんか？」と、「少し前の工程に戻ってくれませんか？」とを、代替メッセージとして生成する。

なお、記憶モジュール１２０は、現場においてよく使われる言葉だけでなく、指示者の方言をキーワードとして予め記憶させて、このキーワードに共通語を対応付けて記憶していてもよい。すなわち、メッセージ解析モジュール１３３は、今回取得したメッセージに、この方言が含まれている場合、代替メッセージ出力モジュール１３５は、この方言に対応付けられた言葉を、取得したメッセージに補完したテキストを代替メッセージとして生成してもよい。

代替メッセージ出力モジュール１３５は、生成した代替メッセージを出力する（ステップＳ２７）。ステップＳ２７において、代替メッセージ出力モジュール１３５は、自身の表示部に取得したメッセージ、生成した代替メッセージを出力する。

選択受付モジュール１３６は、出力した代替メッセージに対する指示者からの選択入力を受け付ける（ステップＳ２８）。ステップＳ２８において、選択受付モジュール１３６は、指示者からのタッチ操作や音声入力やジェスチャー入力等の選択操作を受け付けることにより、指示者の意図に合った代替メッセージへの選択入力を受け付ける。

図７に基づいて、代替メッセージ出力モジュール１３５が出力する代替メッセージについて説明する。図７は、代替メッセージ出力モジュール１３５が出力する代替メッセージの一例を示す図である。代替メッセージ出力モジュール１３５は、表示部に、取得したメッセージ４００、生成した代替メッセージ４１０，４２０、説明テキスト４３０を、出力する。取得したメッセージ４００は、指示者から取得したメッセージである「ちょっと戻って」である。代替メッセージ４１０は、取得したメッセージの補完後の代替メッセージの一つである「Ａ：少し前の位置に戻ってくれませんか？」である。また、代替メッセージ４２０は、取得したメッセージの補完後の代替メッセージの一つである「Ｂ：少し前の工程に戻ってくれませんか？」である。説明テキスト４３０は、指示者に代替メッセージの選択を促す説明文である「どちらの意味ですか？選択してください。」である。

指示者は、この代替メッセージ出力モジュール１３５が出力した代替メッセージ４１０，４２０の何れかを選択することにより、当人の意図に近いメッセージを選択することが可能となる。このとき、選択受付モジュール１３６により選択を受け付けた代替メッセージ４２０は、強調表示される。後述の処理において、画面共有時に指示者端末１００に表示されるメッセージは、この選択された代替メッセージである。

なお、指示者は、代替メッセージ出力モジュール１３５が出力した代替メッセージが、当人の意図と異なっている場合、選択受付モジュール１３６は、その旨の入力を受け付ける。このとき、代替メッセージ出力モジュール１３５は、再度メッセージを取得するために指示者に対してメッセージの再入力を促す通知を表示する。代替メッセージ出力モジュール１３５は、メッセージ再入力を促す際、より具体的な指示内容をメッセージとして入力することや、より簡潔な指示内容をメッセージとして入力すること等を促す通知を併せて表示する。また、選択を受け付けた代替メッセージは、必ずしも強調表示される必要はない。

翻訳データ生成モジュール１３４は、選択を受け付けた代替メッセージを、抽出した被指示者が使用する言語に翻訳した翻訳データを生成する（ステップＳ２９）。ステップＳ２９の処理は、上述したステップＳ１５の処理と同様である。本処理において、翻訳データ生成モジュール１３４は、選択を受け付けた代替メッセージが、「少し前の工程に戻ってくれませんか？」であることから、この代替メッセージを、英語に翻訳した「Ｗｉｌｌ ｙｏｕ ｃｏｍｅ ｂａｃｋ ｔｏ ｔｈｅ ｐｒｏｃｅｓｓ ａ ｌｉｔｔｌｅ ｂｅｆｏｒｅ？」を翻訳データとして生成する。

翻訳データ出力モジュール１１０は、生成した翻訳データを、被指示者端末２００に出力する（ステップＳ３０）。

翻訳データ取得モジュール２１０は、指示者端末１００が出力した翻訳データを取得する。

メッセージ出力モジュール２３０は、取得した翻訳データに基づいて、指示者が入力したメッセージの代替メッセージを被指示者が使用する言語に翻訳した翻訳後メッセージを出力する（ステップＳ３１）。ステップＳ３１において、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキストである場合、入力されたメッセージに基づいた代替メッセージのテキストを翻訳したものをテキスト又は音声として出力する。メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージが音声である場合、メッセージとして入力された音声をテキスト認識した結果のテキストに基づいた代替メッセージのテキストを翻訳したものをテキスト又は音声として出力する。

このとき、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキストである場合、このメッセージに基づいた代替メッセージを翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージが音声である場合、このメッセージに基づいた代替メッセージを翻訳したメッセージを、放音装置から出力する構成であってもよい。また、メッセージ出力モジュール２３０は、指示者端末１００が取得したメッセージがテキスト又は音声のいずれであっても、このメッセージに基づいた代替メッセージを翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方にテキストとして表示するとともに、放音装置から出力する構成であってもよい。

図８に基づいて、指示者端末１００と被指示者端末２００とがメッセージを出力した状態を説明する。図８は、指示者端末１００と被指示者端末２００とがメッセージを出力した状態の一例を模式的に示した図である。図８において、指示者端末１００と、被指示者端末２００の其々の共有領域を模式的に示している。このとき、指示者端末１００が取得したメッセージはテキストであるものとして説明する。また、メッセージは、上述した「ちょっと戻って」であるものとして説明する。また、被指示者は、上述した「被指示者Ａ」であり、この被指示者Ａが使用する言語は「英語」であるものとして説明する。なお、図８において、画像やオブジェクト等の共有対象についての記載は省略している。

代替メッセージ出力モジュール１３５は、取得したメッセージの代替メッセージ５００である「少し前の工程に戻ってくれませんか？」を共有領域内に表示する。メッセージ出力モジュール２３０は、代替メッセージ５００を英語に翻訳した翻訳後メッセージ５１０である「Ｗｉｌｌ ｙｏｕ ｃｏｍｅ ｂａｃｋ ｔｏ ｔｈｅ ｐｒｏｃｅｓｓ ａ ｌｉｔｔｌｅ ｂｅｆｏｒｅ？」」を共有領域内に表示する。このとき、取得したメッセージが音声である場合、メッセージ取得モジュール１３２は、取得したメッセージの代替メッセージ５００を音声又はテキストとして出力し、メッセージ出力モジュール２３０は、この取得したメッセージの代替メッセージ５００を英語に翻訳した翻訳後メッセージ５１０を音声又はテキストとして出力する。

なお、メッセージ取得モジュール１３２は、取得したメッセージがテキスト又は音声のいずれの場合であっても、この代替メッセージ５００を、共有領域内に表示するとともに、音声として出力し、メッセージ出力モジュール２３０は、翻訳後メッセージ５１０を共有領域内に表示するとともに、音声として出力してもよい。

また、代替メッセージ５００及び翻訳後メッセージ５１０の表示場所は、共有領域内であれば適宜変更可能である。また、代替メッセージ５００及び翻訳後メッセージ５１０の表示場所は、共有領域内に限らず、共有領域外であってもよい。

このようにすることにより、指示者からの作業内容の指示を被指示者に通知する。

以上が、代替メッセージ出力処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 画面共有システム、１００ 指示者端末、２００ 被指示者端末

Claims (3)

1. 画面共有を行って遠隔から指示を受けるコンピュータシステムであって、
   予め登録されたデータベースから被指示者が使用する言語を抽出する抽出手段と、
   指示者からテキスト又は音声のメッセージを取得する取得手段と、
   所定のキーワードと複数の言葉とを対応付けて記憶する記憶手段と、
   前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力する代替メッセージ出力手段と、
   前記代替メッセージに対する選択を、前記指示者から受け付ける選択受付手段と、
   前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成する翻訳データ生成手段と、
   生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する翻訳データ出力手段と、
   を備えることを特徴とするコンピュータシステム。
2. 画面共有を行って遠隔から指示を受けるコンピュータシステムが実行する画面共有方法であって、
   予め登録されたデータベースから被指示者が使用する言語を抽出するステップと、
   指示者からテキスト又は音声のメッセージを取得するステップと、
   所定のキーワードと複数の言葉とを対応付けて記憶するステップと、
   前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力するステップと、
   前記代替メッセージに対する選択を、前記指示者から受け付けるステップと、
   前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成するステップと、
   生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力するステップと、
   を備えることを特徴とする画面共有方法。
3. 画面共有を行って遠隔から指示を受けるコンピュータシステムに、
   予め登録されたデータベースから被指示者が使用する言語を抽出するステップ、
   指示者からテキスト又は音声のメッセージを取得するステップ、
   所定のキーワードと複数の言葉とを対応付けて記憶するステップ、
   前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力するステップ、
   前記代替メッセージに対する選択を、前記指示者から受け付けるステップ、
   前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成するステップ、
   生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images