WO2023238260A1

WO2023238260A1 - 操作支援システム、操作支援装置、操作支援方法及び操作支援プログラム

Info

Publication number: WO2023238260A1
Application number: PCT/JP2022/023024
Authority: WO
Inventors: 秀明田中; 泰輔若杉; 将志田所
Original assignee: 日本電信電話株式会社
Priority date: 2022-06-07
Filing date: 2022-06-07
Publication date: 2023-12-14

Abstract

操作支援システム（１）は、作業端末（２０）及び外部端末（１０）を有する。作業端末（２０）は、画像（２１０）に含まれる所定情報をマスキング部品（２１１）によりマスクし、マスクした画像を所定情報に関連するＩＤマーカ（２１２）とともに画面に表示させる表示制御部（２０２）を備える。外部端末（１０）は、作業端末（２０）の画面に表示された画像（２１０）上のＩＤマーカ（２１２）を読み取るＩＤ特定部（１０４）と、ＩＤ特定部（１０４）により読み取られたＩＤマーカ（２１２）から所定情報に関連する情報を抽出する復号部（１０５）と、復号部（１０５）により抽出された所定情報に関連する情報を音声再生する音声再生制御部（１０６）とを備える。

Description

操作支援システム、操作支援装置、操作支援方法及び操作支援プログラム

　本発明は、操作支援システム、操作支援装置、操作支援方法及び操作支援プログラムに関する。

　従来、ユーザの操作を制限したり、支援したりするために、ユーザの操作に適したＧＵＩ（Graphical　User　Interface）を備えるアプリケーションが提供されている。ただし、アプリケーションを使用するユーザは多数存在し、各人の操作方法は様々である。また、それぞれの操作方法は好みの変化などにより時間の経過とともに変化する場合もある。そこで、このようなユーザ毎の違いや経年による変化に対応するために、アプリケーションのＧＵＩを変化させることが好ましい。

　ただし、アプリケーション自体の改修には、多額の費用や膨大な時間が必要な場合もある。特に、上記のアプリケーションが業務アプリケーションである場合、改修に要する費用や時間は膨大になる可能性が高い。そこで、アプリケーション自体の改修は行わずに、Ｗｅｂ画面上にテキスト入力ボックスや、入力チェックなど機能拡張をオーバレイすることでオペレータの生産性向上を実現するＵＩ拡張技術が提案されている。

特開２０１７－０７２８７２号公報

　しかしながら、個人情報保護や社内秘情報などの観点から、画面に表示されるＧＵＩに秘匿すべき情報が含まれる場合があり、端末が運用される環境によっては、そのような秘匿情報のモニタへの表示が好ましくないケースがある。例えば、ＧＵＩが表示された画面を提示しながら顧客と商談をする場合に、一般的に顧客には開示されない最低顧客契約額のモニタへの表示は控えた方がよい。その場合、例えば、顧客が閲覧不可能な環境で秘匿情報を調査するなど、別手段を用いて隠蔽対象である秘匿情報の内容を確認するといった余分な作業が発生するため、ユーザの作業効率の低下を招くおそれがある。

　本発明は、上記に鑑みてなされたものであって、ＧＵＩを有するアプリケーションを用いた作業の作業効率を向上させることを目的とする。

　上述した課題を解決し、目的を達成するために、操作支援システムは、第１の情報処理装置及び第２の情報処理装置を有する。前記第１の情報処理装置は、画像に含まれる所定情報を第１ＵＩ部品によりマスクし、マスクした前記画像を前記所定情報に関連する第２ＵＩ部品とともに画面に表示させる表示制御部を備える。前記第２の情報処理装置は、前記第１の情報処理装置の前記画面に表示された前記画像上の前記第２ＵＩ部品を読み取る読取部と、前記読取部により読み取られた前記第２ＵＩ部品から前記所定情報に関連する情報を抽出する抽出部と、前記抽出部により抽出された前記所定情報に関連する情報を音声再生する音声再生制御部とを備える。

　本発明によれば、ＧＵＩを有するアプリケーションを用いた作業の作業効率を向上させることができる。

図１は、第１の実施形態に係る操作支援システムのブロック図である。図２は、操作支援システムの動作の概要を説明するための図である。図３は、第１の実施形態に係る作業端末による画像表示処理のフローチャートである。図４は、第１の実施形態に係る外部端末による秘匿情報取得処理のフローチャートである。図５は、第２の実施形態に係る操作支援システムのブロック図である。図６は、第２の実施形態に係る外部端末による秘匿情報取得処理のフローチャートである。図７は、第３の実施形態に係る操作支援システムのブロック図である。図８は、第３の実施形態に係る外部端末による秘匿情報取得処理のフローチャートである。図９は、第３の実施形態に係る作業端末による画像表示処理のフローチャートである。図１０は、操作支援プログラムに含まれる秘匿情報取得プログラムや画像表示プログラムを実行するコンピュータの一例を示す図である。

　以下に、本願の開示する操作支援システム、操作支援装置、操作支援方法及び操作支援プログラムの一実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態により本願の開示する操作支援システム、操作支援装置、操作支援方法及び操作支援プログラムが限定されるものではない。

［第１の実施形態］
［操作支援システムの構成］
　図１は、第１の実施形態に係る操作支援システムのブロック図である。図１を用いて、操作支援システムの構成について説明する。操作支援システム１は、外部端末１０、作業端末２０及び音声出力装置３０を有する。また、操作支援システム１は、データ格納装置４０を有してもよい。操作支援システム１は、ユーザが使用する作業端末２０に各種の情報を提供する画像２１０を表示させ、画面内への表示が好ましくない秘匿情報が存在する場合にはその秘匿情報をマスクすることで非表示とし秘匿情報を暗号化したＵＩ部品を表示する。そして、操作支援システム１は、ユーザが使用する外部端末１０に画像２１０を読み取らせて、秘匿情報を暗号化したＵＩ部品を復号させて秘匿情報を取得させ、秘匿情報を音声データとして音声出力装置３０に出力させる。以下に、外部端末１０及び作業端末２０の詳細について説明する。

［作業端末］
　作業端末２０は、顧客との商談などを行う際に、顧客に対する画面の提示やその場でのデータの入力といった作業を行うために用いられるコンピュータである。作業端末２０は、例えば、ノートパソコンやタブレット端末などである。作業端末２０が、「第１の情報処理装置」の一例にあたる。作業端末２０は、表示装置２０１、表示制御部２０２、連携制御部２０３及びデータベース２０４を有する。

　表示装置２０１は、液晶表示装置やモニタなどである。例えば、表示装置２０１は、商談に用いる説明資料の画像２１０を表示する。

　データベース２０４は、データを格納する記憶装置である。データベース２０４は、例えば、マスキングルール５１及び復号情報５２を格納する。また、データベース２０４には、マスキング部品などを含む各種ＵＩ部品が格納されてもよい。

　マスキングルール５１は、どの様な秘匿情報をどのようにマスキングするかといった情報や暗号化方法などのマスキングを実行するためのルールが登録される。マスキングルール５１は、例えば、秘匿情報毎に存在する。マスキングルール５１には、マスキングを行うＵＩ部品であるマスキング部品２１１にＩＤマーカ２１２が含まれている場合には、そのマスキング部品２１１に含まれるＩＤマーカ２１２への秘匿情報を暗号化したデータの登録方法が含まれる。また、マスキング部品２１１にＩＤマーカ２１２が含まれていない場合には、マスキングルール５１には、そのマスキングにおいて使用するＩＤマーカ２１２及びそのＩＤマーカ２１２への秘匿情報を暗号化した登録方法が含まれる。マスキングルール５１は、データベース２０４に予め登録される。

　また、復号情報５２は、マスキングルール５１に登録された各ＩＤマーカ２１２に含まれる暗号化された秘匿情報を復号するための情報である。復号情報５２は、ＩＤマーカ２１２毎に存在し、各ＩＤマーカ２１２に対応する復号のための情報が、ＩＤマーカ２１２から読み取られるＩＤに対応付けられて登録される。復号情報５２は、データベース２０４に予め登録される。ただし、復号情報５２は、表示制御部２０２による暗号化した秘匿情報のＩＤマーカ２１２への登録時に生成されてもよい。

　表示制御部２０２は、表示装置２０１に画像２１０の表示を行わせる。例えば、表示制御部２０２は、ユーザからの入力を受けて、指定された資料の画像２１０を生成し、生成した画像２１０を表示装置２０１に表示させる。

　さらに、表示制御部２０２は、画像２１０を生成した際に、データベース２０４に格納されたマスキングルール５１を参照して、画像２１０がマスキング対象か否かを判定する。例えば、表示制御部２０２は、画像２１０に含まれる文字の中にマスキングルール５１でマスキング対象とされている文字が含まれる場合に、その画像２１０をマスキング対象と判定する。

　画像２１０がマスキング対象の場合、表示制御部２０２は、マスキングルール５１にしたがってマスキング領域を特定する。さらに、表示制御部２０２は、マスキングルール５１にしたがってマスキング部品２１１を取得する。この際、マスキング部品２１１の取得に失敗すると、表示制御部２０２は、エラーを表示装置２０１に表示させるなど、ユーザに対してエラー通知を行う。これに対して、マスキング部品２１１の取得に成功した場合、表示制御部２０２は、マスキング部品２１１にＩＤマーカ２１２が含まれているか否かを判定する。

　ＩＤマーカ２１２が含まれている場合、表示制御部２０２は、そのマスキング部品２１１に含まれるＩＤマーカ２１２に暗号化した秘匿情報を登録する。この際、表示制御部２０２は、マスキング部品２１１に含まれるＩＤマーカ２１２に識別情報であるＩＤを割り当てる。その後、表示制御部２０２は、マスキング部品２１１でマスクを施した画像２１０を表示装置２０１に表示させる。

　ＩＤマーカ２１２が含まれていない場合、表示制御部２０２は、そのマスキング部品２１１に対応するＩＤマーカ２１２を取得する。そして、表示制御部２０２は、取得したＩＤマーカ２１２に暗号化した秘匿情報を登録する。この際、表示制御部２０２は、ＩＤマーカ２１２に識別情報であるＩＤを割り当てる。その後、表示制御部２０２は、マスキング部品２１１でマスクを施し且つＩＤマーカ２１２を付加した画像２１０を表示装置２０１に表示させる。この際、ＩＤマーカ２１２の取得に失敗した場合には、表示制御部２０２は、マスキング部品２１１でマスクを施した画像２１０を、ＩＤマーカ２１２を付加せずに表示装置２０１に表示させる。

　ここで、復号情報５２がデータベース２０４に予め格納されてない場合であれば、表示制御部２０２は、暗号化した秘匿情報をＩＤマーカ２１２に登録した際に、暗号化した秘匿情報を復号するための復号情報５２を生成してデータベース２０４に格納してもよい。

　ここで、マスキング部品２１１が「第１ＵＩ部品」の一例にあたり、ＩＤマーカ２１２が「第２ＵＩ部品」の一例にあたる。すなわち、表示制御部２０２は、画像２１０に含まれる所定情報を第１ＵＩ部品によりマスクし、マスクした画像２１０を所定情報に関連する第２ＵＩ部品とともに画面に表示させる。そして、表示制御部２０２は、第２ＵＩ部品に識別情報を付加してもよい。また、表示制御部２０２は、第２ＵＩ部品を含む第１ＵＩ部品を用いて画像２１０をマスクしてもよい。

　連携制御部２０３は、外部端末１０の連携制御部１０７との間でデータを送受信することで、作業端末２０と外部端末１０との連携を取る。例えば、連携制御部２０３は、データベース２０４に格納された復号情報５２を外部端末１０の連携制御部１０７へ送信する。これにより、作業端末２０と外部端末１０との間で、復号情報５２が共有されて連携がとられる。

［外部端末］
　外部端末１０は、作業端末２０を用いて顧客などと商談などを行う際に、作業端末２０には表示されない秘匿情報を商談などの作業を行うユーザに音声などで直接提供するコンピュータである。外部端末１０は、例えば、スマートフォンなどである。外部端末１０が、「第２の情報処理装置」の一例にあたる。外部端末１０は、図１に示すように、画像認識部１０１、画像取得部１０２、ＵＩ部品座標特定部１０３、ＩＤ特定部１０４、復号部１０５、音声再生制御部１０６、連携制御部１０７、入出力インタフェース１０８及びデータベース１０９を有する。

　画像取得部１０２は、ユーザからの操作を受けて、作業端末２０の表示装置２０１に表示された画像２１０を取り込む。例えば、画像取得部１０２は、外部端末１０が有する図示しないカメラを用いて画像２１０を撮影して取り込む。そして、画像取得部１０２は、取得した画像２１０を画像認識部１０１へ出力する。

　画像認識部１０１は、画像取得部１０２により取得された画像２１０のデータの入力を受ける。そして、画像認識部１０１は、画像２１０に表示された物体の認識を行う。そして、画像認識部１０１は、画像２１０に付加されたマスキング部品２１１やＩＤマーカ２１２などのＵＩ部品を抽出する。その後、画像認識部１０１は、抽出したマスキング部品２１１やＩＤマーカ２１２などＵＩ部品の情報を画像２１０のデータとともにＵＩ部品座標特定部１０３へ出力する。

　ＵＩ部品座標特定部１０３は、画像２１０のデータとともに画像２１０に付加されたＵＩ部品の情報の入力を画像認識部１０１から受ける。次に、ＵＩ部品座標特定部１０３は、画像２１０に付加されたにＵＩ部品の情報から、各ＵＩ部品の画像２１０における座標を特定する。そして、ＵＩ部品座標特定部１０３は、特定した画像２１０における各ＵＩ部品の座標の情報を画像２１０のデータとともにＩＤ特定部１０４へ出力する。

　ＩＤ特定部１０４は、画像２１０のデータ及び画像２１０における各ＵＩ部品の座標の情報の入力をＵＩ部品座標特定部１０３から受ける。そして、ＩＤ特定部１０４は、ＵＩ部品の座標の情報を用いて、画像２１０に付加された各ＵＩ部品を分析してＩＤマーカ２１２もしくはＩＤマーカ２１２を含むマスキング部品２１１が存在するか否かを判定する。ＩＤマーカ２１２もしくはＩＤマーカ２１２を含むマスキング部品２１１が存在しなければ、ＩＤ特定部１０４は、入出力インタフェース１０８に秘匿情報の不存在の情報を出力してユーザに通知させる。

　これに対して、ＩＤマーカ２１２もしくはＩＤマーカ２１２を含むマスキング部品２１１が存在する場合、ＩＤ特定部１０４は、ＩＤマーカ２１２からＩＤを読み込む。ここで、ＩＤが読み込めない場合、ＩＤ特定部１０４は、エラー通知を入出力インタフェース１０８へ送信して、ユーザにエラーを通知させる。ＩＤを取得すると、ＩＤ特定部１０４は、ＩＤマーカ２１２もしくはＩＤマーカ２１２を含むマスキング部品２１１とともに読み込んだＩＤを復号部１０５へ出力する。

　このＩＤ特定部１０４は、「読取部」の一例にあたる。すなわち、ＩＤ特定部１０４は、第１の情報処理装置の画面に表示された画像２１０上の第２ＵＩ部品を読み取る。

　復号部１０５は、ＩＤマーカ２１２もしくはＩＤマーカ２１２を含むマスキング部品２１１とともにＩＤの入力をＩＤ特定部１０４から受ける。次に、復号部１０５は、ＩＤに対応する復号情報５２の取得要求を連携制御部１０７に送信する。その後、復号部１０５は、ＩＤに対応する復号情報５２の入力を連携制御部１０７から受ける。ここで、ＩＤに対応する復号情報５２が取得できなかったためにＩＤの取得失敗の応答を連携制御部１０７から受信した場合、復号部１０５は、復号情報５２の取得失敗を通知するエラーの情報を入出力インタフェース１０８へ送信して、ユーザにエラーを通知させる。一方、ＩＤに対応する復号情報５２を取得した場合、復号部１０５は、復号情報５２を用いてＩＤマーカ２１２もしくはＩＤマーカ２１２を含むマスキング部品２１１に含まれる暗号化された秘匿情報を復号する。

　復号に失敗した場合、復号部１０５は、復号失敗を伝えるエラーの情報を入出力インタフェース１０８へ送信して、ユーザにエラーを通知させる。これに対して、復号に成功した場合、復号部１０５は、秘匿情報を取得する。そして、復号部１０５は、取得した秘匿情報を音声再生制御部１０６へ出力する。

　この復号部１０５は、「抽出部」の一例にあたる。そして、秘匿情報が、「所定情報」の一例にあたる。すなわち、復号部１０５は、読取部により読み取られた第２ＵＩ部品から所定情報に関連する情報を抽出する。また、復号部１０５は、第２ＵＩ部品を復号して所定情報を取得する。

　連携制御部１０７は、作業端末２０の連携制御部２０３との間でデータの送受信を行い、外部端末１０と作業端末２０との連携を取る。例えば、連携制御部１０７は、復号情報５２の取得要求を作業端末２０の連携制御部２０３へ送信する。その後、連携制御部１０７は、復号情報５２を作業端末２０の連携制御部２０３から受信する。そして、連携制御部１０７は、受信した復号情報５２をデータベース１０９に格納する。

　また、連携制御部１０７は、ＩＤに対応する復号情報５２の取得要求を復号部１０５から受ける。そして、連携制御部１０７は、指定されたＩＤに対応する復号情報５２をデータベース１０９から取得する。その後、連携制御部１０７は、取得した復号情報５２を復号部１０５へ送信する。また、指定されたＩＤに対応する復号情報５２が取得できない場合、連携制御部１０７は、復号情報５２の取得失敗の応答を復号部１０５へ返信する。

　ここで、本実施形態では、連携制御部１０７は、復号情報５２を作業端末２０から予め取得して外部端末１０が有するデータベース１０９に格納し、復号部１０５から指定されたＩＤに対応する復号情報５２をデータベース１０９から取得した。ただし、復号情報５２の取得方法は他の方法でもよい。例えば、作業端末２０以外のデータ格納装置４０のデータベース４０２に復号情報５２を予め格納しておいてもよい。この場合、連携制御部１０７は、データ格納装置４０の連携制御部４０１から復号情報５２を取得することができる。また、外部端末１０のデータベース１０９を用いずに、連携制御部１０７は、復号情報５２の取得要求を復号部１０５から受けるたびに、作業端末２０の連携制御部２０３から指定されたＩＤに対応する復号情報５２を取得してもよい。

　音声再生制御部１０６は、ヘッドフォンなどの外部の音声出力装置３０へ接続される。音声再生制御部１０６は、秘匿情報の入力を復号部１０５から受ける。秘匿情報を音声データとして受信した場合、音声再生制御部１０６は、その音声データを再生して音声出力装置３０に音声として出力させる。また、秘匿情報が音声データでない場合、音声再生制御部１０６は、秘匿情報を音声データに変換した後に再生して音声出力装置３０に音声として出力させる。すなわち、音声再生制御部１０６は、抽出部により抽出された所定情報を音声再生する。

　入出力インタフェース１０８は、液晶画面などの表示装置を有する。入出力インタフェース１０８は、エラーが発生した場合、エラー通知をＩＤ特定部１０４又は復号部１０５から受ける。そして、入出力インタフェース１０８は、エラー通知で通知されたエラーの情報を液晶画面などに表示して、ユーザにエラーの発生を通知する。また、ＩＤマーカ２１２もしくはＩＤマーカ２１２を含むマスキング部品２１１が存在しない場合、入出力インタフェース１０８は、秘匿情報の不存在の情報の入力をＩＤ特定部１０４から受信する。そして、ＩＤ特定部１０４は、秘匿情報の不存在のメッセージを液晶画面に表示するなどしてユーザに提供する。

　データベース１０９は、データを格納する記憶装置である。データベース１０９は、例えば、連携制御部１０７が作業端末２０から取得した復号情報５２を格納する。

［動作概要］
　図２は、操作支援システムの動作の概要を説明するための図である。次に、図２を参照して、操作支援システム１の全体的な動作の概要を説明する。

　図２において、状態５０１は、操作支援システム１を用いない場合の、作業端末２０を用いた作業状態を表す。操作支援システム１を用いない場合、状態５０１に示すように、作業端末２０の表示装置２０１には、秘匿情報を表示する画像２１０が表示される。そのため、この状態５０１では、作業端末２０を用いて顧客と商談などを行うと、秘匿情報が顧客に開示されてしまう。

　これに対して、状態５０２は、操作支援システム１を用いた場合の、作業端末２０を用いた作業状態である。操作支援システム１を用いることで、状態５０１で表示装置２０１が表示する画像２１０に表示されていた秘匿情報が、状態５０２では、マスキング部品２１１により隠蔽される。これにより、作業端末２０を用いて顧客と商談などを行う場合でも、秘匿情報を顧客から隠蔽することができる。さらに、状態５０２の場合、マスキング部品２１１にＩＤマーカ２１２が含まれていないため、画像２１０にマスキング部品２１１で隠蔽された秘匿情報が暗号化されて登録されたＩＤマーカ２１２が付加される。

　ユーザは、ＩＤマーカ２１２をスマートフォンなどの外部端末１０を用いて読み込むことで、秘匿情報をヘッドフォンなどの音声出力装置３０から音声として出力させることができる。これにより、ユーザは、別の部屋に行き顧客から見えない場所で秘匿情報の確認などをしなくても、顧客に知られずに秘匿情報を確認することができ、作業効率を向上させることができる。

［画像表示処理］
　図３は、第１の実施形態に係る作業端末による画像表示処理のフローチャートである。次に、図３を参照して、本実施形態に係る作業端末２０による秘匿情報のマスキングを含む画像表示処理の流れについて説明する。

　表示制御部２０２は、表示する画像２１０を取得する。そして、表示制御部２０２は、データベース２０４に格納されたマスキングルール５１を用いて、画像２１０がマスキング対象か否かを判定する（ステップＳ１０１）。

　画像２１０がマスキング対象でない場合（ステップＳ１０１：否定）、表示制御部２０２は、画像２１０を表示装置２０１に表示させる（ステップＳ１０２）。

　これに対して、画像２１０がマスキング対象の場合（ステップＳ１０１：肯定）、表示制御部２０２は、マスキングルール５１にしたがってマスキング部品２１１の取得を行う（ステップＳ１０３）。

　次に、表示制御部２０２は、マスキング部品２１１の取得が成功したか否かを判定する（ステップＳ１０４）。

　マスキング部品２１１の取得が失敗した場合（ステップＳ１０４：否定）、表示制御部２０２は、エラーメッセージを表示装置２０１に表示させて、エラーをユーザに通知する（ステップＳ１０５）。

　これに対して、マスキング部品２１１の取得が成功した場合（ステップＳ１０４：肯定）、表示制御部２０２は、画像２１０にマスキング部品２１１を付加して秘匿情報をマスクする（ステップＳ１０６）。

　次に、表示制御部２０２は、マスキング部品２１１を付加した画像２１０を表示装置２０１に表示させる（ステップＳ１０７）。

　次に、表示制御部２０２は、マスキングルール５１にしたがって、マスキング部品２１１に対応するＩＤマーカ２１２が存在するか否かを判定する（ステップＳ１０８）。ＩＤマーカ２１２が存在しない場合（ステップＳ１０８：否定）、表示制御部２０２は、画像表示処理を終了する。ＩＤマーカ２１２が存在しない場合には、マスキング部品２１１がＩＤマーカ２１２を有する場合も含まれる。

　ＩＤマーカ２１２が存在する場合（ステップＳ１０８：肯定）、表示制御部２０２は、ＩＤマーカ２１２を取得する（ステップＳ１０９）。

　その後、表示制御部２０２は、取得したＩＤマーカ２１２を画像２１０におけるマスキング部品２１１の近傍に表示させる（ステップＳ１１０）。

［秘匿情報取得処理］
　図４は、第１の実施形態に係る外部端末による秘匿情報取得処理のフローチャートである。次に、図４を参照して、本実施形態に係る外部端末１０による秘匿情報取得処理の流れを説明する。

　画像取得部１０２は、外部端末１０が有するカメラなどを用いて、作業端末２０の表示装置２０１に表示された画像２１０を取得する（ステップＳ１１１）。そして、画像取得部１０２は、取得した画像２１０を画像認識部１０１へ出力する。

　画像認識部１０１は、画像取得部１０２から入力された画像２１０に表示された物体の認識を行う。そして、画像認識部１０１は、画像２１０に表示された物体のうちＵＩ部品を抽出する。ＵＩ部品座標特定部１０３は、画像認識部１０１により抽出されたＵＩ部品のそれぞれの座標を特定する。ＩＤ特定部１０４は、ＵＩ部品座標特定部１０３により特定されたＵＩ部品の中にＩＤマーカ２１２が存在するか否かを判定する（ステップＳ１１２）。ＩＤマーカ２１２が存在しない場合（ステップＳ１１２：否定）、秘匿情報取得処理は、ステップＳ１１１へ戻る。

　これに対して、ＩＤマーカ２１２が存在する場合（ステップＳ１１２：肯定）、ＩＤ特定部１０４は、画像２１０からＩＤマーカ２１２を読み込んでＩＤの特定を実行する（ステップＳ１１３）。ここで、ＩＤ特定部１０４は、単体のＩＤマーカ２１２だけでなく、ＩＤマーカ２１２を含むマスキング部品２１１が存在する場合は、マスキング部品２１１からＩＤマーカ２１２を読み込む。

　ＩＤ特定部１０４は、ＩＤマーカ２１２の読み込みが成功したか否かを判定する（ステップＳ１１４）。ＩＤマーカ２１２の読み込みが失敗した場合（ステップＳ１１４：否定）、ＩＤ特定部１０４は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ１１８）。その後、秘匿情報取得処理は、ステップＳ１１１へ戻る。

　これに対して、ＩＤマーカ２１２の読み込みが成功した場合（ステップＳ１１４：肯定）、ＩＤ特定部１０４は、取得したＩＤを復号部１０５へ出力する。復号部１０５は、ＩＤ特定部１０４から取得したＩＤに対応する復号情報５２の取得要求を連携制御部１０７へ送信する。その後、連携制御部１０７からの応答により、復号部１０５は、取得したＩＤに対応する復号情報５２が存在するか否かを判定する（ステップＳ１１５）。

　ＩＤに対応する復号情報５２が存在しない場合（ステップＳ１１５：否定）、復号部１０５は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ１１８）。その後、秘匿情報取得処理は、ステップＳ１１１へ戻る。

　これに対して、ＩＤに対応する復号情報５２が存在する場合（ステップＳ１１５：肯定）、復号部１０５は、ＩＤに対応する復号情報５２を連携制御部から取得する。そして、復号部１０５は、取得したＩＤを用いてＩＤマーカ２１２に登録された暗号化された秘匿情報の復号を実行する（ステップＳ１１６）。

　そして、復号部１０５は、復号が成功したか否かを判定する（ステップＳ１１７）。復号が失敗した場合（ステップＳ１１７：否定）、復号部１０５は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ１１８）。その後、秘匿情報取得処理は、ステップＳ１１１へ戻る。

　これに対して、復号が成功した場合（ステップＳ１１７：肯定）、復号部１０５は、復号により得られた秘匿情報を音声再生制御部１０６へ出力する。音声再生制御部１０６は、秘匿情報を音声再生して音声出力装置３０に音声を出力させる（ステップＳ１１９）。

［第１の実施形態における効果］
　以上に説明したように、本実施形態に係る操作支援システム１では、作業端末２０は、画面上の画像２１０では、秘匿情報にマスキングのためのＵＩ部品を付加して秘匿情報を隠蔽し、さらに暗号化された秘匿情報が登録されたＩＤマーカ２１２を付加する。そして、ユーザが外部端末１０を用いて作業端末２０の画面の画像２１０を読み込んだ場合、外部端末１０は、読み込んだ画像２１０の中からＩＤマーカ２１２を特定して、復号によりそのＩＤマーカ２１２に含まれる秘匿情報を取得して音声としてユーザに提供する。

　これにより、ＵＩ拡張技術を用いて作業端末２０に表示されている秘匿情報を隠蔽し、且つ、外部端末１０の所有者などの特定の者にのみ秘匿情報を提供でき、周辺に存在するそれ以外の者からは秘匿情報を隠蔽することができる。そのため、特定の者は、別室で秘匿情報を確認するなどの手間を省くことができ、容易に且つ内密に秘匿情報の確認が行えるため、秘匿情報を含む画像２１０を用いた作業の安全性を確保しつつ作業効率を向上させることが可能となる。

［第２の実施形態］
［操作支援システムの構成］
　図５は、第２の実施形態に係る操作支援システムのブロック図である。本実施形態に係る操作支援システム１は、ＩＤマーカ２３２のＩＤに対応する復号情報５２が存在しない場合に、そのＩＤに対応する秘匿情報をデータベース１０９などから直接取得して、音声出力する。以下に、操作支援システム１の詳細について説明する。以下の説明では、第１の実施形態における各部の動作と同様の動作については説明を省略する場合がある。

　作業端末２０について説明する。データベース２０４は、マスキングルール５１及び復号情報５２に加えて、表示制御部２０２により生成された秘匿情報ファイル５３を保持する。秘匿情報ファイル５３は、それぞれに個別の秘匿情報がＩＤマーカ２１２のＩＤに対応付けられて登録されたファイルである。

　表示制御部２０２は、マスキング部品２１１でマスキングした秘匿情報を保持する。そして、画像２１０に付加したＩＤマーカ２１２又はマスキング部品２１１に含まれるＩＤマーカ２１２のＩＤに対応させて保持する秘匿情報を登録した秘匿情報ファイル５３を生成し、データベース２０４に格納する。

　連携制御部２０３は、データベース２０４に格納された復号情報５２及び秘匿情報ファイル５３を取得する。そして、連携制御部２０３は、取得した復号情報５２及び秘匿情報ファイル５３を外部端末１０へ送信する。

　次に、外部端末１０について説明する。外部端末１０は、第１の実施形態で示した各部に加えて秘匿情報取得部１１０を有する。

　復号部１０５は、画像２１０に付加されたＩＤマーカ２１２からＩＤを読み取る。このＩＤマーカ２１２のＩＤが、「第２ＵＩ部品に付加された識別情報」の一例にあたる。すなわち、ＩＤ特定部１０４は、第２ＵＩ部品に付加された識別情報を読み取る。そして、復号部１０５は、読み込んだＩＤに対応する復号情報５２がデータベース１０９に存在しない場合、ＩＤに対応する秘匿情報のデータベース１０９からの取得を秘匿情報取得部１１０に依頼する。

　秘匿情報取得部１１０は、秘匿情報のデータベース１０９からの取得の依頼を復号部１０５から受ける。そして、秘匿情報取得部１１０は、ＩＤに対応する秘匿情報ファイル５３の取得要求を連携制御部１０７に対して行う。その後、秘匿情報取得部１１０は、取得要求に対する応答を連携制御部１０７から受ける。

　秘匿情報ファイル５３を連携制御部１０７から応答として受信した場合、秘匿情報取得部１１０は、取得した秘匿情報ファイル５３から秘匿情報を取得する。そして、秘匿情報取得部１１０は、取得した秘匿情報をＩＤ特定部１０４へ出力する。これに対して、秘匿情報ファイル５３の不存在の通知を連携制御部１０７から応答として受信した場合、秘匿情報取得部１１０は、秘匿情報の不存在の情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる。

　この秘匿情報取得部１１０が、「取得部」の一例にあたる。また、秘匿情報ファイル５３が、識別情報と所定情報とが対応付けられた情報にあたる。すなわち、秘匿情報取得部１１０は、識別情報と所定情報とが対応付けられて登録されたデータベース１０９から、読取部により読み取られた識別情報に対応する所定情報を取得する。

　音声再生制御部１０６は、秘匿情報の入力を秘匿情報取得部１１０から受ける。そして、音声再生制御部１０６は、取得した秘匿情報を音声データに変換して音声出力装置３０へ送信して、秘匿情報を音声として出力させてユーザに提供する。

　連携制御部１０７は、復号情報５２及び秘匿情報ファイル５３を作業端末２０の連携制御部２０３から受信する。そして、連携制御部１０７は、取得した復号情報５２及び秘匿情報ファイル５３をデータベース１０９に格納する。

　また、連携制御部１０７は、ＩＤとともに秘匿情報ファイル５３の取得要求を秘匿情報取得部１１０から受ける。そして、連携制御部１０７は、ＩＤに対応する秘匿情報ファイル５３をデータベース１０９から取得する。そして、連携制御部１０７は、取得した秘匿情報ファイル５３を秘匿情報取得部１１０へ出力する。

　ここで、本実施形態では、連携制御部１０７は、復号情報５２及び秘匿情報ファイル５３を作業端末２０から予め取得して外部端末１０が有するデータベース１０９に格納した。そして、連携制御部１０７は、復号部１０５から指定されたＩＤに対応する復号情報５２又は秘匿情報ファイル５３をデータベース１０９から取得した。ただし、復号情報５２及び秘匿情報ファイル５３の双方又はいずれか一方の取得方法は他の方法でもよい。例えば、作業端末２０以外のデータ格納装置４０のデータベース４０２に復号情報５２及び秘匿情報ファイル５３を予め格納しておいてもよい。この場合、連携制御部１０７は、データ格納装置４０の連携制御部４０１から復号情報５２を取得することができる。また、外部端末１０のデータベース１０９を用いずに、連携制御部１０７は、復号情報５２の取得要求を復号部１０５から受けるたびに、作業端末２０の連携制御部２０３から指定されたＩＤに対応する復号情報５２を取得してもよい。

　［秘匿情報取得処理］
　図６は、第２の実施形態に係る外部端末による秘匿情報取得処理のフローチャートである。次に、図６を参照して、本実施形態に係る外部端末１０による秘匿情報取得処理の流れを説明する。

　画像取得部１０２は、外部端末１０が有するカメラなどを用いて、作業端末２０の表示装置２０１に表示された画像２１０を取得する（ステップＳ２０１）。そして、画像取得部１０２は、取得した画像２１０を画像認識部１０１へ出力する。

　画像認識部１０１は、画像取得部１０２から入力された画像２１０に表示された物体の認識を行う。そして、画像認識部１０１は、画像２１０に表示された物体のうちＵＩ部品を抽出する。UI部品座標特定部１０３は、画像認識部１０１により抽出されたＵＩ部品のそれぞれの座標を特定する。ＩＤ特定部１０４は、UI部品座標特定部１０３により特定されたＵＩ部品の中にＩＤマーカ２１２が存在するか否かを判定する（ステップＳ２０２）。ＩＤマーカ２１２が存在しない場合（ステップＳ２０２：否定）、秘匿情報取得処理は、ステップＳ２０１へ戻る。

　これに対して、ＩＤマーカ２１２が存在する場合（ステップＳ２０２：肯定）、ＩＤ特定部１０４は、画像２１０からＩＤマーカ２１２を読み込んでＩＤの特定を実行する（ステップＳ２０３）。

　次に、ＩＤ特定部１０４は、ＩＤマーカ２１２の読み込みが成功したか否かを判定する（ステップＳ２０４）。ＩＤマーカ２１２の読み込みが失敗した場合（ステップＳ２０４：否定）、ＩＤ特定部１０４は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ２０８）。その後、秘匿情報取得処理は、ステップＳ２０１へ戻る。

　これに対して、ＩＤマーカ２１２の読み込みが成功した場合（ステップＳ２０４：肯定）、ＩＤ特定部１０４は、取得したＩＤを復号部１０５へ出力する。復号部１０５は、ＩＤ特定部１０４から取得したＩＤに対応する復号情報５２の取得要求を連携制御部１０７へ送信する。その後、連携制御部１０７からの応答により、復号部１０５は、取得したＩＤに対応する復号情報５２が存在するか否かを判定する（ステップＳ２０５）。

　ＩＤに対応する復号情報５２が存在する場合（ステップＳ２０５：肯定）、復号部１０５は、ＩＤに対応する復号情報５２を連携制御部から取得する。そして、復号部１０５は、取得したＩＤを用いてＩＤマーカ２１２に登録された暗号化済みの秘匿情報の復号を実行する（ステップＳ２０６）。

　そして、復号部１０５は、復号が成功したか否かを判定する（ステップＳ２０７）。復号が失敗した場合（ステップＳ２０７：否定）、復号部１０５は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ２０８）。その後、秘匿情報取得処理は、ステップＳ２０１へ戻る。

　これに対して、復号が成功した場合（ステップＳ２０７：肯定）、復号部１０５は、復号により得られた秘匿情報を音声再生制御部１０６へ出力する。音声再生制御部１０６は、秘匿情報を音声再生して音声出力装置３０に音声を出力させる（ステップＳ２０９）。

　一方、ＩＤに対応する復号情報５２が存在しない場合（ステップＳ２０５：否定）、復号部１０５は、ＩＤに対応する秘匿情報のデータベース１０９からの取得を秘匿情報取得部１１０に依頼する。秘匿情報取得部１１０は、復号部１０５からの依頼を受けて、ＩＤに対応する秘匿情報の取得要求を連携制御部１０７へ送信する。その後、秘匿情報取得部１１０は、連携制御部１０７からの応答を基に、取得したＩＤに対応する秘匿情報が存在するか否かを判定する（ステップＳ２１０）。

　取得したＩＤに対応する秘匿情報が存在しない場合（ステップＳ２１０：否定）、秘匿情報取得部１１０は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ２０８）。その後、秘匿情報取得処理は、ステップＳ２０１へ戻る。

　これに対して、取得したＩＤに対応する秘匿情報が存在する場合（ステップＳ２１０：肯定）、秘匿情報取得部１１０は、連携制御部１０７から取得した秘匿情報ファイル５３から秘匿情報の取得を行う（ステップＳ２１１）。

　そして、秘匿情報取得部１１０は、秘匿情報の取得が成功したか否かを判定する（ステップＳ２１２）。秘匿情報の取得が失敗した場合（ステップＳ２１２：否定）、秘匿情報取得部１１０は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ２０８）。その後、秘匿情報取得処理は、ステップＳ２０１へ戻る。

　これに対して、秘匿情報の取得が成功した場合（ステップＳ２１２：肯定）、秘匿情報取得部１１０は、取得した秘匿情報を音声再生制御部１０６へ出力する。音声再生制御部１０６は、秘匿情報を音声再生して音声出力装置３０に音声を出力させる（ステップＳ２０９）。

［第２の実施形態における効果］
　以上に説明したように、本実施形態に係る操作支援システム１では、外部端末１０は、ＩＤマーカ２１２に登録された暗号化済みの秘匿情報の復号が困難な場合に、データベース１０９から秘匿情報を直接取得して音声データとして音声出力装置３０に出力させる。

　これにより、復号情報５２が得られないなどの理由によりＩＤマーカ２１２から秘匿情報が取得できない場合にも、他の経路で秘匿情報を取得して外部端末１０の所有者などの特定の者に提供することができ、特定の者は確実に秘匿情報を取得することが可能となる。したがって、秘匿情報を含む画像２１０を用いた作業の安全性を確保しつつ作業効率をより確実に向上させることが可能となる。

［第３の実施形態］
［操作支援システムの構成］
　図７は、第３の実施形態に係る操作支援システムのブロック図である。本実施形態に係る操作支援システム１では、作業端末２０は、ＩＤマーカ２１２に秘匿情報を暗号化して登録する際に、画像２１０への操作をユーザに決定させる問合せ情報を含ませることができる。外部端末１０は、秘匿情報に付加された問合せ情報を音声再生して、その問合せ情報に対する操作指示の入力をユーザから受ける。そして、外部端末１０は、入力された操作指示を作業端末２０に通知し、通知を受けた作業端末２０は、その操作指示にしたがって画像２１０を操作する。以下に、操作支援システム１の詳細について説明する。以下の説明では、第１の実施形態及び第２の実施形態における各部の動作と同様の動作については説明を省略する場合がある。

　作業端末２０について説明する。データベース２０４は、マスキングルール５１、復号情報５２及び秘匿情報ファイル５３以外に、表示ルール５４を予め記憶する。表示ルール５４は、ＩＤマーカ２１２毎に生成され、受け付けを許可する通知種別などが記載される。

　表示制御部２０２は、暗号化した秘匿情報が登録されたＩＤマーカ２１２を生成する際に、ユーザに選択させる選択肢情報やユーザに情報の入力を要求する入力要求情報などの問合せ情報を含ませることができる。例えば、選択肢情報は、秘匿情報をマスクするマスキング部品２１１を除去するか否かを選択させる選択肢などである。また、入力要求情報は、秘匿情報をマスクするマスキング部品２１１の上に表示させる文字の入力を促す情報である。表示制御部２０２は、操作支援システム１の管理者などからの指示にしたがって、ＩＤマーカ２１２に問い合わせ情報を含ませるか否か、及び、問合せ情報の内容を決定する。

　また、表示制御部２０２は、秘匿情報ファイル５３にもＩＤマーカ２１２と同様に、操作支援システム１の管理者などからの指示にしたがって、問合せ情報を含ませる。

　ここで、ユーザの動作について説明する。ユーザは、外部端末１０を用いて画像２１０を取り込み秘匿情報の取得を行った場合に、秘匿情報に対応する問合せ情報が存在する場合、音声再生を聴いて問合せ情報を確認する。そして、ユーザは、問合せ情報に対する回答を含む回答情報により画像２１０に対する操作を作業端末２０に指示することが可能である。問合せ情報に対する回答を行う場合、ユーザは、外部端末１０の入出力インタフェース１０８が有するタッチパネルなどを用いて、画像２１０に対する操作指示を入力する。具体的には、ユーザは、問合せ情報が選択肢情報の場合には提示された選択肢から操作指示を選択し、入力要求情報の場合には要求にしたがって情報を入力することで操作指示を行う。

　表示制御部２０２は、送信した問合せ情報に対する回答である回答情報の入力があった場合、回答情報を連携制御部２０３から取得する。この際、回答情報にはどのＩＤマーカ２１２に付加された問合せ情報に対する回答かがわかるように、ＩＤマーカ２１２のＩＤが付加される。そして、表示制御部２０２は、回答情報に含まれるＩＤが、操作指示の受け付け許可対象として登録済みＩＤか否かを判定する。登録済みＩＤでなければ、表示制御部２０２は、エラーメッセージを表示装置２０１に表示させて、ユーザに通知する。

　これに対して、登録済みＩＤであれば、表示制御部２０２は、回答情報に含まれるＩＤが示すＩＤマーカ２１２に対応する表示ルール５４を確認して、受信した問合せ情報の通知の種別が、表示ルール５４に記載された通知種別と一致するか否かを判定する。受信した通知の種別と表示ルール５４に記載された通知種別とが一致しない場合、表示制御部２０２は、エラーメッセージを表示装置２０１に表示させて、ユーザに通知する。

　一方、受信した通知の種別と表示ルール５４に記載された通知種別とが一致する場合、表示制御部２０２は、受信した通知にしたがって表示装置２０１に表示された画像２１０に対して指示された操作を実行する。例えば、表示制御部２０２は、マスキング部品２１１を画像２１０から除去する。

　連携制御部２０３は、問合せ情報に対する回答情報の通知を外部端末１０の連携制御部１０７から受信する。そして、連携制御部２０３は、回答情報を表示制御部２０２へ出力する。

　次に、外部端末１０について説明する。復号部１０５は、ＩＤマーカ２１２のＩＤに対応する復号情報５２を用いてＩＤマーカ２１２に登録された暗号化された秘匿情報を復号する。そして、復号部１０５は、復号により取得した秘匿情報を音声再生して音声再生制御部１０６へ送信する。この際、ＩＤマーカ２１２に付加された問合せ情報がある場合、復号部１０５は、秘匿情報とともに問合せ情報も音声再生制御部１０６へ送信する。

　秘匿情報取得部１１０は、ＩＤマーカ２１２のＩＤに対応する復号情報５２が存在しない場合、復号部１０５から取得したＩＤに対応する秘匿情報ファイル５３を連携制御部１０７から取得する。そして、秘匿情報取得部１１０は、取得した秘匿情報ファイル５３に含まれる秘匿情報を音声再生制御部１０６へ送信する。この際、ＩＤマーカ２１２に付加された問合せ情報がある場合、秘匿情報取得部１１０は、秘匿情報ファイル５３に含まれる問合せ情報も取得して、秘匿情報とともに問合せ情報も音声再生制御部１０６へ送信する。

　音声再生制御部１０６は、問合せ情報が付加された秘匿情報を復号部１０５又は秘匿情報取得部１１０から受信する。そして、音声再生制御部１０６は、秘匿情報とともに問合せ情報を音声再生して、音声出力装置３０に音声を出力させる。例えば、音声再生制御部１０６は、秘匿情報を再生した後に問合せ情報を再生して音声出力装置３０に音声を出力させる。すなわち、音声再生制御部１０６は、所定情報に関連する入力を促す問合せ情報を所定情報とともに音声再生する。

　操作情報反映部１１１は、復号部１０５から送られた秘匿情報の音声再生又は秘匿情報取得部１１０から送られた秘匿情報の音声再生に、問合せ情報が含まれるか否かを判定する。例えば、操作情報反映部１１１は、問合せ情報を音声再生させたか否かの情報を復号部１０５又は秘匿情報取得部１１０から取得してもよい。この際、操作情報反映部１１１は、送信した秘匿情報に対応するＩＤマーカ２１２のＩＤも取得してもよい。そして、音声再生制御部１０６による音声再生に問合せ情報が含まれる場合、操作情報反映部１１１は、問合せ情報に応じた操作情報の入力を入出力インタフェース１０８から受ける。そして、操作情報反映部１１１は、取得した操作情報及びＩＤマーカ２１２のＩＤを含む音声回答情報の通知を連携制御部１０７に送信して、作業端末２０への送信を指示する。

　すなわち、操作情報反映部１１１は、問合せ情報に対する操作指示の入力を受け付け、操作指示を表示制御部２０２に通知する。また、表示制御部２０２は、操作情報反映部１１１から通知された操作指示を画面に表示された画像２１０に反映させる。

　連携制御部１０７は、回答情報の通知を操作情報反映部１１１から受信する。そして、連携制御部１０７は、操作情報反映部１１１からの指示にしたがい、回答情報の通知を作業端末２０へ送信する。

［秘匿情報取得処理］
　図８は、第３の実施形態に係る外部端末による秘匿情報取得処理のフローチャートである。次に、図８を参照して、本実施形態に係る外部端末１０による秘匿情報取得処理の流れを説明する。

　画像取得部１０２は、外部端末１０が有するカメラなどを用いて、作業端末２０の表示装置２０１に表示された画像２１０を取得する（ステップＳ３０１）。そして、画像取得部１０２は、取得した画像２１０を画像認識部１０１へ出力する。

　画像認識部１０１は、画像取得部１０２から入力された画像２１０に表示された物体の認識を行う。そして、画像認識部１０１は、画像２１０に表示された物体のうちＵＩ部品を抽出する。UI部品座標特定部１０３は、画像認識部１０１により抽出されたＵＩ部品のそれぞれの座標を特定する。ＩＤ特定部１０４は、UI部品座標特定部１０３により特定されたＵＩ部品の中にＩＤマーカ２１２が存在するか否かを判定する（ステップＳ３０２）。ＩＤマーカ２１２が存在しない場合（ステップＳ３０２：否定）、秘匿情報取得処理は、ステップＳ３０１へ戻る。

　これに対して、ＩＤマーカ２１２が存在する場合（ステップＳ３０２：肯定）、ＩＤ特定部１０４は、画像２１０からＩＤマーカ２１２を読み込んでＩＤの特定を実行する（ステップＳ３０３）。

　次に、ＩＤ特定部１０４は、ＩＤマーカ２１２の読み込みが成功したか否かを判定する（ステップＳ３０４）。ＩＤマーカ２１２の読み込みが失敗した場合（ステップＳ３０４：否定）、ＩＤ特定部１０４は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ３０８）。その後、秘匿情報取得処理は、ステップＳ３０１へ戻る。

　これに対して、ＩＤマーカ２１２の読み込みが成功した場合（ステップＳ３０４：肯定）、ＩＤ特定部１０４は、取得したＩＤを復号部１０５へ出力する。復号部１０５は、ＩＤ特定部１０４から取得したＩＤに対応する復号情報５２の取得要求を連携制御部１０７へ送信する。その後、連携制御部１０７からの応答により、復号部１０５は、取得したＩＤに対応する復号情報５２が存在するか否かを判定する（ステップＳ３０５）。

　ＩＤに対応する復号情報５２が存在する場合（ステップＳ３０５：肯定）、復号部１０５は、ＩＤに対応する復号情報５２を連携制御部から取得する。そして、復号部１０５は、取得したＩＤを用いてＩＤマーカ２１２に登録された暗号化済みの秘匿情報の復号を実行する（ステップＳ３０６）。

　そして、復号部１０５は、復号が成功したか否かを判定する（ステップＳ３０７）。復号が失敗した場合（ステップＳ３０７：否定）、復号部１０５は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ３０８）。その後、秘匿情報取得処理は、ステップＳ３０１へ戻る。

　これに対して、復号が成功した場合（ステップＳ３０７：肯定）、復号部１０５は、復号により得られた秘匿情報を音声再生制御部１０６へ出力する。音声再生制御部１０６は、秘匿情報を音声再生して音声出力装置３０に音声を出力させる（ステップＳ３１２）。

　一方、ＩＤに対応する復号情報５２が存在しない場合（ステップＳ３０５：否定）、復号部１０５は、ＩＤに対応する秘匿情報のデータベース１０９からの取得を秘匿情報取得部１１０に依頼する。秘匿情報取得部１１０は、復号部１０５からの依頼を受けて、ＩＤに対応する秘匿情報の取得要求を連携制御部１０７へ送信する。その後、秘匿情報取得部１１０は、連携制御部１０７からの応答を基に、取得したＩＤに対応する秘匿情報が存在するか否かを判定する（ステップＳ３０９）。

　取得したＩＤに対応する秘匿情報が存在しない場合（ステップＳ３０９：否定）、秘匿情報取得部１１０は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ３０８）。その後、秘匿情報取得処理は、ステップＳ３０１へ戻る。

　これに対して、取得したＩＤに対応する秘匿情報が存在する場合（ステップＳ３０９：肯定）、秘匿情報取得部１１０は、連携制御部１０７から取得した秘匿情報ファイル５３から秘匿情報の取得を行う（ステップＳ３１０）。

　そして、秘匿情報取得部１１０は、秘匿情報の取得が成功したか否かを判定する（ステップＳ３１１）。秘匿情報の取得が失敗した場合（ステップＳ３１１：否定）、秘匿情報取得部１１０は、エラーの情報を入出力インタフェース１０８に送信して、ユーザにエラーを通知させる（ステップＳ３０８）。その後、秘匿情報取得処理は、ステップＳ３０１へ戻る。

　これに対して、秘匿情報の取得が成功した場合（ステップＳ３１１：肯定）、秘匿情報取得部１１０は、取得した秘匿情報を音声再生制御部１０６へ出力する。音声再生制御部１０６は、秘匿情報を音声生成して音声出力装置３０に音声を出力させる（ステップＳ３１２）。

　ステップＳ３１２で音声再生を行った後、操作情報反映部１１１は、復号部１０５から送られた秘匿情報の音声再生又は秘匿情報取得部１１０から送られた秘匿情報の音声再生において、問合せ情報の音声再生を行ったか否かを判定する（ステップＳ３１３）。

　問合せ情報の音声再生を行わなかった場合（ステップＳ３１３：否定）、外部端末１０は、秘匿情報取得処理を終了する。

　これに対して、問合せ情報の音声再生を行った場合（ステップＳ３１３：肯定）、操作情報反映部１１１は、問合せ情報に応じた操作情報の入力を入出力インタフェース１０８から受ける。そして、操作情報反映部１１１は、取得した操作情報及びＩＤマーカ２１２のＩＤを含む回答情報を連携制御部１０７を介して作業端末２０へ送信する（ステップＳ３１４）。

［画像表示処理］
　図９は、第３の実施形態に係る作業端末による画像表示処理のフローチャートである。次に、図９を参照して、本実施形態に係る作業端末２０による秘匿情報のマスキング処理及びマスキング部品２１１に対する操作を含む画像表示処理の流れについて説明する。

　表示制御部２０２は、表示する画像２１０を取得する。そして、表示制御部２０２は、データベース２０４に格納されたマスキングルール５１を用いて、画像２１０がマスキング対象か否かを判定する（ステップＳ３２１）。

　画像２１０がマスキング対象でない場合（ステップＳ３２１：否定）、表示制御部２０２は、画像２１０を表示装置２０１に表示させる（ステップＳ３２２）。その後、作業端末２０は、画像表示処理を終了する。

　これに対して、画像２１０がマスキング対象の場合（ステップＳ３２１：肯定）、表示制御部２０２は、マスキングルール５１にしたがってマスキング部品２１１の取得を行う（ステップＳ３２３）。

　次に、表示制御部２０２は、マスキング部品２１１の取得が成功したか否かを判定する（ステップＳ３２４）。

　マスキング部品２１１の取得が失敗した場合（ステップＳ３２４：否定）、表示制御部２０２は、エラーメッセージを表示装置２０１に表示させて、エラーをユーザに通知する（ステップＳ３３４）。

　これに対して、マスキング部品２１１の取得が成功した場合（ステップＳ３２４：肯定）、表示制御部２０２は、画像２１０にマスキング部品２１１を付加して秘匿情報をマスクする（ステップＳ３２５）。

　次に、表示制御部２０２は、マスキング部品２１１を付加した画像２１０を表示装置２０１に表示させる（ステップＳ３２６）。

　次に、表示制御部２０２は、マスキングルール５１にしたがって、マスキング部品２１１に対応するＩＤマーカ２１２が存在するか否かを判定する（ステップＳ３２７）。ＩＤマーカ２１２が存在しない場合（ステップＳ３２７：否定）、画像表示処理は、ステップＳ３３０へ進む。

　これに対して、ＩＤマーカ２１２が存在する場合（ステップＳ３２７：肯定）、表示制御部２０２は、ＩＤマーカ２１２を取得する（ステップＳ３２８）。

　その後、表示制御部２０２は、取得したＩＤマーカ２１２を画像２１０におけるマスキング部品２１１の近傍に表示させる（ステップＳ３２９）。

　その後、表示制御部２０２は、回答情報を外部端末１０から受信したか否かを判定する（ステップＳ３３０）。

　回答情報を受信していない場合（ステップＳ３３０：否定）、作業端末２０は、画像表示処理を終了する。

　これに対して、回答情報を受信した場合（ステップＳ３３０：肯定）、表示制御部２０２は、回答情報に含まれるＩＤマーカ２１２のＩＤが、操作指示の受け付け許可対象として登録済みのＩＤか否かを判定する（ステップＳ３３１）。

　登録済みＩＤでない場合（ステップＳ３３１：否定）、表示制御部２０２は、エラーメッセージを表示装置２０１に表示させて、ユーザに通知する（ステップＳ３３４）。

　これに対して、登録済みＩＤの場合（ステップＳ３３１：肯定）、表示制御部２０２は、表示ルール５４を確認して、受信した通知の種別が、表示ルール５４に記載された通知種別と一致するか否かを判定する（ステップＳ３３２）。

　受信した通知の種別と表示ルール５４に記載された通知種別とが一致しない場合（ステップＳ３３２：否定）、表示制御部２０２は、エラーメッセージを表示装置２０１に表示させて、ユーザに通知する（ステップＳ３３４）。

　これに対して、受信した通知の種別と表示ルール５４に記載された通知種別とが一致する場合（ステップＳ３３２：肯定）、表示制御部２０２は、回答情報に含まれる操作指示にしたがって画像２１０を操作して、操作指示を反映させる（ステップＳ３３３）。

［第３の実施形態における効果］
　以上に説明したように、本実施形態に係る操作支援システム１では、外部端末１０は、秘匿情報に対応する問合せ情報が存在する場合に、秘匿情報とともに問合せ情報を音声再生する。その後、外部端末１０は、問合せ情報への回答となる回答情報の入力を受けると、その回答情報を作業端末２０へ送信して、画像２１０に回答情報で指定された操作を反映させる。

　これにより、秘匿情報が取得できる場合に、外部端末１０の所有者などの特定の者の意志に応じた操作を作業端末２０が表示する画像２１０に行うことができ、操作性を向上させることができる。したがって、秘匿情報を含む画像２１０を用いた作業の安全性を確保しつつ作業効率をより向上させることが可能となる。

［システム構成等］
　ここで、以上に図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central　Processing　Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
　一実施形態として、操作支援システム１に含まれる外部端末１０や作業端末２０は、パッケージソフトウェアやオンラインソフトウェアとして上記の情報処理を実行する秘匿情報取得プログラムや画像表示プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の秘匿情報取得プログラムや画像表示プログラムを情報処理装置に実行させることにより、情報処理装置を外部端末１０や作業端末２０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handy-phone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。

　また、操作支援システム１に含まれる外部端末１０や作業端末２０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の秘匿情報取得処理や画像表示処理に関するサービスを提供する秘匿情報処理サーバ装置や画像表示処理サーバ装置として実装することもできる。例えば、秘匿情報処理サーバ装置は、画像２１０を入力とし、秘匿情報取得処理を行う秘匿情報取得サービスを提供するサーバ装置として実装される。また、画像表示処理サーバ装置は、画像２１０のデータを入力とし、画像表示処理を行う画像表示サービスを提供するサーバ装置として実装される。この場合、秘匿情報処理サーバ装置や画像表示処理サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の秘匿情報取得処理や画像表示処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

　図１０は、操作支援プログラムに含まれる秘匿情報取得プログラムや画像表示プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（BASIC　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、外部端末１０や作業端末２０と同等の機能を持つ外部端末１０や作業端末２０の各処理を規定する秘匿情報取得プログラムや画像表示プログラムを含む操作支援プログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、外部端末１０や作業端末２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。

　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。

　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

　１　操作支援システム
　１０　外部端末
　２０　作業端末
　３０　音声出力装置
　４０　データ格納装置
　５１　マスキングルール
　５２　復号情報
　５３　秘匿情報ファイル
　５４　表示ルール
　１０１　画像認識部
　１０２　画像取得部
　１０３　ＵＩ部品座標特定部
　１０４　ＩＤ特定部
　１０５　復号部
　１０６　音声再生制御部
　１０７　連携制御部
　１０８　入出力インタフェース
　１０９　データベース
　１１０　秘匿情報取得部
　１１１　操作情報反映部
　２０１　表示装置
　２０２　表示制御部
　２０３　連携制御部
　２０４　データベース
　２１０　画像
　２１１　マスキング部品
　２１２　ＩＤマーカ
　４０１　連携制御部
　４０２　データベース

Claims

　第１の情報処理装置及び第２の情報処理装置を有する操作支援システムであって、
　前記第１の情報処理装置は、
　画像に含まれる所定情報を第１ＵＩ部品によりマスクし、マスクした前記画像を前記所定情報に関連する第２ＵＩ部品とともに画面に表示させる表示制御部を備え、
　前記第２の情報処理装置は、
　前記第１の情報処理装置の前記画面に表示された前記画像上の前記第２ＵＩ部品を読み取る読取部と、
　前記読取部により読み取られた前記第２ＵＩ部品から前記所定情報に関連する情報を抽出する抽出部と、
　前記抽出部により抽出された前記所定情報に関連する情報を音声再生する音声再生制御部とを備えた
　ことを特徴とする操作支援システム。
　前記表示制御部は、前記第２ＵＩ部品に暗号化した前記所定情報を付加し、
　前記抽出部は、前記第２ＵＩ部品を復号して前記所定情報を取得し、
　前記音声再生制御部は、前記所定情報を音声再生する
　ことを特徴とする請求項１に記載の操作支援システム。
　前記表示制御部は、前記第２ＵＩ部品に識別情報を付加し、
　前記読取部は、第２ＵＩ部品に付加された識別情報を読み取り、
　前記第２の情報処理装置は、前記識別情報と前記所定情報とが対応付けられて登録されたデータベースから、前記読取部により読み取られた前記識別情報に対応する前記所定情報を取得する取得部をさらに備えた、
ことを特徴とする請求項１又は２に記載の操作支援システム。
　前記音声再生制御部は、前記所定情報に関連する入力を促す問合せ情報を前記所定情報とともに音声再生し、
　前記第２の情報処理装置は、前記問合せ情報に対する操作指示の入力を受け付け、前記操作指示を前記表示制御部に通知する操作情報反映部をさらに備え、
　前記表示制御部は、前記操作情報反映部から通知された前記操作指示を前記画面に表示された前記画像に反映させる
　ことを特徴とする請求項３に記載の操作支援システム。
　前記表示制御部は、前記第２ＵＩ部品を含む前記第１ＵＩ部品を用いて前記画像をマスクすることを特徴とする請求項１に記載の操作支援システム。
　他の情報処理装置の画面に表示された画像であって、前記画像内の所定情報が第１ＵＩ部品によりマスクされ且つ前記所定情報に関連する第２ＵＩ部品を含む前記画像から、前記第２ＵＩ部品を読み取る読取部と、
　前記読取部により読み取られた前記第２ＵＩ部品から前記所定情報に関連する情報を抽出する抽出部と、
　前記抽出部により抽出された前記所定情報に関連する情報を音声再生する音声再生制御部と
　を備えたことを特徴とする操作支援装置。
　第１の情報処理装置に、画像に含まれる所定情報を第１ＵＩ部品によりマスクさせ、マスクさせた前記画像を前記所定情報に関連する第２ＵＩ部品とともに画面に表示させ、
　第２の情報処理装置に、前記第１の情報処理装置の前記画面に表示された前記画像上の前記第２ＵＩ部品を読み取らせ、読み取らせた前記第２ＵＩ部品から前記所定情報に関連する情報を抽出させ、抽出させた前記所定情報に関連する情報を音声再生させる
　ことを特徴とする操作支援方法。
　画像に含まれる所定情報を第１ＵＩ部品によりマスクし、マスクした前記画像を前記所定情報に関連する第２ＵＩ部品とともに画面に表示させる処理を第１のコンピュータに実行させ
　前記画面に表示された前記画像上の前記第２ＵＩ部品を読み取り、読み取った前記第２ＵＩ部品から前記所定情報に関連する情報を抽出し、抽出した前記所定情報に関連する情報を音声再生する処理を第２のコンピュータに実行させる
　ことを特徴とする操作支援プログラム。