JP5632035B2 - 遠隔作業支援システム及び遠隔作業支援プログラム - Google Patents

Description

本発明は、遠隔作業支援システム及び遠隔作業支援プログラムに関し、例えば、指示者と被指示者との間で、作業に係る情報を共有しながら遠隔作業の支援を行う遠隔作業支援システム及びプログラムに適用し得るものである。

例えば、製造メーカにおいて、設計者等の作業指示者（以下、指示者）は、生産現場等の作業者に対して、作業内容を直接指導することが一般的である。しかし、製造メーカの生産拠点と設計者の拠点とが離れた位置に設けられていることがあり、指示者は作業者に対して直接作業指示を指導することができない場合がある。

これに対し、従来、指示者が遠隔地の現場で作業を行う作業者に対して、作業の指示・指導支援を行うシステムとして遠隔作業支援システムがある。

特許文献１の記載技術は、ネットワークを介して指示者の端末と作業者の端末とが接続されており、指示者が撮像した映像を、作業者の端末に映し出し、両端末が映像を共有するというものである。これにより、指示者及び作業者は同じ映像を見ながら、指示者が電話により音声で作業者に作業指示することができる。

また、特許文献１の記載技術は、指示者自身の端末に映し出される映像画面上に矢印を付与し、その矢印で位置確認を行いながら作業指示を行うというものである。

特開２００８−１０７８７１号公報

しかしながら、特許文献１の記載技術は、指示者及び作業者のディスプレイに同じ映像を映し出すものであるが、詳細な指示については音声で指示することとなり、指示者が直感的に簡単な操作により作業指示を行うものではない。

また、ディスプレイに映し出される映像に矢印等を単に表示できるようにしても、作業者から見ると画面上を矢印が逐次移動して映し出されることとなり、作業者は、作業ポイントとなる箇所が判らず、作業指示を正しく目視判断することができない。

さらに、特許文献１の記載技術は、指示者側の映像に矢印等を重ねて表示するものである。しかし、例えば、作業者側の映像を指示者側がポインタで指図する等のように映像の撮像元とポインタの指図元とが異なる場合、両端末の画面サイズが異なり、映像の大きさが異なるため、映し出される映像の座標軸とポインタの座標軸とを調整することが必要となる。映像とポインタの位置情報の座標調整が取れていない場合、位置情報のズレが生じるため、例えばネジ止めなどの細かい作業指示を行う際に、指示者は正しくポインタでネジ（指示対象）の位置を指示できないという問題が生じ得る。

そのため、上記の課題に鑑み、音声通信と共に、複数の携帯端末の間で、正しく座標調整がなされた映像及びポインタ情報を共有することができ、作業指示者が直感的な指示を行い、作業者が目視により作業指示を的確に認識することができる遠隔作業支援システム及び遠隔作業支援プログラムが求められている。

かかる課題を解決するために、第１の本発明は、ネットワークを介して、通信手段を有する複数の携帯端末の間で表示画面に画像を映し出し、複数の携帯端末の表示画面にポインタを表示して遠隔作業を支援する遠隔作業支援システムにおいて、複数の携帯端末はそれぞれ、（１）他の携帯端末との間で呼接続を行う呼接続手段と、（２）呼接続後、他の携帯端末との間で共有する画像を表示する表示画面を有し、当該表示画面の操作位置を感知して接触位置を特定するタッチパネル手段と、（３）タッチパネル手段の表示画面にポインタを表示させ、表示画面上でポインタの表示制御を行うポインタ表示制御手段と、（４）表示画面に表示される画像の特徴点の位置情報とポインタの位置情報との相対的な位置関係に基づいて画像の特徴点を原点とする相対座標系を形成し、画像を共有する他の携帯端末との間の表示画面サイズの違いに応じた座標調整を行う画面制御手段とを備え、ポインタ表示制御手段が、呼接続後、表示画面の中央部座標にポインタを表示させるものであり、画面制御手段が、中央部座標の位置情報と画像の特徴点の位置情報とに基づく相対座標値と、他の携帯端末の表示画面サイズとの差分に基づいて相対座標系を形成し、自身の表示画面と他の携帯端末の表示画面との画素数のピッチ補正を行うものであることを特徴とする遠隔作業支援システムである。

第２の本発明は、コンピュータを、（１）ネットワークを介して他の携帯端末との間で呼接続を行う呼接続手段と、（２）呼接続後、他の携帯端末との間で共有する画像を表示する表示画面を有し、当該表示画面の接触位置を感知して操作位置を特定するタッチパネル手段と、（３）タッチパネル手段の表示画面にポインタを表示させ、表示画面上でポインタの表示制御を行うポインタ表示制御手段と、（４）表示画面に表示される画像の特徴点の位置情報とポインタの位置情報との相対的な位置関係に基づいて上記画像の特徴点を原点とする相対座標系を形成し、画像を共有する他の携帯端末との間の表示画面サイズの違いに応じた座標調整を行う画面制御手段として機能させ、ポインタ表示制御手段が、呼接続後、表示画面の中央部座標にポインタを表示させるものであり、画面制御手段が、中央部座標の位置情報と画像の特徴点の位置情報とに基づく相対座標値と、他の携帯端末の表示画面サイズとの差分に基づいて相対座標系を形成し、自身の表示画面と他の携帯端末の表示画面との画素数のピッチ補正を行うものであることを特徴とする遠隔作業支援プログラムである。

本発明によれば、複数の携帯端末の間で映像及びポインタ情報を共有することができ、作業指示者が直感的な指示を行い、作業者が目視により作業指示を的確に認識することができる。

実施形態に係る遠隔作業支援システムの全体構成を示す全体構成図である。 実施形態に係る携帯端末の内部構成を示す内部構成図である。 実施形態の携帯端末の制御部の主な機能を説明する機能ブロック図である。 実施形態に係るポインタの表示種類の設定・変更を説明する説明図である。 実施形態に係る遠隔作業支援処理の開始メニュー画面の一例を示す画面図である。 実施形態に係る発信元である携帯端末の発信画面の一例を示す画面図である。 実施形態に係る携帯端末間の呼制御処理を示すシーケンス図である。 実施形態に係るセッション確立後の携帯端末間の音声通信及び映像通信の様子を説明する説明図である。 実施形態に係る携帯端末における画面及びポインタの座標調整処理を示すフローチャートである。 実施形態に係る携帯端末の表示画面に表示されるポインタの初期位置を説明する説明図である。 実施形態に係るポインタ情報の通信処理を示すシーケンス図である。 実施形態に係る固定ポインタを説明する説明図である。 実施形態に係るポインタの移動を説明する説明図である。

（Ａ）主たる実施形態
以下では、本発明の遠隔作業支援システム及び遠隔作業支援プログラムの主たる実施形態を、図面を参照しながら詳細に説明する。

（Ａ−１）実施形態の構成
（Ａ−１−１）全体構成
図１は、実施形態に係る遠隔作業支援システムの全体構成を示す全体構成図である。図１において、この実施形態の遠隔作業支援システム１０は、ネットワーク３に接続可能な、複数（図１では２台の場合を示す）の携帯端末１−１及び１−２、呼制御装置２を有する。

呼制御装置２は、携帯端末１−１と携帯端末１−２との間のセッション制御を行うものである。呼制御装置２の通信プロトコルは特に限定されないが、例えば、ＳＩＰ（Session Initiation Protocol）やＩＴＵ−Ｔ勧告のＨ．３２３等に規定されるものを適用することができる。この実施形態では、呼制御装置２がＳＩＰサーバである場合を例示する。

携帯端末１−１及び１−２は、作業者や指示者が所持するものであり、タッチパネル方式の操作表示手段を備えるものであれば様々なものを適用することができる。携帯端末１−１及び１−２は、例えば、スマートフォン、タブレット型コンピュータ、携帯電話機、ゲーム端末、ノート型パーソナルコンピュータ、デジタルカメラ等を適用することができる。この実施形態では、携帯端末１−１は指示者のものであり、携帯端末１−２は作業者のものであるものとする。

なお、この実施形態では、説明を容易にするため、２台の携帯端末１−１及び１−２を備える場合を例示する。しかし、携帯端末の数は、３台以上であっても良い。例えば、指示者が複数の作業者に同時に作業指示を与える場合には、１台の指示者の携帯端末と、２台以上の作業者の携帯端末とを有する等としても良い。

携帯端末１−１及び１−２は、音声通信機能、通信機能、撮影機能、映像表示機能、映像画面上で位置情報を指し示す図形や画像であるマウスポインタ（以下、単にポインタという）を表示・移動・変更等を行うポインティング機能等を有する。

携帯端末１−１及び１−２は、呼制御装置２の制御を介して、相互端末間のセッションを確立し、セッション確立後、音声パケット、映像パケット、ポインタ情報パケット等の授受を行うものである。

ここで、音声通信について、携帯端末１−１及び１−２は双方向で通信することができるものとする。

また、映像通信について、携帯端末１−１及び１−２は、いずれか一の携帯端末が撮影した映像を当該一の携帯端末に表示すると共に、撮影映像を含む映像パケットを他の携帯端末に送信する。つまり、映像通信は、一方向の通信であり、一方の携帯端末が撮影した映像が他方の携帯端末に送信される。

例えば、携帯端末１−１及び１−２に映像送信権限を割り当てることで実現できる。現場の作業者側の携帯端末１−２に映像送信権限が割り当てられている場合、映像送信権限を有する携帯端末１−２は、撮影を行い、その撮影映像を含むパケットを他の携帯端末１−１に送信する。これにより、現場で作業者が取り扱う対象物を撮影した映像を、全ての携帯端末１−１及び１−２に映し出すことができる。なお、上記映像送信権限は変更可能なものであり、作業者側の携帯端末１−２から指示者側の携帯端末１−１に変更することができる。

さらに、映像上のポインタ情報の通信について、基本的には、一方の携帯端末から他方の携帯端末への一方向の通信とする。例えば、映像送信権限を有する作業者側の携帯端末１−２の撮影映像を携帯端末１−１及び１−２で共有しながら、指示者側の携帯端末１−１が映像上に表示するポインタ情報を含むパケットを携帯端末１−２に送信する。これにより、映像は作業者側の映像であり、ポインタは指示者側が指示したものとすることができるため、現場にいる作業者に対して指示者が遠隔から指示することができる。

なお、ポインタ情報の通信は、必要に応じて、携帯端末１−１及び１−２の双方向で通信できるようにしても良い。指示者の指示を受けている間に、作業者がポインタで確認したり又はポインタで指し示して質問したりするような場合に有効である。

（Ａ−１−２）携帯端末の内部構成
図２は、実施形態に係る携帯端末１−１及び１−２の内部構成を示す内部構成図である。携帯端末１−１及び１−２はいずれも同様の内部構成を有するため、図２では携帯端末１と表現して説明する。

図２において、実施形態に係る携帯端末１は、制御部１０１、記憶部１０２、通信部１０３、撮影制御部１０４、タッチパネル制御部１０５、表示制御部１０６、スピーカ／マイク制御部１０７、カメラ１０８、タッチパネル１０９、表示部１１０、スピーカ／マイク１１１を有する。

なお、この実施形態では、スピーカ／マイク１１１は携帯端末１に搭載されるものである場合を例示する。しかし、スピーカ／マイク１１１は携帯端末１に外付けされるものであっても良い。

制御部１０１は、携帯端末１が実現する機能を司るものである。制御部１０１は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、入出力インタフェース部等を有し、ＣＰＵが、ＲＯＭに格納される処理プログラムを読み出し、処理プログラムを実行することで、携帯端末１の機能が実現される。なお、処理プログラムは、ネットワークを介してダウンロード可能なものであり、インストールされたものがＣＰＵにより読み出し可能なものであっても良い。

記憶部１０２は、例えば、処理プログラムや処理に必要な情報等を記憶するものである。また、記憶部１０２は、後述する表示部１１０に表示される作業支援に係るポインタ表示（ポインタの軌跡や各種ポインタの種類等も含む）を伴う映像画面を記憶するものである。作業支援に係る映像画面は、動画像であっても良いし又は静止画像であっても良い。記憶部１０２には、映像画面上で、主に指示者が指示するポインタ表示の時系列の映像が記憶される。つまり、携帯端末１を用いて指示者が作業指示を行った映像を記憶（録画）することができる。なお、記憶部１０２は、作業支援に係る映像と共に、指示者と作業者との間で交わした音声を記憶（録音）するようにしても良い。

通信部１０３は、ネットワーク３との間で情報の授受を行うものである。通信部１０３の通信プロトコルは特に限定されず広く適用することができ、例えばＩＰ（インターネットプロトコル）を適用することができる。

カメラ１０８は、撮影制御部１０４の制御により撮影処理を行う撮影手段である。

撮影制御部１０４は、制御部１０１の制御を受けて、撮影手段であるカメラ１０８の動作を制御するものである。撮影制御部１０４は、静止画像又は動画像の撮影制御を行うものである。

タッチパネル１０９は、センサーにより、表示画面上の操作点の位置情報を感知し、その感知信号をタッチパネル制御部１０５に与えるものである。タッチパネル１０９は、後述する表示部１１０と一体的に設けられており、表示部１１０に表示される表示画面上でタッチされた位置情報を感知する。

タッチパネル制御部１０５は、制御部１０１の制御を受けて、タッチパネル１０９の処理を制御するものであり、タッチパネル１０９からの感知信号に基づいて、操作点の位置情報を検出するものである。なお、タッチパネル１０９及びタッチパネル制御部１０５は、種々の方式を広く適用することができ、例えば、表面型静電容量方式、投影型静電容量方式、電磁誘導方式、赤外線方式、表面弾性波方式等を適用することができる。

表示部１１０は、表示制御部１０６の制御により、メニュー画面や作業支援に係る映像やポインタ等を表示するものである。

表示制御部１０６は、制御部１０１の制御を受けて、表示部１１０の表示機能を制御するものである。

スピーカ／マイク１１１は、スピーカ／マイク制御部１０７の制御を受けて、音声通信で受信した音声を出力するスピーカと、音声を捕捉するマイクとである。

スピーカ／マイク制御部１０７は、制御部１０１の制御を受けて、スピーカ／マイク１１１の動作を制御するものである。

（Ａ−１−３）携帯端末の制御部による機能説明
図３は、この実施形態の携帯端末１の制御部１０１の主な機能を説明する機能ブロック図である。

図３において、制御部１０１の主な機能は、呼制御部２１、画面制御部２２、ポインタ表示制御部２３、ポインタ情報通知部２４、録画部２５を有する。

呼制御部２１は、他の携帯端末１との間の呼制御を行うものである。呼制御部２１は、映像送信権限を設定する映像送信権限設定部２１１を有する。

映像送信権限設定部２１１は、表示部１１０に表示される所定の設定画面を通じて、いずれかの携帯端末１に映像送信権限を設定するものである。映像送信権限設定部２１１は、例えば、別の携帯端末１宛に発信する際に設定画面を表示部１１０に表示させて映像送信権限を設定することができる。また、通話中においても所定操作により設定画面を表示部１１０に表示させて映像送信権限を設定又は変更できるようにしても良い。

画面制御部２２は、他の携帯端末１との間で共有する映像の画面制御を行うものである。図３に示すように、画面制御部２２は、画像処理部２２１、画像情報送信部２２２、画像情報受信部２２３、座標調整部２２４、画像固定部２２５を有する。

画像処理部２２１は、画面の座標調整を行うために、カメラ１０８の撮影映像に基づいて画像処理を行い、画像における特徴点を抽出するものである。画像の特徴点を抽出する方法は、種々の方法を広く適用することができ、例えば画像の空間領域や周波数領域で行うフィルタリング技術を適用することができる。例えば、画像処理部２２１は、空間フィルタを用いて、画像における、ある注目点（例えば、画素や所定のブロック単位）の濃度値（輝度値）と、注目点の近傍点（例えば、画素や所定のブロック単位）の濃度値（輝度値）との差分に基づいて、濃度値や色や模様等の特徴を含む領域を抽出する方法を適用できる。

画像情報通知部２２２は、映像送信権限を有する自身のカメラ１０８が撮影した画像を他の携帯端末１に通知するものである。ここで、画像情報送信部２２２は、画面の座標調整を行うために、カメラ１０８の表示部１１０の画面サイズ、表示部１１０の画素数、画像の特徴点の位置情報を他の携帯端末１に通知する。

画像情報取得部２２３は、映像送信権限を有する携帯端末１から送信された画像を取得し、その取得した画像を表示制御部１０６に与えるものである。また、画像情報取得部２２３は、画面の座標調整のため、映像送信権限を有する携帯端末１から、カメラ１０８の画像の画面サイズ、表示部１１０の画素数、画像の特徴点の位置情報を取得する。

座標調整部２２４は、映像送信権限を有する携帯端末１と自身との間の画像の座標調整を行うものである。座標調整部２２４による座標調整方法は、種々の方法を広く適用することができる。

例えば、座標調整部２２４は、映像送信権限を有する携帯端末１から取得した画像の特徴点（原点）の座標とポインタの初期位置（画面中央部座標）との相対値（相対座標）を求め、その相対値に基づいて画像の特徴点を原点とする相対座標系を求める。

また、座標調整部２２４は、映像送信権限を有する携帯端末１の画面サイズと自身の画面サイズとの差分に基づいて座標系の座標変換を行う。つまり、画面サイズの差分に応じて、画面上のＸ座標軸（水平方向）とＹ座標軸（垂直方向）の伸縮を行う。さらに、座標調整部２２４は、映像送信権限を有する携帯端末１の表示部１１０の表示部１１０の画素数と自身の表示部１１０の画素数に基づいて画素数のピッチ補正処理を行う。上記のようにして、画像の特徴点を原点とする相対座標系を求める。

画像固定部２２５は、映像送信権限を有する携帯端末１からの画像を固定するものである。映像送信権限を有する携帯端末１からの映像が動画像である場合、画像にブレが生じてしまい、指示者が正確にポインタで指示できないことがある。そこで、画像固定部２２５が映像を固定することにより、固定した画像において指示者が正しくポインタで指示できる。

ポインタ表示制御部２３は、表示部１１０の表示画面上に表示させるポインタ情報の表示制御を行うものである。図３に示すように、ポインタ表示制御部２３は、初期位置設定部２３１、ポインタ操作制御部２３２、ポインタ情報取得部２３３を有する。

初期位置設定部２３１は、指示者側の携帯端末１において、ポインタ表示が開始されたときに、表示部１１０の表示画面の画面中央部座標にポインタを表示するものである。初期位置設定部２３１が画面中央座標値にポインタを表示することにより、当該画面中央部座標と画像の特徴点（原点）の座標との相対値（相対座標）に基づいて、画像の特徴点を原点とする相対座標系を求めさせることができる。

ポインタ操作制御部２３２は、表示部１１０の表示画面に表示されるポインタの表示制御を行うものである。ポインタ操作制御部２３２は、指示者等の操作を受けて、１又は複数のポインタを表示部１１０の表示画面上に表示させることができ、それぞれのポインタの表示種類や機能を制御する。

ポインタの機能的な種別は、例えば、表示画面上の特定位置を固定的に示す固定ポインタと、表示画面上で移動させることができる移動ポインタがある。固定ポインタ又は移動ポインタを選択する方法は種々の方法があり、１つのポインタ選択方法を設けるようにしても良いし、又複数のポインタ選択方法を並設させるようにしても良い。

例えば、予め設定された固定ポインタと移動ポインタとを含むポインタ種類リストを表示部１１０の表示画面に表示し、そのポインタ種類リストから指示者等により選択させる方法がある。ポインタ種類リストは、表示部１１０の表示画面上にアイコン付きの選択ボタン（例えばツールバー等）として表示するようにしても良い。

また例えば、指示者等によるタッチパネル１０９上での操作方法（操作パターン）の違いによって、固定ポインタと移動ポインタとを選択させる方法がある。具体的には、タッチパネル１０９上の任意の位置に１回タッチされた場合、ポインタ操作制御部２３２は移動ポインタを表示するようにし、タッチパネル１０９上の任意の位置に連続して２回タッチされた場合、ポインタ操作制御部２３２は固定ポインタを表示するようにしても良い。

さらに例えば、ポインタ操作制御部２３２は、１個又は複数個の固定ポインタを表示画面に表示させる際、数字や文字（例えば、アルファベット等）を付与した固定ポインタを表示画面に表示させるようにしても良い。

図１２は、実施形態に係る固定ポインタを説明する説明図である。図１２には、数字が付与された固定ポインタ５１、５２、５３が表示される場合を例示する。

図１２に示すように、表示画面に表示させる固定ポインタの表示順序に従って、ポインタ操作制御部２３２は、「１」、「２」、「３」、…等の数字が付与された固定ポインタを表示させる。これにより、例えば指示者は「「１」の部材を「２」の位置に移動させてください。」等のように、固定ポインタの数字等を用いて指示者は作業者とコミュニケーションを図ることができ、より明確な指示が可能となる。

ポインタの表示態様の種別は、様々なポインタの形状や図柄や色等がある。ポインタの形状や図柄や色等は、固定ポインタと移動ポインタのいずれの場合であっても設定・変更することができる。

図４は、実施形態に係るポインタの表示種類の設定・変更を説明する説明図である。図４（Ａ）は、携帯端末１の表示部１１０上のポインタ選択ボタン５を示す画面図である。ここでは、説明を容易にするために、ポインタ選択ボタン５が移動ポインタのものである場合を例示する。図４（Ａ）に例示するように、ポインタ選択ボタン５は、表示部１１０の右上端部付近に設けられており、指示者等がポインタ選択ボタン５を押下するたびに、ポインタ操作制御部２３２がポインタの表示種類を変更する。図４（Ｂ）は、ポインタの表示種類の一例を示す図である。図４（Ｂ）に例示するように、ポインタの表示種類は「ポインタオフ」から「二重丸」までを１周期とし、ポインタ選択ボタン５が押下されるたびに、「ポインタオフ」→「上向き（矢印）」→「下向き（矢印）」→「右向き（矢印）」→「左向き（矢印）」→「クロス」→「二重丸」→「ポインタオフ」→…の順で切り替えて、ポインタの表示態様を変更することができる。

また、ポインタ操作制御部２３２は、タッチパネル１０９上で同時に複数の位置でタッチされた場合に線を表示画面に描画するものである。

例えば、タッチパネル１０９上に同時に２点がタッチされた場合、ポインタ操作制御部２３２は２点の位置を結ぶ線を表示画面上に描画するようにしても良い。このとき、ポインタ操作制御部２３２は、画像の特徴点を原点とする座標系を有しているため、原点に対する２点の相対的な位置情報を取得することができる。従って、ポインタ操作制御部２３２は、２点の相対的な位置情報を用いて、２点間の線分の長さを求めるようにしても良い。

また例えば、タッチパネル１０９上に同時に３点がタッチされた場合、ポインタ操作制御部２３２は、隣り合う３点の位置を結ぶ枠を表示画面上に描画するようにしても良い。

ポインタ情報取得部２３３は、タッチパネル制御部１０５からタッチパネル１０９上のポインタの位置情報と、ポインタ操作制御部２３２からポインタ種別を識別するポインタ識別情報とを取得するものである。

ポインタ情報通知部２４は、ポインタ情報取得部２３３により取得されたポインタ情報（ポインタの位置情報、ポインタ識別情報）と、自身の表示部１１０の画面サイズ情報とを他の携帯端末１に通知するものである。

記録部２５は、作業支援に係るポインタ表示（ポインタの軌跡や各種ポインタの種類等も含む）を伴う映像画面を記憶部１０２に記録するものである。また、記録部２５は、作業支援に係る映像と共に、指示者と作業者との間で交わした音声を記憶部１０２に記録するようにしても良い。

（Ａ−２）実施形態の動作
次に、この実施形態に係る遠隔作業支援システム１０における遠隔作業支援処理を、図面を参照しながら詳細に説明する。

（Ａ−２−１）通信処理
以下では、指示者側の携帯端末１−１と作業者側の携帯端末１−２とのいずれかが、遠隔作業支援に係るアプリケーションを起動して遠隔作業支援処理を開始する。

遠隔作業支援処理の開始は、携帯端末１−１と携帯端末１−２のいずれかから開始しても良い。ここでは、指示者側の携帯端末１−１が遠隔作業支援処理を開始するものとする。

図５は、実施形態に係る遠隔作業支援処理の開始メニュー画面の一例を示す画面図である。例えば、図５に例示するように、開始メニュー画面は、開始ボタン５００と、指示者の権限を指定する指示者指定欄５０１と、映像送信権限を指定する映像送信元指定欄５０２とを有する。

この例の場合、指示者は、指示者指定欄５０１に自身の携帯端末１−１の識別情報（例えば、電話番号、ＩＰアドレス、携帯端末ＩＤ等）を入力すると共に、映像送信元指定欄５０２に携帯端末１−２の識別情報を入力して、開始ボタン５００を選択する。

なお、映像送信権限や指示者の設定・変更は、遠隔作業支援処理の最初に行うようにしても良いし、セッション確立後の通信中に行うようにしても良い。特に通信中の場合、表示画面のメニューバー等を読み出して映像送信権限や指示者の設定・変更を行うようにしても良い。

また、図５の例では、指示者指定欄５０１と映像送信元指定部５０２との両方を指定する場合を例示するが、指示者指定欄５０１と映像送信元指定欄５０２とのいずれかのみを指定するようにしても良い。

次に、指示者の操作を受けて、携帯端末１−１は、携帯端末１−２の電話番号を発信先として発信を行い、携帯端末１−１と携帯端末１−２との間のセッションを確立する。

図６は、実施形態に係る発信元である携帯端末１−１の発信画面の一例を示す画面図である。例えば、図６に例示するように、発信画面は、発信先の電話番号（ＩＰ電話番号）を入力する入力欄５０３を有する。この例の場合、指示者は、入力欄５０３に携帯端末１−２（発信先）の電話番号を入力し、Ｃａｌｌボタン５０４を押下する。これにより、携帯端末１−１は、発信先である携帯端末１−２に対して発信を行う。

図７は、実施形態に係る携帯端末１−１及び１−２間の呼制御処理を示すシーケンス図である。ここでは、ＳＩＰを用いてセッションを確立する場合を例示する。

図７において、まず、携帯端末１−１が、発信先である携帯端末１−２宛のＩＮＶＩＴＥメッセージを含む発呼要求パケット（以下、ＩＮＶＩＴＥという）を呼制御装置２に送信する（Ｓ１０１）。

呼制御装置２は、ＩＮＶＩＴＥに対して１００（Ｔｒｙ）レスポンスを含むパケット（以下、１００（Ｔｒｙ）レスポンスともいう）を携帯端末１−１に返信する（Ｓ１０４）。また、呼制御装置２は、発信先である携帯端末１−２に対してＩＮＶＩＴＥを転送する（Ｓ１０３）。

携帯端末１−２は、ＩＮＶＩＴＥに対して１００（Ｔｒｙ）レスポンスを呼制御装置２に返信する（Ｓ１０４）。このとき、着信側の携帯端末１−２は、ＴＣＰポートを開放（ＯＰＥＮ）する（Ｓ１０５）。携帯端末１−２は、呼出中であることを示す１８０（Ｒｉｎｇ）レスポンスを含むパケット（以下、１８０（Ｒｉｎｇ）レスポンス）を呼制御装置２に対して返信する（Ｓ１０６）。呼制御装置２は、受信した１８０（Ｒｉｎｇ）レスポンスを携帯端末１−１に転送する（Ｓ１０７）。

携帯端末１−２が応答すると、携帯端末１−２は、２００（ＯＫ）レスポンスを含むパケット（以下、２００（ＯＫ）レスポンスともいう）を呼制御装置２に送信する（Ｓ１０８）。また、呼制御装置１−１は、２００（ＯＫ）レスポンスを携帯端末１−１に転送する（Ｓ１０９）。

携帯端末１−１は、ＴＣＰポートを接続してセッションを確立し（Ｓ１１０）、ＡＣＫを携帯端末１−２に返信する（Ｓ１１１）。

上記のようにして、携帯端末１−１と携帯端末１−２とのセッションが確立され、携帯端末１−１と携帯端末１−２との間で音声通信及び映像通信が開始される（Ｓ１１２）。

図８は、実施形態に係るセッション確立後の携帯端末１−１と携帯端末１−２との間の音声通信及び映像通信の様子を説明する説明図である。なお、図８において、５０５はポインタ選択ボタンであり、５０６は終話ボタンである。

図８に示すように、音声通信については、携帯端末１−１と携帯端末１−２との間で、双方向で行なわれる。

一方、映像通信については、映像送信権限を有する携帯端末１−２から携帯端末１−１に向けて一方向で行われる。作業者は、携帯端末１−２を用いて作業対象物をカメラ１０８で撮影する。携帯端末１−２は、撮影された映像を表示部１１０に表示すると共に、撮影映像を含む映像パケットを携帯端末１−１に送信する。

具体的には、ＳＩＰの場合、携帯端末１−１は、メディア情報を記述するＳＤＰ（Session Description Protocol）に映像が受信のみであることを示す「recvonly」で通知することで、携帯端末１−１は映像受信のみを行うことができる。一方、映像送信権限を有する携帯端末１−２は、ＳＤＰに映像が送信のみであることを示す「sendonly」で通知することで、携帯端末１−２は映像送信のみを行うことができる。

（Ａ−２−２）座標調整処理
図９は、実施形態に係る携帯端末１における画面及びポインタの座標調整処理を示すフローチャートである。

まず、携帯端末１−１と携帯端末１−２との間でセッションが確立し、音声通信・映像通信が開始すると、指示者側の携帯端末１−１の表示部１１０には、ポインタ選択ボタン５０５が表示される（図８参照）。図８のポインタ選択ボタン５０５はポインタオフの状態である。

指示者が携帯端末１−１の表示画面のポインタ選択ボタン５０５を押下すると（Ｓ２０１）、ポインタ表示がＯＮとなる。

ポインタ表示がＯＮとなると、指示者の携帯端末１−１の表示部１１０の表示画面の中央部座標にポインタが表示される（Ｓ２０２）。つまり、図１０に示すように、ポインタ５０７は初期位置として画面の中央部座標に表示される。

このとき、ポインタ表示ＯＮになった旨の情報は、携帯端末１−１から携帯端末１−２に通知される。これにより、携帯端末１−２もポインタ表示がＯＮになったことを認識し、図１０に示すように、携帯端末１−２の表示部１１０の表示画面の中央部座標にポインタ５０８が表示される。そして、携帯端末１−１及び携帯端末１−２の両方において、画面の座標調整処理が行われる。

携帯端末１（１−１及び１−２）において、座標調整部２２４は、携帯端末１−２が撮影した画像の特徴点（原点）の座標と、ポインタの初期位置（画面中央部座標）との相対値（相対座標）を求める（Ｓ２０３）。これにより、画像の特徴点を原点とする相対座標系を求めることができる。

次に、座標調整部２２４は、映像送信権限を有する携帯端末１の画面サイズと自身の画面サイズとの差分に基づいて座標系の座標変換を行う（Ｓ２０４）。

さらに、座標調整部２２４は、映像送信権限を有する携帯端末１の表示部１１０の表示部１１０の画素数と自身の表示部１１０の画素数の差分に基づいて表示部１１０の補正処理を行う（Ｓ２０５）。上記のようにして、画像の特徴点を原点とする相対座標系を求める。これにより、画像とポインタの連動が可能となる。

その結果、指示者が画像を見て、指をタッチしたポインタの位置は、作業者の画面では、撮影した画像の原点から監督者のポインタの位置を決めているため、指示のズレが低減することができる。

なお、携帯端末１−２が動画像を撮影する場合に、画像にブレが生じる場合には、画像を固定して静止画にしてから座標調整を行うようにしても良い。

（Ａ−２−３）ポインタ操作及びポインタ情報の通信処理
次に、指示者の携帯端末１−１におけるポインタ操作の説明とポインタ情報の通信処理について図面を参照しながら詳細に説明する。

図１１は、実施形態に係るポインタ情報の通信処理を示すシーケンス図である。

図１１では、指示者側の携帯端末１−１のタッチパネル１０９上で操作したポインタのポインタ情報を、作業者側の携帯端末１−２に通知する場合を例示している。また、図１１では、タッチパネル１０９上での操作の仕方に応じて、複数のポインタ情報の通信態様を記載している。

ポインタ情報の通知はソケット通信を行う。ソケット通信には、通信相手となるＩＰアドレスが必要となる。しかし、呼制御装置（ＳＩＰサーバ）２がＩＰアドレスを書き換えるものもあるため、呼制御装置２の種類によっては、ソケット通信が使用できない場合もある。

そこで、この実施形態では、ポインタ情報の通知に、ＳＩＰのＩＮＦＯメソッドを使用する。ＩＮＦＯメソッドとは、呼確立（セッション確立）後に、セッション状態とは無関係な情報をＳＩＰネットワーク内に転送するためのものである。

つまり、ＩＮＦＯメソッドのＣｏｎｔｅｎｔにポインタ情報を設定して通信する。このように、ＩＮＦＯメソッドを使用することで、通信相手のＩＰアドレスを必要とせずにポインタ情報を通信することができる。

図１１において、携帯端末１−１のタッチパネル１０９上で指示者がタッチする（Ｓ１２１）。

ポインタ表示制御部２３は、ポインタの種別を示すポインタ識別情報と、当該ポインタのポインタ位置情報と、当該携帯端末１−１の画面サイズとを含む情報をポインタ情報として取得する。そして、ポインタ情報通知部２４は、ＩＮＦＯメソッドのＣｏｎｔｅｎｔに上記ポインタ情報を付与して呼制御装置（ＳＩＰサーバ）２に送信する（Ｓ１２２）。

呼制御装置２は、携帯端末１−１から受信したポインタ情報を含むＩＮＦＯをセッション確立している携帯端末１−２に送信する（Ｓ１２３）。

携帯端末１−２では、ポインタ表示制御部２３が、受信したＩＮＦＯメソッドのＣｏｎｔｅｎｎｔに含まれるポインタ情報に基づいて、当該携帯端末１−２の表示部１１０にポインタ情報を表示する（Ｓ１２４）。つまり、ポインタ表示制御部２３は、ポインタ識別情報に基づいて表示させるポインタの種類を決定する。また、ポインタ操作制御部２３２は、ポインタ位置情報及び画面サイズに基づいて、自身の表示部１１０においてポインタを表示させるポインタ表示位置を決定する。

ここで、携帯端末１−１において、指示者がポインタの種類を変更した場合も、図１１のＳ１２１〜Ｓ１２４の処理と同様の処理が行われる。つまり、携帯端末１−１は、変更後のポインタのポインタ識別情報、ポインタ位置情報及び画面サイズをＩＮＦＯメソッドのＣｏｎｔｅｎｔに付与し、呼制御装置２を介して携帯端末１−２に送信する。携帯端末１−２では、ポインタ識別情報に基づいて、変更後の種類のポインタに変更し、ポインタ位置情報及び画面サイズに基づく表示位置にポインタを表示させる。

図１３は、実施形態に係るポインタの移動を説明する説明図である。図１３では、指示者がポインタの位置を位置５０９から位置５１０に移動させる場合を例示する。

図１３のように指示者がポインタの位置を移動させる場合のポインタ情報の通信は、図１１のＳ１３１〜Ｓ１３９の処理を行う。

まず、指示者が携帯端末１−１のタッチパネル１０９上にタッチすると（Ｓ１３１）、携帯端末１−１は、そのポインタのポインタ識別情報、ポインタ位置情報及び画面サイズを含むポインタ情報が付与されたＩＮＦＯメソッドを、呼制御装置２を介して携帯端末１−２に送信する（Ｓ１３２、Ｓ１３３）。そして、携帯端末１−２は、ＩＮＦＯメソッドのＣｏｎｔｅｎｔに含まれるポインタ情報に基づいて、表示部１１０上にポインタを表示する（Ｓ１３４）。

携帯端末１−１において、指示者がポインタの位置を移動させる（Ｓ１３５）。このとき、ポインタの移動中は、携帯端末１−１は、ポインタ情報を携帯端末１−２に通知しない。そのため、指示者は携帯端末１−１のタッチパネル１０９上で移動させるが、作業者の携帯端末１−２の表示部１１０上にはポインタの移動は反映されない。

そして、携帯端末１−１において、指示者がタッチパネル１０９から指を離したとき（すなわち、タッチパネル１０９上の感知がなくなったとき）、携帯端末１−１は、その指を離した最後のポインタ位置情報、ポインタ識別情報及び画面サイズを含むポインタ情報が付与されたＩＮＦＯメソッドを、呼制御装置２を介して携帯端末１−２に送信する（Ｓ１３６〜Ｓ１３８）。そして、携帯端末１−２は、ＩＮＦＯメソッドのＣｏｎｔｅｎｔに含まれるポインタ情報に基づいて、表示部１１０上にポインタを表示する（Ｓ１３９）。

次に、指示者がポインタを移動させる時間が比較的長い場合、ポインタ情報が携帯端末１−２に通知されず、携帯端末１−２の表示部１１０にポインタが表示されないことが生じ得る。

そこで、指示者によるポインタの移動時間が比較的長い場合には、図１１のＳ１４１〜Ｓ１５５の処理を行う。

まず、指示者が携帯端末１−１のタッチパネル１０９上にタッチすると（Ｓ１４１）、携帯端末１−１は、そのポインタのポインタ識別情報、ポインタ位置情報及び画面サイズを含むポインタ情報が付与されたＩＮＦＯメソッドを、呼制御装置２を介して携帯端末１−２に送信する（Ｓ１４２、Ｓ１４３）。そして、携帯端末１−２は、ＩＮＦＯメソッドのＣｏｎｔｅｎｔに含まれるポインタ情報に基づいて、表示部１１０上にポインタを表示する（Ｓ１４４）。

携帯端末１−１において、指示者がポインタの位置を移動させる（Ｓ１４５）。このとき、携帯端末１−１において、ポインタ表示制御部２３は、ポインタ移動開始からタイマ時刻の計時を行い、所定時間経過すると、その所定時間までにポインタが移動した複数のポインタ位置情報及びポインタ識別情報を取得する。例えば、ポインタ表示制御部２３は、所定時間が経過するまでのポインタ位置情報の軌跡を記憶しておくようにしても良いし、当該所定時間よりも短い時間毎にポインタ位置情報を記憶するようにしても良い。

そして、ポインタ情報通知部２４は、所定時間までの複数のポインタ位置情報、ポインタ識別情報及び画面サイズを含むポインタ情報が付与されたＩＮＦＯメソッドを、呼制御装置２を介して携帯端末１−２に送信する（Ｓ１４６、Ｓ１４７）。

これにより、ポインタが移動中であっても、携帯端末１−２は、ＩＮＦＯメソッドのＣｏｎｔｅｎｔに含まれるポインタ情報に基づいて表示部１１０上にポインタの移動を表示することができる（Ｓ１４８）。携帯端末１−１は、ポインタの移動中に所定時間経過するごとにＳ１４５〜Ｓ１４８の処理を繰り返し行う（Ｓ１４９〜Ｓ１５１）。

そして、携帯端末１−１において、指示者がタッチパネル１０９から指を反したとき（すなわち、タッチパネル１０９上の感知がなくなったとき）、携帯端末１−１は、その指を離した時点までの複数のポインタ位置情報、ポインタ識別情報及び画面サイズを含むポインタ情報が付与されたＩＮＦＯメソッドを、呼制御装置２を介して携帯端末１−２に送信する（Ｓ１５２〜Ｓ１５４）。そして、携帯端末１−２は、ＩＮＦＯメソッドのＣｏｎｔｅｎｔに含まれるポインタ情報に基づいて、表示部１１０上にポインタを表示する（Ｓ１５４）。

（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、音声通信の他に、指示者端末と作業者端末との間で映像及びポインタ情報を共有することができ、作業指示者が直感的な指示を行い、作業者が目視により作業指示を的確に認識することができる。

（Ｂ）他の実施形態
上述した実施形態においても本発明の種々の変形実施形態を説明したが、本発明は、以下の変形実施形態にも適用することができる。

（Ｂ−１）上述した実施形態では、例えば製造メーカにおける設計者等の指示者の携帯端末と、生産現場等の作業者の携帯端末との間で行う遠隔作業支援システムの実施形態を例示した。しかし、使用される用途は、上記のような製造メーカにおける使用に限定されるものではなく、指示者が遠隔地にいる者に対して指示するようなケースに広く適用することができる。例えば、医療現場や教育現場等においても本発明を適用することができる。

（Ｂ−２）上述した実施形態の動作の説明では、携帯端末１−２が撮影した画像を、携帯端末１−１及び携帯端末１−２が共有する場合を例示したが、映像送信権限の変更により、携帯端末１−１が撮影した映像を携帯端末１−１及び携帯端末１−２間で共有するようにしても良い。

（Ｂ−３）また、上述した実施形態では、ポインタの操作について、指示者側である携帯端末１−１のみが操作する場合を例示した。しかし、例えばポインタの色を変えるなどして、指示者側の携帯端末１−１と作業者側の携帯端末１−２の双方がポインタ操作できるようにしても良い。これにより、音声通信によるコミュニケーションだけでなく、ポインタを通じてのコミュニケーションを図ることができる。

（Ｂ−４）上述した実施形態では、携帯端末１−２がリアルタイムで撮影した画像を携帯端末間で共有する場合を例示した。しかし、予め撮影した画像を記憶部（例えば、携帯端末に内蔵の記憶部や、フラッシュメモリ等を含む）から読み出し、その画像を携帯端末間で共有するものであっても良い。

（Ｂ−５）
上述した実施形態に加えて、作業者側の携帯端末１−２の画面に「一時停止ボタン」を設けるようにしても良い。この一時停止ボタンの押下による一時停止機能は、撮影中の動画像を一時的に停止するだけでなく、指示者側からのポインタ表示も画面において固定するものである。

例えば、作業者は動画像撮影中、指示者からポインタ指示された箇所の作業を行う際に「一時停止ボタン」を押す。「一時停止ボタン」が押されると、作業者側の画面が静止状態となり、ボタンを押したタイミングの静止画とポインタ表示が表示される。

このとき、停止するのは撮影のみで、通信・通話状態は継続されるが、指示者側からのポインタ表示の指示は受け付けないようにする。再度「一時停止ボタン」が押されると動画撮影を再開する。

上記のように、動画像撮影中に画像を一時停止させることにより、作業をする際に、作業対象を撮影しながらでなくとも作業対象の画像とポインタ表示を見ることができるので、両手を要する作業も容易に行うことができる。

なお、動画像を一時停止させるのではなく、作業者が映している映像について動画像と静止画像とをボタン１つで切り替えられるものであっても良い。

１０…遠隔作業支援システム、１（１−１、１−２）…携帯端末、２…呼制御装置、３…ネットワーク、１０１…制御部、１０２…記憶部、１０３…通信部、１０４…撮影制御部、１０５…タッチパネル制御部、１０６…表示制御部、１０７…スピーカ／マイク制御部、１０８…カメラ、１０９…タッチパネル、１１０…表示部、１１１…スピーカ／マイク。

Claims (10)

1. ネットワークを介して、通信手段を有する複数の携帯端末の間で表示画面に画像を映し出し、複数の携帯端末の表示画面にポインタを表示して遠隔作業を支援する遠隔作業支援システムにおいて、
   上記複数の携帯端末はそれぞれ、
   他の携帯端末との間で呼接続を行う呼接続手段と、
   呼接続後、他の携帯端末との間で共有する画像を表示する表示画面を有し、当該表示画面の接触位置を感知して操作位置を特定するタッチパネル手段と、
   上記タッチパネル手段の表示画面にポインタを表示させ、表示画面上でポインタの表示制御を行うポインタ表示制御手段と、
   表示画面に表示される画像の特徴点の位置情報とポインタの位置情報との相対的な位置関係に基づいて上記画像の特徴点を原点とする相対座標系を形成し、画像を共有する他の携帯端末との間の表示画面サイズの違いに応じた座標調整を行う画面制御手段と
   を備え、
   上記ポインタ表示制御手段が、呼接続後、上記表示画面の中央部座標に上記ポインタを表示させるものであり、
   上記画面制御手段が、上記中央部座標の位置情報と上記画像の特徴点の位置情報とに基づく相対座標値と、他の携帯端末の表示画面サイズとの差分に基づいて相対座標系を形成し、自身の表示画面と他の携帯端末の表示画面との画素数のピッチ補正を行うものである
   ことを特徴とする遠隔作業支援システム。
2. 複数の携帯端末の間の呼制御を行う呼制御装置を備え、
   上記複数の携帯端末のそれぞれが、
   呼接続後、上記ポインタ表示制御手段により表示画面に表示させるポインタの所定のポインタ情報を、上記呼制御装置を介して他の携帯端末に通知するポインタ情報通知手段を備える
   ことを特徴とする請求項１に記載の遠隔作業支援システム。
3. 上記ポインタ情報通知手段は、上記タッチパネル手段の表示画面上でポインタの移動がなされると、移動中のポインタのポインタ情報を通知せず、タッチパネル手段への接触がなくなったときのポインタ位置情報を含むポインタ情報を通知するものであることを特徴とする請求項２に記載の遠隔作業支援システム。
4. 上記ポインタ表示制御手段は、上記タッチパネル手段の表示画面上でポインタの移動がなされると、ポインタの移動位置の軌跡を所定期間毎に取得し、
   上記ポインタ情報通知手段が、所定期間毎に、ポインタの移動位置の軌跡を含むポインタ情報を通知するものである
   ことを特徴とする請求項２又は３に記載の遠隔作業支援システム。
5. 上記ポインタ表示制御手段が、上記タッチパネル手段の表示画面の接触パターン、及び又は、予め設定されたポインタ種別の選択に基づいて、表示画面に表示させるポインタの種類を変更させるものであることを特徴とする請求項１〜４のいずれかに記載の遠隔作業支援システム。
6. 上記ポインタ表示制御手段が、上記タッチパネル手段の表示画面上の指示された位置を固定的に示す固定ポインタを表示させるものであることを特徴とする請求項１〜５のいずれかに記載の遠隔作業支援システム。
7. 上記ポインタ表示制御手段が、数字及び又は文字を付した固定ポインタを表示させるものであることを特徴とする請求項６に記載の遠隔作業支援システム。
8. 上記携帯端末は上記表示画面に表示した画像を記録するための記憶部を備え、
   上記記憶部に記録する画像は、上記ポインタ表示制御部によるポインタの表示を含む画像であることを特徴とする請求項１〜７のいずれかに記載の遠隔作業支援システム。
9. 上記ポインタ表示制御手段は、上記タッチパネルの表示画面に同時に複数の位置に接触されたときに、それら複数の位置情報を結ぶ線を描画させるものであることを特徴とする請求項１〜８のいずれかに記載の遠隔作業支援システム。
10. コンピュータを、
    ネットワークを介して他の携帯端末との間で呼接続を行う呼接続手段と、
    呼接続後、他の携帯端末との間で共有する画像を表示する表示画面を有し、当該表示画面の接触位置を感知して操作位置を特定するタッチパネル手段と、
    上記タッチパネル手段の表示画面にポインタを表示させ、表示画面上でポインタの表示制御を行うポインタ表示制御手段と、
    表示画面に表示される画像の特徴点の位置情報とポインタの位置情報との相対的な位置関係に基づいて上記画像の特徴点を原点とする相対座標系を形成し、画像を共有する他の携帯端末との間の表示画面サイズの違いに応じた座標調整を行う画面制御手段と
    して機能させ、
    上記ポインタ表示制御手段が、呼接続後、上記表示画面の中央部座標に上記ポインタを表示させるものであり、
    上記画面制御手段が、上記中央部座標の位置情報と上記画像の特徴点の位置情報とに基づく相対座標値と、他の携帯端末の表示画面サイズとの差分に基づいて相対座標系を形成し、自身の表示画面と他の携帯端末の表示画面との画素数のピッチ補正を行うものである
    ことを特徴とする遠隔作業支援プログラム。

Images