JP7360657B2 - サーバ装置、管理プログラム及び管理システム - Google Patents

サーバ装置、管理プログラム及び管理システム Download PDF

Info

Publication number
JP7360657B2
JP7360657B2 JP2022042156A JP2022042156A JP7360657B2 JP 7360657 B2 JP7360657 B2 JP 7360657B2 JP 2022042156 A JP2022042156 A JP 2022042156A JP 2022042156 A JP2022042156 A JP 2022042156A JP 7360657 B2 JP7360657 B2 JP 7360657B2
Authority
JP
Japan
Prior art keywords
terminal
session
server device
identifier
connection request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022042156A
Other languages
English (en)
Other versions
JP2023136471A (ja
Inventor
浩太朗 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fairy Devices Inc
Original Assignee
Fairy Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fairy Devices Inc filed Critical Fairy Devices Inc
Priority to JP2022042156A priority Critical patent/JP7360657B2/ja
Priority to PCT/JP2023/009022 priority patent/WO2023176678A1/ja
Publication of JP2023136471A publication Critical patent/JP2023136471A/ja
Application granted granted Critical
Publication of JP7360657B2 publication Critical patent/JP7360657B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1094Inter-user-equipment sessions transfer or sharing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/143Termination or inactivation of sessions, e.g. event-controlled end of session
    • H04L67/145Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/11Allocation or use of connection identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/19Connection re-establishment

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Computer And Data Communications (AREA)

Description

本開示は、サーバ装置、管理プログラム及び管理システムに関する。
ウェアラブル端末を装着した現場作業者が、各種作業を行う際、当該ウェアラブル端末を遠隔にいる支援者の端末に接続し、支援者の端末との間で双方向通信を行うことで、遠隔にいる支援者による支援を可能にする管理システムが知られている。
当該管理システムによれば、現場作業者は、支援者からの指示をリアルタイムに受けることができるため、経験年数が浅い場合であっても、各種作業を円滑に行うことができる。
国際公開第2016/013530号
ここで、現場作業者が各種作業を行う現場は、一般に電波が途切れやすい環境にある。このため、双方向通信の切断が頻繁に発生し、現場作業者は、そのたびにウェアラブル端末を新たなセッションに接続して、双方向通信を再開させるための操作を行うことが必要となる。
一方で、ウェアラブル端末には、複雑な操作に適したユーザインタフェース(例えば、操作画面等)が備えられておらず、双方向通信を再開させる操作は、現場作業者にとって操作負荷が高い。
本開示は、双方向通信を再開させる際の現場作業者の操作負荷を低減させるサーバ装置、管理プログラム及び管理システムを提供する。
本開示の第1の態様は、第1の端末と第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置であって、
前記サーバ装置が有する制御部は、
前記第1の端末が接続していたセッションの識別子を指定した接続要求が、前記第1の端末から送信された場合であって、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末を、前記第1の端末が接続していたセッションに再接続する。
本開示の第1の態様によれば、双方向通信を再開させる際の現場作業者の操作負荷を低減させるサーバ装置を提供することができる。
本開示の第2の態様は、第1の態様に記載のサーバ装置であって、
前記制御部は、
前記第1の端末による双方向通信が切断された後に、前記第1の端末が接続していたセッションの識別子を指定した接続要求が、前記第1の端末から送信された場合に、前記接続要求において指定された識別子を有するセッションが、維持されているか否かを判定し、
維持されていると判定した場合に、前記第1の端末を、前記接続要求において指定された識別子を有するセッションに再接続することで、該セッションに既に接続されている前記第2の端末との双方向通信を再開させる。
また、本開示の第3の態様は、第2の態様に記載のサーバ装置であって、
前記制御部は、
維持されていないと判定した場合に、前記接続要求において指定された識別子を有するセッションを新たに生成し、
前記第1の端末を、前記新たに生成したセッションに接続し、前記第2の端末からの接続要求に応じて前記第2の端末を前記新たに生成したセッションに接続することで、前記第1の端末と前記第2の端末との双方向通信を再開させる。
また、本開示の第4の態様は、第1の態様に記載のサーバ装置であって、
前記制御部は、
接続している端末の数がゼロになったセッションを削除し、接続している端末の数が1以上のセッションを維持する。
また、本開示の第5の態様は、第2の態様に記載のサーバ装置であって、
前記制御部は、
前記第1の端末による双方向通信が切断された後も、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末が接続していたセッションの識別子を含む再接続依頼を、前記第1の端末に送信し、
前記再接続依頼を送信したことに応じて、前記第1の端末から、前記再接続依頼に含まれる識別子と同一の識別子を指定した接続要求が送信された場合、前記第1の端末を、前記接続要求において指定された識別子を有するセッションに再接続することで、該セッションに既に接続されている前記第2の端末との双方向通信を再開させる。
また、本開示の第6の態様は、第2の態様に記載のサーバ装置であって、
前記第1の端末は、前記第2の端末よりも双方向通信が切断される頻度が高い環境において利用される端末である。
また、本開示の第7の態様は、第6の態様に記載のサーバ装置であって、
前記第1の端末は、現場作業者により装着され、前記第2の端末は、現場作業者を支援する支援者により利用される。
また、本開示の第8の態様は、管理プログラムであって、
第1の端末と第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置の制御部に、
前記第1の端末が接続していたセッションの識別子を指定した接続要求が、前記第1の端末から送信された場合であって、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末を、前記第1の端末が接続していたセッションに再接続する処理を実行させる。
本開示の第8の態様によれば、双方向通信を再開させる際の現場作業者の操作負荷を低減させる管理プログラムを提供することができる。
また、本開示の第9の態様は、第1の端末と、第2の端末と、前記第1の端末と前記第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置と、を有する管理システムであって、
前記サーバ装置が有する制御部は、
前記第1の端末が接続していたセッションの識別子を指定した接続要求が、前記第1の端末から送信された場合であって、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末を、前記第1の端末が接続していたセッションに再接続する。
本開示の第8の態様によれば、双方向通信を再開させる際の現場作業者の操作負荷を低減させる管理システムを提供することができる。
また、本開示の第10の態様は、第9の態様に記載の管理システムであって、
前記第2の端末が有する制御部は、
第1のセッションと第2のセッションとが維持されている場合、いずれかのセッションを選択し、選択したセッションの識別子を指定した接続要求を、前記サーバ装置に送信する。
また、本開示の第11の態様は、第9の態様に記載の管理システムであって、
前記サーバ装置が有する制御部は、
前記第1の端末による双方向通信が切断された後も、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末が接続していたセッションの識別子を含む再接続依頼を、前記第1の端末に送信し、
前記第1の端末が有する制御部は、
前記第2の端末との双方向通信を開始する際に指定したセッションの識別子を記憶し、
前記記憶した識別子と、前記再接続依頼に含まれる識別子とが同一であるか否かを判定し、
同一であると判定した場合に、前記記憶した識別子を指定した接続要求を、前記サーバ装置に送信する。
管理システムのシステム構成の一例を示す図である。 ウェアラブル端末及びサーバ装置のハードウェア構成の一例を示す図である。 双方向通信前及び双方向通信開始後の各部の処理の詳細を説明するための第1の図である。 双方向通信切断時、再接続時及び双方向通信再開後の各部の処理の詳細を説明するための第1の図である。 双方向通信切断時及び双方向通信終了後の各部の処理の詳細を説明するための図である。 管理システムにおける処理の流れを示す第1のシーケンス図である。 管理システムにおける処理の流れを示す第2のシーケンス図である。 管理システムにおける処理の流れを示す第3のシーケンス図である。 管理システムにおける処理の流れを示す第4のシーケンス図である。 セッション管理処理の流れを示すフローチャートである。 判定処理の流れを示す第1のフローチャートである。 管理システムにおける処理の流れを示す第5のシーケンス図である。 判定処理の流れを示す第2のフローチャートである。 双方向通信前及び双方向通信開始後の各部の処理の詳細を説明するための第2の図である。 双方向通信切断時、再接続時及び双方向通信再開後の各部の処理の詳細を説明するための第2の図である。 管理システムにおける処理の流れを示す第6のシーケンス図である。 識別子判定処理の流れを示すフローチャートである。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<管理システムのシステム構成>
はじめに、第1の実施形態に係る管理システムのシステム構成について説明する。図1は、管理システムのシステム構成の一例を示す図である。図1に示すように、管理システム100は、ウェアラブル端末110と、サーバ装置120と、支援者端末130とを有する。管理システム100において、ウェアラブル端末110及び支援者端末130は、それぞれ、ネットワーク140を介してサーバ装置120と通信可能に接続され、サーバ装置120によるクラウドサービスの提供を受けることができる。具体的には、ウェアラブル端末110と支援者端末130とは、サーバ装置120による管理のもとで双方向通信を行うことができる。
ウェアラブル端末110は第1の端末の一例であり、作業現場において現場作業者150によって装着される端末である。なお、本実施形態において、作業現場は、双方向通信が切断される頻度が高い環境であるとする。
図1に示すように、ウェアラブル端末110は、例えば、現場作業者150の頭部に装着される形状を有しており、動画像を撮影する機能、音声(例えば、現場作業者150の発話)を検出する機能等を有する。
また、図1に示すように、ウェアラブル端末110は、作業現場の様子を撮影した動画像データや、現場作業者150の発話を検出した音声データを、ネットワーク140を介して支援者160に送信する機能を有する。これにより、支援者160は、現場作業者150に指示するのに必要なデータを取得することができる。
更に、図1に示すように、ウェアラブル端末110は、支援者160による指示を、ネットワーク140を介して音声データとして受信し、現場作業者150に出力する機能を有する。これにより、現場作業者150は、支援者160から適切な指示を受けながら各種作業を行うことができる。
サーバ装置120は、ネットワーク140を介してクラウドサービスを提供する装置であり、ウェアラブル端末110と支援者端末130とが双方向通信を行う際のセッションを管理する。サーバ装置120は、ウェアラブル端末110または支援者端末130のいずれか一方において双方向通信が切断された場合でも、他方において双方向通信が接続されている場合には、セッションを維持する。このため、例えば、切断頻度の高い作業現場において利用されるウェアラブル端末110において双方向通信が切断された場合であっても、ウェアラブル端末110は、同じセッションに自動で再接続することができ、現場作業者による新たな操作が不要となる。
この結果、サーバ装置120によれば、現場作業者150が双方向通信を再開させる際の操作負荷を低減させることができる。
また、サーバ装置120は、ウェアラブル端末110がセッションに接続され、かつ、支援者端末130が当該セッションに接続されている間、ウェアラブル端末110から受信した動画像データ、音声データを、支援者端末130に送信する。
同様に、サーバ装置120では、ウェアラブル端末110がセッションに接続され、かつ、支援者端末130が当該セッションに接続されている間、支援者端末130から受信した音声データを、ウェアラブル端末110に送信する。
支援者端末130は第2の端末の一例であり、例えば、支援者160が常駐する事務所に設置され、支援者160からの指示を受け付け、ネットワーク140を介して現場作業者150に送信する。また、支援者端末130は、ウェアラブル端末110により撮影された動画像データや、ウェアラブル端末110により検出された音声データを、ネットワーク140を介して取得し、支援者160に出力する。
<ウェアラブル端末及びサーバ装置のハードウェア構成>
次に、ウェアラブル端末110及びサーバ装置120のハードウェア構成について図2を用いて説明する。図2は、ウェアラブル端末及びサーバ装置のハードウェア構成の一例を示す図である。
(1)ウェアラブル端末110のハードウェア構成
はじめに、ウェアラブル端末110のハードウェア構成について説明する。図2(a)は、ウェアラブル端末110のハードウェア構成の一例を示す図である。
図2(a)に示すように、ウェアラブル端末110は、プロセッサ201、メモリ202、補助記憶装置203、通信装置204、GPS(Global Positioning System)装置205、操作装置206を有する。また、ウェアラブル端末110は、音声入力装置207、音声出力装置208、撮像装置209、接続装置210、近距離無線通信装置211を有する。なお、ウェアラブル端末110を構成する各ハードウェアは、バス220を介して相互に接続される。
プロセッサ201は、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ201は、各種プログラム(例えば、後述する双方向通信プログラム等)をメモリ202上に読み出して実行する。
メモリ202は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ201とメモリ202とは、いわゆるコンピュータ(「制御部」ともいう)を形成し、プロセッサ201が、メモリ202上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
補助記憶装置203は、各種プログラムや、各種プログラムがプロセッサ201によって実行される際に用いられる各種情報を格納する。
通信装置204は、サーバ装置120との間で各種データ(例えば、動画像データ、音声データ)を送受信するための通信デバイスである。GPS装置205は、ウェアラブル端末110の位置情報を検出する。
操作装置206は、ウェアラブル端末110の電源ON/OFFスイッチ等、現場作業者150のウェアラブル端末110に対する簡易操作を受け付ける。
音声入力装置207は、ウェアラブル端末110を装着した現場作業者150の音声や、現場における周囲の音等の音声データを検出する。
音声出力装置208は、例えば、サーバ装置120から受信した各種データを、ウェアラブル端末110を装着した現場作業者150に音声出力するデバイスである。
撮像装置209は、ウェアラブル端末110を装着した現場作業者150の周囲を撮影し、動画像データを生成する。
接続装置210は、ウェアラブル端末110に、付属の各種センサを接続するための接続デバイスである。
近距離無線通信装置211は、ウェアラブル端末110を装着した現場作業者150の周辺に存在する、他の現場作業者が装着するウェアラブル端末との間で、近距離無線通信を行うための無線デバイスである。
(2)サーバ装置120のハードウェア構成
次に、サーバ装置120のハードウェア構成について説明する。図2(b)は、サーバ装置120のハードウェア構成の一例を示す図である。図2(b)に示すように、サーバ装置120は、プロセッサ231、メモリ232、補助記憶装置233、操作装置234、表示装置235、通信装置236、ドライブ装置237を有する。なお、サーバ装置120の各ハードウェアは、バス238を介して相互に接続されている。
プロセッサ231は、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ231は、各種プログラム(例えば、後述する管理プログラム等)をメモリ232上に読み出して実行する。
メモリ232は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ231とメモリ232とは、いわゆるコンピュータ(「制御部」ともいう)を形成し、プロセッサ231が、メモリ232上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
補助記憶装置233は、各種プログラムや、各種プログラムがプロセッサ231によって実行される際に用いられる各種データを格納する。
操作装置234は、サーバ装置120の管理者が各種操作を行うための操作デバイスである。表示装置235は、サーバ装置120により実行される各種処理の処理結果を表示する表示デバイスである。
通信装置236は、ネットワーク140を介して外部装置(例えば、ウェアラブル端末110、支援者端末130)と通信を行うための通信デバイスである。
ドライブ装置237は、記録媒体240をセットするためのデバイスである。ここでいう記録媒体240には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体240には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置233にインストールされる各種プログラムは、例えば、配布された記録媒体240がドライブ装置237にセットされ、該記録媒体240に記録された各種プログラムがドライブ装置237により読み出されることでインストールされる。あるいは、補助記憶装置233にインストールされる各種プログラムは、通信装置236を介してネットワーク140からダウンロードされることで、インストールされてもよい。
なお、ここでは、支援者端末130のハードウェア構成について言及しなかったが、支援者端末130のハードウェア構成は、概ね、サーバ装置120のハードウェア構成と同様であるとする。ただし、支援者端末130の場合、補助記憶装置には、ウェアラブル端末110にインストールされた双方向通信プログラムと同様のプログラムがインストールされるものとする。
<サーバ装置、ウェアラブル端末及び支援者端末の機能構成>
次に、サーバ装置120、ウェアラブル端末110及び支援者端末130の機能構成について説明する。上述したように、サーバ装置120には、管理プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置120は、実行部310及び管理部320として機能する。更に、サーバ装置120の実行部310は、生成部311、判定部312、接続部313として機能する。
また、上述したように、ウェアラブル端末110及び支援者端末130には、双方向通信プログラムがそれぞれインストールされている。そして、当該プログラムがそれぞれ実行されることで、ウェアラブル端末110は通信部330として機能し、支援者端末130は、通信部340として機能する。
以下、サーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細について、双方向通信の各フェーズにわけて説明する。
(1)双方向通信前及び双方向通信開始後
はじめに、双方向通信前及び双方向通信開始後のサーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細について説明する。図3は、双方向通信前及び双方向通信開始後の各部の処理の詳細を説明するための図である。
このうち、図3(a)は、双方向通信前の各部の処理の詳細を示す図である。図3(a)に示すように、双方向通信前において、サーバ装置120の生成部311は、ウェアラブル端末110の通信部330から、
・指定された識別子(セッションID)を有する新たなセッションを生成すること、及び、
・生成する当該新たなセッションにウェアラブル端末110を接続すること、
の要求(接続要求(生成))を受信する。
サーバ装置120の生成部311は、ウェアラブル端末110の通信部330から接続要求(生成)を受信すると、指定されたセッションID(例えば、セッションID=AAA)を有する新たなセッションを生成する。また、サーバ装置120の接続部313は、生成された新たなセッションに、ウェアラブル端末110を接続するとともに、接続イベントを管理部320に通知する。これにより、サーバ装置120の管理部320は、セッションID=AAAを有する新たなセッションについての管理を開始する。
ウェアラブル端末110の通信部330は、セッションID=AAAを有する新たなセッションに接続されると、セッションID=AAAを含む参加依頼を、サーバ装置120に送信する。
サーバ装置120の管理部320は、サーバ装置120の接続部313より接続イベントが通知された後に、ウェアラブル端末110の通信部330より参加依頼を受信すると、受信した参加依頼を、支援者端末130の通信部340に送信する。
支援者端末130の通信部340は、参加依頼を受信すると、サーバ装置120に対して、
・指定したセッションIDを有する既存のセッションに参加すること、及び、
・当該既存のセッションに、支援者端末130を接続すること、
の要求(接続要求(参加))を送信する。
サーバ装置120の判定部312は、支援者端末130の通信部340から接続要求(参加)を受信すると、指定されたセッションID(例えば、セッションID=AAA)を有するセッションが、既に生成され、かつ、維持されているか否かを判定する。判定部312による判定は、セッションを管理する管理部320に問い合わせた結果に基づいて行われる。また、サーバ装置120の判定部312は、既に生成され、かつ、維持されていると判定した場合、判定結果をサーバ装置120の接続部313に通知する。
サーバ装置120の接続部313は、セッションID=AAAを有するセッションに、支援者端末130を接続するとともに、接続イベントを、サーバ装置120の管理部320に通知する。これにより、ウェアラブル端末110と支援者端末130との間の双方向通信が開始される。
図3(b)は、双方向通信開始後のサーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細を示す図である。図3(b)に示すように、双方向通信開始後において、サーバ装置120の実行部310は、ウェアラブル端末110の通信部330から動画像データ及び音声データを受信し、受信した動画像データ及び音声データを、支援者端末130の通信部340に送信する。また、サーバ装置120の実行部310は、支援者端末130の通信部340から音声データを受信し、受信した音声データを、ウェアラブル端末110の通信部330に送信する。
(2)双方向通信切断時、再接続時及び双方向通信再開後
次に、双方向通信切断時、再接続時及び双方向通信再開後のサーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細について説明する。図4は、双方向通信切断時、再接続時及び双方向通信再開後の各部の処理の詳細を説明するための第1の図である。
このうち、図4(a)は、双方向通信切断時及び再接続時のサーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細を示す図である。ウェアラブル端末110の電波が途切れ、双方向通信が切断されると、図4(a)に示すように、サーバ装置120の接続部313では、ウェアラブル端末110による双方向通信が切断されたことを示す切断イベントをサーバ装置120の管理部320に通知する。
一方で、ウェアラブル端末110の通信部330は、双方向通信が切断されると、サーバ装置120に対して、
・指定したセッションIDを有する既存のセッションに参加すること、及び、
・当該既存のセッションに、ウェアラブル端末110を接続すること、
の要求(接続要求(参加))を送信する。
サーバ装置120の判定部312は、ウェアラブル端末110の通信部330から接続要求(参加)を受信すると、指定されたセッションID(例えば、セッションID=AAA)を有するセッションが、既に生成され、かつ、維持されているか否かを判定する。上述したように、判定部312による判定は、セッションを管理する管理部320に問い合わせた結果に基づいて行われる。
この時点では、支援者端末130が、セッションID=AAAを有するセッションに接続されており、セッションID=AAAを有するセッションは維持されている。このため、サーバ装置120の判定部312は、指定されたセッションIDを有するセッションが既に生成され、かつ、維持されていると判定し、判定結果をサーバ装置120の接続部313に通知する。
サーバ装置120の接続部313は、セッションID=AAAを有するセッションに、ウェアラブル端末110を接続するとともに、接続イベントを、サーバ装置120の管理部320に通知する。これにより、ウェアラブル端末110と支援者端末130との間の双方向通信が再開される。
図4(b)は、双方向通信再開時のサーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細を示す図である。図4(b)に示すように、双方向通信が再開されると、サーバ装置120の実行部310は、ウェアラブル端末110の通信部330から動画像データ及び音声データを受信し、受信した動画像データ及び音声データを、支援者端末130の通信部340に送信する。また、サーバ装置120の実行部310は、支援者端末130の通信部340から音声データを受信し、受信した音声データを、ウェアラブル端末110の通信部330に送信する。
(3)双方向通信終了時及び双方向通信終了後
次に、双方向通信終了時及び双方向通信終了後のサーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細について説明する。図5は、双方向通信終了時及び双方向通信終了後の各部の処理の詳細を説明するための図である。このうち、図5(a)は、双方向通信終了時のサーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細を示す図である。図5(a)に示すように、サーバ装置120の判定部312は、ウェアラブル端末110の通信部330及び支援者端末130の通信部340から、
・指定したセッションIDを有するセッションから退出すること、及び、
・退出するセッションとの接続を切断すること、
の要求(切断要求(退出))を受信する。
サーバ装置120の判定部312は、切断要求(退出)を受信すると、サーバ装置120の接続部313は、指定されたセッションID(例えば、セッションID=AAA)を有するセッションと、ウェアラブル端末110及び支援者端末130との接続を切断する。これにより、セッションID=AAAを有するセッションに接続されている端末の数がゼロになるため、サーバ装置120の生成部311では、セッションID=AAAを有するセッションを削除する。
図5(b)は、双方向通信終了後のサーバ装置120の各部の処理を示す図である。図5(b)に示すように、サーバ装置120の接続部313は、指定されたセッションIDを有するセッションとウェアラブル端末110との接続が切断されたことを示す切断イベントをサーバ装置120の管理部320に通知する。また、サーバ装置120の接続部313は、指定されたセッションIDを有するセッションと支援者端末130との接続が切断されたことを示す切断イベントを、サーバ装置120の管理部320に通知する。これにより、サーバ装置120の管理部320は、セッションID=AAAを有するセッションについての管理を終了する。
<管理システムにおける処理の流れ>
次に、管理システム100における処理の流れについて説明する。
(1)双方向通信前
はじめに、双方向通信前の管理システム100における処理の流れについて説明する。図6は、管理システムにおける処理の流れを示す第1のシーケンス図である。なお、以降、管理システム100における処理の流れを説明するにあたっては、説明の簡略化のために、生成部311、判定部312、接続部313を区別せず、実行部310として記載する。
図6に示すように、ステップS601において、ウェアラブル端末110の通信部330は、現場作業者150から、遠隔支援の依頼を受け付ける(例えば、セッションIDの指定を受け付けるとともに、開始操作ボタンによる開始操作を受け付ける)。
ステップS602において、ウェアラブル端末110の通信部330は、セッションID(例えば、セッションID=AAA)を指定した接続要求(生成)をサーバ装置120の実行部310に送信する。
ステップS603において、サーバ装置120の実行部310は、指定されたセッションID(例えば、セッションID=AAA)を有する新たなセッションを生成し、生成したセッションにウェアラブル端末110を接続する。
ステップS604において、サーバ装置120の実行部310は、接続イベントを、サーバ装置120の管理部320に通知する。
ステップS605において、サーバ装置120の管理部320は、指定されたセッションID(例えば、セッションID=AAA)を有するセッションについての管理を開始する。
ステップS606において、ウェアラブル端末110の通信部330は、指定したセッションID(例えば、セッションID=AAA)を含む参加依頼を、サーバ装置120の管理部320に送信する。
ステップS607において、サーバ装置120の管理部320は、ウェアラブル端末110の通信部330から受信した参加依頼を、支援者端末130の通信部340に送信する。
ステップS608において、支援者端末130の通信部340は、サーバ装置120の管理部320より受信した参加依頼に含まれるセッションID(例えば、セッションID=AAA)を指定した接続要求(参加)を、サーバ装置120の実行部310に送信する。
ステップS609において、サーバ装置120の実行部310は判定処理を行う。具体的には、サーバ装置120の実行部310は、支援者端末130の通信部340から送信された接続要求(参加)により指定されたセッションID(例えば、セッションID=AAA)を有するセッションが既に生成され、かつ、維持されているかを判定する。なお、判定は、セッションを管理する管理部320に問い合わせた結果に基づいて行われる。
また、サーバ装置120の実行部310は、指定されたセッションIDを有するセッションが既に生成され、維持されていると判定した場合には、当該セッションに、支援者端末130を接続する。これにより、ウェアラブル端末110と支援者端末130との間の双方向通信が可能になる。なお、サーバ装置120の実行部310による判定処理(ステップS609)の詳細は後述する。
ステップS610において、サーバ装置120の実行部310は、接続イベントを、サーバ装置120の管理部320に通知する。
(2)双方向通信開始後、双方向通信切断時及び再接続時その1
次に、双方向通信開始後、双方向通信切断時及び再接続時の管理システム100における処理の流れについて説明する。図7は、管理システムにおける処理の流れを示す第2のシーケンス図である。
図7に示すように、ステップS700において、ウェアラブル端末110の通信部330は、双方向通信処理を開始する。また、ステップS701において、支援者端末130の通信部340は、双方向通信処理を開始する。
具体的には、ステップS700_1において、ウェアラブル端末110の通信部330は、作業現場の様子を撮影した動画像データや、現場作業者150の発話を検出した音声データを、サーバ装置120の実行部310に送信する。
ステップS700_2において、サーバ装置120の実行部310は、ウェアラブル端末110の通信部330から送信された動画像データや音声データを、支援者端末130の通信部340に送信する。
ステップS701_1において、支援者端末130の通信部340は、支援者160の発話を検出した音声データを、サーバ装置120の実行部310に送信する。
ステップS701_2において、サーバ装置120の実行部310は、支援者端末130の通信部340から送信された音声データを、ウェアラブル端末110の通信部330に送信する。以降、ウェアラブル端末110と支援者端末130との間では、双方向通信処理により、
・ウェアラブル端末110の通信部330による動画像データ及び音声データの送信、
・支援者端末130の通信部340による動画像データ及び音声データの受信、
・支援者端末130の通信部340による音声データの送信、
・ウェアラブル端末110の通信部330による音声データの受信、
を繰り返す。
ここで、ステップS700_nにおいて、ウェアラブル端末110の通信部330が動画像データ及び音声データをサーバ装置120の実行部310に送信する際、ウェアラブル端末110の電波が途切れ、双方向通信が切断されたとする。
この場合、ステップS702において、サーバ装置120の実行部310は、ウェアラブル端末110による双方向通信が切断されたと判定し、切断イベントを、サーバ装置120の管理部320に通知する。
なお、サーバ装置120の管理部320では、実行部310から切断イベントが通知される一方で、ウェアラブル端末110からは切断イベントが通知されないため、正常の切断ではなく、ネットワーク切断であると判断する。
一方、ウェアラブル端末110の通信部330では、電波が途切れ、双方向通信が切断したことに伴って、再接続を開始する。具体的には、ステップS703において、ウェアラブル端末110の通信部330は、セッションID=AAAを指定した接続要求(参加)を、サーバ装置120の実行部310に送信する。
ステップS704において、サーバ装置120の実行部310は、ウェアラブル端末110の通信部330から接続要求(参加)を受信すると、判定処理を行う。具体的には、サーバ装置120の実行部310は、ウェアラブル端末110の通信部330から送信された接続要求(参加)により指定されたセッションID=AAAを有するセッションが既に生成され、かつ、維持されているかを判定する。なお、判定は、セッションを管理する管理部320に問い合わせた結果に基づいて行われる。
図7に示すように、この時点で、支援者端末130は、セッションID=AAAを有するセッションへの接続が継続している。このため、サーバ装置120の実行部310は、セッションID=AAAを有するセッションが既に生成され、かつ、維持されていると判定し、ウェアラブル端末110を、セッションID=AAAを有するセッションに再接続する。これにより、ウェアラブル端末110と支援者端末130との間の双方向通信が可能になる。この結果、例えば、双方向通信が切断された後も、現場作業者150が続けて支援者160による指示を受けたい場合等に、円滑に指示を受けることが可能になる。
ステップS705において、サーバ装置120の実行部310は、セッションID=AAAを有するセッションに、ウェアラブル端末110が再接続されたことを示す接続イベントを、管理部320に通知する。
(3)双方向通信開始後、双方向通信切断時及び再接続時その2
次に、双方向通信開始後、双方向通信切断時及び再接続時の管理システム100における処理の流れについて説明する。図8は、管理システムにおける処理の流れを示す第3のシーケンス図である。図8に示すシーケンス図のうち、ステップS700からステップS702までの処理は、図7に示すシーケンス図のステップS700からステップS702までの処理と同じであるため、ここでは説明を省略する。図7に示すシーケンス図との相違点は、ステップS801以降である。
図8に示すように、ウェアラブル端末110による双方向通信が切断されると、支援者端末130の支援者160は、一旦、接続しているセッションから退出することがあり得る。そこで、ステップS801以降では、支援者160が、セッションから退出する場合の処理について説明する。
ステップS801において、支援者端末130の通信部340は、支援者160から、遠隔支援の終了指示を受け付ける。
ステップS802において、支援者端末130の通信部340は、セッションID(例えば、セッションID=AAA)を指定した切断要求(退出)をサーバ装置120の実行部310に送信する。
ステップS803において、サーバ装置120の実行部310は、指定されたセッションID(例えば、セッションID=AAA)を有するセッションと支援者端末130との接続を切断する。この時点で、セッションID=AAAを有するセッションに接続されている端末の数はゼロになるため、サーバ装置120の実行部310は、セッションID=AAAを有するセッションを削除する。
ステップS804において、サーバ装置120の実行部310は、セッションID=AAAを有するセッションと支援者端末130との接続が切断されたことを示す切断イベントを管理部320に通知する。
ステップS805において、サーバ装置120の管理部320は、ステップS702及びステップS804において切断イベントを受信したことで、セッションID=AAAを有するセッションについての管理を終了する。
なお、このタイミングで、ウェアラブル端末110の通信部330が、セッションID=AAAを指定した接続要求(参加)を送信したとしても、ウェアラブル端末110は、セッションID=AAAを有するセッションに接続することはできない。ステップS806以降は、サーバ装置120の管理部320によるセッションID=AAAを有するセッションについての管理が終了された後に、ウェアラブル端末110が接続要求(参加)を送信した場合の処理を示している。
ステップS806において、ウェアラブル端末110の通信部330は、セッションID=AAAを指定した接続要求(参加)を、サーバ装置120の実行部310に送信する。
ステップS807において、サーバ装置120の実行部310は、判定処理を行う。具体的には、サーバ装置120の実行部310は、支援者端末130の通信部340から送信された接続要求(参加)により指定されたセッションID(例えば、セッションID=AAA)を有するセッションが既に生成され、かつ、維持されているかを判定する。なお、判定は、セッションを管理する管理部320に問い合わせた結果に基づいて行われる。
このとき、サーバ装置120の実行部310は、セッションID=AAAを有するセッションは既に生成されたが、維持されていないと判定する。このため、サーバ装置120の実行部310は、ステップS808において、接続エラーをウェアラブル端末110の通信部330に送信する。
なお、この場合、現場作業者150は、他のセッションIDを入力して、遠隔支援依頼を行うことになる(つまり、図6のシーケンス図に戻る)。
(4)双方向通信終了時
次に、双方向通信終了時の管理システム100における処理の流れについて説明する。図9は、管理システムにおける処理の流れを示す第4のシーケンス図である。図9に示すシーケンス図のうち、ステップS700からステップS701_nまでの処理は、図7に示すシーケンス図のステップS700からステップS700_nまでの処理と概ね同じであるため、ここでは説明を省略する。図7に示すシーケンス図との相違点は、ステップS901以降である。ただし、図9に示すシーケンス図の場合、ウェアラブル端末110による双方向通信が途中で切断されることなく、最後まで双方向通信が継続して完了したケースを示している。
図9に示すように、双方向通信が完了すると、ウェアラブル端末110の現場作業者150及び支援者端末130の支援者160は、セッションから退出するための操作を行う。そこで、ステップS901以降では、現場作業者150及び支援者160が、セッションから退出する場合の処理について説明する。
ステップS901において、ウェアラブル端末110の通信部330は、現場作業者150から、遠隔支援の終了指示を受け付ける。
ステップS902において、ウェアラブル端末110の通信部330は、セッションID(例えば、セッションID=AAA)を指定した切断要求(退出)をサーバ装置120の実行部310に送信する。
ステップS903_1において、サーバ装置120の実行部310は、セッションID(例えば、セッションID=AAA)を有するセッションとの接続を切断する。また、サーバ装置120の実行部310は、セッションID=AAAを有するセッションとの接続が切断されたことを示す切断イベントを、サーバ装置120の管理部320に送信する。
また、ステップS903_2において、ウェアラブル端末110の通信部330は、切断イベントを、直接、サーバ装置120の管理部320に送信する。これにより、サーバ装置120の管理部320では、ステップS930_1及びステップS930_2の切断イベントを照らし合わせることで、正常な切断であると判断することができる。
ステップS904において、支援者端末130の通信部340は、支援者160から、遠隔支援の終了指示を受け付ける。
ステップS905において、支援者端末130の通信部340は、セッションID(例えば、セッションID=AAA)を指定した切断要求(退出)をサーバ装置120の実行部310に送信する。
ステップS906において、サーバ装置120の実行部310は、指定されたセッションID(例えば、セッションID=AAA)を有するセッションと支援者端末130との接続を切断する。この時点で、セッションID=AAAを有するセッションに接続されている端末の数はゼロになるため、サーバ装置120の実行部310は、セッションID=AAAを有するセッションを削除する。
ステップS907において、サーバ装置120の実行部310は、セッションID=AAAを有するセッションと支援者端末130との接続が切断されたことを示す切断イベントを、サーバ装置120の管理部320に通知する。
ステップS908において、サーバ装置120の管理部320は、セッションID=AAAを有するセッションについての管理を終了する。
<各部の処理の詳細>
次に、図6~図9に示した、管理システム100における処理のうち、
・サーバ装置120の管理部320による「セッション管理開始」及び「セッション管理終了」(ステップS605、S805、S908)の処理(両者を合わせて以下では「セッション管理処理」と称す)、
・サーバ装置120の実行部310による「判定処理」(ステップS609、S704、S807)、
の詳細について説明する。
(1)セッション管理処理
はじめに、サーバ装置120の管理部320によるセッション管理処理の詳細について説明する。図10は、セッション管理処理の流れを示すフローチャートである。
ステップS1001において、サーバ装置120の管理部320は、サーバ装置120の実行部310より接続イベントを受信したか否かを判定する。
ステップS1001において、接続イベントを受信していないと判定した場合には(ステップS1001においてNOの場合には)、接続イベントを受信するまで待機する。
一方、ステップS1001において、接続イベントを受信したと判定した場合には(ステップS1001においてYESの場合には)、ステップS1002に進む。
ステップS1002において、サーバ装置120の管理部320は、受信した接続イベントが、既に生成されているセッションについての接続イベントであるか否かを判定する。ステップS1002において、既に生成されているセッションについての接続イベントであると判定した場合には(ステップS1002においてYESの場合には)、ステップS1004に進む。
一方、ステップS1002において、新たに生成されたセッションについての接続イベントであると判定した場合には(ステップS1002においてNOの場合には)、ステップS1003に進む。
ステップS1003において、サーバ装置120の管理部320は、新たに生成されたセッションを、管理対象のセッションとして管理を開始する。
ステップS1004において、サーバ装置120の管理部320は、受信した接続イベントに対応する端末を識別するための情報を、セッション管理リストに追加する。
ステップS1005において、サーバ装置120の管理部320は、切断イベントを受信したか否かを判定する。ステップS1005において、切断イベントを受信したと判定した場合には(ステップS1005においてYESの場合には)、ステップS1006に進む。
ステップS1006において、サーバ装置120の管理部320は、受信した切断イベントに対応する端末を識別するための情報を、セッション管理リストから削除し、ステップS1007に進む。
一方、ステップS1005において、切断イベントを受信していないと判定した場合には(ステップS1005においてNOの場合には)、直接、ステップS1007に進む。
ステップS1007において、サーバ装置120の管理部320は、管理対象のセッションに接続されている端末の数がゼロになったか否かを判定する。
ステップS1007において、管理対象のセッションに接続されている端末の数が1以上であると判定した場合には(ステップS1007においてNOの場合には)、ステップS1001に戻る。
一方、ステップS1007において、管理対象のセッションに接続されている端末の数がゼロであると判定した場合には(ステップS1007においてYESの場合には)、ステップS1008に進む。
ステップS1008において、サーバ装置120の管理部320は、管理対象のセッションについての管理を終了する。
(2)判定処理
次に、サーバ装置120の実行部310による判定処理の詳細について説明する。図11は、判定処理の流れを示す第1のフローチャートである。サーバ装置120の実行部310は、セッションIDを指定した接続要求(参加)を受信すると、図11に示す判定処理を開始する。
ステップS1101において、サーバ装置120の実行部310は、受信した接続要求(参加)において指定されているセッションIDを有するセッションが既に生成され、かつ、維持されているかを判定する。なお、判定は、セッションを管理する管理部320に問い合わせた結果に基づいて行われる。
ステップS1101において、セッションが既に生成されたが、維持されていないと判定した場合には、あるいは、セッションが未だ生成されていないと判定した場合には(ステップS1101においてNOの場合には)、ステップS1102に進む。
ステップS1102において、サーバ装置120の実行部310は、接続要求(参加)を送信した端末(ウェアラブル端末110または支援者端末130)に接続エラーを送信する。
一方、ステップS1101において、セッションが既に生成され、かつ、維持されていると判定した場合には(ステップS1101においてYESの場合には)、ステップS1103に進む。
ステップS1103において、サーバ装置120の実行部310は、接続要求(参加)を送信した端末(ウェアラブル端末110または支援者端末130)を、指定されたセッションIDを有するセッションに接続する。
<まとめ>
以上の説明から明らかなように、第1の実施形態に係るサーバ装置120は、ウェアラブル端末と支援者端末とが双方向通信を行う際のセッションを管理するサーバ装置120であって、
・ウェアラブル端末による双方向通信が切断された後に、ウェアラブル端末が接続していたセッションのセッションIDを指定した接続要求(参加)が送信された場合に、当該セッションIDを有するセッションが維持されているかを判定する。
・支援者端末による双方向通信が接続されることで、当該セッションが維持されている場合には、ウェアラブル端末を、当該セッションに再接続することで、支援者端末との双方向通信を再開させる。
このように、ウェアラブル端末による双方向通信が切断された場合であっても、支援者端末による双方向通信が接続されている場合には、セッションを維持する構成とすることで、ウェアラブル端末は同じセッションに自動で再接続することができる。これにより、現場作業者は、再接続のための新たな操作を行うことが不要となる。
この結果、第1の実施形態によれば、双方向通信を再開させる際の現場作業者の操作負荷を低減させることができる。
[第2の実施形態]
上記第1の実施形態では、ウェアラブル端末110による双方向通信が切断された場合、ウェアラブル端末110の通信部330は、自発的に接続要求(参加)を送信するものとして説明した。しかしながら、ウェアラブル端末110の通信部330による接続要求(参加)の送信は、例えば、サーバ装置120の管理部320による再接続依頼に基づいて行ってもよい。このような構成は、例えば、ウェアラブル端末110による双方向通信が切断された後でも、支援者160が続けて現場作業者150に指示を行いたい場合等に有効である。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に行う。
<管理システムにおける処理の流れ>
はじめに、第2の実施形態に係る管理システム100における処理の流れとして、双方向通信開始後、双方向通信切断時及び再接続時の管理システム100における処理の流れについて説明する。図12は、管理システムにおける処理の流れを示す第5のシーケンス図である。
なお、図12において、ステップS700~ステップS702までの処理は、図7を用いて説明した、ステップS700~ステップS702までの処理と同じであるため、ここでは説明を省略する。
ステップS1201において、サーバ装置120の管理部320は、切断イベントに対応する端末(ここでは、ウェアラブル端末110)に、接続していたセッションのセッションID(例えば、セッションID=AAA)を含む再接続依頼を送信する。なお、サーバ装置120の管理部320は、当該セッションが維持されている場合に、再接続依頼を送信する。
ステップS1202において、ウェアラブル端末110の通信部330は、受信した再接続依頼に含まれるセッションID=AAAを指定した接続要求(参加)を、サーバ装置120の実行部310に送信する。
ステップS1203において、サーバ装置120の実行部310は判定処理を行う。具体的には、サーバ装置120の実行部310は、ウェアラブル端末110の通信部330から送信された接続要求(参加)により指定されたセッションID=AAAを有するセッションが既に生成され、かつ、維持されているかを判定する。なお、判定は、セッションを管理する管理部320に問い合わせた結果に基づいて行われる。
また、サーバ装置120の実行部310は、既に生成され、かつ、維持されていると判定した場合、指定されたセッションID=AAAが、再接続依頼に含めたセッションIDと一致するか否かを判定する。
そして、サーバ装置120の実行部310は、一致すると判定した場合、当該セッションに、ウェアラブル端末110を接続する。これにより、ウェアラブル端末110と支援者端末130との間の双方向通信が再開される。なお、サーバ装置120の実行部310による判定処理(ステップS1203)の詳細は後述する。
その後、ステップS1204において、サーバ装置120の実行部310は、接続イベントを、サーバ装置120の管理部320に通知する。
<実行部による判定処理の詳細>
次に、サーバ装置120の実行部310による「判定処理」(ステップS1203)の詳細について説明する。図13は、判定処理の流れを示す第2のフローチャートである。サーバ装置120の実行部310は、セッションIDを指定した接続要求(参加)を受信すると、図13に示す判定処理を開始する。なお、図13に示す判定処理のうち、ステップS1101~S1103に示す処理は、図11に示した判定処理のステップS1101~S1103に示す処理と同じであるため、ここでは説明を省略する。
ステップS1301において、サーバ装置120の実行部310は、受信した接続要求(参加)において指定されているセッションIDが、再接続依頼に含まれるセッションIDと同一であるか否かを判定する。
ステップS1301において、同一でないと判定した場合には(ステップS1301においてNOの場合には)、ステップS1102に進む。この場合、サーバ装置120の実行部310は、ウェアラブル端末110の通信部330に接続エラーを送信する。
一方、ステップS1301において、同一であると判定した場合には(ステップS1301においてYESの場合には)、ステップS1103に進む。この場合、サーバ装置120の実行部310は、ウェアラブル端末110を、指定されたセッションIDを有するセッションに接続する。
このように、セッションIDが一致するか否かを判定することで、サーバ装置120の実行部310によれば、ウェアラブル端末110が誤ったセッションに再接続されるのを回避し、適切なセッションに再接続させることができる。
<まとめ>
以上の説明から明らかなように、第2の実施形態に係るサーバ装置120は、ウェアラブル端末と支援者端末とが双方向通信を行う際のセッションを管理するサーバ装置120であって、
・ウェアラブル端末による双方向通信が切断された後も、ウェアラブル端末が接続していたセッションが維持されている場合、当該セッションのセッションIDを含む再接続依頼を、ウェアラブル端末に送信する。
・再接続依頼が送信されたことに応じて、ウェアラブル端末から、再接続依頼に含まれるセッションIDと同一のセッションIDを指定した接続要求が送信された場合、ウェアラブル端末を、指定されたセッションIDを有するセッションに再接続する。そして、当該セッションに既に接続されている支援者端末との双方向通信を再開させる。
これにより、第2の実施形態によれば、双方向通信を再開させる際の現場作業者の操作負荷を低減させることができるとともに、適切なセッションに再接続させることが可能になる。
[第3の実施形態]
上記第2の実施形態では、再接続依頼に含まれるセッションIDと、接続要求(参加)において指定されたセッションIDとが同一であるか否かを、サーバ装置120の実行部310において判定するものとして説明した。しかしながら、再接続依頼に含まれるセッションIDと、接続要求(参加)において指定されたセッションIDとが同一であるか否かの判定は、ウェアラブル端末において行われてもよい。以下、第3の実施形態について、上記第2の実施形態との相違点を中心に説明する。
<サーバ装置及びウェアラブル端末の機能構成>
はじめに、サーバ装置120及びウェアラブル端末1410の機能構成について説明する。第3の実施形態において、ウェアラブル端末1410は、通信部330に加えて、識別子判定部1411としても機能する。以下、サーバ装置120、ウェアラブル端末110及び支援者端末130の各部の処理の詳細について、図14及び図15を用いて、双方向通信の各フェーズにわけて説明する。なお、説明は、図3及び図4との相違点を中心に行う。
(1)双方向通信前及び双方向通信開始後
図14は、双方向通信前及び双方向通信開始後の各部の処理の詳細を説明するための第2の図である。図14(a)に示すように、双方向通信前において、ウェアラブル端末1410の通信部330は、セッションIDを指定した接続要求(生成)を、サーバ装置120に送信する。このとき、通信部330は、接続要求(生成)において指定したセッションIDを、識別子記憶部1412に格納する。
(2)双方向通信切断時、再接続時及び双方向通信再開後
図15は、双方向通信切断時、再接続時及び双方向通信再開後の各部の処理の詳細を説明するための第2の図である。図15に示すように、双方向通信切断時に、サーバ装置120の管理部320は、ウェアラブル端末1410に再接続依頼を送信する。
ウェアラブル端末1410の識別子判定部1411は、受信した再接続依頼に含まれるセッションIDを取得し、識別子記憶部1412に格納されたセッションIDと一致するか否かを判定する。
また、ウェアラブル端末1410の通信部330は、識別子判定部1411により一致すると判定された場合には、当該セッションIDを指定した接続要求(参加)を、サーバ装置120に送信する。一方、ウェアラブル端末1410の通信部330は、識別子判定部1411により一致しないと判定された場合には、新たなセッションIDを指定した接続要求(生成)を、サーバ装置120に送信する。このとき、通信部330は、接続要求(生成)において指定したセッションIDを、新たに識別子記憶部1412に格納する。
このように、識別子記憶部1412に格納されたセッションIDと一致するか否かを判定することで、誤ったセッションIDを指定した接続要求(参加)が送信されるのを回避し、適切なセッションに再接続することができる。
<管理システムにおける処理の流れ>
次に、双方向通信開始後、双方向通信切断時及び再接続時の管理システム100における処理の流れについて説明する。図16は、管理システムにおける処理の流れを示す第6のシーケンス図である。
図12に示したシーケンス図との相違点は、ステップS1601~1603である。図16に示すように、サーバ装置120の管理部320より、再接続依頼を受信すると、ステップS1601において、ウェアラブル端末1410の通信部330は、再接続依頼を識別子判定部1411に通知する。
ステップS1602において、ウェアラブル端末1410の識別子判定部1411は、識別子判定処理を行う。具体的には、ウェアラブル端末1410の識別子判定部1411は、再接続依頼に含まれるセッションID(例えば、セッションID=AAA)が、識別子記憶部1412に格納されたセッションIDと一致するか否かを判定する。なお、識別子判定処理の詳細は後述する。
ステップS1603において、ウェアラブル端末1410の識別子判定部1411は、判定結果を通信部330に通知する。
これにより、ウェアラブル端末1410の通信部330は、判定結果に応じた接続要求を行う。例えば、再接続依頼に含まれるセッションIDが、識別子記憶部1412に格納されたセッションIDと一致していた場合には、当該セッションIDを指定した接続要求(参加)を、サーバ装置120の実行部310に送信する(図16のステップS1202参照)。
一方、再接続依頼に含まれるセッションIDが、識別子記憶部1412に格納されたセッションIDと一致していなかった場合には、新たなセッションIDを指定した接続要求(生成)を、サーバ装置120の実行部310に送信する(不図示)。
<識別子判定部による識別子判定処理の詳細>
次に、ウェアラブル端末1410による「識別子判定処理」(ステップS1602)の詳細について説明する。図17は、識別子判定処理の流れを示すフローチャートである。ウェアラブル端末1410の識別子判定部1411は、通信部330より再接続依頼を受信すると、図17に示す識別子判定処理を開始する。
ステップS1701において、ウェアラブル端末1410の識別子判定部1411は、再接続依頼に含まれるセッションIDが、識別子記憶部1412に格納されたセッションIDと一致するか否かを判定する。
ステップS1701において、一致しないと判定した場合には(ステップS1701においてNOの場合には)、ステップS1702に進む。
ステップS1702において、ウェアラブル端末1410の識別子判定部1411は、一致しなかったことを示す判定結果を、通信部330に通知する。
一方、ステップS1701において、一致すると判定した場合には(ステップS1701においてYESの場合には)、ステップS1703に進む。
ステップS1703において、ウェアラブル端末1410の識別子判定部1411は、一致したことを示す判定結果を、通信部330に通知する。
<まとめ>
以上の説明から明らかなように、第3の実施形態に係る管理システム100において、
・ウェアラブル端末は、双方向通信を開始する際に指定したセッションIDを格納する。
・ウェアラブル端末は、格納したセッションIDと、再接続依頼に含まれるセッションIDとが一致するか否かを判定し、一致すると判定した場合に、再接続依頼に含まれるセッションIDを指定した接続要求(参加)を、サーバ装置に送信する。
これにより、第3の実施形態によれば、双方向通信を再開させる際の現場作業者の操作負荷を低減させることができるとともに、適切なセッションに再接続することができる。
[第4の実施形態]
上記第1乃至第3の実施形態では、管理システム100が、ウェアラブル端末と支援者端末とをそれぞれ1台ずつ有するものとして説明した。しかしながら、管理システム100は、ウェアラブル端末と支援者端末とを複数台ずつ有していてもよい。
この場合、複数の支援者端末は、それぞれ、複数のウェアラブル端末による接続要求(生成)により複数のセッションが生成されている状態にあっては、いずれのセッションに接続するかを選択することができるものとする。なお、複数のセッションとは、例えば、第1のセッションと第2のセッションの2つのセッションであってもよいし、3つ以上のセッションであってもよい。そして、複数の支援者端末は、それぞれ、選択したセッションのセッションIDを指定した接続要求(参加)を、サーバ装置120の実行部310に送信するものとする。
これにより、複数の支援者端末では、同じタイミングで複数の参加依頼を受信した場合であっても、適切なセッションに接続することができる。
同様に、複数の支援者端末は、それぞれ、双方向通信が切断された場合、いずれのセッションに再接続するかを選択することができるものとする。そして、複数の支援者端末は、それぞれ、選択したセッションのセッションIDを指定した接続要求(参加)を、サーバ装置120の実行部310に送信するものとする。
これにより、複数の支援者端末では、例えば、直前まで接続していたセッションに再接続することができる。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
100 :管理システム
110 :ウェアラブル端末
120 :サーバ装置
130 :支援者端末
310 :実行部
311 :生成部
312 :判定部
313 :接続部
320 :管理部
330 :通信部
1410 :ウェアラブル端末
1411 :識別子判定部

Claims (11)

  1. 第1の端末と第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置であって、
    前記サーバ装置が有する制御部は、
    前記第1の端末による双方向通信が切断された後に、前記第1の端末が接続していたセッションの識別子を指定した接続要求が、前記第1の端末から送信された場合に、前記接続要求において指定された識別子を有するセッションが維持されているか否かを判定し、
    維持されていないと判定した場合に、前記接続要求において指定された識別子を有するセッションを新たに生成し、
    前記第1の端末を、前記新たに生成したセッションに接続し、前記第2の端末からの接続要求に応じて前記第2の端末を前記新たに生成したセッションに接続することで、前記第1の端末と前記第2の端末との双方向通信を再開させる、サーバ装置。
  2. 前記制御部は、
    維持されていると判定した場合に、前記第1の端末を、前記接続要求において指定された識別子を有するセッションに再接続することで、該セッションに既に接続されている前記第2の端末との双方向通信を再開させる、請求項1に記載のサーバ装置。
  3. 前記制御部は、
    接続している端末の数がゼロになったセッションを削除し、接続している端末の数が1以上のセッションを維持する、請求項1に記載のサーバ装置。
  4. 第1の端末と第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置であって、
    前記サーバ装置が有する制御部は、
    前記第1の端末による双方向通信が切断された後も、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末が接続していたセッションの識別子を含む再接続依頼を、前記第1の端末に送信し、
    前記再接続依頼を送信したことに応じて、前記第1の端末から、前記再接続依頼に含まれる識別子と同一の識別子を指定した接続要求が送信された場合、前記第1の端末を、前記接続要求において指定された識別子を有するセッションに再接続することで、該セッションに既に接続されている前記第2の端末との双方向通信を再開させるサーバ装置。
  5. 前記第1の端末は、前記第2の端末よりも双方向通信が切断される頻度が高い環境において利用される端末である、請求項1または4に記載のサーバ装置。
  6. 前記第1の端末は、現場作業者により装着され、前記第2の端末は、現場作業者を支援する支援者により利用される、請求項に記載のサーバ装置。
  7. 第1の端末と第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置の制御部に、
    前記第1の端末による双方向通信が切断された後に、前記第1の端末が接続していたセッションの識別子を指定した接続要求が、前記第1の端末から送信された場合に、前記接続要求において指定された識別子を有するセッションが維持されているか否かを判定し、
    維持されていないと判定した場合に、前記接続要求において指定された識別子を有するセッションを新たに生成し、
    前記第1の端末を、前記新たに生成したセッションに接続し、前記第2の端末からの接続要求に応じて前記第2の端末を前記新たに生成したセッションに接続することで、前記第1の端末と前記第2の端末との双方向通信を再開させる、
    処理を実行させるための管理プログラム。
  8. 第1の端末と第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置の制御部に、
    前記第1の端末による双方向通信が切断された後も、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末が接続していたセッションの識別子を含む再接続依頼を、前記第1の端末に送信し、
    前記再接続依頼を送信したことに応じて、前記第1の端末から、前記再接続依頼に含まれる識別子と同一の識別子を指定した接続要求が送信された場合、前記第1の端末を、前記接続要求において指定された識別子を有するセッションに再接続することで、該セッションに既に接続されている前記第2の端末との双方向通信を再開させる、
    処理を実行させるための管理プログラム
  9. 第1の端末と、第2の端末と、前記第1の端末と前記第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置と、を有する管理システムであって、
    前記第2の端末が有する制御部は、
    第1のセッションと第2のセッションとが維持されている場合、いずれかのセッションを選択し、選択したセッションの識別子を指定した接続要求を、前記サーバ装置に送信する、管理システム。
  10. 前記サーバ装置が有する制御部は、
    前記第1の端末が接続していたセッションの識別子を指定した接続要求が、前記第1の端末から送信された場合であって、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末を、前記第1の端末が接続していたセッションに再接続する、請求項9に記載の管理システム。
  11. 第1の端末と、第2の端末と、前記第1の端末と前記第2の端末とが双方向通信を行う際のセッションを管理するサーバ装置と、を有する管理システムであって、
    前記サーバ装置が有する制御部は、
    前記第1の端末による双方向通信が切断された後も、前記第1の端末が接続していたセッションが維持されている場合、前記第1の端末が接続していたセッションの識別子を含む再接続依頼を、前記第1の端末に送信し、
    前記第1の端末が有する制御部は、
    前記第2の端末との双方向通信を開始する際に指定したセッションの識別子を記憶し、
    前記記憶した識別子と、前記再接続依頼に含まれる識別子とが同一であるか否かを判定し、
    同一であると判定した場合に、前記記憶した識別子を指定した接続要求を、前記サーバ装置に送信する管理システム。
JP2022042156A 2022-03-17 2022-03-17 サーバ装置、管理プログラム及び管理システム Active JP7360657B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022042156A JP7360657B2 (ja) 2022-03-17 2022-03-17 サーバ装置、管理プログラム及び管理システム
PCT/JP2023/009022 WO2023176678A1 (ja) 2022-03-17 2023-03-09 サーバ装置、管理プログラム及び管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022042156A JP7360657B2 (ja) 2022-03-17 2022-03-17 サーバ装置、管理プログラム及び管理システム

Publications (2)

Publication Number Publication Date
JP2023136471A JP2023136471A (ja) 2023-09-29
JP7360657B2 true JP7360657B2 (ja) 2023-10-13

Family

ID=88023287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022042156A Active JP7360657B2 (ja) 2022-03-17 2022-03-17 サーバ装置、管理プログラム及び管理システム

Country Status (2)

Country Link
JP (1) JP7360657B2 (ja)
WO (1) WO2023176678A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236905A1 (en) 2002-06-25 2003-12-25 Microsoft Corporation System and method for automatically recovering from failed network connections in streaming media scenarios
JP2010224842A (ja) 2009-03-23 2010-10-07 Sony Computer Entertainment Inc クライアント装置、画像表示方法、画像処理プログラム、画像処理プログラムが記憶された記憶媒体
US20120158814A1 (en) 2010-12-20 2012-06-21 Sap Ag Revocable indication of session termination
JP2018185570A (ja) 2017-04-24 2018-11-22 トーヨーカネツソリューションズ株式会社 遠隔支援システム
JP2020149432A (ja) 2019-03-14 2020-09-17 株式会社リコー 通信端末、通信システム、通信方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236905A1 (en) 2002-06-25 2003-12-25 Microsoft Corporation System and method for automatically recovering from failed network connections in streaming media scenarios
JP2010224842A (ja) 2009-03-23 2010-10-07 Sony Computer Entertainment Inc クライアント装置、画像表示方法、画像処理プログラム、画像処理プログラムが記憶された記憶媒体
US20120158814A1 (en) 2010-12-20 2012-06-21 Sap Ag Revocable indication of session termination
JP2018185570A (ja) 2017-04-24 2018-11-22 トーヨーカネツソリューションズ株式会社 遠隔支援システム
JP2020149432A (ja) 2019-03-14 2020-09-17 株式会社リコー 通信端末、通信システム、通信方法およびプログラム

Also Published As

Publication number Publication date
JP2023136471A (ja) 2023-09-29
WO2023176678A1 (ja) 2023-09-21

Similar Documents

Publication Publication Date Title
JP5965708B2 (ja) 無線通信装置、メモリ装置、無線通信システム、無線通信方法、およびプログラム
CN110868459B (zh) 数据传输方法、装置、终端及存储介质
CN111090687B (zh) 数据处理方法及装置、系统、计算机可读存储介质
JP2006166408A (ja) 撮像装置及びその制御方法
CN111757305B (zh) 业务执行终端的切换方法、装置、系统及存储介质
EP3125537A1 (en) Information processing apparatus, image display method, and communications system
CN109522198A (zh) 应用程序的处理方法、装置、电子设备及可读存储介质
JP7360657B2 (ja) サーバ装置、管理プログラム及び管理システム
JP6818439B2 (ja) ウェアラブル機器、情報処理装置、及びそれらの制御方法、並びにプログラム
KR102077592B1 (ko) 원격 대리 업무 서비스 제공 방법 및 서버, 컴퓨터로 읽을 수 있는 저장매체
JP2006254339A (ja) 映像記録装置、映像記録システム、及び、映像記録方法
JP6646214B2 (ja) 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP5333546B2 (ja) 携帯端末装置、動画投稿方法及びプログラム
CN116466907A (zh) 音频流共享方法、装置、电子设备及存储介质
CN114900538A (zh) 智能镜子的控制方法和装置、存储介质及电子装置
JP2017112541A (ja) データ処理装置、通信装置、データ処理方法、プログラム
JP6459749B2 (ja) サービス提供方法、サービス提供システム及びサービス提供装置
JP4224037B2 (ja) サービス提供方法、及びデータ処理装置
JP7024628B2 (ja) 会議システム、端末装置、会議システムの制御方法、端末装置の制御方法
CN116095218B (zh) 终端设备的控制方法、装置及计算机可读存储介质
JPWO2013038693A1 (ja) 情報共有システム、情報共有管理装置及び情報共有方法
JP2018207233A (ja) 情報処理システム、情報処理システムの制御方法およびプログラム
JP2018137608A (ja) 監視カメラシステム
JP2002062159A (ja) 測位履歴転送装置、測位履歴記録システム、測位履歴記録方法、及び測位履歴用プログラムを記録した記録媒体
JP6753480B2 (ja) 端末および表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230921

R150 Certificate of patent or registration of utility model

Ref document number: 7360657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150