JP5970092B2 - 作業支援システム及び作業支援方法 - Google Patents

Description

本発明は、作業遠隔支援システムに関し、さらに詳しくは、ネットワーク又は無線で接続された複数のクライアント端末の要求に基づいて、オンライン（リアルタイム）とオフラインに作業支援情報を提供する作業遠隔支援システム及び作業遠隔支援方法に関するものである。

従来から、例えば、建築現場等の作業現場では、現場作業者が不要な図面を広げて作業状況の確認を行いながら作業を進めるのが一般である。その過程で図面との間に食い違いを発見すると、現場責任者の指示を仰いでその場で修正作業を行なっていた。しかし、現場責任者の判断では決定できない場面もあるので、そのようなときは携帯電話等で設計部門と連絡をとりながら作業を進めていた。即ち、従来の現場作業の支援方法は、図面或いは指示書等に基づいて現場で作業を行なうため、
１）薄暗い、狭い、危険なエリアで多量の文書や図面を広げなければならない。
２）危険エリアへ誤って侵入してしまう可能性を排除できない。
３）セキュリティポリシー上、パソコンや携帯電話の持込が禁止となっている現場では、リアルタイムに外部から指示が得られない。
４）安全上、作業者はハンズフリーの必要がある。
５）熟練者の不在時において、未習熟な作業者では対処に時間を要する。
６）過去において実行された作業が何であったかが正確に把握できない。
といった多くの課題を抱えていた。
従来のこのような問題を解決するために、特許文献１には、各情報および加工編集された結果をリアルタイムで共有することができるビデオ画像共有システムについて開示されている。

特開２００２−３５６１８０公報

しかし、特許文献１に開示されている従来技術は、あくまでもビデオサーバから供給される一方的な画像や音声データを編集加工して各端末が共有するものであり、各端末が必要な情報を個別に要求して取得することができないといった問題がある。
本発明は、かかる課題に鑑みてなされたものであり、サーバ側に物理ファイルとアプリケーションファイルを用意して、ネットワーク又は無線で接続された各クライアント端末が要求したアプリケーションに基づいて作業支援情報をオンライン（リアルタイム）またはオフラインにて提供することにより、クライアント端末側で質の高い作業支援情報に基づいた作業を行なうことができる作業遠隔支援システムを提供することを目的とする。

本発明はかかる課題を解決するために、請求項１は、遠隔地に配置された複数のクライアント端末と、前記クライアント端末と接続されたサーバとを備え、前記サーバからオンラインで前記クライアント端末へ画像データを提供する作業支援システムであって、前記クライアント端末は、位置情報を入力する手段と、指示棒と、カメラと、マイクと、表示部と、通信手段と、前記通信手段からのデータを取得するデータ取得手段と、前記クライアント端末が機能するために必要なアプリケーションを要求するアプリケーション要求手段と、前記サーバから受信したアプリケーションを記憶するアプリ記憶手段と、前記クライアント端末の操作が終了した時点で前記データ取得手段により取得したデータ、又は／及び、前記アプリ記憶手段に記憶したアプリケーションを消去するセキュリティ手段と、を備え、前記位置情報を前記通信手段を介して前記サーバに送信し、前記サーバは、位置情報生成手段と、前記物理ファイルとアプリファイルとを格納するファイル蓄積手段と、前記クライアント端末から位置情報を受信すると、前記位置情報に対応したファイルのイメージマップ変換を行う画像解像度変換手段と、前記画像解像度変換手段により変換された画像データを所定の範囲に切り出す画像範囲抽出手段と、前記各手段の同期制御を行なう制御手段と、サムネイル画像を生成するサムネイル生成手段と、を備え、前記クライアント端末における画像データの検索時にサムネイル画像から検索を行えるようにした作業支援システムである。

請求項２は、遠隔地に配置された複数のクライアント端末と、前記クライアント端末と接続されたサーバとを備え、前記サーバからオンラインで前記クライアント端末へ画像データを提供する作業支援方法であって、前記クライアント端末は、位置情報を入力する手段と、指示棒と、カメラと、マイクと、表示部と、通信手段と、を備え、前記通信手段からのデータを取得するデータ取得ステップと、前記クライアント端末が機能するために必要なアプリケーションを要求するアプリケーション要求ステップと、前記サーバから受信したアプリケーションをアプリ記憶手段に記憶する記憶ステップと、前記クライアント端末の操作が終了した時点で前記データ取得ステップにより取得したデータ、又は／及び、前記アプリ記憶手段に記憶したアプリケーションを消去するセキュリティステップと、を実行し、前記位置情報を前記通信手段を介して前記サーバに送信し、前記サーバは、位置情報生成ステップと、前記物理ファイルとアプリファイルとをファイル蓄積手段に格納するファイル蓄積ステップと、前記クライアント端末から位置情報を受信すると、前記位置情報に対応したファイルのイメージマップ変換を行う画像解像度変換ステップと、前記画像解像度変換ステップにより変換された画像データを所定の範囲に切り出す画像範囲抽出ステップと、前記各ステップの同期制御を行なう制御ステップと、サムネイル画像を生成するサムネイル生成ステップと、を実行し、前記クライアント端末における画像データの検索時にサムネイル画像から検索を行えるようにした作業支援方法である。

本発明によれば、ネットワーク又は無線により接続された複数のクライアント端末と、各種データを記憶した物理ファイルと、端末を機能させるためのアプリケーションを記憶したアプリケーション実行ファイルと、クライアント端末の要求によりアプリケーションを提供すると共に、そのアプリケーションに基づいて物理ファイルに記憶されている画像データの解像度をクライアント端末に適した解像度に変換して提供するサーバと、を備えて構成されているので、ハードウェア構成が最小限のクライアント端末でも、高性能なＰＣと同じ機能を実現することができ、且つセキュリティ確保も容易となる。
また、クライアント端末は、イメージデータの検索をサムネイル画像により行なうため、検索時間を短縮することができ、ファイル名とリンクした位置情報（ビットマップ座標）を保存しておき、クライアント端末から要求された情報に対して、適切な解像度と範囲の切り出しを行なってクライアント端末に表示することができるので、単純な構成のクライアント端末に対して、複数のアプリケーションの実行、並びに高解像度のイメージデータを表示することができる。

また、クライアント端末は、最小限の構成として、通信処理部、制御部（ＯＳ）、メモリ、表示部、及びＩ／Ｏポートを備えているので、必要最小限の構成で高い機能を高速に実現することができる。
また、クライアント端末には、空間上に情報を投影又はサーバに伝達する指示装置や、被写体を撮影するカメラ等の撮像装置や、音声を伝達するマイクや危険を操作者に伝達するバイブレータ等の圧電素子がＩＯとして接続されているので、サーバとのマンマシンコミュニケーションが円滑に行なわれ、操作者の意思が的確に反映させることができる。
また、サーバには、各イメージデータのサムネイル画像を保存しておき、検索時にはサムネイル画像から検索するようにするので、イメージデータの検索を高速化することができる。

本発明の実施形態に係る作業遠隔支援システムの構成を示す図である。 サーバの機能をブロック化した機能ブロック図である。 本発明の実施形態に係るクライアント端末のハード構成を示す図である。 本発明のクライアント端末の機能をブロック化した機能ブロック図である。 サーバの機能を説明するフローチャートである。 クライアント端末の入力処理の動作を説明するフローチャートである。 クライアント端末の出力処理の動作を説明するフローチャートである。 セキュリティ手段の動作を説明するフローチャートである。 操作ログと物理ファイルとを関連付ける機能を説明するフローチャートである。 ＩＯ部での操作ログと物理ファイルとを関連付ける機能を説明するフローチャートである。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の実施形態に係る作業遠隔支援システムの構成を示す図である。この作業遠隔支援システム１００は、遠隔地における作業支援を端末を介してオンライン（マンツーマンのリアルタイム）とオフライン（マンマシン）に行なう作業遠隔支援システムであって、データを蓄積した物理ファイル１、及び各種アプリケーションを実行するためのソフトウェアを蓄積したアプリケーション実行ファイル（以下、アプリファイルと呼ぶ）２を格納するファイル蓄積手段９と、少なくとも入出力手段、通信手段、及び表示手段を備えた複数のクライアント端末５と、物理ファイル１を開いてクライアント端末５の要求に対して画像データを所定の解像度に変換すると共に、変換された画像データを所定の範囲に分割してクライアント端末５に提供するサーバ３と、を備え、サーバ３と複数のクライアント端末５はネットワーク４により接続されている。また、一つのクライアント端末５には、指示棒６、カメラ７、及びマイク８が接続されている。尚、クライアント端末ごとに接続するものが異なっていても構わない。
即ち、本実施形態のシステム１００では、ネットワーク４（又は無線）により接続された複数のクライアント端末５と、各種データ（例えば、ＣＡＤ図面、ワープロ、スプレッドシート）を記憶した物理ファイル１と、クライアント端末５を機能させるためのアプリケーションを記憶したアプリファイル２と、クライアント端末５の要求によりアプリケーションを提供すると共に、そのアプリケーションに基づいて物理ファイル１に記憶されている画像データの解像度をクライアント端末５に適した解像度に変換して提供するサーバ３と、を備えて構成されている。従って、クライアント端末５は、端末を制御するＯＳ（オペレーティングシステム）とＩ／Ｏポートのみを備えている。これにより、ハードウェア構成が最小限のクライアント端末でも、高性能なＰＣと同じ機能を実現することができ、且つセキュリティ確保も容易となる。

図２はサーバの機能をブロック化した機能ブロック図である。本実施形態のサーバ３は、物理ファイル１に蓄積された画像データを所定の解像度に変換する解像度変換処理部（画像解像度変換手段）１３と、画像データのサムネイル画像を生成するサムネイル生成部（サムネイル生成手段）１４と、物理ファイル１に係るファイル名とリンクした位置情報を生成する位置情報生成部（位置情報生成手段）１５と、解像度変換処理部１３により変換された画像データを所定の範囲に切り出す画像範囲抽出部（画像範囲抽出手段）１６と、各部の同期制御を行なう制御手段１２と、クライアント端末５との間でデータの授受を行なう通信処理部１１と、を備えて構成されている。また、サーバ３には、ファイル蓄積手段９が接続され、通信処理部１１にはネットワーク４が接続されている。
即ち、サーバ３には、各種アプリケーションを実行するためのソフトウェアを蓄積したアプリファイル２があり、物理ファイル１には業務に必要なあらゆる情報、データが蓄積されている。また、画像データは高解像度のイメージデータとして保存される。そして、クライアント端末５からそのイメージデータの要求があると、その端末に最適な解像度に変換して転送することができる。また、クライアント端末５がイメージデータを検索するために、各イメージデータのサムネイル画像を生成して蓄積しておく。これにより、クライアント端末５は、イメージデータの検索をサムネイル画像により行なうため、検索時間を短縮することができる。また、ファイル名とリンクした位置情報（ビットマップ座標）を保存しておき、クライアント端末５から要求された情報に対して、適切な解像度と範囲の切り出しを行なってクライアント端末５に表示することができる。これにより、単純な構成のクライアント端末に対して、複数のアプリケーションの実行、並びに高解像度のイメージデータを表示することができる。また、サーバ３は、クライアント端末５から情報の要求がなされた場合、サムネイル生成部１４により生成されたサムネイル画像を送信する。即ち、多くのイメージデータの中から必要なイメージデータを検索するために、全てのイメージデータを送信していたのでは、検索に多くの時間を要してしまう。そこでサーバ３には、各イメージデータのサムネイル画像を保存しておき、検索時にはサムネイル画像から検索するようにする。これにより、イメージデータの検索を高速化することができる。

図３は本発明の実施形態に係るクライアント端末のハード構成を示す図である。このクライアント端末５は、例えば指示棒６、カメラ７、マイク８等とのインターフェースを確立するＩ／Ｏポート２０と、サーバ３から送信されたアプリケーション、及びデータ等を記憶するメモリ２１と、ネットワーク４と接続され、サーバ３との間でデータの授受を行なう通信処理部２４と、アプリケーションを起動してサーバ３から受信した画像等を表示する表示部２３と、ＯＳに基づいてクライアント端末全体を同期制御する制御部２２と、を備えて構成されている。従って、指示棒６等のデータはＩ／Ｏポート２０を介して通信処理部２４からネットワーク４に送信され、サーバ３に伝達される。サーバ３はそのデータに基づいて指示棒６に与えるコマンドをネットワーク４を介して通信処理部２４に送信し、そのコマンドを解析してＩ／Ｏポート２０を介して指示棒６に指示を与える。尚、指示棒の一つの例として、身振り、手振りで空間上に情報を投影又はサーバ３に伝達する装置と考えることができる。
即ち、クライアント端末５は、最小限の構成として、通信処理部２４、制御部（ＯＳ）２２、メモリ２１、表示部２３、及びＩ／Ｏポート２０を備えている。通信処理部２４はサーバ３とのデータの授受を行い、制御部２２は端末が有するＯＳに基づいて動作する。また、メモリ２１は要求したアプリケーションを記憶し、その結果を表示部２３に表示する。更に、端末に接続されたＩ／Ｏ（例えば、指示棒６、カメラ７、マイク８等）とのインターフェースを制御するＩ／Ｏポート２０を備えている。このようなハード構成によりクライアント端末５は、必要最小限の構成で高い機能を高速に実現することができる。

従って、Ｉ／Ｏポート２０には、空間上に情報を投影又はサーバ３に伝達する指示棒（指示装置）６、被写体を撮影するカメラ（撮像装置）７、及び音声を電気信号に変換したり電気信号を振動に変換するマイク（圧電素子）８である。クライアント端末５には、マンマシンコミュニケーションを司る各種のＩＯが接続されている。例えば、ＡＲ（Augmented Reality）のように現実環境にコンピュータを用いて情報を付加提示する技術を用いて、空間上に情報を投影又はサーバ３に伝達する指示棒６や、被写体を撮影するカメラ７や、音声を伝達するマイク８や危険を操作者に伝達するバイブレータ等の圧電素子がＩＯとして接続されている。これにより、サーバ３とのマンマシンコミュニケーションが円滑に行なわれ、操作者の意思が的確に反映させることができる。

図４は本発明のクライアント端末の機能をブロック化した機能ブロック図である。このクライアント端末５は、Ｉ／Ｏポート２０、又は／及び、通信処理部２４からのデータを取得するデータ取得手段２５と、このクライアント端末５が機能するために必要なアプリケーションを要求するアプリケーション要求手段２７と、サーバ３から受信したアプリケーションを記憶するアプリ記憶手段２９と、このクライアント端末５の操作が終了した時点でデータ取得手段２５により取得したデータ、又は／及び、アプリ記憶手段２９に記憶したアプリケーションを消去するセキュリティ手段２８と、を備えている。尚、アプリ記憶手段２９には、複数のアプリケーションＡ，Ｂ，Ｃが記憶できるメモリ容量を有し、例えば、ＲＡＭ等の揮発性メモリにより構成される。従って、クライアント端末の電源をＯＦＦすることにより、全てのアプリケーションが消去される。また、電源をＯＦＦしない場合は、セキュリティ手段２８によりデータと共に、アプリ記憶手段２９に記憶されているアプリケーションが全て強制的に消去される。
図５はサーバの機能を説明するフローチャートである。まずサーバ３は、物理ファイル１のオープンを行なう（Ｓ１）。物理ファイル１には、ＣＡＤ図面、ワープロ、スプレッドシートといった一般業務に利用される物理データ３０が記憶されている。次に物理ファイルの中からイメージデータをキャプチャーして（Ｓ２）、イメージマップ３１を生成して保存する。尚、データはサムネイルとしても保存され、通常の呼び出しにはサムネイルにて確認する。また、ファイル名とリンクした位置情報（ビットマップ座標）を別途保存しておく。そのような準備段階が完了すると、クライアント端末５から位置情報の入力がされると（Ｓ３でｙ）、解像度変換処理部１３により位置情報に対応したファイルのイメージマップ変換を行なう（Ｓ４）。そしてその結果を通信処理部１１を介してクライアント端末５に出力する（Ｓ５）。

図６はクライアント端末の入力処理の動作を説明するフローチャートである。終了判断がＮＯであれば（Ｓ１０）、例えば指示棒６に備えられているボタンが押下されたか否かを判断する（Ｓ１１）。ボタンが押下されると（Ｓ１１でｙ）そのボタンのデータをＩ／Ｏポート２０を介して取得して（Ｓ１２）、ボタンの意味を制御部が解析してメッセージを通信処理部２４から送信する（Ｓ１３）。そのメッセージを受信したサーバ３は、メッセージに応じた機器制御処理を実行する（Ｓ１４）。尚、ステップＳ１１では、ボタンに限らず圧電素子データ等もインプットしても構わない。
図７はクライアント端末の出力処理の動作を説明するフローチャートである。サーバ３からクライアント端末５に対して、どの部分を駆動するかを入力する（Ｓ２４）。その信号は通信処理部２４を介してクライアント端末５に送信され、データ取得手段２５で取得され（Ｓ２１）、そのデータは判断され（Ｓ２２）、例えば、アクチュエータ制御であればボタンの押し出しやＬＥＤ点滅の出力信号として出力される（Ｓ２３）。
図８はセキュリティ手段の動作を説明するフローチャートである。クライアント端末５は、まず、サーバ５に対してアプリケーションの問い合わせを行なう（Ｓ３０）。そのときサーバ３はクライアント端末５が承認された端末であるか否かを確認する（Ｓ３１）。クライアント端末５が承認されていなければ（Ｓ３１でｎｏ）、その時点で交信を遮断して終了する（Ｓ３４）。ステップＳ３１で端末が承認されていれば（Ｓ３１でｏｋ）、問い合わせのアプリケーションをファイル蓄積手段９から選択してクライアント端末５に送信し、クライアント端末５はそのアプリケーションをアプリ記憶手段２９にダウンロードする（Ｓ３２）。そして、受信したアプリケーションに基づいて情報共有化処理を実行する（Ｓ３３）。

図９は操作ログと物理ファイルとを関連付ける機能を説明するフローチャートである。まずステップＳ４０で操作が発生すると（Ｓ４０でｙ）、操作情報管理処理アペンドを実行する（Ｓ４１）。この操作情報管理処理アペンドは、操作ログファイル３２と物理ファイル３３を関連付ける（３４）ものである。これにより、イメージファイル上で何がなされたかを操作ログとして記録、操作ログファイル３２と物理ファイル３３とを関連付けて、後の反映をしやすくすることができる。処理が終了すると（Ｓ４２でｙ）終了する。
図１０はＩＯ部での操作ログと物理ファイルとを関連付ける機能を説明するフローチャートである。まず、音声映像記録開始処理が開始されて動画・音声ファイル３５に記録される（Ｓ４５）。そして、ＩＯ部で操作が発生すると（Ｓ４６でｙ）、操作情報管理処理アペンドを実行する（Ｓ４７）。この操作情報管理処理アペンドは、操作ログファイル３２と物理ファイル３３を関連付ける（３４）ものである。即ち、操作指示棒等を活用するＩＯ部ではアクションは全て電気的に捉えた情報をデジタルに変換し、インターフェースの操作等を行うばかりでなく、操作履歴として時間情報、端末ＩＤ、場所情報とリンクさせて保管することを可能とする。これにより、過去においてどのようなやりとりを行ったかだけでなく、操作ログファイル３２として映像・音声＋操作履歴ＤＢとして、履歴管理出来るだけでなく、過去のやりとりを完全に再現し、問題解決方法の情報として蓄積・管理することができる。

１ 物理ファイル、２ アプリファイル、３ サーバ、４ ネットワーク、５ クライアント端末、６ 指示棒、７ カメラ、８ マイク、９ ファイル蓄積手段、１１ 通信処理部、１２ 制御手段、１３ 解像度変換処理部、１４ サムネイル生成部、１５ 位置情報生成部、１６ 画像範囲抽出部、２０ Ｉ／Ｏポート、２１ メモリ、２２ 制御部、２３ 表示部、２４ 通信処理部、２５ データ取得手段、２６ 通信手段、２７ アプリケーション要求手段、２８ セキュリティ手段、２９ アプリ記憶手段、１００ 遠隔支援システム

Claims (2)

1. 遠隔地に配置された複数のクライアント端末と、前記クライアント端末と接続されたサーバとを備え、前記サーバからオンラインで前記クライアント端末へ画像データを提供する作業支援システムであって、
   前記クライアント端末は、
   位置情報を入力する手段と、
   指示棒と、
   カメラと、
   マイクと、
   表示部と、
   通信手段と、
   前記通信手段からのデータを取得するデータ取得手段と、
   前記クライアント端末が機能するために必要なアプリケーションを要求するアプリケーション要求手段と、
   前記サーバから受信したアプリケーションを記憶するアプリ記憶手段と、
   前記クライアント端末の操作が終了した時点で前記データ取得手段により取得したデータ、又は／及び、前記アプリ記憶手段に記憶したアプリケーションを消去するセキュリティ手段と、を備え、
   前記位置情報を前記通信手段を介して前記サーバに送信し、
   前記サーバは、
   位置情報生成手段と、
   前記物理ファイルとアプリファイルとを格納するファイル蓄積手段と、
   前記クライアント端末から位置情報を受信すると、前記位置情報に対応したファイルのイメージマップ変換を行う画像解像度変換手段と、
   前記画像解像度変換手段により変換された画像データを所定の範囲に切り出す画像範囲抽出手段と、
   前記各手段の同期制御を行なう制御手段と、
   サムネイル画像を生成するサムネイル生成手段と、を備え、
   前記クライアント端末における画像データの検索時にサムネイル画像から検索を行えるようにした作業支援システム。
2. 遠隔地に配置された複数のクライアント端末と、前記クライアント端末と接続されたサーバとを備え、前記サーバからオンラインで前記クライアント端末へ画像データを提供する作業支援方法であって、
   前記クライアント端末は、
   位置情報を入力する手段と、
   指示棒と、
   カメラと、
   マイクと、
   表示部と、
   通信手段と、を備え、
   前記通信手段からのデータを取得するデータ取得ステップと、
   前記クライアント端末が機能するために必要なアプリケーションを要求するアプリケーション要求ステップと、
   前記サーバから受信したアプリケーションをアプリ記憶手段に記憶する記憶ステップと、
   前記クライアント端末の操作が終了した時点で前記データ取得ステップにより取得したデータ、又は／及び、前記アプリ記憶手段に記憶したアプリケーションを消去するセキュリティステップと、を実行し、
   前記位置情報を前記通信手段を介して前記サーバに送信し、
   前記サーバは、
   位置情報生成ステップと、
   前記物理ファイルとアプリファイルとをファイル蓄積手段に格納するファイル蓄積ステップと、
   前記クライアント端末から位置情報を受信すると、前記位置情報に対応したファイルのイメージマップ変換を行う画像解像度変換ステップと、
   前記画像解像度変換ステップにより変換された画像データを所定の範囲に切り出す画像範囲抽出ステップと、
   前記各ステップの同期制御を行なう制御ステップと、
   サムネイル画像を生成するサムネイル生成ステップと、を実行し、
   前記クライアント端末における画像データの検索時にサムネイル画像から検索を行えるようにした作業支援方法。

Images