JP6932852B2 - データ通信方法及びヒューマンコンピュータインタラクションシステム - Google Patents

Description

本発明は、ロボット制御技術分野に関し、特に、データ通信方法及びヒューマンコンピュータインタラクションシステムに関する。

近年、オートメーション技術の発展に伴い、ＡＧＶ（Ａｕｔｏ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ無人搬送車、すなわちロボット）の応用分野が広くなり、物流、倉庫保管等の分野で重要な役割を果たしている。優れたロボットシステムは作業効率を大幅に向上させることができ、非常に重要で注目を集めている。

しかし、従来のロボットのマンマシンインターフェースは、遠隔制御ハンドル又は制御ボタンを用いるため、ユーザーにとって直観性が低く、制御・使用しにくく、操作・制御体験が悪い。且つ、ＵＳＢモード及びインターフェース配置により制限されるため、ロボット主制御装置とスマート端末装置との間の双方向データ伝送をサポートしない。従って、ユーザーはより便利なスマート端末装置によってロボットに対する制御を実現することができない。

上記の従来技術の欠陥に鑑みて、本発明は、従来技術におけるロボットのマンマシンインタラクションが不便で、直観的に制御できないという問題を解決するデータ通信方法及びヒューマンコンピュータインタラクションシステムを提供することを目的とする。

上記の目的を実現するために、本発明は以下の技術案を用いる。
ヒューマンコンピュータインタラクションシステムであって、ユーザーと対話するためのスマート端末装置と、１つ又は複数のロボットの動作を制御することに用いられ、前記スマート端末装置にＵＳＢを介して接続されるロボット主制御装置と、を備え、
ＡＯＡモードにおいて、前記ロボット主制御装置がマスタ装置側に変換され、前記スマート端末装置がスレーブ装置側に変換され、双方向のデータ伝送経路を形成し、ＡＯＡ（Ａｎｄｒｏｉｄ Ｏｐｅｎ Ａｃｃｅｓｓｏｒｙ）モードは、Ａｎｄｒｏｉｄ装置と周辺装置との間のＵＳＢ通信を実現するためのプロトコルである。

前記スマート端末装置からのアップリンクデータと前記ロボット主制御装置からのダウンリンクデータとが予め設定されたプロトコルフォーマットでパッケージングされて前記データ伝送経路において伝送される。

データ通信方法であって、ロボット主制御装置に適用される。該方法は、スマート端末装置とＵＳＢ接続を確立するとき、ＵＳＢ状態をＡＯＡモードに切り換えることと、ロボットの状態情報を収集することと、対応するアップリンクデータを形成するように予め設定されたプロトコルフォーマットで前記状態情報をパッケージングすることと、ＡＯＡデータ経路を介して前記アップリンクデータを前記スマート端末装置に送信することと、を含む。

前記方法は、更に、前記スマート端末装置からのダウンリンクデータを受信することと、前記予め設定されたプロトコルフォーマットに基づいて前記ダウンリンクデータを解析することと、前記ダウンリンクデータの解析結果に対応する操作を実行することと、を含む。

スマート端末装置とＵＳＢ接続を確立するとき、ＵＳＢ状態をＡＯＡモードに切り換えることは、ロボット主制御装置が起動した後、ＵＳＢ状態をポーリングしてリフレッシュすることと、前記ＵＳＢ状態がＡＯＡモードにあるかどうかを判断することと、ＮＯの場合、ＡＯＡモードに切り換えることと、を含む。

ロボットの状態情報を収集することは、具体的に、前記ロボットの動作状態が変化したかどうかを監視し、ＹＥＳの場合、対応する状態情報を取得することを含む。

データ通信方法であって、スマート端末装置に適用される。前記方法は、送信対象の操作情報を取得することと、予め設定されたプロトコルフォーマットで前記送信対象の操作情報をパッケージングして、ダウンリンクデータを形成することと、ＡＯＡデータ経路を介して、前記スマート端末装置にＵＳＢを介して接続されるロボット主制御装置へ前記ダウンリンクデータを送信することと、を含む。

前記方法は、更に、前記ロボット主制御装置からのアップリンクデータを受信することと、前記予め設定されたプロトコルフォーマットに基づいて前記アップリンクデータを解析することと、前記アップリンクデータの解析結果に対応する挙動を実行することと、を含む。

前記アップリンクデータの解析結果に対応する挙動を実行することは、具体的に、前記アップリンクデータの解析結果に基づいてユーザー対話型インターフェースを更新することを含む。

送信対象の操作情報を取得することは、具体的に、外部データ収集装置によってタスクリストを取得することを含み、前記タスクリストが前記ロボットに対する操作情報を若干含む。

前記予め設定されたプロトコルフォーマットで定義されたデータパケットはデータヘッダーとデータコンテンツとからなり、前記データヘッダーが現在のデータパケットのタイプ、長さ及びチェックコードの３つのフィールドを含み、前記データコンテンツが実データ情報をパッケージングすることに用いられる。

本発明の実施例に係るデータ通信方法及びヒューマンコンピュータインタラクションシステムは、ＡＯＡモードに変換してスマート携帯端末と主制御装置との間の双方向データ伝送経路を確立し、予め設定されたプロトコルフォーマットでアップリンクデータとダウンリンクデータとをパッケージングすることにより、ユーザーがスマート携帯端末を容易に使用してロボット主制御装置と対話することができ、直観的に制御でき、使用しやすく、優れた利用可能性がある。

本発明の実施例に係るヒューマンコンピュータインタラクションシステムの模式図である。 本発明の実施例に係るプロトコルフォーマットの模式図である。 本発明の実施例に係るデータ通信方法のフローチャートである。

本発明は、データ通信方法及びヒューマンコンピュータインタラクションシステムを提供する。本発明の目的、技術案及び効果をより明瞭にするために、以下に図面を参照しながら実施例によって本発明を更に詳しく説明する。なお、ここで説明される具体的な実施例は本発明を解釈するためのものであり、本発明を制限するためのものではないことを理解すべきである。

図１は、本発明の実施例に係るヒューマンコンピュータインタラクションシステムの模式図である。該ヒューマンコンピュータインタラクションシステムはロボットとスマート携帯端末とが対話するシーンに適用されてもよい。図１に示すように、該ヒューマンコンピュータインタラクションシステムはスマート端末装置１０及びロボット主制御装置２０を備えてもよい。前記スマート端末装置１０と前記ロボット主制御装置２０とがＵＳＢを介して接続される。

前記スマート端末装置１０は、いかなるタイプであってもよく、ユーザーと対話するためのスマート携帯機器はスマートフォン、タブレットコンピュータ、ＰＤＡ又はハンドヘルドコンピュータを含んでもよいが、それらに限らない。これらのスマート携帯機器は対応するオペレーティングシステムを動作させることができ、非常に豊富な入力／出力装置、例えばタッチパネル等を有し、ユーザーに非常に直観的な対話型インターフェース及び対話方式を提供することができ、ユーザー対話体験が良い。図１ではタブレットコンピュータを例とする。

前記ロボット主制御装置は、ロボットの制御コアであり、論理演算及び装置制御を行うことを担い、１つ又は複数の自動輸送装置の動作を制御することに用いられる。本実施例では、「自動輸送装置」の用語は、ＡＧＶ、又はＡＧＶと類似の機能を有し貨物輸送を実現するためのオートメーション装置又はロボットを示す。該ロボットはいかなる適切な走行機構、例えばバイオニックフット又はホイールを用いてもよく、積載物を目的地に自動的に輸送することができる。

通常のＵＳＢ接続を使用する場合、スマート端末装置はアンドロイド(登録商標)システムをマスタ装置側（すなわち、ホスト側）として使用し、ＯＴＧ（Ｏｎ−Ｔｈｅ−Ｇｏ）インターフェースのみを備えている。それに対応して、ロボット主制御装置がスレーブ装置側（すなわち、デバイス側）である。このように、従来のＵＳＢプロトコルではロボット主制御装置のタブレットコンピュータへのデータ送信をサポートせず、スマート端末装置もロボット主制御装置を認識できない。

本実施例では、ロボット主制御装置内に追加配置された駆動モジュールによってロボット主制御装置のＵＳＢ状態をＡＯＡモードに切り換えることができる。これにより、前記ロボット主制御装置をマスタ装置側に変換し、前記スマート端末装置をスレーブ装置側に変換して、１つの双方向のデータ伝送経路を実現する。

該ＡＯＡデータ伝送経路を基に、前記スマート端末装置からのアップリンクデータと前記ロボット主制御装置からのダウンリンクデータとをいずれも同じプロトコルフォーマットでパッケージングすると、それらの間のデータ通信を実現することができる。

図２は本発明の実施例に係るプロトコルフォーマットの模式図である。図２に示すように、前記予め設定されたプロトコルフォーマットで定義されたデータパケットはデータヘッダー３１とデータコンテンツ３２とからなる。

前記データヘッダーの長さは一定であって、現在のデータパケットのタイプ、長さ及びチェックコードの３つのフィールドを含む。前記データコンテンツは実データ情報をパッケージングすることに用いられ、データパケットの実荷重を示す。その長さがデータコンテンツに応じて変化し、例えばある画像データ又は文字列を伝送する。

前記チェックコードは、データパケット伝送の精度をチェックすることに用いられ、情報伝送の信頼性を向上させることができる。いくつかの実施例では、まずすべてのフィールドの値の和を求め、次に下位バイトの値を識別コードとしてデータパケットの送受信側でデータパケットのデータ精度をチェックするというチェック方法でデータパケットをチェックしてもよい。

このような方式によれば、ユーザーはロボットと対話し、例えば貨物リストを設定する必要がある場合、タブレットコンピュータ又は類似のスマート端末装置を使用して該スマート端末装置に係る対話型インターフェースにおいて操作し、ピッキングすべき貨物リストデータを１つの予め設定されたプロトコルフォーマットでパッケージング・パッケージ化した後、ロボット主制御装置に送信してもよい。

ロボット主制御装置は、該送信されたデータパケットを受信すると、同じプロトコルフォーマットで解析した後、解析結果に基づいてロボット又はＡＧＶが対応するラックに移動するように制御してピッキング作業を完了する。

図３には図１に示されるヒューマンコンピュータインタラクションシステムのデータ通信過程を示し、それぞれロボット主制御装置側及びスマート端末側から説明することができる。

図３に示すように、ロボット主制御装置側にある場合、該データ通信方法は以下のステップを含んでもよい。
Ｓ２０、スマート端末装置とＵＳＢ接続を確立するとき、ＵＳＢ状態をＡＯＡモードに切り換える。

具体的に、図３に示すように、前記ステップＳ２０は、以下のステップを含んでもよい。
Ｓ２０１、ロボット主制御装置が起動した後、モードを呼び出してドライバプログラムを切り換える。
Ｓ２０２、ロボット主制御装置のＵＳＢ状態をポーリングしてリフレッシュする。
Ｓ２０３、前記ＵＳＢ状態がＡＯＡモードにあるかどうかを判断する。ＮＯの場合、ステップＳ４２を実行する。
Ｓ２０４、ＡＯＡモードに切り換える。ＡＯＡ（Ａｎｄｒｏｉｄ Ｏｐｅｎ Ａｃｃｅｓｓｏｒｙ）モードはＡｎｄｒｏｉｄ装置と周辺装置との間のＵＳＢ通信を実現するためのプロトコルである。該プロトコルがＡｎｄｒｏｉｄ装置のＵＳＢインターフェースの機能を拡張し、Ａｎｄｒｏｉｄシステムに基づくスマート機器のデータ収集及び装置制御分野への適用に条件を与える。

Ｓ２１、ロボットの状態情報を収集する。該状態情報はロボットの現在の運動状態に関連する情報、例えば移動開始、運動中、目的地到達等の異なる状態を指す。
具体的に、ロボット主制御装置は前記ロボットに対する監視を維持し、状態が変化したかどうかを判断してもよい。且つ、状態が変化した場合、対応する状態情報を取得する。

Ｓ２２、対応するアップリンクデータを形成するように予め設定されたプロトコルフォーマットで前記状態情報をパッケージングする。

Ｓ２３、ＡＯＡデータ経路を介して前記アップリンクデータを前記スマート端末装置に送信する。

図３に示すように、アップリンクデータに対する処理を除き、ロボット主制御装置側では、前記方法は更に以下のステップを含む。

Ｓ２４、前記スマート端末装置からのダウンリンクデータを受信する。

Ｓ２５、前記予め設定されたプロトコルフォーマットに基づいて前記ダウンリンクデータを解析する。

Ｓ２６、前記ダウンリンクデータの解析結果に対応する操作を実行する。該操作は、具体的に、いかなるタイプの、ロボットが動作するように指示する命令、例えばロボットが移動するように制御するか、又はロボットのハードウェア状態をクエリする等であってもよい。

図３に示すように、スマート端末装置側に適用される場合、前記データ通信方法は以下のステップを含む。

Ｓ１１、送信対象の操作情報を取得する。
いくつかの実施例では、前記スマート端末装置は具体的に外部データ収集装置によってタスクリストを取得してもよい。前記タスクリストが前記自動輸送装置に対する操作情報、例えばロボットの運動を計画する命令、ピッキング作業の順序等を若干含む。

Ｓ１２、予め設定されたプロトコルフォーマットで前記送信対象の操作情報をパッケージングして、ダウンリンクデータを形成する。
該スマート端末装置は対応するＡＰＰクライアントを動作させ、該ＡＰＰクライアントによって操作情報を予め設定されたプロトコルフォーマットでパッケージングしてもよい。

Ｓ１３、ＡＯＡデータ経路を介して、前記スマート端末装置にＵＳＢを介して接続される自動輸送装置へ前記ダウンリンクデータを送信する。
アップリンクデータに対する処理を除き、スマート端末装置側では、前記方法は更にアップリンクデータに対する処理を含んでもよい。図３に示すように、該処理過程は以下のステップを含む。

Ｓ１４、前記自動輸送装置からのアップリンクデータを受信する。

Ｓ１５、前記予め設定されたプロトコルフォーマットに基づいて前記アップリンクデータを解析する。

Ｓ１６、前記アップリンクデータの解析結果に対応する挙動を実行する。
具体的に、前記対応する挙動はいかなるタイプのユーザー対話挙動であってもよい。例えば、ＡＰＰクライアントを更新するユーザー対話型インターフェース、又はロボットのフィードバック情報のアラート又は他のユーザー対話挙動であってもよい。

理解されるように、当業者であれば、本発明の技術案及び本発明の構想に基づき等価置換や変更を行うことができ、これらの変更や置換はいずれも本発明の添付の特許請求の範囲に属すべきである。

本発明の実施例に係るデータ通信方法及びヒューマンコンピュータインタラクションシステムは、ＡＯＡモードに変換してスマート携帯端末と主制御装置との間の双方向データ伝送経路を確立し、予め設定されたプロトコルフォーマットでアップリンクデータとダウンリンクデータとをパッケージングすることにより、ユーザーがスマート携帯端末を容易に使用してロボット主制御装置と対話することができ、直観的に制御でき、使用しやすく、優れた利用可能性がある。

Claims (10)

1. ヒューマンコンピュータインタラクションシステムであって、
   ユーザーと対話するように配置されるスマート端末装置と、
   １つ又は複数のロボットの動作を制御し、前記スマート端末装置にＵＳＢを介して接続されるように配置されるロボット主制御装置と、を備え、
   前記ロボット主制御装置は、ロボットの自動輸送装置の動作を制御することに用いられ、前記ロボット主制御装置内に配置された駆動モジュールによってロボット主制御装置のＵＳＢ状態がＡＯＡモードに切り換えられ、前記スマート端末装置とＵＳＢ接続を確立するとき、前記ロボット主制御装置が起動した後、ＵＳＢ状態をポーリングしてリフレッシュし、前記ＵＳＢ状態がＡＯＡモードにあるかどうかを判断して、前記ＵＳＢ状態をＡＯＡモードに切り換え、
   ＡＯＡモードに切り換えられることで、前記ロボット主制御装置がマスタ装置側に変換され、前記スマート端末装置がスレーブ装置側に変換され、双方向のデータ伝送経路を形成し、
   前記スマート端末装置からのアップリンクデータと前記ロボット主制御装置からのダウンリンクデータとが予め設定された同じプロトコルフォーマットでパッケージングされて前記データ伝送経路において伝送されるヒューマンコンピュータインタラクションシステム。
2. 請求項１に記載のシステムにおけるロボット主制御装置に適用されるデータ通信方法であって、
   スマート端末装置とＵＳＢ接続を確立するとき、ＵＳＢ状態をＡＯＡモードに切り換えることと、
   ロボットの状態情報を収集することと、
   対応するアップリンクデータを形成するように予め設定されたプロトコルフォーマットで前記状態情報をパッケージングすることと、
   ＡＯＡデータ経路を介して前記アップリンクデータを前記スマート端末装置に送信することと、を含むデータ通信方法。
3. 前記スマート端末装置からのダウンリンクデータを受信することと、
   前記予め設定されたプロトコルフォーマットに基づいて前記ダウンリンクデータを解析することと、
   前記ダウンリンクデータの解析結果に対応する操作を実行することと、をさらに含む請求項２に記載のデータ通信方法。
4. スマート端末装置とＵＳＢ接続を確立するとき、ＵＳＢ状態をＡＯＡモードに切り換えることは、
   ロボット主制御装置が起動した後、ＵＳＢ状態をポーリングしてリフレッシュすることと、
   前記ＵＳＢ状態がＡＯＡモードにあるかどうかを判断することと、
   ＮＯの場合、ＡＯＡモードに切り換えることと、を含む請求項２に記載のデータ通信方法。
5. ロボットの状態情報を収集することは、
   前記ロボットの動作状態が変化したかどうかを監視し、
   ＹＥＳの場合、対応する状態情報を取得することを含む請求項２に記載のデータ通信方法。
6. 請求項１に記載のシステムにおけるスマート端末装置に適用されるデータ通信方法であって、
   送信対象の操作情報を取得することと、
   予め設定されたプロトコルフォーマットで前記送信対象の操作情報をパッケージングして、ダウンリンクデータを形成することと、
   ＡＯＡデータ経路を介して、前記スマート端末装置にＵＳＢを介して接続されるロボット主制御装置へ前記ダウンリンクデータを送信することと、を含むデータ通信方法。
7. 前記ロボット主制御装置からのアップリンクデータを受信することと、
   前記予め設定されたプロトコルフォーマットに基づいて前記アップリンクデータを解析することと、
   前記アップリンクデータの解析結果に対応する挙動を実行することと、をさらに含む請求項６に記載のデータ通信方法。
8. 前記アップリンクデータの解析結果に対応する挙動を実行することは、
   前記アップリンクデータの解析結果に基づいてユーザー対話型インターフェースを更新することを含む請求項７に記載のデータ通信方法。
9. 送信対象の操作情報を取得することは、
   外部データ収集装置によってタスクリストを取得することを含み、前記タスクリストが前記ロボットの自動輸送装置に対する操作情報を含む請求項６に記載のデータ通信方法。
10. 前記予め設定されたプロトコルフォーマットで定義されたデータパケットはデータヘッダーとデータコンテンツとからなり、
    前記データヘッダーは、現在のデータパケットのタイプ、長さ、及びチェックコードの３つのフィールドを含み、前記データコンテンツが実データ情報をパッケージングすることに用いられる請求項２〜９のいずれか１項に記載のデータ通信方法。

Images