JP6905087B2 - 物品探索方法、装置及びロボット - Google Patents

物品探索方法、装置及びロボット Download PDF

Info

Publication number
JP6905087B2
JP6905087B2 JP2019561904A JP2019561904A JP6905087B2 JP 6905087 B2 JP6905087 B2 JP 6905087B2 JP 2019561904 A JP2019561904 A JP 2019561904A JP 2019561904 A JP2019561904 A JP 2019561904A JP 6905087 B2 JP6905087 B2 JP 6905087B2
Authority
JP
Japan
Prior art keywords
search
target article
model
search target
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019561904A
Other languages
English (en)
Other versions
JP2020520508A (ja
Inventor
駱磊
Original Assignee
達闥机器人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 達闥机器人有限公司 filed Critical 達闥机器人有限公司
Publication of JP2020520508A publication Critical patent/JP2020520508A/ja
Application granted granted Critical
Publication of JP6905087B2 publication Critical patent/JP6905087B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1694Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1679Program controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional [3D] objects
    • G06V20/647Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40577Multisensor object recognition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40594Two range sensors for recognizing 3-D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Manipulator (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本願は、モノのインターネット技術分野に関し、特に物品探索方法、装置及びロボットに関する。
自分が無視するか、又は記憶力が悪いなどの原因で、人々は、常に家、又はある固定場所で、例えば、ある本、眼鏡、鍵等のような現在必要な物品を見つけることができない。
将来の家庭には、例えば、バトラーロボット、掃除ロボット、物品整理ロボット、介護ロボット等、様々なロボットは現れる可能性がある。ロボットによって物品を探せば、ユーザーが物品を探す効率は効果的に向上できる。
本願の実施例は、ユーザーが物品を探す時に、効率が低いという問題を主に解決する。
上記技術的問題を解決するため、1つの技術的解決手段として、本願の実施例は物品探索方法を提供し、該方法は、探索対象物品を探索する探索タスクを受信するステップと、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得するステップと、前記探索対象物品を探索する探索タスクグループを決定するステップと、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索するステップと、を含む。
上記技術的問題を解決するため、別の技術的解決手段として、本願の実施例は物品探索装置を提供し、該装置は、探索対象物品を探索する探索タスクを受信するために用いられる第1受信モジュールと、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得するために用いられる取得モジュールと、前記探索対象物品を探索する探索タスクグループを決定するための決定モジュールと、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索するために用いられる探索モジュールと、を含む。
上記技術的問題を解決するため、別の技術的解決手段として、本願の実施例はロボットを提供し、該ロボットは、少なくとも1つのプロセッサ、及び前記少なくとも1つのプロセッサに通信接続されたメモリを含み、ここで、前記メモリには、前記少なくとも1つのプロセッサによって実行可能なコマンドプログラムが記憶されており、前記少なくとも1つのプロセッサに上記の方法を実行させるように、前記コマンドプログラムが前記少なくとも1つのプロセッサによって実行される。
上記技術的問題を解決するため、別の技術的解決手段として、本願の実施例は不揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、コンピュータに上記の方法を実行させるためのコンピュータ実行可能なコマンドが記憶されている。
上記技術的問題を解決するため、別の技術的解決手段として、本願の実施例はコンピュータプログラム製品を提供し、前記コンピュータプログラム製品は、不揮発性コンピュータ可読記憶媒体及び前記不揮発性コンピュータ可読記憶媒体に内蔵されたコンピュータプログラムコマンドを含み、前記コンピュータプログラムコマンドは、プロセッサに上記の方法を実行させるためのコマンドを含む。
本願の実施例において、取得した探索対象物品の3Dモデルに基づいて、探索タスクグループと連携して該3Dモデルに対応する探索対象物品に対して探索を行う。該実施形態はユーザーに利便性を提供する一方で、ユーザーが物品を探す効率、及び該物品を見つける確率を向上させる。
1つ又は複数の実施例は、それに対応する図面の図によって例示的に説明する。これらの例示的な説明は実施例を限定するものではない。図面中の同じ参照番号を有する要素は類似の要素として示されており、図面中の図は、特記しない限り、縮尺が限定されない。
本願の実施例にて提供される物品探索方法の適用環境の模式図である。 本願の実施例にて提供される物品探索方法の概略フローチャートである。 本願の実施例にて提供される物品探索方法において前記探索対象物品に対応する3Dモデルを取得する方法の概略フローチャートである。 本願の実施例にて提供される物品探索方法において取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する方法の概略フローチャートである。 本願の実施例にて提供される物品探索方法において取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する方法の別の概略フローチャートである。 本願の実施例にて提供される物品探索方法において取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する方法のさらに別の概略フローチャートである。 本願の別の実施例にて提供される物品探索方法の概略フローチャートである。 本願のさらに別の実施例にて提供される物品探索方法の概略フローチャートである。 本願の実施例にて提供される物品探索装置の概略構造図である。 本願の別の実施例にて提供される物品探索装置の概略構造図である。 本願のさらに別の実施例にて提供される物品探索装置の概略構造図である。 本願の実施例にて提供されるロボットの概略構造図である。
本願の目的、技術的解決手段及び利点をより分かりやすくするために、以下、図面及び実施例を参照しながら、本願についてさらに詳細に説明する。本明細書に記載された具体的な実施例は単なる本願を解釈するものであり、本願を限定するものではないと理解すべきである。
図1は、本願の実施例にて提供される物品探索方法の適用環境の模式図である。図1に示すように、該適用環境は、ユーザー10と、スマート端末20と、クラウドサーバ30と、を含む。
ユーザー10は、例えば、家庭、ワーキンググループ又は個人等、同じ又は類似の操作行動を有する任意の数のグループであってもよい。ユーザー10は、音声、文字、身体動作等の方式によってスマート端末20とデータインタラクションを行うことができる。
スマート端末20は、例えば、掃除ロボット、物品整理ロボット、介護ロボット等、一定の論理演算能力を備え、ユーザーの意図を満足できる1つ又は複数の機能を提供する、いずれかの適切なタイプの電子機器であってもよい。スマート端末20は、視覚探索、音声取得と音声識別、及び画像取得と画像識別等の機能を備える。スマート端末20は、ユーザー10から入力された音声、文字、身体動作等の情報を受信した後、音声識別又は画像識別等の機能によってユーザー10から送信されたタスクを取得することができる。スマート端末20は、ローカルエリアネットワーク及びインターネットにアクセスすることができ、タスクを受信した後、ローカルエリアネットワーク又はインターネットにアクセスするという協力によりタスクを完了することができる。この過程において、スマート端末20は、クラウドサーバ30とデータインタラクションを行うことができ、クラウドサーバ30の高い演算能力でスマート端末20に協力してユーザー10から送信されたタスクを完了する。
1つ又は複数のスマート端末20によってユーザー10から送信されたタスクを実行してもよい。複数のスマート端末20によってユーザー10から送信されたタスクを実行する場合、該複数のスマート端末20の間は、互いに通信するとともに、データ情報を共有することができる。さらに、図1に示された1つのスマート端末に限定されず、該複数のスマート端末20は、いずれもローカルエリアネットワーク、インターネット及びクラウドサーバにアクセスすることができる。
クラウドサーバ30は、スマート端末20に、具体的にはクラウドコンピューティング及びクラウドストレージの需要に対して、クラウドサービスを提供するために用いられる。スマート端末20から送信されたクラウドコンピューティング要求メッセージを受信した後、クラウドサーバ30はアプリケーションを取得するか、又は記憶されたアプリケーションを呼び出すことで、クラウドコンピューティング処理を行い、例えば、ある物品に対して3Dモデリングを行う。スマート端末20から送信されたクラウドストレージ要求メッセージを受信した後、クラウドサーバ30は、該データ情報をキャッシュすることができる。クラウドサーバ30は、さらに予め記憶されたデータ情報を記憶することができる。
なお、本願の実施例にて提供される物品探索方法の適用環境は、さらにその他の適切な適用環境に広げられてもよく、図1に示された適用環境に限定されない。図1は、1つのユーザー10、3つのスマート端末20及び1つのクラウドサーバ30を示したが、実際の適用過程において、該適用環境がより多くの、又はより少ないユーザー、スマート端末及びクラウドサーバをさらに含んでもよいことは、当業者が理解できるものである。
以下、具体的な実施例を参照しながら、本願の実施例についてさらに説明する。
図2は本願の実施例にて提供される物品探索方法の概略フローチャートである。図2に示すように、該方法は、ステップ21〜ステップ24を含む。
ステップ21、探索対象物品を探索する探索タスクを受信する。
本実施例では、スマート端末は、ユーザーから送信された、ある空間における物品を探索する探索タスクを受信する。ユーザーは、音声入力、文字入力又はジェスチャー入力等の方式によって、スマート端末に探索対象物品のキー情報を含む探索タスクを送信することができ、スマート端末は、該キー情報に基づいて該探索タスクを理解することができる。ユーザーが音声又は文字によって探索タスクを入力する場合、スマート端末は、音声識別及び語義理解に基づいて該探索タスクのキーワードを抽出することができる。ユーザーがジェスチャー等の身体動作によって探索タスクを入力する場合、スマート端末は、動作識別等に基づいて該探索タスクのキーワードを抽出することができる。
例えば、ユーザーは、家庭中におけるある1つ又は何らかのロボットに、例えば、「Tom、『鋼鉄はいかに鍛えられたか』という本がどこに置かれたか、探してくれ!」と呼び出し、名前がTomであるロボットは、ユーザーから送信された音声情報を受信した後、音声識別及び語義理解に基づいて、「本」、「鋼鉄はいかに鍛えられたか」をキー情報として識別し、これにより、現在の探索タスクを、『鋼鉄はいかに鍛えられたか』という本を探索することとする。
ステップ22、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得する。
探索タスクを受信した後、後続の探索過程において3Dモデルに基づいて探索対象物品を探索するように、スマート端末は、探索タスクに含まれているキー情報に基づいて探索対象物品に対応する前記3Dモデルを取得する。
具体的には、図3に示すように、前記探索対象物品に対応する3Dモデルを取得するステップは、ステップ221〜ステップ223を含む。
ステップ221、ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルを調べる。
ステップ222、ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられるか否かを判断する。
ステップ223、前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられると、見つけられた前記3Dモデルを前記探索対象物品に対応する3Dモデルとする。
本実施例において、スマート端末は、ローカルエリアネットワークにアクセスすることにより、ローカル3Dモデルセットにおいて探索対象物品の3Dモデルを調べる。ここで、探索タスクに含まれているキーワードをローカル3Dモデルにおける各3Dモデルに対応する文字ラベルとマッチングすることができ、マッチングすれば、該3Dモデルが見つけられる。該各3Dモデルに対応する文字ラベルは、ローカル3Dモデルセットに記憶されている3Dモデルを解釈及び説明するために用いられる。
ここで、該ローカル3Dモデルセットは、予め構築された現在領域内における物品を含む3Dモデルのデータセットである。現在領域内における物品は、現在領域における全ての物品であってもよく、ユーザーが常に使っている物品であってもよく、又は、体積が小さく、見つけにくい物品等であってもよい。さらに、該ローカル3Dモデルセットにおける3Dモデルは、物品の分類に基づいて構築することができ、例えば、「本」類は1種又は複数種の3Dモデルに対応し、「携帯電話」類は1種又は複数種の3Dモデルに対応する、等が挙げられる。
該ローカル3Dモデルセットにおける全ての内容は、ローカルサーバに記憶されてもよく、スマート端末本体に記憶されてもよく、又は、クラウドサーバに記憶されてもよく、ここで限定されない。また、具体的な適用場面に応じて、該ローカル3Dモデルセットにおける内容が更新されてもよい。
ローカル3Dモデルセットにおいて探索対象物品の3Dモデルが見つけられないと、さらに、図3に示すように、前記探索対象物品に対応する3Dモデルを取得する方法はさらに、ステップ224〜ステップ226を含む。
ステップ224、前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられないと、ネットワークで前記探索対象物品に対応する3Dモデルを探索する。
ステップ225、ネットワークで前記探索対象物品に対応する3Dモデルが探し出されるか否かを判断する。
ステップ226、前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されると、前記探し出された3Dモデルを前記探索対象物品に対応する3Dモデルとし、且つ前記探し出された3Dモデルを前記ローカル3Dモデルセットに記憶する。
本実施例において、ローカルで探索対象物品の3Dモデルが探し出されないと、インターネットから該3Dモデルを探索する。ここで、探索タスクに含まれるキーワードに基づいて、ネットワークで該キーワードに対応する3Dモデルを探索する。なお、探し出された3Dモデルの数が探索キーワードに関わり、キーワードが詳細であれば詳細であるほど、探し出された3Dモデルが正確である。しかしながら、ある物品のバージョン又はスタイルが複数である場合、キーワードによって具体的な3Dモデルを区別できず、このとき、ユーザーとのインタラクションによって探索対象物品の3Dモデルを決定することができる。
例えば、ネットワークで『鋼鉄はいかに鍛えられたか』という本の3Dモデルを探索する場合、該本は複数バージョンの様々な表紙スタイルがあり、したがって、本の名に基づいてその3Dモデルを探索すると、該本の複数種の3Dモデルを得る。このとき、キーワードに基づいて該本のピクチャを探索し、画面又は投影によって探し出された該本のピクチャ(即ち表紙スタイル)をユーザーに表示することができ、該本のバージョンが複数あると音声によってユーザーに提示し、ユーザーが1つを選択するとアドバイスし、ユーザーが提示を受けた後、音声又は画面クリック等の方式によって選択でき、ユーザーに選択されたピクチャを受信した後、さらに該ピクチャに基づいてそれに対応する3Dモデルを探索する。
ネットワークで探索対象物品に対応する3Dモデルが探し出されないと、さらに、図3に示すように、前記探索対象物品に対応する3Dモデルを取得する方法はさらに、ステップ227〜ステップ228を含む。
ステップ227、前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されないと、ネットワークで前記探索対象物品に対応するピクチャを探索する。
ステップ228、クラウド側で前記ピクチャに基づいて構築された前記探索対象物品の3Dモデルを取得するとともに、前記構築された3Dモデルを前記ローカル3Dモデルセットに記憶する。
本実施例において、ローカルとネットワークのどちらでも探索対象物品に対応する3Dモデルが見つけられないと、探索対象物品の3Dモデルを構築する。ネットワークで探索対象物品に関わる大量のピクチャを探索することにより、ピクチャに基づいて物品の3Dモデリングを行い、ピクチャに基づく3Dモデリングの具体的な実施形態は、関連技術において詳細に説明されたが、ここで限定されない。この物品の3Dモデリング過程は、クラウドサーバで行われてもよく、スマート端末は、探し出されたピクチャをクラウドサーバに送信し、クラウドサーバはモデリング結果をスマート端末に戻させ、且つローカル3Dモデルセットにおける内容を完全にするように、この構築された3Dモデルをローカル3Dモデルセットに記憶する。この物品の3Dモデリング過程はスマート端末で行われてもよい。
ステップ23、前記探索対象物品を探索する探索タスクグループを決定する。
本実施例において、該探索タスクグループは、少なくとも2つのスマート端末を含むスマート端末セットであり、該セットにおけるスマート端末はいずれも探索対象物品を探索するために用いられる。下記の方法によって該探索タスクグループを構築することができる。
例えば、バトラーロボットがユーザーから送信された探索対象物品を探索するタスクを受信すると、該バトラーロボットは、該ユーザーに属する全てのローカルロボットにおける視覚探索機能を備えるロボットに通知し、それによりこれらの選択されたロボットを1つの探索タスクグループに構築する。
例えば、ユーザーに属するローカルロボットにおいて、少なくとも2つのロボットがいずれもユーザーから送信された探索タスクを受信すると、同じ探索タスクを受信するロボットを探索タスクグループに構築する。
例えば、ユーザーに属するローカルロボットにおいて、視覚探索機能を備え、且つアイドル状態にあるロボットを探索タスクグループに構築する。さらに、ユーザーから送信された探索タスクの優先度を、ローカルロボットが現在実行しているタスクの優先度と比較し、ローカルロボットが実行しているタスクの優先度が、該探索タスクの優先度より低ければ、低い優先度に対応するロボットを探索タスクグループに入れ、これらのロボットに探索タスクを優先的に実行させ、現在実行されているタスクをキャッシュする。
探索タスクグループの構築による上記の物品探索は、探索効率を向上させることができるだけでなく、また物品を見つける確率をより効果的に向上させることができる。
ステップ24、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索する。
本実施例において、3Dモデルを取得したスマート端末は、取得した3Dモデルを探索タスクグループにおけるその他のスマート端末に送信し、それにより該探索タスクグループと連携して、3Dモデルに基づいて探索対象物品を探索する。この過程において、探索タスクグループにおける各スマート端末の間は、互いに通信し、探索過程及び探索結果を共有することができる。
いくつかの実施例において、探索タスクグループにおけるスマート端末は、ロボットであることが好ましく、ロボットによって構築された探索タスクグループは、下記の方式によって探索対象物品を探索することができる。
具体的には、図4に示すように、取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、ステップ24a1〜ステップ24a2を含む。
ステップ24a1、前記探索タスクグループにおけるロボットに対応する探索領域を決定する。
ステップ24a2、前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、対応する探索領域で探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信する。
なお、探索タスクグループには、複数のロボットが含まれ、各ロボットを合理的に配分できれば、探索効率を効果的に向上させることができる。したがって、ここで、探索タスクグループにおける各ロボットに対応する探索領域を割り当て、これによりロボットは3Dモデルに基づいて、その対応する探索領域で探索する。
ここで、ロボットの現在位置に基づいて探索タスクグループにおけるロボットの探索領域を決定してもよい。例えば、探索タスクを受信する時、掃除ロボットがリビングルームに位置し、物品整理ロボットが部屋に位置する場合、掃除ロボットの探索領域がリビングルームであり、物品整理ロボットの探索領域が部屋であると決定する。また、探索タスクグループにおけるロボットの数及び探索領域の空間の大きさに基づいて、探索タスクグループにおけるロボットの探索領域を決定してもよい。また、各ロボット自身の機能属性に基づいて、その対応する探索領域を決定してもよく、例えば、キッチンロボットに対応する探索領域はキッチンであり、ドア開けロボットに対応する探索領域はリビングルームである。また、その他の方式によって探索タスクグループにおけるロボットの探索領域を決定してもよい。
探索領域に監視システムが含まれる場合、探索タスクグループは、監視システムの援助で探索を開始することができる。具体的には、図5に示すように、取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、ステップ24b1〜ステップ24b2を含む。
ステップ24b1、監視システムによって監視された監視画面を取得する。
ステップ24b2、前記監視画面に基づいて前記3Dモデルに対応する探索対象物品を探索する。
監視画面は、探索領域を監視することにより取得された画面を意味する。ここで、監視画面については、探索タスクグループにおける演算能力が最も強いロボット、又は行動能力がないロボット、又は現在、自身の探索範囲が探索済みのロボットによって、監視システムから監視画面が取得され、取得された監視画面を探索タスクグループにおけるその他のロボットに共有させ、それにより各ロボットは3Dモデル及び監視画面に基づいて探索対象物品を調べる。また、探索タスクグループにおける各ロボットは、いずれも監視システムから監視画面を取得してもよい。
なお、ユーザーが探したい物品は、いくつかの忘れやすい物品、例えば、眼鏡、ヘッドホン等である可能性があり、ユーザーは、これらの物品を常に置いたいくつかの位置に習慣的に置く。したがって、物品を置く位置履歴と合わせて物品を探索してもよい。
具体的には、図6に示すように、取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、ステップ24c1〜ステップ24c2を含む。
ステップ24c1、前記探索対象物品に対応する、前記探索対象物品の位置履歴及び前記探索対象物品が各位置履歴で探し出された探索回数を記録するために用いられる位置グループ履歴を取得する。
ステップ24c2、前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、且つ前記位置グループ履歴と合わせて前記探索対象物品を探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信する。
ここで、該位置グループ履歴が予め構築され、中には、物品がかつて見つけられた時の位置、及び該位置で見つけられた回数が記録されている。位置グループ履歴に対応する時間履歴は、ユーザーによってカスタム設定されてもよい。該位置グループ履歴は、各ロボットに記憶されてもよく、クラウドサーバに記憶されてもよく、ローカルサーバに記憶されてもよい。
位置グループ履歴に基づいて物品を探索するステップは、該物品が該位置で過去に見つけられた回数の多少に基づいて位置履歴をソートし、続いて該ソートに基づいて順序に従って物品を探索することを含む。例えば、眼鏡は、コンピュータデスクで過去に見つけられた回数が5回で、ナイトテーブルで過去に見つけられた回数が3回で、流し台で過去に見つけられた回数が2回であれば、ロボットはコンピュータデスク、ナイトテーブル、流し台の順序に従って眼鏡を探索してもよい。
なお、探索タスクグループが最も早く、且つ最も正確に探索対象物品を探し出すようにさせるために、上記の3つの実施形態の間は合理的に組み合わせてもよい。以下、例を挙げて、この3つの実施形態の組み合わせを説明する。
例えば、まず、探索タスクグループにおける各ロボットの探索領域を決定し、続いて、ロボットがそれに対応する探索領域において探索対象物品を探索する場合、該領域において探索対象物品に対応する位置グループ履歴に基づいて探索を行う。例えば、ロボットAとロボットBは、「鋼鉄はいかに鍛えられたか」という本を共に探索し、ロボットAに対応する探索領域はリビングルームで、ロボットBに対応する探索領域はベッドルームであり、ここで、該本がリビングルームにある位置グループ履歴は、{(サイドテーブル、3回)、(ソファー、2回)、(引き出し、1回)}であり、該本がベッドルームにある位置グループ履歴は、{(ナイトテーブル、3回)、(枕の下、1回)}であり、ここで、ロボットAは、リビングルームで「サイドテーブル、ソファー、引き出し」の順序に従ってこの「鋼鉄はいかに鍛えられたか」という本を探索し、ロボットBは、ベッドルームで「ナイトテーブル、枕の下」の順序に従ってこの「鋼鉄はいかに鍛えられたか」という本を探索する。この過程において、ロボットAとロボットBとの間は、自分の探索結果を共有する。
例えば、探索タスクグループにおける各ロボットの探索領域を決定した後、ロボットはそれに対応する領域の監視画面を取得し、監視画面の走査、及び自分の探索によって探索対象物品を探索する。
例えば、ロボットが探索対象物品の位置グループ履歴を取得した後、該位置グループ履歴における各位置履歴の監視画面を呼び出すことにより、さらに監視画面によって探索対象物品が存在するか否かを判断する。
なお、ロボットが上記形態における1つ又は複数を利用して探索対象物品を探索する場合、その探索した位置、及び監視システムが走査した位置は、いずれも室内三次元地図上でマーキングされ、且つロボットの間にマーキングされた該室内三次元地図を共有させることができ、ロボットは、該室内三次元地図の記録に基づいて探索領域を選択的にスクリーニングしてもよい。
さらに、上記ステップ24c1及び24c2に基づいて、前記探索対象物品を探し出した後、図7に示すように、前記方法はさらに、ステップ25〜ステップ27を含む
ステップ25、前記探索対象物品の探し出された位置が前記位置グループ履歴に属すか否かを判断する。
ステップ26、属すれば、前記探索対象物品が探し出された位置に対応する探索回数を更新する。
ステップ27、属しなければ、前記位置グループ履歴に前記探索対象物品が探し出された位置、及び前記位置に対応する探索回数を記録する。
例えば、上記探索対象眼鏡が見つけられ、且つ「流し台」で見つけられると、この見つけられた位置が前記位置グループ履歴に属すと説明され、このとき、「流し台」に対応する探索回数を更新し、例えば、1を加算する。上記探索対象眼鏡が見つけられ、且つ「サイドテーブル」で見つけられると、該見つけられた位置が前記位置グループ履歴に属しないと説明され、このとき、「サイドテーブル」という位置を位置グループ履歴に記録し、且つ対応する探索回数を記録し、例えば、1と記録する。
本願の実施例にて提供される物品探索方法は、探索タスクグループ及び探索対象物品に対応する3Dモデルによって、探索対象物品を探索する。探索過程において領域を分割し、監視システムを呼び出し、且つ位置履歴と合わせることにより該物品に対して探索を行う。該実施形態は、探索効率を向上できるだけでなく、また物品を見つける正確率を向上できる。
図8は、本願のさらに別の実施例にて提供される物品探索方法の概略フローチャートである。図8に示すように、該方法は、ステップ31〜ステップ37を含む。
ステップ31、探索対象物品を探索する探索タスクを受信する。
ステップ32、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得する。
ステップ33、前記探索対象物品を探索する探索タスクグループを決定する。
ステップ34、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索する。
上記ステップ31〜34は、上記実施例における説明を参照してもよく、ここで説明を省略する。
ステップ35、前記探索対象物品が探し出された提示メッセージを生成する。
ステップ36、前記探索対象物品を決定する確認メッセージを受信する。
ステップ37、前記探索タスクグループが前記探索タスクの完了を確認するように、前記探索タスクグループに前記確認メッセージを共有させる。
本実施例において、探索対象物品が最後に探し出されると、スマート端末は、探索対象物品が検出し出された提示メッセージを生成することにより、該物品が見つけられたとユーザーに提示することができる。該提示メッセージは、該物品の具体的な位置、該物品のピクチャ及び該物品自体等を含む。ユーザーは、該提示メッセージを受信した後、それを確認し、見つけられた探索対象物品が、ユーザーに必要な物品であると確認する場合、探索タスクグループが該確認メッセージを共有し、このとき、探索タスクが完了し、該探索タスクグループを解体してもよい。見つけられた探索対象物品が、ユーザーに必要な物品でないと確認する場合、このとき、ユーザーがスマート端末により多くの探索対象物品の特徴を入力してもよく、探索タスクグループが再び探索を示す。空間探索が終わっても、依然として見つけない場合、見つけなかったとユーザーに知らせ、さらに探索タスクグループを解体し、タスクを終了させる。
本願の実施例にて提供される物品探索方法は、探索タスクグループ及び探索対象物品に対応する3Dモデルによって、探索対象物品を探索するとともに、ユーザーに探索結果をフィードバックし、ユーザーの確認結果に基づいて探索タスクが終了するか否かを決定する。該実施形態は、物品の探索効率を向上できるだけでなく、また最終的に見つけられた物品がユーザーニーズにより合致する。
図9は、本願の実施例にて提供される物品探索装置の概略構造図である。図9に示すように、該装置40は、第1受信モジュール41、取得モジュール42、決定モジュール43及び探索モジュール44を含む。
ここで、第1受信モジュール41は、探索対象物品を探索する探索タスクを受信するために用いられる。取得モジュール42は、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得するために用いられる。決定モジュール43は、前記探索対象物品を探索するタスクグループを決定するために用いられる。探索モジュール44は、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索するために用いられる。
本実施例において、第1受信モジュール41は、受信した探索対象物品の探索タスクを取得モジュール42に送信し、取得モジュール42は、該探索タスクに基づいて探索対象物品に対応する3Dモデルを取得し、決定モジュール43によって探索タスクグループを決定し、探索モジュール44は、取得モジュール42が取得した3Dモデル及び決定モジュール43が決定した探索タスクグループに基づいて探索対象物品を探索する。
ここで、該取得モジュール42は、調べユニット421、第1取得ユニット422、第1探索ユニット423、第2取得ユニット424、第2探索ユニット425及び第3取得ユニット426を含む。調べユニット421は、ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルを調べるために用いられる。第1取得ユニット422は、前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられると、見つけられた前記3Dモデルを前記探索対象物品に対応する3Dモデルとするために用いられる。第1探索ユニット423は、前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられないと、ネットワークで前記探索対象物品に対応する3Dモデルを探索するために用いられる。第2取得ユニット424は、前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されると、前記探し出された3Dモデルを前記探索対象物品に対応する3Dモデルとし、且つ前記探し出された3Dモデルを前記ローカル3Dモデルセットに記憶するために用いられる。第2探索ユニット425は、前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されないと、ネットワークで前記探索対象物品に対応するピクチャを探索するために用いられる。第3取得ユニット426は、クラウド側で前記ピクチャに基づいて構築された前記探索対象物品の3Dモデルを取得するとともに、前記構築された3Dモデルを前記ローカル3Dモデルセットに記憶するために用いられる。
ここで、決定モジュール43は、具体的には、前記探索タスクの優先度、及びその他のロボットが現在実行しているタスクの優先度に基づいて、前記探索対象物品を探索する探索タスクグループを決定するために用いられる。
ここで、探索モジュール44は、決定ユニット441、第3探索ユニット442、第4取得ユニット443、第4探索ユニット444、第5取得ユニット445及び第5探索ユニット446を含む。決定ユニット441は、前記探索タスクグループにおけるロボットに対応する探索領域を決定するために用いられる。第3探索ユニット442は、前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、対応する探索領域で探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信するために用いられる。第4取得ユニット443は、監視システムによって監視された監視画面を取得するために用いられる。第4探索ユニット444は、前記監視画面に基づいて前記3Dモデルに対応する探索対象物品を探索するために用いられる。第5取得ユニット445は、前記探索対象物品に対応する、前記探索対象物品の位置履歴及び前記探索対象物品が各位置履歴で探し出された探索回数を記録するために用いられる位置グループ履歴を取得するために用いられる。第5探索ユニット446は、前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、且つ前記位置グループ履歴と合わせて前記探索対象物品を探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信するために用いられる。
いくつかの実施例において、図10に示すように、前記探索結果には、前記探索対象物品が探し出された情報を含む場合、前記装置はさらに、判断モジュール45、第1処理モジュール46及び第2処理モジュール47を含む。判断モジュール45は、前記探索対象物品の探し出された位置が前記位置グループ履歴に属すか否かを判断するために用いられる。第1処理モジュール46は、属すれば、前記探索対象物品が探し出された位置に対応する探索回数を更新するために用いられる。第2処理モジュール47は、属しなければ、前記位置グループ履歴に前記探索対象物品が探し出された位置、及び前記位置に対応する探索回数を記録するために用いられる。
なお、上記装置内のモジュール、ユニットの間の情報インタラクション、実行過程等の内容は、本願の方法の実施例と同じ思想に基づくため、具体的な内容は、本願の方法の実施例における説明を参照してもよく、ここで説明を省略する。また、物品探索装置は、探索タスクグループのメンバーの1つであってもよく、探索タスクグループのメンバーから独立したロボットであってもよく、又は、該物品探索装置は制御機構であってもよい。
本願の実施例にて提供される物品探索装置は、探索タスクグループ及び探索対象物品に対応する3Dモデルによって、探索対象物品を探索する。探索過程において領域を分割し、監視システムを呼び出し、且つ位置履歴と合わせることにより該物品に対して探索を行う。該実施形態は、探索効率を向上できるだけでなく、また物品を見つける正確率をできる。
図11は、本願のさらに別の実施例にて提供される物品探索装置の概略構造図である。図11に示すように、該装置50は、第1受信モジュール51、取得モジュール52、決定モジュール53、探索モジュール54、生成モジュール55、第2受信モジュール56及び第3処理モジュール57を含む。
ここで、第1受信モジュール51は、探索対象物品を探索する探索タスクを受信するために用いられる。取得モジュール52は、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得するために用いられる。決定モジュール53は、前記探索対象物品を探索するタスクグループを決定するために用いられる。探索モジュール54は、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索するために用いられる。生成モジュール55は、前記探索対象物品が探し出された提示メッセージを生成するために用いられる。第2受信モジュール56は、前記探索対象物品を決定する確認メッセージを受信するために用いられる。第3処理モジュール57は、前記探索タスクグループが前記探索タスクの完了を確認するように、前記探索タスクグループに前記確認メッセージを共有させるために用いられる。
本実施例において、第1受信モジュール51は、受信した探索対象物品の探索タスクを取得モジュール52に送信し、取得モジュール52は、該探索タスクに基づいて探索対象物品に対応する3Dモデルを取得し、決定モジュール53によって探索タスクグループを決定し、探索モジュール54は、取得モジュール52が取得した3Dモデル及び決定モジュール53が決定した探索タスクグループに基づいて探索対象物品を探索する。前記探索結果には、前記探索対象物品が探し出された情報を含む場合、生成モジュール55は、探索対象物品が探し出された提示メッセージを生成して、ユーザーに示すとともに、第2受信モジュール56によってユーザーの確認メッセージを受信し、該確認メッセージを第3処理モジュール57に送信し、且つ第3処理モジュール57によって該確認メッセージを処理し、それにより探索タスクが終了するか否かを判定する。
なお、上記装置内のモジュール間の情報インタラクション、実行過程等の内容は、本願の方法の実施例と同じ思想に基づくため、具体的な内容は、本願の方法の実施例における説明を参照してもよく、ここで説明を省略する。
本願の実施例にて提供される物品探索装置は、探索タスクグループ及び探索対象物品に対応する3Dモデルによって、探索対象物品を探索するとともに、ユーザーに探索結果をフィードバックし、ユーザーの確認結果に基づいて探索タスクが終了するか否かを決定する。該実施形態は、物品の探索効率を向上できるだけでなく、また最終的に見つけられた物品がユーザーニーズにより合致する。
図12は、本願の実施例にて提供されるロボットの概略構造図である。図12に示すように、上記の物品探索方法を実行できる該ロボットは、バトラーロボット、掃除ロボット、物品整理ロボット、介護ロボット等、様々なタイプのロボットを含む。
本実施例において、該ロボット60は、1つ又は複数のプロセッサ61及びメモリ62を含み、図12では、1つのプロセッサ61を例とする。
プロセッサ61及びメモリ62は、バス又はその他の方式によって接続されてもよく、図12では、バスによる接続を例とする。
物品探索方法を実行するロボットは、入力装置63及び出力装置64をさらに含んでもよい。
メモリ62は、不揮発性コンピュータ可読記憶媒体として、例えば、本願の実施例における物品探索方法に対応するプログラムコマンド/モジュール(例えば、図9に示した第1受信モジュール41、取得モジュール42、決定モジュール43及び探索モジュール44)のような不揮発性ソフトウェアプログラム、不揮発性コンピュータ実行可能なプログラム及びモジュールを記憶するために用いられ、プロセッサ61は、メモリ62に記憶されている不揮発性ソフトウェアプログラム、コマンド及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例を実現する物品探索方法を実現する。
メモリ62は、記憶プログラム領域及びデータ記憶領域を含んでもよく、ここで、記憶プログラム領域は、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶してもよい。データ記憶領域は、物品探索装置の利用に応じて作成されたデータ等を記憶してもよい。また、メモリ62は、高速ランダムアクセスメモリを含んでもよく、例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の不揮発性固体記憶装置等の不揮発性メモリをさらに含んでもよい。いくつかの実施例において、メモリ62は、プロセッサ61に対して遠隔に設置されたメモリを含むことが好ましく、これらの遠隔に設置されたメモリは、ネットワークを介して物品探索装置に接続されてもよい。上記ネットワークの実例は、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びこれらの組み合わせを含むが、これらに限定されるものではない。
入力装置63は、入力した数字又は文字情報を受信し、且つ物品探索装置のユーザー設置及び機能制御に関わるキー信号入力を生成することができる。出力装置64は、表示画面等の表示装置を含んでもよい。
前記1つ又は複数のモジュールは、メモリ62に記憶されており、1つ又は複数のプロセッサ61によって実行される場合、上記の任意の方法の実施例における物品探索方法を実行し、例えば、以上説明した図2における方法のステップ21〜ステップ24、図3における方法のステップ221〜ステップ226、図4における方法のステップ24a1〜ステップ24a2、図5における方法のステップ24b1〜ステップ24b2、図6における方法のステップ24c1〜ステップ24c2、図7における方法のステップ21〜ステップ27、図8における方法のステップ31〜ステップ37を実行し、図9におけるモジュール41−44、ユニット421−426、ユニット441−446を実現し、図10におけるモジュール41−47、ユニット421−426、ユニット441−446、図11におけるモジュール51−57の機能を実現する。
上記の製品は、本願の実施例にて提供される方法を実行することができ、方法を実行するための機能モジュール及び有益な効果を有する。本実施例において詳細に説明されていない技術的詳細については、本願の実施例にて提供される方法を参照してもよい。
本願の実施例にて提供される不揮発性コンピュータ可読記憶媒体には、コンピュータ実行可能なコマンドが記憶されており、該コンピュータ実行可能なコマンドは電子機器によって上記任意の方法の実施例における物品探索方法を実行し、例えば、以上説明した図2における方法のステップ21〜ステップ24、図3における方法のステップ221〜ステップ226、図4における方法のステップ24a1〜ステップ24a2、図5における方法のステップ24b1〜ステップ24b2、図6における方法のステップ24c1〜ステップ24c2、図7における方法のステップ21〜ステップ27、図8における方法のステップ31〜ステップ37を実行し、図9におけるモジュール41−44、ユニット421−426、ユニット441−446を実現し、図10におけるモジュール41−47、ユニット421−426、ユニット441−446、図11におけるモジュール51−57の機能を実現する。
本願の実施例にて提供されるコンピュータプログラム製品は、不揮発性コンピュータ可読記憶媒体に記憶されている、プログラムコマンドを含むコンピュータプログラムを含み、前記プログラムコマンドがコンピュータによって実行される場合、前記コンピュータに上記の任意の方法の実施例における物品探索方法を実行させ、例えば、以上説明した図2における方法のステップ21〜ステップ24、図3における方法のステップ221〜ステップ226、図4における方法のステップ24a1〜ステップ24a2、図5における方法のステップ24b1〜ステップ24b2、図6における方法のステップ24c1〜ステップ24c2、図7における方法のステップ21〜ステップ27、図8における方法のステップ31〜ステップ37を実行し、図9におけるモジュール41−44、ユニット421−426、ユニット441−446を実現し、図10におけるモジュール41−47、ユニット421−426、ユニット441−446、図11におけるモジュール51−57の機能を実現する。
上記した装置の実施例は単なる例示的であり、分離した部材として説明された前記ユニットは物理的に分離しているものであってもよいし、そうでなくてもよく、ユニットとして表示されたユニットは物理的ユニットであってもよいし、そうでなくてもよく、即ち、1つの場所に位置してもよく、複数のネットワークユニットに分散してもよい。本実施例の解決手段の目的を達成するために、実際のニーズに応じて、そのうち一部又はすべてのモジュールを選択してもよい。
上記の実施形態の説明により、当業者は、各実施形態がソフトウェアに一般的なハードウェアプラットフォームを加えることによって実現でき、もちろんハードウェアによっても実現できると明確に理解すべきである。当業者であれば、上記の実施例の方法におけるフローの全部又は一部は、コンピュータプログラムによって関連するハードウェアを命令することで実現でき、前記プログラムは非一時的コンピュータ可読記憶媒体に記憶されてもよく、該プログラムは実行時に、上記の方法の実施例のフローを含んでもよいことが理解されるべきである。ここで、前記記憶媒体は、磁気ディスク、コンパクトディスク、読み取り専用メモリ(Read−Only Memory、ROM)、又はランダムアクセスメモリ(Random Access Memory、RAM)であってもよい。
最後に、上記の実施例は、本願の技術的解決手段を説明するために用いられるものに過ぎず、それを限定するものではなく、本願の思想に基づいて、上記の実施例又は異なる実施例における技術的特徴を組み合わせてもよく、ステップを任意の順序に従って実現してもよく、且つ上記のように本願の異なる態様の他の多くの変形形態があるが、簡潔にするために、それらは詳細に記載されていない。上記した実施例を参照して本願について詳細に説明したが、当業者であれば、上記した実施例に記載の技術的解決手段を修正するか、又は技術的特徴の一部に対して等価置換を行ってもよく、これらの修正又は置換は、それ相応な技術的解決手段に本願の各実施例の技術的解決手段の範囲を逸脱させないことが理解されるべきである。

Claims (19)

  1. 物品探索方法であって、
    探索対象物品を探索する探索タスクを受信するステップと、
    前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得するステップと、
    前記探索対象物品を探索する探索タスクグループを決定するステップと、
    取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索するステップと、を含み、
    取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、
    前記探索対象物品に対応する、前記探索対象物品の位置履歴及び前記探索対象物品が各位置履歴で探し出された探索回数を記録するために用いられる位置グループ履歴を取得するステップと、
    前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、且つ前記位置グループ履歴と合わせて前記探索対象物品を探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信するステップと、を含むことを特徴とする物品探索方法。
  2. 前記探索対象物品に対応する3Dモデルを取得する前記ステップは、
    ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルを調べるステップと、
    前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられると、見つけられた前記3Dモデルを前記探索対象物品に対応する3Dモデルとするステップと、を含むことを特徴とする請求項1に記載の方法。
  3. 前記物品探索方法はさらに、
    前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられないと、ネットワークで前記探索対象物品に対応する3Dモデルを探索するステップと、
    前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されると、前記探し出された3Dモデルを前記探索対象物品に対応する3Dモデルとし、且つ前記探し出された3Dモデルを前記ローカル3Dモデルセットに記憶するステップと、
    前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されないと、ネットワークで前記探索対象物品に対応するピクチャを探索するステップと、
    クラウド側で前記ピクチャに基づいて構築された前記探索対象物品の3Dモデルを取得するとともに、前記構築された3Dモデルを前記ローカル3Dモデルセットに記憶するステップと、を含むことを特徴とする請求項2に記載の方法。
  4. 前記探索対象物品を探索する探索タスクグループを決定する前記ステップは、
    前記探索タスクの優先度、及びその他のロボットが現在実行しているタスクの優先度に基づいて、前記探索対象物品を探索する探索タスクグループを決定するステップ、を含むことを特徴とする請求項1に記載の方法。
  5. 取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、
    前記探索タスクグループにおけるロボットに対応する探索領域を決定するステップと、
    前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、対応する探索領域で探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信するステップと、を含むことを特徴とする請求項1に記載の方法。
  6. 取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、
    監視システムによって監視された監視画面を取得するステップと、
    前記監視画面に基づいて前記3Dモデルに対応する探索対象物品を探索するステップと、を含むことを特徴とする請求項1に記載の方法。
  7. 前記探索結果には、前記探索対象物品が探し出された情報を含む場合、前記物品探索方法はさらに、
    前記探索対象物品の探し出された位置が前記位置グループ履歴に属すか否かを判断するステップと、
    属すれば、前記探索対象物品が探し出された位置に対応する探索回数を更新するステップと、
    属しなければ、前記位置グループ履歴に前記探索対象物品が探し出された位置、及び前記位置に対応する探索回数を記録するステップと、を含むことを特徴とする請求項1に記載の方法。
  8. 前記探索結果には、前記探索対象物品が探し出された情報を含む場合、前記物品探索方法はさらに、
    前記探索対象物品が探し出された提示メッセージを生成するステップと、
    前記探索対象物品を決定する確認メッセージを受信するステップと、
    前記探索タスクグループが前記探索タスクの完了を確認するように、前記探索タスクグループに前記確認メッセージを共有させるステップと、を含むことを特徴とする請求項1から請求項6のいずれか一項に記載の方法。
  9. 物品探索装置であって、
    探索対象物品を探索する探索タスクを受信するために用いられる第1受信モジュールと、
    前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得するために用いられる取得モジュールと、
    前記探索対象物品を探索する探索タスクグループを決定するために用いられる決定モジュールと、
    取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索するために用いられる探索モジュールと、を含み、
    前記探索モジュールは、
    前記探索対象物品に対応する、前記探索対象物品の位置履歴及び前記探索対象物品が各位置履歴で探し出された探索回数を記録するために用いられる位置グループ履歴を取得するために用いられる第5取得ユニットと、
    前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、且つ前記位置グループ履歴と合わせて前記探索対象物品を探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信するために用いられる第5探索ユニットと、を含むことを特徴とする物品探索装置。
  10. 前記取得モジュールは、
    ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルを調べるために用いられる調べユニットと、
    前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられると、見つけられた前記3Dモデルを前記探索対象物品に対応する3Dモデルとするために用いられる第1取得ユニットと、を含むことを特徴とする請求項9に記載の装置。
  11. 前記取得モジュールはさらに、
    前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられないと、ネットワークで前記探索対象物品に対応する3Dモデルを探索するために用いられる第1探索ユニットと、
    前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されると、前記探し出された3Dモデルを前記探索対象物品に対応する3Dモデルとし、且つ前記探し出された3Dモデルを前記ローカル3Dモデルセットに記憶するために用いられる第2取得ユニットと、
    前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されないと、ネットワークで前記探索対象物品に対応するピクチャを探索するために用いられる第2探索ユニットと、
    クラウド側で前記ピクチャに基づいて構築された前記探索対象物品の3Dモデルを取得するとともに、前記構築された3Dモデルを前記ローカル3Dモデルセットに記憶するために用いられる第3取得ユニットと、を含むことを特徴とする請求項10に記載の装置。
  12. 前記決定モジュールは、具体的には、
    前記探索タスクの優先度、及びその他のロボットが現在実行しているタスクの優先度に基づいて、前記探索対象物品を探索する探索タスクグループを決定するために用いられる、ことを特徴とする請求項9に記載の装置。
  13. 前記探索モジュールは、
    前記探索タスクグループにおけるロボットに対応する探索領域を決定するために用いられる決定ユニットと、
    前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、対応する探索領域で探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信するために用いられる第3探索ユニットと、を含むことを特徴とする請求項9に記載の装置。
  14. 前記探索モジュールは、
    監視システムによって監視された監視画面を取得するために用いられる第4取得ユニットと、
    前記監視画面に基づいて前記3Dモデルに対応する探索対象物品を探索するために用いられる第4探索ユニットと、を含むことを特徴とする請求項9に記載の装置。
  15. 前記探索結果には、前記探索対象物品が探し出された情報を含む場合、前記物品探索装置はさらに、
    前記探索対象物品の探し出された位置が前記位置グループ履歴に属すか否かを判断するために用いられる判断モジュールと、
    属すれば、前記探索対象物品が探し出された位置に対応する探索回数を更新するために用いられる第1処理モジュールと、
    属しなければ、前記位置グループ履歴に前記探索対象物品が探し出された位置、及び前記位置に対応する探索回数を記録するために用いられる第2処理モジュールと、を含むことを特徴とする請求項9に記載の装置。
  16. 前記探索結果には、前記探索対象物品が探し出された情報を含む場合、前記物品探索装置はさらに、
    前記探索対象物品が探し出された提示メッセージを生成するために用いられる生成モジュールと、
    前記探索対象物品を決定する確認メッセージを受信するために用いられる第2受信モジュールと、
    前記探索タスクグループが前記探索タスクの完了を確認するように、前記探索タスクグループに前記確認メッセージを共有させるために用いられる第3処理モジュールと、を含むことを特徴とする請求項9から14のいずれか一項に記載の装置。
  17. ロボットであって、
    少なくとも1つのプロセッサ、及び
    前記少なくとも1つのプロセッサに通信接続されたメモリを含み、ここで、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能なコマンドプログラムが記憶されており、前記少なくとも1つのプロセッサに請求項1から請求項8のいずれか一項に記載の方法を実行させるように、前記コマンドプログラムが前記少なくとも1つのプロセッサによって実行される、ことを特徴とするロボット。
  18. 不揮発性コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータに請求項1から請求項8のいずれか一項に記載の方法を実行させるためのコンピュータ実行可能なコマンドが記憶されている、ことを特徴とする不揮発性コンピュータ可読記憶媒体。
  19. コンピュータプログラム製品であって、前記コンピュータプログラム製品は、不揮発性コンピュータ可読記憶媒体及び前記不揮発性コンピュータ可読記憶媒体に内蔵されたコンピュータプログラムコマンドを含み、前記コンピュータプログラムコマンドは、プロセッサに請求項1から請求項8のいずれか一項に記載の方法を実行させるためのコマンドを含む、ことを特徴とするコンピュータプログラム製品。
JP2019561904A 2017-05-11 2017-05-11 物品探索方法、装置及びロボット Active JP6905087B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/083965 WO2018205230A1 (zh) 2017-05-11 2017-05-11 物品搜索方法、装置及机器人

Publications (2)

Publication Number Publication Date
JP2020520508A JP2020520508A (ja) 2020-07-09
JP6905087B2 true JP6905087B2 (ja) 2021-07-21

Family

ID=60554183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561904A Active JP6905087B2 (ja) 2017-05-11 2017-05-11 物品探索方法、装置及びロボット

Country Status (4)

Country Link
US (1) US11389961B2 (ja)
JP (1) JP6905087B2 (ja)
CN (1) CN107466404B (ja)
WO (1) WO2018205230A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961074A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 一种查找物品的方法、机器人及计算机可读存储介质
CN110019863B (zh) * 2017-12-26 2021-09-17 深圳市优必选科技有限公司 一种物体查找方法、装置、终端设备和存储介质
CN108555909A (zh) * 2018-04-17 2018-09-21 子歌教育机器人(深圳)有限公司 一种目标寻找方法、ai机器人以及计算机可读存储介质
CN108858207A (zh) * 2018-09-06 2018-11-23 顺德职业技术学院 一种基于远程控制的多机器人协同目标搜索方法及系统
CN109472825B (zh) * 2018-10-16 2021-06-25 维沃移动通信有限公司 一种对象搜索方法及终端设备
CN110853135A (zh) * 2019-10-31 2020-02-28 天津大学 基于养老机器人的室内场景实时重建跟踪服务方法
CN114630280B (zh) * 2020-12-14 2024-06-04 曲阜师范大学 室内智能定位系统及其控制方法
CN113510716A (zh) * 2021-04-28 2021-10-19 哈尔滨理工大学 一种基于球形电机的仿人型护理机器人
CN113542689A (zh) * 2021-07-16 2021-10-22 金茂智慧科技(广州)有限公司 基于无线物联网的图像处理方法及相关设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4254588B2 (ja) * 2004-03-18 2009-04-15 沖電気工業株式会社 自律ロボットおよびその制御方法
US8447863B1 (en) * 2011-05-06 2013-05-21 Google Inc. Systems and methods for object recognition
KR101255950B1 (ko) * 2011-06-13 2013-05-02 연세대학교 산학협력단 위치기반 건설 현장 관리 방법 및 시스템
US9079315B2 (en) * 2011-08-29 2015-07-14 Neil Davey Banking automation using autonomous robot
US8386079B1 (en) * 2011-10-28 2013-02-26 Google Inc. Systems and methods for determining semantic information associated with objects
US10406686B2 (en) * 2012-12-14 2019-09-10 Abb Schweiz Ag Bare hand robot path teaching
CN102982170A (zh) * 2012-12-14 2013-03-20 上海斐讯数据通信技术有限公司 失物追踪系统及方法
JP6370038B2 (ja) * 2013-02-07 2018-08-08 キヤノン株式会社 位置姿勢計測装置及び方法
US9355368B2 (en) * 2013-03-14 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
US9607584B2 (en) * 2013-03-15 2017-03-28 Daqri, Llc Real world analytics visualization
US9342785B2 (en) * 2013-11-15 2016-05-17 Disney Enterprises, Inc. Tracking player role using non-rigid formation priors
US9643779B2 (en) * 2014-03-31 2017-05-09 Panasonic Intellectual Property Corporation Of America Article management system and transport robot
AU2014274647B2 (en) * 2014-12-12 2021-05-20 Caterpillar Of Australia Pty Ltd Determining terrain model error
US20170046965A1 (en) * 2015-08-12 2017-02-16 Intel Corporation Robot with awareness of users and environment for use in educational applications
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
CN105573326B (zh) * 2016-02-03 2018-04-20 南京聚立科技股份有限公司 移动巡检极地机器人自主充电系统及其方法
US9827677B1 (en) * 2016-05-16 2017-11-28 X Development Llc Robotic device with coordinated sweeping tool and shovel tool
US9827678B1 (en) * 2016-05-16 2017-11-28 X Development Llc Kinematic design for robotic arm
CN205969038U (zh) * 2016-07-06 2017-02-22 山东海旭物联网有限公司 智能机器人系统
CN106314728B (zh) * 2016-09-18 2018-02-27 河海大学常州校区 水下搜救机器人、协同控制系统及其工作方法
US10137567B2 (en) * 2016-09-20 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Inventory robot
US10430657B2 (en) * 2016-12-12 2019-10-01 X Development Llc Object recognition tool
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
CN106874092A (zh) * 2017-02-10 2017-06-20 深圳市笨笨机器人有限公司 机器人任务托管方法及系统
CN111741513B (zh) * 2020-06-18 2023-04-07 深圳市晨北科技有限公司 一种物联网设备的配网方法及相关设备

Also Published As

Publication number Publication date
CN107466404A (zh) 2017-12-12
CN107466404B (zh) 2023-01-31
US20200070348A1 (en) 2020-03-05
US11389961B2 (en) 2022-07-19
WO2018205230A1 (zh) 2018-11-15
JP2020520508A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
JP6905087B2 (ja) 物品探索方法、装置及びロボット
US10067652B2 (en) Providing access to a cloud based content management system on a mobile device
US10922206B2 (en) Systems and methods for determining performance metrics of remote relational databases
CN110378063B (zh) 基于智慧建筑空间的设备部署方法、装置、以及电子设备
EP3567489B1 (en) Unified data model for databases
CN104424304A (zh) 一种基于情景感知信息的个性化推荐与导览系统及控制方法
CN115810062A (zh) 场景图生成方法、装置及设备
EP4413520A1 (en) Method and system of creating clusters for feedback data
CN106941486A (zh) 一种通用型物联网监测控制系统及控制方法
CN103678624A (zh) 搜索方法、搜索服务器、搜索请求执行方法及终端
JP7207549B2 (ja) 複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム
CN107220792A (zh) 一种仓储管理方法及系统
KR101425672B1 (ko) Bim 기반 커뮤니케이션 시스템, bim 기반 커뮤니케이션 서버, 및 모바일 단말기에서의 bim 기반 커뮤니케이션 방법 및 그 기록매체
US11070504B2 (en) Communication routing based on physical status
US20250355732A1 (en) Flexible analytics engine api using natural language
US20240112086A1 (en) Automatically linking digital calendar events to activities
WO2024136744A1 (en) Generation of furniture assembly instructions
US10606814B2 (en) Computer-aided tracking of physical entities
CN109120783A (zh) 信息获取方法及装置、移动终端和计算机可读存储介质
CN115114269A (zh) 模型构建及模型数据订阅方法、装置、电子设备和介质
CN117155776A (zh) 基于actor模型的规则配置方法、数据处理方法、系统及设备
EP4693068A1 (en) Adaptive user representation system
US12463924B1 (en) Method and system of generating training data for identifying messages related to meetings
US20180203885A1 (en) Controlling creation/access of physically senses features
CN115115928A (zh) 图像样本构建方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210624

R150 Certificate of patent or registration of utility model

Ref document number: 6905087

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250