JP7288448B2 - ショッピングアプリケーション用ユーザ支援ロボット - Google Patents
ショッピングアプリケーション用ユーザ支援ロボット Download PDFInfo
- Publication number
- JP7288448B2 JP7288448B2 JP2020539207A JP2020539207A JP7288448B2 JP 7288448 B2 JP7288448 B2 JP 7288448B2 JP 2020539207 A JP2020539207 A JP 2020539207A JP 2020539207 A JP2020539207 A JP 2020539207A JP 7288448 B2 JP7288448 B2 JP 7288448B2
- Authority
- JP
- Japan
- Prior art keywords
- items
- item
- robotic arm
- instructions
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015654 memory Effects 0.000 claims description 29
- 238000003860 storage Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 description 31
- 230000033001 locomotion Effects 0.000 description 26
- 235000013601 eggs Nutrition 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 239000012636 effector Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 235000013336 milk Nutrition 0.000 description 9
- 239000008267 milk Substances 0.000 description 9
- 210000004080 milk Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 235000013305 food Nutrition 0.000 description 6
- 235000015220 hamburgers Nutrition 0.000 description 6
- 230000001755 vocal effect Effects 0.000 description 6
- 235000008429 bread Nutrition 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 235000015243 ice cream Nutrition 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 235000012054 meals Nutrition 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 235000013339 cereals Nutrition 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 235000013361 beverage Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 235000013324 preserved food Nutrition 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 235000014347 soups Nutrition 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000011089 carbon dioxide Nutrition 0.000 description 1
- 235000012846 chilled/fresh pasta Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000012396 frozen pizza Nutrition 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 235000020995 raw meat Nutrition 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
- B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
- B62B3/14—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
- B62B3/1472—Supports for specific articles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
- G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40298—Manipulator on vehicle, wheels, mobile
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45048—Packaging
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45052—Filling vehicle with material
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Electromagnetism (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Automation & Control Theory (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本出願は、2018年1月17日に出願された米国特許出願番号15/873,166号の利益を主張し、その全体は参照により組み込まれる。
本明細書は、概して、ロボットシステムおよび方法、より具体的には、保持コンパートメントのアイテムおよび画像データについての1組の取扱命令に応答して、保持コンパートメント内にアイテムを自動的に収集して配置するためのロボットシステムおよび方法に関する。
ショッピングは、一般的に、店舗の通路を歩きまわって、購入するアイテムをショッピングカートまたはバスケットに入れながら、ショッピングカートまたはバスケットを使用して多数のアイテムを収集することからなる。さらに、店舗は一般的に、店舗の全体的な面積を減らして最終的に製品価格を低く抑えるために、通路に可能な限り多くのアイテムを詰め込もうとする。その結果、いくつかの問題が発生する。高齢者または身体の不自由な買い物客にとって、多くのアイテムは手の届かないものであり、あるいは、危険すぎて彼ら/彼女らのショッピングカートまたはバスケットに集めて入れることができないものである。同様に、多くの買い物客が、オンラインストアを介してアイテムを購入するような、より近代的なショッピング方法に転換するにつれて、多くの通路を有しさらに多くのアイテムを有する店舗でのショッピング体験を最適化する必要性がある。
一実施形態では、ロボットシステムは、電子制御ユニットと、1つ以上のアイテムを搬送するように構成された保持コンパートメントとを含む。電子制御ユニットは、プロセッサと、機械可読命令セットを含む非一時的コンピュータ可読メモリとを含む。ロボットシステムはさらに、保持コンパートメントの環境の画像データをキャプチャするためのカメラと、電子制御ユニットに通信可能に結合されたロボットアームとを含む。機械可読命令セットは、プロセッサに、カメラから保持コンパートメントの環境の画像データを受け取ることと、ロボットアームによって収集されたアイテムについての1組の取扱命令を決定することと、保持コンパートメントの環境の画像データおよび1組の取扱命令に基づいて、ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、保持コンパートメント内の決定された位置にアイテムを配置するようにロボットアームを操作することと、を実行させる。
図面に記載された実施形態は、本質的に例示的であり、特許請求の範囲によって定義された主題を限定することを意図していない。例示的な実施形態の以下の詳細な説明は、以下の図面と組み合わせて読めば理解されるであろう。以下の図面では、類似の構造は類似の参照数字で示される。
本開示に開示される実施形態は、ショッピングアプリケーションのためのロボットシステムおよび方法を含む。図を一般的に参照すると、本ロボットシステムおよび方法は、カメラ、ロボットアーム、および保持コンテナを含む。1組の機械可読命令はプロセッサに少なくとも、カメラから保持コンテナの環境の画像データを受信することと、ロボットアームによって収集されたアイテムのための1組の取扱命令を決定することと、保持コンテナの環境の画像データおよび1組の取扱命令に基づいて、ロボットアームによって収集されたアイテムを配置するために保持コンテナ内の位置を決定することと、ロボットアームを操作して保持コンテナ内の決定された位置にアイテムを配置することと、を実行させる。本開示では、ショッピングアプリケーションのための様々なロボットシステムおよび方法を、例示的ではあるが非限定的な実施形態として、対応する図面を具体的に参照しつつ、より詳細に説明する。
[構成1]
ロボットシステムであって、
プロセッサと、非一時的コンピュータ可読メモリと、を備える電子制御ユニットと、
1つ以上のアイテムを搬送するように構成された保持コンパートメントと、
前記保持コンパートメントの環境の画像データをキャプチャするために、前記電子制御ユニットと通信可能に結合されたカメラと、
前記電子制御ユニットに通信可能に結合されたロボットアームと、
前記非一時的コンピュータ可読メモリに記憶された機械可読命令セットであって、前記プロセッサによって実行されると、前記ロボットシステムに少なくとも、
前記カメラから前記保持コンパートメントの環境の画像データを受信することと、
前記ロボットアームによって収集されたアイテムについての1組の取扱命令を決定することと、
前記保持コンパートメントの環境の画像データと前記1組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンパートメント内の決定された前記位置にアイテムを配置することと、
を実行させる機械可読命令セットと、
を備える、ロボットシステム。
[構成2]
前記カメラは、ジェスチャーの画像データをさらにキャプチャし、前記機械可読命令セットは、前記プロセッサに、
ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための1つ以上の信号に変換することと、
を実行させる、構成1に記載のロボットシステム。
[構成3]
前記1組の取扱命令のうちの1つ以上の取扱命令が、前記アイテムについての分類に基づいており、前記1組の取扱命令のうちの1つ以上の取扱命令が、前記アイテムとは別に収納するアイテムの1つ以上の他の分類を特定する、構成1に記載のロボットシステム。
[構成4]
前記機械可読命令セットはさらに前記プロセッサに、
前記ロボットアームが収集する1つ以上のアイテムのリストを備える買い物リストを受信すること、
を実行させる、構成1に記載のロボットシステム。
[構成5]
前記機械可読命令セットはさらに前記プロセッサに、
前記買い物リストの1つ以上のアイテムのそれぞれについての前記1組の取扱命令に基づいて、前記買い物リストの1つ以上のアイテムを収集する順序を決定すること、
を実行させる、構成4に記載のロボットシステム。
[構成6]
前記保持コンパートメントおよび前記ロボットアームが電動ベースに結合され、前記電動ベースが前記電子制御ユニットに通信可能に結合され、前記機械可読命令セットがさらに前記プロセッサに、
前記買い物リストの少なくとも1つのアイテムの位置へのルートを決定することと、
前記買い物リストの前記少なくとも1つのアイテムの位置まで前記電動ベースを操作するための1つ以上の信号を生成することとと、
前記買い物リストのアイテムを収集するためにロボットアームを操作するための1つ以上の信号を生成することと、
を実行させる、構成4に記載のロボットシステム。
[構成7]
前記ロボットアーム上に配置され、前記電子制御ユニットと通信可能に結合されたバーコードスキャナをさらに備える、構成1に記載のロボットシステム。
[構成8]
前記バーコードスキャナおよび前記カメラのうちの少なくとも1つが、前記アイテムのバーコードを示す信号を前記電子制御ユニットに通信して、前記機械可読命令セットがさらに前記プロセッサに、
前記アイテムの識別を決定することと、
前記アイテムを電子チェックアウトリストに追加することと、
を実行させる、構成7に記載のロボットシステム。
[構成9]
前記保持コンパートメントが複数の分割されたコンパートメントを備え、少なくとも1つ又は前記複数の分割されたコンパートメントは、低温貯蔵コンパートメントおよび温貯蔵コンパートメントのうちの少なくとも1つを備える、構成1に記載のロボットシステム。
[構成10]
前記保持コンパートメントが、取り外し可能なグロッサリーバッグを含む、構成1に記載のロボットシステム。
[構成11]
ロボットシステムであって、
プロセッサと、非一時的コンピュータ可読メモリと、を備える電子制御ユニットと、
1つ以上のアイテムを搬送するように構成された保持コンパートメントと、
前記保持コンパートメントの環境の画像データをキャプチャするために、前記電子制御ユニットと通信可能に結合されたカメラと、
前記電子制御ユニットに通信可能に結合され、前記保持コンパートメントに回転可能に結合されたロボットアームと、
前記ロボットアームおよび前記保持コンパートメントに結合された電動ベースと、
前記非一時的コンピュータ可読メモリに記憶された機械可読命令セットであって、前記プロセッサによって実行されると、前記ロボットシステムに少なくとも、
前記カメラから前記保持コンパートメントの環境の画像データを受信することと、
前記カメラから、収集すべきアイテムの画像データを受信することと、
前記カメラから受信した前記アイテムの画像データに基づいて、前記アイテムについての1組の取扱命令を決定することと、
前記保持コンパートメントの環境の画像データと前記1組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンパートメント内の決定された前記位置にアイテムを位置決めすることと、
を実行させる機械可読命令セットと、
を備える、ロボットシステム。
[構成12]
前記カメラは、ジェスチャーの画像データをさらにキャプチャし、前記機械可読命令セットは、前記プロセッサに、
ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための1つ以上の信号に変換することと、
を実行させる、構成11に記載のロボットシステム。
[構成13]
前記1組の取扱命令のうちの1つ以上の取扱命令が、前記アイテムの分類に基づいており、前記1組の取扱命令のうちの1つ以上の取扱命令が、前記アイテムとは別に収納するアイテムの1つ以上の他の分類を特定する、構成11に記載のロボットシステム。
[構成14]
前記機械可読命令セットはさらに前記プロセッサに、
前記ロボットアームが収集する1つ以上のアイテムのリストを備える買い物リストを受信することと、
前記買い物リストの1つ以上のアイテムのそれぞれについての前記1組の取扱命令に基づいて、前記買い物リストの1つ以上のアイテムを収集する順序を決定することと、
を実行させる、構成11に記載のロボットシステム。
[構成15]
前記保持コンパートメントおよび前記ロボットアームが電動ベースに結合され、前記電動ベースが前記電子制御ユニットに通信可能に結合され、前記機械可読命令セットがさらに前記プロセッサに、
前記ロボットアームが収集する1つ以上のアイテムのリストを備える買い物リストを受信することと、
前記買い物リストの少なくとも1つのアイテムの位置へのルートを決定することと、
前記買い物リストの前記少なくとも1つのアイテムの位置まで前記電動ベースを操作するための1つ以上の信号を生成することとと、
前記買い物リストのアイテムを収集するためにロボットアームを操作するための1つ以上の信号を生成することと、
を実行させる、構成11に記載のロボットシステム。
[構成16]
アイテムを保管する方法であって、
カメラから保持コンパートメントの環境の画像データを受信することと、
ロボットアームによって収集されたアイテムについての1組の取扱命令を決定することと、
前記保持コンパートメントの環境の画像データと前記1組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンパートメント内の決定された位置にアイテムを位置決めすることと、
を含む、方法。
[構成17]
前記1組の取扱命令を決定するステップが、取扱命令のデータベースから前記1組の取扱命令を受信することをさらに含む、構成16に記載の方法。
[構成18]
さらに、
前記カメラからジェスチャーの画像データを受信することと、
前記ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための1つ以上の信号に変換することと、
を含む、構成16に記載の方法。
[構成19]
前記1組の取扱命令のうちの1つ以上の取扱命令が、前記アイテムの分類に基づいており、前記1組の取扱命令のうちの1つ以上の取扱命令が、前記アイテムとは別に収納するアイテムの1つ以上の他の分類を特定する、構成16に記載の方法。
[構成20]
さらに、
前記ロボットアームが収集する1つ以上のアイテムのリストを備える買い物リストを受信すること、
前記買い物リストの1つ以上のアイテムのそれぞれについての前記1組の取扱命令に基づいて、前記買い物リストの1つ以上のアイテムを収集する順序を決定すること、
を含む、構成16に記載の方法。
Claims (15)
- ロボットシステムであって、
プロセッサと、非一時的コンピュータ可読メモリと、を備える電子制御ユニットと、
ショッピングカートであって、
1つ以上のアイテムを搬送するように構成された保持コンテナと、
前記電子制御ユニットに通信可能に結合されたロボットアームと、
前記保持コンテナの環境の画像データをキャプチャするために前記ロボットアーム上に配置され、前記電子制御ユニットと通信可能に結合されたカメラと、
を有するショッピングカートと、
前記非一時的コンピュータ可読メモリに記憶された機械可読命令セットであって、前記プロセッサによって実行されると、前記ロボットシステムに少なくとも、
前記カメラから前記保持コンテナの環境の画像データを受信することと、
前記ロボットアームによって収集されたアイテムについての1組の取扱命令を決定することであって、前記1組の取扱命令は前記アイテムの取り扱いまたは保管条件のうちの少なくとも1つを定義する、ことと、
前記保持コンテナの環境の画像データと前記1組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンテナ内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンテナ内の決定された前記位置にアイテムを配置することと、
を実行させる機械可読命令セットと、
を備える、ロボットシステム。 - 前記カメラは、ジェスチャーの画像データをさらにキャプチャし、前記機械可読命令セットは、前記プロセッサに、
ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための1つ以上の信号に変換することと、
を実行させる、請求項1に記載のロボットシステム。 - 前記1組の取扱命令のうちの1つ以上の取扱命令が、前記アイテムについての分類に基づいており、前記1組の取扱命令のうちの1つ以上の取扱命令が、前記アイテムとは別に収納するアイテムの1つ以上の他の分類を特定する、請求項1から2のいずれか1つに記載のロボットシステム。
- 前記機械可読命令セットはさらに前記プロセッサに、
前記ロボットアームが収集する1つ以上のアイテムのリストを備える買い物リストを受信すること、
を実行させる、請求項1から3のいずれか1つに記載のロボットシステム。 - 前記機械可読命令セットはさらに前記プロセッサに、
前記買い物リストの1つ以上のアイテムのそれぞれについての前記1組の取扱命令に基づいて、前記買い物リストの1つ以上のアイテムを収集する順序を決定すること、
を実行させる、請求項4に記載のロボットシステム。 - 前記保持コンテナおよび前記ロボットアームが電動ベースに結合され、前記電動ベースが前記電子制御ユニットに通信可能に結合され、前記機械可読命令セットがさらに前記プロセッサに、
前記買い物リストの少なくとも1つのアイテムの位置へのルートを決定することと、
前記買い物リストの前記少なくとも1つのアイテムの位置まで前記電動ベースを操作するための1つ以上の信号を生成することと、
前記買い物リストのアイテムを収集するためにロボットアームを操作するための1つ以上の信号を生成することと、
を実行させる、請求項4に記載のロボットシステム。 - 前記ロボットアーム上に配置され、前記電子制御ユニットと通信可能に結合されたバーコードスキャナをさらに備える、請求項1から6のいずれか1つに記載のロボットシステム。
- 前記バーコードスキャナおよび前記カメラのうちの少なくとも1つが、前記アイテムのバーコードを示す信号を前記電子制御ユニットに通信して、前記機械可読命令セットがさらに前記プロセッサに、
前記アイテムの識別を決定することと、
前記アイテムを電子チェックアウトリストに追加することと、
を実行させる、請求項7に記載のロボットシステム。 - ロボットシステムであって、
プロセッサと、非一時的コンピュータ可読メモリと、を備える電子制御ユニットと、
ショッピングカートであって、
1つ以上のアイテムを搬送するように構成された保持コンテナと、
前記電子制御ユニットに通信可能に結合され、前記保持コンテナに回転可能に結合されたロボットアームと、
前記保持コンテナの環境の画像データをキャプチャするために前記ロボットアーム上に配置され、前記電子制御ユニットと通信可能に結合されたカメラと、
を有するショッピングカートと、
前記ロボットアームおよび前記保持コンテナに結合された電動ベースと、
前記非一時的コンピュータ可読メモリに記憶された機械可読命令セットであって、前記プロセッサによって実行されると、前記ロボットシステムに少なくとも、
前記カメラから前記保持コンテナの環境の画像データを受信することと、
前記カメラから、収集すべきアイテムの画像データを受信することと、
前記カメラから受信した前記アイテムの画像データに基づいて、前記アイテムについての1組の取扱命令を決定することであって、前記1組の取扱命令は前記アイテムの取り扱いまたは保管条件のうちの少なくとも1つを定義する、ことと、
前記保持コンテナの環境の画像データと前記1組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンテナ内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンテナ内の決定された前記位置にアイテムを位置決めすることと、
を実行させる機械可読命令セットと、
を備える、ロボットシステム。 - 前記機械可読命令セットはさらに前記プロセッサに、
前記ロボットアームが収集する1つ以上のアイテムのリストを備える買い物リストを受信することと、
前記買い物リストの1つ以上のアイテムのそれぞれについての前記1組の取扱命令に基づいて、前記買い物リストの1つ以上のアイテムを収集する順序を決定することと、
を実行させる、請求項9に記載のロボットシステム。 - 前記保持コンテナおよび前記ロボットアームが前記電動ベースに結合され、前記電動ベースが前記電子制御ユニットに通信可能に結合され、前記機械可読命令セットがさらに前記プロセッサに、
前記ロボットアームが収集する1つ以上のアイテムのリストを備える買い物リストを受信することと、
前記買い物リストの少なくとも1つのアイテムの位置へのルートを決定することと、
前記買い物リストの前記少なくとも1つのアイテムの位置まで前記電動ベースを操作するための1つ以上の信号を生成することと、
前記買い物リストのアイテムを収集するためにロボットアームを操作するための1つ以上の信号を生成することと、
を実行させる、請求項9に記載のロボットシステム。 - 保持コンテナ、ロボットアーム及びカメラを有するショッピングカートにアイテムを保管する方法であって、
前記保持コンテナの環境の画像データをキャプチャするために前記ロボットアーム上に配置された前記カメラから前記保持コンテナの環境の画像データを受信することと、
前記ロボットアームによって収集されたアイテムについての1組の取扱命令を決定することであって、前記1組の取扱命令は前記アイテムの取り扱いまたは保管条件のうちの少なくとも1つを定義する、ことと、
前記保持コンテナの環境の画像データと前記1組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンテナ内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンテナ内の決定された位置にアイテムを位置決めすることと、
を含む、方法。 - 前記1組の取扱命令を決定するステップが、取扱命令のデータベースから前記1組の取扱命令を受信することをさらに含む、請求項12に記載の方法。
- さらに、
前記カメラからジェスチャーの画像データを受信することと、
前記ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための1つ以上の信号に変換することと、
を含む、請求項12から13のいずれか1つに記載の方法。 - さらに、
前記ロボットアームが収集する1つ以上のアイテムのリストを備える買い物リストを受信すること、
前記買い物リストの1つ以上のアイテムのそれぞれについての前記1組の取扱命令に基づいて、前記買い物リストの1つ以上のアイテムを収集する順序を決定すること、
を含む、請求項12から14のいずれか1つに記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/873,166 | 2018-01-17 | ||
US15/873,166 US11453129B2 (en) | 2018-01-17 | 2018-01-17 | User assisting robot for shopping applications |
PCT/US2019/013466 WO2019143554A1 (en) | 2018-01-17 | 2019-01-14 | User assisting robot for shopping applications |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021511221A JP2021511221A (ja) | 2021-05-06 |
JP7288448B2 true JP7288448B2 (ja) | 2023-06-07 |
Family
ID=65269128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020539207A Active JP7288448B2 (ja) | 2018-01-17 | 2019-01-14 | ショッピングアプリケーション用ユーザ支援ロボット |
Country Status (5)
Country | Link |
---|---|
US (1) | US11453129B2 (ja) |
EP (1) | EP3740354A1 (ja) |
JP (1) | JP7288448B2 (ja) |
CN (1) | CN111615442B (ja) |
WO (1) | WO2019143554A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10949940B2 (en) * | 2017-04-19 | 2021-03-16 | Global Tel*Link Corporation | Mobile correctional facility robots |
US10690466B2 (en) | 2017-04-19 | 2020-06-23 | Global Tel*Link Corporation | Mobile correctional facility robots |
JP7223493B2 (ja) * | 2017-05-19 | 2023-02-16 | 川崎重工業株式会社 | ロボットシステム |
CN110579749A (zh) * | 2018-06-11 | 2019-12-17 | 视锐光科技股份有限公司 | 飞行时间测距装置以及辨识图像的方法 |
US11636382B1 (en) * | 2018-08-10 | 2023-04-25 | Textron Innovations, Inc. | Robotic self programming visual inspection |
US11487300B2 (en) * | 2018-09-13 | 2022-11-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Home improvement store autonomous workhorse |
JP2020062691A (ja) * | 2018-10-15 | 2020-04-23 | 株式会社Preferred Networks | 検査装置、検査方法、ロボット装置、ロボット装置における検査方法及びプログラム |
JP7156916B2 (ja) * | 2018-11-14 | 2022-10-19 | 東芝テック株式会社 | 商品取出装置 |
US20200182634A1 (en) * | 2018-12-05 | 2020-06-11 | Uxr Llc | Providing path directions relating to a shopping cart |
KR20210099217A (ko) * | 2019-01-03 | 2021-08-12 | 엘지전자 주식회사 | 로봇 시스템의 제어 방법 |
WO2020152777A1 (ja) * | 2019-01-22 | 2020-07-30 | 本田技研工業株式会社 | 同行移動体 |
US11430044B1 (en) * | 2019-03-15 | 2022-08-30 | Amazon Technologies, Inc. | Identifying items using cascading algorithms |
KR20200116741A (ko) * | 2019-04-02 | 2020-10-13 | 현대자동차주식회사 | 로봇의 파지 제어방법 및 제어시스템 |
US11738447B2 (en) * | 2019-07-29 | 2023-08-29 | Nimble Robotics, Inc. | Storage systems and methods for robotic picking |
US11364632B2 (en) * | 2019-09-03 | 2022-06-21 | Toyota Motor North America, Inc. | Systems and methods for transporting an object into and out of a vehicle |
CN110774291A (zh) * | 2019-09-23 | 2020-02-11 | 金晴 | 一种基于物联网的生活食材采购设备及其工作方法 |
US11023938B2 (en) * | 2019-09-25 | 2021-06-01 | Ebay Inc. | Auto posting system |
KR20210081048A (ko) * | 2019-12-23 | 2021-07-01 | 엘지전자 주식회사 | 운송 로봇 및 그의 작동 방법 |
EP3855261B1 (en) * | 2020-01-27 | 2024-05-15 | ABB Schweiz AG | Determining control parameters for an industrial automation device |
US11756129B1 (en) | 2020-02-28 | 2023-09-12 | State Farm Mutual Automobile Insurance Company | Systems and methods for light detection and ranging (LIDAR) based generation of an inventory list of personal belongings |
US11900535B1 (en) | 2020-04-27 | 2024-02-13 | State Farm Mutual Automobile Insurance Company | Systems and methods for a 3D model for visualization of landscape design |
JP7400620B2 (ja) | 2020-05-15 | 2023-12-19 | トヨタ自動車株式会社 | 配送管理システム、配送管理方法及び配送管理プログラム |
JP7388309B2 (ja) * | 2020-07-31 | 2023-11-29 | トヨタ自動車株式会社 | 遠隔ショッピングシステム、遠隔ショッピング方法、及びプログラム |
CN112606014A (zh) * | 2020-12-12 | 2021-04-06 | 安徽新博普曼智能科技股份有限公司 | 一种送餐机器人 |
CN112874595A (zh) * | 2021-02-08 | 2021-06-01 | 卢宁 | 一种用于大型商超的智能购物车 |
CN117295480A (zh) * | 2021-04-29 | 2023-12-26 | X趋势人工智能公司 | 用于分配指定物品的机器人设备 |
CN117461045A (zh) * | 2021-06-01 | 2024-01-26 | 上海诺基亚贝尔股份有限公司 | 具有机器人辅助的购物引导 |
KR20220166040A (ko) * | 2021-06-09 | 2022-12-16 | 현대자동차주식회사 | 로봇팔을 이용한 품질 검증 시스템 및 방법 |
KR102345745B1 (ko) * | 2021-07-27 | 2021-12-30 | 동명대학교산학협력단 | 물류센터용 자율주행로봇 |
US20230081250A1 (en) * | 2021-09-14 | 2023-03-16 | International Business Machines Corporation | Robotic product packing |
US20230168679A1 (en) * | 2021-11-30 | 2023-06-01 | Robust AI, Inc. | Robotic Cart |
CN115072243A (zh) * | 2022-07-07 | 2022-09-20 | 中国科学技术大学 | 一种用于物流仓储的寻货装置及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006059676A1 (ja) | 2004-12-02 | 2006-06-08 | Murata Kikai Kabushiki Kaisha | 自動倉庫 |
JP2007109140A (ja) | 2005-10-17 | 2007-04-26 | Aruze Corp | 商品購入システム |
US20130317642A1 (en) | 2012-05-28 | 2013-11-28 | Well.Ca Inc. | Order processing systems using picking robots |
US20160303737A1 (en) | 2015-04-15 | 2016-10-20 | Abb Technology Ltd. | Method and apparatus for robot path teaching |
US20160364785A1 (en) | 2015-06-09 | 2016-12-15 | International Business Machines Corporation | Automated in store shopping system |
US20170066592A1 (en) | 2015-09-09 | 2017-03-09 | Bastian Solutions, Llc | Automated guided vehicle (agv) with batch picking robotic arm |
JP2017210302A (ja) | 2016-05-23 | 2017-11-30 | 株式会社東芝 | 積載手順決定装置、および積載手順決定プログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0395028A (ja) | 1989-09-05 | 1991-04-19 | Komatsu Butsuriyuu Service Kk | 計算機による積付け空間への貨物積付け方法 |
JPWO2004106009A1 (ja) * | 2003-06-02 | 2006-07-20 | 松下電器産業株式会社 | 物品取扱いシステムおよび物品取扱いサーバ |
DK1889197T3 (da) * | 2005-05-16 | 2012-02-13 | Intelligent Hospital Systems Ltd | Automatisk farmaceutisk blandesystem |
CN202453770U (zh) | 2012-02-07 | 2012-09-26 | 郑正耀 | 一种超市购物车用助手机器人 |
US10216865B1 (en) | 2012-03-06 | 2019-02-26 | Vecna Robotics, Inc. | Monitoring one or more articles on a support surface |
US20140180479A1 (en) | 2012-12-20 | 2014-06-26 | Wal-Mart Stores, Inc. | Bagging With Robotic Arm |
US9561587B2 (en) * | 2014-12-16 | 2017-02-07 | Amazon Technologies, Inc. | Robotic grasping of items in inventory system |
US9399476B1 (en) * | 2015-01-08 | 2016-07-26 | Diane Stankevitz | Carriage assembly |
US20160260142A1 (en) | 2015-03-06 | 2016-09-08 | Wal-Mart Stores, Inc. | Shopping facility assistance systems, devices and methods to support requesting in-person assistance |
US9382068B1 (en) | 2015-09-29 | 2016-07-05 | Amazon Technologies, Inc. | Proximity directed stowage |
CN105598937A (zh) | 2016-02-01 | 2016-05-25 | 湖北工业大学 | 一种超市自动理货机器人 |
CN205594449U (zh) * | 2016-04-14 | 2016-09-21 | 北京积水潭医院 | 可移动医用物流平台机器人 |
US9827683B1 (en) | 2016-07-28 | 2017-11-28 | X Development Llc | Collaborative inventory monitoring |
CN106272478A (zh) | 2016-09-30 | 2017-01-04 | 河海大学常州校区 | 一种全自动购物机器人及使用方法 |
CN107283428A (zh) * | 2017-08-22 | 2017-10-24 | 北京京东尚科信息技术有限公司 | 机器人控制方法、装置和机器人 |
-
2018
- 2018-01-17 US US15/873,166 patent/US11453129B2/en active Active
-
2019
- 2019-01-14 WO PCT/US2019/013466 patent/WO2019143554A1/en unknown
- 2019-01-14 CN CN201980009070.4A patent/CN111615442B/zh active Active
- 2019-01-14 JP JP2020539207A patent/JP7288448B2/ja active Active
- 2019-01-14 EP EP19702796.4A patent/EP3740354A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006059676A1 (ja) | 2004-12-02 | 2006-06-08 | Murata Kikai Kabushiki Kaisha | 自動倉庫 |
JP2007109140A (ja) | 2005-10-17 | 2007-04-26 | Aruze Corp | 商品購入システム |
US20130317642A1 (en) | 2012-05-28 | 2013-11-28 | Well.Ca Inc. | Order processing systems using picking robots |
US20160303737A1 (en) | 2015-04-15 | 2016-10-20 | Abb Technology Ltd. | Method and apparatus for robot path teaching |
US20160364785A1 (en) | 2015-06-09 | 2016-12-15 | International Business Machines Corporation | Automated in store shopping system |
US20170066592A1 (en) | 2015-09-09 | 2017-03-09 | Bastian Solutions, Llc | Automated guided vehicle (agv) with batch picking robotic arm |
JP2017210302A (ja) | 2016-05-23 | 2017-11-30 | 株式会社東芝 | 積載手順決定装置、および積載手順決定プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111615442B (zh) | 2023-08-18 |
EP3740354A1 (en) | 2020-11-25 |
US20190217477A1 (en) | 2019-07-18 |
JP2021511221A (ja) | 2021-05-06 |
WO2019143554A1 (en) | 2019-07-25 |
US11453129B2 (en) | 2022-09-27 |
CN111615442A (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7288448B2 (ja) | ショッピングアプリケーション用ユーザ支援ロボット | |
CN111602096B (zh) | 具有排除区的多分辨率扫描匹配 | |
US11288472B2 (en) | Cart-based shopping arrangements employing probabilistic item identification | |
US9600982B2 (en) | Methods and arrangements for identifying objects | |
CN109416809B (zh) | 代理机器人控制系统、代理机器人系统、代理机器人控制方法和存储介质 | |
US20190241298A1 (en) | Bagging system for store merchandise | |
JP7057214B2 (ja) | 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法 | |
US20170270579A1 (en) | Robotic equipment for the location of items in a shop and operating process thereof | |
US20190243358A1 (en) | Manual control modes for an autonomous mobile robot | |
JP7282345B2 (ja) | Rfidリーダと内蔵プリンタを備えた自己駆動システム | |
EP3840921B1 (en) | Method and apparatus for estimating tool trajectories | |
US11951629B2 (en) | Systems, apparatuses, and methods for cost evaluation and motion planning for robotic devices | |
Kim et al. | Real-time purchase behavior recognition system based on deep learning-based object detection and tracking for an unmanned product cabinet | |
US20190392505A1 (en) | Item information acquisition system, shopping assistance system, shopping assistance method, and carrier | |
Rupanagudi et al. | A novel video processing based cost effective smart trolley system for supermarkets using FPGA | |
JP2020021378A (ja) | 物品判別システム、買物支援システム、買物支援方法、物品判別方法、及びプログラム | |
US20230168689A1 (en) | Systems and methods for preserving data and human confidentiality during feature identification by robotic devices | |
WO2021003338A1 (en) | Systems and methods for detection of features within data collected by a plurality of robots by a centralized server | |
KR20210047660A (ko) | 주문 정보의 확인을 위해 로봇을 제어하는 방법 및 시스템 | |
JP6796901B1 (ja) | 容器検出および物体検出を行うための方法ならびに計算システム | |
US11117744B1 (en) | Determination of untidy item return to an inventory location | |
Roa-Garzón et al. | Vision-based solutions for robotic manipulation and navigation applied to object picking and distribution | |
US20240096103A1 (en) | Systems and methods for constructing high resolution panoramic imagery for feature identification on robotic devices | |
US20240144688A1 (en) | Detecting items in a shopping cart based on location of shopping cart | |
WO2023138447A1 (zh) | Ai称重系统和利用多种数据集增加ai模型的精度的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200914 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230526 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7288448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |