JP7019295B2 - 情報収集装置および情報収集システム - Google Patents

情報収集装置および情報収集システム Download PDF

Info

Publication number
JP7019295B2
JP7019295B2 JP2017008631A JP2017008631A JP7019295B2 JP 7019295 B2 JP7019295 B2 JP 7019295B2 JP 2017008631 A JP2017008631 A JP 2017008631A JP 2017008631 A JP2017008631 A JP 2017008631A JP 7019295 B2 JP7019295 B2 JP 7019295B2
Authority
JP
Japan
Prior art keywords
information
article
shelf
arm
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017008631A
Other languages
English (en)
Other versions
JP2018115072A (ja
Inventor
隆志 冨山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2017008631A priority Critical patent/JP7019295B2/ja
Priority to EP18152251.7A priority patent/EP3352118A1/en
Priority to US15/875,663 priority patent/US10542219B2/en
Publication of JP2018115072A publication Critical patent/JP2018115072A/ja
Application granted granted Critical
Publication of JP7019295B2 publication Critical patent/JP7019295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/16—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring distance of clearance between spaced objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0003—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiant heat transfer of samples, e.g. emittance meter
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37614—Number of workpieces, counter
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40572—Camera combined with position sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45045—Maintenance, automatic storage and retrieval system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Description

本発明の実施形態は、情報収集装置および情報収集システムに関する。
小売店等においては、棚に並べた商品の管理が必要である。例えば、棚卸業務は、時間と手間がかかるため店員の負荷の大きな業務の一つである。従来、物体までの距離を計測する物体センサと物体センサを移動させる移動機構とを用いて物品の個数を数える棚卸システムがある。この棚卸システムは、棚の手前を移動する筐体に固定した距離センサが計測するデータに基づいて物体の実配置データを判定する。
このような構成の棚卸システムでは、距離センサが手前に配置された物品の後方にある物品の状態を検知できない。実際の小売店等では、棚において手前から奥に向かって一列に並べた同一種類の複数の物品を棚の正面に対して前出し状態で配置するのが一般的である。このため、従来の棚卸システムは、実際の小売店等の棚に配置された物品の数を正しく数えるが困難である。
特開２０１０－２３９５０号公報
上記した課題を解決するために、棚に配置された複数の物品の状態を正確に判定するための情報を収集できる情報収集装置および情報収集システムを提供する。
実施形態によれば、情報収集装置は、カメラとアームとリンク機構とコントローラとを有する。カメラは、棚に配置した物品の状態を計測する。アームは、カメラの上側に配置され、下方へ向けた前記カメラの撮影位置を移動させる。リンク機構は、前記アームの先端を位置センサが検知する検知信号に基づいて水平方向に移動させる。コントローラは、前記リンク機構によって前記アームを棚の手前から奥に並べて配置される物品の上方を前記物品に沿って前記棚の内部に挿入し、前記カメラが撮影する画像を取得し、前記カメラが撮影する画像から前記棚上の各収納位置における物品数を特定するための画像情報を取得する。
図１は、実施形態に係る情報収集装置の構成例を示す外観図である。 図２は、実施形態に係る情報収集装置の制御系の構成例を示すブロック図である。 図３は、実施形態に係る情報収集装置におけるアームの構成を説明するための図である。 図４は、実施形態に係る情報収集装置のアームに搭載する物品センサの構成例を示す図である。 図５（ａ）及び（ｂ）は、実施形態に係る情報収集装置のアームに搭載する物品センサの構成例を示す図である。 図６は、実施形態に係る情報収集装置のアームに搭載する物品センサの構成例を示す図である。 図７は、実施形態に係る情報収集装置に作業を指示するための作業指示情報の例を示す図である。 図８は、実施形態に係る情報収集装置に作業を指示するための作業指示情報の例を示す図である。 図９は、実施形態に係る情報収集装置が参照する棚情報の例を示す図である。 図１０は、実施形態に係る情報収集装置が棚における収納位置を特定するための収納位置番号の構成例を示す図である。 図１１は、実施形態に係る情報収集装置の移動範囲におけるｘｙ座標と棚の配置例を示す図である。 図１２は、実施形態に係る情報収集装置が参照する物品情報の例を示す図である。 図１３は、実施形態に係る情報収集装置における棚卸業務の動作例を説明するためのフローチャートである。 図１４は、実施形態に係る情報収集装置による棚卸業務の結果を示す情報の例を示す図である。 図１５は、実施形態に係る情報収集装置における個数カウント処理の動作例を説明するためのフローチャートである。 図１６は、実施形態に係る情報収集装置が個数カウントの対象とする撮影画像の例を示す図である。
以下、図面を参照しながら実施形態について説明する。
まず、本実施形態に係る情報収集装置１の構成について説明する。
図１は、本実施形態に係る情報収集装置１の外観の構成例を示す図である。また、図２は、本実施形態に係る情報収集装置１の制御系の構成例を示すブロック図である。
図１に示すように、情報収集装置１は、筐体１１、車輪１２、障害物センサ１３、アーム１４、物品センサ１５および位置センサ１６を備える。さらに、情報収集装置１は、図２に示すように、システムコントローラ２１０、移動機構２２０およびアーム機構２３０を備える。
筐体１１は、車輪１２、障害物センサ１３およびアーム（リンク機構）１４が取り付けられる。また、筐体１１内には、システムコントローラ２１０、移動機構２２０およびアーム機構２３０の一部又は全部が格納される。
車輪１２は、筐体１１に取り付けられる。車輪１２は、移動機構２２０の駆動制御によって回転することにより筐体１１を移動させる。本実施形態において、筐体１１は、車輪１２の回転によって、物品Ｍが配置される棚の手前側の領域を移動するものとする。障害物センサ１３は、障害物を検知するセンサである。障害物センサ１３は、筐体１１に取り付けられる。障害物センサ１３は、例えば、車輪１２による移動方向に対して筐体１１の先端部に設けられる。
アーム１４は、筐体１１に取り付ける。本実施形態において、アーム１４は、筐体１１の上部に設置される。アーム１４は、リンク機構を有し、アーム機構２３０における駆動制御によって動く。また、アーム１４には、物品センサ１５及び位置センサ１６が取り付けられる。アーム機構２３０は、物品Ｍが配置される棚の内部に物品センサ１５を挿入するようにアーム１４を移動させる。
物品センサ１５は、物品の状態を示す情報を取得するデバイスである。物品センサ１５は、アーム１４の移動に応じて計測位置を移動させて物品の状態を示す情報を計測する。位置センサ１６は、アーム１４の位置を決定するための情報を検知するデバイスである。物品センサ１５及び位置センサ１６の具体的な構成例は後述する。
システムコントローラ２１０は、各部の動作制御および情報処理などを行う。移動機構２２０は、車輪１２を駆動することにより筐体１１を移動させる。アーム機構２３０は、アーム１４としてのリンク機構を駆動させることによりアーム１４を動かす。例えば、システムコントローラ２１０は、障害物センサ１３が検知する情報等を参照して移動機構２２０による筐体１１の移動を制御する。システムコントローラ２１０は、位置センサ１６が検知する情報等を参照してアーム機構２３０によるアーム１４の動きを制御する。システムコントローラ２１０は、物品センサ１５が計測する情報を取得し、物品センサ１５から取得した情報に基づく情報処理を行う。
上位装置２５０は、情報収集装置１のシステムコントローラ２１０と通信可能な装置である。情報収集装置１と上位装置とは、情報収集システムを構成する。上位装置２５０は、例えば、プロセッサ、メモリ、及び通信インターフェースなどを有するコンピュータである。上位装置２５０は、プロセッサがメモリに記憶するプログラムを実行することにより種々の処理機能を実現できる。例えば、上位装置２５０は、情報収集装置１から送信される情報を処理したり、情報収集装置１へ情報を配信したりする。
上位装置２５０は、情報収集装置１から情報を受信し、情報収集装置１から受信する情報に基づいて情報処理を行うようにしても良い。この場合、後述する情報収集装置１のコントローラが実行する処理の一部は上位装置２５０が行うようにしても良い。例えば、上位装置２５０は、物品センサ１５が計測する情報を情報収集装置１から受信し、物品センサ１５が計測した情報に基づく情報処理を行うようにしても良い。また、上位装置２５０は、情報収集装置１に対して動作制御或いは情報処理用のデータを供給するようにしても良い。例えば、上位装置２５０は、情報収集装置１に対して動作指示を供給するようにしても良い。この場合、コントローラ２１０は、上位装置２５０からの動作指示に従って各部の動作を制御する。
次に、システムコントローラ２１０について説明する。
図２に示すように、システムコントローラ２１０は、プロセッサ２１１、主記憶装置２１２、補助記憶装置２１３及び通信インターフェース（Ｉ／Ｆ）２１４を有する。
プロセッサ２１１は、例えば、ＣＰＵである。プロセッサ２１１は、プログラムを実行することにより各種の処理機能を実現する。主記憶装置２１２は、例えば、ＲＯＭおよびＲＡＭなどのプロセッサ２１１が処理を実行するためのメモリである。主記憶装置２１２としてのＲＯＭは、プロセッサ２１１が実行するプログラムを記憶する。主記憶装置２１２としてのＲＡＭは、作業用のデータなどを格納する。
補助記憶装置２１３は、書換え可能な不揮発性のメモリである。補助記憶装置２１３は、例えば、ＨＤＤ、ＳＳＤなどで構成する。補助記憶装置２１３は、後述する各処理を実行するためのプログラム及びデータを格納する。例えば、補助記憶装置２１３は、プロセッサ２１１が後述する情報収集処理としての各部の制御及びデータ処理を行うためのプログラムを記憶する。補助記憶装置２１３は、後述する作業指示情報、地図情報、棚情報、物品情報、および、収集した情報などを格納する。例えば、プロセッサ２１１は、補助記憶装置２１３が記憶するプログラムを実行することにより、作業指示情報及び地図情報を参照して物品センサ１５が取得する情報を収集する。
通信Ｉ／Ｆ２１４は、上位装置２５０と通信するための通信ユニットである。例えば、プロセッサ２１１は、情報収集処理によって収集した情報を通信Ｉ／Ｆ２１４を介して上位装置２５０へ送信する。また、プロセッサ２１１は、通信Ｉ／Ｆ２１４を介して上位装置２５０から供給される情報を受信する。
なお、本実施形態において、システムコントローラ２１０は、後述する走行コントローラ２２１およびアームコントローラ２３１とは独立したハードウェアとして説明する。ただし、システムコントローラ２１０は、走行コントローラ２２１、および／または、アームコントローラ２３１の機能を有する１つのハードウェアとして実現してもよい。また、後述するシステムコントローラ２１０が実行する処理機能の一部は、上位装置２５０が実行するようにしても良い。
次に、移動機構２２０について説明する。
移動機構２２０は、図２に示すように、走行コントローラ２２１、モータ２２２、車輪１２、及びロータリーエンコーダ２２３を有する。
走行コントローラ２２１は、モータ２２２の駆動を制御する。本実施形態において、走行コントローラ２２１は、システムコントローラ２１０からの制御指示に応じてモータ２２２を駆動させる。モータ２２２は、筐体１１に取り付けられた車輪１２を駆動する。
次に、アーム機構２３０について説明する。
図２に示す構成例において、アーム機構２３０は、アームコントローラ２３１、モータ２３２、および、リンク機構（アーム）１４を有する。
アームコントローラ２３１は、モータ２３２の駆動を制御する。本実施形態において、アームコントローラ２３１は、システムコントローラ２１０からの制御指示に応じてモータ２３２を駆動させる。モータ２３２は、リンク機構１４を駆動する。
図３は、アームとしてのリンク機構１４の構成例を示す図である。
図３に示す構成例において、リンク機構１４は、水平多関節型リンク機構（水平リンク機構）３０１と垂直移動機構３０２とを組み合わせて構成する。水平リンク機構３０１は、アームの先端を水平方向において移動させる。水平リンク機構３０１の先端部（アームの先端部）は、物品センサ１５と位置センサ１６とを搭載する。例えば、物品センサ１５は、水平リンク機構３０１の先端部から下側が計測位置となるように取り付けられる。
位置センサ１６は、水平リンク機構３０１の先端から物体を検知する。位置センサ１６は、水平リンク機構３０１の先端が移動する位置を決めるための検知信号を取得する。例えば、アームの先端を棚の内部に挿入する位置は、位置センサ１６からの検知信号に基づいて決定する。また、アームの先端が棚の奥まで移動したことは、位置センサ１６からの検知信号に基づいて決定しても良い。また、位置センサ１６は、物体までの距離を計測する距離センサで構成しても良い。この場合、位置センサ１６としての距離センサは、棚に配置された物品までの距離を計測するためのセンサとして利用してもよい。
水平リンク機構３０１は、物品センサ１５を搭載した部分が棚の手前から後方（奥）に並べられた物品に沿って棚の内部に挿入可能な形状で構成する。本実施形態において、水平リンク機構３０１は、物品センサ１５を搭載した部分が棚に載置した物品と当該物品の上側の棚板との間に挿入しやすいように薄型の形状で形成するものとする。ただし、水平リンク機構３０１は、物品センサ１５を棚に載置された物品に沿って棚の内部に移動させることができる形状であれば良く、薄型の形状に限定されるものではない。
なお、図３では、物品センサ１５を搭載するアームの先端部を水平方向に移動させる機構として水平多関節型リンク機構で構成する例を示している。ただし、リンク機構１４は、水平多関節型リンク機構を用いた構成に限定されるものではなく、直交座標型あるいは円筒座標型のリンク機構を用いた構成であっても良い。
次に、物品センサ１５について説明する。
情報収集装置１が収集する情報は、棚に配置された状態の物品Ｍの状態を示す情報である。例えば、情報収集装置１が収集する情報は、物品の形状、種類、配置、個数、温度、製造年月日や消費期限などの情報である。これらの状態を示す情報を取得するため、物品センサ１５は、棚に配置された物品Ｍの状態を示す情報を計測する。物品センサ１５は、計測する情報に応じたデバイスで構成する。例えば、物品センサ１５は、撮像センサ、距離センサ、温度センサ、ＲＦＩＤリーダなどで構成する。また、物品センサ１５は、複数種類のセンサを組み合わせたものであっても良い。
撮影センサは、ＣＣＤイメージセンサ或はＣＭＯＳイメージセンサなどで構成するデバイスである。例えば、撮像センサは、撮影領域の画像を撮影するカメラであっても良いし、ラインセンサなどで構成するスキャナであっても良い。距離センサは、レーザや超音波等により計測方向に存在する物体までの距離を計測するデバイスである。温度センサは、物品から放射される赤外線により物品の温度を計測するデバイスである。ＲＦＩＤリーダは、物品に取り付けられたＲＦタグから電波を用いて情報を読み出すデバイスである。また、ＲＦタグには、ＲＦタグと接続されたセンサから計測データを読み出してＲＦＩＤリーダに送信できるものがある。物品センサ１５は、上記のようなＲＦタグから読み出す計測データを取得するデバイスであっても良い。
本実施形態においては、主として、物品センサ１５が撮像センサとオートフォーカス機構とを組み合わせたカメラモジュール（以下、単にカメラとも称する）であることを想定して説明する。ただし、物品センサ１５は、カメラモジュールに限定されるものではなく、各種のセンサが適用できる。また、物品センサ１５は、例えば、撮像センサと距離センサとを組み合わせるなど、複数種類のセンサを合わせたデバイスであっても良い。
物品センサ１５としてのカメラは、アーム１４に搭載した状態で棚に配置された物品に沿って移動可能な形状とする。アーム１４に取り付けた物品センサ１５を棚に配置された物品と当該物品の上側の棚板との間隙に挿入する場合、カメラは、上記の間隙に挿入可能な厚さとする。例えば、アーム１４における物品センサ１５の取り付け部位の形状を薄くするため、物品センサ１５には、スマートフォン等で使用される薄型のカメラが適用できる。また、スマートフォン用のカメラでは性能が不足する場合、物品センサ１５は、産業用のカメラを使用してもよい。また、アーム１４には、測定位置（画像の読取位置）の画像を物品センサ１５としてのカメラのイメージセンサへ導く光学系を設けても良い。
図４は、アーム１４の先端付近に物品センサ１５としてのカメラを取り付けた場合の構成例を示す図である。図５（ａ）及び（ｂ）は、アーム１４に物品センサ１５としてのカメラと光学系とを取り付けた場合の構成例を示す図である。図６は、アーム１４に物品センサ１５としての複数のカメラを取り付けた場合の構成例を示す図である。
図４に示す構成例において、物品センサ１５は、１つのカメラモジュールであり、アーム１４の先端付近に取り付けられる。図４に示す構成では、物品センサ１５は、取り付け位置（アーム１４の先端）におけるアーム１４の下方側が撮影領域（測定位置）とする。図４に示す状態において、アーム１４の先端は、水平リンク機構３０１により物品と当該物品の上側の棚板との間を水平方向に移動できる。これにより、図４に示す物品センサ１５は、棚に配置された各物品を上方から撮影（測定）できる。
また、図５（ａ）は、物品センサ１５へ画像を導く光学系としてのミラーをアーム１４の先端付近に取り付けた構成例を示す図である。また、図５（ｂ）は、物品センサ１５へ画像を導く光学系としてのプリズムをアーム１４の先端付近に取り付けた構成例である。図５（ａ）及び図５（ｂ）は、光学系を取り付けたアーム１４の先端付近におけるアーム１４の下側の領域が撮影位置（測定位置）となる。図５（ａ）及び（ｂ）に示す構成例であっても、アーム１４の先端を物品と当該物品の上側の棚板との間で移動させて、棚に配置された物品を上方から撮影（測定）できる。
また、図６は、アーム１４に物品センサ１５としての複数のカメラを取り付けた構成例を示す図である。図６に示す構成例において、各カメラは、アーム１４の下方側を画像の読取位置（測定位置）とする。図６に示す構成例では、アーム１４を物品と当該物品の上側の棚板との間に挿入することにより、複数のカメラが、それぞれの測定位置の画像を撮影（測定）できる。すなわち、図６に示す構成によれば、複数のカメラで広範囲の画像を撮影できる。１つのカメラでは画角が小さい場合であっても、図６に示す構成によれば、棚の手前から奥までの広範囲を撮影位置（測定位置）とした画像が容易に撮影できる。
次に、情報収集装置１が棚に配置した物品の状態を示す情報を収集する処理（情報収集処理）に用いる各種の情報について説明する。
図７及び図８は、情報収集装置１が物品の状態を示す情報を収集する作業の手順を示す作業指示情報の例を示す図である。
作業指示情報は、例えば、補助記憶装置２１３に格納される。システムコントローラ２１０において、プロセッサ２１１は、補助記憶装置２１３が記憶する作業指示情報に従って情報収集処理を行うための作業を制御する。作業指示情報は、上位装置２５０から供給されるものであっても良い。
図７及び図８に示す例において、作業指示情報は、作業内容、使用センサ、作業番号、収納位置数、収納位置番号および移動速度などの情報を含む。
作業内容は、作業内容を示す情報である。図７及び図８に示す例では、作業内容として指定の収納位置における物品の個数を計数することを指示するものとしている。作業内容は、物品の個数を計数するものに限定されるものではない。例えば、作業内容は、収納位置番号で指定する収納位置における物品センサによる計測データ（例えば画像）の収集であっても良い。また、作業内容は、指定する収納位置にある物品の期限チェックや温度チェックであっても良い。
使用センサは、作業を実施するために使用するセンサを示す情報である。例えば、物品センサ１５として複数種類のセンサを有する場合、作業指示情報において、使用するセンサが指定できる。また、使用センサとしては、複数種類のセンサを指定しても良い。例えば、使用センサとしては、カメラと距離センサとを指定しても良い。
作業番号は、作業指示情報によって指示する作業を管理するための管理番号である。作業番号は、各作業（各作業指示情報）に対して一意な番号を割り当てる。
収納位置数は、作業番号で特定される１つの作業指示情報で作業が指示される収納位置の数を示す。
移動速度は、該当する作業指示情報で指示される作業における移動機構による移動速度を示す。移動速度は、例えば、測定の対象となる物品の種類、或は、物品センサとして使用するセンサの種類に応じて指定される。
収納位置番号は、作業対象となる位置（棚における収納位置）を示す情報である。収納位置番号は、例えば、後述する棚情報において棚における位置に対応付けられる情報である。1つの作業指示情報では、作業対象となる1つまたは複数の収納位置を示す１つ又は複数の収納位置番号が指定できる。また、図７では、1つの作業指示情報において、同じ棚かつ同じ段における複数列を示す複数の収納位置番号を指定した例を示す。また、図８では、1つの作業指示情報において、複数段における複数列を示す複数の収納位置番号を指定した例を示す。
次に、情報収集装置１を移動させる場合に参照する地図情報について説明する。
地図情報は、例えば、補助記憶装置２１３に格納される。システムコントローラ２１０において、プロセッサ２１１は、補助記憶装置２１３が記憶する地図情報を参照して移動する経路を計画する。すなわち、プロセッサ２１１は、作業指示情報に従って作業を実行する場合、地図情報を参照して筐体１１の移動経路を決定する。地図情報は、情報収集装置１の移動範囲内における、走行可能な領域、走行が禁止される領域、障害物の位置などを示す情報を含む。
次に、情報収集装置１が作業の対象となる棚における物品の収納位置などを示す棚情報について説明する。
図９は、情報収集装置１の補助記憶装置２１３に記憶される棚情報の例を示す図である。図９に示す例において、棚情報は、収納位置番号、開始位置、方向、奥行、および、列の幅等の情報を含む。
収納位置番号は、物品の収納場所を特定するための情報である。図９に示す例において、収納位置番号は、棚番号、段番号、列番号から構成される。棚番号は、棚を特定するための情報である。段番号は、棚における段を示す情報である。列番号は、各段における列を示す情報である。
図１０は、棚における収納位置番号の構成例を示す図である。図１０は、棚番号が「Ａ」の棚を正面から見た状態における各収納位置に対する収納位置番号の例を示している。図１０に示す収納位置番号は、棚番号、段番号および列番号を順に並べた番号である。例えば、収納位置番号が「Ａ－１－１」の収納位置は、棚番号が「Ａ」の棚における１段目かつ１列目であることが特定できる。
開始位置は、収納位置番号により特定される収納位置に対して物品センサ１５が計測を開始する位置（計測作業の開始位置）を示す情報である。図９に示す例では、開始位置は、水平面上における位置を示すｘｙ座標（ｘ座標及びｙ座標）と、物品センサ１５の地面からの高さを示すｚ座標とで示される。
図１１は、情報収集装置１の移動範囲における位置を示すｘｙ座標と物品が配置される複数の棚の配置例とを示す図である。図１１に示す移動範囲は、例えば、地図情報により特定される。図１１に示す移動範囲における各位置は、ｘｙ座標で示される。例えば、図１１に示す位置Ｐ（２００、６００）は、図９に示す収納位置番号が「Ａ－１－１」の収納位置に対する開始位置のｘｙ座標が示す位置である。
方向は、地図情報が示す地図上において棚の面が向いている方向（棚の正面となる方向）を示す情報である。図１１に示す例では、棚番号がＡ～Ｈと設定される複数の棚が存在する。棚番号がＡの棚は、例えば、位置Ｐ（２００、６００）から矢印ａが示す方向に見た面が正面である。これに対して、棚番号がＢの棚は、位置Ｐ（２００、３００）から矢印ｂが示す方向に見た面が正面である。
奥行は、棚における手前から奥までの長さ（棚の奥行）を示す情報である。
列の幅は、棚番号、段番号および列番号（収納位置番号）で指定される各収納位置における棚に向かって左右方向の長さを示す情報である。
次に、物品情報について説明する。
図１２は、情報収集装置１の補助記憶装置２１３に記憶される物品情報の例を示す図である。
物品情報は、監視対象となる物品に関する情報である。図１２に示す例では、物品情報は、物品番号、特徴情報、大きさ（縦、横、高さ）および収納位置番号を含む。
物品番号は、物品を管理するための識別番号である。物品番号は、例えばＳＫＵ（最小管理単位）毎に付与される。大きさ（縦、横、高さ）は、物品の大きさを示す情報である。収納位置番号は、物品が収納される位置を示す情報である。
特徴情報は、物品の形状を示す情報や画像処理において必要となる特徴点等の情報である。特徴情報は、物品センサ１５が計測する情報に基づいて物品を特定したり、物品の個数をカウントしたりするために必要となる情報である。特徴情報は、物品センサ１５として使用するセンサの種類に応じた特徴情報を使用する。本実施形態においては、物品センサ１５がカメラであることを想定する。このため、本実施形態においては、特徴情報は物品を特定するための特徴照合用の特徴量データベースに登録した特徴量データを参照するための情報とする。
次に、本実施形態に係る情報収集装置における情報収集処理について説明する。
図１３は、本実施形態に係る情報収集装置における情報収集処理の一例としての棚卸処理（業務）を説明するためのフローチャートである。
システムコントローラ２１０は、上位装置２５０又はユーザインタフェースの操作により作業開始の指示を受付ける。作業開始の指示を受けると、システムコントローラ２１０のプロセッサ２１１は、補助記憶装置２１３が記憶する作業指示情報を読み出す（ＡＣＴ１１）。ここでは、実行する作業内容が棚卸業務であるものとする。このため、プロセッサ２１１は、作業内容が棚卸となっている１つの作業指示情報を読込む。
１つの作業指示情報を読み込むと、プロセッサ２１１は、読込んだ作業指示情報における収納位置数（収納位置の総数）を「残り収納位置数」を示す変数Ａの初期値とする（ＡＣＴ１２）。変数Ａを初期値とすると、プロセッサ２１１は、棚情報を読出し（ＡＣＴ１３）、棚卸情報を参照して最初の収納位置（作業対象とする収納位置）に対する開始位置を特定する（ＡＣＴ１４）。例えば、プロセッサ２１１は、作業指示情報から作業対象となる収納位置を示す収納位置番号を特定する。収納位置番号を特定すると、プロセッサ２１１は、収納位置番号に対応する開始位置の座標を棚情報に基づいて特定する。
開始位置を特定すると、プロセッサ２１１は、地図情報を読出し（ＡＣＴ１５）、地図情報を参照して現在位置から開始位置に移動するための経路を計画する（ＡＣＴ１６）。経路を計画すると、システムコントローラ２１０のプロセッサ２１１は、計画した経路を示す情報と作業指示情報で指定される移動速度とを移動機構２２０に対して指示する。
移動機構２２０の走行コントローラ２２１は、システムコントローラ２１０から指示に応じて走行用のモータ２２２を駆動させて情報収集装置１の筐体１１を移動させる（ＡＣＴ１７）。また、走行用のモータ２２２を駆動させた後、移動機構２２０のロータリーエンコーダ２２３は、車輪１２の回転量を計測する。ロータリーエンコーダ２２３が計測する車輪１２の回転量を示す情報は定期的にシステムコントローラ２１０に通知される。システムコントローラ２１０のプロセッサ２１１は、車輪１２の回転量と障害物センサ１３の計測データとに基づいて筐体１１の移動量を計算する。プロセッサ２１１は、走行環境中（移動範囲）における筐体１１の位置を示す座標を随時更新する。プロセッサ２１１は、随時更新する筐体１１の位置と経路計画とを突き合わせて移動機構２２０に指示する移動速度等の駆動指示内容を決定する。プロセッサ２１１は、更新される筐体１１の位置に応じて決定した駆動指示内容を移動機構２２０へ指示する。
筐体１１の位置が開始位置に達すると、プロセッサ２１１は、棚情報で指定される棚の方向（棚の正面方向）とアーム１４の先端の移動方向（計測位置の移動方向）とが正対するような駆動指示を移動機構２２０へ供給する。これにより、情報収集装置１の筐体１１は、開始位置において作業対象となる収納位置が設けられた棚に向かった状態とする。
筐体１１が開始位置に達すると、プロセッサ２１１は、物品センサ１５を搭載したアーム１４の先端部を開始位置で指定される高さに移動させる（ＡＣＴ１８）。例えば、プロセッサ２１１は、アーム１４の先端が作業指示情報で指定される開始位置の高さ（ｚ座標）になるような動作指示をアーム機構２３０へ供給する。
アーム１４の先端が開始位置に到達すると、プロセッサ２１１は、物品センサ１５が収納位置全体における物品の状態を計測できるようにアーム１４の先端を棚に挿入する（ＡＣＴ１９）。プロセッサ２１１は、物品センサ１５を搭載したアーム１４の先端が当該収納位置に配置された物品と当該物品の上側の棚との間に挿入されるようアーム機構２３０を制御する。例えば、プロセッサ２１１は、棚情報が示す棚の奥行に応じてアーム１４の先端を棚の内部に挿入する位置を決定し、アーム機構２３０を駆動制御する。また、プロセッサ２１１は、位置センサ１６の計測結果に応じて物品センサ１５及びアーム１４が棚板および物品に接触しないようにアーム１４の動きを制御する。
物品センサ１５を搭載したアーム１４の先端を棚の内部に挿入すると、プロセッサ２１１は、当該収納位置に対する物品の個数カウント処理を実行する（ＡＣＴ２０）。個数カウント処理は、物品センサ１５が計測する情報に基づいて当該収納位置に実際に存在する物品の個数をカウントする処理である。個数カウント処理については、後で詳述するものとする。
当該収納位置に対する個数カウント処理が終了すると、プロセッサ２１１は、物品センサ１５を搭載したアーム１４の先端を棚の内部から抜去する（ＡＣＴ２１）。例えば、プロセッサ２１１は、アーム１４の先端を棚から抜去し、所定のホームポジションに移動するようにアーム機構２３０に指示する。アーム１４の先端を棚から抜去すると、プロセッサ２１１は、残り収納位置数を示す変更Ａを１だけ減算（Ａ＝Ａ－１）する（ＡＣＴ２２）。変数Ａを減算すると、プロセッサ２１１は、変更Ａ（残り収納位置数）が０よりも大きいかを判断する（ＡＣＴ２３）。変数Ａが０より大きい場合、つまり、現在の作業指示情報に作業が未完了の収納位置がある場合（ＡＣＴ２３、ＹＥＳ）、プロセッサ２１１は、現在の作業指示情報が指定する次の収納位置に対して上述したＡＣＴ１３－２３の処理を実行する。
また、変数Ａが０である場合、つまり、現在の作業指示情報が指定する全収納位置に対する作業が完了した場合（ＡＣＴ２３、ＮＯ）、プロセッサ２１１は、作業を実施していない残りの作業指示情報が存在するか判断する（ＡＣＴ２４）。残っている作業指示情報がある場合（ＡＣＴ２４、ＹＥＳ）、プロセッサ２１１は、上記ＡＣＴ１１へ戻り、次の作業指示情報に対して上述の処理を実行する。
残りの作業指示情報がないと判断した場合（ＡＣＴ２４、ＮＯ）、プロセッサ２１１は、収集した情報に対する情報処理を実行する（ＡＣＴ２５）。ここでは、作業内容が棚卸業務であるため、プロセッサ２１１は、収集した情報（各物品の読取り個数）に基づく棚卸業務としての情報処理を実行する。なお、プロセッサ２１１は、収集した情報を上位装置２５０へ送信し、上位装置２５０が収集した情報に対する情報処理を実行するようにしても良い。
例えば、プロセッサ２１１は、理論在庫を示す情報を読み込み、物品毎に実際にカウントした個数（読取り個数）と理論在庫との差を算出する。理論在庫を示す情報は、補助記憶装置２１３に記憶しても良いし、上位装置２５０から取得しても良い。読取り個数と理論在庫との差を算出すると、プロセッサ２１１は、各物品の読取り個数、理論在庫および差異などを示す棚卸結果を示す情報を作成する。棚卸結果を示す情報を作成すると、プロセッサ２１１は、作成する棚卸結果を示す情報を補助記憶装置２１３に記憶する。また、プロセッサ２１１は、作成する棚卸結果を示す情報を上位装置２５０へ送信しても良い。
図１４は、棚卸結果（収集した情報を集計した結果）を示す情報の例である。
図１４に示す例において、棚卸業務結果情報は、物品番号、理論在庫数、読取り個数、および、差異などの情報を含む。物品番号は、棚卸業務の対象とした物品を示す情報である。理論在庫数は、在庫管理によって管理している帳簿上の物品の在庫数である。読取り個数は、上述の処理よって物品センサ１５の計測結果に基づいて計数した物品の数である。差異は、理論在庫数から読取り個数を引いた数である。
以上のような処理によれば、情報収集装置は、物品センサを搭載したアームを棚の内部に移動させて各収納位置に配置された物品の状態を物品センサにより計測する。このような情報収集装置によれば、物品センサを棚の内部に挿入することで、棚の手前側に配置された物品だけでなく、各収納位置全体における複数の物品の状態を確実に計測できる。
また、情報収集装置は、作業指示情報で指定された各収納位置に配置された物品の状態を順に物品センサで計測し、棚に配置された物品の状態を示す情報を収集する。さらに、情報収集装置は、収集した情報に基づいて物品の個数のカウントおよび棚卸業務などの情報処理を行う。このような情報収集装置によれば、棚に配置されている各物品の状態を確実に計測できるため、個数のカウントおよび棚卸業務などの情報処理を正確に行うことができる。
次に、情報収集装置１における個数カウント処理について説明する。
図１５は、情報収集装置１における個数カウント処理の動作例を説明するためのフローチャートである。
アーム１４の先端を棚に挿入した後、システムコントローラのプロセッサ２１１は、物品センサ１５が収納位置全体を計測できるように移動制御を開始する（ＡＣＴ３１）。例えば、プロセッサ２１１は、作業指示情報で指定された移動速度で、棚情報が示す当該収納位置の幅（列の幅）の分だけ移動機構２２０により筐体１１を移動させる。プロセッサ２１１は、移動機構２２０により筐体１１を移動させながら物品センサ１５による計測を行う（ＡＣＴ３２）。
すなわち、筐体１１の移動に応じて棚の内部に挿入されたアーム１４の先端も移動する。このため、アーム１４の先端に搭載された物品センサ１５は、筐体１１の移動によって収納位置全体の領域における物品の状態を計測する。プロセッサ２１１は、筐体１１が当該収納位置の幅に応じた移動量を移動すると、筐体１１の移動を停止させる（ＡＣＴ３３）。筐体１１の移動を停止すると、プロセッサ２１１は、当該収納位置に対する物品センサ１５による計測を終了する。
例えば、カメラとしての物品センサ１５は、移動機構２２０による収納位置の幅（列の幅）に応じた筐体１１の移動に伴って収納位置全体の画像を撮影する。図３乃至図５に示すような構成であれば、物品センサ１５としてのカメラは、物品が載置される収納位置を物品の上方から撮影する。この場合、プロセッサ２１１は、物品センサ１５としてのカメラが物品の上方から収納位置全体を撮影した撮影画像を取得する。
収納位置に対する計測データ（撮影画像）を取得すると、プロセッサ２１１は、計測データとしての撮影画像に基づいて実際に配置されている物品の種類を特定する（ＡＣＴ３４）。例えば、プロセッサ２１１は、物品センサ１５が撮影した画像と物品情報に記載された特徴量とを比較して撮影画像に存在する物品の種類を特定する。
また、プロセッサ２１１は、物品センサ１５の計測データ（撮影画像）から直接的にカウントできない物品をカウントするため、物品センサ１５から物品までの距離を算出する（ＡＣＴ３５）。物品センサ１５としてのカメラの撮影画像を用いて奥行き距離を算出する方法としては、種々の方法が適用可能である。例えば、物体までの距離に対する画像上の物体の大きさが分かっている場合、「物体に近づけば大きく映り、遠ざかれば小さく映る」ことを利用して距離が求められる。また、二つ以上のカメラを用いて左右の画像のずれを利用して距離を求める方法もある。さらには、物品センサ１５としてカメラに加えて距離センサを設けた場合、距離センサが計測する計測値により物品までの距離を求めてもよい。
物品の種類と物品センサ１５から物体までの距離とを求めた後、プロセッサ２１１は、収納位置に存在する物品の個数を算出する（ＡＣＴ３６）。例えば、プロセッサ２１１は、撮影画像から物品の画像を抽出し、画像として抽出した各物品までの距離に応じて物品の数を判定する。具体的には、プロセッサ２１１は、撮影画像から抽出した物品の画像をグループ分けし、カメラに対して近いグループから順番に個数を数える。つまり、プロセッサ２１１は、最初に最も近いグループの個数を数え、２番目以降のグループの個数を数える場合には画像として見えている個数に前のグループの個数を加える。
例えば、図１６は、撮影画像から切り出した物品画像をグループ分けした例を示す図である。図１６に示す例では、画像から切り出した物品画像をＡ、Ｂの２グループに分けた状態を示している。図１６に示す撮影画像が得られた場合、プロセッサ２１１は、最も近いグループがＡグループであると判定する。プロセッサ２１１は、まず、撮影画像からＡグループの数（Ａグループに含まれる物品の個数）が３個と計数する。次に、プロセッサ２１１は、Ａグループの次に近いグループとしてＢグループを判定する。プロセッサ２１１は、Ｂグループの数（Ｂグループに含まれる物品の個数）を画像として見えている個数の２個と計数する。この場合、プロセッサ２１１は、画像に表れているＢグループの数２個にＡグループの数３個を加算して５個とする。プロセッサ２１１は、撮影画像から得られる物品の数として、３個（Ａグループの数）＋５個（ＡグループとＢグループの数）を算出し、合計８個であると判定する。上述の手法は、画像として見えていない部分には上に積み重なっている物品と同じ数だけ物品があると仮定することで全体の個数を計数する手法である。
なお、距離の算出は、重ねて載置された物品の個数をカウントするための処理である。このため、距離に基づく個数の判定無しで物品の個数がカウントできる場合、距離を算出する処理は、省略して良い。例えば、物品センサ１５としてＲＦＩＤリーダを使用する場合、物品が積み重なっていても個々の物品に貼り付けられたＲＦタグを識別できる。この場合、プロセッサ２１１は、ＲＦＩＤリーダがＲＦタグから読み取る情報によって物品の識別と個数のカウントとが可能である。
以上のような個数カウント処理は、作業対象となる各収納位置に対して実行される。これにより、情報収集装置は、収納位置ごとに物品センサの計測データから実際に配置されている物品の個数をカウントできる。
以上のように、本実施形態に係る情報収集装置は、物品の状態を計測するカメラなどの物品センサを搭載したアームを有する。情報収集装置は、アームを棚の内部に挿入した状態で物品センサによって棚に配置されている物品の状態を計測する。これにより、本実施形態によれば、棚の正面からでは手前に配置された物品によって計測が困難となる棚の奥に配置される物品の状態が計測可能となる。
また、物品センサがカメラであれば、情報収集装置は、棚に載置した物品を上方などの棚の内部から撮影することができる。これにより、本実施形態に係る情報収集装置によれば、棚において手前から奥に向かって並べた物品の状態を正確に判定できる画像を収集できる。
また、情報収集装置は、センサを搭載したアームを棚の内部に挿入した状態で移動しながらセンサによる計測を行う。これにより、本実施形態に係る情報収集装置によれば、棚における収納位置全体などの広範囲を測定範囲として物品センサによる計測が容易に実現できる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
棚に配置した物品の状態を計測するセンサと、
前記センサを搭載するアームと、
前記アームに搭載した前記センサを前記棚に配置されている物品に近傍に移動させ、前記センサが計測する物品の状態を示す情報を取得するコントローラと、
を有する情報収集装置。
［２］
前記センサは、画像を撮影するカメラであり、
前記コントローラは、前記カメラが撮影する画像を取得する、
［１］に記載の情報収集装置。
［３］
さらに、前記アームを設置した筐体と、
前記筐体を移動させる移動機構と、を有し、
前記コントローラは、前記移動機構により前記筐体を指定された位置へ移動させた後、前記アームに搭載した前記センサを前記棚に配置されている物品の近傍に移動させる、
［１］又は［２］の何れかに記載の情報収集装置。
［４］
前記コントローラは、前記アームに搭載した前記センサを前記棚に配置されている物品の上方に移動させた後、前記移動機構により前記筐体を移動させながら前記センサが計測する情報を収集する、
［３］に記載の情報収集装置。
［５］
情報収集装置と上位装置とを有する情報収集システムであって、
前記情報収集装置は、
棚に配置した物品の状態を計測するセンサと、
前記センサを搭載するアームと、
前記アームに搭載した前記センサを前記棚に配置されている物品に近傍に移動させ、前記センサが計測する物品の状態を示す情報を取得するコントローラと、
前記センサが計測する物品の状態を示す情報を前記上位装置へ送信する通信インターフェースと、を有する、
情報収集システム。
１…情報収集装置、１１…筐体、１４…アーム（リンク機構）、１５…物品センサ、２１０…システムコントローラ、２１１…プロセッサ、２１２…主記憶装置、２１３…補助記憶装置、２１４…通信インターフェース、２２０…移動機構、２３０…アーム機構、２５０…上位装置。

Claims (5)

  1. 画像を撮影するカメラと、
    前記カメラの上側に配置され、下方へ向けた前記カメラの撮影位置を移動させるアームと、
    前記アームの先端を位置センサが検知する検知信号に基づいて水平方向に移動させるリンク機構と、
    前記リンク機構によって前記アームを棚の手前から奥に並べて配置される物品の上方を前記物品に沿って前記棚の内部に挿入し、前記カメラが撮影する画像を取得し、前記カメラが撮影する画像から前記棚上の各収納位置における物品数を特定するための画像情報を取得するコントローラと、
    を有する情報収集装置。
  2. さらに、前記アームの先端に搭載し、前記アームの下側の領域を前記カメラの撮影位置とする光学系を有する、
    請求項１に記載の情報収集装置。
  3. 前記カメラは、複数であり、
    前記アームには、複数のカメラが設置される、
    請求項１に記載の情報収集装置。
  4. さらに、前記アームを設置した筐体と、
    前記筐体を移動させる移動機構と、
    前記棚の奥行を示す情報を含む棚情報を記憶する補助記憶装置と、を有し、
    前記コントローラは、前記移動機構により前記筐体を指定された位置へ移動させた後、前記アームに搭載した前記カメラを前記補助記憶装置が記憶する棚情報が示す前記棚の奥行に応じて前記棚の手前から奥に並べて配置される物品に沿って前記棚の内部に挿入させる、
    請求項１乃至３の何れか１項に記載の情報収集装置。
  5. 情報収集装置と上位装置とを有する情報収集システムであって、
    前記情報収集装置は、
    画像を撮影するカメラと、
    前記カメラの上側に配置され、下方へ向けた前記カメラの撮影位置を移動させるアームと、
    前記アームの先端を位置センサが検知する検知信号に基づいて水平方向に移動させるリンク機構と、
    前記リンク機構によって前記アームを棚の手前から奥に並べて配置される物品の上方を前記物品に沿って前記棚の内部に挿入し、前記カメラが撮影する画像を取得し、前記カメラが撮影する画像から前記棚上の各収納位置における物品数を特定するための画像情報を取得するコントローラと、
    前記カメラが撮影する画像から得た物品数を特定するための画像情報を前記上位装置へ送信する通信インターフェースと、を有する、
    情報収集システム。
JP2017008631A 2017-01-20 2017-01-20 情報収集装置および情報収集システム Active JP7019295B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017008631A JP7019295B2 (ja) 2017-01-20 2017-01-20 情報収集装置および情報収集システム
EP18152251.7A EP3352118A1 (en) 2017-01-20 2018-01-18 Information collecting apparatus, information collecting system and information collecting method
US15/875,663 US10542219B2 (en) 2017-01-20 2018-01-19 Information collecting apparatus, information collecting system and information collecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017008631A JP7019295B2 (ja) 2017-01-20 2017-01-20 情報収集装置および情報収集システム

Publications (2)

Publication Number Publication Date
JP2018115072A JP2018115072A (ja) 2018-07-26
JP7019295B2 true JP7019295B2 (ja) 2022-02-15

Family

ID=61131930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017008631A Active JP7019295B2 (ja) 2017-01-20 2017-01-20 情報収集装置および情報収集システム

Country Status (3)

Country Link
US (1) US10542219B2 (ja)
EP (1) EP3352118A1 (ja)
JP (1) JP7019295B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10717187B2 (en) * 2016-02-01 2020-07-21 AM Networks LLC Desktop robotic arm with interchangeable end effectors
US10664704B2 (en) * 2017-05-18 2020-05-26 Walmart Apollo, Llc Systems, devices, and methods for monitoring object locations
CN110689290B (zh) * 2018-07-06 2023-09-29 北京京东尚科信息技术有限公司 商品售卖方法以及装置
EP3835236A4 (en) * 2018-08-10 2022-08-10 Beijing Geekplus Technology Co., Ltd. DENSE REGISTRATION BASED ARTICLE MOVEMENT METHOD AND DEVICE, STORAGE MEDIA AND DENSE REGISTRATION SYSTEM
JP7071711B2 (ja) * 2018-10-01 2022-05-19 株式会社ダイフク 監視システム
EP3667230B1 (de) * 2018-12-13 2021-06-23 IVF Hartmann AG Messsystem und verfahren zur inventarisierung mittels 3d-scan
CN109732591B (zh) * 2018-12-24 2021-09-24 济南大学 一种有障碍物环境下多机器人群集控制方法
CN109849008A (zh) * 2019-02-21 2019-06-07 广州高新兴机器人有限公司 一种基于金库的机器人盘点方法及系统
CN112101834A (zh) * 2019-06-18 2020-12-18 北京京东尚科信息技术有限公司 仓库中储位的定位方法、装置、系统及介质
TWI733173B (zh) * 2019-08-27 2021-07-11 佳世達科技股份有限公司 物品管理系統
US11251064B2 (en) * 2020-03-02 2022-02-15 Taiwan Semiconductor Manufacturing Co., Ltd. Wafer frame sorter and stocker
CN114044298A (zh) * 2020-06-12 2022-02-15 深圳市海柔创新科技有限公司 仓储机器人的控制方法、装置、设备及可读存储介质
CN114905525B (zh) * 2022-05-30 2023-06-30 青岛黄海学院 一种智能图书管理机器人及其使用方法
JP7401129B1 (ja) 2022-11-15 2023-12-19 株式会社SEtech 商品陳列棚

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006256722A (ja) 2005-03-15 2006-09-28 Hitachi Koki Co Ltd 自動保管庫
JP2015510479A (ja) 2012-01-26 2015-04-09 ハンミ アイティー カンパニー，リミテッド 棚のスキャナー、スキャニング装置及びスキャニング方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05208716A (ja) * 1992-01-13 1993-08-20 Nec Corp 自動保管棚装置
JPH10279025A (ja) * 1997-04-02 1998-10-20 Nittetsu Semiconductor Kk ストッカーおよび物品棚情報スキャニングシステム
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US8396591B2 (en) * 2008-06-25 2013-03-12 Valbrea Technologies, Inc. System and method for data collection and analysis using robotic devices
JP5259286B2 (ja) 2008-07-16 2013-08-07 株式会社日立製作所 ３次元物体認識システム及びそれを用いた棚卸システム
CA2923474C (en) * 2013-09-09 2022-06-21 Dematic Corp. Autonomous mobile picking
US9636825B2 (en) * 2014-06-26 2017-05-02 Robotex Inc. Robotic logistics system
US9964398B2 (en) * 2015-05-06 2018-05-08 Faro Technologies, Inc. Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006256722A (ja) 2005-03-15 2006-09-28 Hitachi Koki Co Ltd 自動保管庫
JP2015510479A (ja) 2012-01-26 2015-04-09 ハンミ アイティー カンパニー，リミテッド 棚のスキャナー、スキャニング装置及びスキャニング方法

Also Published As

Publication number Publication date
JP2018115072A (ja) 2018-07-26
EP3352118A1 (en) 2018-07-25
US10542219B2 (en) 2020-01-21
US20180213160A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
JP7019295B2 (ja) 情報収集装置および情報収集システム
US11660749B2 (en) Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots
CN106934692B (zh) 物品信息处理系统、方法及装置
US20190025849A1 (en) Robot for automated image acquisition
JP2019200697A (ja) 棚管理システムおよびプログラム
CN110709868A (zh) 用于跟踪在商店内的库存水平的方法
EP4234440A1 (en) Goods storage method and apparatus, and robot, warehousing system and storage medium
KR20210034602A (ko) 랙 레그 식별을 사용한 차량 위치 교정을 위한 시스템 및 방법
KR20130049773A (ko) 제품 식별을 위한 시스템 및 방법
CN111565293B (zh) 分析作业人员的手工作业的状态的装置与方法以及介质
CN105277120A (zh) 物体测量系统及方法
CN111507315A (zh) 一种物品取放事件检测方法、装置及设备
WO2021046323A1 (en) Autonomous vehicle warehouse inventory inspection and management
WO2017120281A1 (en) Systems and methods of consolidating product orders
KR101613120B1 (ko) 바코드 검사 시스템
KR20210021985A (ko) 물품 반송차
US11400599B2 (en) Stock management robot
JP2010030712A (ja) Ｒｆｉｄを利用した棚卸方法及び棚卸装置
WO2017120202A1 (en) Apparatus and method for monitoring merchandise
JP7081022B2 (ja) 情報処理装置、情報収集装置および情報収集システム
CN107742383B (zh) 基于光面成像的自动结算系统及结算方法
CA3028708A1 (en) Method, system and apparatus for dynamic loop closure in mapping trajectories
KR101185678B1 (ko) Ｒｆｉｄ 인식태그 좌표평균법을 이용한 위치 및 자세 추적 장치 및 방법
CN112449106B (zh) 架板拍摄装置及信息处理装置
JP2019089625A (ja) 物品管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220202

R150 Certificate of patent or registration of utility model

Ref document number: 7019295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150