JP7022671B2 - 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体 - Google Patents

情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体 Download PDF

Info

Publication number
JP7022671B2
JP7022671B2 JP2018170387A JP2018170387A JP7022671B2 JP 7022671 B2 JP7022671 B2 JP 7022671B2 JP 2018170387 A JP2018170387 A JP 2018170387A JP 2018170387 A JP2018170387 A JP 2018170387A JP 7022671 B2 JP7022671 B2 JP 7022671B2
Authority
JP
Japan
Prior art keywords
marker
storage location
article
captured
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018170387A
Other languages
English (en)
Other versions
JP2020042613A (ja
Inventor
正知 小宮山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Priority to JP2018170387A priority Critical patent/JP7022671B2/ja
Priority to CN201980057206.9A priority patent/CN112638818B/zh
Priority to PCT/JP2019/035610 priority patent/WO2020054744A1/ja
Priority to US17/269,474 priority patent/US11483524B2/en
Priority to CA3110037A priority patent/CA3110037C/en
Priority to MX2021002811A priority patent/MX2021002811A/es
Publication of JP2020042613A publication Critical patent/JP2020042613A/ja
Application granted granted Critical
Publication of JP7022671B2 publication Critical patent/JP7022671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1375—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning stacker-crane or truck
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Civil Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体に関する。
特許文献１の入出庫管理システムは、荷物を積載したパレットを積載したフォークリフトが倉庫内に入るときに、荷物の銘柄を含む写真及びフォークリフトＩＤを含む写真を撮影する。そして、入出庫管理システムは、フォークリフトがパレットを所定のロケーションに載置したときに、ロケーションＩＤ及びフォークリフトＩＤを含む写真を撮影する。そして、入出庫管理システムは、写真のフォークリフトＩＤに基づいて、写真の荷物の銘柄及びロケーションＩＤと入出庫情報とを照合し、入出庫情報に一致する荷物が入出庫情報に一致するロケーションに配置されているかどうかを判定する。
特開２００３－１２１２２号公報
しかしながら、特許文献１の入出庫管理システムでは、フォークリフトがパレットを所定のロケーションに載置したことを検出するためのセンサ等が必要となり、センサ等の設置やセンサ等のメンテナンスの作業が煩雑である。
また、フォークリフト等の移動体に設けられた撮影装置が、マーカが付された物品や棚等を撮影してマーカを読み取り、読み取った情報をサーバ装置に送信する場合、撮影装置とサーバ装置との通信量が多くなり、通信速度が低下する。
本発明の情報処理システムは、移動体に設けられたクライアント装置と、サーバ装置と、を含む情報処理システムであって、前記クライアント装置は、継続的に撮影するよう、前記移動体に設けられた撮影手段を制御する撮影制御手段と、前記撮影手段によって撮影された撮影画像に写された物品に対応付けられた物品マーカと格納場所に対応付けられた格納場所マーカのうち、格納場所マーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された前記物品マーカ及び前記格納場所マーカに関する情報を前記サーバ装置に送信する第１の送信手段と、を有し、前記サーバ装置は、前記第１の送信手段によって送信された物品マーカ及び格納場所マーカに関する情報を記憶手段に記憶させるよう制御する第１の記憶制御手段と、を有する。
本発明によれば、煩雑な作業を回避し、通信量を低減できる。
図１は、物品管理システムの全体構成の一例を示す図である。 図２Ａは、クライアント装置のハードウェア構成の一例を示す図である。 図２Ｂは、サーバ装置のハードウェア構成の一例を示す図である。 図３Ａは、物品管理ＤＢの構成の一例を示す図である。 図３Ｂは、画像管理ＤＢの構成の一例を示す図である。 図４Ａは、クライアント装置の動作例を示す図である。 図４Ｂは、クライアント装置の動作例を示す図である。 図４Ｃは、クライアント装置の動作例を示す図である。 図４Ｄは、クライアント装置の動作例を示す図である。 図５は、マーカ解析処理の一例を示すフローチャートである。 図６は、マーカ解析処理の一例を示すフローチャートである。 図７は、判定マーカ決定処理の一例を示すフローチャートである。
＜第１の実施形態＞
［物品管理システムの全体構成］
まず、図１を参照して物品管理システム１の全体構成について説明する。図１は、物品管理システム１の全体構成の一例を示す図である。物品管理システム１は、倉庫等に配置された棚１０に格納される物品２０を管理する。物品管理システム１は、フォークリフト３００とクライアント装置１００とサーバ装置２００とを有する。物品管理システム１は、情報処理システムの一例である。
フォークリフト３００は、物品２０を搬送する。本実施形態では、物品管理システム１は、１台のフォークリフト３００を有するが、フォークリフト３００を複数台有していてもよい。フォークリフト３００は、移動可能な移動体の一例である。
クライアント装置１００は、フォークリフト３００に設けられており、フォークリフト３００と共に移動しながら連続撮影する撮影装置である。クライアント装置１００は、ネットワーク４００経由で、サーバ装置２００とデータの送受信が可能である。ネットワーク４００として、無線通信ネットワークが使われる。ただし、ネットワーク４００として、有線通信ネットワークが使われてもよい。クライアント装置１００は、フォークリフト３００の前方を撮影できるように、フォークリフト３００に取り付けられている。
サーバ装置２００は、クライアント装置１００から、ネットワーク４００を経由してデータを受信して、受信したデータに基づいて、後に説明する物品管理ＤＢ（データベース）２１０、画像管理ＤＢ２２０、及び、画像ファイル領域２３０を管理する。データベースは、所定の情報の集まりである。
クライアント装置１００、及び、サーバ装置２００は、それぞれ、情報処理装置（コンピュータ）の一例である。
クライアント装置１００は、フォークリフト３００と共に移動しながら、棚１０、及び、物品２０等を連続して継続的に撮影する。棚１０は、１つ以上の格納スペース１１を有する。格納スペース１１は、物品２０の格納場所である。格納スペース１１の前方は開放されている。それぞれの格納スペース１１には、１個以上の物品２０を格納できる。図１の例では、棚１０は、第１の格納スペース１１Ａから第４の格納スペース１１Ｄまでの４つの格納スペース１１を有する。
［マーカ］
次に、マーカ３０について説明する。
マーカ３０は、棚１０及び物品２０に付されている。マーカ３０は、光学読取式であり、マーカ３０ごとに予め定められた情報が記録される。マーカ３０には、格納場所マーカ１２と物品マーカ２１とがある。マーカ３０は、正方形や長方形等の四角形である。
格納場所マーカ１２は、格納スペース１１に対応付けられている。格納スペース１１ごとに、格納スペース１１に対応付けられた格納場所マーカ１２が存在する。格納場所マーカ１２には、対応する格納スペース１１を表す格納場所ＩＤが記録されている。格納場所ＩＤは、格納スペース１１を識別可能な識別子である。本実施形態では、格納場所マーカ１２は、対応する格納スペース１１の上側に配置された棚板の前面に付されている。第１の格納場所マーカ１２Ａは第１の格納スペース１１Ａに対応する。同様に、第２の格納場所マーカ１２Ｂから第４の格納場所マーカ１２Ｄまでは、それぞれ、第２の格納スペース１１Ｂから第４の格納スペース１１Ｄまでに対応する。格納場所マーカ１２は、物品マーカ２１より大きい。
物品マーカ２１は、物品２０に対応付けられている。物品２０ごとに、物品２０に対応付けられた物品マーカ２１が存在する。物品マーカ２１には、対応する物品２０を表す物品ＩＤが記録されている。物品ＩＤは、物品２０を識別可能な識別子である。物品マーカ２１は、物品２０の前面に付されている。本実施形態では、倉庫内の作業者等は、物品２０に付された物品マーカ２１が棚１０の前面を向くように、物品２０を格納スペース１１に格納する。物品マーカ２１は、棚１０の前面に限らず、物品２０の上面や側面等に付されていてよい。また、後述するイメージセンサ１０４で撮影可能であれば、倉庫内の作業者等は、物品２０に付された物品マーカ２１が棚１０の前面以外の方向を向くように、物品２０を格納スペース１１に格納してもよい。
マーカ３０の種類には、ＱＲコード（登録商標）、カラービット（登録商標）、バーコード等がある。マーカ３０として、ＱＲコードやカラービット等の二次元コードを使用してもよく、バーコード等の一次元コードを使用してもよい。
クライアント装置１００は、棚１０を撮影することで、棚１０に付された格納場所マーカ１２や、棚１０に格納された物品２０に付された物品マーカ２１を読み取る。本実施形態では、クライアント装置１００は、１種類のマーカ３０のみを読み取る。例えば、クライアント装置１００は、カラービットのマーカ３０のみを読み取る。ただし、複数の種類のマーカ３０が使用される場合、クライアント装置１００は、複数の種類のマーカ３０を読み取ってもよい。
［ハードウェア構成］
次に、図２Ａを参照して、クライアント装置１００のハードウェア構成について説明する。図２Ａは、クライアント装置１００のハードウェア構成の一例を示す図である。クライアント装置１００は、ハードウェアとして、ＣＰＵ１０１と、記憶装置１０２と、通信インタフェース１０３と、イメージセンサ１０４と、これらを接続するバス１０５とを含む。
ＣＰＵ１０１は、クライアント装置１００の全体を制御する。ＣＰＵ１０１が記憶装置１０２等に記憶されているプログラムに基づき処理を実行することによって、クライアント装置１００の各種の機能や、図５、図６、図７に示すフローチャートの処理が実現される。
記憶装置１０２は、ＲＡＭ、ＲＯＭ、ＨＤＤ等であって、プログラムを記憶したり、ＣＰＵ１０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。記憶装置１０２は、記憶媒体の一例である。
通信インタフェース１０３は、クライアント装置１００と、サーバ装置２００等の外部装置との通信の制御を司る。
イメージセンサ１０４は、クライアント装置１００が撮影する際に用いられる。イメージセンサ１０４は、レンズを通った光に基づいて、撮影画像となるデジタル画像を生成する。イメージセンサ１０４は、クライアント装置１００と共に、フォークリフト３００に設けられている。イメージセンサ１０４は、撮影手段の一例である。
次に、図２Ｂを参照して、サーバ装置２００のハードウェア構成について説明する。図２Ｂは、サーバ装置２００のハードウェア構成の一例を示す図である。サーバ装置２００は、ハードウェアとして、ＣＰＵ２０１と、記憶装置２０２と、通信インタフェース２０３と、これらを接続するバス２０４とを含む。
ＣＰＵ２０１は、サーバ装置２００の全体を制御する。ＣＰＵ２０１が記憶装置２０２等に記憶されているプログラムに基づき処理を実行することによって、サーバ装置２００の各種の機能や処理が実現される。
記憶装置２０２は、ＲＡＭ、ＲＯＭ、ＨＤＤ等であって、プログラムを記憶したり、ＣＰＵ２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。記憶装置２０２は、記憶領域に、後述の物品管理ＤＢ２１０、画像管理ＤＢ２２０、及び、画像ファイル領域２３０を有する。記憶装置２０２は、記憶媒体の一例である。また、記憶装置２０２は、記憶手段の一例である。
通信インタフェース２０３は、サーバ装置２００と、クライアント装置１００等の外部装置との通信の制御を司る。
［動作例］
次に、図４Ａから図４Ｄまでを参照して、クライアント装置１００の動作例について説明する。図４Ａから図４Ｄまでは、クライアント装置１００の動作例を示す図である。図４Ａから図４Ｄまでの撮影画像４１Ａから撮影画像４１Ｌまででは、棚１０は省略されている。
クライアント装置１００のＣＰＵ１０１は、継続的に撮影するようイメージセンサ１０４を制御する。撮影画像に写されたマーカ３０の大きさがマーカ閾値未満からマーカ閾値以上に変化した場合、又は、撮影画像に写されたマーカ３０の大きさがマーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をクライアント装置１００に送信する。本実施形態では、マーカ閾値との比較には、格納場所マーカ１２が使われる。また、マーカ閾値は「２００」とする。マーカの大きさは、その対角線の長さで表す。マーカの大きさの単位は任意に定める。
クライアント装置１００が棚１０に近いほど、クライアント装置１００が撮影した撮影画像に写される格納場所マーカ１２が大きくなる。
ここで、図４Ａから図４Ｄまでに示される近接領域５０について説明する。近接領域５０は、棚１０の前に設定される領域である。クライアント装置１００が近接領域５０内に位置する場合、クライアント装置１００が撮影する撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上となる。また、クライアント装置１００が近接領域５０外に位置する場合、クライアント装置１００が撮影する撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満となる。
クライアント装置１００が近接領域５０外から近接領域５０内に入った場合、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化する。クライアント装置１００が近接領域５０内から近接領域５０外に出た場合、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化する。これらの場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。物品格納情報は、物品２０が格納された場所を表す情報である。
図４Ａから図４Ｄまでの位置４０Ａ、４０Ｂ、４０Ｃでは、位置４０Ａが棚１０から最も遠く、位置４０Ｃが棚１０に最も近い。位置４０Ｂは位置４０Ａと位置４０Ｃとの間の位置である。位置４０Ａ、位置４０Ｂは、近接領域５０外である。位置４０Ｃは、近接領域５０内である。位置４０Ａでクライアント装置１００が撮影する撮影画像４１Ａ、Ｆ、Ｇ、Ｌに写された格納場所マーカ１２の大きさは「８０」である。位置４０Ｂでクライアント装置１００が撮影する撮影画像４１Ｂ、Ｅ、Ｈ、Ｋに写された格納場所マーカ１２の大きさは「１５０」である。位置４０Ｃでクライアント装置１００が撮影する撮影画像４１Ｃ、Ｄ、Ｉ、Ｊに写された格納場所マーカ１２の大きさは「２２０」である。
まず、図４Ａを参照して、フォークに物品２０を載せたフォークリフト３００が、棚１０に向かって前進して、棚１０の格納スペース１１に物品２０を格納する場合のクライアント装置１００の動作について説明する。
フォークリフト３００が近接領域５０外で前進している間は、撮影画像に写された格納場所マーカ１２の大きさは常にマーカ閾値「２００」未満である。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信しない。
フォークリフト３００が近接領域５０外から近接領域５０内に入ると、撮影画像に写された格納場所マーカ１２の大きさは、マーカ閾値未満からマーカ閾値以上に変化する。より具体的には、撮影画像に写された格納場所マーカ１２の大きさが、位置４０Ｂの撮影画像４１Ｂでの「１５０」から、位置４０Ｃの撮影画像４１Ｃでの「２２０」に変化して、マーカ閾値以上になる。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。
フォークリフト３００が近接領域５０内で前進している間は、撮影画像に写された格納場所マーカ１２の大きさは常にマーカ閾値「２００」以上である。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信しない。
次に、図４Ｂを参照して、格納スペース１１に物品２０を格納したフォークリフト３００が、棚１０から後退する場合のクライアント装置１００の動作について説明する。
フォークリフト３００が近接領域５０内で後退している間は、撮影画像に写された格納場所マーカ１２の大きさは常にマーカ閾値「２００」以上である。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信しない。
フォークリフト３００が近接領域５０内から近接領域５０外に出ると、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化する。より具体的には、撮影画像に写された格納場所マーカ１２の大きさが、位置４０Ｃの撮影画像４１Ｄでの「２２０」から、位置４０Ｂの撮影画像４１Ｅでの「１５０」に変化して、マーカ閾値未満になる。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。
フォークリフト３００が近接領域５０外で後退している間は、撮影画像に写された格納場所マーカ１２の大きさは常にマーカ閾値「２００」未満である。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信しない。
図４Ｃは、フォークに物品２０を載せていないフォークリフト３００が、棚１０に向かって前進して、格納スペース１１に格納された物品２０を取り出す場合のクライアント装置１００の動作を示す。この場合のクライアント装置１００の動作は、図４Ａを参照して説明した動作と同様である。
図４Ｄは、格納スペース１１から物品２０を取り出して、フォークに物品２０を載せたフォークリフト３００が、棚１０から後退する場合のクライアント装置１００の動作を示す。この場合のクライアント装置１００の動作は、図４Ｂを参照して説明した動作と同様である。
［データベース等］
次に、図３Ａを参照して、物品管理ＤＢ２１０について説明する。図３Ａは、物品管理ＤＢ２１０の構成の一例を示す図である。物品管理ＤＢ２１０は、サーバ装置２００の記憶装置２０２に記憶されるデータベースである。物品管理ＤＢ２１０は、物品２０の格納場所を管理する。
物品管理ＤＢ２１０は、複数の物品管理レコード２１１を記憶できる。物品管理レコード２１１は、格納場所ＩＤと物品ＩＤとが関連付けられた情報であり、既に説明した物品格納情報に対応する。物品管理レコード２１１は、格納場所ＩＤに対応する格納スペース１１に、物品ＩＤに対応する物品２０が格納されていることを表す。格納場所ＩＤに関連付けられた物品ＩＤが存在しない場合、この格納場所ＩＤに対応する格納スペース１１には物品２０が格納されていないことを表す。また、１つの格納場所ＩＤに、複数の物品ＩＤが関連付けられていてもよい。このとき、格納スペース１１に、複数の物品２０が格納されていることを表す。
次に、図３Ｂを参照して、画像管理ＤＢ２２０について説明する。図３Ｂは、画像管理ＤＢ２２０の構成の一例を示す図である。画像管理ＤＢ２２０は、サーバ装置２００の記憶装置２０２に記憶されるデータベースである。画像管理ＤＢ２２０は、クライアント装置１００が撮影した撮影画像であって、格納スペース１１を写した撮影画像を管理する。
画像管理ＤＢ２２０は、複数の画像管理レコード２２１を記憶できる。１件の画像管理レコード２２１では、格納場所ＩＤと前進情報と後退情報とが関連付けられている。
前進情報は、前進撮影画像についての情報である。前進撮影画像は、クライアント装置１００が近接領域５０外から近接領域５０内に入った際の撮影画像である。前進情報は、時刻と画像ファイル保存場所とを含む。前進情報の時刻は、前進撮影画像の撮影時刻である。前進撮影画像は、画像ファイル領域２３０に保存される。前進情報の画像ファイル保存場所は、画像ファイル領域２３０における前進撮影画像のパス、及び、前進撮影画像のファイル名で表される。
後退情報は、後退撮影画像についての情報である。後退撮影画像は、クライアント装置１００が近接領域５０内から近接領域５０外に出た際の撮影画像である。後退情報は、時刻と画像ファイル保存場所とを含む。後退情報の時刻は、後退撮影画像の撮影時刻である。後退撮影画像は、画像ファイル領域２３０に保存される。後退情報の画像ファイル保存場所は、画像ファイル領域２３０における後退撮影画像のパス、及び、後退撮影画像のファイル名で表される。
画像管理レコード２２１の格納場所ＩＤは、格納場所ＩＤに対応する格納スペース１１が前進撮影画像及び後退撮影画像に写されていることを表す。
［マーカ解析処理］
次に、図５を参照して、マーカ解析処理について説明する。図５は、マーカ解析処理の一例を示すフローチャートである。
Ｓ１００において、クライアント装置１００のＣＰＵ１０１は、接近フラグを初期状態のＯＦＦに設定する。接近フラグは、クライアント装置１００が近接領域５０内に存在するか否かを表す。接近フラグがＯＦＦの場合、クライアント装置１００が近接領域５０外に存在することを表す。接近フラグがＯＮの場合、クライアント装置１００が近接領域５０内に存在することを表す。
Ｓ１０１において、ＣＰＵ１０１は、マーカ解析処理を終了するか否かを判定する。例えば、クライアント装置１００の操作部を介して作業者等から終了指示がされた場合、又は、サーバ装置２００から終了指示を受信した場合、ＣＰＵ１０１は、マーカ解析処理を終了すると判定する。マーカ解析処理を終了すると判定した場合、ＣＰＵ１０１は、図５のマーカ解析処理を終了し、マーカ解析処理を終了しないと判定した場合、ＣＰＵ１０１は、処理をＳ１０２に進める。
Ｓ１０２において、ＣＰＵ１０１の制御に基づいて、イメージセンサ１０４は撮影を行って、撮影画像を生成する。ＣＰＵ１０１は、次のＳ１０２が実行されるまで、Ｓ１０２で撮影された撮影画像を、マーカ解析処理における処理対象の撮影画像である対象画像とする。ＣＰＵ１０１は、Ｓ１０２を繰り返し実行することで、継続的に撮影するようイメージセンサ１０４を制御する。Ｓ１０２の処理は、撮影制御処理の一例である。
Ｓ１０３において、ＣＰＵ１０１は、対象画像から、対象画像に写された全てのマーカ３０を読み取る。
Ｓ１０４において、ＣＰＵ１０１は、Ｓ１０３において格納場所マーカ１２の読み取りに成功したか否かを判定する。格納場所マーカ１２の読み取りに成功したと判定した場合、ＣＰＵ１０１は、処理をＳ１０５に進め、格納場所マーカ１２を読み取れなかったと判定した場合、ＣＰＵ１０１は、処理をＳ１０１に戻す。
Ｓ１０５において、ＣＰＵ１０１は、Ｓ１０３で読み取られた格納場所マーカ１２の対象画像における大きさを取得する。ＣＰＵ１０１は、対象画像における格納場所マーカ１２の大きさとして、対象画像における格納場所マーカ１２の対角線の長さを取得する。
Ｓ１０６において、ＣＰＵ１０１は、クライアント装置１００の記憶装置１０２からマーカ閾値を取得する。そして、ＣＰＵ１０１は、Ｓ１０６で取得した格納場所マーカ１２の大きさがマーカ閾値以上か否かを判定する。Ｓ１０６で取得した格納場所マーカ１２の大きさがマーカ閾値以上と判定した場合、ＣＰＵ１０１は、処理をＳ１０７に進め、格納場所マーカ１２の大きさがマーカ閾値未満と判定した場合、ＣＰＵ１０１は、処理をＳ１１３に進める。対象画像に複数の格納場所マーカ１２が写されていた場合、ＣＰＵ１０１は、複数の格納場所マーカ１２の大きさの平均値、最大値、及び、最小値の何れかの値を使用して、マーカ閾値以上か否かを判定してもよい。
Ｓ１０７において、ＣＰＵ１０１は、接近フラグがＯＦＦか否かを判定する。接近フラグがＯＦＦと判定した場合、ＣＰＵ１０１は、処理をＳ１０８に進め、接近フラグがＯＮと判定した場合、ＣＰＵ１０１は、処理をＳ１０１に戻す。
Ｓ１０６、Ｓ１０７の処理が、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化したか否かを判定する処理である。処理がＳ１０８に進む場合が、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化したと判定された場合に対応する。
Ｓ１０８において、ＣＰＵ１０１は、接近フラグをＯＮに設定する。
Ｓ１０９において、ＣＰＵ１０１は、Ｓ１０３で対象画像から読み取ったマーカ３０に基づいて、物品２０と物品２０が格納された格納スペース１１との組み合わせを表す物品格納情報を作成する
より具体的には、まず、ＣＰＵ１０１は、対象画像から読み取ったマーカ３０を、格納場所マーカ１２と物品マーカ２１とに分類する。
次いで、ＣＰＵ１０１は、対象画像において、物品マーカ２１ごとに、物品マーカ２１に最も近い位置にある格納場所マーカ１２を、物品マーカ２１に対応する格納場所マーカ１２と決定する。
次いで、ＣＰＵ１０１は、物品マーカ２１と物品マーカ２１に対応する格納場所マーカ１２との組み合わせを表す物品格納情報を作成する。
物品格納情報は、物品マーカ２１に記録された物品ＩＤと、物品マーカ２１に対応する格納場所マーカ１２に記録された格納場所ＩＤとの組み合わせで表される。ＣＰＵ１０１は、対象画像に格納場所マーカ１２が写っている場合であって、格納場所マーカ１２に対応する物品マーカ２１が存在しない場合、この格納場所マーカ１２に記録された格納場所ＩＤに対応する物品ＩＤが存在しないことを表す物品格納情報を作成する。格納場所マーカ１２が複数ある場合は、ＣＰＵ１０１は、物品格納情報を複数作成する。
Ｓ１１０において、ＣＰＵ１０１は、Ｓ１０９で作成した物品格納情報を、通信インタフェース１０３を介して、サーバ装置２００に送信する。Ｓ１１０の処理は、第１の送信処理の一例である。
サーバ装置２００のＣＰＵ２０１は、通信インタフェース２０３を介して、クライアント装置１００から、物品格納情報を受信する。ＣＰＵ２０１は、クライアント装置１００から受信した物品格納情報に基づいて、物品管理ＤＢ２１０を更新する。より具体的には、ＣＰＵ２０１は、クライアント装置１００から受信した物品格納情報ごとに、物品格納情報の格納場所ＩＤと同じ格納場所ＩＤを持つ物品管理レコード２１１の物品ＩＤを、物品格納情報の物品ＩＤに更新するよう制御する。物品管理ＤＢ２１０を更新する処理は、第１の記憶制御処理の一例である。
Ｓ１１１において、ＣＰＵ１０１は、対象画像から読み取ったマーカ３０に基づいて、格納スペース１１と対象画像との対応関係を表す画像対応情報を作成する。画像対応情報は、対象画像に写された格納スペース１１を示す情報である。画像対応情報は、対象画像に写された格納場所マーカ１２に記録された格納場所ＩＤと、対象画像の情報とで表される。対象画像の情報は、対象画像の撮影時刻を含む。対象画像に格納場所マーカ１２が複数写されている場合、ＣＰＵ１０１は、画像対応情報を複数作成する。
Ｓ１１２において、ＣＰＵ１０１は、Ｓ１１１で作成した画像対応情報、及び、対象画像を、通信インタフェース１０３を介して、サーバ装置２００に送信する。Ｓ１１２の処理は、第２の送信処理の一例である。
サーバ装置２００のＣＰＵ２０１は、通信インタフェース２０３を介して、クライアント装置１００から、画像対応情報、及び、対象画像を受信する。
ＣＰＵ２０１は、クライアント装置１００から受信した対象画像を、画像ファイル領域２３０に画像ファイルとして記憶する。ＣＰＵ２０１がここで記憶する対象画像は、既に説明した前進撮影画像である。対象画像を記憶する処理は、第２の記憶制御処理の一例である。
また、ＣＰＵ２０１は、クライアント装置１００から受信した画像対応情報に基づいて、画像管理ＤＢ２２０を更新する。より具体的には、ＣＰＵ２０１は、クライアント装置１００から受信した画像対応情報ごとに、画像対応情報の格納場所ＩＤと同じ格納場所ＩＤを持つ画像管理レコード２２１の前進情報を更新する。更新後の前進情報の時刻は、画像対応情報に含まれる撮影時刻である。更新後の前進情報の画像ファイル保存場所は、画像ファイル領域２３０に記憶した撮影画像の保存場所である。
Ｓ１１２の処理の後、ＣＰＵ１０１は、処理をＳ１０１に戻す。
Ｓ１１３において、ＣＰＵ１０１は、接近フラグがＯＮか否かを判定する。接近フラグがＯＮと判定した場合、ＣＰＵ１０１は、処理をＳ１１４に進め、接近フラグがＯＦＦと判定した場合、ＣＰＵ１０１は、処理をＳ１０１に戻す。
Ｓ１０６、Ｓ１１３の処理が、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化したか否かを判定する処理である。処理がＳ１１４に進む場合が、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化したと判定された場合に対応する。
Ｓ１１４において、ＣＰＵ１０１は、接近フラグをＯＦＦに設定する。
Ｓ１１５からＳ１１８までの処理は、Ｓ１０９からＳ１１２までの処理と同様である。ただし、サーバ装置２００のＣＰＵ２０１は、Ｓ１１８の処理でクライアント装置１００が送信した画像対応情報、及び、対象画像を受信した場合、次のように処理する。ＣＰＵ２０１は、対象画像を後退撮影画像として処理する。また、ＣＰＵ２０１は、画像対応情報に基づいて、画像管理レコード２２１の後退情報を更新する。
［効果］
以上説明したように、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化した場合、又は、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。サーバ装置２００は、クライアント装置１００から受信した物品格納情報、及び、撮影画像等を記憶装置２０２に記憶するよう制御する。
したがって、クライアント装置１００は、撮影画像を撮影するごとに物品格納情報、及び、撮影画像等をサーバ装置２００に送信することが回避される。よって、クライアント装置１００とサーバ装置２００との通信量を低減できる。
また、物品管理システム１では、物品格納情報の作成にあたり、センサ等の特別な装置を必要としない。よって、センサ等の装置の設置やメンテナンス等の煩雑な作業を回避できる。
また、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化した場合、又は、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、物品格納情報をサーバ装置２００に送信する。サーバ装置２００は、クライアント装置１００から受信した物品格納情報を物品管理ＤＢ２１０に記憶するよう制御する。よって、物品管理ＤＢ２１０では、格納スペース１１の状態や、物品２０が格納された格納スペース１１の情報を最新の状態に維持できる。
特に、クライアント装置１００は、物品２０を搬送するフォークリフト３００に取り付けられている。したがって、物品２０が格納スペース１１に新たに格納されたり、物品２０が格納スペース１１から取り出されたりする場合、クライアント装置１００は格納スペース１１を撮影することになる。よって、物品管理ＤＢ２１０では、格納スペース１１の状態や、物品２０が格納された格納スペース１１の情報を最新の状態に維持できる。
また、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化した場合、又は、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、対象画像をサーバ装置２００に送信する。サーバ装置２００は、クライアント装置１００から受信した対象画像を画像ファイル領域２３０に記憶する。
よって、物品管理システム１の管理者等は、画像ファイル領域２３０に記憶された撮影画像を参照することで、荷姿を把握できる。また、画像ファイル領域２３０に記憶された撮影画像に基づいて格納スペース１１ごとの使用率を算出する等して、物品２０等の管理に役立てることができる。また、物品２０等の運搬等を行う作業者に画像ファイル領域２３０に記憶された撮影画像を見せることで、作業者が取り出す物品２０を誤ること等のミスを防止できる。
＜第２の実施形態＞
次に、第２の実施形態について説明する。以下に記載する第２の実施形態の説明では、第１の実施形態と共通する事項について説明を省略し、第１の実施形態と異なる事項についての説明を行う。また、第１の実施形態と同じ要素については同じ符号を付しており、その詳細な説明は省略する。
第１の実施形態では、クライアント装置１００は、マーカ閾値との比較に格納場所マーカ１２を使用する。しかし、第２の実施形態では、クライアント装置１００は、マーカ閾値との比較に判定マーカを使用する。判定マーカは、過去に撮影された撮影画像に写された複数のマーカ３０に含まれ、直近に撮影された撮影画像に写されたマーカ３０である。判定マーカを決定する処理は、後に図７を参照して説明する。判定マーカとして、格納場所マーカ１２が使われることもある。
［マーカ解析処理］
まず、図６を参照して、第２の実施形態のマーカ解析処理について説明する。図６は、マーカ解析処理の一例を示すフローチャートである。図６のマーカ解析処理における図５のマーカ解析処理との相違点は、図５のＳ１０４からＳ１０６までの処理がＳ２００からＳ２０３までの処理に入れ替わっている点である。以下では、Ｓ２００からＳ２０３までの処理について説明する。
Ｓ２００において、ＣＰＵ１０１は、Ｓ１０３においてマーカ３０の読み取りに成功したか否かを判定する。マーカ３０の読み取りに成功したと判定した場合、ＣＰＵ１０１は、処理をＳ２０１に進め、マーカ３０を読み取れなかったと判定した場合、ＣＰＵ１０１は、処理をＳ１０１に戻す。
Ｓ２０１において、ＣＰＵ１０１は、図７に示す判定マーカ決定処理を実行する。判定マーカ決定処理の具体的な処理は、後に図７を参照して説明する。
Ｓ２０２において、ＣＰＵ１０１は、対象画像における判定マーカの大きさを取得する。より具体的には、ＣＰＵ１０１は、対象画像における判定マーカの大きさとして、対象画像における、判定マーカの対角線の長さを取得する。
Ｓ２０３において、ＣＰＵ１０１は、クライアント装置１００の記憶装置１０２からマーカ閾値を取得する。そして、ＣＰＵ１０１は、Ｓ２０２で取得した判定マーカの大きさがマーカ閾値以上か否かを判定する。判定マーカの大きさがマーカ閾値以上と判定した場合、ＣＰＵ１０１は、処理をＳ１０７に進め、判定マーカの大きさがマーカ閾値未満と判定した場合、ＣＰＵ１０１は、処理をＳ１１３に進める。
［判定マーカ決定処理］
次に、図７を参照して、判定マーカ決定処理について説明する。図７は、判定マーカ決定処理の一例を示すフローチャートである。
Ｓ３００において、ＣＰＵ１０１は、対象画像の判定マーカの候補となる候補マーカが存在するか否かを判定する。今回の判定マーカ決定処理が、図６のマーカ解析処理の開始後、初回の判定マーカ決定処理である場合、候補マーカは、Ｓ３０４で初めて決定されるため、ＣＰＵ１０１は、候補マーカが存在しないと判定する。候補マーカが存在すると判定した場合、ＣＰＵ１０１は、処理をＳ３０１に進め、候補マーカが存在しないと判定した場合、ＣＰＵ１０１は、処理をＳ３０３に進める。
Ｓ３０１において、ＣＰＵ１０１は、対象画像から読み取ったマーカ３０の少なくとも１個が、候補マーカの何れかと一致するか否かを判定する。マーカ３０が一致するとは、マーカ３０に記録された情報が等しいことを表す。例えば、２個のマーカ３０が共に格納場所マーカ１２であり、この２個のマーカ３０に記録された格納場所ＩＤが等しい場合、この２個のマーカ３０は一致する。
対象画像から読み取ったマーカ３０の少なくとも１個が、候補マーカの何れかと一致すると判定した場合、ＣＰＵ１０１は、処理をＳ３０２に進める。対象画像から読み取ったマーカ３０の全てが、候補マーカの何れとも一致しない場合、ＣＰＵ１０１は、処理をＳ３０３に進める。
Ｓ３０２において、ＣＰＵ１０１は、対象画像から読み取られたマーカ３０であって、比較画像の候補マーカと一致するマーカ３０を、対象画像の判定マーカと決定する。
Ｓ３０３において、ＣＰＵ１０１は、対象画像から読み取られたマーカ３０のそれぞれの大きさに基づいて、予め定められた数であるＮ（Ｎは１以上の整数）個のマーカ３０を、対象画像の判定マーカと決定する。より具体的には、ＣＰＵ１０１は、対象画像から読み取られたマーカ３０の中から、マーカ３０が大きい順に予め定められた数であるＮ（Ｎは１以上の整数）個のマーカ３０を、対象画像の判定マーカと決定する。Ｎの値は、クライアント装置１００の記憶装置１０２に設定されており、ＣＰＵ１０１は、予め記憶装置１０２からＮの値を取得する。Ｎの値として例えば「３」が使われる。
Ｓ３０４において、ＣＰＵ１０１は、Ｓ３０３で決定した対象画像の判定マーカを、新たな候補マーカと決定する。ここでＣＰＵ１０１が決定する候補マーカは、図７の判定マーカ決定処理が次に実行される際の候補マーカとして使われる。
ＣＰＵ１０１は、Ｓ３０２又はＳ３０４の処理の後、図７の処理を終了して、処理を図６のＳ２０２に進める。
［効果］
Ｓ３０３で説明した予め定められた数であるＮを「２」以上に設定した場合、Ｓ３０４において、クライアント装置１００は、候補マーカを複数個選択する。したがって、次回の判定マーカ決定処理のＳ３０１において、対象画像から読み取ったマーカの全てについて候補マーカと比較しなくても、対象画像から読み取ったマーカ３０の少なくとも１個が候補マーカの何れかと一致する、と判定できる可能性が高まる。よって、判定マーカ決定処理が高速化される。ただし、Ｎは「１」であってもよい。また、第２の実施形態でも第１の実施形態と同様に、煩雑な作業を回避し、通信量を低減できる。
＜第２の実施形態の変形例＞
第２の実施形態では、候補マーカは、図７のＳ３０４で決定される。しかし、候補マーカは、予め定められていてもよい。この場合、候補マーカは、クライアント装置１００の記憶装置１０２に記憶されており、ＣＰＵ１０１は、記憶装置１０２から候補マーカを読み取る。
＜その他の実施形態＞
上記の実施形態では、マーカ３０の大きさが、マーカ閾値未満からマーカ閾値以上に変化した場合、又は、マーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。しかし、マーカ３０の大きさが、マーカ閾値未満からマーカ閾値以上に変化した場合にのみ、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信してもよい。また、マーカ３０の大きさが、マーカ閾値以上からマーカ閾値未満に変化した場合にのみ、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信してもよい。これにより、クライアント装置１００とサーバ装置２００との通信量を低減できる。
このように、何れの実施形態においても、撮影画像に写されたマーカ３０の大きさがマーカ閾値を跨ぐように変化したと判定された場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。この判定についてより具体的に説明すると、ある実施形態では、マーカ３０の大きさが、マーカ閾値未満からマーカ閾値以上に変化した場合、又は、マーカ閾値以上からマーカ閾値未満に変化した場合に、クライアント装置１００は、撮影画像に写されたマーカ３０の大きさがマーカ閾値を跨ぐように変化したと判定する。他の実施形態では、マーカ３０の大きさが、マーカ閾値未満からマーカ閾値以上に変化した場合にのみ、クライアント装置１００は、撮影画像に写されたマーカ３０の大きさがマーカ閾値を跨ぐように変化したと判定する。他の実施形態では、マーカ３０の大きさが、マーカ閾値以上からマーカ閾値未満に変化した場合にのみ、クライアント装置１００は、撮影画像に写されたマーカ３０の大きさがマーカ閾値を跨ぐように変化したと判定する。
また、上記の実施形態では、クライアント装置１００は、１種類のマーカ３０のみを読み取る。しかし、クライアント装置１００は、複数の種類のマーカ３０を読み取ってもよい。このとき、図５、及び、図６の処理において、対象画像から読み取ったマーカ３０の種類が複数ある場合、ＣＰＵ１０１は、予め定められた優先度情報に基づいて定まる種類のマーカ３０を、マーカ閾値と比較してもよい。
優先度情報は、マーカ３０の種類ごとに優先度を定めた情報である。優先度情報では、最大認識距離が大きいマーカ３０の種類ほど、優先度が高くなるように、優先度が定められている。最大認識距離は、クライアント装置１００の撮影に関する設定を予め定めた状態に設定にして実際のマーカ３０を撮影した撮影画像であって、クライアント装置１００が撮影画像からマーカ３０を読み取ることができるという条件を満たす撮影画像の撮影距離の最大値である。この撮影距離は、クライアント装置１００から被写体である棚１０等に付された実際のマーカ３０までの撮影時の距離である。優先度情報は、クライアント装置１００の記憶装置１０２に記憶されており、ＣＰＵ１０１は、予め記憶装置１０２から優先度情報を取得する。
これにより、クライアント装置１００は、高精度に読み取ることができるマーカ３０を使って、マーカ閾値と比較する。マーカ閾値との比較で誤判定が生じるおそれが低減する。
また、上記の実施形態では、マーカ３０の大きさとして、撮影画像におけるマーカ３０の対角線の長さが使われる。しかし、マーカ３０の大きさは、対角線の長さ以外であってもよい。例えば、マーカ３０の大きさは、撮影画像におけるマーカ３０の面積であってもよい。また、マーカ３０の大きさは、撮影画像におけるマーカ３０の大きさの割合で表してもよい。より具体的には、マーカ３０の大きさを、「（撮影画像におけるマーカ３０の対角線の長さ）／（撮影画像の長辺の長さ）」、又は、「（撮影画像におけるマーカ３０の面積）／（撮影画像の面積）」等で表してもよい。
また、上記の実施形態では、クライアント装置１００が、物品格納情報、及び、画像対応情報を作成した。しかし、クライアント装置１００は、対象画像におけるマーカ３０の座標やマーカ３０に記録された情報等の情報をサーバ装置２００に送信してもよい。この場合、サーバ装置２００は、クライアント装置１００から受信した情報に基づいて、物品格納情報、及び、画像対応情報を作成し、物品格納情報、及び、画像対応情報に基づいて、物品管理ＤＢ２１０、及び、画像管理ＤＢ２２０を更新してもよい。
また、上記の実施形態では、クライアント装置１００は、イメージセンサ１０４を備えた撮影装置である。しかし、物品管理システム１は、クライアント装置１００とは別に、撮影装置を有していてもよい。この場合、撮影装置は、クライアント装置１００と共に、フォークリフト３００に設けられている。そして、Ｓ１０２において、クライアント装置１００は、撮影装置から撮影装置が撮影した撮影画像を受信する。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されず、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上記の実施形態を任意に組み合わせて実施してもよい。
上述した実施形態によれば、煩雑な作業を回避し、通信量を低減できる。
１ 物品管理システム
１０ 棚
１１ 格納スペース
１２ 格納場所マーカ
２０ 物品
２１ 物品マーカ
３０ マーカ
１００ クライアント装置
１０１ ＣＰＵ
２００ サーバ装置
２０１ ＣＰＵ
３００ フォークリフト

Claims (10)

  1. 移動体に設けられたクライアント装置と、サーバ装置と、を含む情報処理システムであって、
    前記クライアント装置は、
    継続的に撮影するよう、前記移動体に設けられた撮影手段を制御する撮影制御手段と、
    前記撮影手段によって撮影された撮影画像に写された物品に対応付けられた物品マーカと格納場所に対応付けられた格納場所マーカのうち、格納場所マーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された前記物品マーカ及び前記格納場所マーカに関する情報を前記サーバ装置に送信する第１の送信手段と、
    を有し、
    前記サーバ装置は、
    前記第１の送信手段によって送信された物品マーカ及び格納場所マーカに関する情報を記憶手段に記憶させるよう制御する第１の記憶制御手段と、
    を有する情報処理システム。
  2. 前記クライアント装置は、
    前記撮影画像に写された前記格納場所マーカの大きさが前記閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された前記物品マーカと前記格納場所マーカとに基づいて、前記物品マーカ及び前記格納場所マーカに関する情報として、物品と物品が格納された格納場所との組み合わせを表す物品格納情報を作成する作成手段を更に有し、
    前記第１の送信手段は、前記撮影画像に写された前記格納場所マーカの大きさが前記閾値を跨ぐように変化したと判定された場合、前記作成手段によって作成された前記物品格納情報を前記サーバ装置に送信し、
    前記第１の記憶制御手段は、前記第１の送信手段によって送信された前記物品格納情報を前記記憶手段に記憶させるよう制御する請求項１記載の情報処理システム。
  3. 前記クライアント装置は、
    前記撮影画像に写された前記格納場所マーカの大きさが前記閾値を跨ぐように変化したと判定された場合、前記撮影画像を前記サーバ装置に送信する第２の送信手段を更に有し、
    前記サーバ装置は、
    前記第２の送信手段によって送信された前記撮影画像を前記記憶手段に記憶させるよう制御する第２の記憶制御手段を更に有する請求項１又は２記載の情報処理システム。
  4. 前記クライアント装置は、
    前記撮影手段によって撮影された前記撮影画像に写された前記格納場所マーカの大きさが前記閾値未満から前記閾値以上に変化した場合、又は、前記撮影画像に写された前記格納場所マーカの大きさが前記閾値以上から前記閾値未満に変化した場合、前記撮影画像に写された前記格納場所マーカの大きさが前記閾値を跨ぐように変化したと判定する判定手段を更に有し、
    前記第１の送信手段は、前記判定手段によって前記撮影画像に写された前記格納場所マーカの大きさが前記閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された前記物品マーカ及び前記格納場所マーカに関する情報を前記サーバ装置に送信する請求項１乃至３何れか１項記載の情報処理システム。
  5. 前記撮影手段によって過去に撮影された撮影画像に写された複数のマーカに含まれる格納場所マーカであって、かつ、前記撮影手段によって直近に撮影された撮影画像に写された格納場所マーカと一致する格納場所マーカである判定マーカの大きさが前記閾値未満から前記閾値以上に変化した場合、及び、前記判定マーカの大きさが前記閾値以上から前記閾値未満に変化した場合の少なくとも何れかの場合、前記判定手段は、前記撮影画像に写された前記格納場所マーカの大きさが前記閾値を跨ぐように変化したと判定する請求項４記載の情報処理システム。
  6. 前記移動体は、フォークリフトである請求項１乃至５何れか１項記載の情報処理システム。
  7. 継続的に撮影するよう、移動体に設けられた撮影手段を制御する撮影制御手段と、
    撮影手段によって撮影された撮影画像に写された物品に対応付けられた物品マーカと格納場所に対応付けられた格納場所マーカのうち、格納場所マーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された前記物品マーカ及び前記格納場所マーカに関する情報を送信する送信手段と、
    を有するクライアント装置。
  8. 移動体に設けられたクライアント装置と、サーバ装置と、を含む情報処理システムにおける情報処理方法であって、
    前記クライアント装置が、継続的に撮影するよう、前記移動体に設けられた撮影手段を制御する撮影制御ステップと、
    前記クライアント装置が、前記撮影手段によって撮影された撮影画像に写された物品に対応付けられた物品マーカと格納場所に対応付けられた格納場所マーカのうち、格納場所マーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された前記物品マーカ及び前記格納場所マーカに関する情報を前記サーバ装置に送信する送信ステップと、
    前記サーバ装置が、前記送信ステップによって送信された物品マーカ及び格納場所マーカに関する情報を記憶手段に記憶させるよう制御する記憶制御ステップと、
    を含む情報処理方法。
  9. コンピュータを、
    継続的に撮影するよう、移動体に設けられた撮影手段を制御する撮影制御手段、及び、
    前記撮影手段によって撮影された撮影画像に写された物品に対応付けられた物品マーカと格納場所に対応付けられた格納場所マーカのうち、格納場所マーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された前記物品マーカ及び前記格納場所マーカに関する情報を送信する送信手段、
    として機能させるためのプログラム。
  10. コンピュータを、
    継続的に撮影するよう、移動体に設けられた撮影手段を制御する撮影制御手段、及び、
    前記撮影手段によって撮影された撮影画像に写された物品に対応付けられた物品マーカと格納場所に対応付けられた格納場所マーカのうち、格納場所マーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された前記物品マーカ及び前記格納場所マーカに関する情報を送信する送信手段、
    として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2018170387A 2018-09-12 2018-09-12 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体 Active JP7022671B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018170387A JP7022671B2 (ja) 2018-09-12 2018-09-12 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体
CN201980057206.9A CN112638818B (zh) 2018-09-12 2019-09-11 信息处理系统、客户端装置、信息处理方法、以及储存介质
PCT/JP2019/035610 WO2020054744A1 (ja) 2018-09-12 2019-09-11 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体
US17/269,474 US11483524B2 (en) 2018-09-12 2019-09-11 Information processing system, client device, information processing method, program, and storage medium
CA3110037A CA3110037C (en) 2018-09-12 2019-09-11 Information processing system and method
MX2021002811A MX2021002811A (es) 2018-09-12 2019-09-11 Sistema de procesamiento de informacion, dispositivo cliente, metodo de procesamiento de informacion, programa, y medio de almacenamiento.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018170387A JP7022671B2 (ja) 2018-09-12 2018-09-12 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体

Publications (2)

Publication Number Publication Date
JP2020042613A JP2020042613A (ja) 2020-03-19
JP7022671B2 true JP7022671B2 (ja) 2022-02-18

Family

ID=69778353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018170387A Active JP7022671B2 (ja) 2018-09-12 2018-09-12 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体

Country Status (6)

Country Link
US (1) US11483524B2 (ja)
JP (1) JP7022671B2 (ja)
CN (1) CN112638818B (ja)
CA (1) CA3110037C (ja)
MX (1) MX2021002811A (ja)
WO (1) WO2020054744A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240038B1 (ja) * 2022-01-27 2023-03-15 ユーピーアール株式会社 荷物位置管理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004210431A (ja) 2002-12-27 2004-07-29 Nippon Yusoki Co Ltd フォークリフト
JP2005070725A (ja) 2003-08-07 2005-03-17 Tetsuo Tanaka キャンペーン用ラベル、該ラベルを読み取るためのプログラムおよびキャンペーン開催方法
JP2009120380A (ja) 2007-11-19 2009-06-04 Nippon Express Co Ltd 保管荷物のロケーション管理システム
JP2010145199A (ja) 2008-12-18 2010-07-01 Seiko Epson Corp バーコードを利用した認識方法および認識システム、ならびに、バーコードを利用した制御方法および制御システム
JP2015084139A (ja) 2013-10-25 2015-04-30 ユーピーアール株式会社 パレット管理システム、パレット管理装置およびフォークリフト
JP2018002331A (ja) 2016-06-28 2018-01-11 新日鉄住金ソリューションズ株式会社 システム、情報処理装置、情報処理方法、及び、プログラム
JP2018127298A (ja) 2017-02-07 2018-08-16 ユーピーアール株式会社 物品位置管理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739580B2 (ja) 2001-06-28 2011-08-03 株式会社日清製粉グループ本社 入出庫管理システム
JP4205036B2 (ja) 2004-10-04 2009-01-07 日本電信電話株式会社 物品管理システム、方法及びプログラム
US8934667B2 (en) * 2011-06-20 2015-01-13 Sony Corporation System and method for confidence-based marker adjustment
JP5435067B2 (ja) * 2012-04-25 2014-03-05 カシオ計算機株式会社 通信システム、情報端末、通信方法及びプログラム
JP2017157032A (ja) * 2016-03-02 2017-09-07 東芝テック株式会社 欠品検出装置及び欠品検出システム
US10685197B2 (en) * 2017-11-17 2020-06-16 Divine Logic, Inc. Systems and methods for tracking items
US10242273B1 (en) * 2018-05-30 2019-03-26 Lineage Logistics, LLC Tracking vehicles in a warehouse environment
JP2020033173A (ja) * 2018-08-31 2020-03-05 富士通株式会社 管理システム、位置算出プログラム、位置算出方法及び管理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004210431A (ja) 2002-12-27 2004-07-29 Nippon Yusoki Co Ltd フォークリフト
JP2005070725A (ja) 2003-08-07 2005-03-17 Tetsuo Tanaka キャンペーン用ラベル、該ラベルを読み取るためのプログラムおよびキャンペーン開催方法
JP2009120380A (ja) 2007-11-19 2009-06-04 Nippon Express Co Ltd 保管荷物のロケーション管理システム
JP2010145199A (ja) 2008-12-18 2010-07-01 Seiko Epson Corp バーコードを利用した認識方法および認識システム、ならびに、バーコードを利用した制御方法および制御システム
JP2015084139A (ja) 2013-10-25 2015-04-30 ユーピーアール株式会社 パレット管理システム、パレット管理装置およびフォークリフト
JP2018002331A (ja) 2016-06-28 2018-01-11 新日鉄住金ソリューションズ株式会社 システム、情報処理装置、情報処理方法、及び、プログラム
JP2018127298A (ja) 2017-02-07 2018-08-16 ユーピーアール株式会社 物品位置管理システム

Also Published As

Publication number Publication date
US11483524B2 (en) 2022-10-25
MX2021002811A (es) 2021-05-12
CA3110037A1 (en) 2020-03-19
US20210314534A1 (en) 2021-10-07
CN112638818A (zh) 2021-04-09
WO2020054744A1 (ja) 2020-03-19
JP2020042613A (ja) 2020-03-19
CN112638818B (zh) 2023-02-03
CA3110037C (en) 2023-08-01

Similar Documents

Publication Publication Date Title
WO2018003710A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び、プログラム
JP6262809B2 (ja) システム、情報処理装置、情報処理方法、及び、プログラム
JP6619634B2 (ja) 画像処理装置及び画像処理方法
JP6386311B2 (ja) 携帯情報端末、情報処理方法、及びプログラム
JP6562716B2 (ja) 情報処理装置、情報処理方法、プログラム、及びフォークリフト
AU2021204071A1 (en) Operation information transmission device, construction management system, operation information transmission method, and program
JP7102103B2 (ja) 携帯型の情報処理装置及び当該情報処理装置を用いた方法及びプログラム
JP7022671B2 (ja) 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体
JP2017157032A (ja) 欠品検出装置及び欠品検出システム
CN110520372B (zh) 物品管理支援装置、物品管理支援系统及物品管理支援方法
CN112605993B (zh) 基于双目视觉引导的自动抓取档案机器人控制系统及方法
WO2019207801A1 (ja) 物品管理システム、入庫端末および物品管理方法
JP7029728B2 (ja) 搬送システム、搬送装置、計算機、学習方法
CN109454004B (zh) 机器人扫描分拣系统及方法
JP2013203481A (ja) 物品管理システムおよび物品管理方法
CN111444360A (zh) 一种物品管理、定位、分享及实时展示的仓储系统及方法
US6693650B2 (en) Image processing computer system for a photogrammetric analytical measurement
JP2006215718A (ja) 情報処理端末
JPWO2017033254A1 (ja) 移動ロボット運用システム、移動ロボット、及び対象物取り出し方法
JP6008399B2 (ja) 管理システム、管理装置、管理方法、及びプログラム
JP2017215821A (ja) 管理システム、管理方法および搬送システム
JP2007194859A (ja) 画像データ記録方法及び画像データ記録装置
JP6853031B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP2019083522A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP4958803B2 (ja) 情報処理装置、その制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220207

R150 Certificate of patent or registration of utility model

Ref document number: 7022671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150