JP6846467B2 - システム、情報処理装置、情報処理方法、プログラム及び記録媒体 - Google Patents

システム、情報処理装置、情報処理方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP6846467B2
JP6846467B2 JP2019125198A JP2019125198A JP6846467B2 JP 6846467 B2 JP6846467 B2 JP 6846467B2 JP 2019125198 A JP2019125198 A JP 2019125198A JP 2019125198 A JP2019125198 A JP 2019125198A JP 6846467 B2 JP6846467 B2 JP 6846467B2
Authority
JP
Japan
Prior art keywords
article
information
identification information
position information
worker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019125198A
Other languages
English (en)
Other versions
JP2019163172A (ja
Inventor
詠一 吉田
詠一 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Publication of JP2019163172A publication Critical patent/JP2019163172A/ja
Application granted granted Critical
Publication of JP6846467B2 publication Critical patent/JP6846467B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、システム、情報処理装置、情報処理方法、プログラム及び記録媒体に関する。
スマートグラス等の情報処理装置を用いたピッキング支援のためのシステムがある。(特許文献1)
特開2014−43353号公報
近年、ピッキングの支援のための画像を現実の風景に重畳させて表示するような機能を有するスマートグラス等のARメガネを用いたシステムが提案されている。このようなシステムは、ピッキング対象の位置情報を作業者に提示することができる。しかし、日々入庫や出庫が繰り返し行われていく物流倉庫等においては、物品が載置されている場所が時々刻々と入れ替わっていく。即ち、物品の位置情報が誤ったまま登録されている場合がある。このような状態では、システムは、作業者に対して、正しい位置情報を提示できない。
また、位置情報としては、どの棚に存在しているかという情報のみが登録されていることが多く、その棚における上段、中段、下段や左列、中央列、右列の何れにあるかを作業者に対して指示できないため、作業者は物品の探索に時間を要し、効率的なピッキングができない。
そこで、本発明のシステムは、撮像装置により撮影された物品の識別情報が、ピッキング指示に基づいた第1の倉庫作業においてピッキング指示対象とは異なる物品の識別情報として識別された際に、当該物品の識別情報と共に撮影された、前記物品の載置部に貼付されている位置マーカが示す位置に基づいて、前記第1の倉庫作業の後に行われる第2の倉庫作業において用いられる前記物品の位置情報を取得する取得手段と、前記取得手段により取得された前記位置情報と、前記物品の識別情報とを対応付けて記憶部に登録する登録手段と、を有する。
本発明によれば、倉庫での作業において、後の作業の際に利用するために物品の位置情報を取得し、登録することができる。
図1は、情報処理システムのシステム構成の一例を示す図である。 図2は、スマートグラスのハードウェア構成等の一例を示す図である。 図3は、サーバ装置のハードウェア構成の一例を示す図である。 図4は、情報処理システムの処理の一例の概要を説明する図である。 図5は、ピッキングの際の状況の一例を示す図である。 図6は、情報処理システムの処理の一例を示すシーケンス図である。 図7は、ピッキング指示画面の一例を示す図である。 図8は、撮影されたロケーションマーカの一例を示す図である。 図9は、撮影の際の作業者の状況の一例を示す図である。 図10は、対応表の一例を示す図である。 図11は、撮影されたロケーションマーカの画像の一例を示す図である。 図12は、身長の推定方法の一例を説明する図である。 図13は、位置情報提示画面の一例を示す図である。 図14は、スマートグラスの処理の一例を示すフローチャートである。 図15は、物品の移動の一例を説明する図である。 図16は、物品の移動の一例を説明する図である。 図17は、位置情報提示画面の一例を示す図である。 図18は、位置情報提示画面の一例を示す図である。 図19は、位置情報提示画面の一例を示す図である。 図20は、ピッキングの際の状況の一例を示す図である。 図21は、ピッキングの際の状況の一例を示す図である。
<実施形態1>
以下、本発明の実施形態について図面に基づいて説明する。
(システム構成)
図1は、情報処理システムのシステム構成の一例を示す図である。
情報処理システムは、ユーザである作業者の倉庫作業を支援するシステムであり、単一の又は複数のスマートグラス100、サーバ装置130を含む。倉庫作業とは、物品のピッキング作業や、物品の入庫作業、棚卸作業、物品の配置替えによる整理整頓作業等の倉庫における作業である。倉庫とは、物品の保管に利用される施設である。物品の保管には、例えば、注文を受付け発送されるまでの商品の保管等の物品の一時的な保管や、工場等で生産される製品の中間加工品の一時的な保管や、資源の貯蓄や保存等の物品の長期的な保管等がある。スマートグラス100、サーバ装置130は、ネットワークを介して、無線通信が可能なように接続されている。
スマートグラス100は、実際に物品のピッキングを行う作業者が携行するメガネ型の情報処理装置であり、カメラ110、マイク120と接続される。本実施形態では、スマートグラス100は、物品のピッキングを行う作業者に装着されている。
サーバ装置130は、スマートグラス100にピッキングの指示を出す情報処理装置である。サーバ装置130は、例えば、パーソナルコンピュータ(PC)、タブレット装置、サーバ装置等で構成される。
(ハードウェア構成)
図2は、スマートグラス100のハードウェア構成等の一例を示す図である。スマートグラス100は、CPU10等のプロセッサ、メモリ11、カメラI/F12、マイクI/F13、ディスプレイ14、通信I/F15を含む。各構成は、バス等を介して接続されている。但し、各構成の一部、又は全ては、有線、又は無線を介して通信可能に接続された別々の装置で構成されていてもよい。また、スマートグラス100は、カメラ110、マイク120と一体となるよう接続されている。そのため、スマートグラス100がなす仰俯角、方位角は、カメラ110がなす仰俯角、方位角と一致することになる。
CPU10は、スマートグラス100の全体を制御する。CPU10がメモリ11に記憶されているプログラムに基づき処理を実行することにより、スマートグラス100の機能、後述する図6のシーケンス図の処理におけるスマートグラス100の処理、図14のフローチャートの処理等が実現される。メモリ11は、プログラム、CPU10がプログラムに基づき処理を実行する際に使用するデータ等を記憶する。メモリ11は、記録媒体の一例である。プログラムは、例えば、非一時的記録媒体に記憶され、入出力I/Fを介してメモリ11に読み込まれてもよい。カメラI/F12は、スマートグラス100とカメラ110とを接続するためのインターフェースである。マイクI/F13は、スマートグラス100とマイク120とを接続するためのインターフェースである。ディスプレイ14は、AR(Augmented Reality)を実現するためのディスプレイ等で構成されるスマートグラス100の表示部である。通信I/F15は、有線、無線を介して他の装置、例えばサーバ装置130等と通信するためのインターフェースである。
カメラ110は、スマートグラス100からの要求に基づき物品に付されている2次元コード、バーコード、カラービット等のオブジェクトを撮影する。カメラ110は、作業者が携行する撮像装置の一例である。マイク120は、作業者の音声を音声データとしてスマートグラス100に入力したり、スマートグラス100からの要求に応じて音声を出力したりする。
図3は、サーバ装置130のハードウェア構成の一例を示す図である。サーバ装置130は、CPU30等のプロセッサ、メモリ31、通信I/F32を含む。各構成は、バス等を介して接続されている。
CPU30は、サーバ装置130の全体を制御する。CPU30がメモリ31に記憶されているプログラムに基づき処理を実行することにより、サーバ装置130の機能、後述する図6のシーケンス図の処理におけるサーバ装置130の処理等が実現される。メモリ31は、プログラム、CPU30がプログラムに基づき処理を実行する際に使用するデータ等を記憶するサーバ装置130の記憶部である。メモリ31は、記録媒体の一例である。プログラムは、例えば、非一時的記録媒体に記憶され、入出力I/Fを介してメモリ31に読み込まれてもよい。通信I/F32は、有線、無線を介して他の装置、例えばスマートグラス100等と通信するためのインターフェースである。
(本実施形態の処理の概要)
図4は、情報処理システムの処理の一例の概要を説明する図である。図4を用いて、本実施形態の情報処理システムの処理の概要を説明する。
図4の状況は、スマートグラス100を装着し、物品Cのピッキングが指示された作業者が、物品Cを探索している状況である。作業者は、物品Cを見つけようとして、物品C以外の他の物品を意図せずに視界にいれる場合がある。その際に、カメラ110は、作業者が視界に入れた他の物品を撮影することになる。スマートグラス100は、カメラ110により撮影された他の物品に貼付されたマーカを認識することで、どの物品が撮影されたかを把握できる。図4の枠は、カメラ110が撮影した範囲を示す枠であり、物品Aが撮影されたことが分かる。
即ち、スマートグラス100を装着した作業者がピッキングを行う場合、情報処理システムは、ピッキング対象の物品以外にも様々な物品を撮影することがある。情報処理システムは、作業者がピッキング中に視認した物品の位置情報を取得し、取得したその物品の位置情報をメモリ31等に登録する。そして、情報処理システムは、その作業者の後で、位置情報が登録された物品をピッキングしにくる後の作業者に対して、その物品の位置情報を提示することで、後の作業者を支援する。
このように、情報処理システムは、作業者が携行するカメラ110により撮影された物品の位置情報を取得し、登録することで、その物品をピッキングしにくる後の作業者への支援を可能とすることができる。
(ピッキングの際の状況)
図5は、本実施形態におけるピッキングの際の状況の一例を示す図である。
図5の状況は、スマートグラス100を装着した作業者が棚500に格納されている物品Cを、ピッキングしようとしている状況である。棚500には、作業者の身長よりも高い設定された位置にロケーションマーカ501が貼付されている。また、棚500には、物品A、物品B、物品Cが載置されている。また、物品A、物品B、物品Cには、それぞれ、マーカ502、503、504が貼付されている。棚500は、物品が載置されている載置部の一例である。
ロケーションマーカ501は、棚の位置情報を示す2次元コード、バーコード、カラーコード等のマーカである。本実施形態では、ロケーションマーカ501は、2次元コードであり、矩形のマーカであるとする。マーカ502、503、504は、それぞれ、貼付されている物品の情報を示すマーカである。
以下では、図5が示す状況における本実施形態の情報処理システムの処理を説明する。
(物品の位置情報の取得・登録処理)
図6は、情報処理システムの処理の一例を示すシーケンス図である。図6を用いて、物品の位置情報の取得・登録処理を説明する。
CS601において、CPU30は、ピッキング対象の物品である物品Cのピッキング指示をスマートグラス100に送信する。CPU30は、送信するピッキング指示に、ピッキング対象である物品Cが格納されている棚500の位置情報、物品Cの物品コード、名称の情報、ピッキングする物品Cの数の情報等を含ませる。物品コードは、物品の識別情報の一例である。
CPU10は、ピッキング指示を受信したら、例えば、受信したピッキング指示に含まれる情報に基づいて、ピッキングを指示するピッキング指示画面を、現実の風景と重畳してディスプレイ14に表示する。
図7は、CPU10がピッキング指示を受信した場合にディスプレイ14に表示するピッキング指示画面の一例である。図7のピッキング指示画面には、ピッキングを指示するメッセージ、ピッキング対象の物品が格納される棚の位置(ロケーション)、ピッキング対象の物品の物品コード、ピッキング対象の物品の物品名、ピッキングする個数の表示が含まれる。スマートグラス100を装着する作業者は、この画面を現実の景色と重畳して視認することで、自分がどこに格納されている何を幾つピッキングするのかを把握できる。
作業者は、図7のようなピッキング指示画面に表示されたロケーションの情報を参考に、そのロケーションが示す棚500の位置に移動する。作業者は、棚500の前に着いたら棚に貼付されているロケーションマーカ501を(例えば、真正面から見るようにする等の予め定められたルールに従って)見る。倉庫における棚のレイアウトに応じて、作業者は、概ね棚の前方約1〜1.5mからピッキング対象の物品を探索する。本実施形態では、作業者は、棚の前方1mに位置しているとするが、実際のレイアウトに応じて、例えば棚の前方1.5mに位置しているとしてもよい。
それにより、CS602において、CPU10は、カメラ110を介して、ロケーションマーカ501を撮影する。CPU10は、その際に、ロケーションマーカ501が示すロケーションと、CS601で送信されたピッキング指示に含まれるロケーションと、が一致するか否かを判定し、一致すると正しい棚に到着したことを示す情報をディスプレイ14に表示する。例えば、CPU10は、ロケーションマーカ501と重畳するよう青色のハイライト表示を表示することで、作業者に正しい棚に到着したことを通知する。逆にCS601で送信されたピッキング指示に含まれるロケーションと、が一致しない場合、CPU10は、ロケーションマーカ501と重畳するよう赤色のハイライト表示を表示することで、作業者に棚が誤っていることを通知する。
CS603において、CPU10は、CS602でカメラ110を介して撮影したロケーションマーカ501の画像と、撮影の際のスマートグラス100の仰俯角と、に基づいて、作業者の身長を推定する。CS603の処理の詳細を説明する。本実施形態では、ロケーションマーカ501が作業者の身長よりも高い位置に存在するため、撮影の際のスマートグラス100は、上向きとなり仰角をなす。しかし、ロケーションマーカ501が作業者の身長未満の高さの位置に存在する場合、撮影の際のスマートグラス100は、下向きとなり俯角をなすことになる。
棚500の貼付されているロケーションマーカ501は、作業者の身長よりも高い位置に存在する。そのため、ロケーションマーカ501を下から見た場合、図8のように台形状となり、CS602で撮影される画像中のロケーションマーカ501も台形状となる。CPU10は、CS602で撮影された画像中のロケーションマーカ501の底辺の長さ(ピクセル単位)を取得する。
また、CPU10は、CS602でのロケーションマーカ501の撮影の際に、スマートグラス100の加速度センサ、重力センサ、ジャイロセンサ等のセンサから出力された情報に基づいて、ロケーションマーカ501の撮影の際のスマートグラス100の仰俯角θを取得する。図9は、ロケーションマーカ501の撮影の際のスマートグラス100を装着した作業者の状況の一例を示す図である。
前方を仰俯角θで見上げてカメラ110で撮影した際に、設定された高さに貼付されている設定された大きさのロケーションマーカ501の底辺がどの程度の長さで撮影されたかが分かれば、作業者の身長の推定が可能となる。例えば、CPU10は、CS602で撮影された画像中のロケーションマーカ501の底辺の長さ(ピクセル単位)と、ロケーションマーカ501の大きさと、から、作業者の身長を推定する。
作業者の身長を推定する構成について、より詳細に説明すれば以下のとおりである。画像中のロケーションマーカ501の底辺の長さ、及び撮影の際のスマートグラス100の仰俯角と作業者の身長とは、相関関係がある。例えば、作業者の身長よりも高いところに貼付されているロケーションマーカ501について、ある人がロケーションマーカ501を見上げるときは、その人よりも身長の低い人が見上げる場合に比べて仰俯角は小さくなる。また、同じくらいの身長の人がロケーションマーカ501を見上げる場合、仰俯角が小さいほうがロケーションマーカ501の底辺の長さ(ピクセル単位)は小さくなる。
また、本実施形態では、情報処理システムは、作業者が携行する情報処理装置として、スマートグラス100を利用する構成を例に説明している。しかし、情報処理システムは、作業者が携行する情報処理装置として、他のスマートデバイス(スマートフォンやタブレット等)を用いてもよい。その場合、作業者は、スマートデバイスを携行し、撮影の際に、スマートグラス100と同様の位置に携行するスマートデバイスを構えることになる。そのため、スマートデバイスは、スマートグラス100と同様にして作業者の身長を推定することができる。また、身長を推定する際に限らず、後述するスマートグラス100を用いる各種の処理等も含め、他のスマートデバイス(スマートフォンやタブレット等)が実行することとしてもよい。
そこで、本実施形態では、CPU10は、以下のようにして推定することとする。本実施形態では、メモリ31は、予め、画像中のロケーションマーカ501の底辺の長さ、及び撮影の際のスマートグラス100の仰俯角と作業者の身長との対応情報を記憶していることとする。図10は、画像中のロケーションマーカ501の底辺の長さ、及び撮影の際のスマートグラス100の仰俯角と作業者の身長との対応情報の一例を示す図である。
なお、CPU10は、作業者の身長を、ロケーションマーカ501の貼付されている高さ情報に基づき、例えば以下のようにして推定してもよい。即ち、CPU10は、カメラ110とロケーションマーカ501との水平方向の距離(カメラ110とロケーションマーカ501が貼付された棚との水平方向の距離すなわち上述した1〜1.5mの距離)と仰俯角θとから、作業者の頭頂部とロケーションマーカ501との高さの差を決定できる。したがって、CPU10は、ロケーションマーカ501の高さから、決定した作業者の頭頂部とロケーションマーカ501との高さの差をひくことで、作業者の身長を推定できる。CPU10は、メモリ11に予め記憶されたロケーションマーカ501の高さの情報から、ロケーションマーカ501の高さを把握できる。
また、カメラの設定を変更することなく、被写体を撮影した場合、被写体とカメラとの距離が大きい程、被写体は小さく映り、被写体とカメラとの距離が小さい程、被写体は大きく映る。即ち、画像中の被写体の大きさと、被写体のカメラとの距離と、の間には、相関がある。そのため、被写体の大きさが既知である場合、カメラにより撮影された画像中のその被写体の大きさからカメラと被写体との直接的な距離を推定できる。そこで、CPU10は、以下のようにして作業者の身長を推定することとしてもよい。即ち、CPU10は、CS602で取得した画像中のロケーションマーカ501の底辺の大きさと、ロケーションマーカ501の大きさの情報と、から、ロケーションマーカ501とカメラ110との直接的な距離を推定する。CPU10は、推定したロケーションマーカ501とカメラ110との直接的な距離と、ロケーションマーカ501の撮影の際のスマートグラス100の仰俯角θと、から作業者の頭頂部とロケーションマーカ501との高さの差を決定する。そして、CPU10は、ロケーションマーカ501の高さから、決定した作業者の頭頂部とロケーションマーカ501との高さの差をひくことで、作業者の身長を推定することとしてもよい。このような処理により、CPU10は、例え、作業者と棚との水平方向の距離が不明である場合でも、作業者の身長を推定できる。
また、CPU10は、正確に作業者の身長を特定する必要はない。CPU10は、物品の位置情報としては、物品のおおよその高さ(例えば、棚の何段目に載置されているか等)を取得できればよく、そのために十分な精度で作業者の身長を推定すればよい。
また、本実施形態では、情報処理システムは、作業者の身長を推定し、推定した作業者の身長から撮影された物品の高さ方向の位置情報を取得することとした。しかし、例えば、作業者がサーバ装置130の操作部を介して作業前に身長を入力してメモリ31に登録する、又は、事前にメモリ31に登録されている作業者を管理するマスタ情報に身長情報が登録されている等の場合、情報処理システムは、作業者の身長を推定せず、予め、登録されている作業者の身長に基づいて、物品の高さ方向の位置情報を計算することとしてもよい。
そして、CPU10は、取得したCS602で撮影された画像中のロケーションマーカ501の底辺の長さと、CS602での撮影の際のスマートグラス100の仰俯角θと、メモリ31に記憶されている対応情報と、に基づいて、以下の処理を行う。即ち、CPU10は、メモリ31に記憶されている対応情報から、CS602で撮影された画像中のロケーションマーカ501の底辺の長さ、及びCS602での撮影の際のスマートグラス100の仰俯角θに対応する身長を取得する。そして、CPU10は、取得した身長を、作業者の身長として推定する。CPU10は、以上のような処理で、作業者の身長を推定することで、計算して推定する場合に比べて、計算処理の負担を軽減することができる。
なお、CPU10は、作業者の身長の推定に利用される対応情報として、ロケーションマーカの底辺の長さ及び仰俯角θと、作業者の身長と、の対応を示す情報を用いることとした。しかし、CPU10は、例えば、ロケーションマーカの底辺の画角比及び仰俯角と、作業者の身長と、の対応を示す情報を用いてもよい。ここで、画角比とは、画角ピクセル(画像の横幅の大きさを示すピクセル数)に対する画像中のロケーションマーカ501の底辺の大きさを示すピクセル数の比である。
図11は、画角比について説明する図である。図11の画像は、カメラ110により撮影されたロケーションマーカ501の画像の一例である。図11の画像中の下の方の両矢印は、カメラ110により撮影された画像の横方向の端から端までの長さ(ピクセル数)を示す。また、図11の画像中の上の方の両矢印は、カメラ110により撮影された画像において、ロケーションマーカ501の底辺の長さ(ピクセル数)を示す。図11の例では、ロケーションマーカ501の底辺の画角比は、図11の画像中の下の方の両矢印の長さに対する上の方の両矢印の長さの比であり、例えば、(上の方の両矢印の長さ)÷(下の方の両矢印の長さ)を計算することで求めることができる。
また、作業者の身長の推定に利用される対応情報は、必ずしもテーブル形式のデータである必要はない。例えば、同じ身長の作業者について、画角比と仰俯角とが線形関係にあると想定した場合、画角比と仰俯角との線形関係が1次式で表わされる。そこで、例えば、事前に実験等が行われ、作業者の身長毎に、画角比と仰俯角との線形関係を示す1次式を割り出されているとする。メモリ31は、作業者の身長の推定に利用される対応情報として、作業者の身長毎に割り出された、画角比と仰俯角との線形関係を示す1次式を記憶することとしてもよい。メモリ31は、例えば、作業者の身長の推定に利用される対応情報として、作業者の身長が170cmの場合、180cmの場合のそれぞれについて、画角比と仰俯角との線形関係を示す1次式を記憶する。
図12は、身長の推定方法の一例を説明する図である。図12の座標系は、横軸に画角比、縦軸に仰俯角をとった座標系である。図12の例は、作業者の身長が170cmの場合についての画角比と仰俯角との線形関係を示す1次式を示すグラフと、作業者の身長が180cmの場合についての画角比と仰俯角との線形関係を示す1次式を示すグラフと、が示されている。CPU10は、例えば、倉庫作業の際に、CS602で撮影された画像から取得された画角比、及びCS602での撮影の際のスマートグラス100の仰俯角θに対応する図12の座標系上の点を特定する。そして、CPU10は、図12の座標系における特定した点と身長毎のグラフとの距離を算出し、算出した距離が最小となるグラフに対応する身長を、作業者の身長として推定してもよい。
なお、作業場所の倉庫に応じて作業者と棚との距離が異なる場合があるため、情報処理システムは、作業者と棚との距離毎に作業者の身長の推定に利用される対応情報を登録しておき、作業者と棚との距離に応じて、登録されている対応情報を使い分けることが好ましい。
作業者が物品Cを探すために、棚500の様々なところを見ると、カメラ110の撮影範囲に、様々な物品が入る場合がある。本実施形態では、作業者が物品Cを探索中に、カメラ110の撮影範囲に物品Aに貼付されているマーカ502が入ったとする。その場合、CPU10は、以下のCS604の処理を行う。
CS604において、CPU10は、作業者の視線の変化に応じて、カメラ110を介して、物品Aに貼付されているマーカ502を撮影する。CPU10は、撮影したマーカ502に基づいて、マーカ502が貼付されている物品を、物品Aと特定する。CPU10は、以下のCS605の処理を行う。
同一の棚に同じ商品が複数の場所にある場合やひとつの段ボールの中に商品が複数入っていて、そこから必要な個数のみをピックする場合等、ピッキング対象の物品であっても、全てが払い出されない場合がある。即ち、ピッキング対象の物品が撮影されたとしても、撮影されたその物品が、ピッキング作業後も棚に残る場合がある。そのような場合、その物品の位置情報が、後の倉庫作業において、有用な情報となることがある。そのため、本実施形態では、CPU10は、撮影した物品がピッキング対象の物品であるか否かに関わらず、位置情報の取得処理(CS605の処理)を行う。しかし、例えば、倉庫に、同じ種類の物品が1つずつしか格納されていないような場合、ピッキング対象の物品の位置情報が後の作業で活用できないこととなる。そのような場合、CPU10は、CS604で撮影した物品がピッキング対象の物品と異なるか否かを判定して、ピッキング対象の物品と異なる物品と判定した場合に、CS605の処理を行い、ピッキング対象の物品と同じ物品と判定した場合、CS605の処理を行わないこととしてもよい。
CS605において、CPU10は、CS603で推定された作業者の身長に基づいて、CS604で撮影した物品の高さ方向の位置情報を取得する。例えば、CPU10は、以下のような処理を行い、CS604で撮影された物品の高さ方向の位置情報を取得する。即ち、CPU10は、CS604で物品Aを撮影した際のスマートグラス100の仰俯角θを、スマートグラス100のセンサから出力される情報に基づいて、取得する。そして、CPU10は、取得した仰俯角θとCS603で推定した作業者の身長とから、CS604で撮影された物品の高さを、身長+1m×tan(θ)を計算することで取得する。
また、CPU10は、CS604で撮影された物品が棚の上段、中段、下段の何れに存在するかを特定し、特定した上段、中段、下段の何れかを、CS604で撮影した物品の高さ方向の位置情報として取得してもよい。例えば、CPU10は、CS604で取得した物品の高さが、棚500の上段、中段、下段付近に応じて設定された範囲(例えば1.6〜2.2mは上段、0.7〜1.6mは中段、0〜0.8mは下段等)の何れに属するかに基づいて、CS604で撮影された物品が棚の上段、中段、下段付近の何れに存在するかを特定してもよい。
また、CPU10は、CS604で撮影した物品の水平方向の位置情報も取得する。例えば、CPU10は、以下の処理により、CS604で撮影した物品の水平方向の位置情報を取得する。即ち、CPU10は、CS604で物品Aを撮影した際のスマートグラス100の方位角を、スマートグラス100のセンサから出力される情報に基づいて取得する。そして、CPU10は、取得した方位角に基づいて、CS604で撮影した物品の水平方向の位置情報を取得する。例えば、CS604で物品Aを撮影した際のスマートグラス100の方位角と、作業者が棚の前に到着して最初にロケーションマーカ501を見たときの方位角(即ち、棚に対して正対したときの方位角)との差が正面方向から左にαであり、棚500と作業者との距離が1mであるとする。その場合、CPU10は、物品が棚500の中央(水平方向におけるロケーションマーカ501が貼付された位置)から、1m×tan(α)だけ左であることを示す位置情報を、CS604で撮影した物品の水平方向の位置情報として取得する。
なお、作業者は物品を探す際、棚に対して正対した状態から左右を見渡すことになる。そのため、CPU10は、水平方向の角度αを、例えばスマートグラス100等に備えられたジャイロセンサの水平方向の角速度を積分した値として算出することとしてもよい。
また、CPU10は、CS604での撮影の際のスマートグラス100の方位角から、CS604で撮影された物品が棚の右側、左側、中央付近の何れに存在するかを特定し、特定した右側、左側、中央付近の何れかを、CS604で撮影した物品の水平方向の位置情報として取得してもよい。例えば、CPU10は、CS604での撮影の際のスマートグラス100の方位角が、棚500の右側、左側、中央付近に応じて設定された範囲の何れに属するかに基づいて、CS604で撮影された物品が棚の右側、左側、中央付近の何れに存在するかを特定してもよい。
CS606において、CPU10は、CS605で取得したCS604で撮影された物品の位置情報の登録指示を、サーバ装置130に送信する。CPU10は、送信する登録指示に、CS604で撮影された物品の物品コードと、CS605で取得された位置情報と、を含ませる。
CS607において、CPU30は、CS606で送信された登録指示に応じて、送信された登録指示に含まれる位置情報を、送信された登録指示に含まれる物品コードと対応付けて、メモリ31に記憶することで、登録する。
以上の処理により、情報処理システムは、作業者のピッキング作業中にCS604で撮影された物品の位置情報を、メモリ31に登録することができる。これにより、情報処理システムは、この処理以降に、位置情報を登録した物品をピッキングする作業者に対して、その物品の位置情報を提示することができるようになる。
(物品の位置情報提示処理)
続いて、物品の位置情報の提示処理を説明する。図6の処理の後で、ある作業者が物品Aをピッキングしにきたとする。この作業者は、図6で物品Cのピッキングを行った作業者と異なるとするが、同一の作業者であることとしてもよい。この作業者は、スマートグラス100を装着している。本実施形態では、このスマートグラス100は、図6で使用されたものとは異なるとするが、同じものでもよい。
CPU30は、ピッキング対象の物品である物品Aのピッキング指示をスマートグラス100に送信する。CPU30は、送信するピッキング指示に、ピッキング対象である物品Aが格納されている棚500の位置情報、物品Aの物品コード、名称の情報、ピッキングする物品Aの数の情報等を含ませる。また、CPU30は、メモリ31に物品Aの位置情報が登録されているので、送信するピッキング指示にその位置情報を含ませる。
CPU10は、ピッキング指示を受信したら、例えば、受信したピッキング指示に含まれる情報に基づいて、図7のようなピッキングを指示するピッキング指示画面を、現実の風景と重畳してディスプレイ14に表示する。
また、CPU10は、受信したピッキング指示に含まれる物品Aの位置情報に基づいて、物品Aの高さを取得する。メモリ11には、予め、棚500の下段の高さ、中段の高さ、上段の高さの情報が記憶されているとする。CPU10は、メモリ11に記憶されている棚500の各段の高さと、取得した物品Aの高さと、に基づいて、物品Aがどの段に存在しているのかを判定する。本実施形態では、CPU10は、物品Aが棚500の上段に存在することと判定したとする。そして、CPU10は、物品Aの位置情報を提示する位置情報提示画面をディスプレイ14に表示する。図13は、位置情報提示画面の一例を示す図である。位置情報提示画面は、例えば、ピッキング対象の物品の位置情報を示す文字列を含む。図13の例では、位置情報提示画面は、物品Aが棚500の上段にあることを示すメッセージを含む。
なお、CS605で物品の高さ方向の位置情報として何段目に存在しているかを示す情報が登録される構成の場合には、CPU10は、メモリからその情報を読み出して位置情報提示画面に何段目にあるかを示す情報を提示することとしてもよい。
CPU10は、物品Aが棚500のどの段に存在するかを示す文字列を、位置情報提示画面に含ませることとしたが、物品Aの座標値を示す文字列を含ませることとしてもよい。また、CPU10は、位置情報提示画面をディスプレイ14に表示する代わりに、位置情報提示画面が示す情報を、音声としてマイク120を介して出力することとしてもよい。
(スマートグラスの処理の詳細)
図14は、スマートグラス100の処理の一例を示すフローチャートである。図14を用いて、物品の位置情報の取得・登録処理や物品の位置情報提示処理におけるスマートグラス100の処理の詳細を説明する。
S1201において、CPU10は、サーバ装置130からピッキング指示を受信する。
S1202において、CPU10は、S1201で受信したピッキング指示にピッキング対象の物品の位置情報が含まれるか否かを判定する。CPU10は、S1201で受信したピッキング指示にピッキング対象の物品の位置情報が含まれると判定した場合、S1203の処理に進む。また、CPU10は、S1201で受信したピッキング指示にピッキング対象の物品の位置情報が含まれないと判定した場合、S1204の処理に進む。
S1203において、CPU10は、S1201で受信したピッキング指示に含まれるピッキング対象の物品の位置情報を示す位置情報提示画面をディスプレイ14に表示する。
S1204において、CPU10は、カメラ110を介して、ロケーションマーカ501を撮影する。
S1205において、CPU10は、S1204で撮影したロケーションマーカ501の画像から、画像中のロケーションマーカ501の底辺の長さ(ピクセル単位)を取得する。
S1206において、CPU10は、S1204での撮影の際にスマートグラス100のセンサから出力された情報に基づいて、S1204での撮影の際のスマートグラス100の仰俯角θを取得する。
S1207において、CPU10は、S1205で取得したロケーションマーカ501の底辺の長さと、S1206で取得した仰俯角θと、に基づいて、作業者の身長を推定する。CPU10は、メモリ31に記憶されているロケーションマーカ501の底辺の長さ、及び仰俯角θと、作業者の身長と、の対応情報から、S1205で取得したロケーションマーカ501の底辺の長さ、及びS1206で取得した仰俯角θに対応する身長を取得する。そして、CPU10は、取得した身長を、作業者の身長として推定する。
S1208において、CPU10は、カメラ110を介して、物品を撮影する。CPU10は、例えば、倉庫に載置されている物品に貼付されているマーカを撮影し、撮影したマーカを認識することで、物品を撮影したことを把握できる。
S1209において、CPU10は、S1208での撮影の際にスマートグラス100のセンサから出力された情報に基づいて、S1208での撮影の際のスマートグラス100の仰俯角θを取得する。
S1210において、CPU10は、S1207で推定した作業者の身長と、S1209で取得した仰俯角θと、に基づいて、S1208で撮影された物品の高さ方向の位置情報を取得する。CPU10は、例えば、身長+1m×tan(θ)の式を用いて、S1208で撮影された物品の高さ方向の位置情報を取得する。
S1211において、CPU10は、S1208での撮影の際のスマートグラス100の方位角θを取得し、取得した方位角にもとづいて、S1208で撮影された物品の水平方向の位置情報を取得する。
S1212において、CPU10は、S1210及びS1211で取得した物品の位置情報の登録指示をサーバ装置130に送信する。CPU10は、送信する登録指示に、S1210で取得した高さ方向の位置情報と、S1211で取得した水平方向の位置情報と、S1208で撮影した物品の物品コードと、を含ませる。
S1213において、CPU10は、スマートグラス100の操作部やマイク120を介した作業者による操作に基づいて、ピッキング作業の終了を示す通知を受付けたか否かを判定する。CPU10は、例えば、マイク120を介して、作業者からピッキング作業の終了を示す音声が入力された場合、ピッキング作業の終了を示す通知を受付けたと判定し、図14の処理を終了する。また、CPU10は、作業者からピッキング作業の終了を示す通知を受付けていないと判定した場合、S1208の処理に進む。
(物品の移動の際の処理)
倉庫等においては、例えば、新たな物品の入庫に際して、載置する場所を確保するため等の理由で、既存の物品が動かされる場合がある。
図15、図16は、物品の移動の一例を説明する図である。図16が示す状況は、図15が示す状況の後に物品Dが入庫され、物品Cが移動された状況を示す。
図15の状況でピッキング作業をしている作業者が物品Cを撮影し、情報処理システムは、物品Cの位置情報を登録したものとする。図15の状況の後で、図16の状況の前に物品Dが入庫され、物品Cが動かされたものとする。そして、図16の状況でピッキング作業をしている作業者が物品Cを撮影したとする。
その場合、CPU30は、例えば、CS607で、以下の処理を行う。即ち、CPU30は、CS606で送信された登録指示に含まれる物品コードに対応する位置情報が既にメモリ31に登録されているとして、登録されている位置情報を、送信された登録指示に含まれる位置情報で更新する。CPU30は、メモリ31に登録されている物品の位置情報を、より新しい情報とすることができる。これにより、情報処理システムは、ピッキング対象の物品のより新しい位置情報を、作業者に提示できるようになる。
(効果)
以上、本実施形態では、情報処理システムは、ピッキング作業を行っている作業者に装着されたスマートグラス100によりカメラ110を介して撮影された物品の位置情報を取得し、取得した位置情報をメモリ31に登録することとした。即ち、情報処理システムは、作業者のピッキングの際に後の作業者のために物品の位置情報を取得し、登録することができる。
これにより、情報処理システムは、その物品を後でピッキングする作業者に対して、その物品の位置情報を提示し、支援することができるようになる。即ち、本実施形態の処理により、情報処理システムは、ピッキングを行う作業者がピッキング作業の合間に意図せずに撮影した物品の位置情報を登録し、その物品をピッキングする他の作業者に登録した位置情報を提示する支援を行う。即ち、情報処理システムは、物品の位置情報を提示することで、その物品の探索を容易にし、その物品の探索の効率化を図ることができる。情報処理システムは、他の作業者に対してこのような支援を行うことで、ピッキング作業の効率を向上させることができる。
また、情報処理システムは、ピッキング作業以外の倉庫作業を行う作業者に対して、本実施形態の処理により登録された物品の位置情報を提示することで、倉庫作業の支援を行うことができる。例えば、情報処理システムは、在庫整理のために倉庫内の物品の整理作業を行っている作業者に対して、各物品の位置情報を提示することで、作業者が各物品の位置を把握できるようにする支援を行うことができる。
また、本実施形態では、情報処理システムは、スマートグラス100を携行する作業者がピッキング作業を行う際に、カメラ110により撮影された物品の位置情報を取得して、メモリ31に登録することとした。しかし、情報処理システムは、スマートグラス100を携行する作業者がピッキング作業以外の倉庫作業を行う際に、カメラ110により撮影された物品の位置情報を取得して、メモリ31に登録することとしてもよい。情報処理システムは、例えば、スマートグラス100を携行する倉庫内の在庫確認作業を行っている作業者が作業を行っている際に、カメラ110により撮影された物品の位置情報を取得して、メモリ31に登録することとしてもよい。即ち、その場合、情報処理システムは、作業者が在庫確認のために棚等の載置部を見る際に、カメラ110により意図せず撮影された画像に含まれる物品の位置情報を取得し、メモリ31に登録することになる。
本実施形態では、サーバ装置130のCPU30でなく、スマートグラス100のCPU10が物品の位置情報の取得処理を行うこととした。これにより、CPU10は、CPU30の処理の負担を軽減でき、サーバ装置130とスマートグラス100との間でやり取りするデータの量を削減し、サーバ装置130とスマートグラス100との間の通信帯域を節約できる。
なお、要求されるシステムの仕様に応じて、サーバ装置130が物品の位置情報を取得する処理を行うこととしてもよい。
(変形例)
以下では、本実施形態の変形例について説明する。
本実施形態では、情報処理システムは、ピッキング対象の物品の位置情報が登録されている場合、登録されている位置情報に基づいて、ピッキング対象の物品の位置を特定し、特定した位置を作業者に対して提示することとした。しかし、情報処理システムは、例えば、登録されている位置情報に基づいて、作業者が現在見ている場所に対するピッキング対象の物品の相対的な位置を示す位置情報を提示してもよい。
例えば、CPU10は、S1202〜S1203の処理を行わずに、S1207の処理で、作業者の身長を推定した後に、以下の処理を行う。即ち、CPU10は、スマートグラス100に含まれるセンサから出力される情報に基づいて、現在のスマートグラス100の仰俯角θを取得する。そして、CPU10は、S1207で推定した作業者の身長と、現在のスマートグラス100の仰俯角θと、に基づいて、例えば、身長+1m×tan(θ)の式を用いて、現在作業者が見ている場所の高さを取得する。また、CPU10は、スマートグラス100に含まれるセンサから出力される情報に基づいて、現在のスマートグラス100の方位角を取得し、取得した方位角に基づいて、現在作業者が見ている場所の水平方向の位置情報を取得する。
そして、CPU10は、S1201で受信したピッキング指示に含まれるピッキング対象の物品の位置情報と、取得した現在作業者が見ている場所の位置情報と、に基づいて、ピッキング対象の物品が、現在作業者が見ている場所からどの方向に存在するかを特定する。例えば、CPU10は、現在作業者が見ている場所から左上にピッキング対象の物品が存在することを特定した場合、図17のような位置情報提示画面をディスプレイ14に表示する。図17の位置情報提示画面は、ピッキング対象の物品が、作業者が現在見ている場所からもっと上、もっと左に存在することを示す文字列を含む。また、CPU10は、図18のように、作業者が現在見ている場所に対するピッキング対象の物品の相対的な位置を示す矢印を含む位置情報提示画面をディスプレイ14に表示することとしてもよい。
本実施形態では、情報処理システムは、位置情報を取得した物品の位置情報が既に登録されている場合でも、新しく取得した位置情報で、登録されている位置情報を更新することとした。
しかし、情報処理システムは、位置情報を取得した物品の位置情報が既に登録されており、新しく取得した位置情報と登録されている位置情報とが異なる場合のみ、物品の位置情報を更新することとしてもよい。それにより、情報処理システムは、不要な更新処理にかかる負担を軽減できる。
また、情報処理システムは、位置情報を取得した物品の位置情報が既に登録されており、登録された時刻から設定された期間が経過している場合のみ、物品の位置情報を更新することとしてもよい。
本実施形態では、情報処理システムは、位置情報を取得した物品の位置情報が既に登録されている場合でも、新しく取得した位置情報で、登録されている位置情報を更新することとで以下のような効果を奏する。即ち、情報処理システムは、作業者がある物品をピッキングする前にその物品が移動した場合、他の作業者が移動後の物品を撮影したら、その物品の位置情報を登録することができ、作業者にその物品の位置情報を提示することができるという効果を奏する。しかし、その物品をピッキングする作業者の前に、他の作業者が必ずしも移動後のその物品を撮影するとは限らない。このような場合、情報処理システムは、以下のような処理を行うこととしてもよい。
CPU10は、CS606(S1212)で、サーバ装置130に、物品の位置情報の登録指示を送信する際に、送信する登録指示にCS604(S1208)で物品を撮影した時刻の情報を含ませる。そして、CPU30は、CS607で、送信された登録指示に含まれる位置情報及び時刻情報を、登録指示に含まれる物品コードと対応付けてメモリ31に登録する。
そして、スマートグラス100を装着した作業者がその物品をピッキングしにきた場合、情報処理システムは、以下の処理を行う。CPU30は、ピッキング対象の物品のピッキング指示をスマートグラス100に送信する。CPU30は、送信するピッキング指示に、ピッキング対象である物品が格納されている棚の位置情報、物品の物品コード、名称の情報、ピッキングする物品の数の情報等を含ませる。また、CPU30は、メモリ31にその物品の位置情報及び時刻情報が登録されているので、送信するピッキング指示にその位置情報及び撮影された時刻情報を含ませる。CPU10は、ピッキング指示を受信したら、例えば、受信したピッキング指示に含まれる情報に基づいて、図7のようなピッキングを指示するピッキング指示画面を、現実の風景と重畳してディスプレイ14に表示する。
また、CPU10は、受信したピッキング指示に含まれる位置情報に基づいて、ピッキング対象の物品の位置を特定する。CPU10は、受信したピッキング指示に含まれる時刻情報に基づいて、特定した位置にその物品が存在したのは、現在時刻からどの程度過去であるかを特定する。そして、CPU10は、いつ、その物品が特定した位置に存在していたかを示す位置情報提示画面を、ディスプレイ14に表示する。CPU10は、例えば、図19に示す位置情報提示画面を、ディスプレイ14に表示する。図19の例では、位置情報提示画面は、物品が10分前に棚の上段に存在したことを示す文字列を含む。
図19の画面を確認した作業者は、棚の上段を探索し、ピッキング対象の物品を発見できれば、その物品をピッキングする。また、作業者は、棚の上段を探索し、ピッキング対象の物品を発見できない場合、その物品が10分前には棚の上段に存在していたことを把握することができる。その場合、作業者は、棚の上段から10分以内に動かされそうな範囲を探索することとなる。即ち、情報処理システムは、物品の位置情報以外に、物品がその位置に存在していた時刻の情報を作業者に提示することで、その位置に存在しない場合に、その物品の移動可能な範囲の示唆を作業者に提示できる。
CPU10は、物品が現在時刻からどの程度過去にその位置に存在していたかを示す情報を位置情報提示画面に含ませることとしたが、物品がどの時刻にその位置に存在していたかを示す情報を含ませることとしてもよい。
また、CPU10は、メモリ31に登録されているピッキング対象の物品の位置情報に対応する時刻情報が現在時刻よりも設定された閾値以上過去である場合、古い信頼できない情報であるとして、その位置情報を提示しないこととしてもよい。
本実施形態では、情報処理システムは、作業者の身長を推定し、推定した作業者の身長に基づいて、物品の高さ方向の位置情報を取得した。また、情報処理システムは、物品の水平方向の位置情報も取得した。
しかし、情報処理システムは、例えば、物品が載置されている棚の各所にその位置を示す位置マーカが貼付されている場合、以下のようにして、物品の位置情報を取得することとしてもよい。
図20は、作業者が、位置マーカが貼付されている棚1800に載置されている物品Cをピッキングしている状況の一例を示す図である。位置マーカ1801〜1812が、棚1800に貼付されている。位置マーカ1801〜1812のそれぞれは、2次元コード、バーコード、カラーコード等のマーカであり、棚1800のどの位置であるかを示すマーカである。例えば、位置マーカ1805は、棚1800の上段の中央の位置であることを示すマーカである。CPU10は、カメラ110を介して、位置マーカを撮影し、撮影した位置マーカを認識することで、位置マーカが示す情報を取得できる。
図20の枠は、作業者が視認している範囲を示す。即ち、カメラ110は、この枠の範囲を撮影している。この際、CPU10は、物品Aに貼付されているマーカ502と共に、位置マーカ1801、1802、1804、1805を認識する。そして、例えば、位置マーカ1801−1802−1804−1805で囲まれた範囲をロケーション1、位置マーカ1802−1805−1806−1803で囲まれた範囲をロケーション2・・・のように定義して登録し、メモリ31に記憶させておけば、CPU10は、物品Aがロケーション1(位置マーカ1801、1802、1804、1805に囲まれた位置)に存在することを特定する。即ち、CPU10は、棚1800の上段の左部から中央の範囲の情報を、物品Aの位置情報として取得する。そして、CPU10は、取得した物品Aの位置情報の登録指示をサーバ装置130に送信する。
以上の処理により、CPU10は、作業者の身長を推定する処理を行わなくても、物品の位置情報を取得できるので、作業者の身長を推定する場合に比べて、処理の負担を軽減できる。
また、情報処理システムは、位置マーカが貼付されている棚に物品が載置されている場合、以下のようにして、物品の位置情報を取得してもよい。
図21は、図20と同様の状況を示す図である。図21の枠は、図20の枠と同様にカメラ110が撮影している範囲を示す。CPU10は、カメラ110を介して、図21の枠の範囲の画像を取得する。そして、CPU10は、位置マーカ1801、1802に対して物品A(マーカ502)がどの方向に位置するかを特定する。位置マーカ1801、1802、マーカ502で形成される三角形を想定する。CPU10は、位置マーカ1801の角度をθ1、位置マーカ1802の角度をθ2と特定する。即ち、CPU10は、位置マーカ1801から角度をθ1で表される方向であり、位置マーカ1802から角度をθ2で表される方向にマーカ502が位置することを特定する。そして、CPU10は、例えば、位置マーカ1801、1802が示す位置、角度θ1、θ2に基づいて、三角測量を用いて、物品Aの位置を特定し、特定した位置を示す情報を位置情報として取得する。例えば、位置マーカ1801−1802−1804−1805で囲まれた範囲をロケーション1、位置マーカ1802−1805−1806−1803で囲まれた範囲をロケーション2・・・のように定義して登録しておき、位置マーカ1801の位置を棚における基準座標とした場合の他の位置マーカ1802〜1812の各座標と、特定されたマーカ502の位置座標に基づいて、ロケーション1に存在していることを示す情報を位置情報として取得してもよい。
以上の処理により、情報処理システムは、より精度のよい物品の位置情報を取得し、登録することができる。また、この態様では、情報処理システムは、棚に貼付された4つの位置マーカ全てをカメラの画像の視野に捉える必要はなく、例えば、棚に貼付された2つの位置マーカ1801、1802と物品に付されたマーカ502とをカメラの画像の視野に捉えられれば位置情報を取得することができる。
本実施形態では、情報処理システムは、物品の高さ方向の位置情報と、水平方向の位置情報と、を取得し、登録することとした。しかし、情報処理システムは、物品の高さ方向の位置情報、物品の水平方向の位置情報の何れかを取得し、登録することとしてもよい。例えば、作業者がピッキング対象の物品が棚のどの段に存在するかを把握できれば十分である場合、情報処理システムは、物品の高さ方向の位置情報を取得し、登録する。そして、情報処理システムは、作業者に対して、ピッキング対象の物品の高さ方向の位置情報を提示する。
本実施形態では、スマートグラス100が、作業者の身長を推定することとした。しかし、サーバ装置130が、作業者の身長を推定することとしてもよい。その場合、CPU30は、スマートグラス100から、ロケーションマーカ501撮影の際のスマートグラス100の仰俯角θと、撮影された画像中でのロケーションマーカ501の底辺の長さと、を取得し、CS603で説明した方法と同様の方法で、作業者の身長を推定する。そして、CPU30は、推定した身長の情報を、スマートグラス100に送信する。また、サーバ装置130が、更に推定した作業者の身長に基づいて、カメラ110により撮影された物品の位置情報を取得し、メモリ31に登録することとしてもよい。その場合、CPU10は、カメラ110により物品が撮影されると、撮影の際のスマートグラスの仰俯角・方位角の情報をサーバ装置130に送信する。そして、CPU30は、送信された撮影の際のスマートグラスの仰俯角・方位角の情報と、推定した作業者の身長と、に基づいて、撮影された物品の位置情報を取得し、メモリ31に登録する。
本実施形態では、CPU10は、ピッキング対象の物品の位置情報を、図13のような提示画面に含ませて、ディスプレイ14に表示することとした。しかし、CPU10は、ピッキング対象の物品の位置情報を、図7のようなピッキング指示画面内に含ませて、ディスプレイ14に表示することで、作業者に提示してもよい。
本実施形態では、情報処理システムは、メモリ31に物品の位置情報を登録することとしたが、例えば、外付けハードディスク、記憶サーバ等の外部の記憶装置に登録することとしてもよい。
<その他の実施形態>
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した情報処理システムの機能構成の一部又は全てをハードウェアとしてスマートグラス100、サーバ装置130に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (14)

  1. 撮像装置により撮影された物品の識別情報が、ピッキング指示に基づいた第1の倉庫作業においてピッキング指示対象とは異なる物品の識別情報として識別された際に、当該物品の識別情報と共に撮影された、前記物品の載置部に貼付されている位置マーカが示す位置に基づいて、前記第1の倉庫作業の後に行われる第2の倉庫作業において用いられる前記物品の位置情報を取得する取得手段と、
    前記取得手段により取得された前記位置情報と、前記物品の識別情報とを対応付けて記憶部に登録する登録手段と、
    を有するシステム。
  2. 前記取得手段は、前記第1の倉庫作業の作業者が携行する撮像装置により前記物品と共に撮影された前記位置マーカが示す位置に基づいて、前記位置情報を取得する請求項1記載のシステム。
  3. 前記取得手段は、前記物品と共に撮影された複数の前記位置マーカそれぞれが示す位置と、前記位置マーカそれぞれから見た前記物品の方向と、に基づいて、前記位置情報を取得する請求項2記載のシステム。
  4. 前記登録手段は、前記取得手段により取得された前記位置情報を、前記物品の識別情報、及び前記取得手段により前記位置情報が取得された時刻の情報と対応付けて前記記憶部に登録する請求項1乃至3何れか1項記載のシステム。
  5. 前記第2の倉庫作業の作業者に対して、前記登録手段により前記記憶部に前記物品の識別情報と対応付けて登録された前記位置情報を提示する提示手段を更に有する請求項1乃至4何れか1項記載のシステム。
  6. 前記提示手段は、前記第2の倉庫作業の作業者に対して、前記登録手段により前記記憶部に前記物品の識別情報と対応付けて登録された前記位置情報を示す画面を表示部に表示することで、前記位置情報を提示する請求項5記載のシステム。
  7. 前記提示手段は、前記第2の倉庫作業の作業者に対して、前記第2の倉庫作業の作業者が現在見ている位置に対する前記登録手段により前記記憶部に前記物品の識別情報と対応付けて登録された前記位置情報が示す位置の相対的な位置を示す画面を表示部に表示することで、前記位置情報を提示する請求項5又は6記載のシステム。
  8. 前記提示手段は、前記第2の倉庫作業の作業者に対して、前記登録手段により前記記憶部に前記物品の識別情報と対応付けて登録された前記位置情報と、前記記憶部に前記物品の識別情報と対応付けて登録されている時刻情報と、を提示する請求項5乃至7何れか1項記載のシステム。
  9. 前記提示手段は、前記登録手段により前記記憶部に前記物品と対応付けて登録されている時刻情報が示す時刻が現在時刻よりも設定された閾値以上過去である場合、前記第2の倉庫作業の作業者に対して、前記登録手段により前記記憶部に登録された前記位置情報を提示しない請求項5乃至8何れか1項記載のシステム。
  10. 撮像装置により撮影された物品の識別情報が、ピッキング指示に基づいた第1の倉庫作業においてピッキング指示対象とは異なる物品の識別情報として識別された際に、当該物品の識別情報と共に撮影された、前記物品の載置部に貼付されている位置マーカが示す位置に基づいて、前記第1の倉庫作業の後に行われる第2の倉庫作業において用いられる前記物品の位置情報を取得する取得手段と、
    前記取得手段により取得された前記位置情報と、前記物品の識別情報とを対応付けて記憶部に登録する登録手段と、
    を有する情報処理装置。
  11. システムが実行する情報処理方法であって、
    撮像装置により撮影された物品の識別情報が、ピッキング指示に基づいた第1の倉庫作業においてピッキング指示対象とは異なる物品の識別情報として識別された際に、当該物品の識別情報と共に撮影された、前記物品の載置部に貼付されている位置マーカが示す位置に基づいて、前記第1の倉庫作業の後に行われる第2の倉庫作業において用いられる前記物品の位置情報を取得する取得ステップと、
    前記取得ステップで取得された前記位置情報と、前記物品の識別情報とを対応付けて記憶部に登録する登録ステップと、
    を有する情報処理方法。
  12. 情報処理装置が実行する情報処理方法であって、
    撮像装置により撮影された物品の識別情報が、ピッキング指示に基づいた第1の倉庫作業においてピッキング指示対象とは異なる物品の識別情報として識別された際に、当該物品の識別情報と共に撮影された、前記物品の載置部に貼付されている位置マーカが示す位置に基づいて、前記第1の倉庫作業の後に行われる第2の倉庫作業において用いられる前記物品の位置情報を取得する取得ステップと、
    前記取得ステップで取得された前記位置情報と、前記物品の識別情報とを対応付けて記憶部に登録する登録ステップと、
    を有する情報処理方法。
  13. コンピュータに、
    撮像装置により撮影された物品の識別情報が、ピッキング指示に基づいた第1の倉庫作業においてピッキング指示対象とは異なる物品の識別情報として識別された際に、当該物品の識別情報と共に撮影された、前記物品の載置部に貼付されている位置マーカが示す位置に基づいて、前記第1の倉庫作業の後に行われる第2の倉庫作業において用いられる前記物品の位置情報を取得する取得ステップと、
    前記取得ステップで取得された前記位置情報と、前記物品の識別情報とを対応付けて記憶部に登録する登録ステップと、
    を実行させるためのプログラム。
  14. コンピュータに、
    撮像装置により撮影された物品の識別情報が、ピッキング指示に基づいた第1の倉庫作業においてピッキング指示対象とは異なる物品の識別情報として識別された際に、当該物品の識別情報と共に撮影された、前記物品の載置部に貼付されている位置マーカが示す位置に基づいて、前記第1の倉庫作業の後に行われる第2の倉庫作業において用いられる前記物品の位置情報を取得する取得ステップと、
    前記取得ステップで取得された前記位置情報と、前記物品の識別情報とを対応付けて記憶部に登録する登録ステップと、
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2019125198A 2017-02-10 2019-07-04 システム、情報処理装置、情報処理方法、プログラム及び記録媒体 Active JP6846467B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017022900 2017-02-10
JP2017022900 2017-02-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018527246A Division JP6553815B2 (ja) 2017-02-10 2017-12-25 システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2019163172A JP2019163172A (ja) 2019-09-26
JP6846467B2 true JP6846467B2 (ja) 2021-03-24

Family

ID=63108161

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018527246A Active JP6553815B2 (ja) 2017-02-10 2017-12-25 システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2019125198A Active JP6846467B2 (ja) 2017-02-10 2019-07-04 システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018527246A Active JP6553815B2 (ja) 2017-02-10 2017-12-25 システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US20190220807A1 (ja)
JP (2) JP6553815B2 (ja)
CN (1) CN109791648A (ja)
SG (1) SG10202103450XA (ja)
WO (1) WO2018146959A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220401613A1 (en) 2019-09-06 2022-12-22 Central Glass Co., Ltd. Nonwoven Fabric Containing Silk Fibers, Wound Dressing, iPS Cell Scaffold Material, Nonwoven Fabric for Blood-Compatible Material, Blood-Compatible Material, Production Method of Nonwoven Fabric Containing Silk Fibers, Production Method of Wound Dressing, Production Method of iPS Cell Scaffold Material, Production Method of Non-Woven Fabric for Blood-Compatible Material, and Production Method of Blood-Compatible Material
EP3798986A1 (en) * 2019-09-27 2021-03-31 Apple Inc. Location aware visual markers
CN113128501A (zh) * 2019-12-26 2021-07-16 北京极智嘉科技股份有限公司 取货机器人、取货方法、计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
JP5126334B2 (ja) * 2010-10-13 2013-01-23 コニカミノルタビジネステクノロジーズ株式会社 画像処理システム、画像処理装置の制御方法、画像処理装置、携帯端末、情報処理装置、および制御プログラム
JP5247854B2 (ja) * 2011-07-06 2013-07-24 株式会社インスピーディア 集荷システムおよび集荷方法
JP6020101B2 (ja) * 2012-12-04 2016-11-02 富士通株式会社 物品の配置位置管理装置、プログラム及び方法
JP6245975B2 (ja) * 2013-12-25 2017-12-13 トーヨーカネツソリューションズ株式会社 Ar/vrを利用した物品収納補助装置及びシステム
JP6240000B2 (ja) * 2014-02-26 2017-11-29 東芝テック株式会社 ピッキング支援装置及びプログラム
JP6386311B2 (ja) * 2014-09-08 2018-09-05 ワム・システム・デザイン株式会社 携帯情報端末、情報処理方法、及びプログラム
JP6218151B2 (ja) * 2015-03-31 2017-10-25 三菱電機インフォメーションシステムズ株式会社 出荷作業支援方法、出荷作業支援装置および出荷作業支援プログラム
JP2016194833A (ja) * 2015-03-31 2016-11-17 富士通株式会社 商品陳列位置の判定処理方法、商品陳列位置の判定処理プログラム、及び商品陳列位置の判定処理装置
JP6562716B2 (ja) * 2015-05-27 2019-08-21 ワム・システム・デザイン株式会社 情報処理装置、情報処理方法、プログラム、及びフォークリフト

Also Published As

Publication number Publication date
SG10202103450XA (en) 2021-05-28
CN109791648A (zh) 2019-05-21
JPWO2018146959A1 (ja) 2019-02-14
US20190220807A1 (en) 2019-07-18
JP6553815B2 (ja) 2019-07-31
WO2018146959A1 (ja) 2018-08-16
JP2019163172A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
JP6846467B2 (ja) システム、情報処理装置、情報処理方法、プログラム及び記録媒体
US10228763B2 (en) Gaze direction mapping
US10268892B1 (en) System and methods for volume dimensioning for supply chains and shelf sets
US20190108606A1 (en) Information processing system, information processing apparatus, information processing method, and program
US11514665B2 (en) Mapping optical-code images to an overview image
EP3674980B1 (en) Positional relationship detection device and positional relationship detection system
JP2015230236A (ja) 商品案内装置、端末装置、商品案内方法、及びプログラム
JP6687199B2 (ja) 商品棚位置登録プログラム、及び情報処理装置
EP3944221A1 (en) Price tag information display method and device, and shelf system
US11961303B1 (en) Agent re-verification and resolution using imaging
CN103189827A (zh) 对象显示装置以及对象显示方法
CN105165004A (zh) 摄影系统
JP2020184779A (ja) 制御装置、制御方法およびプログラム
JP2021000687A (ja) ロボットシステム、その制御方法とプログラム
CN112949375A (zh) 计算系统、计算方法及存储介质
JP2017097622A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6967333B2 (ja) ピッキング支援システム及びピッキング支援方法
US11205089B2 (en) Object identification device, object identification method, and recording medium
JP6783618B2 (ja) 情報表示装置、及びその処理制御方法
CN108896035B (zh) 通过影像信息实现导航的方法、设备以及导航机器人
CN112055033A (zh) 基于光通信装置的交互方法和系统
KR102245760B1 (ko) 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템
EP3962118A1 (en) Interaction method employing optical communication apparatus, and electronic device
JP2024097395A (ja) 物品管理システム、物品管理方法
US11276326B2 (en) System, information processing device, information processing method, program, and recording medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210301

R150 Certificate of patent or registration of utility model

Ref document number: 6846467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250