JP7052419B2

JP7052419B2 - Sorting device, program, and screen generator

Info

Publication number: JP7052419B2
Application number: JP2018036520A
Authority: JP
Inventors: 充孝永江; 恭司吉野; 隆青野; 雄一郎四元; 郁山田
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2018-03-01
Filing date: 2018-03-01
Publication date: 2022-04-12
Anticipated expiration: 2038-03-01
Also published as: JP2019152966A

Description

本発明は、商品の情報に基づいて商品を仕分けする装置に関する。 The present invention relates to an apparatus for sorting products based on product information.

商品の流通において、返品された商品や売れ残った商品を回収し、廃棄品やアウトレット品などに仕分けして再び販売店へ出荷する、静脈物流というシステムが知られている。静脈物流の対象となる商品は数年前の商品であることが多く、商品のタグにはバーコードやＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩＤｅｎｔｉｆｉｅｒ）などのコード情報が印刷されていないことが多い。よって、作業者が商品タグを見て手作業で仕分けを行う必要があった。 In the distribution of products, a system called venous distribution is known in which returned products and unsold products are collected, sorted into waste products and outlet products, and shipped to retailers again. Products that are subject to venous logistics are often products that are several years old, and code information such as barcodes and RFID (Radio Frequency Identifier) is often not printed on product tags. Therefore, it is necessary for the worker to manually sort by looking at the product tag.

商品券などの分野では、お歳暮などの繁忙期は余剰商品券が事務局に返品され、その種類ごとに仕分けが必要となる。このため、束で納入された商品券の印刷面から情報を読み取り、仕分けを行うシステムが提案されている（特許文献１参照）。 In fields such as gift certificates, surplus gift certificates are returned to the secretariat during busy seasons such as year-end gifts, and sorting by type is required. Therefore, a system has been proposed in which information is read from the printed surface of gift certificates delivered in a bundle and sorted (see Patent Document 1).

特開平８－１６１６４１号公報Japanese Unexamined Patent Publication No. 8-161641

商品券や金券などは外形サイズが比較的揃っており、同一種が大量に流通するため、上記のようなシステムによる仕分けが可能である。一方、値札（商品タグ）が付されて流通する商品では、外形サイズの異なる多種多様な商品タグが存在し、それらがランダムに流品してくるため、上記のような仕分けシステムで処理することができない。 Gift certificates and cash vouchers have relatively uniform external sizes, and since the same species are distributed in large quantities, they can be sorted by the above system. On the other hand, for products that are distributed with price tags (product tags), there are a wide variety of product tags with different external sizes, and these are randomly distributed, so they should be processed by the above sorting system. I can't.

本発明は、多種多様な商品タグが付された商品を正確にかつ効率よく仕分けすることが可能な仕分け装置を提供することを主な目的とする。 An object of the present invention is to provide a sorting device capable of accurately and efficiently sorting products with a wide variety of product tags.

本発明の１つの観点では、仕分け装置は、商品に付された商品情報表示体を撮影し、撮影画像を生成する撮影手段と、前記撮影画像から、商品情報を抽出する情報抽出手段と、前記商品情報表示体の種別毎に、前記商品情報の表示位置を示す表示位置情報を記憶する記憶部と、抽出された商品情報に基づいて生成された仕分け結果情報を含む仕分け結果表示画面を表示する表示手段と、を備え、前記情報抽出手段は、前記撮影画像に基づいて前記商品情報表示体の種別を判定し、前記表示位置情報を参照して前記商品情報を抽出する。
From one aspect of the present invention, the sorting device includes a photographing means for photographing a product information display body attached to a product and generating a photographed image, an information extracting means for extracting product information from the photographed image, and the above -mentioned. For each type of product information display body, a storage unit that stores display position information indicating the display position of the product information and a sorting result display screen including sorting result information generated based on the extracted product information are displayed. The information extraction means includes a display means, determines the type of the product information display body based on the captured image, and extracts the product information with reference to the display position information .

上記の仕分け装置は、撮影手段により、商品に付された商品情報表示体を撮影し、撮影画像を生成する。次に、仕分け装置は、撮影画像から商品情報を抽出し、抽出された商品情報に基づいて生成された仕分け結果情報を含む仕分け結果表示画面を表示する。この仕分け装置によれば、作業者が商品情報表示体を撮影するだけで、仕分け結果が表示される。好適には、仕分け結果表示画面は、撮影画像を含む。また、好適には、前記仕分け結果情報は、前記商品の仕分け場所、及び、前記商品の仕分け状態を含む。さらに好適には、前記仕分け結果表示画面は、前記商品の商品イメージ及び前記情報抽出手段により抽出された商品情報を含む。また、この仕分け装置によれば、商品情報表示体の種別に基づいて、商品情報の表示位置から商品情報を抽出することができる。この場合、好適には、前記情報抽出手段は、前記商品情報表示体に含まれるマークに基づいて、当該商品情報表示体の種別を判定する。この態様では、マークに基づいて、商品情報表示体の種別を的確に判定することができる。
The above-mentioned sorting device photographs a product information display body attached to a product by an imaging means and generates a captured image. Next, the sorting device extracts product information from the captured image and displays a sorting result display screen including the sorting result information generated based on the extracted product information. According to this sorting device, the sorting result is displayed only by the worker taking a picture of the product information display body. Preferably, the sorting result display screen includes a captured image. Further, preferably, the sorting result information includes the sorting place of the product and the sorting state of the product. More preferably, the sorting result display screen includes a product image of the product and product information extracted by the information extraction means. Further, according to this sorting device, product information can be extracted from the display position of the product information based on the type of the product information display body. In this case, preferably, the information extraction means determines the type of the product information display body based on the mark included in the product information display body. In this aspect, the type of the product information display body can be accurately determined based on the mark.

上記の仕分け装置の一態様は、前記商品情報と仕分け結果とを関連付けた仕分けルールに従い、前記抽出された商品情報に基づいて仕分け結果を生成する仕分け手段を備える。この態様では、予め用意された仕分けルールに基づいて自動的に仕分け結果が生成される。 One aspect of the above-mentioned sorting device includes a sorting means for generating a sorting result based on the extracted product information according to a sorting rule in which the product information and the sorting result are associated with each other. In this aspect, the sorting result is automatically generated based on the sorting rule prepared in advance.

上記の仕分け装置の他の一態様では、前記表示手段は、複数の商品情報表示体についての仕分け結果の統計情報を含む管理情報表示画面を表示し、前記統計情報は、前記商品情報表示体の処理数と、前記商品情報を抽出できたか否かを示す数又は割合と、前記仕分け結果を生成できたか否かを示す数又は割合と、を含む。この態様では、仕分け装置が行った仕分け処理の統計情報を確認することができる。好適には、前記統計情報は、前記商品の仕分け場所毎に、当該仕分け場所に仕分けされた商品の数を示す情報を含む。 In another aspect of the above-mentioned sorting device, the display means displays a management information display screen including statistical information of sorting results for a plurality of product information display bodies, and the statistical information is the product information display body. It includes a number of processes, a number or ratio indicating whether or not the product information can be extracted, and a number or ratio indicating whether or not the sorting result can be generated. In this aspect, it is possible to confirm the statistical information of the sorting process performed by the sorting device. Preferably, the statistical information includes information indicating the number of products sorted in the sorting place for each sorting place of the goods.

上記の仕分け装置の他の一態様は、前記仕分け結果情報に基づいて、前記商品を仕分け場所まで搬送する自動搬送装置を備える。この態様では、仕分け結果に基づいて、商品が自動的に仕分け場所まで搬送される。 Another aspect of the above-mentioned sorting device includes an automatic transport device for transporting the goods to the sorting place based on the sorting result information. In this aspect, the goods are automatically transported to the sorting place based on the sorting result.

本発明の他の観点では、コンピュータ及び表示部を備える仕分け装置により実行されるプログラムでは、商品に付された商品情報表示体を撮影した撮影画像を取得する取得手段、前記撮影画像から、商品情報を抽出する情報抽出手段、前記商品情報表示体の種別毎に、前記商品情報の表示位置を示す表示位置情報を記憶する記憶手段、抽出された商品情報に基づいて生成された仕分け結果情報を含む仕分け結果表示画面を前記表示部に表示する表示手段、として前記コンピュータを機能させ、前記情報抽出手段は、前記撮影画像に基づいて前記商品情報表示体の種別を判定し、前記表示位置情報を参照して前記商品情報を抽出する。このプログラムをコンピュータで実行することにより、仕分けシステムを実現することができる。
In another aspect of the present invention, in a program executed by a sorting device including a computer and a display unit, a product information is obtained from a captured image obtained by capturing a captured image of a product information display body attached to the product. Includes information extraction means for extracting information, storage means for storing display position information indicating the display position of the product information for each type of the product information display body, and sorting result information generated based on the extracted product information. The computer functions as a display means for displaying the sorting result display screen on the display unit, and the information extraction means determines the type of the product information display body based on the captured image and refers to the display position information. And the product information is extracted . A sorting system can be realized by executing this program on a computer.

実施形態に係る仕分け装置の構成を示すブロック図である。It is a block diagram which shows the structure of the sorting apparatus which concerns on embodiment. 仕分け装置の機能構成を示すブロックである。It is a block showing the functional configuration of the sorting device. 商品タグの一例を示す。An example of a product tag is shown. タグ情報データベースの一例を示す。An example of a tag information database is shown. 仕分けルールの一例を示す。An example of the sorting rule is shown. 仕分け処理のフローチャートである。It is a flowchart of a sorting process. 読取部が商品情報を抽出する処理を説明する図である。It is a figure explaining the process of extracting the product information by a reading unit. 仕分け結果表示画面の一例を示す。An example of the sorting result display screen is shown. 管理情報表示画面の一例を示す。An example of the management information display screen is shown.

以下、図面を参照しながら、本発明の実施の形態について説明する。
［仕分け装置の構成］
図１は、本実施形態に係る仕分け装置の構成を示す。仕分け装置１０は、端末装置１１と、カメラ１２とを備える。カメラ１２は、商品に付された商品タグ（値札）２を撮影し、撮影画像を端末装置１１へ供給する。端末装置１１は、撮影画像から商品情報を抽出し、商品情報に基づいて仕分けを行い、仕分け結果を表示する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Structure of sorting device]
FIG. 1 shows a configuration of a sorting device according to the present embodiment. The sorting device 10 includes a terminal device 11 and a camera 12. The camera 12 photographs the product tag (price tag) 2 attached to the product and supplies the captured image to the terminal device 11. The terminal device 11 extracts product information from the captured image, sorts the product information based on the product information, and displays the sorting result.

図２は、仕分け装置１０の機能構成を示すブロック図である。端末装置１１は、読取部１３と、制御部１４と、記憶部１５と、表示部１６と、警告部１７とを備える。これらの要素とカメラ１２とはバス１８を通じて接続されている。 FIG. 2 is a block diagram showing a functional configuration of the sorting device 10. The terminal device 11 includes a reading unit 13, a control unit 14, a storage unit 15, a display unit 16, and a warning unit 17. These elements and the camera 12 are connected via a bus 18.

読取部１３は、カメラ１２が生成した商品タグ２の撮影画像から、文字情報、及び、ロゴマークに対応する特定の図形情報を読み取る。また、読取部１３は、文字情報に対してＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）処理を行って商品情報を抽出する。 The reading unit 13 reads character information and specific graphic information corresponding to the logo mark from the captured image of the product tag 2 generated by the camera 12. Further, the reading unit 13 performs OCR (Optical Character Recognition) processing on the character information to extract the product information.

制御部１４は、ＯＣＲ処理により得られた商品情報に基づいて、予め決められた仕分けルールに従って仕分けを行い、仕分け結果を生成する。そして、仕分け結果を含む仕分け結果表示画面を表示部１６に表示する。 The control unit 14 performs sorting according to a predetermined sorting rule based on the product information obtained by the OCR process, and generates a sorting result. Then, the sorting result display screen including the sorting result is displayed on the display unit 16.

記憶部１５は、ＲＯＭ、ＲＡＭなどにより構成され、制御部１４により実行される各種の処理のためのプログラムが記憶されている。記憶部１５は、各種の処理が実行される際の作業メモリとしても使用される。また、記憶部１５には、後述するタグ情報データベース（ＤＢ）が記憶されている。 The storage unit 15 is composed of a ROM, RAM, and the like, and stores programs for various processes executed by the control unit 14. The storage unit 15 is also used as a working memory when various processes are executed. Further, the tag information database (DB) described later is stored in the storage unit 15.

表示部１６は、例えば液晶ディスプレイなど、端末装置１１に付属する表示装置であり、仕分け結果表示画面を表示する。また、後述するように、作業者の指示により、表示部１６には管理情報表示画面が表示される。 The display unit 16 is a display device attached to the terminal device 11, such as a liquid crystal display, and displays a sorting result display screen. Further, as will be described later, the management information display screen is displayed on the display unit 16 according to the instruction of the operator.

警告部１７は、読取部１３による読取エラー（読取ＮＧ）や、制御部１４による仕分けエラー（仕分けＮＧ）が発生した場合に、警告ランプによる表示や警告音の出力などにより警告（アラート）を発する。ここで、読取ＮＧは、カメラ１２から読取部１３に撮影画像が供給されない場合、撮影画像が不鮮明なためにＯＣＲ処理により商品情報を読み取れない場合などに発生する。また、仕分けＮＧは、読取部１３が出力した商品情報が不足していて仕分けを行えない場合や、予め用意された仕分けルールのいずれにも該当しない場合などに発生する。 When a reading error (reading NG) by the reading unit 13 or a sorting error (sorting NG) by the control unit 14 occurs, the warning unit 17 issues a warning (alert) by displaying a warning lamp or outputting a warning sound. .. Here, the reading NG occurs when the captured image is not supplied from the camera 12 to the reading unit 13, or when the product information cannot be read by the OCR process because the captured image is unclear. Further, the sorting NG occurs when the product information output by the reading unit 13 is insufficient and the sorting cannot be performed, or when none of the sorting rules prepared in advance is applicable.

警告の例としては、警告部１７は、読取の成功（読取ＯＫ）の場合に警告ランプを青色に点灯させ、読取ＮＧの場合に警告ランプを赤色に点灯させる。他の例では、警告部１７は、読取ＯＫの場合には警告音を出力せず、読取ＮＧの場合に警告音を出力する。警告部１７は、仕分けの成功（仕分けＯＫ）と仕分けＮＧについても同様に警告ランプの点灯や警告音の出力により警告を発することができる。 As an example of the warning, the warning unit 17 turns on the warning lamp in blue when the reading is successful (reading is OK), and turns on the warning lamp in red when the reading is NG. In another example, the warning unit 17 does not output a warning sound when the reading is OK, and outputs a warning sound when the reading is NG. Similarly, the warning unit 17 can issue a warning regarding success of sorting (sorting OK) and sorting NG by lighting a warning lamp or outputting a warning sound.

上記の構成において、カメラ１２は本発明の撮影手段の一例であり、読取部１３は本発明の情報抽出手段の一例であり、制御部１４は本発明の表示手段及び仕分け手段の一例である。また、仕分け装置１０は本発明の画面生成装置の一例である。 In the above configuration, the camera 12 is an example of the photographing means of the present invention, the reading unit 13 is an example of the information extraction means of the present invention, and the control unit 14 is an example of the display means and the sorting means of the present invention. Further, the sorting device 10 is an example of the screen generation device of the present invention.

［商品タグ］
図３は、商品タグの一例を示す。商品タグ２は商品に付されるタグであり、商品情報が印刷されている。商品タグ２は本発明の商品情報表示体の一例である。図３に例示する商品タグ２では、上部にロゴマーク２１が印刷されている。ロゴマーク２１は、メーカーを示すロゴマークの場合と、ブランドを示すロゴマークの場合とがある。ロゴマーク２１の下にはメーカーの会社名２２が印刷されている。会社名２２の下には生地２３、サイズ２４、型名２５が印刷されている。型名２５の下には、左側に色コード２６が印刷され、右側に製造年２７が印刷されている。色コード２６は、色ごとに割り当てられたコードであり、製造年２７は西暦の下２桁のみが印刷されている。本例の製造年「６６」は「１９６６年」を示す。製造年２７の下には定価２８が印刷されている。 [Product tag]
FIG. 3 shows an example of a product tag. The product tag 2 is a tag attached to a product, and product information is printed on it. The product tag 2 is an example of the product information display body of the present invention. In the product tag 2 illustrated in FIG. 3, the logo mark 21 is printed on the upper portion. The logo mark 21 may be a logo mark indicating a manufacturer or a logo mark indicating a brand. The manufacturer's company name 22 is printed under the logo mark 21. Under the company name 22, the fabric 23, the size 24, and the model name 25 are printed. Below the model name 25, the color code 26 is printed on the left side, and the year of manufacture 27 is printed on the right side. The color code 26 is a code assigned to each color, and the year 27 of manufacture has only the last two digits of the Christian era printed on it. The year of manufacture "66" in this example indicates "1966". The list price 28 is printed under the year of manufacture 27.

［タグ情報ＤＢ］
図４は、タグ情報ＤＢの一例を示す。タグ情報ＤＢは、商品タグ２の種別ごとに、各商品情報が商品タグ２のどの位置に印刷されているかを示す情報を記憶している。言い換えると、タグ情報ＤＢは、各商品情報を抽出するために、読取部１３が商品タグ２の撮影画像におけるどの位置を読み取ればよいかを示す。タグ情報は本発明の表示位置情報の一例である。 [Tag information DB]
FIG. 4 shows an example of the tag information DB. The tag information DB stores information indicating at which position of the product tag 2 each product information is printed for each type of the product tag 2. In other words, the tag information DB indicates which position in the captured image of the product tag 2 should be read by the reading unit 13 in order to extract each product information. The tag information is an example of the display position information of the present invention.

なお、商品タグ２における座標は、例えば商品タグ２の左上の角を原点としたＸＹ座標で与えられる。また、タグ情報ＤＢが示す各商品情報の位置座標は、例えば、その商品情報が印刷されているエリアの左上の位置を示す。よって、読取部１３は、タグ情報ＤＢに記憶されている各商品情報の位置座標から、所定範囲を読み取ることにより、該当する商品情報を取得することができる。 The coordinates in the product tag 2 are given by, for example, XY coordinates with the upper left corner of the product tag 2 as the origin. Further, the position coordinates of each product information indicated by the tag information DB indicate, for example, the upper left position of the area where the product information is printed. Therefore, the reading unit 13 can acquire the corresponding product information by reading a predetermined range from the position coordinates of each product information stored in the tag information DB.

いま、図３に例示する商品タグ２がタグＩＤ＝１の商品タグであるとすると、図４に示すように、商品情報のうち、「会社名」はＩＤ＝１の商品タグ２の座標（ｘ１１，ｙ１１）に印刷されており、「製造年」はＩＤ＝１の商品タグ２の座標（ｘ１２，ｙ１２）に印刷されていることがわかる。これら以外の商品情報についても、図４に示すように、商品タグ２上における印刷位置がタグ情報として記憶されている。読取部１３は、カメラ１２による撮影画像からロゴマークを抽出し、ロゴマークに基づいてタグＩＤを特定することにより、その商品タグ２において各商品情報を読み取るべき位置を決定する。 Assuming that the product tag 2 illustrated in FIG. 3 is a product tag with a tag ID = 1, as shown in FIG. 4, the "company name" in the product information is the coordinates of the product tag 2 with the ID = 1. It is printed on x11, y11), and it can be seen that the "year of manufacture" is printed on the coordinates (x12, y12) of the product tag 2 having ID = 1. As for the product information other than these, as shown in FIG. 4, the print position on the product tag 2 is stored as the tag information. The reading unit 13 extracts the logo mark from the image taken by the camera 12 and specifies the tag ID based on the logo mark, thereby determining the position where each product information should be read in the product tag 2.

［仕分けルール］
図５は、仕分けルールの一例を示す。仕分けルールは、制御部１４が商品情報に基づいて、商品を仕分けする方法を規定している。仕分けルールは、「ルール番号」と、「条件」と、「仕分け場所」と、「仕分け情報」とを含む。「ルール番号」は、複数の仕分けルールの識別番号である。「条件」は、仕分けを行う条件であり、１つ又は複数の商品情報に関する条件となっている。「仕分け場所」は、商品を仕分けする場所であり、本例では複数のボックスのいずれかが指定される。「仕分け状態」は、流通過程における状況やステータスを示し、例えば、流通過程における次の工程に進む場合には「次工程」などとされ、商品が廃棄される場合には「廃棄」とされる。 [Sort rules]
FIG. 5 shows an example of a sorting rule. The sorting rule defines a method in which the control unit 14 sorts products based on the product information. The sorting rule includes a "rule number", a "condition", a "sorting place", and "sorting information". The "rule number" is an identification number of a plurality of sorting rules. The "condition" is a condition for sorting, and is a condition for one or more product information. The "sorting place" is a place for sorting products, and in this example, one of a plurality of boxes is specified. The "sorting state" indicates the status and status in the distribution process, for example, "next process" when proceeding to the next process in the distribution process, and "disposal" when the product is discarded. ..

図５の例では、仕分けルール（１）は、型名が１ＸＸＸＸ～２ＸＸＸＸの商品、又は、製造年がＸＸ年以降の商品は、次工程に進むためにＮｏ．１のボックス（箱）に送られることを規定している。また、仕分けルール（２０）は、製造年がＸＸ年以前の商品は、廃棄のためにＮｏ．２０のボックスに送られることを規定している。なお、図５に示す仕分けルールは一例にすぎず、商品タグ２に印刷された各商品情報又はそれらの組み合わせに対して様々な仕分けルールを規定することができる。なお、仕分けルールは、予め用意され、記憶部１５に記憶される。 In the example of FIG. 5, the sorting rule (1) is that the product whose model name is 1XXX to 2XXXXX or the product whose manufacturing year is XX or later is No. 1 in order to proceed to the next process. It stipulates that it will be sent to 1 box. In addition, according to the sorting rule (20), products whose manufacturing year is before XX year are No. 1 for disposal. It stipulates that it will be sent to 20 boxes. The sorting rule shown in FIG. 5 is only an example, and various sorting rules can be specified for each product information printed on the product tag 2 or a combination thereof. The sorting rule is prepared in advance and stored in the storage unit 15.

［仕分け処理］
次に、仕分け処理について説明する。仕分け処理は、仕分け装置１０が商品タグ２を撮影し、商品タグ２が付された商品を仕分けする処理である。仕分け処理は、図２に示す端末装置１１の制御部１４が予め用意されたプログラムを実行し、各構成要素を制御することにより行われる。なお、仕分け処理は、商品タグごとに実行される。 [Sort processing]
Next, the sorting process will be described. The sorting process is a process in which the sorting device 10 photographs the product tag 2 and sorts the products with the product tag 2. The sorting process is performed by the control unit 14 of the terminal device 11 shown in FIG. 2 executing a program prepared in advance and controlling each component. The sorting process is executed for each product tag.

まず、作業者が商品タグ２をカメラ１２の撮影位置に配置し、端末装置１１の入力部などを操作して撮影指示を入力すると、制御部１４はカメラ１２を制御し、商品タグ２を撮影する（ステップＳ１１）。撮影により生成された撮影画像は、読取部１３に供給される。 First, when the operator arranges the product tag 2 at the shooting position of the camera 12 and inputs a shooting instruction by operating the input unit of the terminal device 11 or the like, the control unit 14 controls the camera 12 and shoots the product tag 2. (Step S11). The captured image generated by photographing is supplied to the reading unit 13.

読取部１３は、撮影画像から商品情報を抽出する（ステップＳ１２）。図７は、読取部１３が商品情報を抽出する処理を説明する図である。まず、読取部１３は、撮影画像３１のように商品タグ２が斜めになっている場合に回転補正を行い、撮影画像３２のように撮影画像を正しい配置にした後、撮影画像を２値化する。 The reading unit 13 extracts product information from the captured image (step S12). FIG. 7 is a diagram illustrating a process in which the reading unit 13 extracts product information. First, the reading unit 13 performs rotation correction when the product tag 2 is slanted as in the captured image 31, arranges the captured image correctly as in the captured image 32, and then binarizes the captured image. do.

次に、読取部１３は、２値化した撮影画像３２から文字と図形とを抽出し、テンプレートマッチングによりロゴマークを検出する。具体的には、読取部１３は、撮影画像３２の枠３２ｘのエリアから抽出された図形を、予め用意されたロゴマークのテンプレートとマッチングすることにより、どのロゴマークであるか、即ち、どのタグ種別であるかを判定する。図７の例では、タグＩＤ＝１のロゴマークが検出される（符号３５の枠内を参照）。 Next, the reading unit 13 extracts characters and figures from the binarized captured image 32, and detects the logo mark by template matching. Specifically, the reading unit 13 matches the figure extracted from the area of the frame 32x of the captured image 32 with the template of the logo mark prepared in advance, so that which logo mark it is, that is, which tag. Determine if it is a type. In the example of FIG. 7, the logo mark with the tag ID = 1 is detected (see the frame of reference numeral 35).

次に、読取部１３は図４に示すタグ情報ＤＢを参照し、その商品タグ２上における各商品情報の印刷位置を特定し、それらの位置に印刷されている文字を商品情報として抽出する。図７の例では、商品タグ２はタグＩＤ＝１であるので、読取部１３はタグ情報ＤＢを参照して、商品情報「サイズ」は座標（ｘ１３、ｙ１３）に印刷されており、商品情報「型名」は座標（ｘ１４，ｙ１４）に印刷されていることを知る（符号３６の枠を参照）。そして、読取部１３は、撮影画像３４において、符号３４ａで示す座標（ｘ１３、ｙ１３）のエリアからサイズ「Ｍ」を抽出し、符号３４ｂで示す座標（ｘ１４，ｙ１４）のエリアから型名「１ＷＫ９９」を抽出する。同様にして読取部１３は他の商品情報を全て抽出する。なお、読取部１３が商品情報の読み取りに失敗した場合には、警告部１７により読取ＮＧを示すアラートが出力される。 Next, the reading unit 13 refers to the tag information DB shown in FIG. 4, specifies the print position of each product information on the product tag 2, and extracts the characters printed at those positions as the product information. In the example of FIG. 7, since the product tag 2 has the tag ID = 1, the reading unit 13 refers to the tag information DB, and the product information “size” is printed on the coordinates (x13, y13), and the product information is printed. It is known that the "type name" is printed at the coordinates (x14, y14) (see the frame of reference numeral 36). Then, the reading unit 13 extracts the size "M" from the area of the coordinates (x13, y13) indicated by the reference numeral 34a in the captured image 34, and the model name "1WK99" is extracted from the area of the coordinates (x14, y14) indicated by the reference numeral 34b. Is extracted. Similarly, the reading unit 13 extracts all other product information. If the reading unit 13 fails to read the product information, the warning unit 17 outputs an alert indicating reading NG.

次に、制御部１４は、ステップＳ１２で抽出された商品情報に基づき、仕分けルールに従って仕分けを行い、仕分け結果を生成する（ステップＳ１３）。具体的には、制御部１４は、その商品の仕分け場所、及び、仕分け状態を決定する。なお、制御部１４が仕分けに失敗した場合には、警告部１７により仕分けＮＧを示すアラートが出力される。 Next, the control unit 14 sorts according to the sorting rule based on the product information extracted in step S12, and generates a sorting result (step S13). Specifically, the control unit 14 determines the sorting place and the sorting state of the product. If the control unit 14 fails in sorting, the warning unit 17 outputs an alert indicating sorting NG.

そして、制御部１４は、仕分け結果を含む仕分け結果表示画面を生成し、表示部１６に表示する（ステップＳ１４）。さらに、制御部１４は、得られた仕分け結果に基づいて、管理情報を更新する（ステップＳ１５）。管理情報は、後述する管理情報表示画面に表示される。こうして、仕分け処理は終了する。 Then, the control unit 14 generates a sorting result display screen including the sorting result and displays it on the display unit 16 (step S14). Further, the control unit 14 updates the management information based on the obtained sorting result (step S15). The management information is displayed on the management information display screen described later. In this way, the sorting process is completed.

［仕分け結果表示画面］
図８は、仕分け結果表示画面の一例を示す。仕分け結果表示画面４０は、撮影画像表示エリア４１と、商品イメージ表示エリア４２と、仕分け場所表示エリア４３と、仕分け状態表示エリア４４と、商品情報表示エリア４５とを有する。 [Sort result display screen]
FIG. 8 shows an example of the sorting result display screen. The sorting result display screen 40 has a captured image display area 41, a product image display area 42, a sorting place display area 43, a sorting state display area 44, and a product information display area 45.

撮影画像表示エリア４１には、カメラ１２により生成された撮影画像が表示される。撮影画像を表示することにより、作業者は仕分けの対象としている商品タグ２を確認することができる。なお、カメラ１２により商品タグ２が撮影されていないときはカメラ１２による撮影画像が動画表示される。一方、カメラ１２により商品タグ２が撮影され、商品タグ２から商品情報を取得する際には撮影画像は静止画表示となる。 The captured image generated by the camera 12 is displayed in the captured image display area 41. By displaying the captured image, the worker can confirm the product tag 2 to be sorted. When the product tag 2 is not photographed by the camera 12, the image captured by the camera 12 is displayed as a moving image. On the other hand, the product tag 2 is photographed by the camera 12, and when the product information is acquired from the product tag 2, the photographed image is displayed as a still image.

商品イメージ表示エリア４２には、商品毎に予め用意された商品イメージが表示される。作業者は、商品イメージを見ることにより、作業者自身が手にしている商品と同一かどうかを視覚的かつ迅速に判断することができる。 In the product image display area 42, a product image prepared in advance for each product is displayed. By looking at the product image, the worker can visually and quickly determine whether or not the product is the same as the product that the worker himself is holding.

仕分け場所表示エリア４３は、ステップＳ１３で決定された仕分け場所を示す。図８の例では、仕分け場所は「Ｎｏ．２０のボックス」となっている。なお、制御部１４が商品情報に基づいて仕分けを行うことができなかった（即ち、仕分けＮＧ）の場合、仕分け場所表示エリア４３にその旨を示す表示を行ってもよい。例えば、仕分け場所表示エリア４３に「仕分けＮＧ」と表示する、仕分け場所表示エリア４３の背景色を変える、仕分け場所表示エリア４３の背景色及び文字色を変えるなどの方法が挙げられる。 The sorting place display area 43 indicates the sorting place determined in step S13. In the example of FIG. 8, the sorting place is "No. 20 box". If the control unit 14 is unable to perform sorting based on the product information (that is, sorting is NG), a display indicating that fact may be displayed in the sorting place display area 43. For example, a method of displaying "sorting NG" in the sorting place display area 43, changing the background color of the sorting place display area 43, changing the background color and the character color of the sorting place display area 43, and the like can be mentioned.

仕分け状態表示エリア４４は、ステップＳ１３で決定された仕分け状態を示す。図８の例では、仕分け状態は「廃棄」となっている。このように、作業者は、仕分け結果表示画面４０を見ることにより、その商品の仕分け場所及び仕分け状態を直ちに知ることができ、必要に応じて、その商品を仕分け場所に移送する。 The sorting state display area 44 shows the sorting state determined in step S13. In the example of FIG. 8, the sorting state is "disposal". In this way, the worker can immediately know the sorting place and the sorting state of the product by looking at the sorting result display screen 40, and transfers the product to the sorting place as needed.

商品情報表示エリア４５には、ステップＳ１２で読み取り部１３が抽出した商品情報が表示される。図８の例では、商品情報として、「製造年」、「サイズ」、「型名」、「色」、「定価」、「生地」、「ブランド名」などが表示されている。 In the product information display area 45, the product information extracted by the reading unit 13 in step S12 is displayed. In the example of FIG. 8, as product information, "year of manufacture", "size", "model name", "color", "fixed price", "fabric", "brand name" and the like are displayed.

仕分け結果表示画面４０には、少なくとも仕分け場所及び仕分け状態が表示される。これは、作業者は、仕分け場所及び仕分け状態によりその商品の仕分け結果を知るために必要だからである。また、撮影画像及び商品イメージを表示すると、作業者は仕分けの対象となっている商品タグと商品を確認することができるので便宜である。なお、商品情報を表示しなくても作業者は仕分け結果を知ることができるため、商品情報の表示は任意とされる。 At least the sorting place and the sorting state are displayed on the sorting result display screen 40. This is because the worker needs to know the sorting result of the product according to the sorting place and the sorting state. Further, when the photographed image and the product image are displayed, the worker can confirm the product tag and the product to be sorted, which is convenient. Since the worker can know the sorting result without displaying the product information, the display of the product information is optional.

このように、本実施形態の仕分け装置１０によれば、商品タグ２をカメラ１２で撮影することにより、商品の仕分け結果が仕分け結果表示画面に表示される。よって、作業者が商品情報を読み取る必要が無く、読み間違いなどによる仕分けミスを防止することができるので、経験の浅い作業者でも正確に仕分け作業が可能となる。また、作業者の目視による手作業と比べて作業時間を大幅に短縮することができる。また、ＲＦＩＤなどの新規システムの導入や、新規バーコード印刷による値札変更などを必要とせず、古い商品タグ（値札）が付された商品でも効率的に仕分けすることができる。 As described above, according to the sorting device 10 of the present embodiment, by photographing the product tag 2 with the camera 12, the sorting result of the product is displayed on the sorting result display screen. Therefore, it is not necessary for the worker to read the product information, and it is possible to prevent a sorting error due to a reading error or the like, so that even an inexperienced worker can perform the sorting work accurately. In addition, the work time can be significantly shortened as compared with the manual work by the operator's visual inspection. In addition, it is not necessary to introduce a new system such as RFID or change the price tag by printing a new barcode, and it is possible to efficiently sort products with an old product tag (price tag).

なお、仕分け装置１０により仕分け場所が決定された後、実際の仕分け作業は作業者の手作業で行ってもよく、自動搬送装置により行ってもよい。例えば、商品の仕分け用のシュートやコンベアなどを利用した自動搬送装置を設け、仕分け装置１０が決定した仕分け場所に各商品を搬送するように構成すればよい。 After the sorting place is determined by the sorting device 10, the actual sorting work may be performed manually by the operator or may be performed by the automatic transfer device. For example, an automatic transfer device using a chute or a conveyor for sorting products may be provided, and each product may be transported to a sorting place determined by the sorting device 10.

［管理情報表示画面］
本実施形態の仕分け装置１０は、仕分けした商品の統計情報を管理情報として保持し、必要に応じて表示することができる。図９は、管理情報表示画面の一例を示す。管理情報表示画面５０は、表示エリア５１～５６及びクリアボタン５７を有する。 [Management information display screen]
The sorting device 10 of the present embodiment can hold the statistical information of the sorted products as management information and display it as needed. FIG. 9 shows an example of the management information display screen. The management information display screen 50 has display areas 51 to 56 and a clear button 57.

表示エリア５１には、仕分け処理の対象となった商品タグ２の数（積算処理数）が表示される。表示エリア５２には読取部１３により読み取りができた商品タグ２の数（読取ＯＫ数）が表示され、表示エリア５３には読取部１３による読み取りがエラーとなった商品タグ２の数（読取ＮＧ数）が表示される。なお、商品タグ２の数の代わりに、表示エリア５２に読取ＯＫの商品タグ２の割合（読取ＯＫ率）を表示し、表示エリア５３に読取ＮＧの商品タグ２の割合（読取ＮＧ率）を表示してもよい。 In the display area 51, the number of product tags 2 (integrated processing number) targeted for sorting processing is displayed. In the display area 52, the number of product tags 2 that could be read by the reading unit 13 (number of reading OKs) is displayed, and in the display area 53, the number of product tags 2 in which reading by the reading unit 13 fails (reading NG). Number) is displayed. Instead of the number of product tags 2, the ratio of product tags 2 that can be read (read OK rate) is displayed in the display area 52, and the ratio of product tags 2 that are NG to read (read NG rate) is displayed in the display area 53. It may be displayed.

表示エリア５４には、制御部１４により仕分けができた商品タグ２の数（仕分けＯＫ数）が表示され、表示エリア５５には制御部１４による仕分けがエラーとなった商品タグ２の数（仕分けＮＧ数）が表示される。なお、商品タグ２の数の代わりに、表示エリア５３に仕分けＯＫの商品タグ２の割合（仕分けＯＫ率）を表示し、表示エリア５５に仕分けＮＧの商品タグ２の割合（仕分けＮＧ率）を表示してもよい。クリアボタン５７により、表示エリア５１～５５内の数をリセットすることができる。 In the display area 54, the number of product tags 2 (sorting OK number) that can be sorted by the control unit 14 is displayed, and in the display area 55, the number of product tags 2 (sorting) in which sorting by the control unit 14 fails. NG number) is displayed. Instead of the number of product tags 2, the ratio of product tags 2 of sorting OK (sorting OK rate) is displayed in the display area 53, and the ratio of product tags 2 of sorting NG (sorting NG rate) is displayed in the display area 55. It may be displayed. The number in the display areas 51 to 55 can be reset by the clear button 57.

表示エリア５６には、仕分け内訳が表示される。具体的には、各仕分け場所に仕分けされた商品タグ２の数が表示される。これに加えて、表示エリア５６には、商品情報毎の商品タグ２の数を表示してもよい。図９の例では、商品情報のうちの「サイズ」で分類した商品タグ２の数が表示されている。作業者の選択により、他の商品情報、例えば、製造年、色コードなどにより分類した数を表示してもよい。 The sorting breakdown is displayed in the display area 56. Specifically, the number of product tags 2 sorted in each sorting place is displayed. In addition to this, the number of product tags 2 for each product information may be displayed in the display area 56. In the example of FIG. 9, the number of product tags 2 classified by "size" in the product information is displayed. At the option of the worker, other product information, for example, the number classified by the year of manufacture, the color code, or the like may be displayed.

２商品タグ（値札）
１０仕分け装置
１１端末装置
１２カメラ
１３読取部
１４制御部
１５記憶部
１６表示部
１７警告部 2 Product tag (price tag)
10 Sorting device 11 Terminal device 12 Camera 13 Reading unit 14 Control unit 15 Storage unit 16 Display unit 17 Warning unit

Claims

A shooting means that shoots the product information display attached to the product and generates a shot image,
An information extraction means for extracting product information from the captured image,
For each type of the product information display body, a storage unit for storing display position information indicating the display position of the product information, and a storage unit.
A display means for displaying a sorting result display screen including sorting result information generated based on the extracted product information, and
Equipped with
The information extraction means is a sorting device that determines the type of the product information display body based on the captured image and extracts the product information with reference to the display position information .

The sorting device according to claim 1, wherein the sorting result display screen includes the captured image.

The sorting device according to claim 1 or 2, wherein the sorting result information includes a sorting place of the product and a sorting state of the product.

The sorting device according to any one of claims 1 to 3, wherein the sorting result display screen includes a product image of the product and product information extracted by the information extraction means.

The sorting device according to any one of claims 1 to 4, further comprising a sorting means for generating a sorting result based on the extracted product information according to a sorting rule in which the product information and the sorting result are associated with each other.

The sorting device according to any one of claims 1 to 5 , wherein the information extraction means determines the type of the product information display body based on the mark included in the product information display body.

The display means displays a management information display screen including statistical information of sorting results for a plurality of product information display bodies.
The statistical information includes a number of processes of the product information display body, a number or ratio indicating whether or not the product information can be extracted, and a number or ratio indicating whether or not the sorting result can be generated. Item 6. The sorting device according to any one of Items 1 to 6 .

The sorting device according to claim 7 , wherein the statistical information includes information indicating the number of products sorted in the sorting place for each sorting place of the goods.

The sorting device according to any one of claims 1 to 8 , further comprising an automatic transport device for transporting the product to the sorting place based on the sorting result information.

A program executed by a sorting device equipped with a computer and a display unit.
An acquisition method for acquiring a photographed image of a product information display body attached to a product,
An information extraction means for extracting product information from the captured image,
A storage means for storing display position information indicating a display position of the product information for each type of the product information display body.
A display means for displaying a sorting result display screen including sorting result information generated based on the extracted product information on the display unit.
To make the computer function as
The information extraction means is a program that determines the type of the product information display body based on the captured image and extracts the product information with reference to the display position information .