JP4473676B2 - Face-up degree evaluation system and evaluation program - Google Patents
Face-up degree evaluation system and evaluation program Download PDFInfo
- Publication number
- JP4473676B2 JP4473676B2 JP2004238827A JP2004238827A JP4473676B2 JP 4473676 B2 JP4473676 B2 JP 4473676B2 JP 2004238827 A JP2004238827 A JP 2004238827A JP 2004238827 A JP2004238827 A JP 2004238827A JP 4473676 B2 JP4473676 B2 JP 4473676B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- area
- product
- image
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 title claims description 33
- 238000012545 processing Methods 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 34
- 230000005484 gravity Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 235000011850 desserts Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000014214 soft drink Nutrition 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
この発明は、フェイスアップ度評価技術に係り、特に、商品陳列棚におけるフェイスアップの出来映えを具体的な数値で定量的に表現する技術に関する。 The present invention relates to a face-up degree evaluation technique, and more particularly to a technique for quantitatively expressing face-up performance on a product display shelf with specific numerical values.
コンビニエンスストア(以下「コンビニ」)やスーパーマーケット等の売り場においては、商品陳列棚のフェイスアップ作業が売り上げを向上させるために極めて重要である。
ここでフェイスアップ作業とは、陳列棚の商品を密集させてボリューム感を演出し、見栄えを良くすることを意味する。すなわち、商品が陳列棚に疎らに配置されていると如何にも売れ残りのような印象を顧客に与えるため、商品が売れて穴の空いた部分に対して同種商品を補充したり、後方の商品を前に引き出して陳列棚の外観を回復する作業が必要となる。また、同種商品の補充が間に合わない場合には、残った商品を陳列棚の中心部分に固め、商品の虫食い状態を改善することもフェイスアップ作業に含まれる。
コンビニ等のスタッフが常に商品陳列棚のフェイスアップに気を配り、こまめに手を加えることによって売り場における美観が向上し、顧客の購買意欲を刺激することが一般に知られている(非特許文献1の「フェイスアップ」の項参照)。
In sales outlets such as convenience stores (hereinafter referred to as “convenience stores”) and supermarkets, face-up work of merchandise display shelves is extremely important for improving sales.
Here, the face-up operation means that the products on the display shelf are gathered together to produce a sense of volume and improve the appearance. In other words, if a product is sparsely placed on a display shelf, the product will be sold and the same type of product will be replenished to the perforated part or the product behind It is necessary to restore the appearance of the display shelf by pulling out the front. In addition, when the same type of product cannot be replenished in time, the face-up operation includes fixing the remaining product to the center of the display shelf and improving the worm-eating state of the product.
It is generally known that staffs such as convenience stores always pay attention to the face up of the product display shelf, and frequently change the appearance of the sales floor to stimulate the customer's willingness to purchase (Non-patent Document 1). (See the “Face Up” section).
このため、コンビニチェーンの加盟店に対する本部スタッフや外部コンサルタントによる指導においても、このフェイスアップの善し悪しが重要なチェック項目として挙げられている。
例えば、店舗内に設置したデジタルカメラからネットワーク経由で定期的に送信される売り場の画像をリアルタイムに監視し、フェイスアップ作業が滞っている場合には現場スタッフに警告を発することが行われている。
あるいは、リアルタイムに監視する代わりに、ある程度蓄積された画像を後でまとめてチェックし、問題点を発見した場合には事後的に改善を勧告することも行われている。
For this reason, the quality of this face-up is also an important check item in guidance from headquarters staff and external consultants for convenience store chain stores.
For example, sales floor images that are periodically transmitted from a digital camera installed in a store via a network are monitored in real time, and when face-up work is delayed, a warning is given to the on-site staff. .
Alternatively, instead of monitoring in real time, images accumulated to some extent are checked together later, and if a problem is found, improvement is recommended afterwards.
しかしながら、これまでフェイスアップの適否を具体的な数値で表現する技術が存在しなかったため、判断する者の経験や認識によって評価にバラツキが生じ易く、また判定結果も「比較的良好」や「やや遅れ気味」などの曖昧な表現を使わざるを得ないため、フェイスアップ作業に関して指導をするに際し説得力に欠けるという問題があった。
しかも、上記のように複数のデジタルカメラから送信される多数の画像に関しフェイスアップの適否を逐一人間が判定するとなると、リアルタイムであれ事後的であれ膨大なマンパワーが必要となり、全加盟店舗のフェイスアップ具合を常時評価することは事実上不可能であった。
However, until now there has been no technology to express the appropriateness of face-up with specific numerical values, so the evaluation tends to vary depending on the experience and recognition of the judge, and the judgment result is also “relatively good” or “slightly” There was a problem of lack of persuasiveness when instructing about face-up work because he had to use ambiguous expressions such as “being late”.
Moreover, as described above, when humans determine the suitability of face-up for a large number of images transmitted from a plurality of digital cameras, enormous manpower is required, whether real-time or after-the-fact, face-up of all member stores It was virtually impossible to constantly evaluate the condition.
この発明は上記の問題点を解決するためになされたものであり、商品陳列棚のフェイスアップ度を具体的数値として自動的に算出可能な技術の実現を目的としている。 The present invention has been made to solve the above-described problems, and an object of the present invention is to realize a technique capable of automatically calculating the face-up degree of a merchandise display shelf as a specific numerical value.
上記の目的を達成するため、請求項1に記載したフェイスアップ度評価システムは、商品陳列棚が撮影された画像を読み込む手段と、予め設定された閾値を参照し、上記画像中において商品が配置されていない商品不存在領域を画素単位で識別する商品不存在領域識別手段と、商品存在領域と商品不存在領域とを二値化した二値画像を生成する手段と、上記二値画像に対して境界線追跡処理を施し、商品存在領域の外縁を画する境界線と、その内部に配置された商品不存在領域との境界線と、を抽出する手段と、上記商品存在領域の重心座標を基準座標として算出する基準座標算出手段と、商品存在領域に含まれる各画素を中心に領域増加処理を次々に実施し、上記の境界線間に内挿される円または正多角形を複数生成する手段と、上記円または正多角形の中で最も面積が大きく、かつその中心画素が上記基準座標に最も近いものを代表図形として選択する手段と、上記代表図形における中心画素と上記基準座標間の距離に対応した評価ポイントを算出する手段と、上記代表図形の面積に上記評価ポイントを適用することによってフェイスアップ度を算出する手段と、上記フェイスアップ度を当該画像に関連付けて所定の記憶手段に格納する手段と、この記憶手段に格納された、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を、時系列に沿ってプロットしたグラフを生成する手段とを備えたことを特徴としている。
上記円または正多角形の面積は、当該図形に含まれる画素数によって算出される。
上記「評価ポイント」は、例えば距離とポイントとの対応関係が複数パターン設定された換算テーブルを参照することによって算出される。
上記「評価ポイントを適用する」とは、代表図形における中心画素と基準座標間の距離に応じて予め設定された数値を、代表図形の面積に対して加算、あるいは減算、乗算、除算することを意味する。
In order to achieve the above object, the face-up degree evaluation system according to claim 1 refers to means for reading an image in which a product display shelf is photographed, and a preset threshold value, and the product is arranged in the image. Non-commodity product non-existence area product identifying means for identifying in pixels, product non-existence area identification means, binarizing the product presence area and the product non-existence area, a binary image, and for the binary image And a means for extracting the boundary line defining the outer edge of the product presence area and the boundary line of the product non-existence area arranged in the interior, and the barycentric coordinates of the product presence area a reference coordinate calculating means for calculating a reference coordinate, products each pixel included in the existing area around the actual subjected one after the other area increasing treatment, and means for generating a plurality interpolated is circular or regular polygonal between said border And above circle Is a means for selecting, as a representative figure, a polygon having the largest area among the regular polygons and whose center pixel is closest to the reference coordinate, and an evaluation corresponding to the distance between the central pixel in the representative figure and the reference coordinate Means for calculating a point; means for calculating the face-up degree by applying the evaluation point to the area of the representative figure; means for storing the face-up degree in association with the image in a predetermined storage means; Means for generating a graph in which the face-up degrees related to a plurality of images of the same product display shelf photographed at predetermined time intervals stored in the storage means are plotted in time series It is characterized by.
The area of the circle or regular polygon is calculated by the number of pixels included in the figure.
The “evaluation points” are calculated by referring to a conversion table in which a plurality of correspondence relationships between distances and points are set, for example.
The above-mentioned “applying evaluation points” means adding, subtracting, multiplying, or dividing a numerical value set in advance according to the distance between the central pixel and the reference coordinates in the representative figure to the area of the representative figure. means.
請求項2に記載したフェイスアップ度評価システムは、請求項1のシステムを前提とし、さらに、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像が格納された記憶手段と、上記の画像を時系列に沿って配列すると共に、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度が格納された上記記憶手段を参照して、各画像にそれぞれのフェイスアップ度を付記し、これらを所定のファイル形式に変換して画像帳票を生成する手段とを備えたことを特徴としている。 The face-up degree evaluation system according to claim 2 is based on the system of claim 1 , and further, storage means storing a plurality of images of the same product display shelf photographed at a predetermined time interval; Referring to the storage means in which the images are arranged in time series and the face-up degrees related to a plurality of images of the same product display shelf photographed at a predetermined time interval are stored. And a means for generating an image form by converting the degree of face-up to a predetermined file format.
請求項3に記載したフェイスアップ度評価システムは、請求項1または2のシステムを前提とし、さらに、上記二値画像に対してノイズ除去処理を施し、所定面積以下の商品不存在領域を排除する手段を備えたことを特徴としている。 Face-up evaluation system according to claim 3, assume system according to claim 1 or 2, further subjected to a noise removal process on the binary image, eliminating the following items absence region predetermined area It is characterized by having means.
請求項4に記載したフェイスアップ度評価システムは、請求項1〜3のシステムを前提とし、さらに、上記画像中の探索領域を予め設定しておく記憶手段を備え、上記商品不存在領域識別手段が、当該探索領域に含まれる画素について上記の識別処理を実行することを特徴としている。 The face-up degree evaluation system according to claim 4 is based on the system according to claims 1 to 3 , and further includes storage means for presetting a search area in the image, and the commodity absence area identification means. However, the above-described identification process is performed on the pixels included in the search region.
請求項5に記載したフェイスアップ度評価システムは、請求項1〜4のシステムを前提とし、さらに、上記閾値が商品陳列棚の各棚段に対応する領域単位で設定されおり、上記商品不存在領域識別手段が、各棚段の領域に含まれる画素については対応の閾値を参照して上記の識別処理を実行することを特徴としている。 The face-up degree evaluation system according to claim 5 is based on the system according to claims 1 to 4 , and further, the threshold is set for each region corresponding to each shelf of the product display shelf, and the product does not exist The area identifying means performs the above-described identification processing with reference to a corresponding threshold value for pixels included in each shelf area.
請求項6に記載したフェイスアップ度評価プログラムは、コンピュータを、商品陳列棚が撮影された画像を読み込む手段、予め設定された閾値を参照し、上記画像中において商品が配置されていない商品不存在領域を画素単位で識別する商品不存在領域識別手段、商品存在領域と商品不存在領域とを二値化した二値画像を生成する手段、上記二値画像に対して境界線追跡処理を施し、商品存在領域の外縁を画する境界線と、その内部に配置された商品不存在領域との境界線と、を抽出する手段、上記商品存在領域の重心座標を基準座標として算出する基準座標算出手段、商品存在領域に含まれる各画素を中心に領域増加処理を次々に実施し、上記の境界線間に内挿される円または正多角形を複数生成する手段、上記円または正多角形の中で最も面積が大きく、かつその中心画素が上記基準座標に最も近いものを代表図形として選択する手段、上記代表図形における中心画素と上記基準座標間の距離に対応した評価ポイントを算出する手段、上記代表図形の面積に上記評価ポイントを適用することによってフェイスアップ度を算出する手段、上記フェイスアップ度を当該画像に関連付けて所定の記憶手段に格納する手段、この記憶手段に格納された、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を、時系列に沿ってプロットしたグラフを生成する手段として機能させることを特徴としている。 The face-up degree evaluation program according to claim 6 refers to a means for reading an image in which a product display shelf is photographed, a preset threshold value, and the absence of a product in which no product is arranged in the image. Product non-existing area identifying means for identifying the area in pixel units, means for generating a binary image obtained by binarizing the product existing area and the product non-existing area, and performing boundary line tracking processing on the binary image, Means for extracting a boundary line defining the outer edge of the product presence area and a boundary line between the product non-existence areas arranged therein ; reference coordinate calculation means for calculating the barycentric coordinates of the product presence area as reference coordinates each pixel center one after another real subjected to area increase process in a contained product existing region, means for generating a plurality interpolated is circular or regular polygonal between said border, in the circular or regular polygon Most Means for selecting a representative figure having a large area and whose center pixel is closest to the reference coordinate; means for calculating an evaluation point corresponding to the distance between the center pixel in the representative figure and the reference coordinate; and the representative figure Means for calculating the face-up degree by applying the evaluation point to the area of the image, means for storing the face-up degree in association with the image in a predetermined storage means, and a predetermined time interval stored in the storage means It is characterized by functioning as a means for generating a graph in which the face-up degrees relating to a plurality of images of the same product display shelf photographed at a time are plotted in time series .
請求項7に記載したフェイスアップ度評価プログラムは、請求項6のプロラムを前提とし、さらにコンピュータを、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像を格納しておく記憶手段、上記の画像を時系列に沿って配列すると共に、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度が格納された上記記憶手段を参照して、各画像にそれぞれのフェイスアップ度を付記し、これらを所定のファイル形式に変換して画像帳票を生成する手段として機能させることを特徴としている。 Face-up evaluation program according to claim 7, assume Puroramu of claim 6, further computer, storing a plurality of images of the same commodity display shelf taken at a predetermined time interval stored Means, arranging the above images in chronological order, and referring to the storage means storing the face-up degrees related to a plurality of images of the same product display shelf photographed at a predetermined time interval, A feature is that each image is added with a degree of face-up and converted into a predetermined file format to function as a means for generating an image form.
請求項8に記載したフェイスアップ度評価プログラムは、請求項6または7のプロラムを前提とし、さらにコンピュータを、上記二値画像に対してノイズ除去処理を施し、所定面積以下の商品不存在領域を排除する手段として機能させることを特徴としている。 The face-up degree evaluation program according to claim 8 is based on the program of claim 6 or 7, and further, the computer performs a noise removal process on the binary image to obtain a product non-existing area having a predetermined area or less. It is characterized by functioning as a means for eliminating.
請求項9に記載したフェイスアップ度評価プログラムは、請求項6〜8のプロラムを前提とし、さらにコンピュータを、上記画像中の探索領域を予め設定しておく記憶手段、当該探索領域に含まれる画素について上記の商品不存在領域を識別する手段として機能させることを特徴としている。 A face-up degree evaluation program according to claim 9 is premised on the program of claims 6 to 8 , and further includes a computer for storing a search area in the image in advance, and pixels included in the search area It is characterized by functioning as a means for identifying the above-mentioned product absence area.
請求項10に記載したフェイスアップ度評価プログラムは、請求項6〜9のプロラムを前提とし、さらにコンピュータを、商品陳列棚の各棚段に対応する領域単位で閾値を設定しておく記憶手段、各棚段の領域に含まれる画素について対応の閾値を適用して上記の商品不存在領域を識別する手段として機能させることを特徴としている。
The face-up degree evaluation program according to
請求項1に記載のフェイスアップ度評価システム及び請求項6に記載のフェイスアップ度評価プログラムにあっては、商品存在領域の境界線に内挿される代表図形の面積に基づいてフェイスアップ度が算出されるため、対象となる商品陳列棚のフェイスアップの状態を具体的な数値として提示することが可能となる。
しかも、単純に「代表図形の面積=フェイスアップ度」と認定されるのではなく、代表図形の中心画素と基準座標との距離を勘案した補正を加えることによって最終的なフェイスアップ度が算出される仕組みであるため、実際のフェイスアップの善し悪しを決する際に重要な「商品の集積位置」を結果に反映させることが可能となる。
また、商品存在領域における重心座標が上記の基準座標として算出されるため、集積された商品群の形状をフェイスアップ度の算出結果に反映させることが可能となる。
さらに、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を時系列に沿ってプロットしたグラフを生成することにより、同一商品陳列棚におけるフェイスアップ度の推移を視覚的に表現することが可能となる。
In the face-up degree evaluation system according to claim 1 and the face-up degree evaluation program according to claim 6 , the face-up degree is calculated based on the area of the representative figure inserted in the boundary line of the product existing area. Therefore, it is possible to present the face-up state of the target product display shelf as a specific numerical value.
In addition, the final face-up degree is calculated by adding a correction that takes into account the distance between the center pixel of the representative figure and the reference coordinates, instead of simply being recognized as “representative figure area = face-up degree”. Therefore, it is possible to reflect the “product accumulation position”, which is important when deciding whether the actual face-up is good or bad, in the result.
In addition, since the barycentric coordinates in the product presence area are calculated as the reference coordinates, the shape of the accumulated product group can be reflected in the calculation result of the face-up degree.
Furthermore, by generating a graph in which the face-up degrees related to a plurality of images of the same product display shelf photographed at a predetermined time interval are plotted in time series, the transition of the face-up degree in the same product display shelf Can be expressed visually.
請求項2に記載のフェイスアップ度評価システム及び請求項7に記載のフェイスアップ度評価プログラムによれば、同一商品陳列棚におけるフェイスアップの状況を画像及び数値の両面で表現することが可能となる。 According to the face-up degree evaluation system according to claim 2 and the face-up degree evaluation program according to claim 7 , it is possible to express the face-up situation in the same product display shelf in both images and numerical values. .
請求項3に記載のフェイスアップ度評価システム及び請求項8に記載のフェイスアップ度評価プログラムによれば、商品間の隙間や、商品の上部と棚段の裏面間に存在する微細な領域を商品不存在領域から除外することが可能となる。 According to a face-up evaluation program according to face-up evaluation system and claim 8 according to claim 3, products and gaps between products, a fine region existing between the back surface of the top and shelf Product It is possible to exclude from the nonexistent area.
請求項4に記載のフェイスアップ度評価システム及び請求項9に記載のフェイスアップ度評価プログラムによれば、画像中の不要部分をフェイスアップ度算出の対象外とすることができ、その分演算処理の簡素化を図れる。 According to the face-up degree evaluation system according to claim 4 and the face-up degree evaluation program according to claim 9 , an unnecessary part in the image can be excluded from the face-up degree calculation target, and calculation processing is performed accordingly. Can be simplified.
請求項5に記載のフェイスアップ度評価システム及び請求項10に記載のフェイスアップ度評価プログラムによれば、棚段によって明るさが異なる環境下であっても商品不存在領域を高精度で識別可能となる。
According to the face-up degree evaluation system according to claim 5 and the face-up degree evaluation program according to
図1は、この発明に係るフェイスアップ度評価システム10の全体構成を示す概念図であり、センターサーバ12と、各コンビニ店舗14の天井付近に設置されたネットワークカメラ16と、コンビニ本部等のユーザが管理するPC等の通信端末18と、センターサーバ12にLAN接続されたPC等の操作端末20とを備えている。
ネットワークカメラ16は、CCDやCMOS等の撮像素子と、ネットワーク接続用のインターフェイスを備えており、コンビニ店舗14内のブロードバンド回線に接続することにより、インターネット22経由で商品陳列棚23を斜め上方から撮影した画像をセンターサーバ12に転送する機能を備えている。
また、センターサーバ12と通信端末18との間も、インターネット22を介してネットワーク接続されている。
FIG. 1 is a conceptual diagram showing the overall configuration of the face-up
The
The
図2は、センターサーバ12の機能構成を示すブロック図であり、元画像登録部24と、元画像記憶部26と、設定処理部28と、設定情報記憶部30と、画像加工部32と、加工画像記憶部34と、フェイスアップ度算出部35と、算出結果記憶部36と、報告データ生成部37と、報告データ記憶部38と、報告データ送信部39とを備えている。
上記元画像登録部24、設定処理部28、画像加工部32、フェイスアップ度算出部35、報告データ生成部37及び報告データ送信部39は、センターサーバ12のCPUがOSや専用のアプリケーションプログラム等に従い、必要な処理を実行することによって実現される。
また、上記元画像記憶部26、設定情報記憶部30、加工画像記憶部34、算出結果記憶部36、及び報告データ記憶部38は、センターサーバ12のハードディスク内に設けられている。
FIG. 2 is a block diagram illustrating a functional configuration of the
The original
The original
このシステム10を用いて各店舗14における商品陳列棚23のフェイスアップ度を算出するためには、事前にネットワークカメラ16毎に基本設定を行う必要がある。
以下、図3のフローチャートに従い、この基本設定の手順について説明する。
まず、操作端末20のオペレータは、マウスやキーボード等の入力装置40を操作し、設定処理部28に対して基本設定のリクエストを送信する。
これを受けた設定処理部28からはネットワークカメラ選択用の画面が送信され(S10)、操作端末20のディスプレイ41に表示される(図示省略)。
この画面においてオペレータが特定の店舗内に設置されたネットワークカメラ16を選択すると、設定処理部28は当該ネットワークカメラ用の設定フォームを生成し、ディスプレイ41に表示させる(S11)。
In order to calculate the face-up degree of the
The basic setting procedure will be described below with reference to the flowchart of FIG.
First, the operator of the
Upon receiving this, a network camera selection screen is transmitted from the setting processing unit 28 (S10), and is displayed on the
When the operator selects a
図4は、この設定フォーム42を示すものであり、「探索領域設定」、「閾値設定」、「画像帳票の粒度設定」のタブを備えている。
ここでオペレータが探索領域設定タブをクリックすると、設定処理部28によって探索領域設定画面43がディスプレイ41に表示される(S12)。
この探索領域設定画面43には、設定処理部28が元画像記憶部26から抽出した、当該ネットワークカメラ16が監視対象としている商品陳列棚23の画像が表示されている。
FIG. 4 shows the
When the operator clicks the search area setting tab, the
The search
この画像に対しオペレータは、4つのポイントを指定することにより、後述の画像処理を実施する領域の画定を行う。具体的には、開始ボタン44をクリックした後、マウスポインタを陳列棚23の四隅に合わせて順次クリックすることにより、設定処理部28によって4点を結んだ長方形状の探索領域設定枠45が画像上に表示される(S13)。
これに対しオペレータが決定ボタン46をクリックすると、枠内に含まれる画素が後述の画像処理の対象領域として認定され、設定処理部28はその画素範囲をネットワークカメラ16のIDに関連付けて設定情報記憶部30に登録する(S14)。
このように、画像の一部分を画像処理の対象となる探索領域として予め設定しておくことにより、後続の画像処理において領域外の画素を除外することが可能となり、その分演算量を低減することが可能となる。
図4においては、清涼飲料水のペットボトルが陳列された棚の他に、カップデザートの陳列された棚も探索領域として設定した例が示されているが、より狭い範囲を探索領域として設定することも可能である。
The operator designates four points for this image, thereby demarcating an area for performing image processing to be described later. Specifically, after the
On the other hand, when the operator clicks the
In this way, by setting a part of an image in advance as a search area to be subjected to image processing, it is possible to exclude pixels outside the area in subsequent image processing, thereby reducing the amount of calculation accordingly. Is possible.
FIG. 4 shows an example in which a shelf displaying cup desserts is set as a search area in addition to a shelf displaying soft drink plastic bottles, but a narrower range is set as a search area. It is also possible.
つぎにオペレータが閾値設定タブをクリックすると、設定処理部28によって閾値設定画面がディスプレイ41に表示される(S15)。
図5に示すように、この閾値設定画面47には、上記の画像及び探索領域設定枠45が表示されている。
これに対しオペレータは、開始ボタン48をクリックした後、マウスのドラッグ操作によって一つの棚段を長方形状の閾値設定領域枠49で囲み、その状態でマウスポインタ50を棚の地色が露出している部分に移動させる。
この結果、設定処理部28によってマウスポインタ50が指し示す画素のHSV値が算出され、ポップアップウィンドウ51に表示される(S16)。
Next, when the operator clicks the threshold setting tab, the setting
As shown in FIG. 5, the threshold
On the other hand, after clicking the
As a result, the HSV value of the pixel pointed to by the
ここで「HSV」とは、色を「色相(Hue)」「彩度(Saturation)」「明度(Value of Brightness)」によって表現する方式のことであり、HSV値とは色相(H)、彩度(S)、明度(V)を特定するための数値を意味する。
このシステム10においては、棚段における前面に商品が存在する部分と前面に商品の存在しない部分とを識別することが必要であるため、予め上記のように商品と商品との間の部分のHSV値を画面上に表示させ、これを参考にしてオペレータがHSVの閾値を下部の入力欄52にタイプする。
例えば、オペレータは棚段の地色の露出した複数の部分についてHSV値を表示させ、それらの平均的な数値を入力欄52に入力した後、決定ボタン53をクリックする。
Here, “HSV” is a method of expressing a color by “Hue”, “Saturation”, and “Value of Brightness”, and the HSV value is the hue (H), saturation. It means a numerical value for specifying degree (S) and lightness (V).
In this
For example, the operator displays HSV values for a plurality of exposed portions of the shelf ground color, inputs average values thereof into the
これを受けた設定処理部28は、オペレータが入力したHSVの閾値を、当該棚段の領域情報(画素範囲)と関連付けて設定情報記憶部30に登録する(S17)。
オペレータによるHSV値の設定が完了した棚段には、設定処理部28によってグレーのマスク54が掛けられ、未設定領域との区分けがなされる。
なお、各棚段間の仕切り部分など、閾値設定領域枠49から外れた部分については、デフォルトの閾値が適用される。
Receiving this, the setting
The shelf that has been set by the operator with the HSV value is covered with a
Note that a default threshold is applied to a portion outside the threshold
上記のように、棚段単位でHSVの閾値を設定するのは以下の理由による。
すなわち、一般に商品陳列棚23の上方には蛍光灯等の照明器具が配置されており、商品が前面に存在しない部分の色彩が光源との距離に応じて棚段毎に異なる傾向がみられる。
このため、棚段の地色を参考にして閾値を棚段毎に設定することとし、画像処理の精度を高めているのである。
なお、HSVの表色系が人間にとってわかり易く、かつ商品の有無を検出し易いため上記においては閾値としてHSVの各値を設定する方式を採用したが、RGBの各値を閾値として設定することもできる。
As described above, the HSV threshold is set for each shelf for the following reason.
That is, generally, lighting fixtures such as fluorescent lamps are arranged above the
For this reason, the threshold value is set for each shelf with reference to the background color of the shelf, and the accuracy of image processing is improved.
Since the HSV color system is easy for humans to understand and it is easy to detect the presence or absence of products, the above method used to set each HSV value as a threshold, but it is also possible to set each RGB value as a threshold. it can.
各棚段の閾値を設定し終えたオペレータが画像帳票の粒度設定タブをクリックすると、図6に示すように、画像抽出の間隔を設定するための粒度設定画面55がディスプレイ41に表示される(S18)。
これに対しオペレータは、より粒度の高い画像帳票が必要な場合には「1時間おき」のラジオボタンにチェックを入れ、比較的ラフな画像帳票で十分な場合には「5時間おき」のラジオボタンにチェックを入れる。
オペレータが特定の粒度(時間的間隔)を選択すると、設定処理部28により、生成される画像帳票のイメージが画像帳票のサンプル欄に表示される。ここでは、「2時間おき」に粒度が設定されているため、00:00から2時間おきに12枚/日の画像が抽出される様子が表示されている。
この画像帳票のサンプルを見て納得したオペレータは、決定ボタン56をクリックする。
これを受けた設定処理部28は、当該粒度の設定情報をネットワークカメラ16のIDに関連付けて設定情報記憶部30に登録する(S19)。
When the operator who has set the threshold value for each shelf clicks the granularity setting tab of the image form, a
On the other hand, the operator checks the “every hour” radio button when a more granular image form is required, and the “every 5 hour” radio when a relatively rough image form is sufficient. Check the button.
When the operator selects a specific granularity (time interval), the setting
The operator who is satisfied with the sample image form clicks the
Receiving this, the setting
以上のようにしてネットワークカメラ16に関する基本設定が完了すると、システム10は各ネットワークカメラ16から定期的に送信される画像ファイルを蓄積し、所定のタイミングで各画像から遮蔽物を除去する修正処理を実行する。
以下、図7及び図8のフローチャートに従い、画像修正の処理手順について説明する。
まず、各ネットワークカメラ16からは所定のタイミング、例えば1分毎に1枚の割合で商品陳列棚23の画像ファイルが送信され、これを受け付けた元画像登録部24は、各画像ファイルをネットワークカメラ16のID及び日時情報に関連付けて元画像記憶部26に順次格納する(S30)。
そして、一定の期間(例えば24時間)が経過した後に(S31)、画像加工部32によってそれまでに蓄積された画像ファイルに対し必要な修正処理が施される。
When the basic settings related to the
The image correction processing procedure will be described below with reference to the flowcharts of FIGS.
First, each
Then, after a certain period (for example, 24 hours) has passed (S31), the
まず画像加工部32は設定情報記憶部30を参照し、当該ネットワークカメラ16に関連付けられた設定情報(探索領域情報)を取得する(S32)。
つぎに画像加工部32は、図9の(a)及び(b)に示すように、ネットワークカメラ16から送信された先頭フレーム画像60(例えば、1日の始まりである00:00の画像)の探索領域と、基準画像αの探索領域とを画素単位で比較する(S33)。
ここで「基準画像」とは、該当店舗の該当日における商品陳列棚23の画像であって、さらに人間やカートなど監視対象を覆い隠す遮蔽物が写り込んでいない状態の画像を意味する。
First, the
Next, as shown in FIGS. 9A and 9B, the
Here, the “reference image” means an image of the
そして、両画像の探索領域に属する対応画素間のRGB値が所定の程度(例えば10%以上)相違している場合、画像加工部32は「相関が低いため先頭フレーム画像60側の画素について変更あり」と認定し、当該変更の生じた画素の座標を変更部としてメモリに記述する(S34)。
図9(b)の先頭フレーム画像60の場合、ペットボトル1本が棚段から取り去られた点と、一人の男性客の上半身が写り込んでいる点に相違があり、そこに含まれる画素が変更部としてメモリ上に記録される。
これに対し、両画素間のRGB値の差異が所定の程度内(例えば10%未満)である場合、画像加工部32は「相関が高いため先頭フレーム画像60側の画素について変更なし」と認定する。
このように、両画素間の異同を判定するに際し所定の誤差幅を設定しておくことにより、店舗内の照度の変化といった外乱要素によって判定結果が左右されることを有効に防止可能となる。
Then, when the RGB values between corresponding pixels belonging to the search areas of both images differ by a predetermined degree (for example, 10% or more), the
In the case of the
On the other hand, if the difference in RGB values between the two pixels is within a predetermined level (for example, less than 10%), the
In this way, by setting a predetermined error width when determining the difference between the two pixels, it is possible to effectively prevent the determination result from being influenced by a disturbance factor such as a change in illuminance in the store.
つぎに画像加工部32は、同図(c)に示すように、上記の変更部の画素を白、それ以外の非変更部の画素を黒で表現した二値画像62を生成する(S35)。
つぎに画像加工部32は、上記の二値画像62に対して膨張・収縮処理を複数回実施し、余計なノイズを除去する(S36)。
つぎに画像加工部32は、上記の二値画像62における変更部に対してラベリング処理を施し、相互に連続している複数の画素からなる変更領域を認識する(S37)。ここで「ラベリング処理」とは、つながっているすべての画素(連結成分)に同じラベル(番号)を付与し、異なった連結成分には異なった番号を付与する処理を指す。
つぎに画像加工部32は、予め設定された面積(画素数)以下の変更領域を商品が取り去られたことによる変更領域と認定し、(c)の二値画像62から除外する(S38)。
この結果、同図(d)に示すように、遮蔽物(この場合、男性客の上半身)の介在による変更領域のみを白表示する二値画像64が生成される。
Next, as shown in FIG. 5C, the
Next, the
Next, the
Next, the
As a result, as shown in FIG. 4D, a
つぎに画像加工部32は、同図(e)に示すように、上記の遮蔽物の介在による変更領域に係る画素群を先頭フレーム画像60から切除する(S39)と共に、基準画像αにおける対応領域の画素群65を切除部分66にコピーする(S40)。
この結果、同図(f)に示すように、遮蔽物(男性客の上半身)を除去した修正画像68が生成される。この修正画像68においては、ペットボトル1本が棚段から取り去られたことによる変更部Xはそのまま再現されている。
画像加工部32は、この修正画像68をネットワークカメラ16のID及び日時情報と関連付けて加工画像記憶部34に格納する(S41)。
Next, as shown in FIG. 5E, the
As a result, as shown in FIG. 5F, a corrected
The
つぎに画像加工部32は、上記において生成された修正画像68と、つぎのフレームの元画像とを比較し(S42)、S43〜S48においてS34〜S39と同等の処理を実行することにより、遮蔽物を取り除いた新たな修正画像を生成し(S49)、加工画像記憶部34に登録する(S50)。
以後、画像加工部32は最後の画像フレームに到達するまで上記の処理を繰り返し(S51)、送信された画像にする遮蔽物除去の修正処理を実行する。
Next, the
Thereafter, the
上記の基準画像αとして、例えば監視サイクルの開始直前(11:59)の画像を用いる。このためには、店舗側で同時刻には商品陳列棚23の前に人間が立ち入らないように規制する必要がある。
あるいは、センターサーバ12のオペレータが、元画像記憶部26内に格納された画像の中から、各店舗の基準画像を毎日選定し、基準画像を特定する情報をネットワークカメラのIDに関連付けて元画像記憶部26に格納するように運用することもできる。
As the reference image α, for example, an image immediately before the start of the monitoring cycle (11:59) is used. For this purpose, it is necessary to restrict the store so that a person does not enter the
Alternatively, the operator of the
このシステム10の場合、上記のように1分おきに商品陳列棚23の画像ファイルがネットワークカメラ16からセンターサーバ12に送信され、各画像は基準画像あるいは一つ前の修正画像と比較して変更領域の検出及びその置き換えが順次実行される方式であるため、商品陳列棚23とネットワークカメラ16との間に頻繁に遮蔽物が介在するような環境下であっても、出発点となる基準画像さえ用意できれば遮蔽物を除去した修正画像を生成することができる。
しかも、基準画像あるいは前フレームの修正画像との変更領域を即「遮蔽物」と認定するのではなく、所定以上の面積を備えた変更領域のみを遮蔽物と認定する方式であるため、商品が売れたことによる変更部分についてまで変更前の画素に置き換えられてしまうことがなく、したがって肝心な商品の動き自体は正確に捕捉可能となる。
In the case of this
Moreover, since the change area with the reference image or the modified image of the previous frame is not immediately recognized as a “shielding object”, only the change area having a predetermined area or more is recognized as a shielding object. Even the changed portion due to the sale is not replaced with the pixel before the change, so that the movement of the important product itself can be accurately captured.
ユーザがより正確な画像帳票の生成を希望する場合には、1分よりも短い間隔、例えば10秒毎にネットワークカメラ16から画像の配信を受け、これらに対し遮蔽物を除去する修正処理を施すようにすることもできる。
あるいは、ネットワークカメラ16から動画の配信を受け、元画像登録部24においてこの動画の中から適当な間隔で静止画を抽出し、元画像記憶部26に登録するようにシステム10を構成することもできる。
When the user desires to generate a more accurate image form, an image is distributed from the
Alternatively, the
上記の処理を通じ、加工画像記憶部34内に遮蔽物を除去した商品陳列棚23の修正画像が1日分蓄積されると、フェイスアップ度算出部35によって各修正画像のフェイスアップ度が算出される。
以下、図10〜図12のフローチャートに従い、フェイスアップ度の算出手順について説明する。
Through the above processing, when the corrected images of the
Hereinafter, the face-up degree calculation procedure will be described with reference to the flowcharts of FIGS.
まずフェイスアップ度算出部35は、図13(a)に示すように、加工画像記憶部34から時間的に最先である00:00の修正画像68を読み出す(S60)と共に、設定情報記憶部30を参照し、当該画像を撮影したネットワークカメラ16の設定情報(探索領域情報及び各棚段の閾値情報)を取得する(S61)。
つぎにフェイスアップ度算出部35は、当該修正画像68における探索領域内の各画素について、RGB表色系からHSV表色系にデータ変換する(S62)。
First, as shown in FIG. 13A, the face-up
Next, the face-up
つぎにフェイスアップ度算出部35は、商品陳列棚23の前面に商品が配置された画素領域(以下「商品存在領域」)と、商品陳列棚の前面に商品が配置されていない画素領域(以下「商品不存在領域」)とを識別し、商品存在領域を黒、商品不存在領域を白で表現した二値画像を生成する(S63)。
この際、フェイスアップ度算出部35は、各棚段毎に設定された閾値と、当該棚段の領域に含まれる各画素のHSV値とを比較し、閾値以上のHSV値を備えた画素を商品存在領域の画素、閾値未満のHSV値を備えた画素を商品不存在領域の画素と判定する。
Next, the face-up
At this time, the face-up
この時点では、商品間の隙間部分も商品不存在領域と認定され、上記の二値画像において白表示されている。
このためフェイスアップ度算出部35は、この二値画像に対して膨張・収縮のノイズ除去処理を複数回施し、商品間の隙間程度の微細な商品不存在領域をノイズとして除去する(S64)。
この結果、図13(b)に示すように、ノイズの除去された二値画像70が生成される。因みに、同図(a)の修正画像68の場合にはペットボトル1本が棚段から取り去られているため、二値画像70においてはその部分Yのみが商品不存在領域として白表示されている。
At this point, the gap between the products is also recognized as a product non-existing region and is displayed in white in the binary image.
For this reason, the face-up
As a result, as shown in FIG. 13B, a noise-removed
つぎにフェイスアップ度算出部35は、上記の二値画像70に対し境界線追跡処理を施し、商品存在領域の境界座標(輪郭線を構成する画素の座標)を検出する(S65)。
この結果、図13(c)に示すように、商品存在領域の外縁を画する境界線71と、その内部に配置された商品不存在領域との境界線72が抽出される。
フェイスアップ度算出部35は、この境界線71,72の座標をメモリに格納する(S66)。
Next, the face-up
As a result, as shown in FIG. 13 (c), the
The face-up
つぎにフェイスアップ度算出部35は、図13(b)の二値画像70において黒く表示されている商品存在領域の重心を算出し(S67)、その座標をメモリに格納する(S68)。
ここで「重心」とは、平面図形を一点でバランス良く支えることができる点を意味する。図13(b)の商品存在領域の場合には、探索領域の中心よりもやや下側に白領域(商品不存在領域)が存在しているため、その重心は探索領域の中心点よりも若干上方向にずれることとなる。
Next, the face-up
Here, the “center of gravity” means that a plane figure can be supported in a balanced manner at one point. In the case of the product presence region in FIG. 13B, since the white region (product non-existence region) exists slightly below the center of the search region, the center of gravity is slightly higher than the center point of the search region. It will shift upward.
つぎにフェイスアップ度算出部35は、メモリに円の面積の初期値及び円の中心と重心間の距離の初期値としてゼロを設定した後(S69、S70)、商品存在領域に含まれる各画素について円領域増加処理を施す(S71)。
ここで「円領域増加処理」とは、各画素を円の中心に設定し、周囲の画素を円形に広げていく処理を意味する。
そして、ある画素を中心に拡張していった円が上記の境界線71または72に接した時点で、フェイスアップ度算出部35は円領域増加処理を停止し(S72)、それまでの円に含まれる画素数を円の面積として算出する(S73)。
図14は、この円領域増加処理のイメージを示す概念図であり、ある画素Zを円の中心に設定してその周囲の画素を円形に拡大していき、その一部が境界線72に接した時点で増加処理を停止させ、それまで拡大してきた画素を円の面積としてカウントする様子が描かれている。
つぎにフェイスアップ度算出部35は、当該円の中心画素と商品存在領域の重心座標間の距離を算出した後(S74)、メモリに格納されている円の面積と当該円の面積とを比較する(S75)。
この時点では円の面積としてゼロがメモリに設定されており、今回の円の面積の方が当然に大きいため、フェイスアップ度算出部35はその面積及び円の中心と重心間の距離を中心となった画素の座標に関連付けてメモリに格納する(S79)。
Next, the face-up
Here, the “circle area increasing process” means a process of setting each pixel at the center of a circle and expanding surrounding pixels into a circle.
When the circle expanded around a pixel touches the
FIG. 14 is a conceptual diagram showing an image of this circular area increasing process. A certain pixel Z is set at the center of the circle, and the surrounding pixels are enlarged in a circle. At this point, the increase processing is stopped, and the state in which the pixels that have been enlarged so far are counted as the area of the circle is depicted.
Next, the face-up
At this time, zero is set as the area of the circle in the memory, and the area of the current circle is naturally larger, so the face-up
フェイスアップ度算出部35は、水平インタレース方式によって商品存在領域に含まれる各画素について次々と上記の処理を施し、円の面積及び各円の中心と重心間の距離を算出する(S80、S81、S71〜S74)。
そして、新たに算出された円の面積が前回までの円の面積よりも大きい場合(S75)、面積は等しいが円の中心と重心間の距離が小さい場合(S76、S77)、あるいは面積が等しく距離も等しい場合(S76〜S78)には、当該円の面積及び距離を当該画素の座標に関連付けてメモリに格納し、それまでの値を更新する(S79)。
これに対し、算出された円の面積が前回までの円の面積よりも小さい場合(S75、S76)、あるいは同じ面積であっても円の中心と重心間の距離が大きい場合(S76〜S78)には、メモリの値を更新することなく、つぎの画素に移行する。
The face-up
If the newly calculated circle area is larger than the previous circle area (S75), the area is the same but the distance between the center of the circle and the center of gravity is small (S76, S77), or the areas are equal. If the distances are also equal (S76 to S78), the area and distance of the circle are stored in the memory in association with the coordinates of the pixel, and the values so far are updated (S79).
On the other hand, when the calculated circle area is smaller than the previous circle area (S75, S76), or when the distance between the center of the circle and the center of gravity is large even if the area is the same (S76 to S78). In this case, the process proceeds to the next pixel without updating the memory value.
以上の結果、図13(a)の修正画像68の場合には同図(d)に示すように、境界線71、72の間に代表円73が内挿されることとなる。
この代表円73の上端は外枠の境界線71に接しているが、右下側は商品不存在領域の境界線72によって遮られているため、その面積は比較的小さいレベルにとどまっている。また、代表円73の中心74が商品存在領域の重心75よりも左側に大きくずれてしまっている。
これに対しフェイスアップ度算出部35は、代表円73の中心74と重心75との距離を予め設定されたポイント換算テーブルに当てはめて減算ポイントを導き出し(S81)、このポイント分を代表円73の面積から減ずることによってフェイスアップ度を算出する(S82)。
つぎにフェイスアップ度算出部35は、このフェイスアップ度を修正画像68のIDに関連付けて算出結果記憶部36に登録する(S83)。
As a result, in the case of the corrected
The upper end of the
On the other hand, the face-up
Next, the face-up
以上により、修正画像68に関するフェイスアップ度の算出が完了すると、フェイスアップ度算出部35は加工画像記憶部34から次の修正画像を読み出し、上記と同様の処理を繰り返すことにより、そのフェイスアップ度を次々と算出していく。
図15はその一例を示すものであり、(a)の修正画像76においては、多数の商品が棚の前面から散点状に取り去られている様子が映し出されている。
これに対しフェイスアップ度算出部35は、白領域が多数散在する(b)の二値画像70を生成する。
つぎにフェイスアップ度算出部35は、黒で表現された商品存在領域の重心を算出し、メモリに格納する。
As described above, when the calculation of the face-up degree related to the corrected
FIG. 15 shows an example of this. In the modified
On the other hand, the face-up
Next, the face-up
つぎにフェイスアップ度算出部35は、この二値画像70に対して境界線追跡処理を施すことにより、(c)に示す境界線71、72を抽出する。
つぎにフェイスアップ度算出部35は、商品存在領域に属する各画素に対して円領域増加処理を施し、上記の境界線71、72間に内挿される円の面積及び重心からの距離を求める。
この結果、同図(d)に示すように、円の面積が最大で、かつ中心74が重心75に最も近い代表円73が得られる。
Next, the face-up
Next, the face-up
As a result, a
この代表円73の場合、その下端、左右両端が境界線71、72に囲まれているため、面積自体かなり狭小化されている。
また、円の中心74が商品存在領域の重心75から大きくずれており、フェイスアップ度算出部35によって比較的大きなポイントが減算される結果、修正画像76のフェイスアップ度はかなり低い値となる。
この修正画像76のフェイスアップ度も、フェイスアップ度算出部35によって算出結果記憶部36に登録される。
In the case of this
Further, the
The face-up degree of the corrected
これに対し図16の(a)に示す修正画像77は、図15(a)の修正画像76が撮影された直後に残された商品を中心部に寄せるフェイスアップ作業が行われた状態を映し出すものであり、フェイスアップ度算出部35によって(b)の二値画像70が生成された後、(c)の境界線71、72が抽出される。
そして、最終的には(d)に示すように、フェイスアップ度算出部35によって境界線71、72間に代表円73が内挿される。
この代表円73は、その上端及び下端が外枠の境界線71に接しており、面積が最大値となっている。また、その中心74が商品存在領域の重心75と一致しているため、フェイスアップ度算出部35によって代表円73の面積値がそのままフェイスアップ度として認定され、算出結果記憶部36に登録される。
On the other hand, the corrected
Finally, as shown in (d), the face-up
The upper and lower ends of the
図17は他の修正画像についてフェイスアップ度を算出する例を示すものであり、(a)の修正画像78においては多数の商品が棚の前面から取り去られてはいるが、フェイスアップ作業がきちんと実施され、残った商品が形良く集められている様子が映し出されている。
これに対しフェイスアップ度算出部35は、(b)の二値画像70を生成した後、(c)の境界線71、72を抽出する。
そしてフェイスアップ度算出部35は、(d)に示すように、境界線71、72間に代表円73を内挿させる。
図17(a)の修正画像78の場合、多くの商品が取り去られているため代表円73の面積自体は比較的小さなものとなっているが、その中心74が商品存在領域の重心75に極めて近いため、ポイントの減算は比較的小さいレベルに収る。
FIG. 17 shows an example of calculating the face-up degree for another modified image. In the modified
On the other hand, the face-up
Then, the face-up
In the case of the modified
なお、円の中心座標と商品存在領域の重心座標との距離を勘案して最終的なフェイスアップ度を算出するのは、以下の理由による。
(1)単純に「内挿された円の面積=フェイスアップ度」とすると、商品の残数が少ないながらもよくフェイスアップ作業が実施されている修正画像と、フェイスアップ作業が全く行われていないにもかかわらず、たまたま商品の残数が多い修正画像との間で逆転現象が生じ、フェイスアップ作業の達成度を評価する尺度となり得ない。
(2)フェイスアップ度の算定に際し、商品存在領域の重心の代わりに探索領域の中心と円の中心座標との距離を加味するとなると、図17(d)のように探索領域の中心79からは大きくずれているが良くフェイスアップ作業が実行されている修正画像について不当に低い評価が与えられることとなる。
The final face-up degree is calculated in consideration of the distance between the center coordinates of the circle and the center-of-gravity coordinates of the product presence area for the following reason.
(1) If simply “the area of the interpolated circle = the face-up degree”, the face-up work has been performed at all, as well as a modified image in which the face-up work is often performed even though the remaining number of products is small In spite of the absence, a reversal phenomenon occurs between the corrected images with a large number of remaining products, which cannot be a measure for evaluating the achievement degree of the face-up operation.
(2) When calculating the degree of face-up, if the distance between the center of the search area and the center coordinates of the circle is taken into account instead of the center of gravity of the product existing area, the
フェイスアップ度算出部35により、加工画像記憶部34内の全ての修正画像に対するフェイスアップ度の算出処理が完了すると、報告データ生成部37が起動し、これまでに得られたデータを人間が理解しやすい形に加工する。
図18はその一例を示すものであり、報告データ生成部37は、縦軸にフェイスアップ度を、横軸に時刻を設定した平面上に各修正画像のフェイスアップ度をプロットしたグラフを生成し、報告データ記憶部38に格納する。
このグラフには、特定店舗のフェイスアップ度の推移を示す曲線の他に、コンビニチェーンの優良店舗におけるフェイスアップ度の推移を示す曲線が比較対象として併記されている。
このグラフを閲覧することにより、ユーザは例えば以下のことを認識できる。
(1)該当店舗では全体的に曲線の振幅が激しいため、フェイスアップ作業が滞りがちである。
(2)優良店舗では全体的に曲線の振幅がなだらかであるため、フェイスアップ作業がこまめに実行されている。
(3)優良店舗では、昼の12時前後に大量に商品が売れたことによりフェイスアップ度が瞬間的に急落しているが、短時間のうちに元のレベルまで回復しており、フェイスアップ作業が即座に実施されている。これに対し、該当店舗でも昼時には大量に商品が売れてフェイスアップ度が同様に急落しているが、回復するまでに多くの時間を要しており、対応が悪い。
When the face-up
FIG. 18 shows an example, and the report
In this graph, in addition to the curve indicating the transition of the face-up degree of a specific store, a curve indicating the transition of the face-up degree at an excellent store of a convenience store chain is also written as a comparison target.
By browsing this graph, the user can recognize, for example, the following.
(1) Face up work tends to be delayed because the amplitude of the curve is strong overall in the corresponding store.
(2) Since the amplitude of the curve is gentle overall in excellent stores, face-up work is frequently performed.
(3) At excellent stores, the face-up level has plummeted due to a large amount of products sold around 12:00 noon, but it has recovered to its original level within a short time, and face-up Work is being carried out immediately. On the other hand, a large amount of products are sold at noon and the face-up level is dropping sharply at the corresponding store as well. However, it takes a lot of time to recover and the response is poor.
つぎに報告データ生成部37は、設定情報記憶部30に設定された粒度にしたがい、加工画像記憶部34から必要時刻の修正画像を抽出する。
つぎに報告データ生成部37は、これらを時刻順に配列させると共に、PDF等の汎用のファイル形式に変換することによって画像帳票を生成し、報告データ記憶部38に登録する。
図19は、粒度が「2時間おき」に設定された画像帳票80を示すものであり、00:00〜22:00までの合計12枚の修正画像が配列されている。また、各修正画像には時刻表示の他に、それぞれのフェイスアップ度が記載されている。
この画像帳票80を閲覧することにより、ユーザは予め設定した時間間隔で当該店舗におけるフェイスアップ作業の達成度を数値及び画像によって素早く確認することができる。
Next, the report
Next, the report
FIG. 19 shows an
By browsing the
上記のグラフ及び画像帳票80は、上記のように報告データ生成部37によって一旦報告データ記憶部38に格納された後、以下の要領でユーザの通信端末18に送信される。
(1)1日1回、ユーザが通信端末18のWebブラウザから所定のURLにアクセスし、報告データの配信を求める。
(2)これを受けた報告データ送信部39が、当該ユーザ宛の報告データ一覧ページを生成し、通信端末18に送信する。
(3)ユーザが同ページ中で最新日付の報告データをクリックしてダウンロードを求めると、報告データ送信部39から該当のグラフ及び画像帳票が送信され、通信端末18のハードディスクに格納される。
The graph and
(1) Once a day, a user accesses a predetermined URL from the web browser of the
(2) Upon receiving this, the report
(3) When the user clicks on the latest date report data on the same page to request download, the report
この報告データ(フェイスアップ度のグラフ及び画像帳票80)を眺めることにより、ユーザは特定店舗における前日のフェイスアップ状況を概観でき、問題のない店舗についてはそれ以上の手間暇をかけることを省略できる。
これに対し、フェイスアップ作業が滞り勝ちな店舗についてはより細かい分析を行い、問題点を個別に指摘することとなる。この際、ユーザはセンターサーバ12に対して当該店舗のネットワークカメラ16に関連付けられた全元画像、全修正画像、及び全フェイスアップ度データの配信を要求し、報告データ生成部37及び報告データ送信部39を介して送信されたこれらのデータについて逐一検討を加えることもできる。
By looking at this report data (face-up degree graph and image form 80), the user can overview the face-up situation of the previous day at a specific store, and can save time and effort for stores without problems. .
On the other hand, for stores where face-up work is likely to be delayed, a finer analysis is performed and problems are pointed out individually. At this time, the user requests the
上記の実施形態にあっては、加工画像記憶部34内に蓄積された一連の修正画像についてフェイスアップ度を算出する例を示したが、この発明はこれに限定されるものではなく、商品陳列棚を撮影した1枚の静止画像について個別にフェイスアップ度を算出する目的にも当然適用可能である。
この場合、最初から遮蔽物の映っていない静止画像が用意されているのであれば、上記した遮蔽物を除去するための修正処理を行う必要はない。
In the above embodiment, the example in which the face-up degree is calculated for a series of corrected images accumulated in the processed
In this case, if a still image without a shielding object is prepared from the beginning, it is not necessary to perform the correction process for removing the shielding object.
上記の実施形態にあっては、代表円73の中心と商品存在領域の重心との距離を所定の尺度でマイナスポイントに換算し、これを代表円73の面積から減算することによってフェイスアップ度を求める例を示したが、上記距離の評価方法はこれに限定されるものではない。
例えば、上記距離の短さをプラスポイントに換算し、これを代表円73の面積に加算することによってフェイスアップ度を求めてもよい。
In the above embodiment, the distance between the center of the
For example, the face-up degree may be obtained by converting the short distance to a plus point and adding it to the area of the
上記のように、境界線71、72間に代表円73を内挿させる代わりに、他の図形(例えば正多角形)を代表図形として内挿させるように構成することもできる。
この場合、上記と同様、その図形の面積と、図形の中心から商品存在領域の重心までの距離を勘案してフェイスアップ度が算出される。
As described above, instead of inserting the
In this case, as described above, the face-up degree is calculated in consideration of the area of the figure and the distance from the center of the figure to the center of gravity of the product existing area.
10 フェイスアップ度評価システム
12 センターサーバ
14 コンビニ店舗
16 ネットワークカメラ
18 通信端末
20 操作端末
22 インターネット
23 商品陳列棚
24 元画像登録部
26 元画像記憶部
28 設定処理部
30 設定情報記憶部
32 画像加工部
34 加工画像記憶部
35 フェイスアップ度算出部
36 算出結果記憶部
37 報告データ生成部
38 一旦報告データ記憶部
39 報告データ送信部
40 入力装置
41 ディスプレイ
42 設定フォーム
43 探索領域設定画面
44 開始ボタン
45 探索領域設定枠
46 決定ボタン
47 閾値設定画面
48 開始ボタン
49 閾値設定領域枠
50 マウスポインタ
51 ポップアップウィンドウ
52 入力欄
53 決定ボタン
54 マスク
55 粒度設定画面
56 決定ボタン
60 先頭フレーム画像
62 二値画像
64 二値画像
65 基準画像αにおける対応領域の画素群
66 切除部分
68 修正画像
70 二値画像
71 境界線
72 境界線
73 代表円
74 中心
75 重心
76 修正画像
77 修正画像
78 修正画像
79 探索領域の中心
80 画像帳票
α 基準画像
10 Face-up evaluation system
12 Center server
14 Convenience store
16 Network camera
18 Communication terminal
20 Operation terminal
22 Internet
23 Product display shelf
24 Original image registration part
26 Original image storage
28 Setting processing section
30 Setting information storage
32 Image processing section
34 Processed image storage
35 Face-up degree calculator
36 Calculation result storage
37 Report data generator
38 Report data storage
39 Report data transmitter
40 input devices
41 display
42 Settings form
43 Search area setting screen
44 Start button
45 Search area setting frame
46 OK button
47 Threshold setting screen
48 Start button
49 Threshold setting area frame
50 Mouse pointer
51 pop-up window
52 Input field
53 OK button
54 Mask
55 Grain setting screen
56 OK button
60 First frame image
62 Binary image
64 binary image
65 Pixel group of corresponding area in reference image α
66 Resection
68 Corrected image
70 Binary image
71 border
72 border
73 representative circle
74 center
75 center of gravity
76 Corrected image
77 Corrected image
78 Corrected image
79 Center of search area
80 Image form α Reference image
Claims (10)
予め設定された閾値を参照し、上記画像中において商品が配置されていない商品不存在領域を画素単位で識別する商品不存在領域識別手段と、
商品存在領域と商品不存在領域とを二値化した二値画像を生成する手段と、
上記二値画像に対して境界線追跡処理を施し、商品存在領域の外縁を画する境界線と、その内部に配置された商品不存在領域との境界線と、を抽出する手段と、
上記商品存在領域の重心座標を基準座標として算出する基準座標算出手段と、
商品存在領域に含まれる各画素を中心に領域増加処理を次々に実施し、上記の境界線間に内挿される円または正多角形を複数生成する手段と、
上記円または正多角形の中で最も面積が大きく、かつその中心画素が上記基準座標に最も近いものを代表図形として選択する手段と、
上記代表図形における中心画素と上記基準座標間の距離に対応した評価ポイントを算出する手段と、
上記代表図形の面積に上記評価ポイントを適用することによってフェイスアップ度を算出する手段と、
上記フェイスアップ度を当該画像に関連付けて所定の記憶手段に格納する手段と、
この記憶手段に格納された、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を、時系列に沿ってプロットしたグラフを生成する手段と、
を備えたことを特徴とするフェイスアップ度評価システム。 Means for reading an image of the product display shelf,
A product non-existing area identifying means for referring to a pre-set threshold and identifying a non-existing product non-existing area in the image in a pixel unit;
Means for generating a binary image obtained by binarizing the product presence area and the product absence area;
Means for performing boundary line tracking processing on the binary image , and extracting a boundary line that defines an outer edge of the product existing area and a boundary line between the product non-existing area disposed therein ;
Reference coordinate calculation means for calculating the center-of-gravity coordinates of the product presence area as reference coordinates;
Center one after another real subjected to area increase process in each pixel included in the product existence region, means for generating multiple circular or regular polygon interpolated between said border,
Means for selecting, as a representative figure, one having the largest area among the circles or regular polygons and the center pixel of which is closest to the reference coordinates;
Means for calculating an evaluation point corresponding to the distance between the central pixel in the representative figure and the reference coordinates;
Means for calculating the face-up degree by applying the evaluation point to the area of the representative figure;
Means for associating the face-up degree with the image and storing it in a predetermined storage means;
Means for generating a graph in which the face-up degrees related to a plurality of images of the same product display shelf photographed at predetermined time intervals stored in the storage means are plotted in time series;
A face-up degree evaluation system characterized by comprising
上記の画像を時系列に沿って配列すると共に、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度が格納された上記記憶手段を参照して、各画像にそれぞれのフェイスアップ度を付記し、これらを所定のファイル形式に変換して画像帳票を生成する手段と、
を備えたことを特徴とする請求項1に記載のフェイスアップ度評価システム。 Storage means storing a plurality of images of the same product display shelf photographed at a predetermined time interval;
Referring to the storage means in which the images are arranged in time series and the face-up degrees related to a plurality of images of the same product display shelf photographed at a predetermined time interval are stored. Means for generating an image form by adding the degree of face-up to each, converting them to a predetermined file format,
The face-up degree evaluation system according to claim 1 , further comprising:
上記商品不存在領域識別手段が、当該探索領域に含まれる画素について上記の識別処理を実行することを特徴とする請求項1〜3の何れかに記載のフェイスアップ度評価システム。 Storage means for presetting the search area in the image,
It said product absence area identifying means, face-up evaluation system according to any one of claims 1 to 3, the pixels included in the search area and executes the identification process.
上記商品不存在領域識別手段が、各棚段の領域に含まれる画素については対応の閾値を参照して上記の識別処理を実行することを特徴とする請求項1〜4の何れかに記載のフェイスアップ度評価システム。 The above threshold is set for each area corresponding to each shelf of the product display shelf,
It said product absence area identifying means, according to any one of claims 1-4 for the pixels included in the region of each shelf stage by referring to the correspondence threshold and executes the above-described identification processing Face up degree evaluation system.
商品陳列棚が撮影された画像を読み込む手段、
予め設定された閾値を参照し、上記画像中において商品が配置されていない商品不存在領域を画素単位で識別する商品不存在領域識別手段、
商品存在領域と商品不存在領域とを二値化した二値画像を生成する手段、
上記二値画像に対して境界線追跡処理を施し、商品存在領域の外縁を画する境界線と、その内部に配置された商品不存在領域との境界線と、を抽出する手段、
上記商品存在領域の重心座標を基準座標として算出する基準座標算出手段、
商品存在領域に含まれる各画素を中心に領域増加処理を次々に実施し、上記の境界線間に内挿される円または正多角形を複数生成する手段、
上記円または正多角形の中で最も面積が大きく、かつその中心画素が上記基準座標に最も近いものを代表図形として選択する手段、
上記代表図形における中心画素と上記基準座標間の距離に対応した評価ポイントを算出する手段、
上記代表図形の面積に上記評価ポイントを適用することによってフェイスアップ度を算出する手段、
上記フェイスアップ度を当該画像に関連付けて所定の記憶手段に格納する手段、
この記憶手段に格納された、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度を、時系列に沿ってプロットしたグラフを生成する手段、
として機能させることを特徴とするフェイスアップ度評価プログラム。 Computer
Means for reading an image of a product display shelf,
Product non-existence area identifying means for referring to a preset threshold and identifying a product non-existence area in which no product is arranged in the image in pixel units;
Means for generating a binary image obtained by binarizing the product presence area and the product absence area;
Means for performing a boundary line tracking process on the binary image , and extracting a boundary line defining an outer edge of the product existing area and a boundary line between the product non-existing area arranged therein ;
Reference coordinate calculation means for calculating the center-of-gravity coordinates of the product presence area as reference coordinates;
Center one after another real subjected to area increase process in each pixel included in the product existing region, means for generating a plurality circular or regular polygon interpolated between said border,
Means for selecting, as a representative figure, one having the largest area among the circles or regular polygons and the center pixel of which is closest to the reference coordinates;
Means for calculating an evaluation point corresponding to a distance between a central pixel in the representative figure and the reference coordinates;
Means for calculating a face-up degree by applying the evaluation point to the area of the representative figure;
Means for associating the face-up degree with the image and storing it in a predetermined storage means;
Means for generating a graph in which the face-up degrees related to a plurality of images of the same product display shelf photographed at predetermined time intervals stored in the storage means are plotted in time series;
A face-up degree evaluation program characterized by functioning as
所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像を格納しておく記憶手段、
上記の画像を時系列に沿って配列すると共に、所定の時間間隔をおいて撮影された同一商品陳列棚の複数の画像に係るフェイスアップ度が格納された上記記憶手段を参照して、各画像にそれぞれのフェイスアップ度を付記し、これらを所定のファイル形式に変換して画像帳票を生成する手段、
として機能させることを特徴とする請求項6に記載のフェイスアップ度評価プログラム。 Computer
Storage means for storing a plurality of images of the same product display shelf photographed at a predetermined time interval;
Referring to the storage means in which the images are arranged in time series and the face-up degrees related to a plurality of images of the same product display shelf photographed at a predetermined time interval are stored. Means for generating the image form by appending the degree of face-up to each and converting them to a predetermined file format,
The face-up degree evaluation program according to claim 6 , wherein
上記画像中の探索領域を予め設定しておく記憶手段、
当該探索領域に含まれる画素について上記の商品不存在領域を識別する手段、
として機能させることを特徴とする請求項6〜8の何れかに記載のフェイスアップ度評価プログラム。 Computer
Storage means for presetting a search area in the image;
Means for identifying the product non-existing region for the pixels included in the search region;
9. The face-up degree evaluation program according to claim 6, wherein the face-up degree evaluation program is executed as described above.
商品陳列棚の各棚段に対応する領域単位で閾値を設定しておく記憶手段、
各棚段の領域に含まれる画素について対応の閾値を適用して上記の商品不存在領域を識別する手段、
として機能させることを特徴とする請求項6〜9の何れかに記載のフェイスアップ度評価プログラム。 Computer
Storage means for setting a threshold value for each area corresponding to each shelf of the product display shelf;
Means for identifying the product non-existing region by applying a corresponding threshold value for the pixels included in the region of each shelf;
The face-up degree evaluation program according to claim 6, wherein the face-up degree evaluation program according to claim 6 is performed .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004238827A JP4473676B2 (en) | 2004-08-18 | 2004-08-18 | Face-up degree evaluation system and evaluation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004238827A JP4473676B2 (en) | 2004-08-18 | 2004-08-18 | Face-up degree evaluation system and evaluation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006059038A JP2006059038A (en) | 2006-03-02 |
JP4473676B2 true JP4473676B2 (en) | 2010-06-02 |
Family
ID=36106471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004238827A Expired - Fee Related JP4473676B2 (en) | 2004-08-18 | 2004-08-18 | Face-up degree evaluation system and evaluation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4473676B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6008339B1 (en) * | 2015-04-28 | 2016-10-19 | パナソニックIpマネジメント株式会社 | Product monitoring device, product monitoring system and product monitoring method |
JP7361233B1 (en) | 2023-03-02 | 2023-10-13 | セーフィー株式会社 | Systems, methods, and programs |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6043094B2 (en) * | 2012-05-30 | 2016-12-14 | 辛東主 | Product display information aggregation system |
JP6160243B2 (en) * | 2013-05-27 | 2017-07-12 | 日本電気株式会社 | Detection apparatus, detection method, and detection program |
JP6699547B2 (en) * | 2014-03-12 | 2020-05-27 | 日本電気株式会社 | Display situation analysis device, display situation analysis method and program |
JP6623565B2 (en) * | 2015-06-03 | 2019-12-25 | 日本電気株式会社 | Shelf allocation information generation device, shelf allocation information generation system, shelf allocation information generation method, imaging device, and program |
JP6256885B2 (en) * | 2016-03-31 | 2018-01-10 | パナソニックIpマネジメント株式会社 | Facility activity analysis apparatus, facility activity analysis system, and facility activity analysis method |
JP6288567B2 (en) * | 2016-07-11 | 2018-03-07 | パナソニックIpマネジメント株式会社 | Facility operation support apparatus and facility operation support method |
JP6956485B2 (en) * | 2016-12-09 | 2021-11-02 | 東芝テック株式会社 | Display control device and program |
JP7314227B2 (en) * | 2016-12-09 | 2023-07-25 | 東芝テック株式会社 | Display controller and program |
JP6916707B2 (en) * | 2017-10-16 | 2021-08-11 | 信越ポリマー株式会社 | Product display shelf monitoring system |
CN107833365A (en) * | 2017-11-29 | 2018-03-23 | 武汉市哈哈便利科技有限公司 | A kind of self-service system of gravity sensing and image recognition dual control |
US20220358745A1 (en) * | 2019-10-31 | 2022-11-10 | Nec Corporation | Store monitoring system, store monitoring apparatus, store monitoring method and recording medium |
JP7332047B2 (en) * | 2020-06-01 | 2023-08-23 | 日本電気株式会社 | Tracking Devices, Tracking Systems, Tracking Methods, and Programs |
JPWO2023062724A1 (en) * | 2021-10-12 | 2023-04-20 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08315155A (en) * | 1995-05-19 | 1996-11-29 | Matsushita Electric Ind Co Ltd | Graphic preprocessing unit |
JP2000149026A (en) * | 1998-11-16 | 2000-05-30 | Dainippon Printing Co Ltd | Image trimming device |
JP2002024514A (en) * | 2000-07-07 | 2002-01-25 | Settsu:Kk | Sales promotion supporting system |
JP2002366621A (en) * | 2001-06-05 | 2002-12-20 | Komatsu Noriko | Shop operation directing information providing method and program for the server |
JP3908047B2 (en) * | 2002-02-04 | 2007-04-25 | 富士通株式会社 | Display state monitoring method and display state monitoring program |
-
2004
- 2004-08-18 JP JP2004238827A patent/JP4473676B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6008339B1 (en) * | 2015-04-28 | 2016-10-19 | パナソニックIpマネジメント株式会社 | Product monitoring device, product monitoring system and product monitoring method |
WO2016174804A1 (en) * | 2015-04-28 | 2016-11-03 | パナソニックIpマネジメント株式会社 | Product monitoring device, product monitoring system, and product monitoring method |
US20180122062A1 (en) * | 2015-04-28 | 2018-05-03 | Panasonic Intellectual Property Management Co., Ltd. | Product monitoring device, product monitoring system, and product monitoring method |
US10410333B2 (en) | 2015-04-28 | 2019-09-10 | Panasonic Intellectual Property Management Co., Ltd. | Product monitoring device, product monitoring system, and product monitoring method |
JP7361233B1 (en) | 2023-03-02 | 2023-10-13 | セーフィー株式会社 | Systems, methods, and programs |
Also Published As
Publication number | Publication date |
---|---|
JP2006059038A (en) | 2006-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10395120B2 (en) | Method, apparatus, and system for identifying objects in video images and displaying information of same | |
JP4473676B2 (en) | Face-up degree evaluation system and evaluation program | |
CN101809601B (en) | Planogram extraction based on image processing | |
JPH1097633A (en) | Method and system for analyzing pattern of movement of man | |
JP5667061B2 (en) | System and method for scene analysis of multiple viewpoints | |
CN109508664B (en) | Dish identification pricing method based on deep learning | |
CN108124184A (en) | A kind of method and device of living broadcast interactive | |
US20110227914A1 (en) | Generation of a depth map | |
EP3392829B1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
CN104885111A (en) | Control method for displaying merchandising information on information terminal | |
GB2591583A (en) | Machine learning for digital image selection across object variations | |
CN109492607A (en) | A kind of information-pushing method, information push-delivery apparatus and terminal device | |
JP2016218821A (en) | Marketing information use device, marketing information use method and program | |
CN110119675B (en) | Product identification method and device | |
KR20220085038A (en) | System for managing sanitary condition according to analysis of behavior in kitchen based on ai | |
JP6586706B2 (en) | Image analysis apparatus, image analysis method, and program | |
JP4456437B2 (en) | Image processing system, image processing program, and image processing method | |
CN104318344A (en) | Consumption characteristic-based product production assistant decision making method and system | |
JP3993192B2 (en) | Image processing system, image processing program, and image processing method | |
CN104268773A (en) | Background household product decision-making assisting method and system based on consumption feature information | |
US20200065631A1 (en) | Produce Assessment System | |
CN115620223A (en) | Catering shop hygiene detection and shop recommendation method based on image recognition | |
CN110487016B (en) | Method, device and system for precisely pushing information to intelligent refrigerator | |
CN113129112A (en) | Article recommendation method and device and electronic equipment | |
WO2023021590A1 (en) | Display control device, display control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100305 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4473676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |