JP7160086B2 - 情報処理装置、制御方法、及びプログラム - Google Patents
情報処理装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP7160086B2 JP7160086B2 JP2020508131A JP2020508131A JP7160086B2 JP 7160086 B2 JP7160086 B2 JP 7160086B2 JP 2020508131 A JP2020508131 A JP 2020508131A JP 2020508131 A JP2020508131 A JP 2020508131A JP 7160086 B2 JP7160086 B2 JP 7160086B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- feature information
- information
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
Description
商品の特徴情報は、その商品の商品画像又はその商品画像から抽出される画像特徴を示す。
商品の特徴情報は、その商品の商品画像又はその商品画像から抽出される画像特徴を示す。
<概要>
図1及び図2は、実施形態1に係る情報処理装置(図3でその構成を例示する情報処理装置2000)の動作を概念的に例示する図である。ここで、図1と図2を用いて説明する情報処理装置2000の動作は、情報処理装置2000の理解を容易にするための例示であり、情報処理装置2000の動作を限定するものではない。情報処理装置2000の動作の詳細やバリエーションについては後述する。
本実施形態の情報処理装置2000によれば、陳列場所20が撮像された撮像画像12について、商品として認識されなかった物体を含む部分画像14を示す第1表示30が表示される。情報処理装置2000のユーザは、この第1表示30を見ることで、どの商品が画像処理によって商品として認識できなかったのかを、容易に把握することができる。特に、撮像画像12に同一の商品が複数含まれており、その中に商品として認識できたものとできなかったものがあったとする。この場合、情報処理装置2000のユーザは、第1表示30を見ることで、その商品の外見を表す情報として不足している情報を容易に把握することができる。
図3は、情報処理装置2000の機能構成を例示する図である。情報処理装置2000は、表示制御部2040、第1入力受付部2060、第2入力受付部2080、第3入力受付部2100、及び登録部2120を有する。表示制御部2040は、第1表示30をディスプレイ装置60に表示させる。前述したように、第1表示30は、その中に含まれる物体が商品として認識されなかった部分画像を表す。第1入力受付部2060は、1つ以上の第1表示30を選択する入力を受け付ける。第2入力受付部2080は、商品識別情報の入力を受け付ける。第3入力受付部2100は、選択終了操作を表す入力を受け付ける。登録部2120は、選択終了操作を受けるまでに選択された各第1表示30が表す部分画像に基づく特徴情報と、入力された商品識別情報とを対応づけて記憶装置120に記憶させる。以下、特徴情報と商品識別情報を対応づけて記憶装置120に記憶させる処理を「登録処理」とも表記する。
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
カメラ10は、撮像を行い、撮像結果を表す画像を生成することができる任意の撮像装置である。例えばカメラ10は、スマートフォンやタブレット端末などに設けられているカメラである。
ディスプレイ装置60は、任意のディスプレイ装置である。例えばディスプレイ装置60は、カメラ10と共にスマートフォンやタブレット端末などに設けられる。
図5は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。図5では、情報処理装置2000が認識部2020を有することを前提としている。認識部2020は撮像画像12を取得する(S102)。認識部2020は、撮像画像12に対して物体検出を行うことで、撮像画像12から部分画像14を抽出する(S104)。認識部2020は、各部分画像14を対象に商品認識を行う(S106)。表示制御部2040は、第1表示30をディスプレイ装置60に表示させる(S108)。第1入力受付部2060は、1つ以上の第1表示30を選択する入力を受け付ける(S110)。第2入力受付部2080は、商品識別情報の入力を受け付ける(S112)。第3入力受付部2100は、選択終了操作を表す入力を受け付ける(S114)。登録部2120は、選択終了操作を受けるまでに選択された各第1表示30が表す部分画像の特徴情報と、入力された商品識別情報とを対応づけて、記憶装置120に記憶させる(S116)。
情報処理装置2000は、撮像画像12を取得する(S102)。例えば情報処理装置2000は、撮像画像12が記憶されている記憶装置から撮像画像12を取得する。撮像画像12が記憶されている記憶装置は、情報処理装置2000の内部に設けられていてもよいし、外部に設けられていてもよい。その他にも例えば、情報処理装置2000は、ユーザによる入力操作によって入力される撮像画像12を取得する。その他にも例えば、情報処理装置2000は、他の装置によって送信される撮像画像12を受信することで、撮像画像12を取得する。
認識部2020は、撮像画像12に対して物体検出を行うことで、物体をその内部に含む部分画像14を撮像画像12から抽出する(S104)。ここで、画像に対して物体検出処理を行うことで、その内部に物体を含むと推測される部分画像を抽出する技術には、既存の技術を利用することができる。
認識部2020は、各部分画像14について、その中に含まれる物体に相当する商品の特定(商品認識)を行う(S106)。認識部2020は、この処理によってその中に含まれる物体に相当する商品を特定できなかった部分画像14を、第1表示30の表示対象である「その中に含まれる物体が商品として認識されなかった部分画像14」とする。ここで、画像から抽出された部分画像に含まれる物体について商品認識を行う技術、すなわち、部分画像中の物体がどの商品を表すかを特定する技術には、既存の技術を利用することができる。
表示制御部2040は、複数の部分画像14のうち、その中の物体が商品として認識されなかった部分画像14について、ディスプレイ装置60に対する第1表示30の表示を行う(S108)。第1表示30は、対応する部分画像を表すことができる任意の表示とすることができる。
第1入力受付部2060は、第1表示30を選択する入力を受け付ける(S110)。ここで、ディスプレイ装置上の表示に対する選択を受け付ける技術には、既存の技術を利用することができる。例えば第1入力受付部2060は、第1表示30をタップする操作やマウスでクリックする操作などを、第1表示30を選択する入力操作として受け付ける。
第2入力受付部2080は、商品識別情報の入力を受け付ける(S112)。ここで、商品識別情報は、商品を識別するための任意の情報である。例えば商品識別情報は、JAN(Japanese Article Number)コードなどの識別番号や、商品名などである。
例えば第2入力受付部2080は、商品識別情報の候補をディスプレイ装置60に表示させ、その中から1つの商品識別情報を選択する入力を受け付ける。商品識別情報の候補は、複数の入力候補をリスト表示し、その入力候補の選択を受け付ける入力インタフェース(例えばプルダウンリスト)を利用して表示させることが好適である。
例えば第2入力受付部2080は、その中の物体が商品として認識された部分画像14を表す表示(第2表示90)の選択を、商品識別情報の入力として受け付けてもよい。すなわち、第2入力受付部2080は、選択された第2表示90に対応する部分画像14に含まれる商品の商品識別情報を、入力として受け付ける。このケースでは、表示制御部2040は、第1表示30だけでなく第2表示90もディスプレイ装置60に表示させる。
その他にも例えば、第1入力受付部2060は、商品から商品識別情報を読み取る操作を受け付けてもよい。例えば、商品に付されているバーコードをバーコードリーダで読み取ることで、その商品の商品識別情報を入力できるようにする。なお、読み取りに利用できるものはバーコードに限定されず、QR コード(登録商標)などの種々のシンボルを利用することができる。
第3入力受付部2100は、選択終了操作を受け付ける(S114)。選択終了操作は、第1表示30を選択する操作や商品識別情報を入力する操作と区別可能な任意の操作とすることができる。例えば、ディスプレイ装置60に「選択終了」というボタンを表示しておき、このボタンに対する入力操作を選択終了操作として受け付けるようにする(図2参照)。
登録部2120は、選択終了操作を受け付けるまでに選択された1つ以上の第1表示30それぞれに対応する部分画像14に基づく特徴情報を、第2入力受付部2080が受け付けた商品識別情報に対応づけて、記憶装置120に記憶させる(S116)。
商品識別情報に対応づけて記憶装置120に記憶させた特徴情報は、その後に行われる商品認識に利用できる。すなわち、将来得られる撮像画像12から、商品の認識を行うために利用できる。
図13は、実施形態2の情報処理装置2000の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
画像解析によって撮像画像から物体を検出する場合、ノイズの影響などにより、互いに近くにある複数の物体が誤って1つの物体として検出されてしまうことがある。その結果、1つの部分画像14に複数の物体が含まれてしまう。このような部分画像14を1つの商品に対応づけなければならないと、その商品を表す適切な画像を記憶装置120に記憶させることができない。
例えば分割部2140は、部分画像14の分割数を指定する入力操作を受け付け、選択された第1表示30を、受け付けた分割数で等分する。例えば、図15は、分割数の入力を受け付けるケースを例示する図である。図15では、第1表示30が選択されている。この第1表示30の中には、横方向に3個、縦方向に2個の商品が含まれている。そこでユーザは、選択画面40に含まれる入力エリア140に対し、「横:3個」、「縦:2個」という入力を行う。そしてユーザは、「分割実行」というボタンを押す。その結果、分割部2140は、第1表示30に対応する部分画像14を、横方向に3等分、なおかつ縦方向に2等分する。
例えば分割部2140は、その中の物体が商品として認識された部分画像14のサイズに基づいて、部分画像14を分割してもよい。例えば分割部2140は、その中の物体が商品として認識された部分画像14のサイズに基づいて、基準サイズを決定する。分割部2140は、選択された第1表示30が表す部分画像14のサイズと基準のサイズとの比率から、その部分画像14の横方向と縦方向それぞれの分割数を決定する。そして分割部2140は、決定した分割数で部分画像14を分割する。
商品がその中に含まれない部分画像14が存在しうる。このような部分画像14を示す第1表示30は、ユーザ操作によって消せるようにしてもよい。ここで、画面上の表示を消去することを指示するユーザ操作を受け付け、それに応じて当該表示を消去する技術には、既存の技術を利用することができる。
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図4によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
実施形態3の情報処理装置2000は、以下で説明する点を除き、実施形態3の情報処理装置2000は、実施形態1の情報処理装置2000又は実施形態2の情報処理装置2000と同様の機能を有する。
前述したように、商品識別情報と対応づけて記憶させる部分画像14の利用方法の一つとして、その商品識別情報で特定される商品を撮像画像から認識するために利用するという利用方法がある。この商品認識の方法としては、撮像画像から検出された物体の各特徴点(コーナー、エッジ、又はブロブなど)について得られる局所特徴量(画像特徴)と、部分画像14に含まれる物体の各特徴点について得られる局所特徴量とをマッチングするという方法がある。そして、このマッチングを精度良く行うためには、部分画像14に含まれる物体について十分な数の特徴点が得られる必要がある。言い換えれば、その中に含まれる物体について十分な数の特徴点が得られない部分画像14は、商品認識に利用することが難しい。
記憶装置120には、第2入力受付部2080が受け付けた商品識別情報について、特徴情報が既に記憶されていることがありうる。この場合、既に記憶されている特徴情報との類似度合いが高い特徴情報は、少なくとも記憶装置120に記憶させる特徴情報のバリエーションを増やすという観点からは、重要度が低いと言える。
複数の第1表示30が選択された場合、或る第1表示30によって表される部分画像14の特徴情報が、他の第1表示30によって表される部分画像14の特徴情報と類似している可能性がある。このように互いに類似している特徴情報については、少なくとも記憶装置120に記憶させる特徴情報のバリエーションを増やすという観点からは、それらの特徴情報のうちの一部(例えば1つ)を記憶装置120に記憶させればよいと言える。
実施形態3の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図4によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
実施形態4の情報処理装置2000は、商品情報において商品識別情報と対応づけて記憶されている特徴情報を、所定の条件の下で記憶装置120から削除する。概念的には、情報処理装置2000は、商品認識に利用する際の有用性が低い特徴情報を削除する。
商品識別情報には、1つのみではなく、複数の特徴情報が対応づけられていることが好ましい。なぜなら、様々な方向から見た商品の外見それぞれについて特徴情報を用意しておくことで、商品がどのような向きで陳列されてもその商品を認識できるようになるためである。すなわち、商品識別情報に対応づけられている特徴情報のバリエーションを増やすことで、商品認識の精度を向上させることができる。
図18は、実施形態4の情報処理装置2000の機能構成を例示する図である。実施形態4の情報処理装置2000は判定部2160及び削除部2180を有する。判定部2160は、判定対象の特徴情報が所定の条件を満たすか否かを判定する。削除部2180は、判定対象の特徴情報が所定の条件を満たすと判定されたら、判定対象の特徴情報を記憶装置120から削除する。
実施形態4の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図4によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールが記憶される。
図19は、実施形態4の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。判定部2160は判定対象の特徴情報が所定の条件を満たすか否かを判定する(S202)。判定対象の特徴情報が所定の条件を満たすと判定された場合(S202:YES)、削除部2180は、判定対象の特徴情報を記憶装置120から削除する(S204)。判定対象の特徴情報が所定の条件を満たさないと判定された場合(S202:NO)、図19の処理は終了する。
情報処理装置2000が動作するタイミング(すなわち、特徴情報の削除を試みるタイミング)は様々である。例えば情報処理装置2000は、定期的に(例えば一週間や一ヶ月に一度)動作する。その他にも例えば、情報処理装置2000は、特徴情報が商品情報に追加されたことに応じて動作する。その他にも例えば、情報処理装置2000は、ユーザから所定の入力操作を受け付けたことに応じて動作する。
判定部2160は、記憶装置120に記憶されている全ての特徴情報を判定対象としてもよいし、その中の一部を判定対象としてもよい。後者の場合、例えば判定部2160は、前回判定を行った後に、対応する特徴情報が追加された商品識別情報を特定し、その商品識別情報に対応づけられている各特徴情報を判定対象とする。これは、特徴情報が新たに商品識別情報に対応付けられると、新たに対応づけられた特徴情報が有用なものでなかったり、以前からその商品識別情報に対応づけられていた特徴情報の有用性が低下したりする可能性があるためである。
判定部2160は、判定対象の特徴情報が所定の条件を満たしているか否かを判定する(S202)。この所定の条件としては、様々な条件を採用することができる。以下、所定の条件のバリエーションについて説明する。
その中に含まれる物体について十分な数の特徴点が得られない商品画像、又はそのような商品画像から得られた画像特徴は、商品認識に利用することが難しいため、商品認識に利用する際の有用性が低いと言える。そこで削除部2180は、特徴情報に含まれる特徴点(商品画像から検出される特徴点、又は画像特徴が示す特徴点)の数が所定値以下である特徴情報を、削除対象とする。すなわち、「特徴情報に含まれる特徴点の数が所定値以下である」という条件を、所定の条件とする。こうすることで、商品認識に利用することが難しい特徴情報、すなわち商品認識に利用する際の有用性が低い特徴情報を、記憶装置120から削除することができる。
例えば削除部2180は、商品認識において、認識対象の物体から得られる特徴情報との類似度が高い(例えば、所定値以上)と判定されることが少ない特徴情報を、削除対象とする。商品認識では、認識対象の物体の特徴情報が、商品情報に含まれる或る特徴情報と類似度が高いと判定されると、その物体はその特徴情報に対応づけられている商品識別情報を持つ商品であると認識される。そのため、認識対象の物体の特徴情報との類似度が高いと判定される頻度が高い特徴情報は、その商品の外見の特徴をよく表していると言える。逆に言えば、認識対象の物体の特徴情報との類似度が高いと判定されることが少ない特徴情報は、その商品の外見の特徴をあまりよく表していない蓋然性が高い。そこで削除部2180は、このように商品の外見の特徴をよく表していない特徴情報を削除対象とする。すなわち、「商品認識においてその商品画像と認識対象の物体の画像との類似度が高いと判定されることが少ない」という条件を、上記所定の条件とする。
例えば削除部2180は、同じ商品識別情報に対応づけられている複数の特徴情報のうち、互いに類似する特徴情報の一部を削除対象とする。すなわち、「同一の商品識別情報と対応づけられている他の特徴情報と類似度が高い」という条件を、所定の条件とする。互いに類似度が高い特徴情報については、それらのうちの一部(例えば1つ)を商品情報に含めておけば、それらの特徴情報によって表される特徴を持つ商品を認識できるためである。
商品識別情報に対応づけられている特徴情報の数が少なければ、特徴情報を削除する必要性が低いと言える。そこで判定部2160は、上述した各所定の条件に、「判定対象の特徴情報と対応づけられている商品識別情報に対応づけられている特徴情報の総数が所定値以上である」という条件を加えてもよい。
1. 商品識別情報と共に記憶装置に記憶されている商品の特徴情報について、所定の条件が満たされているか否かを判定する判定部と、
前記所定の条件が満たされている前記特徴情報を前記記憶装置から削除する削除部と、を有し、
前記商品の特徴情報は、その商品の画像及びその商品の画像から抽出される画像特徴の少なくとも1つを示す、情報処理装置。
2. 前記所定の条件は、前記特徴情報によって示される商品画像の中に含まれる物体について得られる特徴点が所定値以下という条件、及び前記特徴情報によって示される画像特徴が、前記物体について得られる特徴点が所定値以下である商品画像から抽出された画像特徴であるという条件の少なくとも1つを含む、1.に記載の情報処理装置。
3. 前記所定の条件は、所定期間以上、前記特徴情報が、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定されていないという条件、及び前記特徴情報が、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定される頻度が所定値以下であるという条件の少なくとも1つを含む、1.に記載の情報処理装置。
4. 前記所定の条件は、所定期間以上、前記特徴情報と、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定されておらず、なおかつ、その所定期間に行われた商品認識において、前記特徴情報に対応づけられている商品識別情報と対応づけられている他の特徴情報が、認識対象の物体から得られる特徴情報との類似度が前記所定値以上であると判定されたという条件を含む、3.に記載の情報処理装置。
5. 前記所定の条件は、前記特徴情報と、その特徴情報に対応づけられている商品識別情報と対応づけられている他の特徴情報との類似度が所定値以上であるという条件を含む、1.に記載の情報処理装置。
6. 前記所定の条件は、前記特徴情報に対応づけられている商品識別情報と対応づけられている特徴情報の総数が所定数以上であるという条件を含む、2.乃至5.いずれか一つに記載の情報処理装置。
商品識別情報と共に記憶装置に記憶されている商品の特徴情報について、所定の条件が満たされているか否かを判定する判定ステップと、
前記所定の条件が満たされている前記特徴情報を前記記憶装置から削除する削除ステップと、を有し、
前記商品の特徴情報は、その商品の画像及びその商品の画像から抽出される画像特徴の少なくとも1つを示す、制御方法。
8. 前記所定の条件は、前記特徴情報によって示される商品画像の中に含まれる物体について得られる特徴点が所定値以下という条件、及び前記特徴情報によって示される画像特徴が、前記物体について得られる特徴点が所定値以下である商品画像から抽出された画像特徴であるという条件の少なくとも1つを含む、7.に記載の制御方法。
9. 前記所定の条件は、所定期間以上、前記特徴情報が、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定されていないという条件、及び前記特徴情報が、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定される頻度が所定値以下であるという条件の少なくとも1つを含む、7.に記載の制御方法。
10. 前記所定の条件は、所定期間以上、前記特徴情報と、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定されておらず、なおかつ、その所定期間に行われた商品認識において、前記特徴情報に対応づけられている商品識別情報と対応づけられている他の特徴情報が、認識対象の物体から得られる特徴情報との類似度が前記所定値以上であると判定されたという条件を含む、9.に記載の制御方法。
11. 前記所定の条件は、前記特徴情報と、その特徴情報に対応づけられている商品識別情報と対応づけられている他の特徴情報との類似度が所定値以上であるという条件を含む、7.に記載の制御方法。
12. 前記所定の条件は、前記特徴情報に対応づけられている商品識別情報と対応づけられている特徴情報の総数が所定数以上であるという条件を含む、8.乃至11.いずれか一つに記載の制御方法。
Claims (10)
- 商品識別情報と共に記憶装置に記憶されている商品の特徴情報について、所定の条件が満たされているか否かを判定する判定部と、
前記所定の条件が満たされている前記特徴情報を前記記憶装置から削除する削除部と、を有し、
前記商品の特徴情報は、その商品の商品画像及びその商品画像から抽出される画像特徴の少なくとも1つを示し、
前記所定の条件は、所定期間以上、その特徴情報と認識対象の物体の画像の特徴情報との類似度が高いと判定されていない、かつ、当該所定期間において、当該特徴情報に対応づけられている商品識別情報を持つ商品が、所定回数以上商品として認識されたという条件である、情報処理装置。 - 前記所定の条件は、前記特徴情報によって示される前記商品画像の中に含まれる物体について得られる特徴点の数が所定値以下という条件、及び前記特徴情報によって示される画像特徴が、前記物体について得られる特徴点の数が所定値以下である商品画像から抽出された画像特徴であるという条件の少なくとも1つを含む、請求項1に記載の情報処理装置。
- 前記所定の条件は、所定期間以上、前記特徴情報が、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定されていないという条件、及び前記特徴情報が、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定される頻度が所定値以下であるという条件の少なくとも1つをさらに含む、請求項1に記載の情報処理装置。
- 前記所定の条件は、所定期間以上、前記特徴情報と、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定されておらず、なおかつ、その所定期間に行われた商品認識において、前記特徴情報に対応づけられている商品識別情報と対応づけられている他の特徴情報が、認識対象の物体から得られる特徴情報との類似度が前記所定値以上であると判定されたという条件をさらに含む、請求項3に記載の情報処理装置。
- 前記所定の条件は、前記特徴情報と、その特徴情報に対応づけられている商品識別情報と対応づけられている他の特徴情報との類似度が所定値以上であるという条件をさらに含む、請求項1に記載の情報処理装置。
- 前記所定の条件は、前記特徴情報に対応づけられている商品識別情報と対応づけられている特徴情報の総数が所定数以上であるという条件をさらに含む、請求項2乃至5いずれか一項に記載の情報処理装置。
- コンピュータによって実行される制御方法であって、
商品識別情報と共に記憶装置に記憶されている商品の特徴情報について、所定の条件が満たされているか否かを判定する判定ステップと、
前記所定の条件が満たされている前記特徴情報を前記記憶装置から削除する削除ステップと、を有し、
前記商品の特徴情報は、その商品の商品画像及びその商品画像から抽出される画像特徴の少なくとも1つを示し、
前記所定の条件は、所定期間以上、その特徴情報と認識対象の物体の画像の特徴情報との類似度が高いと判定されていない、かつ、当該所定期間において、当該特徴情報に対応づけられている商品識別情報を持つ商品が、所定回数以上商品として認識されたという条件である、制御方法。 - 前記所定の条件は、前記特徴情報によって示される前記商品画像の中に含まれる物体について得られる特徴点の数が所定値以下という条件、及び前記特徴情報によって示される画像特徴が、前記物体について得られる特徴点の数が所定値以下である商品画像から抽出された画像特徴であるという条件の少なくとも1つをさらに含む、請求項7に記載の制御方法。
- 前記所定の条件は、所定期間以上、前記特徴情報が、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定されていないという条件、及び前記特徴情報が、商品認識において認識対象の物体から得られる特徴情報との類似度が所定値以上であると判定される頻度が所定値以下であるという条件の少なくとも1つをさらに含む、請求項7に記載の制御方法。
- 請求項7乃至9いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018053452 | 2018-03-20 | ||
JP2018053452 | 2018-03-20 | ||
PCT/JP2019/008170 WO2019181442A1 (ja) | 2018-03-20 | 2019-03-01 | 情報処理装置、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019181442A1 JPWO2019181442A1 (ja) | 2021-03-11 |
JP7160086B2 true JP7160086B2 (ja) | 2022-10-25 |
Family
ID=67987685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508131A Active JP7160086B2 (ja) | 2018-03-20 | 2019-03-01 | 情報処理装置、制御方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11556729B2 (ja) |
JP (1) | JP7160086B2 (ja) |
WO (1) | WO2019181442A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001256570A (ja) | 2000-03-09 | 2001-09-21 | Seiko Epson Corp | 購入品管理支援システム |
JP2004086625A (ja) | 2002-08-27 | 2004-03-18 | Hitoshi Hongo | 顧客情報管理装置 |
JP2015127853A (ja) | 2013-12-27 | 2015-07-09 | 綜合警備保障株式会社 | 認証データベース管理方法、認証データベース管理装置及び認証データベース管理プログラム |
JP2016115108A (ja) | 2014-12-15 | 2016-06-23 | 富士通株式会社 | 認証装置、方法及びプログラム |
JP2016185845A (ja) | 2015-03-27 | 2016-10-27 | 日本電気株式会社 | 検品処理装置、検品処理方法及びプログラム |
CN104766416B (zh) | 2014-01-07 | 2017-11-28 | 东芝泰格有限公司 | 信息处理装置及其控制方法、店铺系统 |
WO2018016214A1 (ja) | 2016-07-21 | 2018-01-25 | 日本電気株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4302382B2 (ja) | 2002-10-07 | 2009-07-22 | 株式会社デンソー | 画像認識方法 |
US10579962B2 (en) | 2014-09-30 | 2020-03-03 | Nec Corporation | Information processing apparatus, control method, and program |
JP2018041261A (ja) * | 2016-09-07 | 2018-03-15 | 東芝テック株式会社 | 情報処理装置及びプログラム |
-
2019
- 2019-03-01 US US16/982,143 patent/US11556729B2/en active Active
- 2019-03-01 JP JP2020508131A patent/JP7160086B2/ja active Active
- 2019-03-01 WO PCT/JP2019/008170 patent/WO2019181442A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001256570A (ja) | 2000-03-09 | 2001-09-21 | Seiko Epson Corp | 購入品管理支援システム |
JP2004086625A (ja) | 2002-08-27 | 2004-03-18 | Hitoshi Hongo | 顧客情報管理装置 |
JP2015127853A (ja) | 2013-12-27 | 2015-07-09 | 綜合警備保障株式会社 | 認証データベース管理方法、認証データベース管理装置及び認証データベース管理プログラム |
CN104766416B (zh) | 2014-01-07 | 2017-11-28 | 东芝泰格有限公司 | 信息处理装置及其控制方法、店铺系统 |
JP2016115108A (ja) | 2014-12-15 | 2016-06-23 | 富士通株式会社 | 認証装置、方法及びプログラム |
JP2016185845A (ja) | 2015-03-27 | 2016-10-27 | 日本電気株式会社 | 検品処理装置、検品処理方法及びプログラム |
WO2018016214A1 (ja) | 2016-07-21 | 2018-01-25 | 日本電気株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11556729B2 (en) | 2023-01-17 |
JPWO2019181442A1 (ja) | 2021-03-11 |
US20210192269A1 (en) | 2021-06-24 |
WO2019181442A1 (ja) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11461753B2 (en) | Automatic vending method and apparatus, and computer-readable storage medium | |
US11853347B2 (en) | Product auditing in point-of-sale images | |
US9336459B2 (en) | Interactive content generation | |
JP7104948B2 (ja) | 在庫管理サーバ、在庫管理システム、在庫管理プログラムおよび在庫管理方法 | |
JP2016062545A (ja) | 商品登録装置 | |
JP6624063B2 (ja) | 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置 | |
JP2019046484A (ja) | 画像認識システム | |
CN109213397B (zh) | 数据处理方法、装置和用户端 | |
KR20220039578A (ko) | 사용자 선택 의류를 기반으로 의류 추천 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램 | |
JP7067812B2 (ja) | 情報処理装置、及び制御方法 | |
US20190043033A1 (en) | Point-of-sale terminal | |
JP6579456B1 (ja) | 検索対象情報絞込システム | |
US9805357B2 (en) | Object recognition apparatus and method for managing data used for object recognition | |
US9355395B2 (en) | POS terminal apparatus and commodity specification method | |
JP2021119475A (ja) | 絞込処理システム | |
JP7449505B2 (ja) | 情報処理システム | |
JP7160086B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN111626074A (zh) | 一种人脸分类方法及装置 | |
JP7328642B1 (ja) | 情報処理システム | |
US20170161529A1 (en) | Object recognition encoder | |
KR102399691B1 (ko) | 취향중심 또는 상황중심으로 의류 추천 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램 | |
US20220230514A1 (en) | Product recognition apparatus, system, and method | |
JP7041868B2 (ja) | 表示装置及び表示方法並びに表示システム | |
CN112507215A (zh) | 资源列表的形成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220926 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7160086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |