JP7279755B2 - Information processing device, information processing system, control method, and program - Google Patents

Information processing device, information processing system, control method, and program Download PDF

Info

Publication number
JP7279755B2
JP7279755B2 JP2021143146A JP2021143146A JP7279755B2 JP 7279755 B2 JP7279755 B2 JP 7279755B2 JP 2021143146 A JP2021143146 A JP 2021143146A JP 2021143146 A JP2021143146 A JP 2021143146A JP 7279755 B2 JP7279755 B2 JP 7279755B2
Authority
JP
Japan
Prior art keywords
feature points
information processing
captured image
area
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021143146A
Other languages
Japanese (ja)
Other versions
JP2021192275A (en
Inventor
八栄子 米澤
明子 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019151774A external-priority patent/JP6939855B2/en
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021143146A priority Critical patent/JP7279755B2/en
Publication of JP2021192275A publication Critical patent/JP2021192275A/en
Priority to JP2023074252A priority patent/JP2023095926A/en
Application granted granted Critical
Publication of JP7279755B2 publication Critical patent/JP7279755B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明は物品の管理に関する。 The present invention relates to item management.

撮像画像の画質を評価する技術が開発されている。例えば特許文献１は、撮像画像の輝度信号に対してヒストグラムを生成し、このヒストグラムに基づいて、コントラストと露出を評価する技術を開示している。その他にも例えば、特許文献２は、画像の明暗の分布を色成分ごとに生成し、このヒストグラムに基づいて、色成分ごとの画質不良レベルを判定する技術を開示している。 Techniques for evaluating image quality of captured images have been developed. For example, Patent Literature 1 discloses a technique of generating a histogram for the luminance signal of a captured image and evaluating contrast and exposure based on this histogram. In addition, for example, Patent Literature 2 discloses a technique of generating a distribution of brightness and darkness of an image for each color component and determining an image quality defect level for each color component based on this histogram.

特開２００３－３３３３８１号公報JP-A-2003-333381 特開２００７－０８８５５２号公報JP 2007-088552 A 国際公開第２０１６／０５２３８３号WO2016/052383

画像解析の活用方法の一つとして、物品の管理がある。例えば物品には、店舗の商品棚に陳列されている商品や、自動販売機に陳列される商品サンプルなどがある。例えば特許文献３は、陳列場所が撮像された撮像画像から商品と値札を認識することで、陳列場所に置かれている商品と、陳列場所に付されている棚札との関係が正しいかどうかを自動的に判定する技術を開示している。 One of the utilization methods of image analysis is the management of articles. For example, articles include products displayed on product shelves in stores, product samples displayed in vending machines, and the like. For example, in Patent Document 3, by recognizing products and price tags from a captured image of a display location, it is possible to determine whether the relationship between the products placed in the display location and the shelf labels attached to the display location is correct. A technology for automatically determining is disclosed.

この点、特許文献１や特許文献２では、画質評価後の撮像画像に対して画像解析を行うことは想定されておらず、物品の管理のために画像解析される撮像画像に求められる画質については言及されていない。また、特許文献３は、解析する撮像画像の画質については言及していない。 In this regard, in Patent Document 1 and Patent Document 2, it is not assumed that image analysis is performed on captured images after image quality evaluation. is not mentioned. Moreover, Patent Document 3 does not refer to the image quality of the captured image to be analyzed.

本願発明は上記の課題に鑑みてなされたものであり、その目的の一つは、物品の管理のために解析される撮像画像の画質を評価する技術を提供することである。 The present invention has been made in view of the above problems, and one of its purposes is to provide a technique for evaluating the image quality of captured images that are analyzed for managing articles.

本発明の情報処理装置は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、３）所定の条件が満たされていない場合、所定の通知を出力する出力部と、を有する。
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域である。
前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである。 The information processing apparatus of the present invention includes: 1) Detection for detecting feature points from a partial area that is an area that is included in a captured image that is generated by capturing an image of an item display place and that includes the item. 2) a determination unit that determines whether the relationship between the number of detected feature points and the reference value for the number of feature points satisfies a predetermined condition; 3) if the predetermined condition is satisfied; and an output unit for outputting a predetermined notification if not.
The partial area is an area specified by a user or a predetermined area, and the area specified by the user is an area whose range is specified by tapping or dragging to the display device.
The predetermined conditions are (A) that the total number of feature points detected from each of the plurality of partial areas is equal to or greater than the reference value, and (B) the number of feature points detected from each of the plurality of partial areas. (C) the number of feature points detected in a predetermined number or more of the plurality of partial areas is equal to or greater than the reference value. or

本発明の情報処理システムは、第１情報処理装置と第２情報処理装置を有する。
第１情報処理装置は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、３）所定の条件が満たされていない場合には所定の通知を出力し、所定の条件が満たされている場合には撮像画像を出力する出力部と、を有する。
第２情報処理装置は、第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行う。
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域である。
前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである。 An information processing system of the present invention has a first information processing device and a second information processing device.
The first information processing device includes: 1) a detection unit that detects feature points from a partial area that is an area that is included in a captured image that is generated by capturing an image of an item display place and that is an area that includes the item; 2) a determination unit for determining whether or not the relationship between the number of detected feature points and the reference value for the number of feature points satisfies a predetermined condition; and 3) whether the predetermined condition is satisfied. and an output unit that outputs a predetermined notification when there is no image, and outputs the captured image when a predetermined condition is satisfied.
The second information processing device uses feature points detected from the captured image output by the first information processing device to recognize an article included in the captured image.
The partial area is an area specified by a user or a predetermined area, and the area specified by the user is an area whose range is specified by tapping or dragging to the display device.
The predetermined conditions are (A) that the total number of feature points detected from each of the plurality of partial areas is equal to or greater than the reference value, and (B) the number of feature points detected from each of the plurality of partial areas. (C) the number of feature points detected in a predetermined number or more of the plurality of partial areas is equal to or greater than the reference value. or

本発明の制御方法は、コンピュータによって実行される制御方法である。当該制御方法は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出ステップと、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定ステップと、３）所定の条件が満たされていない場合、所定の通知を出力する出力ステップと、を有する。
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域である。
前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである。
The control method of the present invention is a control method executed by a computer. The control method includes: 1) a detection step of detecting feature points from a partial area that is an area that is included in a captured image generated by imaging a display place of an item and that is an area that includes the item; 2) a determination step of determining whether or not the relationship between the number of detected feature points and the reference value of the number of feature points satisfies a predetermined condition; and 3) when the predetermined condition is not satisfied. , and an output step of outputting a predetermined notification.
The partial area is an area specified by a user or a predetermined area, and the area specified by the user is an area whose range is specified by tapping or dragging to the display device.
The predetermined conditions are (A) that the total number of feature points detected from each of the plurality of partial areas is equal to or greater than the reference value, and (B) the number of feature points detected from each of the plurality of partial areas. (C) the number of feature points detected in a predetermined number or more of the plurality of partial areas is equal to or greater than the reference value. or

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。 The program of the present invention causes a computer to execute each step of the control method of the present invention.

本発明によれば、物品の管理のために解析される撮像画像の画質を評価する技術が提供される。 ADVANTAGE OF THE INVENTION According to this invention, the technique which evaluates the image quality of the picked-up image analyzed for management of articles|goods is provided.

実施形態１に係る情報処理システムの動作を概念的に例示する図である。4 is a diagram conceptually illustrating the operation of the information processing system according to the first embodiment; FIG. 情報処理システムの機能構成を例示する図である。1 is a diagram illustrating a functional configuration of an information processing system; FIG. 第１情報処理装置を実現する計算機の構成を例示する図である。It is a figure which illustrates the structure of the computer which implement|achieves a 1st information processing apparatus. 第２情報処理装置を実現する計算機の構成を例示する図である。It is a figure which illustrates the structure of the computer which implement|achieves a 2nd information processing apparatus. 実施形態１の情報処理システムによって実行される処理の流れを例示するフローチャートである。4 is a flowchart illustrating the flow of processing executed by the information processing system of Embodiment 1; 部分領域を指定する入力を受け付ける様子を例示する図である。FIG. 10 is a diagram illustrating how an input designating a partial area is received; 部分領域が予め定められているケースを例示する図である。It is a figure which illustrates the case where the partial area is predetermined. 横方向に位置をずらしながら行う撮像を概念的に例示する図である。FIG. 4 is a diagram conceptually illustrating imaging performed while shifting positions in the lateral direction; 撮像のやり直しを促す通知を例示する図である。FIG. 11 is a diagram illustrating a notification prompting re-imaging. 撮像画像のチェックを促す通知である。This notification prompts the user to check the captured image. 特徴点の数が基準値未満である部分領域が強調表示される様子を例示する図である。FIG. 10 is a diagram illustrating how a partial region having a number of feature points less than a reference value is highlighted;

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. In addition, in all the drawings, the same constituent elements are denoted by the same reference numerals, and the description thereof will be omitted as appropriate. Moreover, in each block diagram, each block does not represent a configuration in units of hardware, but a configuration in units of functions, unless otherwise specified.

以下の説明において、特に説明しない限り、各種の基準値や所定値は、これらを利用する機能構成部からアクセス可能な記憶装置に予め記憶させておく。 In the following description, unless otherwise specified, various reference values and predetermined values are stored in advance in a storage device that can be accessed from the functional component that uses them.

［実施形態１］
＜概要＞
図１は、実施形態１に係る情報処理システム４０００の動作を概念的に例示する図である。ここで、図１を用いて説明する情報処理システム４０００の動作は、情報処理システム４０００の理解を容易にするための例示であり、情報処理システム４０００の動作を限定するものではない。情報処理システム４０００の動作の詳細やバリエーションについては後述する。 [Embodiment 1]
<Overview>
FIG. 1 is a diagram conceptually illustrating the operation of an information processing system 4000 according to the first embodiment. Here, the operation of the information processing system 4000 described using FIG. 1 is an example for facilitating understanding of the information processing system 4000, and does not limit the operation of the information processing system 4000. FIG. Details and variations of the operation of the information processing system 4000 will be described later.

情報処理システム４０００は、第１情報処理装置２０００と第２情報処理装置３０００を有する。第１情報処理装置２０００は、物品が陳列されている陳列場所が撮像された撮像画像の生成に利用される。図１では、第１情報処理装置２０００に設けられているカメラ１０によって陳列場所２０が撮像された結果、撮像画像１２が生成されている。撮像画像１２には、陳列場所２０及び陳列場所２０に陳列されている物品が含まれている。例えば物品は、商品棚に陳列される商品や、自動販売機に陳列されている商品サンプルなどである。なお、前者の場合には商品棚が陳列場所２０となり、後者の場合には自動販売機が陳列場所２０となる。 The information processing system 4000 has a first information processing device 2000 and a second information processing device 3000 . The first information processing device 2000 is used to generate a captured image in which a display place where articles are displayed is captured. In FIG. 1 , a captured image 12 is generated as a result of capturing an image of the display place 20 by the camera 10 provided in the first information processing apparatus 2000 . The captured image 12 includes a display area 20 and articles displayed in the display area 20 . For example, the goods are products displayed on product shelves, product samples displayed in vending machines, and the like. In the former case, the product shelf becomes the display place 20, and in the latter case, the vending machine becomes the display place 20. FIG.

第１情報処理装置２０００が対象とする陳列場所は、物品が陳列される場所であればよく、図１に示されるような複数の段を持つものに限定されない。例えば、机に商品が平積みにされるようなケースでは、この机が陳列場所として扱われる。 The display place targeted by the first information processing apparatus 2000 may be any place where articles are displayed, and is not limited to a place having a plurality of stages as shown in FIG. For example, in a case where products are stacked flat on a desk, this desk is treated as a display area.

第１情報処理装置２０００は、撮像画像１２を出力する。第２情報処理装置３０００は、第１情報処理装置２０００から出力された撮像画像１２に対してオブジェクト認識処理を行う。これにより、第２情報処理装置３０００は、陳列場所２０に陳列されている物品を認識する。ここで、「物品の認識」とは、その物品が何であるか（例えば物品の識別子）を特定することを意味する。 The first information processing device 2000 outputs the captured image 12 . The second information processing device 3000 performs object recognition processing on the captured image 12 output from the first information processing device 2000 . Thereby, the second information processing device 3000 recognizes the articles displayed at the display place 20 . Here, "recognition of an item" means identifying what the item is (for example, an identifier of the item).

オブジェクト認識処理の手法の一つとして、画像から検出される特徴点を利用してオブジェクト認識を行う手法がある。例えば特徴点は、コーナー、エッジ、又はブロブなどである。例えば、データベースに予め登録されている物品の特徴点群と、撮像画像１２から検出される特徴点群とのマッチングを行うことで、撮像画像１２から検出された特徴点群がその物品を表しているかどうかの判定が行われる。そして、データベースに登録されている物品の中に、その特徴点群と撮像画像１２から検出される特徴点群とが十分にマッチするものがある場合、撮像画像１２からその物品が認識される。 As one method of object recognition processing, there is a method of performing object recognition using feature points detected from an image. For example, feature points are corners, edges, or blobs. For example, by matching a feature point group of an article registered in advance in a database with a feature point group detected from the captured image 12, the feature point group detected from the captured image 12 represents the article. A determination is made as to whether there is Then, if there is an article registered in the database whose feature point group sufficiently matches the feature point group detected from the captured image 12 , the article is recognized from the captured image 12 .

ここで、撮像画像１２に物品が含まれているにもかかわらず、撮像画像１２に対して特徴点を利用したオブジェクト認識処理を行っても、その物品を認識できないことがある。このような事態が生じる原因には、例えば、撮像画像１２においてぶれ、ボケ、白とび、又は黒つぶれなどが生じているといった原因がある。ぶれやボケが生じている画像領域からは、ぶれやボケなどが生じていない画像領域と比較し、検出できる特徴点の数が少なくなる。その結果、前述した特徴点のマッチングによる物品の認識が難しくなる。 Here, even if the captured image 12 includes an article, even if the object recognition processing using the feature points is performed on the captured image 12, the article may not be recognized. Causes of such a situation include, for example, blurring, blurring, overexposure, or underexposure in the captured image 12 . The number of feature points that can be detected from an image region in which blurring or blurring occurs is smaller than that in an image region in which blurring or blurring does not occur. As a result, it becomes difficult to recognize the article by matching the feature points described above.

撮像画像１２から物品を認識できないという事態が生じないように、第２情報処理装置３０００が利用する撮像画像１２は、オブジェクト認識処理に適したものであることが好適である。すなわち、第１情報処理装置２０００には、オブジェクト認識処理に適した撮像画像１２を出力することが求められる。 It is preferable that the captured image 12 used by the second information processing apparatus 3000 is suitable for object recognition processing so that the article cannot be recognized from the captured image 12 . That is, the first information processing device 2000 is required to output the captured image 12 suitable for object recognition processing.

そこで第１情報処理装置２０００は、撮像画像１２がオブジェクト認識処理に適したものであるか否かを判定する機能を有する。具体的には、第１情報処理装置２０００は、撮像画像１２から特徴点を検出し、検出した特徴点の数が所定の条件を満たすか否かを判定する。そして、特徴点の数が所定の条件を満たさない場合、第１情報処理装置２０００は所定の通知４０を出力する。通知４０は、撮像画像１２がオブジェクト認識処理に適した画像でないことを第１情報処理装置２０００のユーザが把握できるようにするための通知である。例えば通知４０は、撮影のやり直しを促す通知である。通知４０の出力先は、例えば、情報処理装置２０００に設けられているディスプレイ装置である。 Therefore, the first information processing apparatus 2000 has a function of determining whether or not the captured image 12 is suitable for object recognition processing. Specifically, the first information processing apparatus 2000 detects feature points from the captured image 12 and determines whether or not the number of detected feature points satisfies a predetermined condition. Then, when the number of feature points does not satisfy a predetermined condition, the first information processing device 2000 outputs a predetermined notification 40 . The notification 40 is a notification for allowing the user of the first information processing apparatus 2000 to recognize that the captured image 12 is not an image suitable for object recognition processing. For example, the notification 40 is a notification that prompts re-shooting. An output destination of the notification 40 is, for example, a display device provided in the information processing device 2000 .

一方、特徴点の数が所定の条件を満たす場合、第１情報処理装置２０００は撮像画像１２を出力する。第２情報処理装置３０００は、この撮像画像１２について、特徴点を用いたオブジェクト認識処理を行うことにより、物品の認識を行う。撮像画像１２から検出される特徴点の数が所定の条件を満たしているため、撮像画像１２から検出される特徴点の数が所定の条件を満たさない場合と比較し、撮像画像１２から物品を認識できる蓋然性が高くなる。 On the other hand, when the number of feature points satisfies a predetermined condition, the first information processing device 2000 outputs the captured image 12 . The second information processing device 3000 recognizes the article by performing object recognition processing using the feature points on the captured image 12 . Since the number of feature points detected from the captured image 12 satisfies the predetermined condition, compared with the case where the number of feature points detected from the captured image 12 does not satisfy the predetermined condition, the article can be detected from the captured image 12. Higher probability of being recognized.

＜作用効果＞
本実施形態の情報処理システム４０００は、撮像画像１２から検出される特徴点の数が所定の条件を満たしているかを判定し、所定の条件が満たされていない場合には通知４０を出力する。これにより、撮像画像１２がオブジェクト認識処理に適したものでない場合に、そのことを第１情報処理装置２０００のユーザが把握できるようになる。 <Effect>
The information processing system 4000 of this embodiment determines whether the number of feature points detected from the captured image 12 satisfies a predetermined condition, and outputs a notification 40 if the predetermined condition is not satisfied. Accordingly, when the captured image 12 is not suitable for object recognition processing, the user of the first information processing apparatus 2000 can grasp that fact.

ここで、撮像画像１２の画質を評価する指標として、撮像画像１２の輝度の分布に着目したり、輝度の分布から導き出される明るさやコントラストに着目したりする方法も考えられる。これに対し、情報処理システム４０００は、撮像画像１２から検出される特徴点の数に着目している。このように、特徴点という物品の認識に直接利用される情報に着目して撮像画像１２を評価することにより、撮像画像１２が物品の認識に適したものであるか否かをより高い精度で判定できる。すなわち、情報処理システム４０００によれば、画像解析（物品の認識）に利用される撮像画像１２の画質を高い精度で評価することができる。 Here, as an index for evaluating the image quality of the captured image 12, a method of focusing on the luminance distribution of the captured image 12 or focusing on the brightness and contrast derived from the luminance distribution is also conceivable. In contrast, the information processing system 4000 focuses on the number of feature points detected from the captured image 12 . In this way, by evaluating the captured image 12 by focusing on the information directly used for product recognition, i.e., the characteristic points, it is possible to determine with higher accuracy whether the captured image 12 is suitable for product recognition. I can judge. That is, according to the information processing system 4000, the image quality of the captured image 12 used for image analysis (article recognition) can be evaluated with high accuracy.

また、情報処理システム４０００には、物品を管理する作業の効率を高くするという利点もある。撮像画像１２を利用して物品を管理する方法として、カメラ１０が陳列場所２０を生成したタイミングで第２情報処理装置３０００に物品認識を行わせ、第２情報処理装置３０００が撮像画像１２から物品を認識できたことを確認してから次の撮像を行うという方法が考えられる。しかしながらこの方法では、第２情報処理装置３０００が物品の認識を完了するまで陳列場所２０を撮像する作業が遅延する。そのため、作業全体に要する時間が長くなる。 The information processing system 4000 also has the advantage of increasing the efficiency of work for managing articles. As a method of managing articles using the captured image 12 , the second information processing apparatus 3000 is caused to perform article recognition at the timing when the camera 10 generates the display area 20 , and the second information processing apparatus 3000 detects the article from the captured image 12 . A possible method is to perform the next image pickup after confirming that the image has been recognized. However, in this method, the operation of capturing the image of the display place 20 is delayed until the second information processing device 3000 completes recognition of the article. Therefore, the time required for the entire operation is increased.

その他の方法として、撮像の際には撮像画像１２の画質をチェックせず、複数の撮像画像１２について後でまとめて（例えば、夜間のバッチ処理で）第２情報処理装置３０００による物品認識を行うという方法も考えられる。しかしながらこの方法では、第２情報処理装置３０００が撮像画像１２から物品を認識できなかった場合に、陳列場所２０の撮像をやり直すという手戻りが発生する。作業における手戻りの発生は、作業効率を下げる要因となる。特に、店舗にラウンダー等の作業員が出向して陳列場所２０を撮像する作業を行う場合、後日再度ラウンダーがその店舗に出向しなければならない事態が生じ、作業効率が大きく下がる。 As another method, the image quality of the captured image 12 is not checked when the image is captured, and the second information processing apparatus 3000 performs article recognition on a plurality of captured images 12 later (for example, by batch processing at night). A method is also conceivable. However, in this method, when the second information processing apparatus 3000 cannot recognize the article from the captured image 12, rework is required to capture the image of the display place 20 again. Occurrence of rework in work is a factor that lowers work efficiency. In particular, when a worker such as a rounder is seconded to a store to take an image of the display area 20, the rounder may have to go to the store again at a later date, greatly reducing work efficiency.

これに対し、本実施形態の情報処理システム４０００では、第１情報処理装置２０００が撮像画像１２の画質をチェックして出力し、チェック後の撮像画像１２を第２情報処理装置３０００が利用する。ここで、第１情報処理装置２０００が行う処理は特徴点の検出及びその数のチェックであり、物品を認識する処理と比較して処理に要する時間が短い。よって、第１情報処理装置２０００による撮像画像１２のチェックが完了するのを待っても、陳列場所２０の撮像を行う作業に与える影響は小さいと言える。また、撮像画像１２の特徴点の数が所定の条件を満たさなければ通知４０が出力されるため、第１情報処理装置２０００のユーザはその場で陳列場所２０の撮像をやり直すことができる。そのため、作業の手戻りが発生することを防ぐことができる。 In contrast, in the information processing system 4000 of the present embodiment, the first information processing device 2000 checks the image quality of the captured image 12 and outputs it, and the second information processing device 3000 uses the captured image 12 after checking. Here, the processing performed by the first information processing apparatus 2000 is the detection of feature points and the checking of the number of feature points, and the time required for the processing is shorter than the processing for recognizing articles. Therefore, it can be said that even if the first information processing apparatus 2000 waits for the completion of the check of the captured image 12, the effect on the work of capturing the image of the display place 20 is small. Also, since the notification 40 is output if the number of feature points of the captured image 12 does not satisfy the predetermined condition, the user of the first information processing apparatus 2000 can re-capture the display place 20 on the spot. Therefore, it is possible to prevent rework of the work from occurring.

このように、情報処理システム４０００によれば、特徴点の数のチェックという比較的短い時間で完了する処理で撮像画像１２の画質をチェックすることにより、陳列場所２０を撮像する作業に遅延が生じることを避けつつ、作業の手戻りの発生を防ぐことができる。よって、物品の管理作業全体の効率が高くなる。 As described above, according to the information processing system 4000, the image quality of the captured image 12 is checked by checking the number of feature points, which is completed in a relatively short time. While avoiding this, it is possible to prevent the occurrence of work rework. Therefore, the efficiency of the entire article management work is improved.

以下、情報処理システム４０００についてより詳細に説明する。 The information processing system 4000 will be described in more detail below.

＜機能構成の例＞
図２は、情報処理システム４０００の機能構成を例示する図である。情報処理システム４０００は、第１情報処理装置２０００及び第２情報処理装置３０００を有する。第１情報処理装置２０００は、検出部２０２０、判定部２０４０、及び出力部２０６０を有する。検出部２０２０は、撮像画像１２から特徴点を検出する。判定部２０４０は、検出された特徴点が所定の条件を満たすか否かを判定する。出力部２０６０は、検出された特徴点が所定の条件を満たさない場合、通知４０を出力する。一方で、出力部２０６０は、検出された特徴点が所定の条件を満たす場合、撮像画像１２を出力する。 <Example of functional configuration>
FIG. 2 is a diagram illustrating the functional configuration of the information processing system 4000. As illustrated in FIG. The information processing system 4000 has a first information processing device 2000 and a second information processing device 3000 . The first information processing device 2000 has a detection unit 2020 , a determination unit 2040 and an output unit 2060 . The detection unit 2020 detects feature points from the captured image 12 . The determination unit 2040 determines whether or not the detected feature points satisfy a predetermined condition. The output unit 2060 outputs a notification 40 when the detected feature points do not satisfy a predetermined condition. On the other hand, the output unit 2060 outputs the captured image 12 when the detected feature points satisfy a predetermined condition.

第２情報処理装置３０００は、第１情報処理装置２０００によって出力された撮像画像１２を取得する。そして、第２情報処理装置３０００は、撮像画像１２から検出される特徴点を用いてオブジェクト認識処理を行うことで、撮像画像１２に含まれる物品の認識を行う。 The second information processing device 3000 acquires the captured image 12 output by the first information processing device 2000 . Then, the second information processing device 3000 performs object recognition processing using the feature points detected from the captured image 12 to recognize the article included in the captured image 12 .

＜第１情報処理装置２０００のハードウエア構成の例＞
第１情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第１情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 <Example of Hardware Configuration of First Information Processing Device 2000>
Each functional configuration unit of the first information processing device 2000 may be implemented by hardware (eg, hardwired electronic circuit, etc.) that implements each functional configuration unit, or may be implemented by a combination of hardware and software ( For example, it may be realized by a combination of an electronic circuit and a program for controlling it). A case in which each functional configuration unit of the first information processing apparatus 2000 is implemented by a combination of hardware and software will be further described below.

図３は、第１情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は種々の計算機である。例えば計算機１０００は、タブレット端末、スマートフォン、又なヘッドマウントディスプレイなどの可搬型の計算機である。計算機１０００は、第１情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。 FIG. 3 is a diagram illustrating the configuration of the computer 1000 that implements the first information processing apparatus 2000. As shown in FIG. Computer 1000 is a variety of computers. For example, the computer 1000 is a portable computer such as a tablet terminal, a smart phone, or a head-mounted display. The computer 1000 may be a dedicated computer designed to implement the first information processing apparatus 2000, or may be a general-purpose computer.

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などで実現されるプロセッサである。メモリ１０６０は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。 Computer 1000 has bus 1020 , processor 1040 , memory 1060 , storage device 1080 , input/output interface 1100 and network interface 1120 . The bus 1020 is a data transmission path through which the processor 1040, memory 1060, storage device 1080, input/output interface 1100, and network interface 1120 mutually transmit and receive data. However, the method of connecting processors 1040 and the like to each other is not limited to bus connection. The processor 1040 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like. The memory 1060 is a main memory implemented by RAM (Random Access Memory) or the like. The storage device 1080 is an auxiliary storage device implemented by a hard disk, SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。その他にも例えば、入出力インタフェース１１００には、カメラ１０が接続される。 The input/output interface 1100 is an interface for connecting the computer 1000 and input/output devices. For example, the input/output interface 1100 is connected to an input device such as a keyboard and an output device such as a display device. In addition, for example, the camera 10 is connected to the input/output interface 1100 .

ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。 A network interface 1120 is an interface for connecting the computer 1000 to a network. This communication network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network). A method for connecting the network interface 1120 to the network may be a wireless connection or a wired connection.

ストレージデバイス１０８０は第１情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。 The storage device 1080 stores program modules that implement each function of the first information processing apparatus 2000 . Processor 1040 implements each function corresponding to the program module by executing each program module.

＜カメラ１０について＞
カメラ１０は、撮像を行い、撮像結果を表す画像を生成することができる任意の撮像装置である。例えば第１情報処理装置２０００がスマートフォン等の可搬型の端末で実現される場合、カメラ１０には、第１情報処理装置２０００と一体として設けられるカメラを利用することができる。ただし、カメラ１０は、第１情報処理装置２０００と別体として設けられてもよい。 <About camera 10>
Camera 10 is any imaging device capable of taking an image and generating an image representing the result of the imaging. For example, when the first information processing device 2000 is realized by a portable terminal such as a smart phone, a camera integrated with the first information processing device 2000 can be used as the camera 10 . However, the camera 10 may be provided separately from the first information processing device 2000 .

＜第２情報処理装置３０００のハードウエア構成の例＞
第２情報処理装置３０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第２情報処理装置３０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 <Example of Hardware Configuration of Second Information Processing Device 3000>
Each functional configuration unit of the second information processing device 3000 may be implemented by hardware (eg, hardwired electronic circuit, etc.) that implements each functional configuration unit, or a combination of hardware and software ( For example, it may be realized by a combination of an electronic circuit and a program for controlling it). A case where each functional component of the second information processing device 3000 is implemented by a combination of hardware and software will be further described below.

図４は、第２情報処理装置３０００を実現する計算機５０００の構成を例示する図である。計算機５０００は種々の計算機である。例えば計算機５０００は、Personal Computer（PC）やサーバマシンなどである。計算機５０００は、第２情報処理装置３０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。 FIG. 4 is a diagram illustrating the configuration of a computer 5000 that implements the second information processing apparatus 3000. As shown in FIG. Computer 5000 is a variety of computers. For example, the computer 5000 is a personal computer (PC), a server machine, or the like. The computer 5000 may be a dedicated computer designed to implement the second information processing apparatus 3000, or may be a general-purpose computer.

計算機５０００は、バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージデバイス５０８０、入出力インタフェース５１００、及びネットワークインタフェース５１２０を有する。バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージデバイス５０８０、入出力インタフェース５１００、及びネットワークインタフェース５１２０が有する機能はそれぞれ、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が有する機能と同様である。 Computer 5000 has bus 5020 , processor 5040 , memory 5060 , storage device 5080 , input/output interface 5100 and network interface 5120 . The functions of bus 5020, processor 5040, memory 5060, storage device 5080, input/output interface 5100, and network interface 5120 are respectively is similar to the function of

ただし、ストレージデバイス５０８０には、第２情報処理装置３０００の各機能を実現するためのプログラムモジュールが記憶される。プロセッサ５０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。 However, the storage device 5080 stores program modules for realizing each function of the second information processing apparatus 3000 . The processor 5040 implements each function corresponding to each program module by executing each program module.

＜処理の流れ＞
図５は、実施形態１の情報処理システム４０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。検出部２０２０は、撮像画像１２から特徴点を検出する（Ｓ１０４）。出力部２０６０は、撮像画像１２から検出された特徴点の数が所定の条件を満たすか否かを判定する（Ｓ１０６）。所定の条件が満たされない場合（Ｓ１０６：ＮＯ）、出力部２０６０は通知４０を出力する（Ｓ１０８）。一方、所定の条件が満たされる場合（Ｓ１０６：ＹＥＳ）、出力部２０６０は、撮像画像１２を出力する（Ｓ１１０）。 <Process flow>
FIG. 5 is a flowchart illustrating the flow of processing executed by the information processing system 4000 of the first embodiment. The detection unit 2020 acquires the captured image 12 (S102). The detection unit 2020 detects feature points from the captured image 12 (S104). The output unit 2060 determines whether or not the number of feature points detected from the captured image 12 satisfies a predetermined condition (S106). If the predetermined condition is not satisfied (S106: NO), the output unit 2060 outputs the notification 40 (S108). On the other hand, if the predetermined condition is satisfied (S106: YES), the output unit 2060 outputs the captured image 12 (S110).

第２情報処理装置３０００は、出力部２０６０によって出力された撮像画像１２を取得する（Ｓ１１２）。第２情報処理装置３０００は、撮像画像１２から検出される特徴点を用いて、撮像画像１２に含まれる物品を認識する（Ｓ１１４）。 The second information processing device 3000 acquires the captured image 12 output by the output unit 2060 (S112). The second information processing device 3000 recognizes the article included in the captured image 12 using the feature points detected from the captured image 12 (S114).

第１情報処理装置２０００が図５に示す一連の処理を実行する契機は様々である。例えば、カメラ１０が撮像画像１２を生成したことに応じて検出部２０２０がこの撮像画像１２を取得することにより、上記一連の処理が実行される。その他にも例えば、撮像画像１２を指定する入力操作を受け付け、指定された撮像画像１２について図５に示す一連の処理を実行してもよい。この場合、第１情報処理装置２０００は、ユーザから入力操作を受け付けたことを契機として、図５に示す一連の処理を実行する。 There are various opportunities for the first information processing apparatus 2000 to execute the series of processes shown in FIG. For example, the series of processes described above is executed when the detection unit 2020 acquires the captured image 12 in response to the generation of the captured image 12 by the camera 10 . Alternatively, for example, an input operation specifying the captured image 12 may be received, and the series of processes shown in FIG. 5 may be executed for the specified captured image 12 . In this case, the first information processing apparatus 2000 executes a series of processes shown in FIG. 5 upon receiving an input operation from the user.

第２情報処理装置３０００が図５に示す一連の処理を実行する契機は様々である。例えば第２情報処理装置３０００は、第１情報処理装置２０００によって撮像画像１２が出力されたことに応じ、その撮像画像１２を対象として、上記図５に示す処理を実行する。その他にも例えば、第２情報処理装置３０００は、所定のタイミングで、１つ以上の撮像画像１２を対象に、上記一連の処理を実行してもよい。この場合、例えば、第１情報処理装置２０００から出力される１つ以上の撮像画像１２を記憶装置に記憶させておき、第２情報処理装置３０００がこの記憶装置から撮像画像１２を読み出すようにする。すなわち、記憶装置に記憶されている１つ以上の撮像画像１２が、所定のタイミングでバッチ処理される。 There are various opportunities for the second information processing apparatus 3000 to execute the series of processes shown in FIG. For example, when the first information processing apparatus 2000 outputs the captured image 12, the second information processing apparatus 3000 executes the process shown in FIG. 5 with the captured image 12 as a target. Alternatively, for example, the second information processing apparatus 3000 may execute the series of processes described above on one or more captured images 12 at a predetermined timing. In this case, for example, one or more captured images 12 output from the first information processing device 2000 are stored in a storage device, and the second information processing device 3000 reads the captured images 12 from this storage device. . That is, one or more captured images 12 stored in the storage device are batch-processed at a predetermined timing.

＜撮像画像１２の取得：Ｓ１０２＞
検出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。例えば検出部２０２０は、撮像画像１２が記憶されている記憶装置から撮像画像１２を取得する。撮像画像１２が記憶されている記憶装置は、検出部２０２０の内部に設けられていてもよいし、外部に設けられていてもよい。その他にも例えば、検出部２０２０は、ユーザによる入力操作によって入力される撮像画像１２を取得する。その他にも例えば、検出部２０２０は、他の装置によって送信される撮像画像１２を受信することで、撮像画像１２を取得する。 <Acquisition of captured image 12: S102>
The detection unit 2020 acquires the captured image 12 (S102). For example, the detection unit 2020 acquires the captured image 12 from a storage device in which the captured image 12 is stored. The storage device in which the captured image 12 is stored may be provided inside the detection unit 2020 or may be provided outside. In addition, for example, the detection unit 2020 acquires the captured image 12 input by the user's input operation. Alternatively, for example, the detection unit 2020 acquires the captured image 12 by receiving the captured image 12 transmitted by another device.

ここで、検出部２０２０が取得する撮像画像１２は、カメラ１０によって生成された撮像画像そのものであってもよいし、カメラ１０によって生成された撮像画像に何らかの処理が施されたものであってもよい。後者の場合、例えば、カメラ１０によって生成された撮像画像に対してトリミングを行って不要な画像領域を取り除いたり、カメラ１０によって生成された撮像画像に対して手ぶれ補正や色調補正を施したりすることで、撮像画像１２が生成される。 Here, the captured image 12 acquired by the detection unit 2020 may be the captured image itself generated by the camera 10, or the captured image generated by the camera 10 may be processed. good. In the latter case, for example, the captured image generated by the camera 10 may be trimmed to remove unnecessary image regions, or the captured image generated by the camera 10 may be subjected to camera shake correction or color tone correction. , the captured image 12 is generated.

＜特徴点の検出：Ｓ１０４＞
検出部２０２０は、撮像画像１２から特徴点を検出する（Ｓ１０４）。ここで、画像からエッジ、コーナー、又はブロブなどの特徴点を検出する技術には、既存の技術を利用することができる。 <Detection of Feature Points: S104>
The detection unit 2020 detects feature points from the captured image 12 (S104). Here, existing techniques can be used as techniques for detecting feature points such as edges, corners, or blobs from an image.

＜判定部２０４０による判定：Ｓ１０６＞
判定部２０４０は、撮像画像１２から検出された特徴点の数が所定の条件を満たすか否かを判定する（Ｓ１０６）。ここで、概念的には、所定の条件は、撮像画像１２が物品の認識に利用することに適しているものである場合に満たされる条件である。以下、そのような条件のバリエーションについて例示する。 <Determination by Determination Unit 2040: S106>
The determination unit 2040 determines whether or not the number of feature points detected from the captured image 12 satisfies a predetermined condition (S106). Here, conceptually, the predetermined condition is a condition that is satisfied when the captured image 12 is suitable for use in recognizing an article. Variations of such conditions are exemplified below.

＜＜撮像画像１２全体における特徴点の数＞＞
例えば所定の条件は、「撮像画像１２全体から検出される特徴点の数が基準値以上である」という条件である。この場合、検出部２０２０は、撮像画像１２全体について、特徴点を検出する処理を行う。そして、判定部２０４０は、撮像画像１２全体から検出された特徴点の数が基準値以上であるか否かを判定する。検出された特徴点の数が基準値以上であれば所定の条件が満たされていることになり、検出された特徴点の数が基準値未満であれば所定の条件が満たされていないことになる。 <<The number of feature points in the entire captured image 12>>
For example, the predetermined condition is that "the number of feature points detected from the entire captured image 12 is equal to or greater than a reference value". In this case, the detection unit 2020 performs processing for detecting feature points on the entire captured image 12 . Then, the determination unit 2040 determines whether or not the number of feature points detected from the entire captured image 12 is equal to or greater than the reference value. If the number of detected feature points is equal to or greater than the reference value, it means that the predetermined condition is satisfied, and if the number of detected feature points is less than the reference value, it means that the predetermined condition is not satisfied. Become.

＜＜撮像画像１２の特定の領域から検出される特徴点の数＞＞
例えば所定の条件は、「撮像画像１２に含まれる部分領域から検出される特徴点の数が基準値以上である」という条件である。検出部２０２０は、撮像画像１２内の部分領域について、特徴点を検出する処理を行う。そして判定部２０４０は、部分領域から検出された特徴点の数が基準値以上であるか否かを判定する。 <<Number of Feature Points Detected from Specific Region of Captured Image 12>>
For example, the predetermined condition is that "the number of feature points detected from the partial area included in the captured image 12 is equal to or greater than a reference value". The detection unit 2020 performs processing for detecting feature points for partial regions in the captured image 12 . Then, determination section 2040 determines whether or not the number of feature points detected from the partial area is equal to or greater than the reference value.

特徴点検出の対象とする部分領域は、ユーザによって指定されてもよいし、予め定められていてもよい。以下、それぞれのケースについて説明する。 The partial area targeted for feature point detection may be specified by the user or may be determined in advance. Each case will be described below.

＜＜＜部分領域をユーザが指定するケース＞＞＞
例えば第１情報処理装置２０００は、第１情報処理装置２０００に設けられているディスプレイ装置に撮像画像１２を表示させ、このディスプレイ装置に表示された撮像画像１２に対して部分領域を指定する入力を受け付ける。指定できる部分領域は１つであってもよいし、複数であってもよい。 <<<Case where the user specifies a partial area>>>
For example, the first information processing apparatus 2000 displays the captured image 12 on the display device provided in the first information processing apparatus 2000, and receives an input designating a partial area for the captured image 12 displayed on the display device. accept. One or a plurality of partial areas may be specified.

図６は、部分領域を指定する入力を受け付ける様子を例示する図である。図６において、第１情報処理装置２０００に設けられているディスプレイ装置３０には、タッチパネルが備えられている。 FIG. 6 is a diagram illustrating how an input designating a partial area is received. In FIG. 6, the display device 30 provided in the first information processing device 2000 is provided with a touch panel.

図６の上段の例において、ユーザは、ディスプレイ装置３０をタップしている。第１情報処理装置２０００は、タップされた位置を中心とする所定サイズの領域を、部分領域１４として定義する。一方、図６の下段の例において、ユーザは、ディスプレイ装置３０をドラッグしている。例えば、第１情報処理装置２０００は、ドラッグ位置の始点から終点まで所定サイズの領域を移動させた場合にその領域が通過する範囲全体を、部分領域１４として定義する。 In the upper example of FIG. 6, the user taps the display device 30 . The first information processing device 2000 defines a region of a predetermined size centered on the tapped position as a partial region 14 . On the other hand, in the lower example of FIG. 6, the user is dragging the display device 30 . For example, the first information processing apparatus 2000 defines, as the partial area 14, the entire range through which an area of a predetermined size passes when the area is moved from the start point to the end point of the drag position.

ここで、部分領域１４は、物品を含む領域であることが好ましい。撮像画像１２から物品を認識できるためには、物品を含む領域において十分な数の特徴点が検出されることが必要であるため、特徴点の数についての検証は、物品を含む領域を対象として行われることが好適である。 Here, the partial area 14 is preferably an area containing an article. In order to recognize the article from the captured image 12, it is necessary to detect a sufficient number of feature points in the area including the article. preferably done.

そこでユーザは、入力操作において物品を含む領域を指定することが好適である。例えば図６の上段の例では、ユーザは、物品の位置をタップすることで、物品が含まれる領域を指定している。また、図６の下段の例では、ユーザは、商品棚のうち、物品が陳列される領域をドラッグすることで、物品が含まれる領域を指定している。 Therefore, it is preferable for the user to specify the area including the article in the input operation. For example, in the example in the upper part of FIG. 6, the user designates an area including the item by tapping the position of the item. Further, in the example shown in the lower part of FIG. 6, the user designates an area including the article by dragging the area where the article is displayed in the product shelf.

＜＜＜部分領域が予め決められているケース＞＞＞
検出部２０２０は、予め定められている部分領域１４から特徴点を検出する。部分領域１４を定義する情報は、検出部２０２０からアクセス可能な記憶装置に予め記憶させておく。 <<<Case where the partial area is predetermined>>>
The detection unit 2020 detects feature points from a predetermined partial area 14 . Information defining the partial area 14 is stored in advance in a storage device accessible from the detection unit 2020 .

部分領域１４は、任意の領域とすることができる。図７は、部分領域が予め定められているケースを例示する図である。左側の例では、部分領域１４が１つあり、撮像画像１２の中央に位置する。中央の例では、部分領域１４が３つあり、それぞれ撮像画像１２の左上、中央、及び右下に位置する。右側の例では、部分領域１４が３つあり、それぞれ撮像画像１２において物品が陳列されると推測される領域である。 The partial area 14 can be any area. FIG. 7 is a diagram exemplifying a case where partial areas are predetermined. In the example on the left, there is one partial area 14 located in the center of the captured image 12 . In the central example, there are three partial areas 14 located at the upper left, center, and lower right of the captured image 12, respectively. In the example on the right side, there are three partial areas 14, each of which is an area in which an article is assumed to be displayed in the captured image 12. FIG.

ここで、撮像画像１２において物品が陳列される領域を推測する方法について説明する。前提として、第１情報処理装置２０００のユーザは、横方向に位置をずらしながら陳列場所２０を繰り返し撮像することで、陳列場所２０に陳列されている物品を撮像していくとする。図８は、横方向に位置をずらしながら行う撮像を概念的に例示する図である。図８では、横方向に長い陳列場所２０が、横方向に位置を５回ずらして撮像される。なお、撮像されない物品がないように、撮像範囲を一部重複させている。 Here, a method for estimating an area where articles are displayed in the captured image 12 will be described. As a premise, it is assumed that the user of the first information processing apparatus 2000 takes images of the articles displayed in the display place 20 by repeatedly taking images of the display place 20 while shifting the position in the horizontal direction. FIG. 8 is a diagram conceptually exemplifying imaging performed while shifting the position in the horizontal direction. In FIG. 8, the horizontally long display area 20 is imaged by shifting the position five times in the horizontal direction. Note that the imaging ranges are partially overlapped so that there are no articles that are not captured.

このように横方向に位置をずらしながら撮像する場合、２回目以降に生成される撮像画像１２において物品が陳列される高さ方向の位置は、１回目の撮像画像１２と同じであると推測できる。そこで、第１情報処理装置２０００は、１回目の撮像画像１２について、ユーザから、物品が陳列されている領域を指定する入力を受け付ける。例えばこの入力は、図６の下段に示した入力と同様である。そして、第１情報処理装置２０００は、以降に生成される撮像画像１２については自動的に、上記指定された領域と同じ領域を部分領域１４として設定する。 When images are captured while shifting the position in the horizontal direction in this way, it can be assumed that the position in the height direction where the article is displayed in the captured image 12 generated for the second and subsequent times is the same as in the captured image 12 for the first time. . Therefore, the first information processing apparatus 2000 receives an input from the user specifying an area where articles are displayed in the captured image 12 for the first time. For example, this input is similar to the input shown at the bottom of FIG. Then, the first information processing apparatus 2000 automatically sets the same region as the designated region as the partial region 14 for the captured image 12 generated thereafter.

＜＜物品の種類ごとの基準値＞＞
撮像画像１２全体や部分領域１４について定められる基準値は、陳列される物品の種類に応じて異なっていてもよい。形状や模様が複雑な物品ほど、物品の認識に必要となる基準値が多くなる傾向があるためである。例えば、物品の種類と基準値とを対応づけた情報を、予め記憶装置に記憶させておく。情報処理装置２０００は、陳列場所２０に陳列されている物品の種類を指定する入力を受け付け、指定された種類に対応する基準値を記憶装置から取得し、この基準値を利用する。 <<Standard values for each type of goods>>
The reference value determined for the entire captured image 12 and the partial area 14 may differ according to the type of displayed article. This is because an article with a more complicated shape or pattern tends to require more reference values for recognizing the article. For example, information that associates the type of article with the reference value is stored in advance in the storage device. The information processing device 2000 receives an input designating the type of article displayed in the display area 20, acquires a reference value corresponding to the designated type from the storage device, and uses this reference value.

＜＜複数存在する部分領域１４の基準値について＞＞
部分領域１４が複数存在する場合、基準値は、各部分領域１４から検出される特徴点の合計数について定められていてもよいし、個々の部分領域１４から検出される特徴点の数について定められていてもよい。前者の場合、所定の条件は、「各部分領域１４から検出される特徴点の合計数が基準値以上である」という条件となる。例えば判定部２０４０は、各部分領域１４に含まれる画素を合計した値に単位基準値を乗じることで得られる値を基準値とする。 <<Regarding Reference Values of Multiple Partial Areas 14>>
When there are a plurality of partial areas 14, the reference value may be defined for the total number of feature points detected from each partial area 14, or for the number of feature points detected from each partial area 14. may have been In the former case, the predetermined condition is that "the total number of feature points detected from each partial area 14 is equal to or greater than a reference value". For example, the determination unit 2040 sets a value obtained by multiplying the total value of the pixels included in each partial region 14 by the unit reference value as the reference value.

各部分領域１４から検出される特徴点の合計数について基準値を定めることには、検出される特徴点の数が少ない部分領域１４があったとしても、他の部分領域１４から十分な数の特徴点が検出されれば、所定の条件が満たされることになるという利点がある。例えば図７の真ん中の例のように、予め定められた部分領域１４から特徴点を検出する場合、複数の部分領域１４の中に、物品が含まれない領域（例えば商品棚の枠）が存在しうる。このように物品が含まれない領域は、物品が含まれる領域と比較し、検出される特徴点の数が少ない蓋然性が高い。しかしながら、物品が含まれる領域から十分な数の特徴点が得られれば物品の認識には支障がないため、このように物品が含まれない領域から検出される特徴点の数は少なくてもよい。そこで、部分領域１４から検出される特徴点の合計数について基準値を定めておくことにより、物品を内部に含まない部分領域１４があったとしても、他の部分領域１４から十分な数の特徴点が検出されれば、所定の条件が満たされるようにしておく。 In order to set a reference value for the total number of feature points detected from each partial area 14, even if there is a partial area 14 with a small number of detected feature points, a sufficient number Advantageously, if a feature point is detected, a predetermined condition is satisfied. For example, as in the example in the middle of FIG. 7, when detecting feature points from predetermined partial areas 14, there are areas (for example, product shelf frames) that do not contain articles among the plurality of partial areas 14. I can. It is highly probable that the number of feature points detected in such an area that does not include an article is smaller than that in an area that includes an article. However, as long as a sufficient number of feature points are obtained from the area including the article, there is no problem in recognizing the article, so the number of feature points detected from the area not including the article may be small. . Therefore, by setting a reference value for the total number of feature points detected from the partial regions 14, even if there is a partial region 14 that does not contain an article, a sufficient number of feature points from the other partial regions 14 can be detected. If a point is detected, a predetermined condition should be satisfied.

個々の部分領域１４から検出される特徴点の数について基準値を定める場合、例えば判定部２０４０は、特徴点の数が基準値未満である部分領域１４が１つでも存在すれば、通知４０を出力する。すなわち、「全ての部分領域１４において、特徴点の数が基準値以上である」を所定の条件とする。例えばユーザが物品の位置を複数指定することで複数の部分領域１４が定められた場合、これらの部分領域１４はいずれも物品の認識に利用できる必要がある。そこで、全ての部分領域１４について十分な数の特徴点が検出されるようにする。 When setting a reference value for the number of feature points detected from each partial region 14, for example, the determination unit 2040 sends a notification 40 if there is even one partial region 14 with a number of feature points less than the reference value. Output. That is, the predetermined condition is that "the number of feature points in all the partial areas 14 is equal to or greater than the reference value". For example, when a plurality of partial areas 14 are defined by the user specifying multiple positions of an article, all of these partial areas 14 must be available for recognizing the article. Therefore, a sufficient number of feature points are detected for all partial areas 14 .

ただし、特徴点の数が基準値以上となる部分領域１４の数にも、基準値を設けるようにしてもよい。具体的には、判定部２０４０は、特徴点の数が基準値以上である部分領域１４の数が所定数未満である場合に、通知４０を出力する。すなわち、「所定数以上の部分領域１４において、特徴点の数が基準値以上である」を所定の条件とうる。 However, a reference value may also be set for the number of partial regions 14 having the number of feature points equal to or greater than the reference value. Specifically, determination section 2040 outputs notification 40 when the number of partial areas 14 having the number of feature points equal to or greater than the reference value is less than a predetermined number. That is, the predetermined condition is that "the number of feature points is equal to or greater than a reference value in a predetermined number or more of partial regions 14".

なお、個々の部分領域１４から検出される特徴点の数について基準値を定める場合、例えば判定部２０４０は、各部分領域１４の基準値を、その部分領域１４に含まれる画素の数に単位基準値を乗じることで得られる値とする。 When determining the reference value for the number of feature points detected from each partial region 14, for example, the determination unit 2040 sets the reference value for each partial region 14 to the number of pixels included in the partial region 14 as a unit standard. A value obtained by multiplying a value.

＜＜複数の撮像画像１２の一部を重複させるケースについて＞＞
図８に示したように、第１情報処理装置２０００のユーザが、横方向に位置をずらしながら陳列場所２０を繰り返し撮像することで、陳列場所２０に陳列されている物品を撮像していくケースがある。そしてこの場合、図８に示すように、隣接する撮像範囲を一部重複させることが好適である。 <<Regarding a case where a part of a plurality of captured images 12 is overlapped>>
As shown in FIG. 8, the user of the first information processing apparatus 2000 repeatedly images the display area 20 while shifting the position in the horizontal direction, thereby capturing images of the articles displayed in the display area 20. There is In this case, as shown in FIG. 8, it is preferable to partially overlap adjacent imaging ranges.

ここで、隣接する撮像範囲を一部重複させると、或る撮像画像１２とその次に生成される撮像画像１２とにおいて、一部の領域が、略同一の場所を撮像した領域となる。以下、この領域を、共通領域と呼ぶ。これら２つの撮像画像１２がいずれもブレなどがない適切な画像であれば、共通領域から検出される特徴点の数の差は小さいと考えられる。 Here, if adjacent imaging ranges are partially overlapped, a certain captured image 12 and a captured image 12 generated next will have a partial region that captures the substantially same location. Hereinafter, this area will be called a common area. If both of these two captured images 12 are suitable images without blurring, the difference in the number of feature points detected from the common area is considered to be small.

そこで、このように横方向に位置をずらしながら撮像を行うという方法で第１情報処理装置２０００を運用する場合、第１情報処理装置２０００は、部分領域１４の一つとして前述した共通領域を設定してもよい。ただし、共通領域を部分領域１４として設定できるのは、２回目以降の撮像で生成される撮像画像１２である。 Therefore, when the first information processing apparatus 2000 is operated by the method of performing image capturing while shifting the position in the horizontal direction, the first information processing apparatus 2000 sets the above-described common area as one of the partial areas 14. You may However, the common area can be set as the partial area 14 only for the captured images 12 generated by the second and subsequent imaging.

この場合、共通領域に対応する部分領域１４から検出される特徴点の数については、基準値を、前の撮像画像１２の共通領域から検出された特徴点の数に基づいて設定してもよい。例えば、前の撮像画像１２の共通領域から検出された特徴点の数 N に所定の係数αを乗じたαN を基準値とする。α＝１の場合、前の撮像画像１２の共通領域から検出された特徴点の数を基準値とすることになる。一方、α＜１の場合、前の撮像画像１２の共通領域から検出された特徴点の数よりも小さい値を基準値とすることになる。αを１に近い１未満の値（例えば、0.9など）に設定することにより、特徴点の数の多少の減少を許容することができる。 In this case, for the number of feature points detected from the partial area 14 corresponding to the common area, a reference value may be set based on the number of feature points detected from the common area of the previous captured image 12. . For example, αN obtained by multiplying the number N of feature points detected from the common area of the previous captured image 12 by a predetermined coefficient α is used as the reference value. When α=1, the number of feature points detected from the common area of the previous captured image 12 is used as the reference value. On the other hand, when α<1, a value smaller than the number of feature points detected from the common area of the previous captured image 12 is set as the reference value. By setting α to a value close to 1 and less than 1 (eg, 0.9), some reduction in the number of feature points can be tolerated.

＜通知４０の出力：Ｓ１０８＞
出力部２０６０は、撮像画像１２から検出される特徴点の数が所定の条件を満たさない場合に（Ｓ１０６：ＮＯ）、通知４０を出力する（Ｓ１０８）。通知４０は、撮像画像１２が物品認識に適していないものであることを第１情報処理装置２０００のユーザに把握させるための通知である。 <Output of notification 40: S108>
When the number of feature points detected from the captured image 12 does not satisfy a predetermined condition (S106: NO), the output unit 2060 outputs the notification 40 (S108). The notification 40 is a notification for letting the user of the first information processing apparatus 2000 understand that the captured image 12 is not suitable for article recognition.

例えば前述したように、通知４０は、撮像のやり直しをユーザに促す通知である。この通知により、ユーザは、撮像のやり直し（すなわち、撮像画像１２の生成のやり直し）をすべきことを把握することができる。ユーザは、第１情報処理装置２０００を操作してカメラ１０による撮像を再度行う。第１情報処理装置２０００は、この結果として生成される撮像画像を新たに撮像画像１２として扱って、一連の処理を実行する。 For example, as described above, the notification 40 is a notification prompting the user to retake the image. This notification allows the user to understand that the imaging should be redone (that is, the generation of the captured image 12 should be redone). The user operates the first information processing device 2000 to perform imaging with the camera 10 again. The first information processing apparatus 2000 newly treats the captured image generated as a result as the captured image 12 and executes a series of processing.

図９は、撮像のやり直しを促す通知を例示する図である。図９では、第１情報処理装置２０００に設けられているディスプレイ装置３０に、撮像のやり直しを促す通知４０が表示されている。ユーザによって通知４０に含まれる「カメラ起動」というボタンを押されると、第１情報処理装置２０００は、カメラ１０による撮像を行える状態に切り替わる。 FIG. 9 is a diagram exemplifying a notification prompting re-imaging. In FIG. 9, the display device 30 provided in the first information processing device 2000 displays a notification 40 prompting to redo the imaging. When the user presses the button "activate camera" included in the notification 40, the first information processing apparatus 2000 switches to a state in which the camera 10 can take an image.

その他にも例えば、所定の通知は、撮像画像１２が適切なものであるか否かをチェックするように促す通知である。図１０は、撮像画像１２のチェックを促す通知である。問題があると判断した場合、ユーザは、「カメラ起動」というボタンを押すことで撮像をやり直す。一方、第１情報処理装置２０００のユーザは、撮像画像１２を目で見て確認し、問題がないと判断したら「問題なし」というボタンを押す。この場合、出力部２０６０は、撮像画像１２の出力を行う。 In addition, for example, the predetermined notification is a notification prompting to check whether the captured image 12 is appropriate. FIG. 10 shows a notification prompting the user to check the captured image 12 . If it is determined that there is a problem, the user presses a "camera activation" button to retake the image. On the other hand, the user of the first information processing apparatus 2000 visually confirms the captured image 12, and presses the "no problem" button when he determines that there is no problem. In this case, the output unit 2060 outputs the captured image 12 .

撮像画像１２が適切なものであるか否かをチェックするように促す通知を利用する形態には、例えば次のような利点がある。まず、複数設定されている部分領域１４の中に、物品が含まれていない部分領域１４があるとする。この場合、その部分領域１４から検出される特徴点の数は少なくなるため、特徴点の数が所定の条件を満たさない可能性がある。しかしながらこの場合、物品が含まれる他の部分領域１４から検出される特徴点の数が十分多ければ、撮像画像１２は問題なく物品認識に利用できる蓋然性が高いと考えられる。 The form of using the notification prompting to check whether the captured image 12 is appropriate has the following advantages, for example. First, it is assumed that there is a partial area 14 that does not contain an article among the partial areas 14 that are set. In this case, since the number of feature points detected from the partial area 14 is reduced, there is a possibility that the number of feature points does not satisfy the predetermined condition. However, in this case, if the number of feature points detected from the other partial areas 14 containing the article is sufficiently large, it is highly probable that the captured image 12 can be used for article recognition without any problem.

そこで、撮像画像１２が適切なものであるか否かをチェックするように促す通知を出力するようにすれば、ユーザが各部分領域１４を確認して、上述したように撮像画像１２が問題なく物品認識に利用できるものであるかどうかを確認することができる。そして、撮像画像１２が問題なく物品認識に利用できるならば「問題なし」ボタンを押すようにすることで、撮像のやり直しを避けることができる。 Therefore, by outputting a notification prompting the user to check whether the captured image 12 is appropriate, the user can confirm each partial area 14 and confirm that the captured image 12 is correct as described above. It is possible to check whether it can be used for article recognition. Then, if the captured image 12 can be used for article recognition without any problem, by pressing the "no problem" button, it is possible to avoid redoing the image capturing.

ここで、判定部２０４０が部分領域１４について判定を行った場合、出力部２０６０は、特徴点の数が基準値未満である部分領域１４を強調表示することが好適である。図１１は、特徴点の数が基準値未満である部分領域１４が強調表示される様子を例示する図である。 Here, when the determination unit 2040 performs determination on the partial region 14, the output unit 2060 preferably highlights the partial region 14 having the number of feature points less than the reference value. FIG. 11 is a diagram illustrating how the partial area 14 having the number of feature points less than the reference value is highlighted.

図１１の上段では、枠５０により、特徴点の数が基準値未満である部分領域１４が強調表示されている。また、図１１の下段では、特徴点の数が基準値未満である部分領域１４を拡大して表示（符号６０）することにより、この部分領域１４を強調表示している。なお、実際には、部分領域１４を表す点線は表示されなくてもよい。 In the upper part of FIG. 11 , the partial area 14 having the number of feature points less than the reference value is highlighted by a frame 50 . Further, in the lower part of FIG. 11, the partial area 14 having the number of feature points less than the reference value is enlarged and displayed (reference numeral 60) to highlight the partial area 14. As shown in FIG. Incidentally, in practice, the dotted line representing the partial area 14 may not be displayed.

強調表示の方法は、上述した方法に限定されない。例えば、マークを付したり色を変えたりするといった様々な方法を採用することができる。 The highlighting method is not limited to the method described above. For example, various methods such as marking or changing colors can be employed.

＜撮像画像１２の出力：Ｓ１１０＞
出力部２０６０は、撮像画像１２から検出される特徴点の数が所定の条件を満たす場合に（Ｓ１０６：ＹＥＳ）、撮像画像１２を出力する（Ｓ１１０）。ここで出力される撮像画像１２は第２情報処理装置３０００によって利用されるため、撮像画像１２は、第２情報処理装置３０００が利用可能な態様で出力される必要がある。 <Output of captured image 12: S110>
When the number of feature points detected from the captured image 12 satisfies a predetermined condition (S106: YES), the output unit 2060 outputs the captured image 12 (S110). Since the captured image 12 output here is used by the second information processing device 3000 , the captured image 12 needs to be output in a form that can be used by the second information processing device 3000 .

例えば出力部２０６０は、第２情報処理装置３０００からアクセス可能な所定の記憶装置（例えば、第１情報処理装置２０００と第２情報処理装置３０００の双方と通信可能に接続されている NAS（Network Attached Storage））に、撮像画像１２を記憶させる。その他にも例えば、出力部２０６０は、第２情報処理装置３０００に対して撮像画像１２を送信してもよい。 For example, the output unit 2060 may be a predetermined storage device accessible from the second information processing device 3000 (for example, a NAS (Network Attached Storage Device) that is communicably connected to both the first information processing device 2000 and the second information processing device 3000 . Storage)) stores the captured image 12 . Alternatively, for example, the output unit 2060 may transmit the captured image 12 to the second information processing device 3000 .

＜第２情報処理装置３０００による撮像画像１２の取得：Ｓ１０８＞
第２情報処理装置３０００は、出力部２０６０によって出力された撮像画像１２を取得する（Ｓ１０８）。例えば出力部２０６０が撮像画像１２を記憶装置に記憶させる場合、第２情報処理装置３０００は、この記憶装置から撮像画像１２を読み出すことで、撮像画像１２を取得する。その他にも例えば、第１情報処理装置２０００が第２情報処理装置３０００に対して撮像画像１２を送信する場合、第２情報処理装置３０００は、この撮像画像１２を受信することで、撮像画像１２を取得する。 <Acquisition of Captured Image 12 by Second Information Processing Device 3000: S108>
The second information processing device 3000 acquires the captured image 12 output by the output unit 2060 (S108). For example, when the output unit 2060 stores the captured image 12 in the storage device, the second information processing device 3000 acquires the captured image 12 by reading the captured image 12 from this storage device. In addition, for example, when the first information processing device 2000 transmits the captured image 12 to the second information processing device 3000, the second information processing device 3000 receives this captured image 12, and the captured image 12 to get

＜物品の認識：Ｓ１１０＞
第２情報処理装置３０００は、撮像画像１２から検出された特徴点を用いて、物品の認識を行う（Ｓ１１０）。特徴点を用いたオブジェクト認識には、既存の技術を利用することができる。 <Recognition of goods: S110>
The second information processing device 3000 uses the feature points detected from the captured image 12 to recognize the article (S110). Existing techniques can be used for object recognition using feature points.

第２情報処理装置３０００は、検出部２０２０によって撮像画像１２から検出された特徴点を物品の認識に利用してもよい。この場合、出力部２０６０は、撮像画像１２に対応づけて、撮像画像１２から検出された特徴点を表す情報を出力する。こうすることで、撮像画像１２から特徴点を検出する処理を重複して実行することがなくなるため、情報処理システム４０００全体の処理を効率化できる。ただし、検出部２０２０によって特徴点が検出された領域が撮像画像１２の一部である場合、第２情報処理装置３０００は、少なくとも残りの領域については、特徴点の検出を行う。 The second information processing device 3000 may use the feature points detected from the captured image 12 by the detection unit 2020 to recognize the article. In this case, the output unit 2060 outputs information representing feature points detected from the captured image 12 in association with the captured image 12 . By doing so, the processing of detecting feature points from the captured image 12 is not redundantly executed, so the processing of the entire information processing system 4000 can be made more efficient. However, if the area in which the feature points are detected by the detection unit 2020 is part of the captured image 12, the second information processing apparatus 3000 detects feature points at least in the remaining area.

第２情報処理装置３０００は、検出部２０２０によって撮像画像１２から検出された特徴点を用いなくてもよい。この場合、第２情報処理装置３０００は、撮像画像１２から特徴点を検出する処理を行う。第２情報処理装置３０００でも特徴点の検出を行う場合、第１情報処理装置２０００が特徴点検出に利用するアルゴリズムと、第２情報処理装置３０００が特徴点検出に利用するアルゴリズムとは、互いに同一であることが好適である。これらのアルゴリズムを異なるものにすると、第１情報処理装置２０００で検出された特徴点が第２情報処理装置３０００において検出されなくなり、第２情報処理装置３０００において特徴点の数が不足する可能性があるためである。 The second information processing device 3000 may not use the feature points detected from the captured image 12 by the detection unit 2020 . In this case, the second information processing device 3000 performs processing for detecting feature points from the captured image 12 . When the second information processing device 3000 also detects feature points, the algorithm used by the first information processing device 2000 for feature point detection and the algorithm used by the second information processing device 3000 for feature point detection are the same. is preferred. If these algorithms are made different, the feature points detected by the first information processing apparatus 2000 may not be detected by the second information processing apparatus 3000, and the number of feature points may be insufficient in the second information processing apparatus 3000. Because there is

ただし、第２情報処理装置３０００で検出される特徴点の数が第１情報処理装置２０００で検出される特徴点の数より多くなればよいため、そのように第１情報処理装置２０００と第２情報処理装置３０００のそれぞれで利用する特徴点検出のアルゴリズムを決めてもよい。 However, since the number of feature points detected by the second information processing device 3000 should be larger than the number of feature points detected by the first information processing device 2000, the first information processing device 2000 and the second information processing device A feature point detection algorithm to be used in each of the information processing apparatuses 3000 may be determined.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than those described above can also be adopted.

例えば、上述した情報処理システム４０００は第１情報処理装置２０００と第２情報処理装置３０００を有しているが、第１情報処理装置２０００が第２情報処理装置３０００の役割も担うようにしてもよい。すなわち、撮像画像１２から物品を認識する処理を第１情報処理装置２０００が行うようにしてもよい。この場合、情報処理システム４０００は第１情報処理装置２０００のみを有すればよく、第２情報処理装置３０００を有する必要はない。 For example, the information processing system 4000 described above has the first information processing device 2000 and the second information processing device 3000, but even if the first information processing device 2000 also plays the role of the second information processing device 3000, good. That is, the first information processing device 2000 may perform the process of recognizing the article from the captured image 12 . In this case, the information processing system 4000 only needs to have the first information processing device 2000 and does not need to have the second information processing device 3000 .

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、
前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、
前記検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力部と、を有する情報処理装置。
２． 前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、１．に記載の情報処理装置。
３． 前記検出部は、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
前記所定の条件は、
複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、１．に記載の情報処理装置。
４． 前記撮像画像に含まれる物品の種類の入力を受け付け、
前記判定部は、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、２．又は３．に記載の情報処理装置。
５． 前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、１．乃至５．いずれか一つに記載の情報処理装置。
７． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、６．に記載の情報処理装置。
８． 前記出力部は、前記検出された特徴点の数が所定の条件を満たす場合に前記撮像画像を出力し、
前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、１．乃至７．いずれか一つに記載の情報処理装置。 Some or all of the above-described embodiments can also be described in the following supplementary remarks, but are not limited to the following.
1. a detection unit that detects feature points from a captured image generated by capturing an image of a display place of an article;
a determination unit that determines whether or not the number of detected feature points satisfies a predetermined condition;
and an output unit that outputs a predetermined notification when the number of detected feature points does not satisfy a predetermined condition.
2. 1. The predetermined condition is that the number of feature points detected from the entire captured image is equal to or greater than a reference value. The information processing device according to .
3. The detection unit detects feature points from each of one or more partial regions included in the captured image,
The predetermined condition is
The total number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value;
The number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value, or
1. The number of feature points detected in a predetermined number or more of partial areas among the plurality of partial areas is equal to or greater than a reference value. The information processing device according to .
4. Receiving an input of the type of article included in the captured image;
The determination unit acquires the reference value of the number of characteristic points corresponding to the input type of article from a storage device that stores the reference value of the number of characteristic points in association with the type of article. 2. determining whether or not the number of detected feature points satisfies the predetermined condition using the obtained reference value; or 3. The information processing device according to .
5. 1. The predetermined notification includes a notification prompting the display place to be photographed again. to 4. The information processing device according to any one of the above.
6. 1. The predetermined notification includes an indication representing a partial area in which the number of detected feature points is less than a reference value; to 5. The information processing device according to any one of the above.
7. 5. The predetermined notification includes an enlarged display of a partial area in which the number of detected feature points is less than a reference value; The information processing device according to .
8. The output unit outputs the captured image when the number of detected feature points satisfies a predetermined condition,
1. Recognizing an article included in the captured image by using the feature points detected from the output captured image; to 7. The information processing device according to any one of the above.

９． 第１情報処理装置と第２情報処理装置を有する情報処理システムであって、
前記第１情報処理装置は、
物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、
前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、
前記検出された特徴点の数が所定の条件を満たさない場合には所定の通知を出力し、前記検出された特徴点が所定の条件を満たさない場合には前記撮像画像を出力する出力部と、を有し、
前記第２情報処理装置は、前記第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行う、情報処理システム。
１０． 前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、９．に記載の情報処理システム。
１１． 前記検出部は、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
前記所定の条件は、
複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、９．に記載の情報処理システム。
１２． 前記撮像画像に含まれる物品の種類の入力を受け付け、
前記判定部は、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、１０．又は１１．に記載の情報処理システム。
１３． 前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、９．乃至１２．いずれか一つに記載の情報処理システム。
１４． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、９．乃至１３．いずれか一つに記載の情報処理システム。
１５． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、１４．に記載の情報処理システム。 9. An information processing system having a first information processing device and a second information processing device,
The first information processing device is
a detection unit that detects feature points from a captured image generated by capturing an image of a display place of an article;
a determination unit that determines whether or not the number of detected feature points satisfies a predetermined condition;
an output unit that outputs a predetermined notification when the number of the detected feature points does not satisfy a predetermined condition, and outputs the captured image when the detected feature points do not satisfy the predetermined condition; , has
The information processing system, wherein the second information processing device recognizes an article included in the captured image using feature points detected from the captured image output by the first information processing device.
10. 8. The predetermined condition is that the number of feature points detected from the entire captured image is equal to or greater than a reference value; The information processing system according to .
11. The detection unit detects feature points from each of one or more partial regions included in the captured image,
The predetermined condition is
The total number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value;
The number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value, or
8. The number of feature points detected in a predetermined number or more of partial areas among the plurality of partial areas is equal to or greater than a reference value; The information processing system according to .
12. Receiving an input of the type of article included in the captured image;
The determination unit acquires the reference value of the number of characteristic points corresponding to the input type of article from a storage device that stores the reference value of the number of characteristic points in association with the type of article. 10. determining whether or not the number of detected feature points satisfies the predetermined condition using the obtained reference value; or 11. The information processing system according to .
13. 9. The predetermined notification includes a notification prompting the display place to be photographed again; 12. The information processing system according to any one of the above.
14. 9. The predetermined notification includes an indication representing a partial area in which the number of detected feature points is less than a reference value; to 13. The information processing system according to any one of the above.
15. 14. The predetermined notification includes an enlarged display of a partial area in which the number of detected feature points is less than a reference value; The information processing system according to .

１６． コンピュータによって実行される制御方法であって、
物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出ステップと、
前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定ステップと、
前記検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力ステップと、を有する制御方法。
１７． 前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、１６．に記載の制御方法。
１８． 前記検出ステップにおいて、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
前記所定の条件は、
複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、１６．に記載の制御方法。
１９． 前記撮像画像に含まれる物品の種類の入力を受け付け、
前記判定ステップにおいて、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、１７．又は１８．に記載の制御方法。
２０． 前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、１６．乃至１９．いずれか一つに記載の制御方法。
２１． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、１６．乃至２０．いずれか一つに記載の制御方法。
２２． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、２１．に記載の制御方法。
２３． 前記出力ステップにおいて、前記検出された特徴点の数が所定の条件を満たす場合に前記撮像画像を出力し、
前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、１６．乃至２２．いずれか一つに記載の制御方法。 16. A control method implemented by a computer, comprising:
a detection step of detecting feature points from a captured image generated by capturing an image of a display place of an article;
a determination step of determining whether or not the number of detected feature points satisfies a predetermined condition;
and an output step of outputting a predetermined notification when the number of detected feature points does not satisfy a predetermined condition.
17. 16. The predetermined condition is that the number of feature points detected from the entire captured image is equal to or greater than a reference value; The control method described in .
18. In the detection step, detecting feature points from each of one or more partial regions included in the captured image;
The predetermined condition is
The total number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value;
The number of feature points detected from each of the plurality of partial areas is equal to or greater than a reference value, or
16. The number of feature points detected in a predetermined number or more of partial areas among the plurality of partial areas is equal to or greater than a reference value; The control method described in .
19. Receiving an input of the type of article included in the captured image;
In the determination step, the reference value of the number of characteristic points corresponding to the input type of article is obtained from a storage device that stores the reference value of the number of characteristic points in association with the type of article. 17. determining whether or not the number of detected feature points satisfies the predetermined condition using the obtained reference value; or 18. The control method described in .
20. 16. The predetermined notification includes a notification prompting the display place to be imaged again; to 19. A control method according to any one of the preceding claims.
21. 16. The predetermined notification includes a display representing a partial area in which the number of detected feature points is less than a reference value; 20. A control method according to any one of the preceding claims.
22. 21. The predetermined notification includes an enlarged display of a partial area in which the number of detected feature points is less than a reference value; The control method described in .
23. In the output step, outputting the captured image when the number of detected feature points satisfies a predetermined condition;
16. Recognition of an article included in the captured image is performed using the feature points detected from the output captured image; 22. A control method according to any one of the preceding claims.

２４． １６．乃至２３．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。 24. 16. 23. A program that causes a computer to execute each step of the control method described in any one.

１０ カメラ
１２ 撮像画像
１４ 部分領域
２０ 陳列場所
３０ ディスプレイ装置
４０ 通知
５０ 枠
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 第１情報処理装置
２０００ 情報処理装置
２０２０ 検出部
２０４０ 判定部
２０６０ 出力部
３０００ 第２情報処理装置
４０００ 情報処理システム
５０００ 計算機
５０２０ バス
５０４０ プロセッサ
５０６０ メモリ
５０８０ ストレージデバイス
５１００ 入出力インタフェース
５１２０ ネットワークインタフェース 10 Camera 12 Captured Image 14 Partial Area 20 Display Place 30 Display Device 40 Notification 50 Frame 1000 Computer 1020 Bus 1040 Processor 1060 Memory 1080 Storage Device 1100 Input/Output Interface 1120 Network Interface 2000 First Information Processing Device 2000 Information Processing Device 2020 Detection Unit 2040 Determination unit 2060 Output unit 3000 Second information processing device 4000 Information processing system 5000 Computer 5020 Bus 5040 Processor 5060 Memory 5080 Storage device 5100 Input/output interface 5120 Network interface

Claims (5)

物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、
前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、
前記所定の条件が満たされていない場合、所定の通知を出力する出力部と、を有し、
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、
前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域であり、
前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである、情報処理装置。 a detection unit that detects feature points from a partial area that is an area that is included in a captured image that is generated by capturing an image of an item display place and that includes the item;
a determination unit that determines whether the relationship between the number of detected feature points and a reference value for the number of feature points satisfies a predetermined condition;
an output unit that outputs a predetermined notification when the predetermined condition is not satisfied,
the partial area is an area designated by a user or a predetermined area;
The area specified by the user is an area whose range is specified by tapping or dragging to the display device,
The predetermined conditions are (A) that the total number of feature points detected from each of the plurality of partial areas is equal to or greater than the reference value, and (B) the number of feature points detected from each of the plurality of partial areas. (C) the number of feature points detected in a predetermined number or more of the plurality of partial areas is equal to or greater than the reference value. Information processing device. 前記出力部は、前記所定の条件が満たされている場合に前記撮像画像を出力し、
前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、請求項１に記載の情報処理装置。 The output unit outputs the captured image when the predetermined condition is satisfied,
2. The information processing apparatus according to claim 1 , wherein an article included in the captured image is recognized using feature points detected from the output captured image. 第１情報処理装置と第２情報処理装置を有する情報処理システムであって、
前記第１情報処理装置は、
物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、
前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、
前記所定の条件が満たされていない場合には所定の通知を出力し、前記所定の条件が満たされている場合には前記撮像画像を出力する出力部と、を有し、
前記第２情報処理装置は、前記第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行い、
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、
前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域であり、
前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである、情報処理システム。 An information processing system having a first information processing device and a second information processing device,
The first information processing device is
a detection unit that detects feature points from a partial area that is an area that is included in a captured image that is generated by capturing an image of an item display place and that includes the item;
a determination unit that determines whether the relationship between the number of detected feature points and a reference value for the number of feature points satisfies a predetermined condition;
an output unit that outputs a predetermined notification when the predetermined condition is not satisfied, and outputs the captured image when the predetermined condition is satisfied;
The second information processing device uses feature points detected from the captured image output by the first information processing device to recognize an article included in the captured image,
the partial area is an area designated by a user or a predetermined area;
The area specified by the user is an area whose range is specified by tapping or dragging to the display device,
The predetermined conditions are (A) that the total number of feature points detected from each of the plurality of partial areas is equal to or greater than the reference value, and (B) the number of feature points detected from each of the plurality of partial areas. (C) the number of feature points detected in a predetermined number or more of the plurality of partial areas is equal to or greater than the reference value. information processing system . コンピュータによって実行される制御方法であって、
物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出ステップと、
前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定ステップと、
前記所定の条件が満たされている場合、所定の通知を出力する出力ステップと、を有し、
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、
前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域であり、
前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである、制御方法。 A control method implemented by a computer, comprising:
a detection step of detecting feature points from a partial area that is an area that is included in a captured image generated by imaging a display place of the article and that is an area that includes the article;
a determination step of determining whether the relationship between the detected number of feature points and a reference value for the number of feature points satisfies a predetermined condition;
an output step of outputting a predetermined notification if the predetermined condition is satisfied;
the partial area is an area designated by a user or a predetermined area;
The area specified by the user is an area whose range is specified by tapping or dragging to the display device,
The predetermined conditions are (A) that the total number of feature points detected from each of the plurality of partial areas is equal to or greater than the reference value, and (B) the number of feature points detected from each of the plurality of partial areas. (C) the number of feature points detected in a predetermined number or more of the plurality of partial areas is equal to or greater than the reference value. or the control method. 請求項４に記載の制御方法の各ステップをコンピュータに実行させるプログラム。 A program that causes a computer to execute each step of the control method according to claim 4 .
JP2021143146A 2019-08-22 2021-09-02 Information processing device, information processing system, control method, and program Active JP7279755B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021143146A JP7279755B2 (en) 2019-08-22 2021-09-02 Information processing device, information processing system, control method, and program
JP2023074252A JP2023095926A (en) 2019-08-22 2023-04-28 Information processing device, information processing system, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019151774A JP6939855B2 (en) 2018-03-30 2019-08-22 Information processing equipment, information processing systems, control methods, and programs
JP2021143146A JP7279755B2 (en) 2019-08-22 2021-09-02 Information processing device, information processing system, control method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019151774A Division JP6939855B2 (en) 2018-03-30 2019-08-22 Information processing equipment, information processing systems, control methods, and programs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023074252A Division JP2023095926A (en) 2019-08-22 2023-04-28 Information processing device, information processing system, control method, and program

Publications (2)

Publication Number Publication Date
JP2021192275A JP2021192275A (en) 2021-12-16
JP7279755B2 true JP7279755B2 (en) 2023-05-23

Family

ID=78945789

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021143146A Active JP7279755B2 (en) 2019-08-22 2021-09-02 Information processing device, information processing system, control method, and program
JP2023074252A Pending JP2023095926A (en) 2019-08-22 2023-04-28 Information processing device, information processing system, control method, and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023074252A Pending JP2023095926A (en) 2019-08-22 2023-04-28 Information processing device, information processing system, control method, and program

Country Status (1)

Country Link
JP (2) JP7279755B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118790A (en) 2009-12-07 2011-06-16 Nippon Telegr & Teleph Corp <Ntt> Similar image retrieval device, similar image retrieval method and similar image retrieval program
JP2014127168A (en) 2012-12-27 2014-07-07 Nec Corp Vending machine management device, data processing method of the same and program
JP2014153779A (en) 2013-02-05 2014-08-25 Nk Works Co Ltd Image processing program and image processing apparatus
WO2014147917A1 (en) 2013-03-19 2014-09-25 日本電気株式会社 Processing apparatus, data processing method employed by processing apparatus, and program
JP2016115305A (en) 2014-12-18 2016-06-23 富士通テン株式会社 Object detection apparatus, object detection system, object detection method, and program
US20170337508A1 (en) 2016-05-19 2017-11-23 Simbe Robotics, Inc. Method for tracking placement of products on shelves in a store

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118790A (en) 2009-12-07 2011-06-16 Nippon Telegr & Teleph Corp <Ntt> Similar image retrieval device, similar image retrieval method and similar image retrieval program
JP2014127168A (en) 2012-12-27 2014-07-07 Nec Corp Vending machine management device, data processing method of the same and program
JP2014153779A (en) 2013-02-05 2014-08-25 Nk Works Co Ltd Image processing program and image processing apparatus
WO2014147917A1 (en) 2013-03-19 2014-09-25 日本電気株式会社 Processing apparatus, data processing method employed by processing apparatus, and program
JP2016115305A (en) 2014-12-18 2016-06-23 富士通テン株式会社 Object detection apparatus, object detection system, object detection method, and program
US20170337508A1 (en) 2016-05-19 2017-11-23 Simbe Robotics, Inc. Method for tracking placement of products on shelves in a store

Also Published As

Publication number Publication date
JP2023095926A (en) 2023-07-06
JP2021192275A (en) 2021-12-16

Similar Documents

Publication Publication Date Title
JP6549558B2 (en) Sales registration device, program and sales registration method
CN102034074B (en) Image processing method and device for positioning and capturing bar code region in image
US20150042817A1 (en) Thermal imaging device and thermal image photographing method
US20150009226A1 (en) Color chart detection apparatus, color chart detection method, and color chart detection computer program
JP2017521011A (en) Symbol optical detection method
US9208383B2 (en) Commodity recognition apparatus and method for recognizing commodity by the same
JP5264457B2 (en) Object detection device
JP6575628B1 (en) Information processing apparatus, information processing system, control method, and program
CN112532884B (en) Identification method and device and electronic equipment
JP7279755B2 (en) Information processing device, information processing system, control method, and program
US10373329B2 (en) Information processing apparatus, information processing method and storage medium for determining an image to be subjected to a character recognition processing
JP2008009938A (en) Moving image data processor, moving image data processing method, moving image data processing program and storage medium recording the program
JP6939855B2 (en) Information processing equipment, information processing systems, control methods, and programs
JPWO2019181441A1 (en) Information processing device and control method
US20180240093A1 (en) Information processing apparatus and information processing method
KR102505705B1 (en) Image analysis server, object counting method using the same and object counting system
CN116993654A (en) Camera module defect detection method, device, equipment, storage medium and product
JP2022093466A (en) Information processing device, information processing system, and program
JP6947283B2 (en) Store equipment, store systems, image acquisition methods, and programs
US10660731B2 (en) Intraoral scanning system and intraoral scanning method
JP2018005612A (en) Image processing device, image processing method, and program
JP6875061B2 (en) A recording medium for recording an image judgment system, an image judgment method, an image judgment program, and an image judgment program.
US20230222802A1 (en) Processing apparatus, pre-processing apparatus, processing method, and non-transitory storage mediu
US20180063471A1 (en) Adjusting times of capture of digital images
US20230306630A1 (en) Image analysis server, object counting method using image analysis server, and object counting syste

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R151 Written notification of patent or utility model registration

Ref document number: 7279755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151