JP7316203B2 - Information processing system, information processing device, and information processing method - Google Patents

Information processing system, information processing device, and information processing method Download PDF

Info

Publication number
JP7316203B2
JP7316203B2 JP2019221131A JP2019221131A JP7316203B2 JP 7316203 B2 JP7316203 B2 JP 7316203B2 JP 2019221131 A JP2019221131 A JP 2019221131A JP 2019221131 A JP2019221131 A JP 2019221131A JP 7316203 B2 JP7316203 B2 JP 7316203B2
Authority
JP
Japan
Prior art keywords
partial image
information processing
recognition
recognition result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019221131A
Other languages
Japanese (ja)
Other versions
JP2021092826A (en
Inventor
暁艶 戴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2019221131A priority Critical patent/JP7316203B2/en
Priority to US17/756,882 priority patent/US20230013468A1/en
Priority to PCT/JP2020/045287 priority patent/WO2021112234A1/en
Priority to CN202080084524.7A priority patent/CN114766033A/en
Publication of JP2021092826A publication Critical patent/JP2021092826A/en
Application granted granted Critical
Publication of JP7316203B2 publication Critical patent/JP7316203B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理システム、情報処理装置、および情報処理方法に関するものである。 The present invention relates to an information processing system, an information processing apparatus, and an information processing method.

被写体の姿勢を調整することなく特定の方向から撮像した画像に基づいて、任意の物体を認識することが求められている。例えば、商店などにおけるキャッシュレジスター端末において、商品認識エリア上の物体を撮像した画像に基づいて、当該物体がいずれの商品であるかを認識する情報処理システムが提案されている（特許文献１参照）。 There is a demand for recognizing an arbitrary object based on an image captured from a specific direction without adjusting the posture of the subject. For example, there has been proposed an information processing system for recognizing which product an object is based on an image of the object in the product recognition area of a cash register terminal in a store (see Patent Document 1). .

特開２０１７－２２０１９８号公報JP 2017-220198 A

特許文献１に記載の情報処理システムでは、商品認識エリア上に置かれた物品の撮像に複数個の撮像部を用いており、構成が煩雑であった。 In the information processing system described in Patent Document 1, a plurality of image pickup units are used to image an article placed on the product recognition area, and the configuration is complicated.

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、簡潔な構成で物体の認識精度を向上させた情報処理システム、情報処理装置、および情報処理方法を提供することにある。 Accordingly, an object of the present disclosure, which has been made in view of the problems of the conventional technology as described above, is to provide an information processing system, an information processing apparatus, and an information processing method that improve object recognition accuracy with a simple configuration. It is in.

上述した諸課題を解決すべく、第１の観点による情報処理システムは、
撮像により画像を生成する撮像部と、
前記撮像部の撮像範囲内に配置され、前記撮像部の光軸に対して反射面が傾斜している反射部と、
前記画像の内の前記反射部が占める領域における第１部分画像と、前記画像の内の前記反射部以外の領域である第２部分画像とのそれぞれに対して物体認識を行い、前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する情報処理装置と、を備える。 In order to solve the above-mentioned problems, the information processing system according to the first aspect is
an imaging unit that generates an image by imaging;
a reflecting unit arranged within an imaging range of the imaging unit and having a reflecting surface inclined with respect to an optical axis of the imaging unit ;
performing object recognition on each of a first partial image in an area occupied by the reflecting portion in the image and a second partial image in an area other than the reflecting portion in the image; an information processing device that presents the first recognition result and the second recognition result when a first recognition result of an object included in one partial image and a second recognition result of an object included in the second partial image are different; Prepare.

また、第２の観点による情報処理装置は、
撮像部の光軸に対して反射面が傾斜している反射部を含む画像のデータを受信する通信部と、
前記画像の内、前記反射部が占める領域における第１部分画像と、前記画像の内、前記反射部以外の領域である第２部分画像のそれぞれに対して物体認識を行い、前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する制御部と、を備える。 Further, the information processing device according to the second aspect is
a communication unit that receives data of an image including a reflecting unit whose reflecting surface is inclined with respect to the optical axis of the imaging unit ;
object recognition is performed on each of a first partial image in the area occupied by the reflecting portion in the image and a second partial image in the image other than the reflecting portion; a control unit that presents the first recognition result and the second recognition result when the first recognition result of the object included in the image and the second recognition result of the object included in the second partial image are different.

また、第３の観点による情報処理方法は、
コンピュータによって実行される情報処理方法であって、
撮像部の光軸に対して反射面が傾斜している反射部を含む画像を取得し、
前記画像の内、前記反射部が占める領域における第１部分画像と、前記画像の内、前記反射部以外の領域である第２部分画像のそれぞれに対して物体認識を行い、
前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する。
Further, the information processing method according to the third aspect is
A computer-implemented information processing method comprising:
Acquiring an image including a reflecting part whose reflecting surface is inclined with respect to the optical axis of the imaging part,
performing object recognition on each of a first partial image in a region occupied by the reflecting portion in the image and a second partial image in the region other than the reflecting portion in the image ;
When the first recognition result of the object included in the first partial image and the second recognition result of the object included in the second partial image are different, the first recognition result and the second recognition result are presented.

上記のように構成された本開示に係る情報処理システム、情報処理装置、および情報処理方法によれば、簡潔な構成で物体の認識精度が向上する According to the information processing system, the information processing device, and the information processing method according to the present disclosure configured as described above, the object recognition accuracy is improved with a simple configuration.

本実施形態に係る情報処理システムを含む精算システムの全体構成を示す構成図である。It is a lineblock diagram showing the whole settlement system composition including an information processing system concerning this embodiment. 図１の情報処理システムの全体構成を示す構成図である。2 is a configuration diagram showing the overall configuration of the information processing system of FIG. 1; FIG. 図２の情報処理装置の概略構成を示す機能ブロック図である。3 is a functional block diagram showing a schematic configuration of the information processing apparatus of FIG. 2; FIG. 図２のカメラが撮像する画像における第１部分画像および第２部分画像の領域を説明するための図である。3 is a diagram for explaining regions of a first partial image and a second partial image in an image captured by the camera in FIG. 2; FIG. 図３の制御部が実行する第１の方式による確定処理を説明するためのフローチャートである。FIG. 4 is a flowchart for explaining confirmation processing according to the first method executed by the control unit in FIG. 3; FIG. 図３の制御部が実行する第２の方式による確定処理を説明するためのフローチャートである。FIG. 4 is a flowchart for explaining confirmation processing according to a second method executed by the control unit in FIG. 3; FIG. 図３の制御部が実行する第３の方式による確定処理を説明するためのフローチャートである。FIG. 4 is a flowchart for explaining confirmation processing according to a third method executed by the control unit in FIG. 3; FIG. 図３の制御部が実行する第３の方式の変形例による確定処理を説明するためのフローチャートである。FIG. 10 is a flowchart for explaining determination processing according to a modification of the third method executed by the control unit in FIG. 3; FIG. 図３の制御部が実行する第４の方式による確定処理を説明するためのフローチャートである。FIG. 10 is a flowchart for explaining confirmation processing according to a fourth method executed by the control unit in FIG. 3; FIG.

以下、本開示を適用した情報処理システムの実施形態について、図面を参照して説明する。 Hereinafter, embodiments of an information processing system to which the present disclosure is applied will be described with reference to the drawings.

図１に示すように、本開示の一実施形態に係る情報処理システム１０を含む精算システム１１は、少なくとも１つの情報処理システム１０およびサーバ１２を含んで構成されている。本実施形態では、精算システム１１は、複数の情報処理システム１０を含む。 As shown in FIG. 1 , a settlement system 11 including an information processing system 10 according to an embodiment of the present disclosure includes at least one information processing system 10 and a server 12 . In this embodiment, the settlement system 11 includes a plurality of information processing systems 10 .

本実施形態において、情報処理システム１０はレジ端末に含まれている。情報処理システム１０は、購入者がレジ端末に載置する商品を撮像する。情報処理システム１０は、撮像による画像に対して物体認識を行い、画像中に含まれる物体が店舗におけるいずれの商品であるかを認識する。画像中の物体は、画像内に描画されている物体を意味する。情報処理システム１０は、載置された全商品の認識結果を、ネットワーク１３を介してサーバ１２に通知する。サーバ１２は認識結果に基づいて、請求金額を算出する。サーバ１２は、請求金額を情報処理システム１０に通知する。情報処理システム１０は、購入者に請求金額を提示し、購入金額の支払いを要求する。 In this embodiment, the information processing system 10 is included in a cash register terminal. The information processing system 10 captures an image of the product that the purchaser places on the cash register terminal. The information processing system 10 performs object recognition on the captured image, and recognizes which product in the store the object included in the image is. An object in an image means an object that is drawn in the image. The information processing system 10 notifies the server 12 via the network 13 of the recognition results of all the placed commodities. The server 12 calculates the billing amount based on the recognition result. The server 12 notifies the information processing system 10 of the billed amount. The information processing system 10 presents the billed amount to the purchaser and requests payment of the purchase amount.

図２に示すように、情報処理システム１０は、カメラ１４、反射部１５、および情報処理装置１７を含んで構成される。また、情報処理システム１０は、表示装置１６、載置台１８、および支持柱１９を更に含んで構成されてもよい。 As shown in FIG. 2 , the information processing system 10 includes a camera 14 , a reflector 15 and an information processing device 17 . Further, the information processing system 10 may further include a display device 16 , a mounting table 18 and a support column 19 .

カメラ１４は、載置台１８の全範囲を撮像可能に固定されている。カメラ１４は、例えば、載置台１８の側面から延びる支持柱１９に固定されている。カメラ１４は、例えば、載置台１８の上面ｕｓ全面を撮像可能、かつ当該上面ｕｓに光軸が垂直になるように固定されている。カメラ１４は、任意のフレームレートで連続的に撮像を行い、画像信号を生成する。 The camera 14 is fixed so as to capture an image of the entire range of the mounting table 18 . The camera 14 is fixed, for example, to a support column 19 extending from the side surface of the mounting table 18 . The camera 14 is, for example, fixed so that it can image the entire upper surface us of the mounting table 18 and its optical axis is perpendicular to the upper surface us. The camera 14 continuously captures images at an arbitrary frame rate to generate image signals.

反射部１５は、カメラ１４の撮像範囲内の任意の位置に配置されている。反射部１５は、例えば、撮像範囲内の中央および端部などのいずれの位置に配置されていてもよい。単一の反射部１５が配置されてよく、複数の反射部１５が配置されてよい。本実施形態において、単一の反射部１５は、矩形の載置台１８の１辺に沿うように配置された状態で固定されている。反射部１５は、例えば、載置台１８の長手方向と同じ長さで、底面が直角二等辺三角形の三角柱である。反射部１５は、三角柱の２底面における頂点が載置台１８の同じ長辺上に位置し、三角柱の側面が載置台１８の上面ｕｓに対向するように配置されている。また、反射部１５の大きさは、載置台１８の大きさおよびカメラ１４の撮像範囲に応じて適宜最適なものに設定されてよい。 The reflector 15 is arranged at an arbitrary position within the imaging range of the camera 14 . The reflecting section 15 may be arranged at any position such as the center or the end within the imaging range, for example. A single reflector 15 may be arranged, or a plurality of reflectors 15 may be arranged. In this embodiment, the single reflecting part 15 is fixed in a state of being arranged along one side of the rectangular mounting table 18 . The reflecting portion 15 is, for example, a triangular prism having the same length as the mounting table 18 in the longitudinal direction and having a right-angled isosceles triangle bottom surface. The reflector 15 is arranged such that the vertices of the two bottom surfaces of the triangular prism are located on the same long side of the mounting table 18 and the side surfaces of the triangular prism face the upper surface us of the mounting table 18 . Also, the size of the reflecting portion 15 may be appropriately set to an optimum size according to the size of the mounting table 18 and the imaging range of the camera 14 .

反射部１５では、反射面ｒｓがカメラ１４の光軸に対して傾斜している。本実施形態において、反射部１５では、底面における底辺に相当する側面に、アルミニウム、銀、またはクロムなどの金属材料などを被着することにより反射面ｒｓが形成されている。本実施形態において、反射面ｒｓは平坦状であるが、球面状、非球面状、および円筒側面状であってよく、凸状または凹状であってよい。 In the reflecting section 15 , the reflecting surface rs is inclined with respect to the optical axis of the camera 14 . In the present embodiment, the reflection surface rs is formed by coating a side surface of the bottom surface of the reflection portion 15 corresponding to the base with a metal material such as aluminum, silver, or chromium. In this embodiment, the reflecting surface rs is flat, but it may be spherical, aspherical, cylindrical, convex or concave.

表示装置１６は、従来公知の任意のディスプレイである。表示装置１６は、情報処理装置１７から送信される画像信号に相当する画像を表示する。また、後述するように、表示装置１６は、タッチスクリーンとして機能してよい。 Display device 16 is any conventionally known display. The display device 16 displays an image corresponding to the image signal transmitted from the information processing device 17 . Also, as will be described later, the display device 16 may function as a touch screen.

図３に示すように、情報処理装置１７は、通信部２０、入力部２１、記憶部２２、および制御部２３を含んで構成される。情報処理装置１７は、本実施形態において、カメラ１４、反射部１５、および表示装置１６とは別の装置として構成されているが、例えば、カメラ１４、反射部１５、載置台１８、支持柱１９、および表示装置１６の少なくともいずれかと一体的に構成されてもよい。 As shown in FIG. 3 , the information processing device 17 includes a communication section 20 , an input section 21 , a storage section 22 and a control section 23 . The information processing device 17 is configured as a separate device from the camera 14, the reflection unit 15, and the display device 16 in this embodiment. , and/or the display device 16 .

通信部２０は、例えば、有線または無線を含んで構成される通信線を介してカメラ１４と通信する通信モジュールを含む。通信部２０は、カメラ１４から画像信号を受信する。通信部２０は、通信線を介して表示装置１６と通信する通信モジュールを含む。通信部２０は、表示させる画像に相当する画像信号を表示装置１６に向けて送信する。通信部２０は、表示装置１６から表示面において接触を検知した位置に相当する位置信号を受信してよい。通信部２０は、ネットワーク１３を介してサーバ１２と通信する通信モジュールを含む。通信部２０は、後述する、確定した認識結果に相当する結果情報をサーバ１２に送信する。通信部２０は、サーバ１２から請求金額に相当する金額情報をサーバ１２から受信してよい。 The communication unit 20 includes, for example, a communication module that communicates with the camera 14 via a wired or wireless communication line. The communication unit 20 receives image signals from the camera 14 . Communication unit 20 includes a communication module that communicates with display device 16 via a communication line. The communication unit 20 transmits image signals corresponding to images to be displayed to the display device 16 . The communication unit 20 may receive a position signal corresponding to the position where contact is detected on the display surface from the display device 16 . Communication unit 20 includes a communication module that communicates with server 12 via network 13 . The communication unit 20 transmits to the server 12 result information corresponding to the confirmed recognition result, which will be described later. The communication unit 20 may receive amount information corresponding to the billed amount from the server 12 .

入力部２１は、ユーザ入力を検出する１つ以上のインタフェースを含む。入力部２１は、例えば、物理キー、静電容量キー、および表示装置１６と一体的に設けられたタッチスクリーンを含んでよい。本実施形態においては、入力部２１はタッチスクリーンである。 The input unit 21 includes one or more interfaces that detect user input. The input unit 21 may include, for example, physical keys, capacitive keys, and a touch screen provided integrally with the display device 16 . In this embodiment, the input unit 21 is a touch screen.

記憶部２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部２２は、制御部２３を機能させる多様なプログラム、および制御部２３が用いる多様な情報を記憶する。 The storage unit 22 includes arbitrary storage devices such as RAM (Random Access Memory) and ROM (Read Only Memory). The storage unit 22 stores various programs that cause the control unit 23 to function and various information that the control unit 23 uses.

制御部２３は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部２３は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。 Control unit 23 includes one or more processors and memory. The processor may include a general-purpose processor that loads a specific program to execute a specific function, and a dedicated processor that specializes in specific processing. A dedicated processor may include an Application Specific Integrated Circuit (ASIC). The processor may include a programmable logic device (PLD). A PLD may include an FPGA (Field-Programmable Gate Array). The control unit 23 may be either an SoC (System-on-a-Chip) in which one or more processors cooperate, or a SiP (System In a Package).

制御部２３は、図４に示すように、カメラ１４から受信する画像信号に相当する画像ｉｍを、第１部分画像ｉｍp1および第２部分画像ｉｍp2に分割する。第１部分画像ｉｍp1は、画像信号に相当する画像ｉｍの全領域における反射部１５が占める領域の画像である。第２部分画像ｉｍp2は、当該画像の全領域における反射部１５が占める領域以外の領域の画像である。 As shown in FIG. 4, the control unit 23 divides the image im corresponding to the image signal received from the camera 14 into a first partial image imp1 and a second partial image imp2 . The first partial image imp1 is an image of the area occupied by the reflecting portion 15 in the entire area of the image im corresponding to the image signal. The second partial image imp2 is an image of an area other than the area occupied by the reflecting portion 15 in the entire area of the image.

制御部２３は、以下に説明するように、第１部分画像ｉｍp1および第２部分画像ｉｍp2に対して物体認識を行う。物体認識は、画像ｉｍ中の物体が何であるかを把握し、認識結果を作成することを意味する。制御部２３は、例えば、画像ｉｍ内で物体を検出し、当該検出した物体が何であるかの認識結果を作成してよい。本実施形態において、物体の画像ｉｍ内での検出とは、画像ｉｍ内の物体の存在を位置とともに個別に把握することを意味する。または、制御部２３は、例えば、画像ｉｍ内で物体を検出することなく直接物体認識を行うことにより認識結果を作成してよい。制御部２３は、物体認識により、例えば、載置台１８に載置されることにより、カメラ１４の撮像範囲内に位置する物体を認識する。 The control unit 23 performs object recognition on the first partial image imp1 and the second partial image imp2 , as described below. Object recognition means grasping what the object in the image im is and creating a recognition result. For example, the control unit 23 may detect an object within the image im and create a recognition result indicating what the detected object is. In this embodiment, the detection of an object within the image im means individually recognizing the existence of the object within the image im together with the position thereof. Alternatively, the control unit 23 may create a recognition result by directly recognizing an object without detecting the object in the image im, for example. The control unit 23 recognizes an object located within the imaging range of the camera 14 by object recognition, for example, by being mounted on the mounting table 18 .

制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2に対して、例えば、バーコード検出、深層学習、パターンマッチング、および文字認識などの公知の認識方法によって、物体認識を行う。制御部２３は、物体認識により画像ｉｍ中の物体を仮認識するとともに、当該物体の仮の認識結果の信頼度を算出する。信頼度は、認識結果の正確性を示す指標である。 The control unit 23 performs object recognition on the first partial image imp1 and the second partial image imp2 by known recognition methods such as barcode detection, deep learning, pattern matching, and character recognition. The control unit 23 temporarily recognizes an object in the image im by object recognition, and calculates the reliability of the temporary recognition result of the object. The reliability is an index that indicates the accuracy of recognition results.

制御部２３は、例えば、以下に説明する第１の方式から第４の方式の何れかによって、物体の認識を行ってよい。なお、載置台１８に「おにぎり」と「ボトル入りのお茶」（以下において「お茶」と呼ぶ。）とが載置された状況に対して行われる物体認識を例として用いて、それぞれの方式による物体の認識を説明する。 For example, the control unit 23 may recognize the object by any one of the first method to the fourth method described below. Note that object recognition performed in a situation in which a "rice ball" and a "bottled tea" (hereinafter referred to as "tea") are placed on the placing table 18 will be used as an example. Describe object recognition.

第１の方式では、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2の一方に対して物体認識を行う。本実施形態では、制御部２３は、第２部分画像ｉｍp2に対して物体認識を行う。制御部２３は、物体認識により物体毎に仮認識して、認識結果を仮の認識結果として作成する。制御部２３は、物体毎に付与される信頼度をそれぞれ閾値と比較する。制御部２３は、物体毎に付与される信頼度が全て閾値を超える場合、第２部分画像ｉｍp2に対する物体認識による全物体に対するそれぞれの仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍp2で認識される２つの物体の仮の認識結果が「おにぎり」および「お茶」であってそれぞれの信頼度が閾値を超える場合、仮の認識結果である「おにぎり」および「お茶」を、最終的な認識結果として確定する。 In the first method, the control unit 23 performs object recognition on one of the first partial image imp1 and the second partial image imp2 . In this embodiment, the control unit 23 performs object recognition on the second partial image imp2 . The control unit 23 performs provisional recognition for each object through object recognition, and creates a recognition result as a provisional recognition result. The control unit 23 compares the reliability assigned to each object with a threshold value. When all the degrees of reliability given to each object exceed the threshold, the control unit 23 determines the provisional recognition results for all objects in the object recognition of the second partial image imp2 as the final recognition results. For example, if the provisional recognition results of the two objects recognized in the second partial image imp2 are “rice ball” and “tea” and the respective reliability levels exceed the threshold, the control unit 23 sets the provisional recognition result are determined as the final recognition result.

さらに第１の方式では、制御部２３は、第２部分画像ｉｍp2に対する物体認識による少なくとも一部の物体に対する信頼度が閾値以下である場合、他方の部分画像である第１部分画像ｉｍp1に対して物体認識を行う。例えば、制御部２３は、第２部分画像ｉｍp2で認識される２つの物体の仮の認識結果が「おにぎり」および「青汁」であって一方の信頼度が閾値以下である場合、第１部分画像ｉｍp1に対して物体認識を行う。 Furthermore, in the first method, when the reliability of at least a part of the object in object recognition for the second partial image imp2 is equal to or less than a threshold, the control unit 23 converts the first partial image imp1 , which is the other partial image, into object recognition. For example, if the provisional recognition results of the two objects recognized in the second partial image imp2 are “rice ball” and “green juice” and the reliability of one of them is equal to or less than the threshold, the control unit 23 Object recognition is performed on the partial image imp1 .

さらに第１の方式では、制御部２３は、第１部分画像ｉｍp1に対する物体認識による全物体の仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第１部分画像ｉｍp1で認識される２つの物体の仮の認識結果である「おにぎり」および「お茶」を、最終的な認識結果として確定する。 Furthermore, in the first method, the control unit 23 determines the provisional recognition result of all objects by object recognition for the first partial image imp1 as the final recognition result. For example, the control unit 23 determines "rice ball" and "tea", which are the provisional recognition results of the two objects recognized in the first partial image imp1 , as the final recognition results.

第２の方式では、制御部２３は、第１の方式と同じく、第１部分画像ｉｍp1および第２部分画像ｉｍp2の一方に対する物体認識、および全物体に対する信頼度の閾値との比較を行う。本実施形態では、制御部２３は、全物体の中で信頼度が閾値を超える物体に対して、一方の部分画像である第２部分画像ｉｍp2に対する物体認識による当該物体に対する認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍp2で認識される２つの物体の中の１つの物体の仮の認識結果が「おにぎり」であって、信頼度が閾値を超える場合、当該物体の仮の認識結果である「おにぎり」を、最終的な認識結果として確定する。 In the second method, as in the first method, the control unit 23 performs object recognition on one of the first partial image imp1 and the second partial image imp2 , and compares all objects with the reliability threshold. . In this embodiment, the control unit 23 determines the recognition result of the second partial image imp2 , which is one of the partial images, for the object whose reliability exceeds the threshold among all the objects. determined as a valid recognition result. For example, if the provisional recognition result of one of the two objects recognized in the second partial image imp2 is "rice ball" and the reliability exceeds the threshold, the control unit 23 The provisional recognition result of "rice ball" is determined as the final recognition result.

さらに第２の方式では、制御部２３は、第２部分画像ｉｍp2に対する物体認識による物体に対する信頼度が閾値以下である場合、第２部分画像ｉｍp2における当該物体と、第１部分画像ｉｍp1において認識される物体との対応付けを行う。制御部２３は、例えば、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれの特定の方向における同じ位置に位置する物体を同一の物体とみなして、対応付けてよい。制御部２３は、対応付けられた物体に関して、他方の部分画像である第１部分画像ｉｍp1に対する物体認識を行う。例えば、制御部２３は、第２部分画像ｉｍp2で認識される２つの物体の中の１つの物体の仮の認識結果が「青汁」であって、信頼度が閾値以下である場合、当該物体に対して第１部分画像ｉｍp1に対して物体認識を行う。 Furthermore, in the second method, when the reliability of the object in object recognition for the second partial image imp2 is equal to or lower than the threshold, the control unit 23 to associate with the object recognized in . For example, the control unit 23 may regard objects located at the same position in a specific direction in the first partial image imp1 and the second partial image imp2 as the same object and associate them. The control unit 23 performs object recognition on the first partial image imp1 , which is the other partial image, with respect to the associated object. For example, if the temporary recognition result of one of the two objects recognized in the second partial image imp2 is "green juice" and the reliability is equal to or less than the threshold, the control unit 23 Object recognition is performed on the first partial image imp1 for the object.

さらに第２の方式では、制御部２３は、第１部分画像ｉｍp1に対する物体認識による当該物体の仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍp2に対する物体認識により「青汁」という仮の認識結果が作成された物体に対して、第１部分画像ｉｍp1に対する物体認識による仮の認識結果である「お茶」を、最終的な認識結果として確定する。 Furthermore, in the second method, the control unit 23 determines the provisional recognition result of the object obtained by recognizing the object on the first partial image imp1 as the final recognition result. For example, the control unit 23 determines the provisional recognition result of object recognition for the first partial image imp1 with respect to the object for which the provisional recognition result of "green juice" is created by the object recognition for the second partial image imp2 . A certain “tea” is determined as the final recognition result.

上述の第１の方式および第２の方式では、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2のいずれを先に物体認識を行うかを、容易度に基づいて決定してよい。容易度は、物体認識される画像に対する、正確な認識結果を作成できる容易性を数値化して示す。 In the first method and the second method described above, the control unit 23 determines which of the first partial image imp1 and the second partial image imp2 is to be first subjected to object recognition based on the degree of ease. you can The easiness quantifies the ease with which an accurate recognition result can be created for an image for object recognition.

制御部２３は、容易度の算出のための、例えば、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにセグメンテーションを行い、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにおいてセグメンテーション領域を抽出する。セグメンテーション領域は、単一の物体とみなされる像が形成されている領域である。制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対して抽出するセグメンテーション領域の数を、容易度として算出してよい。セグメンテーション領域の数は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにおいて検出される物体の数と同等である。または、制御部２３は、第１部分画像ｉｍp1の大きさに対するセグメンテーション領域合計の大きさ、および第２部分画像ｉｍp2の大きさに対するセグメンテーション領域合計の大きさを、容易度として算出してよい。または、制御部２３は、第１部分画像ｉｍp1のセグメンテーション領域合計の大きさ、および第２部分画像ｉｍp2のセグメンテーション領域合計の大きさを、容易度として算出してよい。 For example, the control unit 23 performs segmentation on each of the first partial image imp1 and the second partial image imp2 , and performs segmentation on each of the first partial image imp1 and the second partial image imp2. Extract regions. A segmentation region is an imaged region that is considered a single object. The control unit 23 may calculate the number of segmentation regions to be extracted for each of the first partial image imp1 and the second partial image imp2 as the degree of ease. The number of segmentation regions is equal to the number of objects detected in each of the first partial image imp1 and the second partial image imp2 . Alternatively, the control unit 23 may calculate the total size of the segmentation area with respect to the size of the first partial image imp1 and the total size of the segmentation area with respect to the size of the second partial image imp2 as the ease degrees. . Alternatively, the control unit 23 may calculate the total size of the segmentation regions of the first partial image imp1 and the total size of the segmentation regions of the second partial image imp2 as the ease degrees.

制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2の中で、算出した容易度が高い一方に対して、物体認識を行わせてよい。 The control unit 23 may cause the object recognition to be performed on one of the first partial image imp1 and the second partial image imp2 that has the higher calculated degree of easiness.

第３の方式では、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対して物体認識を行う。制御部２３は、第１部分画像ｉｍp1において仮認識される物体と、第２部分画像ｉｍp2において仮認識される物体とを対応付ける。制御部２３は、例えば、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれの特定の方向における同じ位置に位置する物体を同一の物体とみなして、対応付けてよい。また、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに位置する物体のエッジを含む形状が同一である物体を同一の物体とみなして、対応付けてよい。制御部２３は、対応付けられる物体のそれぞれの仮の認識結果が一致する場合、当該物体の仮の認識結果を、最終的な認識結果として確定する。 In the third method, the control unit 23 performs object recognition on each of the first partial image imp1 and the second partial image imp2 . The control unit 23 associates the temporarily recognized object in the first partial image imp1 with the temporarily recognized object in the second partial image imp2 . For example, the control unit 23 may regard objects located at the same position in a specific direction in the first partial image imp1 and the second partial image imp2 as the same object and associate them. In addition, the control unit 23 may regard objects having the same shape including the edge of the object located in the first partial image imp1 and the second partial image imp2 as the same object and associate them. When the provisional recognition results of the associated objects match each other, the control unit 23 determines the provisional recognition result of the object as the final recognition result.

さらに第３の方式では、制御部２３は、対応付けられる物体の仮の認識結果が異なる場合、それぞれの仮の認識結果を提示する。制御部２３は、例えば、仮の認識結果を示す画像を表示装置１６に表示することによって、仮の認識結果を使用者に提示してよい。制御部２３は、画像の表示を行う構成においては、当該画像に相当する画像信号を生成し、表示装置１６に送信するように、通信部２０を制御する。制御部２３は、例えば、音声による提示のように、画像の表示以外の方法によって仮の認識結果を提示してよい。制御部２３は、仮の認識結果の提示において、信頼度が大きい順番に提示してよい。制御部２３は、提示している仮の認識結果に対して、使用者による選択を入力部２１が検出するとき、選択された仮の認識結果を、最終的な認識結果として確定してよい。 Furthermore, in the third method, when the temporary recognition results of the associated objects are different, the control unit 23 presents the respective temporary recognition results. The control unit 23 may present the provisional recognition result to the user by, for example, displaying an image showing the provisional recognition result on the display device 16 . In the configuration for displaying an image, the control unit 23 controls the communication unit 20 so as to generate an image signal corresponding to the image and transmit it to the display device 16 . The control unit 23 may present the provisional recognition result by a method other than image display, such as presentation by voice. The control unit 23 may present the provisional recognition results in descending order of reliability. When the input unit 21 detects that the user has selected one of the presented provisional recognition results, the control unit 23 may determine the selected provisional recognition result as the final recognition result.

例えば、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2での間で対応付けられている物体に対して、それぞれの物体認識による仮の認識結果が「お茶」および「青汁」である場合、認識結果である「お茶」および「青汁」を提示する。第１部分画像ｉｍp1における仮の認識結果である「お茶」の信頼度が、第２部分画像ｉｍp2における仮の認識結果である「青汁」の信頼度より大きい場合、仮の認識結果は、「お茶」および「青汁」の順番で提示される。 For example, the control unit 23 sets the provisional recognition results of object recognition to "tea" and "blue" for objects associated between the first partial image imp1 and the second partial image imp2 . In the case of "soup", the recognition results of "tea" and "green juice" are presented. If the reliability of the tentative recognition result of "tea" in the first partial image imp1 is higher than the reliability of the tentative recognition result of "green juice" in the second partial image imp2 , the tentative recognition result is , “tea” and “green juice” are presented in this order.

あるいは第３の方式において、制御部２３は、対応付けられる物体の仮の認識結果が異なり、且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を当該物体の最終的な認識結果として確定する。例えば、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2での間で対応付けられている物体に対して、それぞれの物体認識による仮の認識結果が「お茶」および「青汁」であり、それぞれの仮の認識結果の信頼度が閾値を超える場合、より信頼度の大きな仮の認識結果である「お茶」を、最終的な認識結果として確定する。 Alternatively, in the third method, if the provisional recognition results of the objects to be associated are different and the reliability of at least one of the provisional recognition results exceeds a threshold, the control unit 23 selects a provisional recognition result with high reliability. Determined as the final recognition result of the object. For example, the control unit 23 sets the provisional recognition results of object recognition to "tea" and "blue" for objects associated between the first partial image imp1 and the second partial image imp2 . If the reliability of each provisional recognition result exceeds the threshold, the provisional recognition result with a higher reliability of "tea" is determined as the final recognition result.

第４の方式では、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにおいて物体を検出する。制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにおいて検出される物体を対応付ける。制御部２３は、対応付けられた物体が第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにおいて検出される部分を抽出する。制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれから抽出した部分を組合わせて物体認識を行う。制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2の部分的な組合わせに対する物体認識による物体の仮の認識結果を作成する。制御部２３は、作成する仮の認識結果を最終的な認識結果として確定する。 In the fourth method, the control unit 23 detects an object in each of the first partial image imp1 and the second partial image imp2 . The control unit 23 associates objects detected in each of the first partial image imp1 and the second partial image imp2 . The control unit 23 extracts portions where the associated object is detected in each of the first partial image imp1 and the second partial image imp2 . The control unit 23 performs object recognition by combining portions extracted from the first partial image imp1 and the second partial image imp2 . The control unit 23 creates a provisional object recognition result by object recognition for a partial combination of the first partial image imp1 and the second partial image imp2 . The control unit 23 determines the temporary recognition result to be created as the final recognition result.

制御部２３は、確定した最終的な認識結果を示す情報を、サーバ１２に送信するように、通信部２０を制御する。制御部２３は、最終的な認識結果を示す情報の送信に対して、サーバ１２から請求金額を示す情報を受信するとき、当該請求金額をユーザに提示する。制御部２３は、例えば、当該請求金額の支払いを要求する画像を作成し、表示装置１６に表示させることにより、ユーザに提示してよい。 The control unit 23 controls the communication unit 20 so as to transmit information indicating the determined final recognition result to the server 12 . When receiving the information indicating the billed amount from the server 12 in response to the transmission of the information indicating the final recognition result, the control unit 23 presents the billed amount to the user. For example, the control unit 23 may create an image requesting payment of the billed amount and display it on the display device 16 to present it to the user.

サーバ１２は、例えば、物理サーバ、またはクラウドサーバで構成されている。サーバ１２は、情報処理システム１０から送信される最終的な認識結果を示す情報に基づいて、当該情報処理システム１０における載置台１８に載置された物体を特定する。サーバ１２は、データベースから当該物体の販売価格を読出すことにより当該情報処理システム１０のユーザに対する請求金額を算出する。サーバ１２は、当該請求金額を示す情報を情報処理システム１０に送信する。 The server 12 is configured by, for example, a physical server or a cloud server. The server 12 identifies the object placed on the placement table 18 in the information processing system 10 based on the information indicating the final recognition result transmitted from the information processing system 10 . Server 12 calculates the amount billed to the user of information processing system 10 by reading the selling price of the object from the database. The server 12 transmits information indicating the billed amount to the information processing system 10 .

サーバ１２は、情報処理システム１０において物体認識に用いる、複数の特定の物体の画像、特徴量、表面に描画されている文字などの参照用データベースを有しており、当該参照用データベース内の参照用情報を情報処理システム１０に送信してよい。 The server 12 has a reference database of a plurality of specific object images, feature values, characters drawn on the surface, etc., which are used for object recognition in the information processing system 10. information may be sent to the information processing system 10 .

次に、本実施形態において制御部２３が実行する、第１の方式による確定処理について、図５のフローチャートを用いて説明する。第１の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。 Next, the confirmation process according to the first method executed by the control unit 23 in this embodiment will be described with reference to the flowchart of FIG. The confirmation process by the first method starts each time one frame of image signal is received from the camera 14 .

ステップＳ１００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍp1および第２部分画像ｉｍp2に分割する。分割後、プロセスはステップＳ１０１に進む。 In step S100, the control unit 23 divides the image im corresponding to the received image signal into a first partial image imp1 and a second partial image imp2 . After splitting, the process proceeds to step S101.

ステップＳ１０１では、制御部２３は、ステップＳ１００において分割した第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれから、セグメンテーション領域を抽出する。抽出後、プロセスはステップＳ１０２に進む。 In step S101, the control unit 23 extracts segmentation regions from each of the first partial image imp1 and the second partial image imp2 divided in step S100. After extraction, the process proceeds to step S102.

ステップＳ１０２では、制御部２３は、ステップＳ１０１において抽出したセグメンテーション領域に基づいて、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれの容易度を算出する。算出後、プロセスはステップＳ１０３に進む。 In step S102, the control unit 23 calculates the easiness of each of the first partial image imp1 and the second partial image imp2 based on the segmentation region extracted in step S101. After the calculation, the process proceeds to step S103.

ステップＳ１０３では、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2の中で、ステップＳ１０２において算出した容易度の高い一方の部分画像を選択する。選択後、プロセスはステップＳ１０４に進む。 In step S103, the control unit 23 selects one of the partial images imp1 and the second partial image imp2 , which has the higher degree of easiness calculated in step S102. After selection, the process proceeds to step S104.

ステップＳ１０４では、制御部２３は、ステップＳ１０３において選択した一方の部分画像に対して物体認識を行う。制御部２３は、物体認識により仮認識される各物体の仮の認識結果の信頼度を算出する。物体認識後、プロセスはステップＳ１０５に進む。 In step S104, the control unit 23 performs object recognition on one of the partial images selected in step S103. The control unit 23 calculates the reliability of the provisional recognition result of each object provisionally recognized by the object recognition. After object recognition, the process proceeds to step S105.

ステップＳ１０５では、制御部２３は、ステップＳ１０４において認識した全物体それぞれに対する信頼度が閾値を超えているか否かを判別する。全物体それぞれに対する信頼度が閾値を超えている場合、プロセスはステップＳ１０６に進む。少なくとも一部の物体に対する信頼度が閾値を超えていない場合、プロセスはステップＳ１０７に進む。 In step S105, the control unit 23 determines whether or not the reliability of each object recognized in step S104 exceeds a threshold. If the confidence for each of all objects exceeds the threshold, the process proceeds to step S106. If the confidence for at least some of the objects does not exceed the threshold, the process proceeds to step S107.

ステップＳ１０６では、制御部２３は、ステップＳ１０４において仮認識された全物体の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ１０９に進む。 In step S106, the control unit 23 determines the provisional recognition results of all the objects provisionally recognized in step S104 as final recognition results. After confirmation, the process proceeds to step S109.

ステップＳ１０７では、制御部２３は、ステップＳ１０３において選択された一方の部分画像に対する他方の部分画像に対して物体認識を行う。物体認識後、プロセスはステップＳ１０８に進む。 In step S107, the control unit 23 performs object recognition on the one partial image selected in step S103 and the other partial image. After object recognition, the process proceeds to step S108.

ステップＳ１０８では、制御部２３は、ステップＳ１０８において物体認識により仮認識された全物体の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ１０９に進む。 In step S108, the control unit 23 determines the provisional recognition result of all the objects provisionally recognized by the object recognition in step S108 as the final recognition result. After confirmation, the process proceeds to step S109.

ステップＳ１０９では、制御部２３は、ステップＳ１０６またはステップＳ１０８において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第１の方式による確定処理は終了する。 In step S109, the control unit 23 controls the communication unit 20 so as to transmit to the server 12 information indicating the final recognition result determined in step S106 or S108. After transmission, the confirmation process by the first method ends.

次に、本実施形態において制御部２３が実行する、第２の方式による確定処理について、図６のフローチャートを用いて説明する。第２の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。 Next, the confirmation process according to the second method, which is executed by the control unit 23 in this embodiment, will be described with reference to the flowchart of FIG. The confirmation process by the second method starts each time one frame of image signal is received from the camera 14 .

ステップＳ２００からステップＳ２０６において、制御部２３は、第１の方式による確定処理のステップＳ１００からステップＳ１０６と同じ処理を行う。ステップＳ２０５において、少なくとも一部の物体に対する信頼度が閾値を超えていない場合に、プロセスはステップＳ２０７に進む。ステップＳ２０６において、確定後、プロセスはステップＳ２１０に進む。 In steps S200 to S206, the control unit 23 performs the same processes as steps S100 to S106 of the confirmation process according to the first method. In step S205, if the confidence for at least some of the objects does not exceed the threshold, the process proceeds to step S207. After confirmation in step S206, the process proceeds to step S210.

ステップＳ２０７では、制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果である物体と、ステップＳ２０３において選択された一方の部分画像に対する他方の部分画像において認識される物体との対応付けを行う。対応付け後、プロセスはステップＳ２０８に進む。 In step S207, the control unit 23 selects the object that is the provisional recognition result whose reliability calculated in step S204 is lower than the threshold, and the object that is recognized in the other partial image for the one partial image selected in step S203. . After matching, the process proceeds to step S208.

ステップＳ２０８では、制御部２３は、ステップＳ２０７において対応付けられた物体に関して、ステップＳ２０３において選択された一方の部分画像に対する他方の部分画像に対する物体認識を行う。物体認識後、プロセスはステップＳ２０９に進む。 In step S208, the control unit 23 performs object recognition on the one partial image selected in step S203 and the other partial image with respect to the object associated in step S207. After object recognition, the process proceeds to step S209.

ステップＳ２０９では、制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果を、当該仮の認識結果の物体に対する最終的な認識結果として確定する。制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果である物体に対しては、ステップＳ２０８における物体認識による仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ２１０に進む。 In step S209, the control unit 23 determines the provisional recognition result whose reliability calculated in step S204 is lower than the threshold as the final recognition result for the object of the provisional recognition result. The control unit 23 determines the provisional recognition result of the object recognition in step S208 as the final recognition result for the object that is the provisional recognition result for which the reliability calculated in step S204 is lower than the threshold value. After confirmation, the process proceeds to step S210.

ステップＳ２１０では、制御部２３は、ステップＳ２０６またはステップＳ２０９において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第２の方式による確定処理は終了する。 In step S210, the control unit 23 controls the communication unit 20 so as to transmit to the server 12 information indicating the final recognition result determined in step S206 or S209. After transmission, the confirmation process by the second method ends.

次に、本実施形態において制御部２３が実行する、第３の方式による確定処理について、図７のフローチャートを用いて説明する。第３の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。 Next, the determination processing by the third method executed by the control unit 23 in this embodiment will be described using the flowchart of FIG. 7 . The confirmation process by the third method starts each time one frame of image signal is received from the camera 14 .

ステップＳ３００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍp1および第２部分画像ｉｍp2に分割する。分割後、プロセスはステップＳ３０１に進む。 In step S300, the control unit 23 divides the image im corresponding to the received image signal into a first partial image imp1 and a second partial image imp2 . After splitting, the process proceeds to step S301.

ステップＳ３０１では、制御部２３は、ステップＳ３００において分割した第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対して物体認識を行う。物体認識後、プロセスはステップＳ３０２に進む。 In step S301, the control unit 23 performs object recognition on each of the first partial image imp1 and the second partial image imp2 divided in step S300. After object recognition, the process proceeds to step S302.

ステップＳ３０２では、制御部２３は、ステップＳ３０１において物体認識により第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれで仮認識された各物体の対応付けを行う。対応付け後、プロセスはステップＳ３０３に進む。 In step S302, the control unit 23 associates each object provisionally recognized in each of the first partial image imp1 and the second partial image imp2 by the object recognition in step S301. After matching, the process proceeds to step S303.

ステップＳ３０３では、制御部２３は、ステップＳ３０２において対応付けられた全物体の中で、仮の認識結果が一致しているか否かを判別されていない物体を選択する。選択後、プロセスはステップＳ３０４に進む。 In step S303, the control unit 23 selects an object for which it has not been determined whether or not the provisional recognition result matches, among all the objects associated in step S302. After selection, the process proceeds to step S304.

ステップＳ３０４では、制御部２３は、対応付けられている物体に関して、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対する物体認識による仮の認識結果が一致しているか否かを判別する。一致する場合、プロセスはステップＳ３０５に進む。一致しない場合、プロセスはステップＳ３０６に進む。 In step S304, the control unit 23 determines whether or not the provisional recognition results of the object recognition for the first partial image imp1 and the second partial image imp2 match with respect to the associated objects. If so, the process proceeds to step S305. If not, the process proceeds to step S306.

ステップＳ３０５では、制御部２３は、ステップＳ３０３において選択した物体に対する、ステップＳ３０１の物体認識の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ３１０に進む。 In step S305, the control unit 23 determines the temporary recognition result of the object recognition in step S301 for the object selected in step S303 as the final recognition result. After confirmation, the process proceeds to step S310.

ステップＳ３０６では、制御部２３は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対する物体認識による仮の認識結果を、信頼度が高い順でユーザに提示する。提示後、プロセスはステップＳ３０７に進む。 In step S306, the control unit 23 presents to the user the provisional recognition results of the object recognition for the first partial image imp1 and the second partial image imp2 in descending order of reliability. After presentation, the process proceeds to step S307.

ステップＳ３０７では、制御部２３は、提示した仮の認識結果のいずれかを選択するユーザ入力を検出しているか否かを判別する。検出されていない場合、プロセスはステップＳ３０７に戻る。検出されている場合、プロセスはステップＳ３０８に進む。 In step S307, the control unit 23 determines whether or not a user input to select one of the presented provisional recognition results is detected. If not, the process returns to step S307. If so, the process proceeds to step S308.

ステップＳ３０８では、制御部２３は、ステップＳ３０７において選択のユーザ入力が確認された仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ３０９に進む。 In step S308, the control unit 23 determines the provisional recognition result for which the user input of selection was confirmed in step S307 as the final recognition result. After confirmation, the process proceeds to step S309.

ステップＳ３０９では、制御部２３は、ステップＳ３０２において対応付けられている全物体に対して、仮の認識結果が一致しているかについての判別が行われているか否かを判別する。全物体に対して判別されていない場合、プロセスはステップＳ３０３に戻る。全物体に対して判別されている場合、プロセスはステップＳ３１０に進む。 In step S309, the control unit 23 determines whether or not it has been determined whether or not the provisional recognition results match for all the objects associated in step S302. If not determined for all objects, the process returns to step S303. If so, the process continues to step S310.

ステップＳ３１０では、制御部２３は、ステップＳ３０５またはステップＳ３０８において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第３の方式による確定処理は終了する。 At step S310, the control unit 23 controls the communication unit 20 so as to transmit to the server 12 information indicating the final recognition result decided at step S305 or step S308. After transmission, the finalization process by the third method ends.

次に、本実施形態において制御部２３が実行する、第３の方式の変形例による確定処理について、図８のフローチャートを用いて説明する。第３の方式の変形例による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。 Next, determination processing according to a modification of the third method, which is executed by the control unit 23 in this embodiment, will be described with reference to the flowchart of FIG. The confirmation process according to the modification of the third method starts each time one frame of image signal is received from the camera 14 .

ステップＳ４００からステップＳ４０５において、制御部２３は、第３の方式による確定処理のステップＳ３００からステップＳ３０５と同じ処理を行う。ステップＳ３０４において、対応付けられている物体に関して、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対する物体認識による仮の認識結果が一致する場合、プロセスはステップＳ４０６に進む。ステップＳ４０５において、確定後、プロセスはステップＳ４１２に進む。 In steps S400 to S405, the control unit 23 performs the same processing as steps S300 to S305 of the confirmation processing by the third method. In step S304, when the provisional recognition results of the object recognition for the first partial image imp1 and the second partial image imp2 match with respect to the associated object, the process proceeds to step S406. After confirmation in step S405, the process proceeds to step S412.

ステップＳ４０６では、制御部２３は、ステップＳ４０３において選択される物体に関する、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対して行われた物体認識による仮の認識結果の信頼度の少なくとも一方が閾値を超えているか否かを判別する。超えている場合、プロセスはステップＳ４０７に進む。超えていない場合、プロセスはステップＳ４０８に進む。 In step S406, the control unit 23 calculates at least the reliability of the provisional recognition result of the object recognition performed on each of the first partial image imp1 and the second partial image imp2 regarding the object selected in step S403. Determine whether one of them exceeds the threshold. If so, the process proceeds to step S407. If not, the process proceeds to step S408.

ステップＳ４０７では、制御部２３は、ステップＳ４０３で選択される物体に対して、信頼度がより高い仮の認識結果を、最終的な認識結果として確定する。確定後、プロセスはステップＳ４１２に進む。 In step S407, the control unit 23 determines a provisional recognition result with higher reliability as a final recognition result for the object selected in step S403. After confirmation, the process proceeds to step S412.

ステップＳ４０８からステップＳ４１２において、制御部２３は、第３の方式による確定処理のステップＳ３０６からステップＳ３１０と同じ処理を行う。ステップＳ４１２において、最終的な認識結果を示す情報の送信後、第３の方式の変形例による確定処理は終了する。 In steps S408 to S412, the control unit 23 performs the same processing as steps S306 to S310 of the confirmation processing by the third method. In step S412, after the information indicating the final recognition result is transmitted, the determination processing according to the modification of the third method ends.

次に、本実施形態において制御部２３が実行する、第４の方式による確定処理について、図９のフローチャートを用いて説明する。第４の方式の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。 Next, the determination processing by the fourth method executed by the control unit 23 in this embodiment will be described using the flowchart of FIG. 9 . The confirmation process by the method of the fourth method is started each time an image signal of one frame is received from the camera 14 .

ステップＳ５００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍp1および第２部分画像ｉｍp2に分割する。分割後、プロセスはステップＳ５０１に進む。 In step S500, the control unit 23 divides the image im corresponding to the received image signal into a first partial image imp1 and a second partial image imp2 . After splitting, the process proceeds to step S501.

ステップＳ５０１では、制御部２３は、ステップＳ５００において分割した第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対して物体の検出を行う。物体検出後、プロセスはステップＳ５０２に進む。 In step S501, the control unit 23 detects an object in each of the first partial image imp1 and the second partial image imp2 divided in step S500. After object detection, the process proceeds to step S502.

ステップＳ５０２では、制御部２３は、ステップＳ５０１において第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれで検出された各物体の対応付けを行う。対応付け後、プロセスはステップＳ５０３に進む。 In step S502, the control unit 23 associates each object detected in each of the first partial image imp1 and the second partial image imp2 in step S501. After matching, the process proceeds to step S503.

ステップＳ５０３では、制御部２３は、ステップＳ５０２において対応付けられた各物体の第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにおいて検出される部分を抽出する。制御部２３は、対応付けられている物体に対して抽出した部分を組合わせて、物体認識を行う。物体認識後、プロセスはステップＳ５０４に進む。 In step S503, the control unit 23 extracts portions detected in each of the first partial image imp1 and the second partial image imp2 of each object associated in step S502. The control unit 23 performs object recognition by combining the extracted parts with respect to the associated objects. After object recognition, the process proceeds to step S504.

ステップＳ５０４では、制御部２３は、ステップＳ５０３において行った物体認識による仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ５０５に進む。 In step S504, the control unit 23 determines the temporary recognition result of the object recognition performed in step S503 as the final recognition result. After confirmation, the process proceeds to step S505.

ステップＳ５０５では、制御部２３は、ステップＳ５０４において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第４の方式による確定処理は終了する。 In step S505, the control unit 23 controls the communication unit 20 so as to transmit to the server 12 information indicating the final recognition result determined in step S504. After transmission, the finalization process by the fourth method ends.

以上のような構成の本実施形態の情報処理システム１０は、カメラ１４から受信する画像信号に相当する画像ｉｍの全領域における反射部１５が占める領域における第１部分画像ｉｍp1と、当該領域以外の領域における第２部分画像ｉｍp2とに対して、物体認識を行う。このような構成により、情報処理システム１０では、第１部分画像ｉｍp1および第２部分画像ｉｍp2では、それぞれ異なる方向から見た同じ物体の像が含まれ得る。したがって、情報処理システム１０は、認識させる物体の姿勢を調整することなく、単一のカメラ１４であっても、複数の方向から見た物体の像を用いて物体認識を行い得る。その結果、情報処理システム１０は、簡潔な構成で物体の認識精度を向上させ得る。 The information processing system 10 of the present embodiment configured as described above provides the first partial image im p1 in the area occupied by the reflecting section 15 in the entire area of the image im corresponding to the image signal received from the camera 14, and Object recognition is performed on the second partial image imp2 in the area of . With such a configuration, in the information processing system 10, the first partial image imp1 and the second partial image imp2 can include images of the same object viewed from different directions. Therefore, the information processing system 10 can perform object recognition using images of the object viewed from a plurality of directions even with a single camera 14 without adjusting the orientation of the object to be recognized. As a result, the information processing system 10 can improve object recognition accuracy with a simple configuration.

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍp1および第２部分画像ｉｍp2の一方に対して物体認識を行い、当該物体認識による物体の仮の認識結果の信頼度を算出し、当該信頼度が閾値を超える場合、当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、認識結果の正確性を示す指標である信頼度に基づいて認識結果を確定しているので、物体の認識精度をさらに向上させ得る。 Further, the information processing system 10 of the present embodiment performs object recognition on one of the first partial image imp1 and the second partial image imp2 , and calculates the reliability of the provisional recognition result of the object by the object recognition. and if the reliability exceeds the threshold, determine the provisional recognition result of the object. With such a configuration, the information processing system 10 determines the recognition result based on the reliability, which is an index indicating the accuracy of the recognition result, so that the object recognition accuracy can be further improved.

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍp1および第２部分画像ｉｍp2の一方に対して物体認識による少なくとも一部の物体に対する信頼度が閾値以下である場合、他方において物体認識を行い、当該物体認識による全物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、認識精度の低い認識結果である場合に、異なる方向から見た物体の物体認識が行われるので、認識精度の高さを維持した物体認識を行い得る。 Further, in the information processing system 10 of the present embodiment, when the reliability of at least a portion of the object in object recognition for one of the first partial image imp1 and the second partial image imp2 is equal to or less than a threshold, the other Object recognition is performed, and provisional recognition results of all objects by the object recognition are determined. With such a configuration, the information processing system 10 recognizes an object viewed from a different direction when the recognition result has a low recognition accuracy. Therefore, the information processing system 10 can perform object recognition while maintaining high recognition accuracy. .

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍp1および第２部分画像ｉｍp2の一方に対して物体認識による物体に対する信頼度が閾値以下である場合、他方における当該物体を含む部分において物体認識を行い、当該物体認識により仮認識される当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、一方の部分画像の物体認識による認識結果が閾値以下の物体に対して、他方の部分画像を用いた物体認識が行われるので、認識精度をさらに向上させ得る。 Further, the information processing system 10 of the present embodiment includes the object in one of the first partial image imp1 and the second partial image imp2 when the reliability of the object in object recognition is equal to or less than a threshold value. Object recognition is performed on the part, and a temporary recognition result of the object temporarily recognized by the object recognition is determined. With such a configuration, the information processing system 10 performs object recognition using the other partial image for an object whose recognition result obtained by object recognition of one partial image is equal to or less than a threshold value, thereby further improving recognition accuracy. can let

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍp1および第２部分画像ｉｍp2における物体認識の容易度を算出し、第１部分画像ｉｍp1および第２部分画像ｉｍp2の中で容易度が高い一方に対して先に物体認識を行う。このような構成により、情報処理システム１０は、第１部分画像ｉｍp1および第２部分画像ｉｍp2の両者に対する物体認識を行う可能性を低減し、処理負荷の低減および処理の迅速化に貢献し得る。 Further, the information processing system 10 of the present embodiment calculates the easiness of object recognition in the first partial image imp1 and the second partial image imp2 , and , object recognition is performed first for the one with the higher degree of easiness. With such a configuration, the information processing system 10 reduces the possibility of performing object recognition on both the first partial image imp1 and the second partial image imp2 , thereby contributing to reduction of the processing load and speeding up of processing. obtain.

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれに対して物体認識を行い、第１部分画像ｉｍp1において仮認識される物体と第２部分画像ｉｍp2において仮認識される物体とを対応付け、対応付けられる物体のそれぞれの仮の認識結果が一致する場合に当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、物体の認識精度を一層向上させ得る。 Further, the information processing system 10 of the present embodiment performs object recognition on each of the first partial image imp1 and the second partial image imp2 , and recognizes the provisionally recognized object in the first partial image imp1 and the second partial image imp2. An object to be provisionally recognized in the image imp2 is associated with each other, and when the provisional recognition results of the associated objects match each other, the provisional recognition result of the object is determined. With such a configuration, the information processing system 10 can further improve object recognition accuracy.

また、本実施形態の情報処理システム１０は、対応付けられる物体のそれぞれの仮の認識結果が異なる場合、それぞれの仮の認識結果を提示する。仮の認識結果が異なる場合、それぞれの仮の認識結果は誤りである可能性がある。そこで、上述の構成により、情報処理システム１０は、仮の認識結果が確定されていない物体、および当該物体の仮の認識結果を候補として、ユーザに報知し得る。 In addition, the information processing system 10 of the present embodiment presents each provisional recognition result when the provisional recognition results of the associated objects are different. If the provisional recognition results are different, each provisional recognition result may be erroneous. Therefore, with the configuration described above, the information processing system 10 can notify the user of an object for which the provisional recognition result has not been finalized and the provisional recognition result of the object as candidates.

また、本実施形態の情報処理システム１０は、それぞれの仮の認識結果に対するそれぞれの信頼度が大きな順番で、それぞれの仮の認識結果を提示する。このような構成により、情報処理システム１０は、仮の認識結果が確定されていない物体をユーザに迅速に特定させ得る。 In addition, the information processing system 10 of the present embodiment presents each provisional recognition result in descending order of the reliability of each provisional recognition result. With such a configuration, the information processing system 10 can allow the user to quickly identify an object for which the provisional recognition result has not been finalized.

また、本実施形態の情報処理システム１０は、対応付けられる物体のそれぞれの仮の認識結果が異なり且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を当該物体の認識結果として確定する。仮の認識結果が異なっている場合であっても、閾値を超えている仮の認識結果は正しい可能性が高い。そこで上述の構成により、情報処理システム１０は、可能な限り、ユーザに操作を要請することなく、自動的に物体認識を実行し得る。 Further, in the information processing system 10 of the present embodiment, when the respective provisional recognition results of the objects to be associated are different and the reliability of at least one of the provisional recognition results exceeds a threshold value, the provisional recognition result having a high degree of reliability is determined as the recognition result of the object. Even if the provisional recognition results are different, there is a high possibility that the provisional recognition results exceeding the threshold are correct. Therefore, with the configuration described above, the information processing system 10 can automatically perform object recognition without requesting an operation from the user as much as possible.

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにおいて物体を検出し、第１部分画像ｉｍp1において検出される物体と第２部分画像ｉｍp2において検出される物体とを対応付け、対応付けられる物体が第１部分画像ｉｍp1および第２部分画像ｉｍp2それぞれにおいて検出される部分を組合わせて物体認識を行い、当該物体認識による物体の仮の認識結果を確定する。認識対象である物体の複数の方向からの外観を用いる物体認識は、単一の方向からの外観を用いる物体認識より、一般的に認識精度は高い。したがって上述の構成により、情報処理システム１０は、認識精度をさらに向上させ得る。 Further, the information processing system 10 of the present embodiment detects an object in each of the first partial image imp1 and the second partial image imp2 , and detects the object detected in the first partial image imp1 and the second partial image imp2 . and an object detected in the first partial image imp1 and the second partial image imp2 are combined to perform object recognition. confirms the recognition result of Object recognition using the appearance of the object to be recognized from multiple directions generally has higher recognition accuracy than object recognition using the appearance from a single direction. Therefore, with the configuration described above, the information processing system 10 can further improve the recognition accuracy.

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。 Although the present invention has been described with reference to the drawings and examples, it should be noted that various variations and modifications will be readily apparent to those skilled in the art based on this disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention.

例えば、本実施形態では、情報処理システム１０は、図５、６に示すように、第１の方式および第２の方式において、容易度の算出を行い、当該容易度に基づいて第１部分画像ｉｍp1および第２部分画像ｉｍp2の一方から物体認識を行う構成であるが、容易度の算出を行うことなく、予め定められている一方から物体認識を行ってよい。 For example, in the present embodiment, as shown in FIGS. 5 and 6, the information processing system 10 calculates the degree of easiness in the first method and the second method, and calculates the first partial image based on the degree of easiness. Although the configuration is such that object recognition is performed from one of imp1 and second partial image imp2 , object recognition may be performed from a predetermined one without calculating the degree of easiness.

また、本実施形態では、情報処理システム１０は、レジ端末に含まれる構成であるが、適用対象はレジ端末に限定されない。例えば、情報処理システム１０は、倉庫などにおける在庫の確認、および不良品の検知などにおける物体認識に適用され得る。 Further, in the present embodiment, the information processing system 10 is configured to be included in a cash register terminal, but the application target is not limited to the cash register terminal. For example, the information processing system 10 can be applied to object recognition in checking inventory in a warehouse or the like and detecting defective products.

１０ 情報処理システム
１１ 精算システム
１２ サーバ
１３ ネットワーク
１４ カメラ
１５ 反射部
１６ ディスプレイ
１７ 情報処理装置
１８ 載置台
１９ 支持柱
２０ 通信部
２１ 入力部
２２ 記憶部
２３ 制御部
ｉｍ 画像
ｉｍp1 第１部分画像
ｉｍp2 第２部分画像
ｒｓ 反射面
ｕｓ 上面 REFERENCE SIGNS LIST 10 information processing system 11 payment system 12 server 13 network 14 camera 15 reflector 16 display 17 information processing device 18 mounting table 19 support column 20 communication section 21 input section 22 storage section 23 control section im image im p1 first partial image im p2 Second partial image rs Reflective surface us Upper surface

Claims (12)

撮像により画像を生成する撮像部と、
前記撮像部の撮像範囲内に配置され、前記撮像部の光軸に対して反射面が傾斜している反射部と、
前記画像の内の前記反射部が占める領域における第１部分画像と、前記画像の内の前記反射部以外の領域である第２部分画像とのそれぞれに対して物体認識を行い、前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する情報処理装置と、を備える
情報処理システム。 an imaging unit that generates an image by imaging;
a reflecting unit arranged within an imaging range of the imaging unit and having a reflecting surface inclined with respect to an optical axis of the imaging unit ;
performing object recognition on each of a first partial image in an area occupied by the reflecting portion in the image and a second partial image in an area other than the reflecting portion in the image; an information processing device that presents the first recognition result and the second recognition result when a first recognition result of an object included in one partial image and a second recognition result of an object included in the second partial image are different; An information processing system. 請求項１に記載の情報処理システムにおいて、
前記情報処理装置は、前記第１部分画像および前記第２部分画像の一方に対して物体認識を行い、該物体認識による物体の仮の認識結果の信頼度を算出し、該信頼度が閾値を超える場合、該物体の仮の認識結果を確定する
情報処理システム。 In the information processing system according to claim 1,
The information processing device performs object recognition on one of the first partial image and the second partial image, calculates a reliability of a provisional recognition result of the object by the object recognition, and calculates the reliability of a provisional recognition result of the object by the object recognition, and the reliability exceeds a threshold. An information processing system that determines a provisional recognition result of the object if it exceeds. 請求項２に記載の情報処理システムにおいて、
前記情報処理装置は、前記物体認識による少なくとも一部の物体に対する前記信頼度が閾値以下である場合、他方において物体認識を行い、該物体認識による全物体の仮の認識結果を確定する
情報処理システム。 In the information processing system according to claim 2,
The information processing device performs object recognition on the other side when the reliability of at least a part of the objects obtained by the object recognition is equal to or less than a threshold value, and determines a provisional recognition result of all objects by the object recognition. Information processing system . 請求項２に記載の情報処理システムにおいて、
前記情報処理装置は、前記物体認識による物体に対する前記信頼度が閾値以下である場合、他方における該物体を含む部分において物体認識を行い、該物体認識により仮認識される該物体の仮の認識結果を確定する
情報処理システム。 In the information processing system according to claim 2,
The information processing device, when the reliability of the object obtained by the object recognition is equal to or less than a threshold value, performs object recognition on the other part including the object, and provides a temporary recognition result of the object temporarily recognized by the object recognition. Determine the information processing system. 請求項２から４のいずれか１項に記載の情報処理システムにおいて、
情報処理装置は、前記第１部分画像および前記第２部分画像における物体認識の容易度を算出し、前記第１部分画像および前記第２部分画像の中で前記容易度が高い一方に対して先に物体認識を行う
情報処理システム。 In the information processing system according to any one of claims 2 to 4,
The information processing device calculates the easiness of object recognition in the first partial image and the second partial image, and determines which of the first partial image and the second partial image with the higher easiness is higher. An information processing system that performs object recognition on 請求項１に記載の情報処理システムにおいて、
前記情報処理装置は、前記第１部分画像および前記第２部分画像それぞれに対して物体認識を行い、前記第１部分画像において仮認識される物体と前記第２部分画像において仮認識される物体とを対応付け、対応付けられる物体のそれぞれの仮の認識結果が一致する場合に該物体の仮の認識結果を確定する
情報処理システム。 In the information processing system according to claim 1,
The information processing device performs object recognition on each of the first partial image and the second partial image, and recognizes an object provisionally recognized in the first partial image and an object provisionally recognized in the second partial image. and determining the provisional recognition result of the associated object when the provisional recognition result of each of the associated objects matches. 請求項６に記載の情報処理システムにおいて、
前記情報処理装置は、対応付けられる物体のそれぞれの仮の認識結果が異なる場合、前記それぞれの仮の認識結果を提示する
情報処理システム。 In the information processing system according to claim 6,
An information processing system, wherein the information processing device presents each of the provisional recognition results when the provisional recognition results of the associated objects are different. 請求項７に記載の情報処理システムにおいて、
前記情報処理装置は、前記それぞれの仮の認識結果に対するそれぞれの信頼度が大きな順番で、前記それぞれの仮の認識結果を提示する
情報処理システム。 In the information processing system according to claim 7,
The information processing system, wherein the information processing device presents the respective provisional recognition results in descending order of reliability of the respective provisional recognition results. 請求項６から８のいずれか１項に記載の情報処理システムにおいて、
前記情報処理装置は、
前記第１部分画像および前記第２部分画像に対する物体認識による物体毎の仮の認識結果の信頼度を算出し、
対応付けられる物体のそれぞれの仮の認識結果が異なり且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を該物体の認識結果として確定する
情報処理システム。 In the information processing system according to any one of claims 6 to 8,
The information processing device is
calculating a reliability of a provisional recognition result for each object by object recognition for the first partial image and the second partial image;
When the respective provisional recognition results of objects to be associated are different and the reliability of at least one of the provisional recognition results exceeds a threshold, the provisional recognition result with a high degree of reliability is determined as the recognition result of the object. . 請求項１に記載の情報処理システムにおいて、
前記情報処理装置は、
前記第１部分画像および前記第２部分画像それぞれにおいて物体を検出し、前記第１部分画像において検出される物体と前記第２部分画像において検出される物体とを対応付け、対応付けられる物体が前記第１部分画像および前記第２部分画像それぞれにおいて検出される部分を組合わせて物体認識を行い、該物体認識による物体の仮の認識結果を確定する
情報処理システム。 In the information processing system according to claim 1,
The information processing device is
detecting an object in each of the first partial image and the second partial image; matching the object detected in the first partial image with the object detected in the second partial image; An information processing system that performs object recognition by combining parts detected in each of a first partial image and a second partial image, and determines a provisional recognition result of the object by the object recognition. 撮像部の光軸に対して反射面が傾斜している反射部を含む画像のデータを受信する通信部と、
前記画像の内、前記反射部が占める領域における第１部分画像と、前記画像の内、前記反射部以外の領域である第２部分画像のそれぞれに対して物体認識を行い、前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する制御部と、を備える
情報処理装置。 a communication unit that receives data of an image including a reflecting unit whose reflecting surface is inclined with respect to the optical axis of the imaging unit ;
object recognition is performed on each of a first partial image in the area occupied by the reflecting portion in the image and a second partial image in the image other than the reflecting portion; a control unit that presents the first recognition result and the second recognition result when the first recognition result of the object included in the image and the second recognition result of the object included in the second partial image are different. processing equipment. コンピュータによって実行される情報処理方法であって、
撮像部の光軸に対して反射面が傾斜している反射部を含む画像を取得し、
前記画像の内、前記反射部が占める領域における第１部分画像と、前記画像の内、前記反射部以外の領域である第２部分画像のそれぞれに対して物体認識を行い、
前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する
情報処理方法。 A computer-implemented information processing method comprising:
Acquiring an image including a reflecting part whose reflecting surface is inclined with respect to the optical axis of the imaging part,
performing object recognition on each of a first partial image in a region occupied by the reflecting portion in the image and a second partial image in the region other than the reflecting portion in the image ;
When the first recognition result of the object included in the first partial image and the second recognition result of the object included in the second partial image are different, the first recognition result and the second recognition result are presented.
Information processing methods.
JP2019221131A 2019-12-06 2019-12-06 Information processing system, information processing device, and information processing method Active JP7316203B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019221131A JP7316203B2 (en) 2019-12-06 2019-12-06 Information processing system, information processing device, and information processing method
US17/756,882 US20230013468A1 (en) 2019-12-06 2020-12-04 Information processing system, information processing device, and information processing method
PCT/JP2020/045287 WO2021112234A1 (en) 2019-12-06 2020-12-04 Information processing system, information processing device, and information processing method
CN202080084524.7A CN114766033A (en) 2019-12-06 2020-12-04 Information processing system, information processing apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019221131A JP7316203B2 (en) 2019-12-06 2019-12-06 Information processing system, information processing device, and information processing method

Publications (2)

Publication Number Publication Date
JP2021092826A JP2021092826A (en) 2021-06-17
JP7316203B2 true JP7316203B2 (en) 2023-07-27

Family

ID=76312398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019221131A Active JP7316203B2 (en) 2019-12-06 2019-12-06 Information processing system, information processing device, and information processing method

Country Status (1)

Country Link
JP (1) JP7316203B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210388A (en) 2007-02-26 2008-09-11 Fujitsu Ltd Method, device, and program for identifying code
JP2014146890A (en) 2013-01-28 2014-08-14 Glory Ltd Imaging system and imaging method
JP2015022624A (en) 2013-07-22 2015-02-02 キヤノン株式会社 Information processing apparatus, control method thereof, computer program, and storage medium
US20150178588A1 (en) 2013-12-19 2015-06-25 Robert Bosch Gmbh Method and apparatus for recognizing object reflections
JP2016018459A (en) 2014-07-09 2016-02-01 キヤノン株式会社 Image processing system, control method therefore, program, and storage medium
WO2016143067A1 (en) 2015-03-10 2016-09-15 三菱電機株式会社 Picture analysis device
JP2018136803A (en) 2017-02-23 2018-08-30 株式会社日立製作所 Image recognition system
JP2018181081A (en) 2017-04-18 2018-11-15 日本電信電話株式会社 Image recognition engine cooperation device and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306280A (en) * 1998-04-17 1999-11-05 Mitsubishi Electric Corp Image recognizing device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210388A (en) 2007-02-26 2008-09-11 Fujitsu Ltd Method, device, and program for identifying code
JP2014146890A (en) 2013-01-28 2014-08-14 Glory Ltd Imaging system and imaging method
JP2015022624A (en) 2013-07-22 2015-02-02 キヤノン株式会社 Information processing apparatus, control method thereof, computer program, and storage medium
US20150178588A1 (en) 2013-12-19 2015-06-25 Robert Bosch Gmbh Method and apparatus for recognizing object reflections
JP2016018459A (en) 2014-07-09 2016-02-01 キヤノン株式会社 Image processing system, control method therefore, program, and storage medium
WO2016143067A1 (en) 2015-03-10 2016-09-15 三菱電機株式会社 Picture analysis device
JP2018136803A (en) 2017-02-23 2018-08-30 株式会社日立製作所 Image recognition system
JP2018181081A (en) 2017-04-18 2018-11-15 日本電信電話株式会社 Image recognition engine cooperation device and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
岩田 彩見、外２名，"Ｈｏｒｉｚｏｎ Ｖｉｅｗ Ｃａｍｅｒａの応用による汎用入力インターフェースの提案"，電気学会論文誌Ｃ，日本，（社）電気学会，2006年01月01日，Vol.126, No.1，pp.44-50
岩田 彩見、外２名，"Ｈｏｒｉｚｏｎ Ｖｉｅｗ Ｃａｍｅｒａの特性を生かした物体領域分割"，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2003年09月01日，Vol.103, No.295，pp.37-42

Also Published As

Publication number Publication date
JP2021092826A (en) 2021-06-17

Similar Documents

Publication Publication Date Title
US10108830B2 (en) Commodity recognition apparatus and commodity recognition method
US20180315065A1 (en) Method and apparatus for extracting and processing price text from an image set
US20140126773A1 (en) Commodity recognition apparatus and commodity recognition method
JP6651705B2 (en) Information processing apparatus, information processing method, and program
US20140023241A1 (en) Dictionary registration apparatus and method for adding feature amount data to recognition dictionary
US20140133704A1 (en) Commodity recognition apparatus and commodity recognition method
JP6686290B2 (en) System and method
US20140126772A1 (en) Commodity recognition apparatus and commodity recognition method
US20180130225A1 (en) Object recognition system and method of registering a new object
JP2009176209A (en) Automatic adjustment device for restaurant
US20230037427A1 (en) Identifying barcode-to-product mismatches using point of sale devices and overhead cameras
JP7384516B2 (en) Information processing device, product recommendation method, program, and system
JP5240093B2 (en) ID card shooting system, ID card shooting method and program
JP6651169B2 (en) Display status judgment system
JP7316203B2 (en) Information processing system, information processing device, and information processing method
WO2018151008A1 (en) Image recognition system, image recognition method, and recording medium
JP7451320B2 (en) Information processing system, information processing device, and information processing method
JP6878938B2 (en) Image recognition devices, systems, methods and programs
JP7197208B2 (en) Product recognition system, product recognition device, method and program
JP6569762B2 (en) POS terminal device, POS system, image processing method and program
US20210012305A1 (en) Settlement system, settlement method, and non-transitory storage medium
US20230013468A1 (en) Information processing system, information processing device, and information processing method
WO2019181035A1 (en) Registration system, registration method, and program
JP7377385B1 (en) Image processing device, processing method, and processing program for images including beverage cans
JP7381330B2 (en) Information processing system, information processing device, and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230714

R150 Certificate of patent or registration of utility model

Ref document number: 7316203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150