JP6388108B2

JP6388108B2 - POS terminal device, POS system, information processing system, image recognition method, and image recognition program

Info

Publication number: JP6388108B2
Application number: JP2014068214A
Authority: JP
Inventors: 卓郎永野; 岩元　浩太; 浩太岩元; 哲夫井下; 壮馬白石; 山田　寛; 寛山田; 準小林; 英路村松; 秀雄横井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2014-03-28
Filing date: 2014-03-28
Publication date: 2018-09-12
Anticipated expiration: 2034-03-28
Also published as: JP2015191450A

Description

本発明は、物体の認識処理を行うＰＯＳ（Point Of Sale）端末装置、情報処理装置、情報処理システム、画像認識方法、及び画像認識プログラムに関する。 The present invention relates to a POS (Point Of Sale) terminal device, an information processing device, an information processing system, an image recognition method, and an image recognition program that perform object recognition processing.

スーパーマーケットや百貨店、コンビニエンスストアなどの商品を取り扱う商店ではＰＯＳ（販売時点情報管理）端末装置が広く使用されている。ＰＯＳ端末装置により、販売実績情報を収集して商品の売れ行き動向が把握できるため、経営者にとって経営上の利点となる。 POS (point-of-sale information management) terminal devices are widely used in stores that handle commodities such as supermarkets, department stores, and convenience stores. Since the sales point information can be collected by the POS terminal device and the sales trend of the product can be grasped, it is a management advantage for the manager.

一般に、ＰＯＳ端末装置においては、店員が商品のバーコードを読み取り面にかざすことで商品のデータを入力している。商品にバーコードが付されていない場合、店員がキーボード入力などによりマニュアルで商品のデータを入力することとなり、商品データの入力に時間がかかってしまう。また、顧客が自分で商品データの入力を行うセルフレジでは、顧客はバーコードの位置の判断やバーコードの有無の把握に時間がかかるため、ＰＯＳ端末装置の操作に要する時間はさらに増大する問題があった。 In general, in a POS terminal device, a store clerk inputs product data by holding a product barcode on a reading surface. If the barcode is not attached to the product, the store clerk manually inputs the product data by keyboard input or the like, and it takes time to input the product data. In addition, in the self-checkout where the customer inputs product data by himself, the customer takes time to determine the position of the barcode and grasp the presence / absence of the barcode, so that the time required for operating the POS terminal device further increases. there were.

そのため、ＰＯＳ端末装置において内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。ここで、カメラ等で商品などの物体を撮像する場合に、光源の光が商品の表面で反射してカメラに入射すると、露出過多により画像内の商品にハイライト部が発生することがある。特に、明暗差の大きい商品などをＰＯＳ端末装置で画像認識処理すると、画像の一部にハイライト部が発生し、画像認識処理の高速化や認識率に影響を及ぼす。 Therefore, there has been proposed a technique for recognizing a product using an image recognition technology from an image data obtained by capturing the product with a camera or the like built in the POS terminal device. Here, when an object such as a product is imaged with a camera or the like, if light from a light source is reflected by the surface of the product and enters the camera, a highlight portion may be generated in the product in the image due to overexposure. In particular, when an image recognition process is performed on a product having a large contrast difference by a POS terminal device, a highlight portion is generated in a part of the image, which affects the speed of the image recognition process and the recognition rate.

特許文献１は、商品の登録や清算を行うＰＯＳ端末などの店舗システムにおいて、物体の画像を撮像し、その画像の特徴量を読み取り、その特徴量と商品画像のデータとを比較して、一致度がある閾値以上の場合に、特定の商品であるかを認識する技術を開示している。 Patent Document 1 is a store system such as a POS terminal for registering and clearing merchandise, picking up an image of an object, reading the feature quantity of the image, comparing the feature quantity with the data of the merchandise image, and matching A technique for recognizing whether a product is a specific product when the degree is above a certain threshold is disclosed.

また、ハレーション周辺の物体を有効に検出するステレオ式監視装置の一例が特許文献２に記載されている。特許文献２のステレオ式監視装置では、画像平面上においてハレーション等に起因した高輝度領域を特定している。そして所定の座標変換によって、実空間上の検出領域から画像平面上の検出領域を算出し、この領域内の輝度変化に基づいて、物体の有無を検出する技術が開示されている。 Further, Patent Document 2 describes an example of a stereo type monitoring device that effectively detects an object around halation. In the stereo monitoring device of Patent Document 2, a high luminance region caused by halation or the like is specified on the image plane. A technique is disclosed in which a detection area on an image plane is calculated from a detection area in real space by a predetermined coordinate transformation, and the presence or absence of an object is detected based on a luminance change in this area.

特開２０１２−４３３７１号公報JP 2012-43371 A 特開２００７−２８１９８９号公報JP 2007-281989 A

しかしながら、特許文献１及び特許文献２においては、認識処理の際に、不要なデータも含めて特定の商品であるかの認識処理を行うため、認識処理の高速化の妨げとなるといった問題があった。つまり、ＰＯＳ端末装置により、物体を画像として認識処理する際に、画像の中でハイライトとなる部分は、画像認識の際に不要なデータであったが、関連技術ではハイライト部分も含めて認識処理していたため高速化の妨げとなっていた。 However, in Patent Document 1 and Patent Document 2, since recognition processing for identifying a specific product including unnecessary data is performed at the time of recognition processing, there is a problem that hinders speeding up of the recognition processing. It was. In other words, when the object is recognized as an image by the POS terminal device, the highlighted portion in the image is unnecessary data in the image recognition, but the related technology includes the highlighted portion. The recognition process has hindered speeding up.

本発明は、上述した課題である画像認識処理の高速化の障害を解決するＰＯＳ端末装置、情報処理装置、情報処理システム、画像認識方法、及び画像認識プログラムを提供することを目的とする。 An object of the present invention is to provide a POS terminal device, an information processing device, an information processing system, an image recognition method, and an image recognition program that solve the problem of the speed-up of image recognition processing that is the above-described problem.

上述の課題に鑑み、本発明の一態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測する撮像部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を備えることを特徴とするＰＯＳ端末装置に関する。 In view of the above-described problems, one embodiment of the present invention is an image capturing unit that captures an object to generate an image, measures the shape of the object corresponding to the generated image and the distance to the object position, and is installed in advance. A highlight estimation unit that estimates a highlight portion generated in the object from the light emitted from the light source and the shape of the imaged object, and other than the estimated highlight unit in the image of the imaged object And a control unit that recognizes an object in the image based on the image.

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状を推定する撮像部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とを用いて、前記光源が放射する光が前記物体で反射し前記撮像部に入射した場合に物体に生じるハイライト部を推定するハイライト推定部と、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を備えることを特徴とするＰＯＳ端末装置に関する。 In another aspect of the present invention, an object is imaged to generate an image, an imaging unit that estimates a shape of the object corresponding to the generated image, light emitted from a light source installed in advance, and the imaging A highlight estimation unit that estimates a highlight portion generated in the object when light emitted from the light source is reflected by the object and is incident on the imaging unit, and a shape of the captured object. And a control unit for recognizing an object in the image based on an image other than the estimated highlight portion in the image.

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測する撮像部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、ハイライト部が推定された場合、撮像された物体にハイライト部の発生が推定されないように光源の照度を制御して、物体の認識処理を行う制御部と、を備えることを特徴とするＰＯＳ端末装置に関する。 According to another aspect of the present invention, an imaging unit that captures an object to generate an image, measures the shape of the object corresponding to the generated image and the distance to the object position, and a light source installed in advance A highlight estimation unit for estimating a highlight portion generated in the object from the light emitted from the object and the shape of the imaged object, and when the highlight unit is estimated, occurrence of a highlight portion in the imaged object is generated. The present invention relates to a POS terminal device comprising: a control unit that controls the illuminance of a light source so as not to be estimated and performs object recognition processing.

また、本発明の別の態様は、撮像された物体の形状データを受信する受信部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、推定されたハイライト部に関する情報を送信する送信部と、を備えることを特徴とする情報処理装置に関する。 According to another aspect of the present invention, there is provided a receiving unit that receives shape data of an imaged object, a highlight unit that is generated in an object from light emitted from a light source installed in advance and the shape of the imaged object The present invention relates to an information processing apparatus comprising: a highlight estimation unit that estimates the frequency of the image; and a transmission unit that transmits information on the estimated highlight unit.

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離とを計測する撮像部と、前記撮像した物体の画像内におけるハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を有するＰＯＳ端末装置と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部を有する情報処理装置と、を備えることを特徴とする情報処理システムに関する。 According to another aspect of the present invention, an imaging unit that images an object to generate an image, measures the shape of the object corresponding to the generated image and the distance to the position of the object, and the captured object A POS terminal device having a control unit for recognizing and processing an object in the image based on an image other than the highlight portion in the image of the image, the light emitted from the light source installed in advance, and the shape of the imaged object And an information processing apparatus having a highlight estimation unit that estimates a highlight part generated in an object.

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測し、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定し、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理することを特徴とする画像認識方法に関する。 According to another aspect of the present invention, an object is imaged to generate an image, the shape of the object corresponding to the generated image and the distance to the object position are measured, and a light source installed in advance emits the image. A highlight portion generated in the object is estimated from light and the shape of the imaged object, and an object in the image is recognized based on an image other than the estimated highlight portion in the image of the imaged object. The present invention relates to an image recognition method characterized by processing.

さらに、本発明の別の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測し、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定し、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理することを特徴とする画像認識方法に関する。 Further, according to another aspect of the present invention, an object is imaged to generate an image, the shape of the object corresponding to the generated image and the distance to the object position are measured, and a light source installed in advance emits the image. A highlight portion generated in the object is estimated from light and the shape of the imaged object, and an object in the image is recognized based on an image other than the estimated highlight portion in the image of the imaged object. The present invention relates to an image recognition method characterized by processing.

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測する処理と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定する処理と、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識する処理とを、コンピュータに実行させる画像認識プログラムに関する。 According to another aspect of the present invention, an object is imaged to generate an image, the shape of the object corresponding to the generated image and the distance to the object position are measured, and a light source installed in advance Based on the process of estimating the highlight portion generated in the object from the radiated light and the shape of the imaged object, and based on the image other than the estimated highlight portion in the image of the imaged object, The present invention relates to an image recognition program that causes a computer to execute processing for recognizing an object.

さらに、本発明の別の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測する処理と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定する処理と、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する処理とを、コンピュータに実行させる画像認識プログラムに関する。 Further, according to another aspect of the present invention, an object is imaged to generate an image, the shape of the object corresponding to the generated image and the distance to the object position are measured, and a light source installed in advance Based on the process of estimating the highlight portion generated in the object from the radiated light and the shape of the imaged object, and based on the image other than the estimated highlight portion in the image of the imaged object, The present invention relates to an image recognition program that causes a computer to execute processing for recognizing the object.

本発明によれば、画像内の物体における認識処理の高速化が可能となる。 According to the present invention, it is possible to speed up recognition processing on an object in an image.

本発明の更なる利点及び実施形態を、記述と図面を用いて下記に詳細に説明する。 Further advantages and embodiments of the present invention are described in detail below using the description and the drawings.

本発明の実施形態によるＰＯＳ端末装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the POS terminal device by embodiment of this invention. 本発明の第１の実施形態によるＰＯＳ端末装置の外観を示す側面図である。It is a side view which shows the external appearance of the POS terminal device by the 1st Embodiment of this invention. 図２に示すＰＯＳ端末装置の構成を示すブロック図である。It is a block diagram which shows the structure of the POS terminal device shown in FIG. 図２に示すＰＯＳ端末装置の機能ブロック図である。It is a functional block diagram of the POS terminal device shown in FIG. 図２に示すＰＯＳ端末装置の処理を示すフローチャートである。It is a flowchart which shows the process of the POS terminal device shown in FIG. 本発明の第２の実施形態によるＰＯＳ端末装置の外観を示す側面図である。It is a side view which shows the external appearance of the POS terminal device by the 2nd Embodiment of this invention. 図６に示すＰＯＳ端末装置の機能ブロック図である。It is a functional block diagram of the POS terminal device shown in FIG. 図６に示すＰＯＳ端末装置の処理を示すフローチャートである。It is a flowchart which shows the process of the POS terminal device shown in FIG.

（本発明の実施形態の概要）
本発明の各実施形態の説明に先立ち、本発明による実施形態の概要について図１を参照しつつ説明する。図１は、本実施形態によるＰＯＳ端末装置（情報端末装置）１の概要を示す図である。ＰＯＳ端末装置１は、店舗等の決済場所に設置され、商品を読み取って販売金額を算出し、商品や売上の管理を行うためのものである。 (Outline of Embodiment of the Present Invention)
Prior to description of each embodiment of the present invention, an outline of an embodiment according to the present invention will be described with reference to FIG. FIG. 1 is a diagram showing an outline of a POS terminal device (information terminal device) 1 according to the present embodiment. The POS terminal device 1 is installed at a settlement place such as a store, and is used for reading a product, calculating a sales amount, and managing the product and sales.

図１に示すＰＯＳ端末装置１は、撮像部１１と、ハイライト推定部１２と、制御部１３とを備えている。撮像部１１は、商品などの物体を撮像して画像を生成する。また、撮像部１１は、生成した画像に対応する物体の形状と物体の位置までの距離を計測する。ハイライト推定部１２は、ＰＯＳ端末装置１又はレジ台近辺に予め設置された光源が放射する光と撮像された物体の形状とから、物体に生じるハイライト部を推定する。制御部１３は、撮像部１１により撮像した物体の画像内における推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する。 The POS terminal device 1 shown in FIG. 1 includes an imaging unit 11, a highlight estimation unit 12, and a control unit 13. The imaging unit 11 captures an object such as a product and generates an image. The imaging unit 11 measures the shape of the object corresponding to the generated image and the distance to the object position. The highlight estimation unit 12 estimates a highlight unit generated in an object from light emitted from a light source previously installed in the vicinity of the POS terminal device 1 or the register stand and the shape of the imaged object. The control unit 13 recognizes an object in the image based on an image other than the estimated highlight portion in the image of the object imaged by the imaging unit 11.

また、制御部１３は、ハイライト部が推定された場合は撮像された物体にハイライト部の発生が推定されないように光源の照度を制御してから新たに物体を撮像して画像を生成し、物体の認識処理を行う。物体のハイライト部が推定されない場合は通常の認識処理を行う。 In addition, when the highlight part is estimated, the control unit 13 controls the illuminance of the light source so that the occurrence of the highlight part is not estimated in the captured object, and then newly captures the object and generates an image. The object recognition process is performed. When the highlight portion of the object is not estimated, normal recognition processing is performed.

以下、本発明の各実施形態について図面を参照しつつ説明する。但し、以下に説明する実施形態によって本発明の技術的範囲は何ら限定解釈されることはない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the technical scope of the present invention is not construed as being limited by the embodiments described below.

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図２は、本実施形態によるＰＯＳ端末装置１００の外観を示す側面図である。図３は、本実施形態によるＰＯＳ端末装置１００の構成を示すブロック図である。 (First embodiment)
First, a first embodiment of the present invention will be described. FIG. 2 is a side view showing an appearance of the POS terminal apparatus 100 according to the present embodiment. FIG. 3 is a block diagram showing the configuration of the POS terminal apparatus 100 according to the present embodiment.

図２に示すＰＯＳ端末装置１００は、メインディスプレイ１０２、サブディスプレイ１０４、情報処理装置１０６、商品読取装置１２０、筐体１２２、商品読取面１２４、三次元カメラ１３０、及び光源１５０を備えている。 The POS terminal device 100 illustrated in FIG. 2 includes a main display 102, a sub display 104, an information processing device 106, a product reading device 120, a housing 122, a product reading surface 124, a three-dimensional camera 130, and a light source 150.

メインディスプレイ１０２は、例えばタッチパネル式の表示モニタであり、情報処理装置１０６の制御によって、オペレータに必要な情報を表示し、オペレータの操作を受け付ける。サブディスプレイ１０４は、例えばタッチパネル式の表示モニタであり、情報処理装置１０６の制御によって、店員又は顧客に必要な情報を表示する。以下の記載では、メインディスプレイ１０２は店員が操作する側に設けられ、サブディスプレイ１０４は顧客が位置する側に設けられているとして説明する。本発明はこの記載に限定されず、例えばセルフレジなどにおいては、メインディスプレイ１０２は顧客が操作する側に設けられ、サブディスプレイ１０４は店員が位置する側に設けられる。 The main display 102 is, for example, a touch panel display monitor, displays information necessary for the operator, and receives an operator's operation under the control of the information processing apparatus 106. The sub display 104 is, for example, a touch panel display monitor, and displays information necessary for a store clerk or a customer under the control of the information processing apparatus 106. In the following description, it is assumed that the main display 102 is provided on the side operated by the store clerk and the sub display 104 is provided on the side where the customer is located. The present invention is not limited to this description. For example, in self-checkout, the main display 102 is provided on the side operated by the customer, and the sub-display 104 is provided on the side where the store clerk is located.

情報処理装置１０６は、例えばコンピュータであり、ＣＰＵ（Central Processing Unit）等の制御部１１２と、メモリ又はハードディスク等の記憶部１１４と、通信装置１１６とを有する。情報処理装置１０６は、メインディスプレイ１０２、サブディスプレイ１０４、商品読取装置１２０、及び光源１５０の動作を制御する。また、情報処理装置１０６は、メインディスプレイ１０２によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置１０６は、商品読取装置１２０によって読み取られた画像情報に応じて、画像処理及び商品の認識処理等の必要な処理を行う。通信装置１１６は、ネットワークを介して接続されたサーバ等の管理装置と通信を行うために必要な処理を行う。 The information processing device 106 is, for example, a computer, and includes a control unit 112 such as a CPU (Central Processing Unit), a storage unit 114 such as a memory or a hard disk, and a communication device 116. The information processing apparatus 106 controls operations of the main display 102, the sub display 104, the commodity reading apparatus 120, and the light source 150. Further, the information processing apparatus 106 performs necessary processing according to the operation received by the main display 102. Further, the information processing apparatus 106 performs necessary processing such as image processing and product recognition processing in accordance with the image information read by the product reading device 120. The communication device 116 performs processing necessary to communicate with a management device such as a server connected via a network.

商品読取装置１２０は、筐体１２２と、光透過性の素材で形成された商品読取面１２４と、三次元カメラ（撮像部）１３０とを有する。商品読取面１２４は、筐体１２２における商品などの物体をかざす側の面に設けられている。三次元カメラ１３０は、筐体１２２の内部の、商品読取面１２４とは反対側に設けられている。店員が顧客から受け取った商品を商品読取面１２４に向けると、三次元カメラ１３０が商品Ａの画像を読み取る。これによって、ＰＯＳ端末装置１００は、商品の認識処理を行う。詳しくは後述する。 The product reading device 120 includes a housing 122, a product reading surface 124 made of a light transmissive material, and a three-dimensional camera (imaging unit) 130. The product reading surface 124 is provided on the surface of the housing 122 on which the object such as a product is held. The three-dimensional camera 130 is provided inside the housing 122 on the side opposite to the product reading surface 124. When the clerk points the product received from the customer to the product reading surface 124, the three-dimensional camera 130 reads the image of the product A. As a result, the POS terminal apparatus 100 performs merchandise recognition processing. Details will be described later.

三次元カメラ１３０は、二次元カメラ１３２と、距離センサ（距離計測手段）１３４とを有する。二次元カメラ１３２は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子であって、商品の画像を読み取る処理を行う。具体的には、二次元カメラ１３２は、商品読取面１２４に向けられた物体を撮像して、その物体の画像を含む二次元のカラー画像又はモノクロ画像（二次元画像）を生成する。なお、以下、用語「二次元画像」は、情報処理における処理対象としての、「二次元画像を示す画像データ」も意味する。 The three-dimensional camera 130 includes a two-dimensional camera 132 and a distance sensor (distance measuring means) 134. The two-dimensional camera 132 is an image sensor such as a CCD (Charge-Coupled Device), for example, and performs a process of reading an image of a product. Specifically, the two-dimensional camera 132 images an object directed to the product reading surface 124 and generates a two-dimensional color image or monochrome image (two-dimensional image) including the image of the object. Hereinafter, the term “two-dimensional image” also means “image data indicating a two-dimensional image” as a processing target in information processing.

距離センサ１３４は、例えばＴＯＦ（Time Of Flight）方式で、距離センサ１３４から、商品読取面１２４に向けられた物体（商品Ａ）の位置までの距離を計測する。つまり、距離センサ１３４は、赤外線等の光線を照射し、照射された光線が物体まで往復するのにかかる時間から、距離を計測する。なお、本実施の形態では、赤外線が照射されるとしたが、これに限定されない。例えば、距離センサ１３４は、レーザを照射してもよい。 The distance sensor 134 measures the distance from the distance sensor 134 to the position of the object (product A) directed to the product reading surface 124 by, for example, the TOF (Time Of Flight) method. That is, the distance sensor 134 irradiates light rays such as infrared rays, and measures the distance from the time required for the irradiated light rays to reciprocate to the object. In the present embodiment, infrared light is irradiated, but the present invention is not limited to this. For example, the distance sensor 134 may irradiate a laser.

距離センサ１３４は、距離計測手段としての機能を有する。距離センサ１３４は、赤外線照射部１３６と、赤外線受光部１３８と、距離画像生成部１４０とを有する。赤外線照射部１３６は、商品読取面１２４の外側に向けて、赤外線を照射する。商品読取面１２４の近傍に物体が存在するときは、赤外線照射部１３６によって照射された赤外線は、その物体を反射する。赤外線受光部１３８は、例えばイメージセンサ（例えばＣＣＤ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等）であって、物体を反射した赤外線を受光する。 The distance sensor 134 has a function as a distance measuring unit. The distance sensor 134 includes an infrared irradiation unit 136, an infrared light reception unit 138, and a distance image generation unit 140. The infrared irradiation unit 136 irradiates infrared rays toward the outside of the product reading surface 124. When an object exists in the vicinity of the product reading surface 124, the infrared light irradiated by the infrared irradiation unit 136 reflects the object. The infrared light receiving unit 138 is, for example, an image sensor (for example, a CCD or a CMOS (Complementary Metal-Oxide Semiconductor)), and receives infrared light reflected from an object.

距離画像生成部１４０は、赤外線照射部１３６が赤外線を照射した時間と、赤外線受光部１３８が反射光を受光した時間との時間差から、物体までの距離（奥行き）を算出する。具体的には、赤外線照射部１３６と赤外線受光部１３８とは同期するようになっており、距離画像生成部１４０は、赤外線照射部１３６が照射する赤外線の位相と、赤外線受光部１３８が受光する反射光の位相との位相差を計測することにより、上記時間差を計測する。 The distance image generation unit 140 calculates the distance (depth) to the object from the time difference between the time when the infrared irradiation unit 136 irradiates infrared light and the time when the infrared light reception unit 138 receives reflected light. Specifically, the infrared irradiation unit 136 and the infrared light receiving unit 138 are synchronized, and the distance image generation unit 140 receives the phase of the infrared ray irradiated by the infrared irradiation unit 136 and the infrared light receiving unit 138 receives light. The time difference is measured by measuring the phase difference from the phase of the reflected light.

さらに具体的には、距離画像生成部１４０は、赤外線受光部１３８が受光した物体の各位置からの反射光それぞれについて、時間差を計測し、各位置それぞれについて、距離を計測する。これによって、距離画像生成部１４０は、物体の各位置の距離を示す画素の集合である距離画像を生成する。なお、以下、用語「距離画像」は、情報処理における処理対象としての、「距離画像を示す画像データ」も意味する。 More specifically, the distance image generation unit 140 measures a time difference for each reflected light from each position of the object received by the infrared light receiving unit 138, and measures a distance for each position. As a result, the distance image generation unit 140 generates a distance image that is a set of pixels indicating the distance of each position of the object. Hereinafter, the term “distance image” also means “image data indicating a distance image” as a processing target in information processing.

なお、距離センサ１３４と物体との距離が近すぎると、照射光と反射光との位相差を検出できず、時間差を計測できない。したがって、物体までの距離を計測することができなくなる。したがって、距離センサ１３４が計測できる最小の時間差（位相差）に合わせて、距離センサ１３４と物体との距離が保たれるように、距離センサ１３４は、商品読取面１２４から間隔Ｌ離れて設置されている。 If the distance between the distance sensor 134 and the object is too close, the phase difference between the irradiated light and the reflected light cannot be detected, and the time difference cannot be measured. Therefore, the distance to the object cannot be measured. Therefore, the distance sensor 134 is installed at a distance L from the product reading surface 124 so that the distance between the distance sensor 134 and the object is maintained in accordance with the minimum time difference (phase difference) that the distance sensor 134 can measure. ing.

また、二次元カメラ１３２及び距離センサ１３４は、互いに近接して（つまり略同じ位置に）配置されてもよい。この場合、二次元カメラ１３２によって得られた二次元画像と、距離センサ１３４によって得られた距離画像とが、互いに対応するように構成される。つまり、撮影対象の物体のある位置が二次元画像の画素位置（Ｘ１，Ｙ１）に対応する場合、位置は、距離画像においても画素位置（Ｘ１，Ｙ１）にほぼ対応する。言い換えると、距離センサ１３４によって得られた距離画像の各画素位置は、二次元カメラ１３２によって得られた二次元画像の各画素位置と、互いに対応するように構成されている。なお、二次元カメラ１３２の位置と距離センサ１３４の位置とが多少ずれているような場合などにおいては、二次元カメラ１３２と距離センサ１３４との間の距離と、二次元カメラ１３２及び距離センサ１３４それぞれの視野角とから、距離画像の各画素位置と二次元画像の各画素位置との位置合わせを行うような処理を行ってもよい。 Further, the two-dimensional camera 132 and the distance sensor 134 may be arranged close to each other (that is, at substantially the same position). In this case, the two-dimensional image obtained by the two-dimensional camera 132 and the distance image obtained by the distance sensor 134 are configured to correspond to each other. That is, when the position of the object to be imaged corresponds to the pixel position (X1, Y1) of the two-dimensional image, the position substantially corresponds to the pixel position (X1, Y1) also in the distance image. In other words, each pixel position of the distance image obtained by the distance sensor 134 is configured to correspond to each pixel position of the two-dimensional image obtained by the two-dimensional camera 132. In the case where the position of the two-dimensional camera 132 and the position of the distance sensor 134 are slightly deviated, the distance between the two-dimensional camera 132 and the distance sensor 134, the two-dimensional camera 132, and the distance sensor 134 are displayed. From each viewing angle, processing may be performed in which each pixel position of the distance image is aligned with each pixel position of the two-dimensional image.

光源１５０は、矢印Ｂで示すように、商品Ａに光を照射する光源である。図２において、光源１５０は、商品読取装置１２０の内部に設置されているが、この態様に限られない。例えば、後述する図６に示すように、光源１５１、１５２は商品読取面１２４の外側近傍にすく複数個設けられてもよいし、ＰＯＳ端末装置１００から離れて設けられてもよい。 The light source 150 is a light source that irradiates the product A with light as indicated by an arrow B. In FIG. 2, the light source 150 is installed inside the commodity reading device 120, but is not limited to this mode. For example, as shown in FIG. 6 to be described later, a plurality of light sources 151 and 152 may be provided near the outside of the product reading surface 124 or may be provided apart from the POS terminal device 100.

図４は、本発明の第１の実施形態によるＰＯＳ端末装置１００の機能ブロック図である。また、図５は、本実施形態によるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、商品推測部２００と、認識処理部２２０とを備える。商品推測部２００は、商品画像取得部２０２と、距離計測部２０４と、商品形状推測部２０６とを有する。また、認識処理部２２０は、光線追跡部２２２と、ハイライト処理部２２４と、商品認識処理部２２８と、商品情報格納部２３０とを有する。 FIG. 4 is a functional block diagram of the POS terminal apparatus 100 according to the first embodiment of the present invention. FIG. 5 is a flowchart showing processing of the POS terminal apparatus 100 according to the present embodiment. The POS terminal device 100 includes a product estimation unit 200 and a recognition processing unit 220. The product estimation unit 200 includes a product image acquisition unit 202, a distance measurement unit 204, and a product shape estimation unit 206. The recognition processing unit 220 includes a light ray tracking unit 222, a highlight processing unit 224, a product recognition processing unit 228, and a product information storage unit 230.

商品推測部２００及び認識処理部２２０は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。具体的には、記憶部１１４に格納されたプログラムを、制御部１１２の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。以下、商品推測部２００及び認識処理部２２０の処理について具体的に説明する。 The product estimation unit 200 and the recognition processing unit 220 can be realized, for example, by executing a program under the control of the control unit 112. Specifically, the program stored in the storage unit 114 is realized by executing the program under the control of the control unit 112. In addition, each component is not limited to being realized by software by a program, but may be realized by any combination of hardware, firmware, and software. Hereinafter, the processes of the product estimation unit 200 and the recognition processing unit 220 will be specifically described.

商品画像取得部２０２は、ＰＯＳ端末装置１００の商品読取面１２４にかざされる商品の画像を取得する（Ｓ１０１）。具体的には、商品画像取得部２０２は、光源１５０が商品に光を照射している環境下において、二次元カメラ１３２に対して、商品読取面１２４の前のイメージ（例えばＰＯＳ端末装置１００が載置されたカウンタ台の上面）を撮影するように制御する。つまり、商品画像取得部２０２は、光源１５０に光を照射された商品の画像（商品画像）を含む二次元画像を、二次元カメラ１３２に撮影させるように制御する。二次元カメラ１３２は、商品画像取得部２０２の制御により、商品読取面１２４の前のイメージを撮影する。また、商品画像取得部２０２は、取得された商品画像を示すデータを、商品形状推測部２０６に対して出力する。 The product image acquisition unit 202 acquires an image of a product held over the product reading surface 124 of the POS terminal device 100 (S101). Specifically, the product image acquisition unit 202 has an image in front of the product reading surface 124 (for example, the POS terminal device 100 is connected to the two-dimensional camera 132 in an environment where the light source 150 irradiates the product with light. Control is performed so as to photograph the upper surface of the mounted counter stand. That is, the product image acquisition unit 202 controls the two-dimensional camera 132 to capture a two-dimensional image including a product image (product image) irradiated with light to the light source 150. The two-dimensional camera 132 captures an image in front of the product reading surface 124 under the control of the product image acquisition unit 202. The product image acquisition unit 202 outputs data indicating the acquired product image to the product shape estimation unit 206.

距離計測部２０４は、距離センサ１３４を制御して、距離センサ１３４から商品までの距離を計測する（Ｓ１０３）。具体的には、距離計測部２０４は、商品読取面１２４に向けられた商品に関する距離画像（距離画像を示す画像データ）を撮影するように、距離センサ１３４を制御する。距離センサ１３４は、距離計測部２０４の制御に応じて、商品読取面１２４に向けられた商品に関する距離画像を撮影し、距離画像を生成する。距離計測部２０４は、生成された距離画像を取得し、この距離画像を用いて、商品までの距離を計測する。つまり、距離計測部２０４は、距離センサ１３４とともに、距離計測手段としての機能を有する。また、距離計測部２０４は、計測された商品までの距離を示すデータを、商品形状推測部２０６に対して出力する。 The distance measuring unit 204 controls the distance sensor 134 to measure the distance from the distance sensor 134 to the product (S103). Specifically, the distance measuring unit 204 controls the distance sensor 134 so as to capture a distance image (image data indicating the distance image) related to the product directed to the product reading surface 124. The distance sensor 134 captures a distance image related to the product directed to the product reading surface 124 according to the control of the distance measuring unit 204, and generates a distance image. The distance measurement unit 204 acquires the generated distance image, and measures the distance to the product using the distance image. That is, the distance measuring unit 204 has a function as a distance measuring unit together with the distance sensor 134. The distance measuring unit 204 outputs data indicating the measured distance to the product to the product shape estimating unit 206.

商品形状推測部２０６は、取得された商品画像を示すデータと計測された商品までの距離を示すデータとに基づいて、商品の形状を推測する（Ｓ１０５）。具体的には、商品形状推測部２０６は、商品画像取得部２０２と距離計測部２０４から出力された上記データを取り込み、商品画像（二次元画像）と物体の各位置の距離を示す画素の集合体である距離画像に基づき、商品の立体的な形状を分析して形状を推測する。 The product shape estimation unit 206 estimates the shape of the product based on the data indicating the acquired product image and the data indicating the measured distance to the product (S105). Specifically, the merchandise shape estimation unit 206 takes in the data output from the merchandise image acquisition unit 202 and the distance measurement unit 204, and a set of pixels indicating the distance between the merchandise image (two-dimensional image) and each position of the object. Based on the distance image that is a body, the shape of the product is analyzed to estimate the shape.

光線追跡部２２２は、三次元カメラ１３０と光源１５０との相対的な位置関係と、光源１５０から放射される光情報に基づき、レイトレーシングを実行する（Ｓ１０７）。具体的には、光源追跡部２２２は、例えば、あらかじめ定められた光源１５０の位置や光の強度、三次元カメラ１３０の画角や位置、基準となる商品までの距離などに基づいて、レイトレーシングを実行する（Ｓ１０７）。レイトレーシングでは、既知のアルゴリズムにより物体面の光を計算する。なお、レイトレーシングは一般的に知られており、ここではその概略的な説明にとどめておく。 The ray tracing unit 222 performs ray tracing based on the relative positional relationship between the three-dimensional camera 130 and the light source 150 and the light information emitted from the light source 150 (S107). Specifically, the light source tracking unit 222 performs ray tracing based on, for example, a predetermined position and light intensity of the light source 150, a field angle and position of the three-dimensional camera 130, a distance to a reference product, and the like. Is executed (S107). In ray tracing, the light on the object surface is calculated by a known algorithm. Ray tracing is generally known, and only a brief description thereof will be given here.

光源追跡部２２２は、光源１５０から照射された光が商品の表面で反射して三次元カメラ１３０に入射してくる光を、画素毎に光源１５０方向にさかのぼって追跡していき、写実的な画像を生成する。このとき、高輝度又は高光度の反射光が三次元カメラ１３０に入射し、三次元カメラ１３０のダイナミックレンジを超えると、露出過多となってハイライト部が生じる。ハイライト部が発生すると、ハイライト部及びその周辺の画像品質が大幅に低下するため、画像認識処理の正確性が低下してしまうことがある。このため、光源追跡部２２２により、ハイライト部が推定された場合には、続いて説明するハイライト処理部２２４でハイライト部が削除される。ここでハイライト部とは、高輝度又は高光度の対象がカメラの画角内にあるときに、光学系内で光が乱反射して画像の一部が不鮮明になる現象をいう。 The light source tracking unit 222 tracks the light incident on the three-dimensional camera 130 after the light emitted from the light source 150 is reflected by the surface of the product, and traces the light back to the light source 150 for each pixel. Generate an image. At this time, when reflected light with high luminance or high luminous intensity is incident on the three-dimensional camera 130 and exceeds the dynamic range of the three-dimensional camera 130, overexposure occurs and a highlight portion is generated. When a highlight part is generated, the image quality of the highlight part and its surroundings is greatly lowered, so that the accuracy of the image recognition process may be lowered. For this reason, when the highlight part is estimated by the light source tracking part 222, the highlight part is deleted by the highlight processing part 224 described later. Here, the highlight portion refers to a phenomenon in which when an object with high luminance or high brightness is within the angle of view of the camera, light is irregularly reflected in the optical system and a part of the image becomes unclear.

ハイライト処理部２２４は、光源追跡部２２２の追跡処理によりハイライト部があると推定された場合（Ｓ１０９、ＹＥＳ）、ハイライト部を削除処理する（Ｓ１１１）。続いて、後述する商品認識処理が実行される。光源追跡部２２２の追跡処理により、ハイライト部があると推定されなかった場合（Ｓ１０９、ＮＯ）、次に後述する商品認識処理が実行される。また、ハイライト部は画像認識処理の際に不要な画像データであるため、商品認識処理部２２８での商品認識処理に含めずに取り扱うことで、認識処理の高速化を図ることができる。 When it is estimated that there is a highlight part by the tracking process of the light source tracking part 222 (S109, YES), the highlight processing part 224 deletes the highlight part (S111). Subsequently, a product recognition process to be described later is executed. If it is not estimated by the tracking process of the light source tracking unit 222 that there is a highlight part (S109, NO), a product recognition process described later is executed. Further, since the highlight portion is unnecessary image data in the image recognition processing, the recognition processing can be speeded up by handling it without including it in the product recognition processing in the product recognition processing portion 228.

商品認識処理部２２８は、商品画像撮影制御部２２２によって取得された二次元画像を用いて、商品認識処理を行う（Ｓ１１３）。また、商品認識処理部２２８は、商品認識処理によって得られた商品情報を、商品情報格納部２３０に格納する。商品情報は、商品に付されるバーコードに含まれる情報を含む。さらに、商品情報は、商品のサイズ（容量）を含んでもよい。ＰＯＳ端末装置１００は、商品認識処理部２２８による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。 The product recognition processing unit 228 performs product recognition processing using the two-dimensional image acquired by the product image capturing control unit 222 (S113). In addition, the product recognition processing unit 228 stores the product information obtained by the product recognition processing in the product information storage unit 230. The product information includes information included in a barcode attached to the product. Further, the product information may include the size (capacity) of the product. The POS terminal apparatus 100 uses the product information obtained by the product recognition processing by the product recognition processing unit 228 to perform settlement processing for the product.

商品認識処理について、具体的には、例えば、商品認識処理部２２８は、予め、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。商品認識処理部２２８は、二次元画像における商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。例えば、商品認識処理部２２８は、二次元画像から商品画像を抽出し、その抽出された商品画像と基準商品情報とのパターンマッチングを行う。なお、商品画像の抽出方法は、様々なものが挙げられる。例えば、予め背景画像を撮影しておき、その背景画像と、二次元カメラ１３２によって撮影された（商品画像を含む）二次元画像との差分を、商品画像として抽出してもよい。また、距離センサ１３４を用いて、二次元画像において、距離センサ１３４から予め定められた距離以内の位置に対応する画像区域を、商品画像として抽出してもよい。なお、基準商品情報については、以下に例示する。 Regarding the product recognition process, specifically, for example, the product recognition processing unit 228 previously stores a product name and information (reference product information) related to the product in association with each other. The product recognition processing unit 228 performs pattern matching between the product image in the two-dimensional image and the reference product information stored in advance. For example, the product recognition processing unit 228 extracts a product image from the two-dimensional image, and performs pattern matching between the extracted product image and reference product information. Note that there are various methods for extracting product images. For example, a background image may be captured in advance, and a difference between the background image and a two-dimensional image (including a product image) captured by the two-dimensional camera 132 may be extracted as a product image. Further, using the distance sensor 134, an image area corresponding to a position within a predetermined distance from the distance sensor 134 in the two-dimensional image may be extracted as a product image. The reference product information is exemplified below.

例えば、基準商品情報は、商品の基準となる画像（基準商品画像）であってもよい。その場合、商品認識処理部２２８は、抽出された商品画像と基準商品画像とを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その基準商品画像に対応する商品名と対応付ける。 For example, the reference product information may be an image (reference product image) that serves as a reference for the product. In that case, the product recognition processing unit 228 collates the extracted product image with the reference product image. Then, the product recognition processing unit 228 associates the product with the product name corresponding to the reference product image when the similarity between the two satisfies an allowable value.

また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ（商品特徴データ）であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感（つや等）を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。この場合、商品認識処理部２２８は、抽出された商品画像から、その画像の特徴を抽出する。そして、商品認識処理部２２８は、抽出された画像の特徴と、商品特徴データとを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その商品特徴データに対応する商品名と対応付ける。また、商品認識処理部２２８は、商品のパッケージに付された文字情報をＯＣＲ（Optical Character Reader）によって読み取ることによって、商品名を認識してもよい。 Further, for example, the reference product information may be data (product feature data) indicating a feature that is a reference of the product. The product feature data includes, for example, information indicating the shape of the product, information indicating the color of the product, information indicating the texture of the product (such as gloss), information indicating character information and a pattern attached to the package of the product, May be included. In this case, the product recognition processing unit 228 extracts the feature of the image from the extracted product image. Then, the product recognition processing unit 228 collates the extracted image feature with the product feature data. Then, the product recognition processing unit 228 associates the product with the product name corresponding to the product feature data when the similarity between the two satisfies the allowable value. In addition, the product recognition processing unit 228 may recognize the product name by reading character information attached to the product package using an OCR (Optical Character Reader).

以上、本発明の第１の実施形態によれば、商品などの物体の認識処理の高速化や正確性の向上が可能となる。その結果、待ち時間の短縮による顧客満足度の向上や本装置の普及率の上昇につながる。その理由は、物体に生じるハイライト部をあらかじめ推定し、撮像した物体の画像内における推定されたハイライト部以外の画像に基づいて物体の認識処理を行っているからである。 As described above, according to the first embodiment of the present invention, it is possible to speed up recognition processing of an object such as a product and improve accuracy. As a result, the customer satisfaction is improved by shortening the waiting time and the penetration rate of the apparatus is increased. The reason is that the highlight portion generated in the object is estimated in advance, and the object recognition process is performed based on the image other than the estimated highlight portion in the image of the captured object.

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態は、上述した第１の実施形態の変形例である。以下、本実施形態において、第１の実施形態においてすでに説明した部分と同様な機能を有する部分には同一符号を付し、説明は省略する。 (Second Embodiment)
Subsequently, a second embodiment of the present invention will be described. The second embodiment of the present invention is a modification of the above-described first embodiment. Hereinafter, in the present embodiment, parts having the same functions as those already described in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.

図６は、本発明の第２の実施形態によるＰＯＳ端末装置１００の外観を示す側面図である。本実施形態に係るＰＯＳ端末装置１００は、メインディスプレイ１０２、サブディスプレイ１０４、情報処理装置１０６、商品読取装置１２０、筐体１２２、商品読取面１２４、三次元カメラ１３０、及び光源１５１、１５２を備えている。同図では、本実施形態では、第１の実施形態のように筐体１２２の内部ではなく、筐体１２２の外側における商品読取面１２４の近傍に二つの光源１５１、１５２が設置されている例を示す。この例に限らず、光源は商品を照らすことができるのであればどこに備えつけられても構わない。 FIG. 6 is a side view showing the appearance of the POS terminal device 100 according to the second embodiment of the present invention. The POS terminal device 100 according to the present embodiment includes a main display 102, a sub display 104, an information processing device 106, a product reading device 120, a housing 122, a product reading surface 124, a three-dimensional camera 130, and light sources 151 and 152. ing. In this figure, in the present embodiment, two light sources 151 and 152 are installed in the vicinity of the product reading surface 124 outside the housing 122 instead of inside the housing 122 as in the first embodiment. Indicates. Not limited to this example, the light source may be provided anywhere as long as it can illuminate the product.

光源１５１、１５２は、矢印Ｂで示すように、商品Ａに光を照射する光源手段である。光源１５１、１５２は、情報処理装置１０６の制御部１１２による制御によって、商品Ａに照射される光の強さ（強度）を調整する。言い換えると、光源１５１、１５２は、情報処理装置１０６の制御部１１２による制御によって、商品Ａの明るさ（照度等）を調整する。本実施形態では、後述するように、光線追跡部２２２によりハイライト部が推定された際に、情報処理装置１０６の制御部１１２による制御によって、商品などの物体に照射される光の強度（照度）が調整されることとなる。 The light sources 151 and 152 are light source means for irradiating the product A with light as indicated by an arrow B. The light sources 151 and 152 adjust the intensity (intensity) of light applied to the product A under the control of the control unit 112 of the information processing apparatus 106. In other words, the light sources 151 and 152 adjust the brightness (such as illuminance) of the product A under the control of the control unit 112 of the information processing apparatus 106. In the present embodiment, as will be described later, the intensity (illuminance) of light irradiating an object such as a product under the control of the control unit 112 of the information processing device 106 when the highlight unit is estimated by the ray tracing unit 222. ) Will be adjusted.

図７は、本実施形態によるＰＯＳ端末装置１００の機能ブロック図である。また、図８は、本実施形態によるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、商品推測部２００と、認識処理部２２０とを備える。商品推測部２００は、商品画像取得部２０２と、距離計測部２０４と、商品形状推測部２０６とを有する。また、認識処理部２２０は、光線追跡部２２２と、光源制御部２３２と、商品画像撮影制御部２２６と、商品認識処理部２２８と、商品情報格納部２３０とを有する。 FIG. 7 is a functional block diagram of the POS terminal apparatus 100 according to the present embodiment. FIG. 8 is a flowchart showing processing of the POS terminal apparatus 100 according to the present embodiment. The POS terminal device 100 includes a product estimation unit 200 and a recognition processing unit 220. The product estimation unit 200 includes a product image acquisition unit 202, a distance measurement unit 204, and a product shape estimation unit 206. The recognition processing unit 220 includes a light ray tracking unit 222, a light source control unit 232, a product image capturing control unit 226, a product recognition processing unit 228, and a product information storage unit 230.

図７及び図８のフローチャートを参照しながら本実施形態によるＰＯＳ端末装置１００を説明すると、まず、商品画像取得部２０２は、ＰＯＳ端末装置１００の商品読取面１２４にかざされる商品の画像を取得する（Ｓ２０１）。次に、距離計測部２０４は、距離センサ１３４を制御して、距離センサ１３４から商品までの距離を計測する（Ｓ２０３）。また、商品形状推測部２０６は、取得された商品画像を示すデータと計測された商品までの距離を示すデータとに基づいて、商品の形状を推測する（Ｓ２０５）。そして、光線追跡部２２２は、三次元カメラ１３０と光源１５０との相対的な位置関係と、光源１５０から放射される光情報に基づき、レイトレーシングを実行する（Ｓ２０７）。 The POS terminal device 100 according to the present embodiment will be described with reference to the flowcharts of FIGS. 7 and 8. First, the product image acquisition unit 202 acquires an image of a product held over the product reading surface 124 of the POS terminal device 100. (S201). Next, the distance measuring unit 204 controls the distance sensor 134 to measure the distance from the distance sensor 134 to the product (S203). Moreover, the product shape estimation unit 206 estimates the shape of the product based on the data indicating the acquired product image and the data indicating the measured distance to the product (S205). Then, the light ray tracing unit 222 performs ray tracing based on the relative positional relationship between the three-dimensional camera 130 and the light source 150 and the light information emitted from the light source 150 (S207).

ハイライト処理部２２４は、光源追跡部２２２の追跡処理によりハイライト部があると推定された場合（Ｓ２０９、ＹＥＳ）、光源制御部２３２により、光源１５１、１５２を制御する（Ｓ２１１）。具体的には、光源制御部２３２は、光源１５１、１５２が投射する光の強度を制御し調整する。つまり、光源１５１、１５２は、光源制御部２３２の制御によって、光の強度を調整する。光源制御部２３２は、ハイライト部が推定された程度に応じて、光源１５１、１５２に照らされた商品にハイライト部が生じないように商品に照射される光の強さを調整する。また、光源制御部２３２は、光源１５１、１５２の画角や位置を制御するようにしてもよい。 The highlight processing unit 224 controls the light sources 151 and 152 by the light source control unit 232 when it is estimated that there is a highlight unit by the tracking processing of the light source tracking unit 222 (S209, YES) (S211). Specifically, the light source control unit 232 controls and adjusts the intensity of light projected by the light sources 151 and 152. That is, the light sources 151 and 152 adjust the light intensity under the control of the light source control unit 232. The light source control unit 232 adjusts the intensity of light applied to the product so that the highlight portion is not generated in the product illuminated by the light sources 151 and 152 according to the estimated degree of the highlight unit. Further, the light source control unit 232 may control the angle of view and the position of the light sources 151 and 152.

次に、商品画像撮影制御部２２６は、光源部１５１、１５２に光を照射された商品の画像（商品画像）を含む２次元画像を、二次元カメラ１３２に撮影させるように制御する（Ｓ２１３）。具体的には、商品画像撮影制御部２２６は、二次元カメラ１３２を制御して、商品読取面１２４に向けられ、光源部１５１、１５２によって光を照射された商品を撮像させる。そして、商品画像撮影制御部２２６は、二次元カメラ１３２によって生成された２次元画像を取得し、商品認識処理部２２８に対して出力する。そして、商品認識処理部２２８による商品認識処理が実行される。 Next, the product image photographing control unit 226 controls the two-dimensional camera 132 to photograph a two-dimensional image including a product image (product image) irradiated with light on the light source units 151 and 152 (S213). . Specifically, the product image capturing control unit 226 controls the two-dimensional camera 132 to image the product directed to the product reading surface 124 and irradiated with light from the light source units 151 and 152. Then, the product image photographing control unit 226 acquires the two-dimensional image generated by the two-dimensional camera 132 and outputs it to the product recognition processing unit 228. Then, a product recognition process by the product recognition processing unit 228 is executed.

光源追跡部２２２の追跡処理により、ハイライト部があると推定されなかった場合（Ｓ２０９、ＮＯ）、商品認識処理部２２８による商品認識処理が実行される。商品認識処理部２２８は、商品画像撮影制御部２２２によって取得された二次元画像を用いて、商品認識処理を行う（Ｓ２１５）。 When it is not estimated that there is a highlight part by the tracking process of the light source tracking unit 222 (S209, NO), the product recognition process by the product recognition processing unit 228 is executed. The product recognition processing unit 228 performs product recognition processing using the two-dimensional image acquired by the product image capturing control unit 222 (S215).

商品認識処理について、具体的には、例えば、商品認識処理部２２８は、予め、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。商品認識処理部２２８は、二次元画像における商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。例えば、商品認識処理部２２８は、二次元画像から商品画像を抽出し、その抽出された商品画像と基準商品情報とのパターンマッチングを行う。また、サーバなどの他の管理装置において、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶しておいてもよい。この場合、ＰＯＳ端末装置１００と管理装置とは通信可能に接続されたＰＯＳシステムを形成する。ＰＯＳ端末装置１００は、管理装置と通信を行うための必要な処理を行う。ＰＯＳ端末装置１００の通信装置１１６は、ネットワークを介して接続された管理装置と通信を行うために必要な処理を行う。ＰＯＳ端末装置１００と管理装置とは、通信可能に接続されて、両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。 Regarding the product recognition process, specifically, for example, the product recognition processing unit 228 previously stores a product name and information (reference product information) related to the product in association with each other. The product recognition processing unit 228 performs pattern matching between the product image in the two-dimensional image and the reference product information stored in advance. For example, the product recognition processing unit 228 extracts a product image from the two-dimensional image, and performs pattern matching between the extracted product image and reference product information. Further, in another management apparatus such as a server, the product name and information (reference product information) related to the product may be stored in association with each other. In this case, the POS terminal device 100 and the management device form a POS system that is communicably connected. The POS terminal apparatus 100 performs necessary processing for communicating with the management apparatus. The communication device 116 of the POS terminal device 100 performs processing necessary for communicating with a management device connected via a network. The POS terminal device 100 and the management device are communicably connected, and the communication between them may be either wired communication or wireless communication, and various communication standards can be applied.

以上、本発明の第２の実施形態によれば、商品などの物体の認識処理の高速化や正確性の向上が可能となる。その結果、待ち時間の短縮による顧客満足度の向上や本装置の普及率の上昇につながる。その理由は、物体に生じるハイライト部をあらかじめ推定し、ハイライト部が推定された場合、撮像された物体にハイライト部の発生が推定されないように光源の照度を制御して物体の認識処理を行っているからである。 As described above, according to the second embodiment of the present invention, it is possible to speed up recognition processing of an object such as a product and improve accuracy. As a result, the customer satisfaction is improved by shortening the waiting time and the penetration rate of the apparatus is increased. The reason is that the highlight portion generated in the object is estimated in advance, and if the highlight portion is estimated, the object recognition processing is performed by controlling the illuminance of the light source so that the occurrence of the highlight portion in the captured object is not estimated. It is because it is doing.

なお、上記各実施形態におけるハイライト部の推定処理は、外部に設置されるサーバなどの情報処理装置で行う構成としても良い。この場合、情報処理装置は、ＰＯＳ端末装置１００の三次元カメラ１３０で撮像された物体の形状データを受信する受信部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、推定されたハイライト部に関する情報をＰＯＳ端末装置１００へ送信する送信部とを備える構成となる。あらかじめ設置された光源の位置関係や光源から放射される光の情報は、情報処理装置内の記憶部にあらかじめ記録しておいても良いし、ＰＯＳ端末装置１００から光源に関する情報を受信しても良い。 Note that the highlight portion estimation processing in each of the above embodiments may be performed by an information processing device such as a server installed outside. In this case, the information processing apparatus receives the shape data of the object imaged by the three-dimensional camera 130 of the POS terminal device 100, the light emitted from the light source installed in advance, and the shape of the imaged object Therefore, a highlight estimation unit that estimates a highlight portion generated in the object and a transmission unit that transmits information on the estimated highlight unit to the POS terminal device 100 are provided. Information on the positional relationship of the light sources installed in advance and information on the light emitted from the light sources may be recorded in advance in a storage unit in the information processing apparatus, or information on the light sources may be received from the POS terminal device 100. good.

また、上述した各実施形態で説明したＰＯＳ端末装置１００の一部である、ハイライト部を推定する処理を情報処理装置で行う構成を備える情報処理システムも本発明の範疇に含まれる。この情報処理システムは、ＰＯＳ端末装置１００及び情報処理装置を備える構成となる。ＰＯＳ端末装置１００は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離とを計測する撮像部と、撮像した物体の画像内におけるハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部とを有する。また、情報処理装置は、あらかじめ設置された光源が放射する光と撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部を有する。 In addition, an information processing system having a configuration in which the processing for estimating a highlight portion is performed by the information processing apparatus, which is a part of the POS terminal apparatus 100 described in each embodiment described above, is also included in the scope of the present invention. This information processing system includes a POS terminal device 100 and an information processing device. The POS terminal device 100 captures an object to generate an image, measures an object shape corresponding to the generated image and a distance to the object position, and a high-level image in the captured object image. A control unit that recognizes an object in the image based on an image other than the light unit. The information processing apparatus also includes a highlight estimation unit that estimates a highlight unit generated in an object from light emitted from a light source installed in advance and the shape of the imaged object.

なお、上記のＰＯＳ端末装置１００において行われる画像認識方法は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。 The image recognition method performed in the POS terminal device 100 can be realized by hardware, software, or a combination thereof. Here, “realized by software” means realized by a computer reading and executing a program.

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory)）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program may be stored using various types of non-transitory computer readable media and supplied to the computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD- R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)). The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

１ＰＯＳ端末装置（情報端末装置）
１１撮像部
１２ハイライト推定部
１３制御部
１００ＰＯＳ端末装置
１０２メインディスプレイ
１０４サブディスプレイ
１０６情報処理装置
１１２制御部
１１４記憶部
１１６通信装置
１２０商品読取装置
１２２筐体
１２４商品読取面
１３０三次元カメラ
１３２二次元カメラ
１３４距離センサ
１３６赤外線照射部
１３８赤外線受光部
１４０距離画像生成部
１５０光源
１５１光源
１５２光源
２００商品推測部
２０２商品画像取得部
２０４距離計測部
２０６商品形状推測部
２２０認識処理部
２２２光線追跡部
２２４ハイライト処理部
２２６商品画像撮影制御部
２２８商品認識処理部
２３０商品情報格納部
２３２光源制御部 1 POS terminal device (information terminal device)
DESCRIPTION OF SYMBOLS 11 Image pick-up part 12 Highlight estimation part 13 Control part 100 POS terminal device 102 Main display 104 Sub display 106 Information processing apparatus 112 Control part 114 Storage part 116 Communication apparatus 120 Goods reading apparatus 122 Case 124 Goods reading surface 130 Three-dimensional camera 132 Two-dimensional camera 134 Distance sensor 136 Infrared irradiation unit 138 Infrared light receiving unit 140 Distance image generation unit 150 Light source 151 Light source 152 Light source 200 Product estimation unit 202 Product image acquisition unit 204 Distance measurement unit 206 Product shape estimation unit 220 Recognition processing unit 222 Ray tracing Unit 224 highlight processing unit 226 product image photographing control unit 228 product recognition processing unit 230 product information storage unit 232 light source control unit

Claims

An imaging unit that captures an object to generate an image and measures a shape of the object corresponding to the generated image and a distance to the position of the object;
A highlight estimator for estimating a highlight generated in the object from the light emitted from the light source installed in advance and the shape of the imaged object;
A POS terminal device comprising: a control unit that recognizes an object in the image based on an image other than the estimated highlight unit in the image of the captured object.

An imaging unit that images an object to generate an image and estimates a shape of the object corresponding to the generated image;
Using the light emitted from a pre-installed light source and the shape of the imaged object, the highlight portion generated in the object is estimated when the light emitted from the light source is reflected by the object and enters the imaging unit. Highlight estimator to
A POS terminal device comprising: a control unit that recognizes an object in the image based on an image other than the estimated highlight unit in the image of the captured object.

3. The POS according to claim 1 , wherein the control unit has information on a relative positional relationship between the imaging unit and the light source and light emitted from the light source. 4. Terminal device.

Wherein, any of claims 1 to 3, characterized in that to execute the recognition processing of the object by pattern matching with the reference product information stored two-dimensional image generated by imaging the object in the storage unit The POS terminal device according to claim 1.

The POS terminal device according to any one of claims 1 to 4 , further comprising a communication unit that transmits an image other than the estimated highlight unit in the image of the captured object.
A POS system having a storage unit that stores reference object information in advance, and a management device that communicates with the communication unit of the POS terminal device.

An image capturing unit that captures an image to generate an image, measures an object shape corresponding to the generated image, and a distance to the object position, and an image other than a highlight unit in the captured image of the object A POS terminal device having a control unit for recognizing an object in an image based on
An information processing system comprising: a highlight estimation unit that estimates a highlight unit generated in an object from light emitted from a light source installed in advance and a shape of the imaged object. .

Capture an object to generate an image, measure the shape of the object corresponding to the generated image and the distance to the position of the object,
From the light emitted by the light source installed in advance and the shape of the imaged object, the highlight portion generated in the object is estimated,
An image recognition method, comprising: recognizing an object in an image based on an image other than the estimated highlight portion in the image of the captured object.

Capture an object to generate an image, estimate the shape of the object corresponding to the generated image,
Using the light emitted from a pre-installed light source and the shape of the imaged object, the highlight portion generated in the object is estimated when the light emitted from the light source is reflected by the object and enters the imaging unit. And
An image recognition method, comprising: recognizing an object in an image based on an image other than the estimated highlight portion in the image of the captured object.

Processing to capture an image of an object, generate an image, and measure a shape of the object corresponding to the generated image and a distance to the position of the object;
A process of estimating a highlight portion generated in an object from light emitted from a light source installed in advance and the shape of the imaged object;
An image recognition program for causing a computer to execute processing for recognizing an object in an image based on an image other than the estimated highlight portion in the image of the captured object.

Processing of capturing an object to generate an image and estimating the shape of the object corresponding to the generated image;
Using the light emitted from a pre-installed light source and the shape of the imaged object, the highlight portion generated in the object is estimated when the light emitted from the light source is reflected by the object and enters the imaging unit. Processing to
An image recognition program for causing a computer to execute processing for recognizing an object in an image based on an image other than the estimated highlight portion in the image of the captured object.