WO2015125478A1 - 物体検出装置、ｐｏｓ端末装置、物体検出方法、プログラム及びプログラム記録媒体 - Google Patents

物体検出装置、ｐｏｓ端末装置、物体検出方法、プログラム及びプログラム記録媒体 Download PDF

Info

Publication number
WO2015125478A1
WO2015125478A1 PCT/JP2015/000774 JP2015000774W WO2015125478A1 WO 2015125478 A1 WO2015125478 A1 WO 2015125478A1 JP 2015000774 W JP2015000774 W JP 2015000774W WO 2015125478 A1 WO2015125478 A1 WO 2015125478A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
distance
reflected light
intensity
covered
Prior art date
Application number
PCT/JP2015/000774
Other languages
English (en)
French (fr)
Inventor
壮馬 白石
尚司 谷内田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/120,927 priority Critical patent/US10534072B2/en
Priority to JP2016503980A priority patent/JP6520913B2/ja
Publication of WO2015125478A1 publication Critical patent/WO2015125478A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Definitions

  • the distance between the distance sensor 110 and the object A may be maintained in accordance with the minimum time difference (phase difference) that the distance sensor 110 can measure. That is, the distance sensor 110 may be installed away from the object A so as to maintain a minimum measurable distance.
  • the speed of the infrared ray (the speed of light) is 300,000 km / second, so the infrared ray travels 30 cm in 1 nanosecond.
  • each pixel of the infrared light receiving unit 114 receives the reflected light from each position of the object A. Therefore, the position corresponding to each pixel of the reflected light intensity image is configured to correspond to the position corresponding to each pixel of the distance image. That is, when the position a1 of the object A corresponds to the pixel position (X1, Y1) of the distance image, the position a1 substantially corresponds to the pixel position (X1, Y1) also in the reflected light intensity image. In other words, each pixel position of the reflected light intensity image obtained by the distance sensor 110 is configured to correspond to each pixel position of the distance image.
  • the case where the position a1 of the object A is a non-transparent material that does not transmit light is compared with the case where the position a2 is a translucent material that transmits a part of light.
  • the position a1 of the object A is a non-transparent material that does not transmit light
  • the position a2 is a translucent material that transmits a part of light.
  • substantially all of the infrared rays irradiated from the infrared irradiation unit 112 are reflected at the position a1.
  • the reflection position a2 only a part of the infrared ray irradiated from the infrared irradiation unit 112 is reflected. Therefore, the reflected light intensity C1 of the reflected light at the position a1 is larger than the reflected light intensity C2 of the reflected light at the position a2.
  • the position a1 is a position corresponding to the target object, and the position a2 is translucent.
  • the reflected light intensity (C2) of the reflected light in the translucent container can be significantly smaller than the reflected light intensity (C1) of the reflected light in the target object.
  • specific examples of the translucent container include a plastic bag for packaging fruits and vegetables in a supermarket or the like, or a container such as plastic whose contents can be visually confirmed.
  • the information processing apparatus 130 is, for example, a computer.
  • the information processing apparatus 130 includes a control unit 132 such as a CPU (Central Processing Unit) and a storage unit 134 such as a memory or a hard disk.
  • the information processing apparatus 130 performs necessary processing such as object detection according to the information obtained by the distance sensor 110.
  • the object detection unit 200 determines whether or not the object A is in a state where the target object is covered with a translucent container when the object A faces the distance sensor 110, as will be described later.
  • the object A is in a state (first state) where the target object is covered with a translucent container indicates a state in which the target object is accommodated in the translucent container, for example. That is, at this time, the object A is composed of a translucent container and a target object.
  • the object A is in a state where the target object is not covered by the translucent container (second state)” indicates a state in which the target object is not accommodated in the translucent container, for example. That is, at this time, the object A consists of only the target object.
  • the intensity threshold Thc may be a maximum value that can be taken by the intensity of the reflected light reflected by the translucent container. That is, when the reflected light intensity at a certain pixel is equal to or higher than the intensity threshold Thc, the reflected light corresponding to the pixel can be light reflected by a non-transparent target object. In other words, when the reflected light intensity in a certain pixel is smaller than the intensity threshold Thc, the reflected light corresponding to the pixel can be light reflected by the translucent container.
  • the target object determination unit 210 determines whether or not the area ratio S_Ac / S_Ad of the area S_Ac of the reflected light intensity area Ac to the area S_Ad of the distance area Ad is less than a predetermined threshold Thr (S110). Specifically, the target object determination unit 210 calculates the area S_Ad of the distance region Ad. This area S_Ad may correspond to the number of pixels included in the distance region Ad. Similarly, the target object determination unit 210 calculates the area S_Ac of the reflected light intensity region Ac. This area S_Ac may correspond to the number of pixels included in the reflected light intensity region Ac.
  • the target object determination unit 210 calculates the area ratio S_Ac / S_Ad by dividing the area S_Ac by the area S_Ad. Then, the target object determination unit 210 compares the area ratio S_Ac / S_Ad with the threshold value Thr.
  • process of the process execution control unit 212 can be appropriately determined according to an apparatus to which the object detection apparatus 100 according to the present embodiment is applied. Note that the process execution control unit 212 is not an essential component and may be incorporated in an arbitrary device connected to the object detection device 100.
  • the threshold value Thr can be determined in consideration of the ratio of the target object that normally occupies the semi-transparent container on the surface facing the distance sensor 110.
  • the threshold value Thr may be set to 1 ⁇ 2. Note that, for pixels corresponding to positions in the immediate vicinity of the target object, the reflected light intensity may increase due to diffraction or the like even though there is no actual target object. Therefore, the threshold Thr is preferably a value smaller than 1.
  • FIG. 6A shows that the object A is the distance sensor 110 of the object detection device 100 when the object A is composed of the target object B and the translucent container C, and the target object B is covered with the translucent container C.
  • An opposed state (first state) is shown.
  • FIG. 6B shows that the object A (target object B) is the distance sensor 110 of the object detection device 100 when the object A is the target object B and the target object B is not covered with the translucent container.
  • An opposed state (second state) is shown.
  • FIG. 7A and 7B are diagrams illustrating the distance area Ad and the reflected light intensity area Ac acquired in the state of FIG. 6A, where FIG. 7A illustrates the distance area Ad, and FIG. 7B illustrates the reflected light intensity area. Illustrates Ac.
  • the target object B and the translucent container C of the object A are located within the range S1 from the distance sensor 110. Therefore, the distance area acquisition unit 206 acquires a distance area Ad as illustrated in FIG.
  • the distance area Ad is generated so as to indicate a position substantially corresponding to the translucent container C.
  • region shown with the oblique line shown by D shows the position (background etc.) where the distance from the distance sensor 110 deviated from range S1. That is, there is no object around the translucent container C whose distance from the distance sensor 110 is within the range S1.
  • the intensity of the reflected light reflected by the translucent container C is smaller than the intensity threshold Thc.
  • the intensity of the reflected light that is transmitted through the translucent container C and reflected by the target object B is equal to or higher than the intensity threshold Thc.
  • the target object B is covered with a translucent container C. Therefore, the reflected light intensity region acquisition unit 208 acquires the reflected light intensity region Ac as exemplified in FIG.
  • the reflected light intensity region Ac is generated so as to indicate a position substantially corresponding to the target object B in the translucent container C.
  • a hatched area indicated by E indicates a position outside the distance area Ad and a position within the distance area Ad but the reflected light intensity is less than the intensity threshold Thc.
  • the target object determination unit 210 determines the area between the area S_Ad of the distance region Ad illustrated in FIG. 7A and the area S_Ac of the reflected light intensity region Ac illustrated in FIG.
  • the ratio S_Ac / S_Ad is calculated.
  • the area ratio S_Ac / S_Ad is smaller than a threshold value Thr (for example, 1/2). Therefore, the target object determination unit 210 determines that the target object B is covered with the translucent container C.
  • FIG. 8A and 8B are diagrams illustrating the distance area Ad and the reflected light intensity area Ac acquired in the state of FIG. 6B, where FIG. 8A illustrates the distance area Ad, and FIG. 8B illustrates the reflected light intensity area. Illustrates Ac.
  • the object A target object B
  • the distance area acquisition unit 206 acquires a distance area Ad as illustrated in FIG.
  • the distance area Ad indicates a position substantially corresponding to the target object B.
  • region shown with the oblique line shown by D shows the position (background etc.) where the distance from the distance sensor 110 deviated from range S1. That is, there is no object around the target object B whose distance from the distance sensor 110 is within the range S1.
  • the target object determination unit 210 determines the area between the area S_Ad of the distance region Ad illustrated in FIG. 8A and the area S_Ac of the reflected light intensity region Ac illustrated in FIG.
  • the ratio S_Ac / S_Ad is calculated.
  • the area ratio S_Ac / S_Ad is equal to or greater than a threshold value Thr (for example, 1/2). Therefore, the target object determination unit 210 determines that the target object B is not covered with the translucent container.
  • the target object is covered with the translucent container. It is difficult to determine whether or not the object is covered with a translucent container simply by imaging the object and performing recognition processing on the object.
  • the target object is covered by the translucent container using the distance to the object measured using the distance sensor 110 and the intensity of the reflected light reflected by the object. It is determined whether or not Therefore, when the target object is covered with a translucent container, a process suitable for the case where the target object is covered with a translucent container can be performed, and the target object is not covered with the translucent container. In some cases, it is possible to perform processing suitable when the target object is not covered with the translucent container.
  • the second embodiment is different from the first embodiment in that recognition processing is performed on a target object. Note that components that are substantially the same as those in the first embodiment are given the same reference numerals, and descriptions thereof are omitted.
  • FIG. 11 is a functional block diagram of the object detection apparatus 300 according to the second embodiment.
  • FIG. 12 is a flowchart of a process performed by the object detection apparatus 300 according to the second embodiment.
  • the object detection device 300 includes an object detection unit 320.
  • the object detection unit 320 includes a distance image acquisition unit 202, a reflected light intensity image acquisition unit 204, a distance region acquisition unit 206, a reflected light intensity region acquisition unit 208, a target object determination unit 210, and an imaging control unit 324.
  • the distance image acquisition unit 202 controls the distance sensor 110 to acquire a distance image in the same manner as the process of S102 (S202).
  • the reflected light intensity image acquisition unit 204 controls the distance sensor 110 to acquire a reflected light intensity image, similarly to the process of S104 (S204).
  • the distance area acquisition unit 206 acquires a distance area Ad whose distance from the distance sensor 110 is within the range S1 (first range) in the distance image, similarly to the process of S106 (S206).
  • the reflected light intensity area acquisition unit 208 acquires the reflected light intensity area Ac in the reflected light intensity image whose reflected light intensity is equal to or greater than the intensity threshold Thc in the distance area Ad, similarly to the process of S108 (S208).
  • the target object determination unit 210 determines whether or not the area ratio S_Ac / S_Ad of the area S_Ac of the reflected light intensity area Ac to the area S_Ad of the distance area Ad is less than a predetermined threshold Thr, similarly to the process of S110. Judgment is made (S210).
  • the object detection unit 320 performs a recognition process when the target object is covered with a translucent container as described below (S212). ). Specifically, in this case, the target object determination unit 210 determines that the target object is covered with a translucent container. Then, the imaging control unit 324 controls the imaging unit 312 to cause the imaging unit 312 to capture a two-dimensional image including the image of the object A. Specifically, the imaging control unit 324 controls the imaging unit 312 to image the object A directed to the three-dimensional camera 310.
  • the imaging control unit 324 acquires the two-dimensional image generated by the imaging unit 312 and outputs it to the target object image extraction unit 326.
  • this two-dimensional image may include an image of a translucent container (when covered by a translucent container) and an image of a background (background image) in addition to the image of the target object.
  • the imaging unit 312 and the distance sensor 110 are arranged close to each other, the two-dimensional image corresponds to the distance image and the reflected light intensity image.
  • the target object recognition processing unit 328 performs target object recognition processing using the target object image extracted by the target object image extraction unit 326. Specifically, the target object recognition processing unit 328 performs pattern matching between the reference data related to the target object stored in the reference data storage unit 330 and the target object image.
  • the reference data storage unit 330 stores reference data and object names in association with each other.
  • the reference data storage unit 330 stores not only the reference data when the target object is not covered with the translucent container, but also the reference data when the target object is covered with the translucent container. .
  • the target object recognition processing unit 328 determines that the target object is covered with the semi-transparent container. Pattern matching with the target object image is performed using the reference data.
  • the object detection unit 320 performs a recognition process when the target object is not covered with the translucent container (S214). Specifically, in this case, the target object determination unit 210 determines that the target object is not covered with the translucent container (that is, the target object is exposed). Then, the imaging control unit 324 and the target object image extraction unit 326 each perform processing similar to the processing in S212, and a target object image is obtained.
  • the target object recognition processing unit 328 performs target object recognition processing using the target object image extracted by the target object image extraction unit 326. Specifically, in S214, the target object determination unit 210 determines that the target object is not covered with the translucent container, so the target object recognition processing unit 328 is stored in the reference data storage unit 330. Pattern matching is performed between the reference data when the target object is not covered with the translucent container (that is, reference data regarding the object itself) and the target object image.
  • the target object image includes an image of the target object that has passed through the translucent container. That is, in the target object image in this case, the color, streaks, or pattern of the translucent container is added so as to overlap the surface of the target object. Therefore, if the recognition process is not performed in consideration of the difference between the target object images due to the target object being covered with the translucent container, the recognition rate may decrease.
  • the target object recognition processing unit 328 covers the target object with the semi-transparent container.
  • the target object is recognized using the reference data.
  • the target object recognition processing unit 328 uses the reference data when the target object is not covered with the semitransparent container.
  • the target object is recognized. That is, the target object recognition processing unit 328 in the present embodiment distinguishes between a first state where the target object is covered with a semi-transparent container and a second state where the target object is not covered with a semi-transparent container. Separately, the target object recognition process is performed. Therefore, the recognition rate of the target object can be improved regardless of whether or not the target object is covered with the translucent container.
  • the reference data is exemplified below.
  • the reference data may be an image serving as a reference for an object (object reference image).
  • the target object recognition processing unit 328 collates the extracted target object image with the object reference image. Then, the target object recognition processing unit 328 associates the target object with the object name corresponding to the object reference image when the similarity between the two satisfies an allowable value.
  • the object reference image includes an image when the object is covered with a translucent container and an image when the object is not covered.
  • the reference data may be data (object feature data) indicating a feature that serves as a reference of the target object.
  • the object feature data includes, for example, information indicating the shape of the object, information indicating the color of the object, information indicating the texture (such as gloss) of the object, and information indicating character information and a pattern attached to the surface of the object. May be included.
  • the target object recognition processing unit 328 extracts the feature of the image from the extracted target object image. Then, the target object recognition processing unit 328 collates the extracted image features with the object feature data. Then, the target object recognition processing unit 328 associates the target object with an object name corresponding to the object feature data when the similarity between the two satisfies an allowable value.
  • the object feature data includes data indicating characteristics when the object is covered with a translucent container and data indicating characteristics when the object is not covered.
  • the target object recognition processing unit 328 may recognize the object name by reading character information attached to the surface of the target object using an OCR (Optical Character Reader). In this case, the target object recognition processing unit 328 may appropriately change the accuracy of the OCR or the like depending on whether or not the target object is covered with a translucent container.
  • OCR Optical Character Reader
  • the reference data storage unit 330 provides not only the reference data when the target object is not covered with the semitransparent container, but also the reference when the target object is covered with the semitransparent container. Although data is also stored, it is not limited to such a configuration.
  • the reference data storage unit 330 may store only the reference data when the target object is not covered with the translucent container.
  • the target object recognition processing unit 328 performs target object recognition processing using the stored reference data. Do.
  • the target object recognition processing unit 328 removes the difference caused by being covered with the semi-transparent container from the target object image. Then, the target object is recognized using the stored reference data.
  • the target object recognition processing unit 328 reduces the RGB (Red-Green-Blue) luminance value of each pixel of the target object image. Then, pattern matching with the stored reference data may be performed.
  • the target object recognition processing unit 328 may perform pattern matching after reducing the importance of the pattern of the object in the stored reference data. Further, for example, the target object recognition processing unit 328 determines that the streak-like image appearing in the target object image is a streak such as a plastic bag, removes the streak-like image, and stores the stored reference. Pattern matching with data may be performed.
  • the target object recognition process is performed using the two-dimensional image of the target object photographed by the imaging unit 312.
  • the target object recognition processing unit 328 may recognize the shape (outer shape) of the target object from the shape of the reflected light intensity region Ac.
  • the target object recognition processing unit 328 may perform target object recognition processing by pattern matching between the outer shape of the target object and the outer shape of the object indicated in the reference data.
  • the unevenness on the surface of the target object may be recognized from the distance value indicated by each pixel of the distance image corresponding to the reflected light intensity region Ac.
  • the target object recognition processing unit 328 may perform target object recognition processing by pattern matching between the surface irregularities of the target object and the surface irregularities of the object indicated in the reference data.
  • the recognition process can be performed using the color information of the target object by using the two-dimensional image, the recognition rate can be further improved.
  • the third embodiment shows an application example of the object detection apparatus 300 according to the second embodiment. Note that components that are substantially the same as those in the first and second embodiments are denoted by the same reference numerals, and description thereof is omitted.
  • FIG. 13 is a diagram illustrating a POS terminal device 400 according to the third embodiment.
  • the POS terminal device 400 according to the third embodiment includes the object detection device 300 (the information processing device 130 and the three-dimensional camera 310) according to the second embodiment.
  • the POS terminal device 400 includes a store clerk display operation unit 402, a customer display unit 404, an information processing device 130, and a three-dimensional camera 310 that is a product reading device.
  • the POS terminal device 400 is placed, for example, on a counter stand (not shown), and the customer faces the left side of FIG. 13 and the store clerk faces the right side of the POS terminal device 400.
  • the store clerk display operation unit 402 is, for example, a touch panel, an LCD (Liquid Crystal Display), or a keyboard.
  • the store clerk display operation unit 402 displays information necessary for the store clerk and receives operations of the store clerk under the control of the information processing apparatus 130.
  • the customer display unit 404 is, for example, a touch panel or an LCD.
  • the customer display unit 404 displays information necessary for the customer under the control of the information processing apparatus 130.
  • the display part 404 for customers may have an input device, and may receive a customer's operation as needed.
  • the 3D camera 310 which is a product reading device is provided on the surface of the store clerk, and the product is directed when the product is imaged (read).
  • the 3D camera 310 reads an image of the product.
  • the POS terminal device 400 performs merchandise recognition processing.
  • the POS terminal device 400 has the same function as the object detection unit 320 according to the second embodiment. That is, in the POS terminal device 400, as in the object detection device 300 according to the second embodiment, a product is covered with a translucent container using the distance image and the reflected light intensity image generated by the three-dimensional camera 310. It is determined whether or not. Then, the POS terminal device 400 performs a product recognition process by distinguishing between a first state in which the product is covered with the translucent container and a second state in which the product is not covered with the translucent container. Therefore, it is possible to improve the recognition rate of the product regardless of whether the product is covered with the translucent container.
  • the imaging control unit 324 causes the imaging unit 312 to capture a two-dimensional image including the image of the object A in the process of S212 or S214.
  • the configuration is limited to such a configuration. Absent. This imaging process may be performed at an arbitrary timing before the process of S210.
  • the POS terminal device according to the third embodiment can be applied to, for example, a self-checkout.
  • the structure concerning this Embodiment was applied to the POS terminal device, it is not restricted to this.
  • the present invention can be applied to a general object recognition device such as an object recognition device used for sorting packages in a warehouse or the like, and a system including the object recognition device. It can also be applied to a robot that can recognize an object.
  • the distance to the object is measured by the TOF method, but the configuration is not limited to this.
  • the distance to the object may be realized by using a unit that measures using the parallax obtained by the two imaging units.
  • both the distance and the reflected light intensity are measured using the distance sensor.
  • the present invention is not limited to such a configuration.
  • the means for measuring the distance may be a device using the above-described parallax, and the means for measuring the reflected light intensity may be separate from the device for measuring the distance.
  • the means for measuring the distance may be a device using the above-described parallax, and the means for measuring the reflected light intensity may be separate from the device for measuring the distance.
  • a distance sensor it is possible to measure both distance and reflected light intensity with a single device, so it is possible to suppress an increase in the number of devices. It is.
  • the distance image generation unit 116 and the reflected light intensity image generation unit 118 are provided in the distance sensor 110, but the configuration is not limited thereto.
  • at least one of the distance image generation unit 116 and the reflected light intensity image generation unit 118 may be realized by the information processing device 130.
  • the distance sensor 110 outputs information indicating the measured distance and the corresponding position (pixel) and information indicating the reflected light intensity and the corresponding position (pixel) to the information processing apparatus 130, and information
  • the processing device 130 may generate at least one of the distance image and the reflected light intensity image using the information.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
  • Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of Optical Distance (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

対象物体が半透明の容器に覆われているか否かに応じて適切な処理を実行させることが可能な物体検出装置、ＰＯＳ端末装置、物体検出方法及びプログラムを提供する。 距離計測部２は、対向する物体の各位置までの距離をそれぞれ計測する。照射部４は、この物体に光を照射する。反射光強度計測部６は、照射部４によって照射された光がこの物体の各位置に反射した反射光の強度をそれぞれ計測する。対象物体判定部８は、距離計測部２によって計測された距離と、反射光強度計測部６によって計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われているか否かを判定する。

Description

物体検出装置、ＰＯＳ端末装置、物体検出方法、プログラム及びプログラム記録媒体
　本発明は、物体検出装置、ＰＯＳ端末装置、物体検出方法、プログラム及びプログラム記録媒体に関し、特に対象物体を判定する物体検出装置、ＰＯＳ端末装置、物体検出方法及びプログラムに関する。
　近年、撮像装置を用いて対象物体を撮像し、その対象物体を認識する技術が開発されている。例えば、スーパーマーケットや量販店等の決済場所（料金支払所：レジ）に設置するＰＯＳ（Point Of Sales）端末装置において、そのＰＯＳ端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。また、ロボット等の技術では、ロボット等が作業対象のワークを認識するためのシステムとして、３次元レーザ計測技術等を利用した物体認識システムが採用されている。
　また、近年、物体までの距離を計測する技術が提案されている。例えば、特許文献１には、一つの撮像装置で距離情報と色情報の導出を実現できて立体カラー撮像画像を得ることができる３次元撮像装置が開示されている。特許文献１にかかる３次元撮像装置は、投射光を被計測物に照射し、該投射光の該被計測物からの反射光を受光してその受光情報に基づいて該被計測物までの距離情報を導出する距離情報導出手段と、該投射光以外の光による該被計測物からの反射光を受光してその受光情報に基づいて該被計測物の色情報を導出する色情報導出手段とを有してカラー３次元画像を得る。
特開２０１１－１２８０２４号公報
　ここで、商品又はワーク等の対象物体が、例えば半透明のビニール袋又は半透明のプラスチック容器等に収容されていることがある。そのような場合に、対象物体が半透明のビニール袋又は半透明のプラスチック容器等に収容されている旨を装置に認識させないと、対象物体を認識する際に認識率の低下を招くおそれがある等、対象物体が半透明の容器に覆われているか否かに応じて適切な処理を行うことができない。一方、特許文献１は、被計測物が半透明の容器に収容されていることについて開示していない。よって、特許文献１に記載の技術では、商品又はワーク等の対象物体が半透明の容器に覆われているか否かを判別することができなかった。
　本発明は、このような課題を解決するためになされたものであり、対象物体が半透明の容器に覆われているか否かに応じて適切な処理を実行させることが可能な物体検出装置、ＰＯＳ端末装置、物体検出方法、プログラム及びプログラム記録媒体を提供することにある。
　本発明にかかる第１の物体検出装置は、対向する物体の各位置までの距離をそれぞれ計測する距離計測手段と、前記物体に光を照射する照射手段と、前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、前記距離計測手段によって計測された距離と、前記反射光強度計測手段によって計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われているか否かを判定する対象物体判定手段とを有する。
　また、本発明にかかる第２の物体検出装置は、対向する物体の各位置までの距離をそれぞれ計測する距離計測手段と、前記物体に光を照射する照射手段と、前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、前記距離計測手段によって計測された距離と、前記反射光強度計測手段によって計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われている第１の状態と、前記対象物体が前記容器に覆われていない第２の状態とを区別して、前記対象物体の認識処理を行う物体認識手段とを有する。
　また、本発明にかかるＰＯＳ端末装置は、対向する物体の各位置までの距離をそれぞれ計測する距離計測手段と、前記物体に光を照射する照射手段と、前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、前記距離計測手段によって計測された距離と、前記反射光強度計測手段によって計測された反射光の強度とに基づいて、商品が半透明の容器に覆われている第１の状態と、前記商品が前記容器に覆われていない第２の状態とを区別して、前記商品の認識処理を行う物体認識手段とを有する。
　また、本発明にかかる第１の物体検出方法は、対向する物体の各位置までの距離をそれぞれ計測し、前記物体に光を照射し、前記照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測し、前記計測された距離と、前記計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われているか否かを判定する。
　また、本発明にかかる第２の物体検出方法は、対向する物体の各位置までの距離をそれぞれ計測し、前記物体に光を照射し、前記照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測し、前記計測された距離と、前記計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われている第１の状態と、前記対象物体が前記容器に覆われていない第２の状態とを区別して、前記対象物体の認識処理を行う。
　また、本発明にかかる第１のプログラムを記録するプログラム記録媒体は、対向する物体の各位置までの距離を取得するステップと、前記物体に照射された光が前記物体の各位置に反射した反射光の強度を取得するステップと、前記取得された距離と、前記取得された反射光の強度とに基づいて、対象物体が半透明の容器に覆われているか否かを判定するステップとをコンピュータに実行させる。
　また、本発明にかかる第２のプログラムを記録するプログラム記録媒体は、対向する物体の各位置までの距離を取得するステップと、前記物体に照射された光が前記物体の各位置に反射した反射光の強度を取得するステップと、前記取得された距離と、前記取得された反射光の強度とに基づいて、対象物体が半透明の容器に覆われている第１の状態と、前記対象物体が前記容器に覆われていない第２の状態とを区別して、前記対象物体の認識処理を行うステップとをコンピュータに実行させる。
　本発明によれば、対象物体が半透明の容器に覆われているか否かに応じて適切な処理を実行させることが可能な物体検出装置、ＰＯＳ端末装置、物体検出方法及びプログラムを提供できる。
本発明の実施の形態にかかる物体検出装置の概要を示す図である。 実施の形態１にかかる物体検出装置の外観を示す図である。 実施の形態１にかかる物体検出装置のハードウェア構成を示す図である。 実施の形態１にかかる物体検出装置の機能ブロック図である。 実施の形態１にかかる物体検出装置の処理を示すフローチャートである。 実施の形態１にかかる物体検出部の処理を説明するための図である。 実施の形態１にかかる物体検出部の処理を説明するための図である。 実施の形態１にかかる物体検出部の処理を説明するための図である。 実施の形態２にかかる物体検出装置の外観を示す図である。 実施の形態２にかかる物体検出装置のハードウェア構成を示す図である。 実施の形態２にかかる物体検出装置の機能ブロック図である。 実施の形態２にかかる物体検出装置の処理を示すフローチャートである。 実施の形態３にかかるＰＯＳ端末装置を示す図である。
（本発明にかかる実施の形態の概要）
　実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかる物体検出装置１の概要を示す図である。物体検出装置１は、距離計測部２（距離計測手段）と、照射部４（照射手段）と、反射光強度計測部６（反射光強度計測手段）と、対象物体判定部８（対象物体判定手段）とを有する。
　距離計測部２は、対向する物体の各位置までの距離をそれぞれ計測する。照射部４は、この物体に光を照射する。反射光強度計測部６は、照射部４によって照射された光がこの物体の各位置に反射した反射光の強度をそれぞれ計測する。対象物体判定部８は、距離計測部２によって計測された距離と、反射光強度計測部６によって計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われているか否かを判定する。本発明の実施の形態にかかる物体検出装置１は、対象物体が半透明の容器に覆われているか否かに応じて適切な処理を実行させることが可能となる。
（実施の形態１）
　以下、図面を参照して本発明の実施の形態について説明する。
　図２は、実施の形態１にかかる物体検出装置１００の外観を示す図であり、（Ａ）は正面図を示し、（Ｂ）は側面図を示す。また、図３は、実施の形態１にかかる物体検出装置１００のハードウェア構成を示す図である。
　物体検出装置１００は、距離センサ１１０と、情報処理装置１３０とを有する。距離センサ１１０は、例えばＴＯＦ（Time Of Flight）方式で、距離センサ１１０から当該距離センサ１１０に向けられた物体Ａ（図２（Ｂ）に示す）の各位置までの距離を計測する。
つまり、距離センサ１１０は、赤外線等の光線を照射し、照射された光線が物体Ａの各位置まで往復するのにかかる時間から、距離を計測する。なお、本実施の形態では、赤外線が照射されるとしたが、これに限定されない。例えば、距離センサ１１０は、赤外線以外の波長域の光を利用してもよい。また、距離センサ１１０は、レーザで赤外線を発振してもよい。
　距離センサ１１０は、赤外線照射部１１２と、赤外線受光部１１４と、距離画像生成部１１６と、反射光強度画像生成部１１８とを有する。赤外線照射部１１２は、対向する物体Ａに向けて、赤外線（例えばＮＩＲ（Near Infrared）：近赤外線）をパルス状に照射する。距離センサ１１０の近傍に物体が存在するときは、赤外線照射部１１２によって照射された赤外線は、その物体Ａで反射される。赤外線受光部１１４は、例えばイメージセンサ（例えばＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等）であって、物体Ａで反射された赤外線を受光する。赤外線受光部１１４の各画素は、物体Ａの各位置からの反射光をそれぞれ受光する。
　距離画像生成部１１６は、赤外線照射部１１２が赤外線を照射した時間と、赤外線受光部１１４が反射光を受光した時間との時間差から、物体までの距離（奥行き）を算出する。具体的には、赤外線照射部１１２と赤外線受光部１１４とは同期するようになっており、距離画像生成部１１６は、赤外線照射部１１２が照射する赤外線の位相と、赤外線受光部１１４が受光する反射光の位相との位相差を計測することにより、上記時間差を計測する。
　さらに具体的には、距離画像生成部１１６は、赤外線受光部１１４が受光した物体Ａの各位置からの反射光それぞれについて、時間差を計測し、各位置それぞれについて、距離を計測する。つまり、赤外線受光部１１４の各画素によって受光された反射光それぞれについて、距離を計測する。これによって、距離画像生成部１１６は、物体Ａの各位置の距離を示す画素の集合である距離画像（３次元画像）を生成する。なお、以下、用語「距離画像」は、情報処理における処理対象としての、「距離画像を示す画像データ」も意味する。
　例えば、距離センサ１１０から１５ｃｍの位置については、距離画像の中の当該位置に対応する画素は、「距離１５ｃｍ」を示す距離情報を含む。また、距離センサ１１０から３０ｃｍの位置については、距離画像の中の当該位置に対応する画素は、「距離３０ｃｍ」を示す距離情報を含む。
　なお、距離センサ１１０と物体Ａとの距離が近すぎると、照射光と反射光との位相差を検出できず、時間差を計測できない。したがって、物体Ａまでの距離を計測することができなくなる。したがって、距離センサ１１０が計測できる最小の時間差（位相差）に合わせて、距離センサ１１０と物体Ａとの距離が保たれるようにしてもよい。つまり、距離センサ１１０は、計測可能な最小の距離を保つように、物体Ａから離れて設置されるようにしてもよい。赤外線の速度（光速）は３０万ｋｍ毎秒であり、したがって、赤外線は、１ナノ秒で３０ｃｍ進む。つまり、距離センサ１１０と物体の間の距離が１５ｃｍ（往復３０ｃｍ）変化したときに、光を照射してから反射光を受光するまでの時間が、1ナノ秒変化する。したがって、例えば、計測できる最小の時間差が１ナノ秒である場合、計測可能な最小の距離は１５ｃｍとなる。
　反射光強度画像生成部１１８は、赤外線受光部１１４によって受光された反射光の強度（反射光強度）を計測する。さらに具体的には、反射光強度画像生成部１１８は、赤外線受光部１１４が受光した物体Ａの各位置からの反射光それぞれについて、光強度を計測する。つまり、反射光強度画像生成部１１８は、赤外線受光部１１４の各画素によって受光された反射光それぞれについて、光強度を計測する。これによって、反射光強度画像生成部１１８は、物体Ａの各位置の反射光強度を示す画素の集合である反射光強度画像を生成する。なお、以下、用語「反射光強度画像」は、情報処理における処理対象としての、「反射光強度画像を示す画像データ」も意味する。また、反射光強度は、例えば、輝度、明度、照度等であってもよい。また、反射光強度は、赤外線受光部１１４においてこれらの光の強度（明暗）を光電変換した電気信号の値を示してもよい。
　例えば、物体Ａの位置ａ１からの反射光強度がＣ１の場合、反射光強度画像の中の位置ａ１に対応する画素は、反射光強度Ｃ１を示す反射光強度情報を含む。また、物体Ａの位置ａ２からの反射光強度がＣ２の場合、反射光強度画像の中の位置ａ２に対応する画素は、反射光強度Ｃ２を示す反射光強度情報を含む。
　また、上述したように、赤外線受光部１１４の各画素が、物体Ａの各位置からの反射光をそれぞれ受光するようになっている。したがって、反射光強度画像の各画素に対応する位置は、距離画像の各画素に対応する位置と、それぞれ対応するように構成されている。
つまり、物体Ａの位置ａ１が距離画像の画素位置（Ｘ１，Ｙ１）に対応する場合、位置ａ１は、反射光強度画像においても画素位置（Ｘ１，Ｙ１）にほぼ対応する。言い換えると、距離センサ１１０によって得られた反射光強度画像の各画素位置は、距離画像の各画素位置と、互いに対応するように構成されている。
　ここで、物体Ａの位置ａ１が光を透過しない非透明な材質である場合と、位置ａ２が光の一部を透過する半透明な材質である場合とで比較する。この場合、位置ａ１においては、赤外線照射部１１２から照射された赤外線は、その略全部が反射される。一方、反射位置ａ２においては、赤外線照射部１１２から照射された赤外線は、その一部のみが反射される。したがって、位置ａ１における反射光の反射光強度Ｃ１は、位置ａ２における反射光の反射光強度Ｃ２よりも大きくなる。例えば、物体Ａが、半透明の容器（半透明容器）に対象物体が覆われている状態のものである場合において、位置ａ１は、対象物体に対応する位置であり、位置ａ２は、半透明容器に対応する位置である。このとき、半透明容器における反射光の反射光強度（Ｃ２）は、対象物体における反射光の反射光強度（Ｃ１）よりも著しく小さくなりうる。ここで、半透明容器の具体例としては、スーパーマーケット等で青果物等を包装するビニール袋、又は、中身を視認可能なプラスチック等の容器がある。
　なお、「半透明容器」とは、例えばビニール等の材質で形成された形状が一定でない袋等であってもよいし、例えばプラスチック等の材質で形成された固形容器であってもよい。また、「半透明容器に対象物体が覆われている」とは、対象物体が半透明容器に完全に覆われた状態のみではなく、対象物体の少なくとも距離センサ１１０に対向した部分のみが半透明容器に覆われた状態をも含む。つまり、「対象物体が半透明容器に覆われている」という概念は、対象物体が半透明容器に密閉されている状態だけでなく、それ以外の状態をも包含する。この概念は、少なくとも、対象物体の距離センサに対向する面が、半透明容器に覆われていることを意味し、対象物体のその他の面（例えば距離センサとは反対側の面）については、半透明容器に覆われていなくてもよい。
　また、半透明容器に対象物体が覆われている場合、赤外線受光部１１４は、半透明容器で反射した反射光と、半透明容器を透過して対象物体で反射した反射光とを受光する。この場合、赤外線受光部１１４は、これらの反射光のうち、光強度の強い方、つまり半透明容器を透過して対象物体で反射した反射光について処理を行ってもよい。つまり、距離画像生成部１１６及び反射光強度画像生成部１１８は、これらの反射光のうち、半透明容器を透過して対象物体で反射した反射光を用いて、それぞれ、距離画像及び反射光強度画像を生成してもよい。
　情報処理装置１３０は、例えばコンピュータである。情報処理装置１３０は、例えばＣＰＵ（Central Processing Unit）等の制御部１３２と、例えばメモリ又はハードディスク等の記憶部１３４とを有する。情報処理装置１３０は、距離センサ１１０によって得られた情報に応じて、物体検出等の必要な処理を行う。
　図４は、実施の形態１にかかる物体検出装置１００の機能ブロック図である。また、図５は、実施の形態１にかかる物体検出装置１００の処理を示すフローチャートである。物体検出装置１００は、物体検出部２００を有する。物体検出部２００は、距離画像取得部２０２と、反射光強度画像取得部２０４と、距離領域取得部２０６と、反射光強度領域取得部２０８と、対象物体判定部２１０と、処理実行制御部２１２とを有する。
　なお、物体検出部２００は、例えば、制御部１３２の制御によって、プログラムを実行させることによって実現できる。より具体的には、物体検出部２００は、記憶部１３４に格納されたプログラムを、制御部１３２の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、物体検出部２００の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。
この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態においても同様である。
　物体検出部２００は、後述するように、物体Ａが距離センサ１１０に対向した場合に、物体Ａが、半透明容器に対象物体が覆われた状態のものであるか否かを判定する。ここで、「物体Ａが半透明容器に対象物体が覆われた状態（第１の状態）のものである」とは、例えば対象物体が半透明容器に収容されている状態を示す。つまり、このとき、物体Ａは、半透明容器と対象物体とからなる。一方、「物体Ａが半透明容器に対象物体が覆われていない状態（第２の状態）のものである」とは、例えば対象物体が半透明容器に収容されていない状態を示す。つまり、このとき、物体Ａは、対象物体のみからなる。
　以下、物体検出部２００の処理について、具体的に説明する。
　距離画像取得部２０２は、距離センサ１１０を制御して、距離画像を取得する（Ｓ１０２）。具体的には、距離画像取得部２０２は、対向する物体Ａの距離画像を撮影するように、距離センサ１１０を制御する。距離センサ１１０は、距離画像取得部２０２の制御に応じて、距離センサ１１０に対向する物体Ａの距離画像を撮影し、距離画像（距離画像を示す画像データ）を生成する。距離画像取得部２０２は、生成された距離画像を取得し、距離領域取得部２０６に出力する。
　反射光強度画像取得部２０４は、距離センサ１１０を制御して、反射光強度画像を取得する（Ｓ１０４）。具体的には、反射光強度画像取得部２０４は、対向する物体Ａの反射光強度画像を撮影するように、距離センサ１１０を制御する。距離センサ１１０は、反射光強度画像取得部２０４の制御に応じて、距離センサ１１０に対向する物体Ａの反射光強度画像を撮影し、反射光強度画像（反射光強度画像を示す画像データ）を生成する。反射光強度画像取得部２０４は、生成された反射光強度画像を取得し、反射光強度領域取得部２０８に出力する。
　距離領域取得部２０６は、距離画像において距離センサ１１０からの距離が予め定められた範囲Ｓ１（第１の範囲）内である距離領域Ａｄ（第１の領域）を取得する（Ｓ１０６）。具体的には、距離領域取得部２０６は、距離画像から、範囲Ｓ１内の距離を示す画素を抽出する。さらに、距離領域取得部２０６は、抽出された画素から構成される領域を、距離領域Ａｄとして取得する。
　なお、範囲Ｓ１の下限は、例えば、上述した距離センサ１１０の計測可能な最小の距離であってもよい。また、範囲Ｓ１の上限は、ユーザが物体Ａを検出させるために当該物体Ａを距離センサ１１０に対向させる際に、物体Ａを距離センサ１１０にどれだけ接近させるかを考慮して設定される。例えば、距離センサ１１０の計測可能な最小の距離が１５ｃｍの場合、範囲Ｓ１は、１５ｃｍ＜Ｓ１＜３０ｃｍであってもよい。なお、範囲Ｓ１の下限は設定されなくてもよく、その場合、下限値は０ｃｍとなる。
　反射光強度領域取得部２０８は、距離領域Ａｄ内で、反射光強度画像において反射光強度が予め定められた強度閾値Ｔｈｃ以上である反射光強度領域Ａｃ（第２の領域）を取得する（Ｓ１０８）。具体的には、反射光強度領域取得部２０８は、まず、反射光強度画像における距離領域Ａｄ内の画素（距離画像における画素）に対応する画素（反射光強度画像における画素）を抽出する。また、反射光強度領域取得部２０８は、その距離領域Ａｄに対応する各画素において、強度閾値Ｔｈｃ以上の反射光強度を示す画素を抽出する。さらに、反射光強度領域取得部２０８は、抽出された画素から構成される領域を、反射光強度領域Ａｃとして取得する。
　なお、強度閾値Ｔｈｃは、半透明容器に反射した反射光の強度のとり得る最大値としてもよい。つまり、ある画素における反射光強度が強度閾値Ｔｈｃ以上である場合、その画素に対応する反射光は、非透明である対象物体で反射した光であり得る。言い換えると、ある画素における反射光強度が強度閾値Ｔｈｃよりも小さい場合、その画素に対応する反射光は、半透明容器で反射した光であり得る。
　対象物体判定部２１０は、距離領域Ａｄの面積Ｓ＿Ａｄに対する反射光強度領域Ａｃの面積Ｓ＿Ａｃの面積比Ｓ＿Ａｃ／Ｓ＿Ａｄが、予め定められた閾値Ｔｈｒ未満であるか否かを判断する（Ｓ１１０）。具体的には、対象物体判定部２１０は、距離領域Ａｄの面積Ｓ＿Ａｄを算出する。この面積Ｓ＿Ａｄは、距離領域Ａｄに含まれる画素の数に対応してもよい。同様に、対象物体判定部２１０は、反射光強度領域Ａｃの面積Ｓ＿Ａｃを算出する。この面積Ｓ＿Ａｃは、反射光強度領域Ａｃに含まれる画素の数に対応してもよい。また、対象物体判定部２１０は、面積Ｓ＿Ａｃを面積Ｓ＿Ａｄで除算して面積比Ｓ＿Ａｃ／Ｓ＿Ａｄを算出する。そして、対象物体判定部２１０は、面積比Ｓ＿Ａｃ／Ｓ＿Ａｄと閾値Ｔｈｒとを比較する。
　面積比Ｓ＿Ａｃ／Ｓ＿Ａｄが閾値Ｔｈｒ未満である場合（Ｓ１１０のＹＥＳ）、対象物体判定部２１０は、対象物体が半透明容器に覆われていると判定する（Ｓ１１２）。そして、処理実行制御部２１２は、対象物体が半透明容器に覆われている場合に実行されるべき処理を実行してもよい。一方、面積比Ｓ＿Ａｃ／Ｓ＿Ａｄが閾値Ｔｈｒ以上である場合（Ｓ１１０のＮＯ）、対象物体判定部２１０は、対象物体が半透明容器に覆われていないと判定する（Ｓ１１４）。そして、処理実行制御部２１２は、対象物体が半透明容器に覆われていない場合（つまり対象物体がむき出しの場合）に実行されるべき処理を実行してもよい。また、処理実行制御部２１２の処理は、本実施の形態にかかる物体検出装置１００が適用される装置に応じて、適宜、定められうる。なお、処理実行制御部２１２は、必須の構成要素ではなく、物体検出装置１００に接続された任意の装置に組み込まれてもよい。
　ここで、閾値Ｔｈｒは、対象物体が半透明容器に覆われている場合に、距離センサ１１０に対向した面で、通常、対象物体が半透明容器において占める割合を考慮して定められ得る。例えば、閾値Ｔｈｒは、１／２と定められてもよい。なお、対象物体のごく近傍における位置に対応する画素については、回折等によって、実際には対象物体がないのに反射光強度が高くなることがある。したがって、閾値Ｔｈｒは、１より小さい値であることが好ましい。
　図６～図８は、実施の形態１にかかる物体検出部２００の処理を説明するための図である。
　図６（Ａ）は、物体Ａが対象物体Ｂと半透明容器Ｃとからなり、対象物体Ｂが半透明容器Ｃに覆われている場合に、物体Ａが物体検出装置１００の距離センサ１１０に対向した状態（第１の状態）を示す。一方、図６（Ｂ）は、物体Ａが対象物体Ｂからなり、対象物体Ｂが半透明容器に覆われていない場合に、物体Ａ（対象物体Ｂ）が物体検出装置１００の距離センサ１１０に対向した状態（第２の状態）を示す。
　まず、図６（Ａ）の状態における物体検出部２００の処理を説明する。このとき、距離画像取得部２０２は、Ｓ１０２の処理において、距離センサ１１０によって生成された、物体Ａに関する距離画像を取得する。同様に、反射光強度画像取得部２０４は、Ｓ１０４の処理において、距離センサ１１０によって生成された、物体Ａに関する反射光強度画像を取得する。距離領域取得部２０６は、Ｓ１０６の処理において、距離画像取得部２０２によって取得された距離画像を用いて、物体Ａに関する距離領域Ａｄを取得する。同様に、反射光強度領域取得部２０８は、Ｓ１０８の処理において、反射光強度画像取得部２０４によって取得された反射光強度画像を用いて、物体Ａに関する反射光強度領域Ａｃを取得する。
　図７は、図６（Ａ）の状態において取得される距離領域Ａｄ及び反射光強度領域Ａｃを例示する図であり、（Ａ）は距離領域Ａｄを例示し、（Ｂ）は反射光強度領域Ａｃを例示する。物体Ａの対象物体Ｂ及び半透明容器Ｃは、距離センサ１１０からの距離が範囲Ｓ１内に位置している。したがって、距離領域取得部２０６は、図７（Ａ）に例示するような、距離領域Ａｄを取得する。ここで、対象物体Ｂは半透明容器Ｃに覆われているので、距離領域Ａｄは、半透明容器Ｃに略対応する位置を示すように生成される。なお、Ｄで示す斜線で示された領域は、距離センサ１１０からの距離が範囲Ｓ１を逸脱した位置（背景等）を示す。つまり、半透明容器Ｃの周りには、距離センサ１１０からの距離が範囲Ｓ１内にある物体はない。
　また、半透明容器Ｃで反射された反射光の強度は、強度閾値Ｔｈｃよりも小さい。一方、半透明容器Ｃを透過して対象物体Ｂで反射された反射光の強度は、強度閾値Ｔｈｃ以上である。さらに、対象物体Ｂは、半透明容器Ｃに覆われている。したがって、反射光強度領域取得部２０８は、図７（Ｂ）に例示するような、反射光強度領域Ａｃを取得する。この反射光強度領域Ａｃは、半透明容器Ｃの中にある対象物体Ｂに略対応する位置を示すように生成される。なお、Ｅで示す斜線で示された領域は、距離領域Ａｄの外にある位置と、距離領域Ａｄの中にあるが反射光強度が強度閾値Ｔｈｃ未満である位置とを示す。
　このとき、対象物体判定部２１０は、Ｓ１１０の処理において、図７（Ａ）に例示する距離領域Ａｄの面積Ｓ＿Ａｄと、図７（Ｂ）に例示する反射光強度領域Ａｃの面積Ｓ＿Ａｃとの面積比Ｓ＿Ａｃ／Ｓ＿Ａｄを算出する。このケースでは、面積比Ｓ＿Ａｃ／Ｓ＿Ａｄは、閾値Ｔｈｒ（例えば１／２）よりも小さい。したがって、対象物体判定部２１０は、対象物体Ｂが半透明容器Ｃに覆われていると判定する。
　次に、図６（Ｂ）の状態における物体検出部２００の処理を説明する。このとき、図６（Ａ）の状態と同様に、距離領域取得部２０６は、Ｓ１０６の処理において、距離画像取得部２０２によって取得された距離画像を用いて、物体Ａに関する距離領域Ａｄを取得する。同様に、反射光強度領域取得部２０８は、Ｓ１０８の処理において、反射光強度画像取得部２０４によって取得された反射光強度画像を用いて、物体Ａに関する反射光強度領域Ａｃを取得する。
　図８は、図６（Ｂ）の状態において取得される距離領域Ａｄ及び反射光強度領域Ａｃを例示する図であり、（Ａ）は距離領域Ａｄを例示し、（Ｂ）は反射光強度領域Ａｃを例示する。物体Ａ（対象物体Ｂ）は、距離センサ１１０からの距離が範囲Ｓ１内に位置している。したがって、距離領域取得部２０６は、図７（Ａ）に例示するような、距離領域Ａｄを取得する。ここで、物体Ａは対象物体Ｂのみからなっているので（つまり対象物体Ｂは半透明容器Ｃに覆われていないので）、距離領域Ａｄは、対象物体Ｂに略対応する位置を示すように生成される。なお、Ｄで示す斜線で示された領域は、距離センサ１１０からの距離が範囲Ｓ１を逸脱した位置（背景等）を示す。つまり、対象物体Ｂの周りには、距離センサ１１０からの距離が範囲Ｓ１内にある物体はない。
　また、対象物体Ｂで反射された反射光の強度は、強度閾値Ｔｈｃ以上である。さらに、対象物体Ｂは、半透明容器Ｃに覆われていない。したがって、反射光強度領域取得部２０８は、図８（Ｂ）に例示するような、反射光強度領域Ａｃを取得する。この反射光強度領域Ａｃは、対象物体Ｂに略対応する位置を示すように生成される。なお、Ｅで示す斜線で示された領域は、距離領域Ａｄの外にある位置と、距離領域Ａｄの中にあるが反射光強度が強度閾値Ｔｈｃ未満である位置とを示す。つまり、このケースでは、距離領域Ａｄと、反射光強度領域Ａｃとは、おおむね一致する。
　このとき、対象物体判定部２１０は、Ｓ１１０の処理において、図８（Ａ）に例示する距離領域Ａｄの面積Ｓ＿Ａｄと、図８（Ｂ）に例示する反射光強度領域Ａｃの面積Ｓ＿Ａｃとの面積比Ｓ＿Ａｃ／Ｓ＿Ａｄを算出する。このケースでは、面積比Ｓ＿Ａｃ／Ｓ＿Ａｄは、閾値Ｔｈｒ（例えば１／２）以上である。したがって、対象物体判定部２１０は、対象物体Ｂが半透明容器に覆われていないと判定する。
　このように、本実施の形態においては、対象物体が半透明容器に覆われているか否かを判定することが可能となる。物体を撮像してその物体について認識処理するのみでは、その物体が、半透明容器に覆われているか否かを判定することは困難である。一方、本実施の形態においては、上述したように、距離センサ１１０を用いて測定された物体までの距離と、物体で反射された反射光の強度とを用いて対象物体が半透明容器に覆われているか否かを判定する。したがって、対象物体が半透明容器に覆われている場合には、対象物体が半透明容器に覆われている場合に適した処理を行うことができ、対象物体が半透明容器に覆われていない場合には、対象物体が半透明容器に覆われていない場合に適した処理を行うことができる。
（実施の形態２）
　次に、実施の形態２について説明する。実施の形態２においては、対象物体について認識処理を行う点で、実施の形態１と異なる。なお、実施の形態１と実質的に同様の構成部分については同じ符号を付し、説明を省略する。
　図９は、実施の形態２にかかる物体検出装置３００の外観を示す側面図であり、（Ａ）は正面図を示し、（Ｂ）は側面図を示す。また、図１０は、実施の形態２にかかる物体検出装置３００のハードウェア構成を示す図である。
　物体検出装置３００は、３次元カメラ３１０と、情報処理装置１３０とを有する。３次元カメラ３１０は、撮像部３１２と、実施の形態１と同様の距離センサ１１０とを有する。撮像部３１２は、例えばＣＣＤ等の撮像素子（カメラ）であって、物体の画像を読み取る処理を行う。具体的には、撮像部３１２は、３次元カメラ３１０に向けられた物体を撮像して、その物体の画像を含む２次元のカラー画像又はモノクロ画像（２次元画像）を生成する。なお、以下、用語「２次元画像」は、情報処理における処理対象としての、「２次元画像を示す画像データ」も意味する。
　また、撮像部３１２及び距離センサ１１０は、互いに近接して（つまり略同じ位置に）配置される。そのため、撮像部３１２によって得られた２次元画像と、距離センサ１１０によって得られた距離画像及び反射光強度画像とが、互いに対応するように構成されている。つまり、物体Ａの位置ａ１が２次元画像の画素位置（Ｘ１，Ｙ１）に対応する場合、位置ａ１は、距離画像及び反射光強度画像においても画素位置（Ｘ１，Ｙ１）にほぼ対応する。言い換えると、距離センサ１１０によって得られた距離画像及び反射光強度画像の各画素位置は、２次元画像の各画素位置と、互いに対応するように構成されている。なお、撮像部３１２の位置と距離センサ１１０の位置とが多少ずれているような場合などにおいては、撮像部３１２と距離センサ１１０との間の距離と、撮像部３１２及び距離センサ１１０それぞれの視野角とから、距離画像（及び反射光強度画像）の各画素位置と２次元画像の各画素位置との位置合わせを行うような処理を行ってもよい。
　図１１は、実施の形態２にかかる物体検出装置３００の機能ブロック図である。また、図１２は、実施の形態２にかかる物体検出装置３００の処理を示すフローチャートである。物体検出装置３００は、物体検出部３２０を有する。物体検出部３２０は、距離画像取得部２０２と、反射光強度画像取得部２０４と、距離領域取得部２０６と、反射光強度領域取得部２０８と、対象物体判定部２１０と、撮像制御部３２４と、対象物体画像抽出部３２６と、対象物体認識処理部３２８と、基準データ格納部３３０とを有する。
　以下、物体検出部３２０の処理について、具体的に説明する。
　距離画像取得部２０２は、Ｓ１０２の処理と同様に、距離センサ１１０を制御して、距離画像を取得する（Ｓ２０２）。反射光強度画像取得部２０４は、Ｓ１０４の処理と同様に、距離センサ１１０を制御して、反射光強度画像を取得する（Ｓ２０４）。距離領域取得部２０６は、Ｓ１０６の処理と同様に、距離画像において距離センサ１１０からの距離が範囲Ｓ１（第１の範囲）内である距離領域Ａｄを取得する（Ｓ２０６）。反射光強度領域取得部２０８は、Ｓ１０８の処理と同様に、距離領域Ａｄ内で、反射光強度画像において反射光強度が強度閾値Ｔｈｃ以上である反射光強度領域Ａｃを取得する（Ｓ２０８）。
対象物体判定部２１０は、Ｓ１１０の処理と同様に、距離領域Ａｄの面積Ｓ＿Ａｄに対する反射光強度領域Ａｃの面積Ｓ＿Ａｃの面積比Ｓ＿Ａｃ／Ｓ＿Ａｄが、予め定められた閾値Ｔｈｒ未満であるか否かを判断する（Ｓ２１０）。
　面積比Ｓ＿Ａｃ／Ｓ＿Ａｄが閾値Ｔｈｒ未満である場合（Ｓ２１０のＹＥＳ）、物体検出部３２０は、以下に説明するように、対象物体が半透明容器に覆われている場合の認識処理を行う（Ｓ２１２）。具体的には、この場合、対象物体判定部２１０は、対象物体が半透明容器に覆われていると判定する。そして、撮像制御部３２４は、撮像部３１２を制御して、物体Ａの画像を含む２次元画像を、撮像部３１２に撮影させる。具体的には、撮像制御部３２４は、撮像部３１２を制御して、３次元カメラ３１０に向けられた物体Ａを撮像させる。そして、撮像制御部３２４は、撮像部３１２によって生成された２次元画像を取得し、対象物体画像抽出部３２６に対して出力する。なお、この２次元画像には、対象物体の画像の他に、（半透明容器に覆われている場合は）半透明容器の画像、及び背景の画像（背景画像）も含まれうる。なお、上述したように、撮像部３１２及び距離センサ１１０は、互いに近接して配置されているので、２次元画像は、距離画像及び反射光強度画像に対応する。
　対象物体画像抽出部３２６は、２次元画像から、対象物体の画像（対象物体画像）を抽出する。具体的には、対象物体画像抽出部３２６は、２次元画像から、反射光強度領域Ａｃに対応する画像領域を、対象物体画像として抽出する。さらに具体的には、対象物体画像抽出部３２６は、２次元画像と反射光強度領域Ａｃとを重ね合わせる。また、対象物体画像抽出部３２６は、反射光強度領域Ａｃの各画素が、２次元画像においてどの画素に対応するかを判別する。さらに、対象物体画像抽出部３２６は、その対応する画素の集合を、対象物体に対応する画像領域であると判断する。そして、対象物体画像抽出部３２６は、その画像領域を対象物体画像として抽出し、対象物体認識処理部３２８に対して出力する。
　対象物体認識処理部３２８は、対象物体画像抽出部３２６によって抽出された対象物体画像を用いて、対象物体の認識処理を行う。具体的には、対象物体認識処理部３２８は、基準データ格納部３３０に格納された、対象物体に関する基準データと、対象物体画像とのパターンマッチングを行う。基準データ格納部３３０は、基準データと、物体名とを対応付けて格納している。
　ここで、基準データ格納部３３０は、対象物体が半透明容器に覆われていない場合の基準データだけでなく、対象物体が半透明容器に覆われている場合の基準データをも格納している。Ｓ２１２の処理では、対象物体判定部２１０によって、対象物体が半透明容器に覆われていると判定されたので、対象物体認識処理部３２８は、対象物体が半透明容器に覆われている場合の基準データを用いて、対象物体画像とのパターンマッチングを行う。
　一方、面積比Ｓ＿Ａｃ／Ｓ＿Ａｄが閾値Ｔｈｒ以上である場合（Ｓ２１０のＮＯ）、物体検出部３２０は、対象物体が半透明容器に覆われていない場合の認識処理を行う（Ｓ２１４）。具体的には、この場合、対象物体判定部２１０は、対象物体が半透明容器に覆われていない（つまり、対象物体がむき出しである）と判定する。そして、撮像制御部３２４及び対象物体画像抽出部３２６は、それぞれ、Ｓ２１２の処理と同様の処理を行い、対象物体画像が得られる。
　対象物体認識処理部３２８は、対象物体画像抽出部３２６によって抽出された対象物体画像を用いて、対象物体の認識処理を行う。具体的には、Ｓ２１４では、対象物体判定部２１０によって、対象物体が半透明容器に覆われていないと判定されたので、対象物体認識処理部３２８は、基準データ格納部３３０に格納された、対象物体が半透明容器に覆われていない場合の基準データ（つまり物体そのものに関する基準データ）と、対象物体画像とのパターンマッチングを行う。
　対象物体が半透明容器に覆われている場合、対象物体画像には、半透明容器を透過した対象物体の画像が含まれる。つまり、この場合の対象物体画像においては、半透明容器の色、スジ又は模様等が、対象物体の表面に重なるように追加されている。したがって、この対象物体が半透明容器に覆われることによる対象物体画像の差分を考慮して認識処理を行わないと、認識率が低下するおそれがある。
　一方、本実施の形態においては、対象物体判定部２１０によって対象物体が半透明容器に覆われていると判定された場合、対象物体認識処理部３２８は、対象物体が半透明容器に覆われている場合の基準データを用いて、対象物体の認識処理を行う。また、対象物体判定部２１０によって対象物体が半透明容器に覆われていないと判定された場合、対象物体認識処理部３２８は、対象物体が半透明容器に覆われていない場合の基準データを用いて、対象物体の認識処理を行う。つまり、本実施の形態における対象物体認識処理部３２８は、対象物体が半透明容器に覆われている第１の状態と、対象物体が半透明容器に覆われていない第２の状態とを区別して、対象物体の認識処理を行う。したがって、対象物体が半透明容器に覆われているか否かに関わらず、対象物体の認識率を向上させることが可能となる。
　ここで、基準データについて、以下に例示する。例えば、基準データは、物体の基準となる画像（物体基準画像）であってもよい。その場合、対象物体認識処理部３２８は、抽出された対象物体画像と物体基準画像とを照合する。そして、対象物体認識処理部３２８は、両者の類似度が許容値を満たす場合に、その対象物体を、その物体基準画像に対応する物体名と対応付ける。また、この場合、物体基準画像は、その物体が半透明容器に覆われている場合の画像と、覆われていない場合の画像とを含む。
　また、例えば、基準データは、対象物体の基準となる特徴を示すデータ（物体特徴データ）であってもよい。物体特徴データは、例えば、物体の形状を示す情報と、物体の色を示す情報と、物体の質感（つや等）を示す情報と、物体の表面に付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。この場合、対象物体認識処理部３２８は、抽出された対象物体画像から、その画像の特徴を抽出する。そして、対象物体認識処理部３２８は、抽出された画像の特徴と、物体特徴データとを照合する。そして、対象物体認識処理部３２８は、両者の類似度が許容値を満たす場合に、その対象物体を、その物体特徴データに対応する物体名と対応付ける。また、この場合、物体特徴データは、その物体が半透明容器に覆われている場合の特徴を示すデータと、覆われていない場合の特徴を示すデータとを含む。
　また、対象物体認識処理部３２８は、対象物体の表面に付された文字情報をＯＣＲ（Optical Character Reader）によって読み取ることによって、物体名を認識してもよい。この場合、対象物体認識処理部３２８は、対象物体が半透明容器に覆われているか否かに応じて、ＯＣＲの精度等を適宜変更するようにしてもよい。
　なお、上述した実施の形態においては、基準データ格納部３３０は、対象物体が半透明容器に覆われていない場合の基準データだけでなく、対象物体が半透明容器に覆われている場合の基準データをも格納しているとしたが、このような構成に限られない。基準データ格納部３３０は、対象物体が半透明容器に覆われていない場合の基準データのみを格納していてもよい。
　この場合、対象物体判定部２１０によって対象物体が半透明容器に覆われていないと判定されたときは、対象物体認識処理部３２８は、その格納された基準データを用いて対象物体の認識処理を行う。一方、対象物体判定部２１０によって対象物体が半透明容器に覆われていると判定されたときは、対象物体認識処理部３２８は、対象物体画像から、半透明容器に覆われることによる差分を除去した上で、その格納された基準データを用いて対象物体の認識処理を行う。このような構成とすることによって、対象物体が半透明容器に覆われている場合の基準データを格納する必要がなくなるので、資源の節約を図りつつ、認識率を向上させることが可能となる。
　例えば、対象物体が半透明容器に覆われると、対象物体画像の色が白っぽくなる傾向にある。したがって、対象物体が半透明容器に覆われていると判定されたとき、対象物体認識処理部３２８は、対象物体画像の各画素のＲＧＢ（Red-Green-Blue）それぞれの輝度値を下げた上で、格納された基準データとのパターンマッチングを行ってもよい。また、例えば、半透明容器が例えばビニール袋等である場合、袋のスジによって対象物体の表面の模様が対象物体画像に現れにくくなる。したがって、対象物体認識処理部３２８は、格納された基準データにおいて、物体の模様の重要度を下げた上でパターンマッチングを行ってもよい。また、例えば、対象物体認識処理部３２８は、対象物体画像に現れたスジ状の画像をビニール袋等のスジであると判断して、そのスジ状の画像を除去した上で、格納された基準データとのパターンマッチングを行ってもよい。
　また、上述した実施の形態においては、撮像部３１２によって撮影された対象物体の２次元画像を用いて対象物体の認識処理を行うとしたが、このような構成に限られない。例えば、対象物体認識処理部３２８は、反射光強度領域Ａｃの形状から対象物体の形状（外形）を認識してもよい。この場合、対象物体認識処理部３２８は、対象物体の外形と基準データに示された物体の外形とのパターンマッチングによって、対象物体の認識処理を行ってもよい。また、例えば、反射光強度領域Ａｃ対応する距離画像の画素それぞれによって示される距離値から、対象物体の表面の凹凸を認識してもよい。この場合、対象物体認識処理部３２８は、対象物体の表面の凹凸と基準データに示された物体の表面の凹凸とのパターンマッチングによって、対象物体の認識処理を行ってもよい。但し、２次元画像を用いることにより、対象物体の色情報を用いて認識処理を行うことができるので、認識率をさらに向上させることが可能となる。
（実施の形態３）
　次に、実施の形態３について説明する。実施の形態３は、実施の形態２にかかる物体検出装置３００の適用例について示している。なお、実施の形態１及び実施の形態２と実質的に同様の構成部分については同じ符号を付し、説明を省略する。
　図１３は、実施の形態３にかかるＰＯＳ端末装置４００を示す図である。実施の形態３にかかるＰＯＳ端末装置４００は、実施の形態２にかかる物体検出装置３００（情報処理装置１３０及び３次元カメラ３１０）を有している。ＰＯＳ端末装置４００は、店員用表示操作部４０２と、顧客用表示部４０４と、情報処理装置１３０と、商品読取装置である３次元カメラ３１０とを有する。ＰＯＳ端末装置４００は、例えばカウンタ台（図示せず）に載置され、ＰＯＳ端末装置４００を挟んで、図１３の左側に顧客が、右側に店員が対峙する。
　店員用表示操作部４０２は、例えばタッチパネル、ＬＣＤ（Liquid Crystal Display）、又はキーボード等である。店員用表示操作部４０２は、情報処理装置１３０の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。
　顧客用表示部４０４は、例えばタッチパネル又はＬＣＤ等である。顧客用表示部４０４は、情報処理装置１３０の制御によって、顧客に必要な情報を表示する。また、顧客用表示部４０４は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。
　商品読取装置である３次元カメラ３１０は、店員側の面に設けられており、商品を撮像させる（読み取らせる）ときに当該商品が向けられる。店員が顧客から受け取った商品を３次元カメラ３１０に向けると、３次元カメラ３１０が商品の画像を読み取る。これによって、ＰＯＳ端末装置４００は、商品の認識処理を行う。
　また、ＰＯＳ端末装置４００は、実施の形態２にかかる物体検出部３２０と同様の機能を有している。つまり、ＰＯＳ端末装置４００は、実施の形態２にかかる物体検出装置３００と同様に、３次元カメラ３１０によって生成された距離画像及び反射光強度画像を用いて、商品が半透明容器に覆われているか否かを判定する。そして、ＰＯＳ端末装置４００は、商品が半透明容器に覆われている第１の状態と、商品が半透明容器に覆われていない第２の状態とを区別して、商品の認識処理を行う。したがって、商品が半透明容器に覆われているか否かに関わらず、商品の認識率を向上させることが可能となる。
（変形例）
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも１つは、なくても構わない。例えば、図５のフローチャートにおいて、Ｓ１０２の処理は、Ｓ１０４の処理の後で行われてもよい。同様に、Ｓ１０４の処理は、Ｓ１０６の処理の後で行われてもよい。図１２のフローチャートについても同様である。
　また、図１２のフローチャートにおいて、Ｓ２１２の処理又はＳ２１４の処理で、撮像制御部３２４が、物体Ａの画像を含む２次元画像を撮像部３１２に撮影させるとしたが、このような構成に限られない。この撮像処理は、Ｓ２１０の処理の前の任意のタイミングで行われてもよい。
　また、実施の形態３にかかるＰＯＳ端末装置は、例えば、セルフレジにも適用可能である。また、実施の形態３において、本実施の形態にかかる構成は、ＰＯＳ端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。また、物体を認識可能なロボットにおいても適用可能である。
　また、上述した実施の形態においては、ＴＯＦ方式で物体までの距離を計測するとしたが、このような構成に限られない。例えば、物体までの距離については、２つの撮像部による視差を用いて計測するような手段を用いて実現してもよい。また、上述した実施の形態においては、距離センサを用いて距離及び反射光強度の両方を測定するとしたが、このような構成に限られない。例えば、距離を測定する手段は、上記の視差を用いたデバイスとし、反射光強度を測定する手段は、距離を測定するデバイスとは別個であってもよい。
但し、距離センサを用いて距離及び反射光強度の両方を測定することによって、１つのデバイスで、距離及び反射光強度の両方を測定することができるので、デバイス数の増加を抑制することが可能である。
　また、上述した実施の形態においては、距離画像生成部１１６及び反射光強度画像生成部１１８は、距離センサ１１０に設けられているとしたが、このような構成に限られない。例えば、距離画像生成部１１６及び反射光強度画像生成部１１８の少なくとも一方は、情報処理装置１３０によって実現されてもよい。この場合、距離センサ１１０は、計測された距離及び対応する位置（画素）を示す情報と、反射光強度及び対応する位置（画素）を示す情報とを情報処理装置１３０に対して出力し、情報処理装置１３０が、それらの情報を用いて、距離画像を及び反射光強度画像の少なくとも一方を生成してもよい。
　また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１４年２月２４日に出願された日本出願特願２０１４－０３３０２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　物体検出装置
２　距離計測部
４　照射部
６　反射光強度計測部
８　対象物体判定部
１００　物体検出装置
１１０　距離センサ
１１２　赤外線照射部
１１４　赤外線受光部
１１６　距離画像生成部
１１８　反射光強度画像生成部
１３０　情報処理装置
１３２　制御部
１３４　記憶部
２００　物体検出部
２０２　距離画像取得部
２０４　反射光強度画像取得部
２０６　距離領域取得部
２０８　反射光強度領域取得部
２１０　対象物体判定部
２１２　処理実行制御部
３００　物体検出装置
３１０　３次元カメラ
３１２　撮像部
３２０　物体検出部
３２４　撮像制御部
３２６　対象物体画像抽出部
３２８　対象物体認識処理部
３３０　基準データ格納部
４００　ＰＯＳ端末装置

Claims (18)

  1. 　対向する物体の各位置までの距離をそれぞれ計測する距離計測手段と、
    　前記物体に光を照射する照射手段と、
    　前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、
    　前記距離計測手段によって計測された距離と、前記反射光強度計測手段によって計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われているか否かを判定する対象物体判定手段と
    　を有する物体検出装置。
  2. 　前記対象物体判定手段は、前記距離計測手段によって計測された距離が予め定められた第１の範囲内にある位置に対応する第１の領域と、前記反射光強度計測手段によって計測された反射光強度の強度が予め定められた強度閾値以上である位置に対応する第２の領域とに基づいて、前記対象物体が前記容器に覆われているか否かを判定する
    　請求項１に記載の物体検出装置。
  3. 　前記対象物体判定手段は、前記第１の領域の面積に対する前記第２の領域の面積の比が予め定められた値未満の場合に、前記対象物体が前記容器に覆われていると判定する
    　請求項２に記載の物体検出装置。
  4. 　前記照射手段を有し、前記照射手段を用いて前記物体までの距離を検出する距離センサ　をさらに有する請求項１から３のいずれか１項に記載の物体検出装置。
  5. 　対向する物体の各位置までの距離をそれぞれ計測する距離計測手段と、
    　前記物体に光を照射する照射手段と、
    　前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、
    　前記距離計測手段によって計測された距離と、前記反射光強度計測手段によって計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われている第１の状態と、前記対象物体が前記容器に覆われていない第２の状態とを区別して、前記対象物体の認識処理を行う物体認識手段と
    　を有する物体検出装置。
  6. 　前記物体認識手段は、前記距離計測手段によって計測された距離が予め定められた第１の範囲内にある位置に対応する第１の領域と、前記反射光強度計測手段によって計測された反射光強度の強度が予め定められた強度閾値以上である位置に対応する第２の領域とに基づいて、前記対象物体の認識処理を行う
    　請求項５に記載の物体検出装置。
  7. 　前記物体認識手段は、前記第１の領域の面積に対する前記第２の領域の面積の比が予め定められた値未満の場合に、前記対象物体が半透明の容器に覆われている場合の認識処理を行う
    　請求項６に記載の物体検出装置。
  8. 　前記対象物体を撮像して前記対象物体の画像を生成する撮像手段
    　をさらに有し、
    　前記物体認識手段は、前記撮像手段によって生成された前記対象物体の画像を用いて、前記対象物体の認識処理を行う
    　請求項５から７のいずれか１項に記載の物体検出装置。
  9. 　前記物体認識手段は、前記対象物体が第１の状態にある場合、前記対象物体が前記第１の状態にあるときの当該対象物体の画像と、前記対象物体が前記第２の状態にあるときの当該対象物体の画像との差分に基づいて、前記対象物体の認識処理を行う
    　請求項５から８のいずれか１項に記載の物体検出装置。
  10. 　対向する物体の各位置までの距離をそれぞれ計測する距離計測手段と、
    　前記物体に光を照射する照射手段と、
    　前記照射手段によって照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測する反射光強度計測手段と、
    　前記距離計測手段によって計測された距離と、前記反射光強度計測手段によって計測された反射光の強度とに基づいて、商品が半透明の容器に覆われている第１の状態と、前記商品が前記容器に覆われていない第２の状態とを区別して、前記商品の認識処理を行う物体認識手段と
    　を有するＰＯＳ端末装置。
  11. 　対向する物体の各位置までの距離をそれぞれ計測し、
    　前記物体に光を照射し、
    　前記照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測し、
    　前記計測された距離と、前記計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われているか否かを判定する
    　物体検出方法。
  12. 　前記計測された距離が予め定められた第１の範囲内にある位置に対応する第１の領域と、前記計測された反射光強度の強度が予め定められた強度閾値以上である位置に対応する第２の領域とに基づいて、前記対象物体が前記容器に覆われているか否かを判定する
    　請求項１１に記載の物体検出方法。
  13. 　前記第１の領域の面積に対する前記第２の領域の面積の比が予め定められた値未満の場合に、前記対象物体が前記容器に覆われていると判定する
    　請求項１２に記載の物体検出方法。
  14. 　対向する物体の各位置までの距離をそれぞれ計測し、
    　前記物体に光を照射し、
    　前記照射された光が前記物体の各位置に反射した反射光の強度をそれぞれ計測し、
    　前記計測された距離と、前記計測された反射光の強度とに基づいて、対象物体が半透明の容器に覆われている第１の状態と、前記対象物体が前記容器に覆われていない第２の状態とを区別して、前記対象物体の認識処理を行う
    　物体検出方法。
  15. 　前記計測された距離が予め定められた第１の範囲内にある位置に対応する第１の領域と、前記計測された反射光強度の強度が予め定められた強度閾値以上である位置に対応する第２の領域とに基づいて、前記対象物体の認識処理を行う
    　請求項１４に記載の物体検出方法。
  16. 　前記第１の領域の面積に対する前記第２の領域の面積の比が予め定められた値未満の場合に、前記対象物体が半透明の容器に覆われている場合の認識処理を行う
    　請求項１５に記載の物体検出方法。
  17. 　対向する物体の各位置までの距離を取得するステップと、
    　前記物体に照射された光が前記物体の各位置に反射した反射光の強度を取得するステップと、
    　前記取得された距離と、前記取得された反射光の強度とに基づいて、対象物体が半透明の容器に覆われているか否かを判定するステップと
    　をコンピュータに実行させるプログラムを格納するプログラム記録媒体。
  18. 　対向する物体の各位置までの距離を取得するステップと、
    　前記物体に照射された光が前記物体の各位置に反射した反射光の強度を取得するステップと、
    　前記取得された距離と、前記取得された反射光の強度とに基づいて、対象物体が半透明の容器に覆われている第１の状態と、前記対象物体が前記容器に覆われていない第２の状態とを区別して、前記対象物体の認識処理を行うステップと
    　をコンピュータに実行させるプログラムを格納するプログラム記録媒体。
PCT/JP2015/000774 2014-02-24 2015-02-19 物体検出装置、ｐｏｓ端末装置、物体検出方法、プログラム及びプログラム記録媒体 WO2015125478A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/120,927 US10534072B2 (en) 2014-02-24 2015-02-19 Object detection device, POS terminal device, object detection method, program, and program recording medium
JP2016503980A JP6520913B2 (ja) 2014-02-24 2015-02-19 物体検出装置、ｐｏｓ端末装置、物体検出方法及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014033028 2014-02-24
JP2014-033028 2014-02-24

Publications (1)

Publication Number Publication Date
WO2015125478A1 true WO2015125478A1 (ja) 2015-08-27

Family

ID=53877997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000774 WO2015125478A1 (ja) 2014-02-24 2015-02-19 物体検出装置、ｐｏｓ端末装置、物体検出方法、プログラム及びプログラム記録媒体

Country Status (3)

Country Link
US (1) US10534072B2 (ja)
JP (1) JP6520913B2 (ja)
WO (1) WO2015125478A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450106A (zh) * 2017-09-28 2017-12-08 北京小米移动软件有限公司 饮水安全提示方法、装置及智能水杯
JP2018163096A (ja) * 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145152A1 (en) * 2016-02-24 2017-08-31 Superb Reality Ltd. System and method for object differentiation in three-dimensional space
US9986151B1 (en) 2016-03-02 2018-05-29 Amazon Technologies, Inc. Systems and methods for determining a depth or reflectance of objects
US9912861B1 (en) 2016-03-02 2018-03-06 Amazon Technologies, Inc. Systems and methods for determining a depth or reflectance of objects
JP2017181291A (ja) * 2016-03-30 2017-10-05 富士通株式会社 距離測定装置、距離測定方法及びプログラム
JP6873711B2 (ja) * 2017-01-16 2021-05-19 東芝テック株式会社 商品認識装置
US10915783B1 (en) * 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168019A (ja) * 1993-09-07 1995-07-04 Omron Corp 偏光ビームスプリッタ及び光学装置
JPH07311312A (ja) * 1994-03-25 1995-11-28 Omron Corp 光学式センサ装置
JP2007033104A (ja) * 2005-07-25 2007-02-08 Keyence Corp 透明フィルム検出装置
JP2007221491A (ja) * 2006-02-17 2007-08-30 Keyence Corp 光電センサ
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4832556A (ja) 1971-08-31 1973-04-28
JP2001216571A (ja) * 2000-02-03 2001-08-10 Glory Ltd 料金精算方法および装置
JP2011128024A (ja) 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置
JP5804467B2 (ja) * 2010-03-31 2015-11-04 北陽電機株式会社 信号処理装置、及び走査式測距装置
WO2012115083A1 (ja) 2011-02-21 2012-08-30 パナソニック株式会社 空間情報検出装置
KR101893771B1 (ko) * 2012-05-10 2018-08-31 삼성전자주식회사 3d 정보 처리 장치 및 방법
FR3048803B1 (fr) * 2016-03-10 2018-04-06 Antalios Procede de determination automatique d'un niveau de remplissage d'un sac plastique et boitier pour la mise en œuvre d'un tel procede

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168019A (ja) * 1993-09-07 1995-07-04 Omron Corp 偏光ビームスプリッタ及び光学装置
JPH07311312A (ja) * 1994-03-25 1995-11-28 Omron Corp 光学式センサ装置
JP2007033104A (ja) * 2005-07-25 2007-02-08 Keyence Corp 透明フィルム検出装置
JP2007221491A (ja) * 2006-02-17 2007-08-30 Keyence Corp 光電センサ
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163096A (ja) * 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置
JP7062878B2 (ja) 2017-03-27 2022-05-09 沖電気工業株式会社 情報処理方法および情報処理装置
CN107450106A (zh) * 2017-09-28 2017-12-08 北京小米移动软件有限公司 饮水安全提示方法、装置及智能水杯

Also Published As

Publication number Publication date
JP6520913B2 (ja) 2019-05-29
US20160370459A1 (en) 2016-12-22
US10534072B2 (en) 2020-01-14
JPWO2015125478A1 (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
WO2015125478A1 (ja) 物体検出装置、ｐｏｓ端末装置、物体検出方法、プログラム及びプログラム記録媒体
JP6222345B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム
JP6191701B2 (ja) Ｐｏｓ端末装置、商品認識方法及びプログラム
JP6318557B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム
US11386297B2 (en) Learning data generation device, learning data generation method, and recording medium
JP6172380B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム
US20210342807A1 (en) System and methods for automatic detection of product insertions and product extraction in an open shopping cart
KR102096230B1 (ko) 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정
JP7453137B2 (ja) Ｐｏｓ端末装置および画像処理方法
US20140354775A1 (en) Edge preserving depth filtering
JP2016033694A (ja) 物体認識装置及び物体認識プログラム
TWI623899B (zh) Object size comparison shopping system
CA3140449A1 (en) System and method for object recognition using 3d mapping and modeling of light
JP6569762B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム
JP5935118B2 (ja) 物体検出装置および物体検出方法
JP7201020B2 (ja) 情報処理装置、システム、画像処理方法及びプログラム
CA3140443A1 (en) Method and device for detecting a fluid by a computer vision application
JP6388108B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、情報処理システム、画像認識方法、及び画像認識プログラム
JPWO2015146084A1 (ja) Ｐｏｓ端末、情報処理装置、ホワイトバランス調整方法およびプログラム
JP6551712B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、情報処理システム、画像認識方法、及び画像認識プログラム
US20220230340A1 (en) System and method for object recognition using 3d mapping and modeling of light
TWM549388U (zh) 物體尺寸比對購物系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15751328

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016503980

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15120927

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15751328

Country of ref document: EP

Kind code of ref document: A1