WO2017073520A1 - 対象認識システム、対象認識方法、プログラム及びコンピュータ記憶媒体 - Google Patents

対象認識システム、対象認識方法、プログラム及びコンピュータ記憶媒体 Download PDF

Info

Publication number
WO2017073520A1
WO2017073520A1 PCT/JP2016/081458 JP2016081458W WO2017073520A1 WO 2017073520 A1 WO2017073520 A1 WO 2017073520A1 JP 2016081458 W JP2016081458 W JP 2016081458W WO 2017073520 A1 WO2017073520 A1 WO 2017073520A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
person
unit
database
mesh model
Prior art date
Application number
PCT/JP2016/081458
Other languages
English (en)
French (fr)
Inventor
三郎 山内
Original Assignee
三郎 山内
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三郎 山内 filed Critical 三郎 山内
Publication of WO2017073520A1 publication Critical patent/WO2017073520A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a target recognition system for recognizing a target such as an object or a person in a predetermined area, a target recognition method using the target recognition system, a program, and a computer storage medium.
  • Identifying and recognizing objects such as objects and people in an image is an important clue to grasping the real world, so there are needs in various service fields. Therefore, many devices for recognizing a target have been developed in order to improve the recognition rate of the target.
  • RGB Red, G: Green, B: Blue
  • the object identification device converts a captured color digital image into an L image represented by an L-axis component in the Lab color space, and creates a Canny edge image based on the L image.
  • the object region is discriminated and cut out from the background region, and a mask image is output. Based on the cut out object region, the type of the object is identified by comparison with the pre-registered feature amount. .
  • the object region is discriminated based on the color distance in the Lab color space and the color dispersion.
  • the contour of the object is extracted only from the color digital image, and there is a limit in accurately extracting the object only from the color change rate.
  • the object identification device cannot accurately grasp the shape, size, etc. of the object. Therefore, there is room for improvement in identifying the object.
  • the present invention has been made in view of this point, and an object of the present invention is to improve the recognition rate of an object such as an object or a person in a predetermined area.
  • the present invention provides an object recognition system for recognizing an object in a predetermined region, an imaging unit that images the predetermined region, and a measurement that measures a distance from the imaging unit to the predetermined region.
  • a model generation unit that generates a mesh model of the predetermined region based on the distance measured by the distance measurement unit, and the mesh model of the predetermined region generated by the model generation unit, the predetermined region
  • a target extraction unit that extracts the target mesh model protruding from the background mesh model, the target mesh model extracted by the target extraction unit, and the target information stored in the database
  • a target specifying unit that specifies the target extracted by the target extracting unit.
  • the mesh model of the predetermined area generated by the model generation unit includes the distance information from the imaging unit measured by the ranging unit to each mesh, that is, the horizontal direction and height of each mesh. Includes direction information (three-dimensional information). Then, the target extraction unit can appropriately extract the target mesh model from the background mesh model of the predetermined region. In addition, since the target mesh model also includes three-dimensional information and the shape and size thereof can be grasped, the target specifying unit can appropriately specify the target. Therefore, according to the present invention, it is possible to appropriately identify and recognize a target in a predetermined area, and improve the recognition rate of the target.
  • the target extraction unit may further extract the target by further using a color code of the predetermined area in the image captured by the imaging unit.
  • the target specifying unit may estimate the target mesh model extracted by the target extracting unit by complementing a part that cannot be grasped in the target mesh model.
  • the target specifying unit may specify the target using artificial intelligence.
  • the target recognition system may further include a database update unit that assigns an attribute to the target extracted by the target extraction unit and stores attribute information of the target in the database.
  • the target may be an object, and the target recognition system may further include a material measuring unit that measures the material of the object in the predetermined area.
  • the target is a person
  • the target recognition system further includes a database creation unit that creates the database by associating a person's movement and a person's action pattern
  • the target extraction unit includes the extracted person
  • the movement of the person is grasped from the mesh model
  • the target specifying unit is configured to obtain the movement of the person grasped by the target extraction unit, the movement of the person in the database created by the database creation unit, and the behavior pattern of the person.
  • the person's action pattern extracted by the target extraction unit may be specified.
  • the database creation unit may associate the movement of the person with the action pattern of the person using artificial intelligence.
  • the association between the movement of the person and the action pattern of the person in the database created by the database creation unit is made to associate the movement of the person stored in advance with the basic action pattern of the person. You may further have the database verification part verified based on.
  • Another aspect of the present invention is an object recognition method for recognizing an object in a predetermined area, an imaging step of imaging the predetermined area by an imaging unit, and distance measurement for measuring a distance from the imaging unit to the predetermined area
  • a target extraction step for extracting the target mesh model protruding from the background mesh model, the target mesh model extracted in the target extraction step, and target information stored in a database are collated, and the target And a target specifying step for specifying the target extracted in the extraction step.
  • the target may be extracted by further using a color code of the predetermined area in the image captured in the imaging step.
  • the target mesh model extracted in the target extraction step may be estimated by complementing a portion that cannot be grasped in the target mesh model.
  • the target may be specified using artificial intelligence.
  • the target recognition method may further include a database update step of assigning an attribute to the target extracted in the target extraction step and storing attribute information of the target in the database.
  • the target may be an object, and in the target extraction step, the material of the object in the predetermined area may be measured, and the measured material may be further used to extract the object.
  • the target may be an object, and in the target specifying step, the material of the object extracted in the target extracting step may be measured, and the measured material may be further used to specify the object.
  • the target is a person
  • the target recognition method further includes a database creation step of creating the database by associating a person's movement and a person's action pattern, and the person extracted in the target extraction step
  • the movement of the person is grasped from the mesh model, and the movement of the person grasped in the object extraction step in the target identification step, the movement of the person in the database created in the database creation step, and the behavior pattern of the person And the person's action pattern extracted in the target extraction step may be specified.
  • the movement of the person and the action pattern of the person may be associated using artificial intelligence.
  • the association between the movement of the person and the action pattern of the person in the database created in the database creation step is performed by associating the movement of the person stored in advance with the basic action pattern of the person. You may have further the database verification process verified based on.
  • a program that operates on a computer for controlling the object recognition system so that the object recognition method is executed by the object recognition system.
  • a readable computer storage medium storing the program
  • the recognition rate of the target when recognizing a target in a predetermined area, the recognition rate of the target can be improved.
  • FIG. 1 shows an outline of the configuration of an object recognition system 1 according to the present embodiment.
  • the target is an object
  • the target recognition system 1 identifies and recognizes an object that is a target in a predetermined area.
  • the object recognition system 1 includes an imaging device 10 and a target recognition device 20.
  • the imaging device 10 and the object recognition device 20 are connected via a network (not shown).
  • the network is not particularly limited as long as it can perform communication between the imaging device 10 and the object recognition device 20, and is configured by the Internet, a wired LAN, a wireless LAN, or the like, for example.
  • the imaging apparatus 10 images a predetermined area and measures the distance to the predetermined area. Further, the target recognition device 20 generates a three-dimensional mesh model for a predetermined area, extracts the target mesh model in the predetermined area, and specifies the target.
  • the configurations and operations of the imaging device 10 and the object recognition device 20 will be described in detail below.
  • the imaging device 10 has a configuration in which a transparent or translucent dome cover 12 is provided in the lower part of the housing 11. Inside the dome cover 12, a distance measuring sensor 13 as a distance measuring unit, a camera 14 as an imaging unit, and a support member 15 that supports the camera 14 are provided. Further, inside the housing 11, a drive mechanism 16 that controls the rotation operation of the camera 14 via the support member 15 and a communication unit for transmitting data acquired by the imaging device 10 to the target recognition device 20. 17 are provided. Note that the shape of the imaging device 10 is not limited to this, and can be arbitrarily designed.
  • the distance measuring sensor 13 includes, for example, an irradiation source 13a for irradiating infrared rays and a light receiving element 13b for receiving reflected infrared rays.
  • an LED is used as the irradiation source 13a.
  • PSD or CMOS is used for the light receiving element 13b.
  • Lenses (not shown) for focusing light are provided on the irradiation region 13a and the light receiving element 13b on the predetermined region 30 side.
  • a plurality of irradiation sources 13a and light receiving elements 13b may be provided.
  • the distance measuring sensor 13 measures the distance to the predetermined region by irradiating the predetermined region with infrared rays from the irradiation source 13a and receiving the reflected wave of the infrared rays reflected by the predetermined region by the light receiving element 13b.
  • the light receiving element that receives the reflected wave of infrared rays. There are methods for calculating from the above position, the intensity of the reflected wave of infrared rays, etc., and those skilled in the art can arbitrarily select from known methods. Then, the distance data measured by the distance measuring sensor 13 is output to the communication unit 17.
  • the distance measuring sensor 13 is fixed in the vicinity of the camera 14. Therefore, the distance measured by the distance measuring sensor 13 can be regarded as the distance from the camera 14 to the predetermined area.
  • the distance measuring sensor 13 of the present embodiment uses infrared rays to measure the distance to the measurement object, it is not limited to this, and can be arbitrarily selected, for example, an ultrasonic wave or a laser.
  • the camera 14 for example, an arbitrary camera such as a CCD camera or a CMOS camera is used.
  • the camera 14 is supported by the support member 15.
  • the camera 14 can be rotated in the horizontal direction (X-axis direction and Y-axis direction, pan direction) and the height direction (Z-axis direction, tilt direction) by the drive mechanism 16, and can be zoomed.
  • the drive mechanism 16 for example, a stepping motor or a direct drive motor is used.
  • the camera 14 can image a predetermined area
  • image data captured by the camera 14 is output to the communication unit 17.
  • the communication unit 17 is a communication interface that mediates communication with the network, and performs data communication with the input unit 21 of the target recognition device 20 described later. Specifically, the communication unit 17 outputs the distance data measured by the distance measuring sensor 13 and the image data captured by the camera 14 to the target recognition device 20.
  • the object recognition device 20 is configured by, for example, a computer, and includes, for example, a central processing unit such as a circuit (hardware) or a CPU, and a program (software) for causing them to function.
  • the target recognition device 20 includes an input unit 21, a model generation unit 22, a target extraction unit 23, a target identification unit 24, an output unit 25, a control unit 26, and a storage unit 27.
  • the input unit 21 is a communication interface that mediates communication with the network, and performs data communication with the communication unit 17 of the imaging apparatus 10. Specifically, the distance data measured by the distance measuring sensor 13 and the image data captured by the camera 14 are input to the input unit 21.
  • the model generation unit 22 generates a mesh model of a predetermined region based on the distance data of the input unit 21. Further, the target extraction unit 23 extracts a target mesh model protruding from the background mesh model of the predetermined region in the mesh model of the predetermined region generated by the model generation unit 22. Further, the target identifying unit 24 collates the target mesh model extracted by the target extracting unit 23 with the object information stored in the database of the storage unit 27 to identify the target. Specific operations of the model generating unit 22, the target extracting unit 23, and the target specifying unit 24 will be described later.
  • the output unit 25 outputs the target recognition result of the target specifying unit 24.
  • the output method of the object recognition result is not particularly limited, and any method can be selected such as displaying on the display.
  • the control unit 26 controls each operation in the imaging apparatus 10. That is, the control unit 26 controls, for example, the timing and position at which the distance measuring sensor 13 measures distance, and the timing and position at which the camera 14 captures an image.
  • the storage unit 27 stores a program for monitoring the predetermined area 30 by the object recognition system 1.
  • the program may be stored in the storage unit 27 as described above, or may be a computer-readable hard disk (HD), flexible disk (FD), compact disk (CD), magnet optical desk (MO), It may be stored in a computer-readable storage medium such as various memories. Further, the program can be stored in the storage medium or the like by downloading it via a communication line network such as the Internet.
  • the storage unit 27 stores a database in which object information is stored.
  • the objects stored in the database are all objects in the real world.
  • the object information includes three-dimensional information of the shape and size in addition to the attribute of the object.
  • FIG. 2 is a flowchart showing an example of main steps of the object recognition method.
  • the background includes a support material (desk 31 in the present embodiment) that supports the object, a permanent object that is permanently installed in the predetermined area, and the like.
  • the target is an object other than the background in the predetermined area, and includes a moving object in addition to an object stationary in the predetermined area.
  • the background and the object are not limited to the desk 31 and the cup 32 of the present embodiment.
  • the predetermined area 30 is imaged using the camera 14 of the imaging device 10, and the distance between the camera 14 and the predetermined area 30 is measured using the distance measuring sensor 13 (step S1 in FIG. 2).
  • Image data captured by the camera 14 is output to the target extraction unit 23 of the target recognition device 20 via the communication unit 17 and the input unit 21.
  • the distance data measured by the distance measuring sensor 13 is output to the model generation unit 22 of the object recognition device 20 via the communication unit 17 and the input unit 21.
  • the model generation unit 22 generates a mesh model of the predetermined region 30 based on the distance data measured by the distance measuring sensor 13 (step S2 in FIG. 2). Specifically, as shown in FIG. 4, meshes are stacked from the imaging device 10 side in the predetermined region 30. The mesh size is arbitrarily set. The position in the horizontal direction (X-axis direction and Y-axis direction) of each mesh can be calculated by the number of stacked meshes. Further, the position of each mesh in the height direction (Z-axis direction) can be calculated from the distance data measured by the distance measuring sensor 13.
  • step S2 based on the distance data measured by the distance measuring sensor 13, the predetermined area 30 is partitioned in a three-dimensional manner by a plurality of meshes, and a mesh model is generated.
  • the object extraction unit 23 extracts the mesh model of the cup 32 protruding from the mesh model of the desk 31 in the mesh model of the predetermined region 30 generated by the model generation unit 22 (step S3 in FIG. 2).
  • the mesh model of the desk 31 and the mesh model of the cup 32 are composed of meshes having three-dimensional information in the horizontal direction and the height direction, respectively.
  • the model can be distinguished.
  • the color code of the image data of the camera 14 input to the target extraction unit 23 may be used.
  • the color code various color systems such as RGB and HSV are used.
  • the mesh model of the cup 32 can be extracted from the mesh model of the desk 31 by distinguishing the color code of the desk 31 from the color code of the cup 32. That is, the color code of the image data complements the extraction of the mesh model of the cup 32, and thereby the mesh model of the cup 32 can be extracted more appropriately.
  • the mesh model of the cup 32 extracted by the target extracting unit 23 is collated with the information of the object stored in the database of the storage unit 27 to specify the cup 32 (step S4 in FIG. 2).
  • the database includes three-dimensional information such as shape and size in addition to object attributes.
  • the target specifying unit 24 grasps three-dimensional information of the shape and size of the cup 32 from the mesh model of the cup 32. Then, from among the three-dimensional information of a plurality of objects stored in the database, the one that matches the three-dimensional information of the mesh model of the cup 32 is selected, and an attribute is assigned to the mesh model of the cup 32 to identify the cup. .
  • the imaging device 10 is arranged in one direction of the cup 32, there are portions where the shape and size cannot be grasped from the mesh model of the cup 32, such as the bottom surface of the cup 32, for example.
  • the target specifying unit 24 can estimate by complementing the shape and size of the portion that cannot be grasped based on the portion that can be grasped in the mesh model of the cup 32. In this way, the shape and size of the entire cup 32 can be estimated.
  • an object is specified using only color codes such as RGB as in the past, it is necessary to store color codes from all angles of the object in the database. Since the shape and size of 32 can be estimated, the shape and size of a part of the cup 32 need only be stored in the database.
  • the target specifying unit 24 may be provided with artificial intelligence.
  • artificial intelligence is used. Information close to the three-dimensional information can be selected from the database. Then, an attribute can be given to the mesh model of the cup 32 to identify the cup.
  • the cup 32 can be identified and recognized in the predetermined area 30.
  • the target recognition result of the target specifying unit 24 is output to the output unit 25.
  • the mesh model of the predetermined region 30 generated by the model generation unit 22 in step S2 includes information on the horizontal direction and height direction (three-dimensional information) of each mesh. Then, in step S3, the object extracting unit 23 can appropriately extract the mesh model of the cup 32 from the mesh model of the desk 31, and in step S4, the object specifying unit 24 can appropriately specify the cup 32. . Therefore, the recognition rate of the target can be improved as compared with the case where an object is identified using only a color code as in the prior art. In addition to the three-dimensional information of the mesh model, the object recognition rate can be further improved by using the color code of the image data in combination.
  • the object recognition device 20 may further include a database update unit 40 that updates the database in the storage unit 27.
  • a database update unit 40 that updates the database in the storage unit 27.
  • the database update unit 40 assigns an attribute to this target.
  • the attribute information of the target is stored in the database.
  • the method of assigning the attribute to the target is arbitrary.
  • the database update unit 40 inquires about the target attribute via the output unit 25, the operator assigns the attribute to the target, and the database update unit via the input unit 21.
  • the attribute may be input to 40.
  • the object recognition device 20 learns and updates the database of the storage unit 27, so that the recognition rate of the object can be improved.
  • the database for storing object information may be a master database common to the plurality of target recognition systems 1.
  • the database update unit 40 by updating the master database with the database update unit 40 as described above using a plurality of object recognition systems 1, the information on the objects stored in the master database increases dramatically, and a more precise master A database can be constructed. Therefore, the recognition rate of the object can be further improved by using this master database.
  • the object recognition system 1 may further include a material measuring unit 50 that measures the material of the object (object) in the predetermined region 30.
  • the material measurement unit 50 includes, for example, an ultrasonic oscillator 51, an ultrasonic detector 52, and an ultrasonic analysis unit 53.
  • Each of the ultrasonic oscillator 51 and the ultrasonic detector 52 is provided, for example, inside the dome cover 12 of the imaging device 10.
  • the ultrasonic analysis unit 53 is provided in the object recognition device 20, for example.
  • the structure of the material measurement part 50 is not limited to this, It can design arbitrarily.
  • the ultrasonic oscillator 51 irradiates the target with laser light (pulsed laser light) and generates ultrasonic vibrations on the target.
  • the ultrasonic detector 52 irradiates the target with laser light (continuous wave laser light) and receives reflected light from the target, thereby detecting the displacement of the ultrasonic vibration generated in the target.
  • the ultrasonic vibration detection signal detected by the ultrasonic detector 52 is output to the ultrasonic analysis unit 53 via the communication unit 17 and the input unit 21.
  • the configurations of the ultrasonic oscillator 51 and the ultrasonic detector 52 are not particularly limited, and a general device can be used.
  • the ultrasonic analysis unit 53 analyzes the ultrasonic vibration detection signal detected by the ultrasonic detector 52 and calculates material characteristic values such as the particle size and strength of the target tissue. And based on this material characteristic value, the material of object is measured.
  • the database of the storage unit 27 further stores the material of the object as object information.
  • the material measuring unit 50 having the above configuration may be used in step S3 described above, or may be used in step S4.
  • the material measuring unit 50 measures the materials of the desk 31 and the cup 32 existing in the predetermined area 30, respectively.
  • the mesh model of the cup 32 can be extracted from the mesh model of the desk 31 by utilizing the difference between the material of the desk 31 and the material of the cup 32. That is, the material of the desk 31 and the material of the cup 32 complement the extraction of the mesh model of the cup 32, and thereby the mesh model of the cup 32 can be extracted more appropriately.
  • the material measuring unit 50 measures the material of the cup 32 after extracting the mesh model of the cup 32 in step S3.
  • the target specifying unit 24 specifies the cup 32.
  • the mesh model of the cup 32 extracted by the target extracting unit 23 and the object information (three-dimensional information) stored in the database of the storage unit 27 are collated.
  • material measurement The material of the cup 32 measured by the unit 50 and the object information (material) stored in the database of the storage unit 27 are also collated. Therefore, the cup 32 can be identified more reliably.
  • the database stored in the storage unit 27 includes three-dimensional information such as the person's physique in addition to the person's attributes (for example, gender, age, etc.).
  • Steps S1 to S4 are the same as steps S1 and S2 in the above embodiment, respectively.
  • step S3 the target extraction unit 23 extracts a mesh model of a person protruding from the background mesh model in the mesh model of the predetermined region 30 generated by the model generation unit 22.
  • This specific extraction method is the same as step S3 in the above embodiment.
  • step S4 the person's mesh model extracted by the object extracting unit 23 is compared with the person information stored in the database of the storage unit 27, and the object is specified as a person.
  • This specific specifying method is the same as step S4 in the above embodiment.
  • the same effect as that of the above embodiment can be enjoyed. That is, the recognition rate of the target (person) can be improved.
  • the target recognition system 1 can be used to recognize a person's action pattern in a predetermined area.
  • the database stored in the storage unit 27 includes correlation information in which a person's movement and a person's action pattern are associated with each other.
  • the movement of the person includes, for example, the movement of each part such as the head (face), hands, feet, and torso.
  • the human behavior pattern includes all patterns of human behavior such as eating, talking, walking, and sitting.
  • step S3 the object extraction unit 23 extracts the person's mesh model, and further grasps the movement of the person from the extracted person's mesh model. Specifically, for example, the movement of each part of the person is grasped by grasping the displacement of the mesh in the mesh model.
  • step S4 the movement of the person (movement of each part of the person) grasped by the target extraction unit 23 is compared with the association between the movement of the person stored in the database of the storage unit 27 and the action pattern of the person. Then, the person's action pattern that matches the movement of the person grasped by the target extraction unit 23 is specified. Specifically, for example, when the movement of the hand moving toward the mouth is grasped as the movement of the person, the action pattern of the person is recognized as “eating”.
  • the present embodiment it is possible to recognize a person's behavior pattern using the object recognition system 1, and for example, it is possible to grasp the occurrence of an abnormal state such as a person falling down or a dangerous event. Furthermore, for example, if a normal behavior pattern of a specific person is grasped in advance, the health state of the specific person can be grasped by recognizing the behavior pattern of the specific person using the target recognition system 1.
  • the object recognition device 20 further includes a database forming unit 60 that creates a database in the storage unit 27.
  • the database forming unit 60 creates a database by associating a person's movement with a person's action pattern.
  • the method of associating a person's movement with a person's action pattern is arbitrary.
  • an operator may associate a person's movement with a person's action pattern and input the association to the database forming unit 60 via the input unit 21.
  • an action pattern may be taught while pressing a button with respect to the movement of the person grasped by the target extraction unit 23. Specifically, for example, when a person moves his / her hand toward the mouth, the operator teaches that the action pattern of the person is “eat” while pressing the button.
  • the movement of the person and the action pattern of the person may be associated with each other.
  • artificial intelligence predicts and teaches an action pattern for an action caused by a person at a predetermined place for a predetermined time. Specifically, for example, when a person sits in a dining room in the morning and the person moves his hand toward the mouth, the artificial intelligence predicts and teaches the person's behavior pattern “eat”.
  • the person's movement and the person's action pattern may be associated with each other by learning the person's action pattern with respect to the person's movement by deep learning.
  • the database forming unit 60 determines the person's movement and the person's action pattern. Can be associated.
  • the object recognition device 20 further includes a database verification unit 61 that performs the verification of the association.
  • the database verification unit 61 stores a correspondence between a person's movement and a person's basic behavior pattern in advance.
  • the basic action pattern is an action pattern associated with positive with respect to a person's movement.
  • the database verification unit 61 verifies the correctness / incorrectness of the correspondence between the person's movement and the person's action pattern in the database created by the database forming unit 60, so only the correct association is stored in the database of the storage unit 27. The If it does so, the database of the memory
  • a person's mesh model is formed to grasp the movement of the person. It is not limited to this. For example, the distance to each part (head, hand, foot, torso, etc.) of a person may be measured to grasp the movement of the person. In addition, as the movement of the person, for example, the movement or facial expression of the person's eyes may be grasped.
  • the target is an object and the case where the target is a person have been described separately, but the target may be a combination of these objects and a person.
  • the target recognition system 1 recognizes the chopsticks as an object, recognizes the movement of the person, and recognizes the person's action pattern “eat” can do.
  • the action pattern of the person by combining both an object and a person, it is possible to recognize the action pattern of the person with higher accuracy.
  • the object recognition system 1 of the above embodiment can be applied to various service fields.
  • the object recognition system 1 may be used when monitoring a predetermined area.
  • the predetermined area can be appropriately monitored by appropriately identifying and recognizing an object or person target in the predetermined area.
  • the present invention is useful when recognizing a target such as an object or a person in a predetermined area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

所定領域の対象を認識する対象認識システムであって、前記所定領域を撮像する撮像部と、前記撮像部から前記所定領域までの距離を測定する測距部と、前記測距部で測定された距離に基づいて、前記所定領域のメッシュモデルを生成するモデル生成部と、前記モデル生成部で生成された前記所定領域のメッシュモデルにおいて、前記所定領域の背景のメッシュモデルから突出した前記対象のメッシュモデルを抽出する対象抽出部と、前記対象抽出部で抽出された前記対象のメッシュモデルと、データベースに格納された対象の情報とを照合し、当該対象抽出部で抽出された前記対象を特定する対象特定部と、を有する。

Description

対象認識システム、対象認識方法、プログラム及びコンピュータ記憶媒体
　本発明は、所定領域において物体や人物などの対象を認識する対象認識システム、当該対象認識システムを用いた対象認識方法、プログラム及びコンピュータ記憶媒体に関する。
　画像内の物体や人物などの対象を識別して認識することは、実世界を把握する上で重要な手掛かりになるため、様々なサービス分野でニーズがある。そこで従来より、対象の認識率を向上させるべく、対象を認識するための装置が多数開発されている。
　例えば画像から個々の物体を識別するためには、その前提処理として、背景から物体を抽出する必要がある。従来、例えばカラー画像のＲＧＢ（Ｒ：Ｒｅｄ、Ｇ：Ｇｒｅｅｎ、Ｂ：Ｂｌｕｅ）などのカラーコードを用いて、物体を抽出することが行われていた。しかしながら、実世界のすべての物体を区別し、そのカラーコードの特徴量を明確にすることは困難であり、すなわちカラーコードだけでは、物体を抽出することは困難である。
　そこで、特許文献１に記載された物体識別装置（対象認識装置）では、撮像したカラーデジタル画像をＬａｂ色空間のＬ軸成分により表したＬ画像に変換し、Ｌ画像に基づきＣａｎｎｙエッジ画像を作成して、物体の輪郭抽出を行うことが提案されている。そして、かかる物体識別装置では、物体領域の判別を行って背景領域から切り出してマスク画像を出力し、切り出した物体領域に基づいて、予め登録した特徴量との対比で物体の種類等を識別する。この際、物体領域の判別は、Ｌａｂ色空間における色の距離の大小如何、色の分散の大小如何により行っている。
日本国特開２０１３－１４５４４１号公報
　しかしながら、特許文献１に記載された物体識別装置では、カラーデジタル画像のみから物体の輪郭を抽出しており、色の変化率のみから物体を正確に抽出するのには限界がある。また、当該物体識別装置では、物体の形状や大きさ等も正確に把握することはできない。したがって、物体を識別するには改善の余地がある。
　本発明は、かかる点に鑑みてなされたものであり、所定領域において物体や人物などの対象を認識するにあたり、当該対象の認識率を向上させることを目的とする。
　前記の目的を達成するため、本発明は、所定領域の対象を認識する対象認識システムであって、前記所定領域を撮像する撮像部と、前記撮像部から前記所定領域までの距離を測定する測距部と、前記測距部で測定された距離に基づいて、前記所定領域のメッシュモデルを生成するモデル生成部と、前記モデル生成部で生成された前記所定領域のメッシュモデルにおいて、前記所定領域の背景のメッシュモデルから突出した前記対象のメッシュモデルを抽出する対象抽出部と、前記対象抽出部で抽出された前記対象のメッシュモデルと、データベースに格納された対象の情報とを照合し、当該対象抽出部で抽出された前記対象を特定する対象特定部と、を有することを特徴としている。
　本発明によれば、モデル生成部で生成される所定領域のメッシュモデルは、測距部で測定された撮像部から各メッシュまでの距離情報を含んでおり、すなわち各メッシュの水平方向と高さ方向の情報（三次元情報）を含んでいる。そうすると、対象抽出部において、所定領域の背景のメッシュモデルから対象のメッシュモデルを適切に抽出することができる。また、対象のメッシュモデルも三次元情報を含んでおりその形状や大きさを把握できるため、対象特定部において、対象を適切に特定することができる。したがって、本発明によれば、所定領域の対象を適切に識別して認識することができ、当該対象の認識率を向上させることができる。
　前記対象抽出部は、前記撮像部で撮像された画像における前記所定領域のカラーコードをさらに用いて、前記対象を抽出してもよい。
　前記対象特定部は、前記対象抽出部で抽出された前記対象のメッシュモデルに対し、当該対象のメッシュモデルにおいて把握できない部分を補完して推定してもよい。
　前記対象特定部は、人工知能を用いて前記対象を特定してもよい。
　前記対象認識システムは、前記対象抽出部で抽出された前記対象に属性を付与し、当該対象の属性情報を前記データベースに格納するデータベース更新部をさらに有していてもよい。
　前記対象は物体であって、前記対象認識システムは、前記所定領域の物体の材質を測定する材質測定部をさらに有していてもよい。
　前記対象は人物であって、前記対象認識システムは、人物の動きと人物の行動パターンとを対応付けて前記データベースを作成するデータベース作成部をさらに有し、前記対象抽出部は、抽出された人物のメッシュモデルから当該人物の動きを把握し、前記対象特定部は、前記対象抽出部で把握された人物の動きと、前記データベース作成部で作成された前記データベースにおける人物の動きと人物の行動パターンとの対応付けとを照合し、当該対象抽出部で抽出された人物の行動パターンを特定してもよい。
　前記データベース作成部は、人工知能を用いて前記人物の動きと前記人物の行動パターンとの対応付けを行ってもよい。
　前記対象認識システムは、前記データベース作成部で作成された前記データベースにおける前記人物の動きと前記人物の行動パターンとの対応付けを、予め格納された人物の動きと人物の基礎行動パターンの対応付けに基づいて検証するデータベース検証部をさらに有していてもよい。
　別な観点による本発明は、所定領域の対象を認識する対象認識方法であって、撮像部で前記所定領域を撮像する撮像工程と、前記撮像部から前記所定領域までの距離を測定する測距工程と、前記測距工程で測定された距離に基づいて、前記所定領域のメッシュモデルを生成するモデル生成工程と、前記モデル生成工程で生成された前記所定領域のメッシュモデルにおいて、前記所定領域の背景のメッシュモデルから突出した前記対象のメッシュモデルを抽出する対象抽出工程と、前記対象抽出工程で抽出された前記対象のメッシュモデルと、データベースに格納された対象の情報とを照合し、当該対象抽出工程で抽出された前記対象を特定する対象特定工程と、を有することを特徴としている。
　前記対象抽出工程において、前記撮像工程で撮像された画像における前記所定領域のカラーコードをさらに用いて、前記対象を抽出してもよい。
　前記対象特定工程において、前記対象抽出工程で抽出された前記対象のメッシュモデルに対し、当該対象のメッシュモデルにおいて把握できない部分を補完して推定してもよい。
　前記対象特定工程において、人工知能を用いて前記対象を特定してもよい。
　前記対象認識方法は、前記対象抽出工程で抽出された前記対象に属性を付与し、当該対象の属性情報を前記データベースに格納するデータベース更新工程をさらに有していてもよい。
　前記対象は物体であって、前記対象抽出工程において、前記所定領域の物体の材質を測定し、当該測定された材質をさらに用いて、前記物体を抽出してもよい。
　前記対象は物体であって、前記対象特定工程において、前記対象抽出工程で抽出された物体の材質を測定し、当該測定された材質をさらに用いて、前記物体を特定してもよい。
　前記対象は人物であって、前記対象認識方法は、人物の動きと人物の行動パターンとを対応付けて前記データベースを作成するデータベース作成工程をさらに有し、前記対象抽出工程において、抽出された人物のメッシュモデルから当該人物の動きを把握し、前記対象特定工程において、前記対象抽出工程で把握された人物の動きと、前記データベース作成工程で作成された前記データベースにおける人物の動きと人物の行動パターンとの対応付けとを照合し、当該対象抽出工程で抽出された人物の行動パターンを特定してもよい。
　前記データベース作成工程において、人工知能を用いて前記人物の動きと前記人物の行動パターンとの対応付けを行ってもよい。
　前記対象認識方法は、前記データベース作成工程で作成された前記データベースにおける前記人物の動きと前記人物の行動パターンとの対応付けを、予め格納された人物の動きと人物の基礎行動パターンの対応付けに基づいて検証するデータベース検証工程をさらに有していてもよい。
　また別な観点による本発明によれば、前記対象認識方法を対象認識システムによって実行させるように、当該対象認識システムを制御する、コンピュータ上で動作するプログラムが提供される。
　さらに別な観点による本発明によれば、前記プログラムを格納した読み取り可能なコンピュータ記憶媒体が提供される。
　本発明によれば、所定領域の対象を認識するにあたり、当該対象の認識率を向上させることができる。
本実施の形態にかかる対象認識システムの構成の概略を示す説明図である。 本実施の形態にかかる対象認識方法を示すフローチャートである。 所定領域（机とコップ）を示す説明図である。 所定領域のメッシュモデルを生成する様子を示す説明図である。 所定領域のメッシュモデルを示す説明図である。 他の実施の形態にかかる対象認識システムの構成の概略を示す説明図である。 他の実施の形態にかかる対象認識システムの構成の概略を示す説明図である。 他の実施の形態にかかる対象認識システムの構成の概略を示す説明図である。 他の実施の形態にかかる対象認識システムの構成の概略を示す説明図である。
　以下、本発明の実施の形態について図面を参照して説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．対象認識システムの構成＞
　図１は、本実施の形態にかかる対象認識システム１の構成の概略を示している。なお、本実施の形態では対象が物体である場合について説明する。すなわち、対象認識システム１では、所定領域において対象である物体を識別して認識する。
　対象認識システム１は、撮像装置１０と対象認識装置２０を有する。撮像装置１０と対象認識装置２０は、ネットワーク（図示せず）を介して接続される。このネットワークは、撮像装置１０と対象認識装置２０との間の通信を行うことができるものであれば特に限定されるものではないが、例えばインターネットや有線ＬＡＮ、無線ＬＡＮなどにより構成される。
　撮像装置１０では、所定領域を撮像すると共に、所定領域までの距離を測定する。また、対象認識装置２０では、所定領域について三次元のメッシュモデルを生成し、所定領域における対象のメッシュモデルを抽出して、当該対象を特定する。なお、これら撮像装置１０と対象認識装置２０の構成と動作については、以下において詳細に説明する。
＜２．撮像装置の構成＞
　撮像装置１０は、筐体１１の下部に、透明又は半透明のドームカバー１２が設けられた構成を有する。ドームカバー１２の内部には、測距部としての測距センサ１３と、撮像部としてのカメラ１４と、カメラ１４を支持する支持部材１５とが設けられている。また、筐体１１の内部には、支持部材１５を介してカメラ１４の回動動作を制御する駆動機構１６と、撮像装置１０で取得されたデータを対象認識装置２０に送信するための通信部１７とが設けられている。なお、撮像装置１０の形状はこれに限定されるものではなく、任意に設計できる。
　測距センサ１３は、例えば赤外線を照射する照射源１３ａと、赤外線の反射波を受光する受光素子１３ｂと備えている。照射源１３ａには、例えばＬＥＤが用いられる。受光素子１３ｂには、例えばＰＳＤやＣＭＯＳなどが用いられる。照射源１３ａと受光素子１３ｂの所定領域３０側には、それぞれ光を集束させるレンズ（図示せず）が設けられている。なお、照射源１３ａと受光素子１３ｂは、それぞれ複数設けられていてもよい。
　測距センサ１３では、照射源１３ａから所定領域に赤外線を照射し、所定領域で反射した赤外線の反射波を受光素子１３ｂで受光することにより、当該所定領域までの距離が測定される。赤外線の反射波に基づいて所定領域までの距離を測定する方法としては、例えば赤外線が照射されてからその反射波が戻ってくるまでの時間や位相差、赤外線の反射波が受光される受光素子上の位置、赤外線の反射波の強度などから算出する方法があり、当業者は公知の方法の中から任意に選択できる。そして、測距センサ１３で測定された距離データは、通信部１７に出力される。
　測距センサ１３は、カメラ１４に近接して固定して設けられている。したがって、測距センサ１３で測定された距離は、カメラ１４から所定領域までの距離と見做すことができる。
　なお、本実施の形態の測距センサ１３は、測定対象までの距離を測定するために赤外線を用いたが、これに限定されず、例えば超音波やレーザなど、任意に選択できる。
　カメラ１４には、例えばＣＣＤカメラやＣＭＯＳカメラなどの任意のカメラが用いられる。カメラ１４は、支持部材１５に支持されている。またカメラ１４は、駆動機構１６によって、水平方向（Ｘ軸方向及びＹ軸方向、パン方向）と高さ方向（Ｚ軸方向、チルト方向）に回転することができ、またズーム動作が可能に構成されている。駆動機構１６には、例えばステッピングモータやダイレクトドライブモータが用いられる。そして、カメラ１４は、撮像窓となるドームカバー１２を介して所定領域を撮像し、当該所定領域のカラー画像を取得できる。また、カメラ１４で撮像された画像データは、通信部１７に出力される。
　通信部１７は、ネットワークとの間の通信を媒介する通信インターフェースであり、後述する対象認識装置２０の入力部２１とデータ通信を行う。具体的に通信部１７は、測距センサ１３で測定された距離データと、カメラ１４で撮像された画像データとを対象認識装置２０に出力する。
＜３．対象認識装置の構成＞
　対象認識装置２０は、例えばコンピュータによって構成され、例えば回路（ハードウェア）やＣＰＵなどの中央演算処理装置と、これらを機能させるためのプログラム（ソフトウェア）から構成される。対象認識装置２０は、入力部２１、モデル生成部２２、対象抽出部２３、対象特定部２４、出力部２５、制御部２６、及び記憶部２７を有する。
　入力部２１は、ネットワークとの間の通信を媒介する通信インターフェースであり、撮像装置１０の通信部１７とデータ通信を行う。具体的に入力部２１には、上述した測距センサ１３で測定された距離データと、カメラ１４で撮像された画像データとが入力される。
　モデル生成部２２は、入力部２１の距離データに基づいて所定領域のメッシュモデルを生成する。また、対象抽出部２３は、モデル生成部２２で生成された所定領域のメッシュモデルにおいて、所定領域の背景のメッシュモデルから突出した対象のメッシュモデルを抽出する。さらに、対象特定部２４は、対象抽出部２３で抽出された対象のメッシュモデルと、記憶部２７のデータベースに格納された物体の情報とを照合し、当該対象を特定する。これらモデル生成部２２、対象抽出部２３及び対象特定部２４の具体的な動作については後述する。
　出力部２５は、対象特定部２４の対象認識結果を出力する。対象認識結果の出力方法は特に限定されるものではなく、例えばディスプレイに表示するなど、任意の方法を選択できる。
　制御部２６は、撮像装置１０における各動作を制御する。すなわち、制御部２６は、例えば測距センサ１３が距離を測定するタイミングと位置を制御し、またカメラ１４が撮像するタイミングと位置を制御する。
　記憶部２７には、対象認識システム１で所定領域３０を監視するためのプログラムが格納されている。なお、上記プログラムは、このように記憶部２７に格納されていてもよいし、あるいはコンピュータ読み取り可能なハードディスク（ＨＤ）、フレキシブルディスク（ＦＤ）、コンパクトディスク（ＣＤ）、マグネットオプティカルデスク（ＭＯ）、各種メモリなどのコンピュータに読み取り可能な記憶媒体に格納されていてもよい。また、上記プログラムは、インターネットなどの通信回線網を介してダウンロードすることにより、上記記憶媒体などに格納することもできる。
　また、記憶部２７には、物体の情報が格納されたデータベースが記憶されている。データベースに格納される物体は、実世界のあらゆる物体が対象となる。また、物体の情報としては、当該物体の属性に加え、形状や大きさの三次元情報などが含まれる。
＜４．対象認識システムの動作＞
　次に、以上のように構成された対象認識システム１で行われる所定領域の対象（物体）の識別方法について説明する。図２は、かかる対象認識方法の主な工程の例を示すフローチャートである。
　以下においては、図３に示す所定領域３０において、背景である机３１から対象であるコップ３２を識別する場合を例にとって説明する。ここで背景には、所定領域における床、壁、天井に加え、対象を支持する支持材（本実施の形態における机３１）や、所定領域において常設される常設物などが含まれる。また、対象は、所定領域において背景以外の物体であって、当該所定領域に静止している物体に加えて、動く物体も含まれる。なお、背景と対象は、本実施の形態の机３１とコップ３２に限定されるものではない。
　先ず、撮像装置１０のカメラ１４を用いて所定領域３０を撮像すると共に、測距センサ１３を用いてカメラ１４と所定領域３０の間の距離を測定する（図２のステップＳ１）。カメラ１４で撮像された画像データは、通信部１７と入力部２１を介して、対象認識装置２０の対象抽出部２３に出力される。測距センサ１３で測定された距離データは、通信部１７と入力部２１を介して、対象認識装置２０のモデル生成部２２に出力される。
　モデル生成部２２では、測距センサ１３で測定された距離データに基づいて、所定領域３０のメッシュモデルを生成する（図２のステップＳ２）。具体的には、図４に示すように所定領域３０において撮像装置１０側からメッシュを積み上げていく。メッシュのサイズは任意に設定される。各メッシュの水平方向（Ｘ軸方向及びＹ軸方向）の位置は、積み上げられたメッシュの数で算出できる。また、各メッシュの高さ方向（Ｚ軸方向）の位置は、測距センサ１３で測定された距離データから算出できる。
　このように水平方向と高さ方向の三次元の位置情報を備えたメッシュを積み上げていくと、図５に示すように所定領域３０について、机３１とコップ３２が反映された三次元のメッシュモデルが生成される。換言すれば、ステップＳ２では、測距センサ１３で測定された距離データに基づいて、所定領域３０が複数のメッシュで三次元に区画され、メッシュモデルが生成される。
　対象抽出部２３では、モデル生成部２２で生成された所定領域３０のメッシュモデルにおいて、机３１のメッシュモデルから突出したコップ３２のメッシュモデルを抽出する（図２のステップＳ３）。上述したように机３１のメッシュモデルとコップ３２のメッシュモデルは、それぞれ水平方向と高さ方向の三次元情報を備えたメッシュで構成されているため、これら机３１のメッシュモデルとコップ３２のメッシュモデルを区別することができる。
　なお、ステップＳ３でコップ３２のメッシュモデルを抽出する際、対象抽出部２３に入力されたカメラ１４の画像データのカラーコードを用いてもよい。カラーコードとしては、例えばＲＧＢやＨＳＶなど、種々の表色系が用いられる。かかる場合、机３１のカラーコードとコップ３２のカラーコードを区別することで、机３１のメッシュモデルからコップ３２のメッシュモデルを抽出できる。すなわち、画像データのカラーコードは、コップ３２のメッシュモデルの抽出を補完するものであり、これによりさらに適切にコップ３２のメッシュモデルを抽出することができる。
　対象特定部２４では、対象抽出部２３で抽出されたコップ３２のメッシュモデルと、記憶部２７のデータベースに格納された物体の情報とを照合し、コップ３２を特定する（図２のステップＳ４）。上述したようにデータベースには、物体の属性に加え、形状や大きさの三次元情報などが含まれる。対象特定部２４では、コップ３２のメッシュモデルから、当該コップ３２の形状や大きさの三次元情報を把握する。そして、データベースに格納された複数の物体の三次元情報のうち、コップ３２のメッシュモデルの三次元情報と適合するものを選択し、当該コップ３２のメッシュモデルに属性を付与してコップを特定する。
　ここで、撮像装置１０はコップ３２の一方向に配置されるため、コップ３２のメッシュモデルからは、例えばコップ３２の底面など、形状や大きさを把握できない部分がある。しかしながら、対象特定部２４では、コップ３２のメッシュモデルにおいて把握できる部分に基づいて、把握できない部分の形状や大きさを補完して推定することができる。こうして、コップ３２全体の形状や大きさを推定することができる。従来のようにＲＧＢなどのカラーコードのみを用いて物体を特定する場合、データベースには物体のあらゆる角度からのカラーコードが格納されている必要があるが、本実施の形態では上述のようにコップ３２の形状や大きさを推定することができるので、データベースにはコップ３２の一部の形状や大きさが格納されていればよい。
　また、対象特定部２４は人工知能を備えていてもよい。かかる場合、ステップＳ４において、例えばデータベースに格納された複数の物体の三次元情報のうち、コップ３２のメッシュモデルの三次元情報と完全に適合するものがなかったとしても、人工知能を用いて、当該三次元情報と近いものをデータベースから選択することができる。そして、コップ３２のメッシュモデルに属性を付与して、コップを特定することができる。
　こうして、所定領域３０においてコップ３２を識別して認識することができる。なお、対象特定部２４の対象認識結果は、出力部２５に出力される。
　本実施の形態によれば、ステップＳ２においてモデル生成部２２で生成された所定領域３０のメッシュモデルは、各メッシュの水平方向と高さ方向の情報（三次元情報）を含んでいる。そうするとステップＳ３において、対象抽出部２３で机３１のメッシュモデルからコップ３２のメッシュモデルを適切に抽出することができ、さらにステップＳ４において、対象特定部２４でコップ３２を適切に特定することができる。したがって、従来のようにカラーコードのみを用いて物体を識別する場合に比して、対象の認識率を向上させることができる。また、メッシュモデルの三次元情報に加えて、画像データのカラーコードを併用することで、対象の認識率をさらに向上させることができる。
＜５．対象が物体である場合の他の実施の形態＞
　次に、対象が物体である場合の、本発明の他の実施の形態について説明する。以下の説明において、上記実施の形態と重複する箇所は説明を省略する。
　図６に示すように対象認識装置２０は、記憶部２７のデータベースを更新するデータベース更新部４０をさらに有していてもよい。データベース更新部４０は、例えば対象抽出部２３で抽出された対象のメッシュモデルについて、当該メッシュモデルの三次元情報が、データベースに格納された物体の三次元情報と適合しない場合、この対象に属性を付与して、当該対象の属性情報をデータベースに格納する。対象に属性を付与する方法は任意であるが、例えばデータベース更新部４０が出力部２５を介して対象の属性を問い合わせし、オペレータが対象に属性を付与し、入力部２１を介してデータベース更新部４０にその属性を入力してもよい。
　このように対象認識装置２０が学習して記憶部２７のデータベースを更新することで、対象の認識率を向上させることができる。
　なお、以上の実施の形態において対象認識システム１が複数設けられている場合、物体の情報を格納するデータベースは、複数の対象認識システム１に共通のマスタデータベースであってもよい。かかる場合、複数の対象認識システム１を用いて、上述したようにデータベース更新部４０でマスタデータベースを更新することにより、当該マスタデータベースに格納される物体の情報が飛躍的に増え、さらに精緻なマスタデータベースを構築することが可能となる。したがって、このマスタデータベースを用いることで、対象の認識率をさらに向上させることができる。
　また、図７に示すように対象認識システム１は、所定領域３０の対象（物体）の材質を測定する材質測定部５０をさらに有していてもよい。材質測定部５０は、例えば超音波発振器５１、超音波検出器５２、及び超音波解析部５３を有している。超音波発振器５１と超音波検出器５２はそれぞれ、例えば撮像装置１０のドームカバー１２の内部に設けられている。超音波解析部５３は、例えば対象認識装置２０に設けられている。なお、材質測定部５０の構成はこれに限定されるものではなく、任意に設計できる。
　超音波発振器５１は、対象にレーザ光（パルス状のレーザ光）を照射し、当該対象に超音波振動を発生させる。超音波検出器５２は、対象にレーザ光（連続波のレーザ光）を照射すると共に、対象からの反射光を受光することにより、対象に発生した超音波振動の変位を検出する。超音波検出器５２で検出された超音波振動の検出信号は、通信部１７と入力部２１を介して、超音波解析部５３に出力される。なお、これら超音波発振器５１と超音波検出器５２の構成は特に限定されるものはなく、一般的な装置を用いることができる。
　超音波解析部５３では、超音波検出器５２で検出された超音波振動の検出信号を解析し、対象の組織の粒径や強度などの材質特性値を算出する。そして、この材質特性値に基づいて、対象の材質が測定される。なお、記憶部２７のデータベースには、物体の情報として、物体の材質がさらに格納されている。
　以上の構成を有する材質測定部５０は、上述したステップＳ３で用いられてもよいし、ステップＳ４で用いられてもよい。
　ステップＳ３で材質測定部５０を用いる場合、当該材質測定部５０によって、所定領域３０に存在する机３１とコップ３２の材質がそれぞれ測定される。かかる場合、机３１の材質とコップ３２の材質の違いを利用することで、机３１のメッシュモデルからコップ３２のメッシュモデルを抽出できる。すなわち、机３１の材質とコップ３２の材質は、コップ３２のメッシュモデルの抽出を補完するものであり、これによりさらに適切にコップ３２のメッシュモデルを抽出することができる。
　また、ステップＳ４で材質測定部５０を用いる場合、ステップＳ３でコップ３２のメッシュモデルを抽出した後、材質測定部５０によってコップ３２の材質が測定される。そして、ステップＳ４において、対象特定部２４でコップ３２を特定する。このステップＳ４では、対象抽出部２３で抽出されたコップ３２のメッシュモデルと、記憶部２７のデータベースに格納された物体の情報（三次元情報）とを照合するが、これに加えて、材質測定部５０で測定されたコップ３２の材質と、記憶部２７のデータベースに格納された物体の情報（材質）とも照合する。したがって、コップ３２の特定をより確実に行うことができる。
＜６．対象が人物である場合の実施の形態＞
　次に、対象が人物である場合の実施の形態について説明する。以下の説明において、上記実施の形態と重複する箇所は説明を省略する。
　対象が物体から人物に代わった場合でも、上述した対象認識システム１を用いて、所定領域の対象（人物）を識別して認識することができる。かかる場合、記憶部２７に格納されたデータベースには、人物の属性（例えば性別、年齢等）に加え、人物の体格などの三次元情報などが含まれる。
　そして、所定領域の人物を認識する際には、上述したステップＳ１～Ｓ４が行われる。ステップＳ１、Ｓ２は、それぞれ上記実施の形態におけるステップＳ１、Ｓ２と同様である。
　ステップＳ３では、対象抽出部２３において、モデル生成部２２で生成された所定領域３０のメッシュモデルにおいて、背景のメッシュモデルから突出した人物のメッシュモデルを抽出する。この具体的な抽出方法は、上記実施の形態におけるステップＳ３と同様である。
　ステップＳ４では、対象抽出部２３で抽出された人物のメッシュモデルと、記憶部２７のデータベースに格納された人物の情報とを照合し、対象が人物であると特定する。この具体的な特定方法は、上記実施の形態におけるステップＳ４と同様である。
　本実施の形態においても、上記実施形態と同様の効果を享受することができる。すなわち、対象（人物）の認識率を向上させることができる。
　また、対象が人物である場合、対象認識システム１を用いて、所定領域における人物の行動パターンも認識することができる。かかる場合、記憶部２７に格納されたデータベースには、人物の動きと人物の行動パターンとが対応付けられた相関情報が含まれる。人物の動きには、例えば頭（顔）、手、足、胴体などの各部位の動きが含まれる。人物の行動パターンには、例えば食べる、話す、歩く、座るなどの人物の行動のあらゆるパターンが含まれる。
　かかる場合、ステップＳ３では、上述したように対象抽出部２３において、人物のメッシュモデルを抽出し、さらに当該抽出された人物のメッシュモデルから人物の動きを把握する。具体的には、例えばメッシュモデルにおけるメッシュの変位を把握することで、人物の各部位の動きを把握する。
　その後、ステップＳ４では、対象抽出部２３で把握された人物の動き（人物の各部位の動き）と、記憶部２７のデータベースに格納された人物の動きと人物の行動パターンの対応付けとを照合し、対象抽出部２３で把握された人物の動きに適合する人物の行動パターンを特定する。具体的には、例えば人物の動きとして、手が口の方に移動する動きが把握された場合、当該人物の行動パターンを「食べる」と認識する。
　本実施の形態によれば、対象認識システム１を用いて人物の行動パターンを認識することができ、例えば人物が倒れるなどの異常状態や危険事象の発生を把握することが可能となる。さらに、例えば特定人物の通常の行動パターンを予め把握しておけば、対象認識システム１を用いて特定人物の行動パターンを認識することで、当該特定人物の健康状態まで把握することもできる。
　ここで、上述した人物の動きと人物の行動パターンとの対応付けを含むデータベースの作成方法について説明する。図８に示すように対象認識装置２０は、記憶部２７のデータベースを作成するデータベース形成部６０をさらに有している。データベース形成部６０は、人物の動きと、人物の行動パターンとを対応付けてデータベースを作成する。
　人物の動きと人物の行動パターンを対応付ける方法は任意である。例えばオペレータが人物の動きと人物の行動パターンを対応付けて、入力部２１を介してデータベース形成部６０にその対応付けを入力してもよい。また、オペレータが対応付けを行う際には、例えば対象抽出部２３で把握された人物の動きに対して、ボタンを押しながら行動パターンを教示してもよい。具体的には、例えば人物が手を口の方に動かしている場合において、オペレータはボタンを押しながら、当該人物の行動パターンを「食べる」と教示する。
　また、データベース形成部６０が備える人工知能を用いて、人物の動きと人物の行動パターンを対応付けてもよい。例えば所定の時間、所定の場所に人物が起こす行動に対し、人工知能が行動パターンを予測して教示する。具体的には、例えば朝、ダイニングに人物が座り、当該人物が手を口の方に動かしている場合、人工知能は人物の行動パターンを「食べる」と予測して教示する。
　そして、この人工知能を用いたデータベース形成において、ディープラーニング（深層学習）により、人物の動きに対する人物の行動パターンを学習することで、人物の動きと人物の行動パターンを対応付けてもよい。
　このように人物の行動パターンの教示には、オペレータによるマニュアル教示や人工知能を用いた教示など種々の方法があるが、いずれの場合でも、データベース形成部６０において人物の動きと人物の行動パターンを対応付けることができる。
　また、上述したデータベース形成部６０で作成したデータベースにおける人物の動きと人物の行動パターンとの対応付けについて、さらに当該対応付けの正誤を検証してもよい。図９に示すように対象認識装置２０は、上記対応付けの検証を行うデータベース検証部６１をさらに有している。データベース検証部６１には、予め人物の動きと人物の基礎行動パターンの対応付けが格納されている。なお、基礎行動パターンは、人物の動きに対して正と対応付けられる行動パターンである。
　かかる場合、データベース検証部６１において、データベース形成部６０で作成したデータベースにおける人物の動きと人物の行動パターンとの対応付けの正誤を検証するので、正しい対応付けのみが記憶部２７のデータベースに格納される。そうすると、記憶部２７のデータベースがブラッシュアップされていき、人物の行動パターンの認識率をさらに向上させることができる。
　なお、本実施の形態において、所定領域における人物の行動パターンを認識するにあたり、人物のメッシュモデルを形成して当該人物の動きを把握していたが、所定領域における人物の動きを把握する方法はこれに限定されない。例えば人物の各部位（頭、手、足、胴体など）までの距離を測定し、当該人物の動きを把握してもよい。また、人物の動きとして、例えば人物の目の動きや表情を把握してもよい。
　また、以上の実施の形態では、対象が物体である場合と人物である場合を別々に説明したが、対象はこれら物体と人物の組み合わせでもよい。例えば人物が手で箸を持ち、箸を口の方に動かしている場合、対象認識システム１は、物体として箸を認識すると共に、人物の動きを把握して人物の行動パターン「食べる」を認識することができる。このように物体と人物の両方を組み合わせることにより、より精度よく人物の行動パターンを認識することができる。
　以上の実施の形態の対象認識システム１は、様々なサービス分野に適用することができる。例えば対象認識システム１は、所定領域を監視する際に用いてもよい。かかる場合、所定領域において物体や人物の対象を適切に識別して認識することで、当該所定領域を適切に監視することができる。
　以上、添付図面を参照しながら本発明の好適な実施の形態について説明したが、本発明はかかる例に限定されない。当業者であれば、請求の範囲に記載された思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
　本発明は、所定領域において物体や人物などの対象を認識する際に有用である。
　１　　対象認識システム
　１０　撮像装置
　１１　筐体
　１２　ドームカバー
　１３　測距センサ
　１３ａ　照射源
　１３ｂ　受光素子
　１４　カメラ
　１５　支持部材
　１６　駆動機構
　１７　通信部
　２０　対象認識装置
　２１　入力部
　２２　モデル生成部
　２３　対象抽出部
　２４　対象特定部
　２５　出力部
　２６　制御部
　２７　記憶部
　３０　所定領域
　３１　机
　３２　コップ
　４０　データベース更新部
　５０　材質測定部
　５１　超音波発振器
　５２　超音波検出器
　５３　超音波解析部
　６０　データベース形成部
　６１　データベース検証部

Claims (21)

  1. 所定領域の対象を認識する対象認識システムであって、
    前記所定領域を撮像する撮像部と、
    前記撮像部から前記所定領域までの距離を測定する測距部と、
    前記測距部で測定された距離に基づいて、前記所定領域のメッシュモデルを生成するモデル生成部と、
    前記モデル生成部で生成された前記所定領域のメッシュモデルにおいて、前記所定領域の背景のメッシュモデルから突出した前記対象のメッシュモデルを抽出する対象抽出部と、
    前記対象抽出部で抽出された前記対象のメッシュモデルと、データベースに格納された対象の情報とを照合し、当該対象抽出部で抽出された前記対象を特定する対象特定部と、を有することを特徴とする、対象認識システム。
  2. 前記対象抽出部は、前記撮像部で撮像された画像における前記所定領域のカラーコードをさらに用いて、前記対象を抽出することを特徴とする、請求項１に記載の対象認識システム。
  3. 前記対象特定部は、前記対象抽出部で抽出された前記対象のメッシュモデルに対し、当該対象のメッシュモデルにおいて把握できない部分を補完して推定することを特徴とする、請求項１又は２に記載の対象認識システム。
  4. 前記対象特定部は、人工知能を用いて前記対象を特定することを特徴とする、請求項１～３のいずれか一項に記載の対象認識システム。
  5. 前記対象抽出部で抽出された前記対象に属性を付与し、当該対象の属性情報を前記データベースに格納するデータベース更新部をさらに有することを特徴とする、請求項１～４のいずれか一項に記載の対象認識システム。
  6. 前記対象は物体であって、
    前記対象認識システムは、前記所定領域の物体の材質を測定する材質測定部をさらに有することを特徴とする、請求項１～５のいずれか一項に記載の対象認識システム。
  7. 前記対象は人物であって、
    前記対象認識システムは、人物の動きと人物の行動パターンとを対応付けて前記データベースを作成するデータベース作成部をさらに有し、
    前記対象抽出部は、抽出された人物のメッシュモデルから当該人物の動きを把握し、
    前記対象特定部は、前記対象抽出部で把握された人物の動きと、前記データベース作成部で作成された前記データベースにおける人物の動きと人物の行動パターンとの対応付けとを照合し、当該対象抽出部で抽出された人物の行動パターンを特定することを特徴とする、請求項１～５のいずれか一項に記載の対象認識システム。
  8. 前記データベース作成部は、人工知能を用いて前記人物の動きと前記人物の行動パターンとの対応付けを行うことを特徴とする、請求項７に記載の対象認識システム。
  9. 前記データベース作成部で作成された前記データベースにおける前記人物の動きと前記人物の行動パターンとの対応付けを、予め格納された人物の動きと人物の基礎行動パターンの対応付けに基づいて検証するデータベース検証部をさらに有することを特徴とする、請求項７又は８に記載の対象認識システム。
  10. 所定領域の対象を認識する対象認識方法であって、
    撮像部で前記所定領域を撮像する撮像工程と、
    前記撮像部から前記所定領域までの距離を測定する測距工程と、
    前記測距工程で測定された距離に基づいて、前記所定領域のメッシュモデルを生成するモデル生成工程と、
    前記モデル生成工程で生成された前記所定領域のメッシュモデルにおいて、前記所定領域の背景のメッシュモデルから突出した前記対象のメッシュモデルを抽出する対象抽出工程と、
    前記対象抽出工程で抽出された前記対象のメッシュモデルと、データベースに格納された対象の情報とを照合し、当該対象抽出工程で抽出された前記対象を特定する対象特定工程と、を有することを特徴とする、対象認識方法。
  11. 前記対象抽出工程において、前記撮像工程で撮像された画像における前記所定領域のカラーコードをさらに用いて、前記対象を抽出することを特徴とする、請求項１０に記載の対象認識方法。
  12. 前記対象特定工程において、前記対象抽出工程で抽出された前記対象のメッシュモデルに対し、当該対象のメッシュモデルにおいて把握できない部分を補完して推定することを特徴とする、請求項１０又は１１に記載の対象認識方法。
  13. 前記対象特定工程において、人工知能を用いて前記対象を特定することを特徴とする、請求項１０～１２のいずれか一項に記載の対象認識方法。
  14. 前記対象抽出工程で抽出された前記対象に属性を付与し、当該対象の属性情報を前記データベースに格納するデータベース更新工程をさらに有することを特徴とする、請求項１０～１３のいずれか一項に記載の対象認識方法。
  15. 前記対象は物体であって、
    前記対象抽出工程において、前記所定領域の物体の材質を測定し、当該測定された材質をさらに用いて、前記物体を抽出することを特徴とする、請求項１０～１４のいずれか一項に記載の対象認識方法。
  16. 前記対象は物体であって、
    前記対象特定工程において、前記対象抽出工程で抽出された物体の材質を測定し、当該測定された材質をさらに用いて、前記物体を特定することを特徴とする、請求項１０～１５のいずれか一項に記載の対象認識方法。
  17. 前記対象は人物であって、
    前記対象認識方法は、人物の動きと人物の行動パターンとを対応付けて前記データベースを作成するデータベース作成工程をさらに有し、
    前記対象抽出工程において、抽出された人物のメッシュモデルから当該人物の動きを把握し、
    前記対象特定工程において、前記対象抽出工程で把握された人物の動きと、前記データベース作成工程で作成された前記データベースにおける人物の動きと人物の行動パターンとの対応付けとを照合し、当該対象抽出工程で抽出された人物の行動パターンを特定することを特徴とする、請求項１０～１４のいずれか一項に記載の対象認識方法。
  18. 前記データベース作成工程において、人工知能を用いて前記人物の動きと前記人物の行動パターンとの対応付けを行うことを特徴とする、請求項１７に記載の対象認識方法。
  19. 前記データベース作成工程で作成された前記データベースにおける前記人物の動きと前記人物の行動パターンとの対応付けを、予め格納された人物の動きと人物の基礎行動パターンの対応付けに基づいて検証するデータベース検証工程をさらに有することを特徴とする、請求項１７又は１８に記載の対象認識方法。
  20. 請求項１０～１９のいずれか一項に記載の対象認識方法を対象認識システムによって実行させるように、当該対象認識システムを制御する、コンピュータ上で動作するプログラム。
  21. 請求項１４に記載のプログラムを格納した読み取り可能なコンピュータ記憶媒体。
PCT/JP2016/081458 2015-10-26 2016-10-24 対象認識システム、対象認識方法、プログラム及びコンピュータ記憶媒体 WO2017073520A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015209731A JP2019008337A (ja) 2015-10-26 2015-10-26 物体識別システム、物体識別方法、プログラム及びコンピュータ記憶媒体
JP2015-209731 2015-10-26

Publications (1)

Publication Number Publication Date
WO2017073520A1 true WO2017073520A1 (ja) 2017-05-04

Family

ID=58630474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081458 WO2017073520A1 (ja) 2015-10-26 2016-10-24 対象認識システム、対象認識方法、プログラム及びコンピュータ記憶媒体

Country Status (3)

Country Link
JP (1) JP2019008337A (ja)
TW (1) TW201724022A (ja)
WO (1) WO2017073520A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
US11393140B2 (en) * 2019-04-30 2022-07-19 China Academy of Art Method and system for generating imagery mapping modeling of goblet

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI683276B (zh) 2017-11-10 2020-01-21 太豪生醫股份有限公司 病灶偵測裝置及其方法
JP7128493B2 (ja) 2019-01-22 2022-08-31 国立大学法人 東京大学 振動発電素子
KR102522100B1 (ko) * 2021-02-26 2023-04-14 최상수 데이터 변환 방법 및 데이터 변환 장치
JP7190147B1 (ja) * 2022-02-02 2022-12-15 株式会社アストライアーソフトウエア ３次元形状記述子抽出器の製造方法、３次元形状検索方法及び３次元形状検索システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143072A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体形状識別装置
JP2008242571A (ja) * 2007-03-26 2008-10-09 Honda Motor Co Ltd 物体検出装置
JP2012109733A (ja) * 2010-11-16 2012-06-07 Sumitomo Electric Ind Ltd 監視システム及び監視装置
JP2013196355A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 物体測定装置、及び物体測定方法
JP2015116308A (ja) * 2013-12-18 2015-06-25 三菱電機株式会社 ジェスチャ登録装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143072A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体形状識別装置
JP2008242571A (ja) * 2007-03-26 2008-10-09 Honda Motor Co Ltd 物体検出装置
JP2012109733A (ja) * 2010-11-16 2012-06-07 Sumitomo Electric Ind Ltd 監視システム及び監視装置
JP2013196355A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 物体測定装置、及び物体測定方法
JP2015116308A (ja) * 2013-12-18 2015-06-25 三菱電機株式会社 ジェスチャ登録装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
US11222239B2 (en) 2017-11-21 2022-01-11 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US11393140B2 (en) * 2019-04-30 2022-07-19 China Academy of Art Method and system for generating imagery mapping modeling of goblet

Also Published As

Publication number Publication date
TW201724022A (zh) 2017-07-01
JP2019008337A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
WO2017073520A1 (ja) 対象認識システム、対象認識方法、プログラム及びコンピュータ記憶媒体
CN113655471B (zh) 用于支持雷达的传感器融合的方法、装置和片上系统
US9892316B2 (en) Method and apparatus for pattern tracking
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US7680295B2 (en) Hand-gesture based interface apparatus
US20130184592A1 (en) System and method for home health care monitoring
KR102106135B1 (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
WO2016038516A2 (en) Motor task analysis system and method
JP5001930B2 (ja) 動作認識装置及び方法
KR102291039B1 (ko) 사용자 맞춤형 운동 서비스 제공 방법 및 장치
CN105205482B (zh) 快速人脸特征识别及姿态估算方法
WO2016031314A1 (ja) 個人識別装置、個人識別方法、及び、個人識別プログラム
KR101662022B1 (ko) 제스쳐를 이용한 디바이스 제어 장치 및 그 방법
JP2024023434A (ja) 移動物追跡装置
WO2018057252A1 (en) Multi-modal user authentication
JP2006209572A (ja) 通行監視装置
KR20200134502A (ko) 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
CN108594995A (zh) 一种基于手势识别的电子设备操作方法及电子设备
JP2010262527A (ja) 通行者計数装置、通行者計数方法および通行者計数プログラム
JP2015011404A (ja) 動作認識処理装置
CN112041665A (zh) 显示装置、图像处理装置及控制方法
JP2021003929A (ja) 学習用データ生成装置及び物体検知装置
JP5408348B2 (ja) ポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システム
CN109447000A (zh) 活体检测方法、污渍检测方法、电子设备及记录介质
JP6075982B2 (ja) 顔しかめ検出システム及び顔しかめ検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16859750

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01/08/2018)

NENP Non-entry into the national phase

Ref country code: JP

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16859750

Country of ref document: EP

Kind code of ref document: A1