WO2005004060A1 - 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム - Google Patents

輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム Download PDF

Info

Publication number
WO2005004060A1
WO2005004060A1 PCT/JP2004/009325 JP2004009325W WO2005004060A1 WO 2005004060 A1 WO2005004060 A1 WO 2005004060A1 JP 2004009325 W JP2004009325 W JP 2004009325W WO 2005004060 A1 WO2005004060 A1 WO 2005004060A1
Authority
WO
WIPO (PCT)
Prior art keywords
contour
nodes
distance
node
target area
Prior art date
Application number
PCT/JP2004/009325
Other languages
English (en)
French (fr)
Inventor
Nobuo Higaki
Original Assignee
Honda Motor Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co., Ltd. filed Critical Honda Motor Co., Ltd.
Priority to US10/563,064 priority Critical patent/US7418139B2/en
Priority to EP04746794.9A priority patent/EP1640917B1/en
Priority to JP2005511351A priority patent/JP4523915B2/ja
Publication of WO2005004060A1 publication Critical patent/WO2005004060A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755Deformable models or variational models, e.g. snakes or active contours

Definitions

  • the present invention relates to an apparatus, method and program for extracting an outline of an object from an image obtained by imaging the object by a camera.
  • the snake method is a method of extracting the contour of an object by transforming a closed curve so as to minimize a previously defined energy function. Specifically, after the outline of the object is set, the outline of the object is repeatedly contracted and deformed so that the energy function represented by the following equation (1) becomes equal to or less than a predetermined value.
  • Equation (1) p (s) is a node forming an outline
  • Eint (p (s)) is an “internal energy” representing the smoothness of the outline
  • Eimage (p (s)) is an image "Image energy” representing the brightness gradient of Econ (p (s)) represents “external energy” representing a force externally applied to the contour.
  • the outline of the object can not be accurately extracted in the case where there are a plurality of objects or the outline of the object is given in advance! ,,, there were problems.
  • the outline of the object and the outline of the other object are one. There is a problem that it is extracted as a contour.
  • connection line LI connecting “node P”, “node P”, and b b + 1 a b + 1, “node P”
  • connection line L2 connecting "" and "node P" ba + 1
  • contour V is split into the contour VI and the contour V2.
  • Non-Patent Document 1 discloses the following technology.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 8-329254 (pages 5-6, FIG. 4)
  • Patent Document 2 Japanese Patent Application Laid-Open No. 9 270014 (page 48, FIG. 2)
  • Non-Patent Document 1 Sakaguchi, Mino, Ikeda, "Study on setting of SNAKE parameters", Technical Report of IEICE, (PRU 90-21), P 43-49
  • an object of the present invention is to provide a contour extraction device, a contour extraction method and a contour extraction program capable of performing necessary contour segmentation processing at an earlier timing while reducing the calculation cost.
  • Another object of the present invention is to provide an outline extraction device, an outline extraction method and an outline extraction program capable of flexibly performing a plurality of outline processes regardless of the distance to the object.
  • a contour extraction device is a device for extracting the contour of the object from an image obtained by imaging the object with a camera, With respect to a plurality of nodes that are formed and moved so as to minimize the predefined energy function, when the distance between two different nodes becomes equal to or less than a threshold set according to the distance to the object, It is characterized in that a new connection line is provided at the 2 nodal point part and the outline is split.
  • This apparatus sets the distance between different two nodes according to the distance to the object, with respect to a plurality of nodes which move so as to minimize the predefined energy function after forming the contour. If it becomes less than the threshold value, a new connection line is provided at the two nodal points to split the contour.
  • the contour extraction device is a device for extracting the contour of the object from an image obtained by imaging the object with a camera, the object being extracted in the image.
  • the nodes are formed by connecting the nodes in a predetermined order by moving a node arrangement part for arranging a plurality of nodes and an energy function defined in advance so that the energy function defined in advance becomes minimum at the periphery of the region including.
  • the distance between the nodes becomes equal to or less than the first threshold value, and the distance between the nodes becomes equal to or less than the first threshold value. If two nodes are detected,
  • One of the nodal forces is characterized by including a connecting line setting unit that splits the contour by setting a new connecting line at an adjacent node on the front side or the rear side of the other node.
  • a plurality of nodes are arranged on the periphery of the object in the node arrangement portion, and after the nodes formed in the contour deforming portion are connected in a predetermined order, the contour formed is deformed.
  • the measurement section measure the internode distance for all combinations of nodes excluding adjacent nodes. Then, if two nodes whose inter-node distance is less than or equal to the first threshold are detected by the connection line setting unit, new nodes are added from one of the nodes to the next node at the front or back of the other node. Break the contour by setting connection lines.
  • the first threshold is set so that the distance to the object is closer and larger (claim 3).
  • the method further comprises target area setting means for setting an area including the pixels of the target based on the plurality of nodes on the periphery of the target area set by the target area setting means. It is characterized by arranging nodes.
  • the apparatus can set an area including the pixel of the object based on the distance information, the motion information, and the edge information of the object generated from the image by the object area setting unit. Then, the node placement unit places a plurality of nodes on the periphery of the target area set by the target area setting means.
  • the target area setting unit sets an image within an area having a predetermined front and rear width from the target distance, with a distance where a pixel whose motion has been detected is detected more than the second threshold.
  • the edge information of the reflected pixel is obtained, and the target area is set around the pixel row in which the accumulated value of the detected pixels is maximized (claim 5).
  • the target area setting means sets a rectangular area having a width of 50 cm to the left and right and a height of 2 m as the target area.
  • the target area setting unit repeats setting processing of a new target area until it is determined that a predetermined number of contours set in advance are extracted or that another target area can not be set. ).
  • the target area setting means has already extracted A new area is set from the area other than the outline area and the area judged as an area where no object exists.
  • the target area setting means sets the target area also using color information obtained from the camera.
  • a contour extraction method is a method for extracting the contour of the object from an image obtained by imaging the object by a camera, wherein the object is included in the image.
  • a node arrangement step of arranging a plurality of nodes at the periphery of the region and moving the nodes so as to minimize a previously defined energy function forms the nodes in a predetermined order by connecting the nodes.
  • a contour deformation step of deforming the contour an inter-node distance measurement step of measuring the inter-node distance for all combinations of the nodes excluding the adjacent nodes, and the two inter-node distances being less than a first threshold If a node is detected, including a connection line setting step for dividing the contour by setting a new connection line at the next node on the front side or the back side of one of the node forces of the other node. It is characterized in.
  • the node arranging step a plurality of node points are arranged at the periphery of the region including the object, and in the contour deforming step, the nodes are moved so as to minimize the previously defined energy function.
  • the contour formed is deformed, and then in the distance measuring step between the nodes, the distance between the nodes is measured for all combinations of the nodes except the adjacent nodes. .
  • the connection line setting step when two nodes whose inter-node distance is equal to or less than the first threshold are detected based on the measurement result in the inter-node distance measuring step, one of the two nodes is Break the contour by setting a new connection line to the next node on the front or back side
  • the contour extraction program according to claim 11 includes a computer, in the image, for extracting a contour of the object from an image of the object captured by a camera.
  • a contour formed by connecting the nodes in a predetermined order is formed by moving a node arrangement means for arranging a plurality of nodes around the periphery and moving the node points so as to minimize a previously defined energy function.
  • Contour deforming means to deform and adjacent nodes
  • Inter-node distance measuring means for measuring inter-node distances for combinations of all nodes excluding points, and when two nodes whose inter-node distance is less than the first threshold are detected, one of the nodes Force It is characterized in that it functions as a connecting line setting means for dividing the contour by setting a new connecting line at the next node on the front side or the rear side of the other node.
  • the program causes the computer to function as nodal placement means, contour deformation means, internodal distance measurement means, and connection line setting means, whereby the nodal placement means arranges a plurality of parts around the area including the object.
  • the nodes After arranging the nodes in the predetermined order by deforming the contours formed by connecting the nodes in a predetermined order, the nodes are arranged by moving the nodes so as to minimize the energy function defined in advance by the contour deforming means.
  • the internode distance measuring means measures the internode distance for all combinations of nodes except for adjacent nodes.
  • connection line setting means based on the measurement result in the distance between nodes measuring step.
  • the present invention it is possible to perform necessary contour processing division more quickly and in timing while reducing the calculation cost. Further, according to the present invention, it is possible to perform a plurality of contour processes flexibly regardless of the distance to the object.
  • FIG. 1 is a block diagram showing the overall configuration of the contour extraction system A. As shown in FIG. Here, it is assumed that the outline of a person (hereinafter referred to as a “target person”) is extracted. doing.
  • the contour extraction system A analyzes two force cameras (la, lb) that capture an object person (not shown) and an image (captured image) captured by the camera 1 It comprises a captured image analysis device 2 that generates various information, and a contour extraction device 3 that extracts the contour of a target person based on the various information generated by the captured image analysis device 2.
  • the camera 1, the captured image analysis device 2, and the contour extraction device 3 will be described in order.
  • Camera 1 (la, lb) is a color CCD camera, and right camera la and left camera lb are juxtaposed apart by distance B on the left and right.
  • the right camera la is used as a reference camera.
  • Images (captured images) captured by the cameras la and lb at predetermined timings (every frame) are stored in a frame grabber (not shown) for each frame and then input in synchronization with the captured image analysis device 2.
  • the calibration device performs calibration processing and correction processing, corrects the image, and is input to the captured image analysis device 2.
  • the camera 1 may not be a color CCD camera, but may be one that can simply obtain, for example, black-and-white gradation values of 0-255 gradation.
  • the captured image analysis device 2 is a device that analyzes an image (captured image) input from the cameras la and lb, and generates “distance information”, “motion information”, and “edge information”.
  • the captured image analysis device 2 includes a distance information generation unit 21 that generates “distance information”, a motion information generation unit 22 that generates “motion information”, and an edge information generation unit 23 that generates “edge information”. (See Figure 1).
  • the distance information generation unit 21 detects the distance from the camera 1 to the object corresponding to each pixel, based on the parallax of the two captured images captured by the cameras la and lb at the same time. Specifically, the parallax is determined using the block correlation method from the first captured image captured by the camera la, which is the reference camera, and the second captured image captured by the camera lb. In this embodiment, the parallax is obtained as a scalar value of 0-32 for each pixel. Note that the parallax The value of R) is not limited to 0-32, but may take values in other ranges. That is, the parallax (scalar value) can be appropriately set according to the calculation capability of the captured image analysis device 2, the positional relationship of the camera 1, and the like.
  • the block correlation method is a comparison of the same block (for example, 8 ⁇ 3 pixels) of a specific size between the first captured image and the second captured image.
  • This is a method of extracting pixels (areas) capturing the same image in the second and the second captured images. By using this method, it is possible to detect how many pixels in the two image frames the corresponding pixels (areas) in the two images are offset from and positioned in the frame.
  • distance information from the camera 1 to “the object imaged in each pixel” is determined using trigonometry.
  • distance information disparity values in the range of 0-32 are associated with position information of (x, y, z) in real space for each pixel.
  • the parallax value 0-32 is converted to a density value of 256 of 0-255, an image in which the density changes according to the distance is obtained.
  • a pixel of density value “0” means that an object at infinity from camera 1 is imaged
  • a pixel of density value “225” is at a position of about 80 cm from camera 1 It was set to mean that the subject was imaged.
  • the value "80 cm” is determined according to the focal length of the camera 1, the pixel size, the distance between the two cameras la and lb, and the like.
  • the distance information generated for each pixel is stored in a storage means (not shown) provided in the distance information generation unit 21 and then input to the contour extraction device 3 as necessary.
  • FIG. 2 (a) is a distance image P1 represented in gray scale according to the distance information of each pixel generated by the distance information generation unit 21.
  • FIG. 2A imaging was performed in an environment where there was no object other than the target person C at all.
  • the pixels in the background portion are represented by gray level 0, that is, black.
  • the “target person” is a person whose contour is to be extracted.
  • the motion information generation unit 22 generates “captured image (t)” at “time t” captured in time series by the camera la which is the reference camera and “captured image (t + ⁇ t)” at “time t + ⁇ tj”. Motion information in the image is detected based on the difference between the Specifically, the difference between the luminance value of each pixel is taken between “captured image (t)” and “captured image (t + A t)”, and the difference value is a pixel larger than a predetermined threshold T 1 Extract
  • the threshold T1 is appropriately determined in accordance with the complexity of the environment to be imaged, the number of objects in the image, the complexity of the movement, and the like. In the present embodiment, the threshold value T1 is finally determined to an appropriate value while adjusting the threshold value T1 by repeating trial and error so that only the motion of the target person C is extracted.
  • Motion information is obtained by converting the extracted difference value into any scalar value of 0 to 255 for each pixel.
  • Fig. 2 (b) is a difference image P2 represented by the luminance value according to the scalar value.
  • the movement of the left arm of the target person C is particularly strongly detected. Note that other methods can be used as a method for detecting the movement of the animal.
  • shooting while moving the camera 1 when one image is converted and motion information is detected so that the information extracted as the amount of change of the camera parameters and the motion of the background is cancelled. Good.
  • the edge information generation unit 23 extracts edges existing in the captured image based on gray level information or color information of each pixel in an image (captured image) captured by the camera la which is a reference camera.
  • FIG. 2 (c) is an edge image D3 represented by a luminance value corresponding to the size of the edge.
  • Sobel operator is multiplied for each pixel, and a line segment having a predetermined difference from an adjacent line segment is detected as an edge (horizontal edge or vertical edge) in row or column units.
  • the Sobel operator is an example of a coefficient row having weighting coefficients for pixels in the vicinity of a certain pixel.
  • the edge may be detected using a force other method performed using a Sobel operator.
  • the “distance information” and the “motion information” generated by the captured image analysis device 2 are input to the target distance detection unit 31 A of the contour extraction device 3.
  • the “edge information” is also input to the target area setting unit 31 B of the contour extraction device 3. (Outline Extraction Device 3)
  • the contour extraction device 3 is a device that extracts the contour of the target person C based on the “distance information”, the “motion information”, and the “edge information” generated by the captured image analysis device 2.
  • the contour extraction device 3 estimates that there is a target person C based on “distance information”, “motion information”, and “edge information”, and sets a target region for setting a region (target region) where contour extraction should be performed.
  • the target area setting unit 31 detects a target distance detection unit 31A that detects a distance from the camera 1 to a target person C (target distance), and a “target area” corresponding to the target distance detected by the target distance detection unit 31A. It comprises the target area setting unit 31B to be set.
  • the target distance detection unit 31A is a distance from the camera 1 to the target person C based on the distance information generated by the distance information generation unit 21 and the motion information generated by the motion information generation unit 22. "Dl" is detected. Specifically, the number of pixels in which motion is detected is accumulated for each distance represented by a scalar value of 0-255. Then, if the cumulative value is larger than a predetermined threshold value T2, a pixel whose movement is detected at that distance is detected as a pixel reflecting the movement of the target person.
  • the threshold T2 corresponds to the "second threshold” in [claims].
  • threshold value T2 is appropriately set so that the target person C can be detected accurately, in accordance with the number of the target person C, the characteristics of its movement, the existence range, and the like.
  • the target distance D1 detected by the target distance detection unit 31A is input to the target area setting unit 31B.
  • the target area setting unit 31B is positioned before and behind the target distance D1 detected by the target distance detection unit 31A.
  • Edge information of pixels obtained by imaging an object at a distance of ⁇ ⁇ is extracted (see FIG. 2 (c)).
  • is 50 cm in consideration of the width and margin of the human body.
  • the target area setting unit 31B sets a rectangular target area A for performing the contour extraction process. Since the target distance D1 (depth) has already been set, by further setting the target area A, contour extraction processing described later is performed on image information corresponding to the rectangular parallelepiped space area as a result. It will be Specifically, with regard to edge information of only the pixel portion obtained by imaging the target person C, the number of edge-detected pixels is accumulated for each column (vertical line) of the image frame. Then, the position of the pixel row whose cumulative value (histogram H) is maximum is specified as the center line of the target person C.
  • Fig. 4 (a) is an image diagram showing the center line identified.
  • the target area setting unit 31B sets the target area A based on the identified center line.
  • the floor surface at the target distance D1 from the camera 1 is set as the lower side as the reference of the height of 2 m, but other methods may be used to include the target for which outline extraction is desired. You may set A.
  • the floor surface position is recognized and the target area A is determined by referring to various tilt camera parameters such as the tilt angle of the camera 1 and the height of the camera 1. You can do it correctly. As a result, the target person C is surely included in the target area A.
  • FIG. 4 (b) is a diagram showing a state in which the target area A is set.
  • edge pixels and a histogram may be actually displayed on the image to set the center line and the target area A, but FIG. 4 (a) It is not a requirement of the present invention to create an image such as (b).
  • the contour extracting means 32 comprises node arranging units 32A for arranging nodes at equal intervals on the periphery of the target region A set by the target region setting unit 31B, a contour deforming unit 32B for deforming the contour, and a contour. From the internode distance measuring unit 32C for measuring the internode distance of each node to be connected, and the connection line setting unit 32D for setting the connecting line for splitting the contour based on the measurement result by the internode distance measuring unit 32C. It is composed and beats.
  • this contour extraction means 32 is a force to extract the contour of the target person C from within the target area A in Fig. 4 (b).
  • this contour extraction means 32 is a force to extract the contour of the target person C from within the target area A in Fig. 4 (b).
  • the contour V is obtained by connecting each node Pi in the order of arrangement.
  • the positional information of these nodes Pi is input to the contour transformation unit 32B.
  • the number n of nodes is appropriately determined according to the processing capability of the contour extraction device 3, the complexity of the shape of the object to be extracted, the speed of movement, and the like. In the present embodiment, the number of nodes n is 100.
  • the contour deforming unit 32B deforms the contour V by moving the node Pi so as to minimize the previously defined energy function (see FIG. 5 (b)).
  • the “predefined energy function” for example, the energy function represented by the equation (1) in the column of [Prior Art] can be used.
  • each term of Formula (1) is as follows. One node is composed of one pixel.
  • moving each node so as to minimize the above energy function means moving to a point where the energy to be calculated becomes smaller as the following equation (1) one (4) force
  • the line connecting the three consecutive nodes should be as close as possible Close to a straight line.
  • the inter-nodal distance measurement unit 32C measures (calculates) the inter-node distance D2 for all combinations of nodes excluding adjacent nodes for each node Pi constituting the contour V deformed by the contour deformation unit 32 ⁇ Do.
  • the measurement result in constant part 32C is input to connection line setting part 32D.
  • the connection line setting unit 32D first determines, based on the measurement result input from the inter-node distance measurement unit 32C, that there is a “combination of node Pi” in which the inter-node distance D2 is equal to or less than a predetermined distance D3. Determine if The distance D3 corresponds to the “first threshold” in [claims]. Here, the distance D3 is set to be smaller according to the distance from the camera 1! This enables accurate contour extraction regardless of whether the object is near or far. In the present invention, since the distance to the imaged object is calculated for each pixel, the present determination processing using the threshold value according to the distance is possible.
  • the distance D3 is appropriately set in accordance with the contour extraction target so that it is smaller than the distance between nodal points D2 (for example, the distance between the wrists) which becomes minimum when the contour of the target object to be detected is detected. It is set. Therefore, it is possible to prevent two contours from being extracted for one object.
  • the contour V is set to b a + 1
  • the outline is divided by setting the connection line connecting “b + 1” respectively, but “self (P)” and “other (P)” are connected to the back side in the node connection order a b
  • the outline extracting means 32 sets the outline of the outline by the nodal point arranging section 32A, and after deforming the outline by the outline deforming section 32B, the adjacent nodal point measuring section 32C. Measure the internode distance D2 for all combinations of nodes Pi except Pi. Then, the connection line setting unit 32D detects a combination of nodes whose inter-node distance D2 is less than or equal to the distance D3 based on the measurement result of the inter-node distance measuring unit 32C.
  • P 1 a node P
  • Set the contour line V by setting the connection line L2 connecting the node P and the node P.
  • FIG. 8 is a flowchart for explaining the “captured image analysis step” and the “target area setting step” in the operation of the contour extraction system A.
  • FIG. 9 is a first flow chart for explaining “contour extraction step” in the operation of the contour extraction system A.
  • FIG. 10 is a second flow chart for explaining “contour extraction step” in the operation of the contour extraction system A.
  • step S1 a captured image is input to captured image analysis device 2. Subsequently, in step S2, the distance information generation unit 21 generates “distance information” from the captured image input in step S1. Next, in step S3, the motion information generation unit 22 generates “motion information” from the captured image input in step S1. Then, in step S4, the edge information generation unit 22 generates “edge information” from the captured image input in step S1.
  • step S5 the camera 1 from the “distance information” generated in step S2 and the “motion information” generated in step S3 in the target distance detection unit 31A.
  • “Target distance Dl” which is the distance from the target person C to the target person C is detected.
  • step S6 the target distance setting unit 31B sets "target region A", which is a region for performing contour extraction processing, based on the "target distance Dl" detected in step S5.
  • the processes of step S2, step S3 and step S4 may be performed in parallel.
  • the force contour V is obtained by connecting each node Pi in the order of arrangement.
  • step In S8 the contour V is deformed by moving each node Pi arranged in step S7 so as to minimize the previously defined energy function (see FIG. 5 (b)).
  • the internode distance D2 is measured for all combinations of the nodes except for the adjacent nodes ((a), (6) b) see (c)).
  • step S10 based on the measurement result in step S9, it is determined whether or not there is a “combination of node Pi” with which the internode distance D2 is less than or equal to a predetermined distance D3. If it is determined in step S10 that “a combination of nodes Pi is a distance between nodes D2 and a distance D3”, the process proceeds to step S11, and “a combination of nodes Pi is a distance between nodes D2 and a distance D3 is If it is determined that there is no, the process proceeds to step S12.
  • step S11 the “combination of nodes Pi (node P, node P) which is the distance between nodes D 2 ⁇ distance D 3 detected in step S 10”, and the nodes P and P Connect with aba b + 1
  • step S12 it is determined whether the number of repetitions of the determination process in step S12 is greater than a predetermined threshold value Thl. If it is determined in step S12 that "the number of repetitions is greater than the predetermined threshold Thl", the process proceeds to the next step S13. Conversely, if it is determined in step S12 that "the number of repetitions is not more than the predetermined threshold value Thl", the process returns to the previous step S8. Next, in step S13, it is determined whether the actual height calculated based on the extracted contour is higher than a predetermined threshold value Th2.
  • the threshold value Th2 may be set according to the shape of the object, the speed of movement, the processing capability of the contour extraction device 3 and the like so as to be repeated until the contour of the object is properly extracted. If it is determined in step S13 that "the height of the contour is higher than a predetermined threshold Th2", the process proceeds to step S15. Conversely, if it is determined in step S13 that "the height of the contour is not higher than the predetermined threshold Th2", the process proceeds to step S14.
  • the threshold value Th2 is set to a value too high, it is not possible to extract the contour of the object to be extracted.
  • the threshold value Th2 is set to a value too low, even the contours of unnecessary objects other than the object are extracted. Therefore, the threshold value Th2 used in this process is appropriately set based on the height of the object to be contour extracted.
  • step S14 the image information in the extracted contour is updated.
  • updating image information means making distance information in the image information zero.
  • step S15 it is determined whether the number of already extracted contours (the number of objects) has reached a predetermined threshold Th3. If it is determined in step S15 that "the number of already extracted contours has reached the threshold value Th3 (for example, five human contours have been extracted)", the process ends. On the other hand, if it is determined at step S15 that “the number of already extracted contours has reached the threshold value Th3”, then the process at step S6 is performed.
  • the threshold value Th3 may be determined in accordance with the number of objects to be extracted simultaneously, but if the number is too large, computational load may increase, which may hinder high-speed and accurate contour extraction. Therefore, the threshold value Th3 needs to be set appropriately according to the calculation ability of the contour extraction device 3, the purpose of the contour extraction, and the like.
  • steps S1 to S15 are performed on the image captured at time t. After completing the process of (4), the same process is performed on the image captured at time t + 1.
  • step S14 the image information (distance information) determined not to be an object is canceled. Then, the process of step S6 performed after “NO” is determined in step S15 is the area other than the area canceled in step S14 and the area already extracted. It is performed on the remaining image area. Therefore, in the present invention, it is possible to efficiently execute a plurality of contour extractions.
  • step S5 if it is determined that the object to be subjected to outline extraction does not clearly exist, such as when no motion is detected at all in step S3 or when the target distance D1 can not be set in step S5, all processing ends. .
  • the calculation cost is about 200 msec Zframe, whereas in the present invention, the calculation cost is about It was lOOmsec / frame.
  • Non-Patent Document 1 while it was difficult to make the fixed threshold for contour division have versatility, in the present invention, the distance information is associated with each pixel, and the object Since the threshold distance D3 is varied according to the distance of the object, it is possible to accurately extract the contour as needed regardless of whether the object is far or near.
  • Each component of the captured image analysis device 2 and the contour extraction device 3 included in the contour extraction system A may be configured by hardware, or a program. It may be configured.
  • the same effect as the configuration by hardware can be obtained by operating the CPU, memory, etc. in the computer according to the program.
  • the camera 1 may be a fixed camera or may have a variable imaging direction.
  • the camera 1 may be mounted on a fixed body or may be mounted on a mobile body.
  • the camera 1, the imaging image analysis device 2 and the contour extraction device 3 may be provided separately or may be integrated.
  • information communication between the devices may be performed by wire or wirelessly.
  • the camera 1 By extracting the skin color area using the color information acquired by, it is possible to specify a human pixel area and perform outline extraction only on the specific area. Furthermore, if the target person is cut out by combining the method of determining the part of the skin having a substantially elliptical shape as a face, the outline extraction of the person will be performed more efficiently and reliably.
  • the contour information extracted continuously from time to time can be used for many things such as indoor surveillance cameras, traffic measurement, and autonomous biped robots.
  • the present invention it is possible to simultaneously extract a plurality of contours while reducing the calculation load, but for example, if the present invention is applied to an indoor monitoring camera to cancel information other than the region where the active contours are extracted, further. It is also possible to save for a long time only the image of the target object to be noticed while reducing the amount of information.
  • the administrator can grasp the presence or absence of the object in the image, etc. It is effective for adjusting the threshold.
  • FIG. 1 is a block diagram showing an entire configuration of a contour extraction system A.
  • FIG. 2 (&) is a distance image! 31 ; (b) is a difference image P2; (c) is an edge image P3.
  • FIG. 3 is a diagram for describing setting of a target distance.
  • FIG. 4 is a diagram for explaining setting of a target area A.
  • FIG. 5 (a) is a diagram for explaining the arrangement of the nodes, and (b) is a diagram for explaining the deformation of the contour.
  • FIG. 6 is a diagram for explaining measurement of the distance between nodes.
  • FIG. 7 is a diagram for explaining setting of connection lines.
  • FIG. 8 "Operation of image capture analysis” and “target area setting” in operation of contour extraction system A It is a flowchart for demonstrating fixed step.
  • FIG. 9 A flowchart for explaining the “contour extraction step” in the operation of the contour extraction system A.
  • FIG. 10 is a second flow chart for explaining “contour extraction step” in the operation of the contour extraction system A.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

 計算コストを軽減させつつ、より早いタイミングで必要な輪郭処理分裂を行うことができる輪郭抽出装置を提供する。  輪郭抽出手段32では、節点配置部32Aで、対象物の周縁に、複数の節点を配置し、輪郭変形部32Bで節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定部32Cで、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する。そして、接続線設定部32Dで、「節点間距離が閾値以下となる節点の組み合わせ」があるか否かを判定し、前記「組み合わせ」が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を分裂させる。

Description

明 細 書
輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム
技術分野
[0001] 本発明は、カメラによって対象物を撮像した画像から、対象物の輪郭を抽出するた めの装置、方法及びプログラムに関する。
背景技術
[0002] 従来、カメラによって対象物を撮像した画像から、対象物の輪郭を抽出する手法と して、「Snakes」と呼ばれる閉曲線力もなる動的輪郭モデルを用いた手法 (以下、「ス ネーク手法」と ヽぅ)が知られて ヽる。
[0003] スネーク手法とは、閉曲線を、予め定義されたエネルギ関数が最小となるように変 形させることにより、対象物の輪郭を抽出する手法である。具体的には、対象物の概 略の輪郭を設定した後、その輪郭を下記の式(1)で表わされるエネルギ関数が所定 値以下となるように繰り返し収縮変形させることにより、対象物の輪郭を抽出している
[0004] [数 1] = I ™ (PW) + (PW) + Ec。, (p )) }dS
[0005] 式(1)において、 p (s)は輪郭を形成する節点、 Eint (p (s) )は輪郭の滑ら力さ等を 表す「内部エネルギ」、 Eimage (p (s) )は画像の輝度勾配等を表す「画像エネルギ」、 Econ (p (s) )は輪郭に外部からカ卩えられる力を表す「外部エネルギ」を示して 、る。
[0006] しかし、前記したスネーク手法では、対象物が複数ある場合や、対象物の概略の輪 郭が予め与えられて!/、な 、場合には、対象物の輪郭を正確に抽出できな 、と 、う問 題点があった。特に、対象物が他の物体と近接している場合や、画像上で対象物が 他の物体と前後に重なっている場合には、対象物の輪郭と他の物体の輪郭とが、 1 つの輪郭として抽出されてしまうという問題点があった。
[0007] そこで、前記した問題点を解決するために、隣り合う節点を結んで形成された線分 同士が交差する場合に、 1つの輪郭を 2つに分裂させる技術が提案されている (例え ば、特許文献 1,特許文献 2参照)。 [0008] 具体的には、図 11 (a)に示すように、輪郭 Vにおける「線分 P P 」と「線分 P P a a+1 b b+1
」とが交差する場合は、図 11(b)に示すように、節点「節点 P」と「節点 P 」との節点 a a+1
、及び「節点 P」と「節点 P 」との接続をそれぞれ解消し、「節点 P」と「節点 P 」と b b+1 a b+1 を結ぶ「接続線 LI」と、「節点 P」と「節点 P 」とを結ぶ「接続線 L2」とを設定すること b a + 1
により、輪郭 Vを、輪郭 VIと輪郭 V2とに分裂させている。
[0009] なお、「線分 PP 」と「線分 PP 」との交点の有無は、
a a+1 b b+1
節点 Ρ =1, 2,…… , η)の座標を ( )とすると、
p(P — P)+P =q(P — P)+Pの解 p, qが、
a + 1 a a b + 1 b b
p{ (y -y ) (x -x ) + (x -x ) (y-y )}/ det
b + 1 a a b b b + 1 a b
q{ (y -y ) (x -x ) + (x -x ) (y -y ) }/ det
a+1 a a b a a+1 a b
det= (x—x ) (y — y )— (x — x )
a a+1 b+1 b b+1 b
0≤p≤l、及び 0≤q≤lを満たすときに、交点があると判断している。
[0010] また、非特許文献 1には、下記の技術が開示されている。
[0011] (1) Snakeの収束演算において、初期輪郭設定時に Snakeの各隣接する要素 (節 点)間の距離が等しくなるようにする(図 12 (a)参照)。その距離を Lelmで表わす。
(2) Snakeの要素同士の距離を求め、その中の最小値の距離(く Lelm)にある 2つ の要素 Pa, Pb(Pa, Pbは隣接する要素ではない。)を求める。
(3)最短距離がある閾値以下のときには、 Paから Pb (反時計回り)と、 Pb力 Pa (時 計回り)の 2つの閉じた Snakeに分離する(図 12 (b)参照)。
(4)それぞれの Snakeの全長を求め、 n等分し、 Snakeの各要素間の距離が等しくな るように均等長に割り付ける(図 12(c)参照)。これにより、 Snakeは 2つに分裂したこ とになる。後は、それぞれの Snakeについて、(1)一(4)を繰り返す。
特許文献 1:特開平 8-329254号公報 (第 5-6頁、第 4図)
特許文献 2:特開平 9 270014号公報 (第 4 8頁、第 2図)
非特許文献 1:坂口,美濃,池田、「SNAKEパラメータの設定についての検討」、電 子情報通信学会技術研究報告 (PRU90 - 21)、 P43-49
発明の開示
発明が解決しょうとする課題 [0012] しかし、特許文献 1及び特許文献 2に開示されて ヽる従来の輪郭分裂手法では、計 算コストが非常に大き力つた。また、非特許文献 1に開示されている方法では、輪郭 を形成する各要素間の距離の閾値を汎用性をもたせながら一意に決定するのが困 難であった。これは、カメラ力もの距離に応じて画像上の対象物の大きさが異なるか らである。
[0013] そこで、本発明は、計算コストを軽減させつつ、より早いタイミングで必要な輪郭分 裂処理を行うことができる輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラムを 提供することを目的とする。また、本発明は、対象物までの距離にかかわらず柔軟に 複数の輪郭処理を行うことができる輪郭抽出装置、輪郭抽出方法及び輪郭抽出プロ グラムを提供することを目的とする。
課題を解決するための手段
[0014] 前記課題を解決するため、請求項 1に記載の輪郭抽出装置は、カメラによって対象 物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、前記輪 郭を形成し、予め定義されたエネルギ関数が最小になるように移動する複数の節点 に関し、異なる 2節点間の距離が、前記対象物までの距離に応じて設定される閾値 以下となった場合、当該 2節点部に新たな接続線を設けて、前記輪郭を分裂させるこ とを特徴とする。
[0015] この装置は、輪郭を形成した後、予め定義されたエネルギ関数が最小になるよう〖こ 移動する複数の節点に関し、異なる 2節点間の距離が、対象物までの距離に応じて 設定される閾値以下となった場合に、当該 2節点部に新たな接続線を設けて、輪郭 を分裂させる。
[0016] また、請求項 2に記載の輪郭抽出装置は、カメラによって対象物を撮像した画像か ら、前記対象物の輪郭を抽出するための装置であって、前記画像内において、前記 対象物を含む領域の周縁に、複数の節点を配置する節点配置部と、前記節点を予 め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定 の順序で連結して形成される輪郭を変形させる輪郭変形部と、隣り合う節点同士を 除ぐ全ての節点の組み合わせについての節点間距離を測定する節点間距離測定 部と、前記節点間距離が第 1の閾値以下となる 2つの節点が検出された場合、その 一方の節点力 他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を 設定することで前記輪郭を分裂させる接続線設定部とを備えたことを特徴とする
[0017] この装置は、節点配置部で対象物の周縁に、複数の節点を配置し、輪郭変形部で 節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定部 で、隣り合う節点同士を除ぐ全ての節点の組み合わせについての節点間距離を測 定する。そして、接続線設定部で、節点間距離が第 1の閾値以下となる 2つの節点が 検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の 節点に新たな接続線を設定することで輪郭を分裂させる。なお、第 1の閾値は、対象 物までの距離が近 、ほど大きくなるように設定される(請求項 3)。
[0018] また、請求項 4に記載の輪郭抽出装置は、請求項 2又は請求項 3に記載の輪郭抽 出装置において、前記画像から生成した前記対象物の距離情報、動き情報及びエツ ジ情報に基づ ヽて、前記対象物の画素を含む領域を設定する対象領域設定手段を さらに備え、前記節点配置部は、前記対象領域設定手段によって設定された対象領 域の周辺上に、複数の節点を配置することを特徴とする。
[0019] この装置は、対象領域設定手段によって、画像から生成した対象物の距離情報、 動き情報及びエッジ情報に基づ 、て、対象物の画素を含む領域を設定することがで きる。そして、節点配置部は、対象領域設定手段によって設定された対象領域の周 辺上に、複数の節点を配置する。
また、前記対象領域設定手段は、動きが検出されている画素が、第 2の閾値よりも 多く検出されている距離を対象距離とし、該対象距離から所定の前後幅を持つ領域 内の画像を反映した画素のエッジ情報を得て、エッジの検出されて 、る画素の累計 値が最大となっている画素列を中心として対象領域を設定する (請求項 5)。
また、前記対象領域設定手段は、前記中心線力も左右に 50cmの幅を有し、かつ、 2mの高さを有する矩形領域を対象領域として設定する (請求項 6)。
また、前記対象領域設定手段は、予め設定された所定数の輪郭が抽出されたか、 別の対象領域が設定できなくなつたと判断されるまで、新たな対象領域の設定処理 を繰り返す (請求項 7)。
そして、前記対象領域設定手段は、新たな対象領域を設定する際に、既に抽出し た輪郭領域及び対象物が存在しな!ヽと判断された領域以外の領域から、新たな領 域を設定する (請求項 8)。
さらに、前記対象領域設定手段は、前記カメラから得られる色情報をも用いて前記 対象領域を設定する (請求項 9)。
[0020] 請求項 10に記載の輪郭抽出方法は、カメラによって対象物を撮像した画像から、 前記対象物の輪郭を抽出するための方法であって、前記画像内において、前記対 象物を含む領域の周縁に、複数の節点を配置する節点配置ステップと、前記節点を 予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所 定の順序で連結して形成される輪郭を変形させる輪郭変形ステップと、隣り合う節点 同士を除ぐ全ての節点の組み合わせについての節点間距離を測定する節点間距 離測定ステップと、前記節点間距離が第 1の閾値以下となる 2つの節点が検出された 場合、その一方の節点力 他方の節点の先頭側又は後ろ側にある隣の節点に新た な接続線を設定することで前記輪郭を分裂させる接続線設定ステップとを含むことを 特徴とする。
[0021] この方法は、節点配置ステップにおいて、対象物を含む領域の周縁に、複数の節 点を配置し、輪郭変形ステップにおいて、節点を予め定義されたエネルギ関数が最 小となるように移動させることにより、節点を所定の順序で連結して形成される輪郭を 変形させた後、節点間距離測定ステップにおいて、隣り合う節点同士を除ぐ全ての 節点の組み合わせについての節点間距離を測定する。そして、接続線設定ステップ において、節点間距離測定ステップでの測定結果に基づいて、節点間距離が第 1の 閾値以下となる 2つの節点が検出された場合、その一方の節点から他方の節点の先 頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を分裂させる
[0022] 請求項 11に記載の輪郭抽出プログラムは、カメラによって対象物を撮像した画像 から、前記対象物の輪郭を抽出するために、コンピュータを、前記画像内において、 前記対象物を含む領域の周縁に、複数の節点を配置する節点配置手段と、前記節 点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点 を所定の順序で連結して形成される輪郭を変形させる輪郭変形手段と、隣り合う節 点同士を除ぐ全ての節点の組み合わせについての節点間距離を測定する節点間 距離測定手段と、前記節点間距離が第 1の閾値以下となる 2つの節点が検出された 場合、その一方の節点力 他方の節点の先頭側又は後ろ側にある隣の節点に新た な接続線を設定することで前記輪郭を分裂させる接続線設定手段として機能させる ことを特徴とする。
[0023] このプログラムは、コンピュータを、節点配置手段、輪郭変形手段、節点間距離測 定手段、接続線設定手段として機能させることにより、節点配置手段により、対象物 を含む領域の周縁に、複数の節点を配置し、輪郭変形手段により、節点を予め定義 されたエネルギ関数が最小となるように移動させることにより、節点を所定の順序で連 結して形成される輪郭を変形させた後、節点間距離測定手段により、隣り合う節点同 士を除ぐ全ての節点の組み合わせについての節点間距離を測定する。そして、接 続線設定手段により、節点間距離測定ステップでの測定結果に基づいて、節点間距 離が第 1の閾値以下となる 2つの節点が検出された場合、その一方の節点から他方 の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を 分裂させる。
発明の効果
[0024] 本発明によれば、計算コストを軽減させつつ、より早 、タイミングで必要な輪郭処理 分裂を行うことができる。また、本発明によれば、対象物までの距離にかかわらず柔 軟に複数の輪郭処理を行うことができる。
発明を実施するための最良の形態
[0025] 次に、本発明の実施形態について、適宜図面を参照して詳細に説明する。ここで は、まず、本発明に係る輪郭抽出装置を含む輪郭抽出システムの構成について図 1 一図 7を参照して説明し、その後、輪郭抽出システムの動作について図 8—図 10を 参照して説明する。
[0026] (輪郭抽出システム Aの構成)
まず、本発明に係る輪郭抽出装置 3を含む輪郭抽出システム Aの全体構成につい て図 1を参照して説明する。図 1は輪郭抽出システム Aの全体構成を示すブロック図 である。なお、ここでは、人 (以下、「対象人物」という)の輪郭を抽出する場合を想定 している。
[0027] 図 1に示すように、輪郭抽出システム Aは、図示しない対象人物を撮像する 2台の力 メラ l (la, lb)と、カメラ 1で撮像された画像 (撮像画像)を解析して各種情報を生成 する撮像画像解析装置 2と、撮像画像解析装置 2で生成された各種情報に基づ ヽて 対象人物の輪郭を抽出する輪郭抽出装置 3とから構成されている。以下、カメラ 1、撮 像画像解析装置 2、輪郭抽出装置 3について、順に説明する。
[0028] (カメラ 1)
カメラ 1 (la, lb)はカラー CCDカメラであり、右カメラ laと左カメラ lbは、左右に距 離 Bだけ離れて並設されている。ここでは、右カメラ laを基準カメラとしている。カメラ la, lbが所定のタイミング(1フレーム毎)で撮像した画像 (撮像画像)は、フレーム毎 に図示しないフレームグラバに記憶された後、撮像画像解析装置 2に同期して入力 される。
[0029] なお、カメラ 1で撮像した画像 (撮像画像)は、図示しな!、補正機器によりキヤリブレ ーシヨン処理とレクティフィケーシヨン処理を行 ヽ、画像補正した後に撮像画像解析 装置 2に入力される。なお、カメラ 1は、カラー CCDカメラではなく、単に、例えば 0— 255階調の白黒濃淡値を取得できるようなものでもよい。
[0030] (撮像画像解析装置 2)
撮像画像解析装置 2は、カメラ la, lbから入力された画像 (撮像画像)を解析して、 「距離情報」、「動き情報」、「エッジ情報」を生成する装置である。撮像画像解析装置 2は、「距離情報」を生成する距離情報生成部 21と、「動き情報」を生成する動き情報 生成部 22と、「エッジ情報」を生成するエッジ情報生成部 23とから構成されている(図 1参照)。
[0031] (距離情報生成部 21)
距離情報生成部 21は、同時刻にカメラ la, lbで撮像された 2枚の撮像画像の視差 に基づいて、各画素に対応する対象物までのカメラ 1からの距離を検出する。具体的 には、基準カメラであるカメラ laで撮像された第 1の撮像画像と、カメラ lbで撮像され た第 2の撮像画像とから、ブロック相関法を用いて視差を求める。本実施形態では、 視差は、画素毎に、 0— 32のスカラー値として求められるようにした。なお、視差 (スカ ラー値)は 0— 32に限らず、他の範囲の値をとるようにしてもよい。つまり、視差 (スカ ラー値)は、撮像画像解析装置 2の計算能力やカメラ 1の位置関係等に応じて適宜 設定することができる。
[0032] なお、ブロック相関法とは、第 1の撮像画像と第 2の撮像画像とで特定の大きさの同 一ブロック (例えば 8 X 3画素)を比較することで、第 1の撮像画像と第 2の撮像画像と で同一のものを撮像している画素 (領域)を抽出する方法である。この方法を用いるこ と〖こより、両画像で対応する画素 (領域)が両画像フレーム内で何画素分ずれてフレ ーム内に位置しているかを検出することができる。
[0033] そして、画素毎に求められた視差から、三角法を用いて、カメラ 1から「各画素に撮 像された対象物」までの距離情報を求める。距離情報としては、画素毎に 0— 32の範 囲の視差値と、実空間上 (x、 y、 z)の位置情報が対応付けられている。視差値 0— 3 2を 0— 255の 256の濃度値に変換すると、距離に応じて濃度が変化した画像が得ら れる。本実施形態では、濃度値「0」の画素は、カメラ 1から無限遠にある対象物を撮 像したことを意味し、濃度値「225」の画素は、カメラ 1から約 80cmの位置にある対象 物を撮像したことを意味するように設定した。なお、この「80cm」という値は、カメラ 1 の焦点距離,画素サイズ, 2つのカメラ la, lb間の距離等に応じて決定される。画素 毎に生成された距離情報は、距離情報生成部 21内に設けられた図示しな 、記憶手 段に記憶された後、必要に応じて輪郭抽出装置 3に入力される。
[0034] 図 2 (a)は、距離情報生成部 21で生成された各画素の距離情報に応じて濃淡表現 した距離画像 P1である。ここでは、対象人物 C以外には物体が全く無い環境で撮像 を行った。図 2 (a)に示すように、対象人物 Cの画素は、その距離に応じて、濃淡値 2 55 (=白)に近い色で表現されている。また、背景の部分の画素は、濃淡値 0、すな わち黒色で表わされる。なお、「対象人物」とは輪郭を抽出する対象となる人物のこと である。
[0035] (動き情報生成部 22)
動き情報生成部 22は、基準カメラであるカメラ laで時系列に撮像した「時刻 t」にお ける「撮像画像 (t)」と、「時刻 t+ Δ tjにおける「撮像画像 (t+ Δ t)」との差分に基づ いて、画像内の動き情報を検出する。 [0036] 具体的には、「撮像画像 (t)」と「撮像画像 (t+ A t)」とで、各画素の輝度値の差分 を取り、その差分値が所定の閾値 T1よりも大きい画素を抽出する。この閾値 T1は、 撮像する環境の複雑さや画像内の対象物の数、動きの煩雑さ等に応じて適宜決定さ れる。なお、本実施形態では、閾値 T1は、対象人物 Cの動きのみが抽出されるように 試行錯誤を繰り返して、閾値値 T1を調整しながら適当な値に最終決定した。
[0037] 抽出した差分値を画素毎に 0— 255のいずれかのスカラー値に変換したものが動き 情報である。図 2 (b)は、そのスカラー値に応じた輝度値で表現した差分画像 P2であ る。図 2 (b)の例では、対象人物 Cの左腕の動きが特に強く検出されている。なお、移 動物体の動きを検出する方法としては、他の方法を用いることもできる。また、カメラ 1 が移動しながら撮像するような場合は、カメラパラメータの変化量力 背景の動きとし て抽出される情報がキャンセルされるように、一方の画像を変換して動き情報の検出 を行うとよい。
[0038] (エッジ情報生成部 23)
エッジ情報生成部 23は、基準カメラであるカメラ laで撮像された画像 (撮像画像) における各画素の濃淡情報又は色情報に基づいて、その撮像画像内に存在するェ ッジを抽出する。
[0039] 具体的には、撮像画像における各画素の輝度に基づいて、隣接する画素の輝度 値と比べて、輝度が大きく変化する部分をエッジとして検出する。エッジ値を画素毎 に対応付けて得られた情報がエッジ情報である。図 2 (c)は、エッジの大きさに応じた 輝度値で表現されたエッジ画像 D3である。
[0040] エッジの検出は、例えば Sobelオペレータを画素毎に乗算し、行又は列単位で、隣 の線分と所定の差がある線分をエッジ (横エッジ又は縦エッジ)として検出する。なお 、 Sobelオペレータとは、ある画素の近傍領域の画素に対して重み係数を持つ係数 行例のことである。また、本実施形態では、エッジの検出は Sobelオペレータを用い て行った力 他の方法を用いてエッジを検出してもよい。
[0041] 撮像画像解析装置 2で生成された「距離情報」」と「動き情報」は、輪郭抽出装置 3 の対象距離検出部 31Aに入力される。また、「エッジ情報」は、輪郭抽出装置 3の対 象領域設定部 31Bに入力される。 [0042] (輪郭抽出装置 3)
輪郭抽出装置 3は、撮像画像解析装置 2で生成された「距離情報」、「動き情報」、「 エッジ情報」に基づいて、対象人物 Cの輪郭を抽出する装置である。輪郭抽出装置 3 は、「距離情報」、「動き情報」、「エッジ情報」に基づいて、対象人物 Cが存在すると 推測され、その輪郭抽出を行うべき領域 (対象領域)を設定する対象領域設定手段 3 1と、対象領域設定手段 31によって設定された「対象領域」内から、 Snakes手法を 用いて対象人物 Cの輪郭を抽出する輪郭抽出手段 32とを備えている(図 1参照)。
[0043] (対象領域設定手段 31)
対象領域設定手段 31は、カメラ 1から対象人物 Cまでの距離 (対象距離)を検出す る対象距離検出部 31Aと、対象距離検出部 31Aで検出された対象距離に応じた「 対象領域」を設定する対象領域設定部 31Bとから構成されている。
[0044] (対象距離検出部 31A)
対象距離検出部 31Aは、距離情報生成部 21で生成された距離情報と、動き情報 生成部 22で生成された動き情報とに基づいて、カメラ 1から対象人物 Cまでの距離で ある「対象距離 Dl」を検出する。具体的には、 0— 255のスカラー値で表現される距 離毎に動きが検出されている画素の数を累計する。そして、その累計値が所定の閾 値 T2よりも大きい場合、その距離にある動きが検出されている画素を対象人物じの 動きを反映した画素であるとして検出する。なお、閾値 T2は、 [特許請求の範囲]に おける「第 2の閾値」に相当する。
[0045] なお、閾値 T2よりも大きい累計値が複数の距離において算出された場合、最もカメ ラ 1に近 、距離にある対象物のみに注目して以降の輪郭抽出処理等を行うようにして もよい。閾値 T2は、対象人物 Cの数やその動きの特性、存在範囲等に応じて、対象 人物 Cが正確に検出できるように適宜設定される。
[0046] 図 3 (a)はカメラ 1から 2. 2m( =対象距離 D1)の距離において、動きが検出された 画素の累計が閾値 T2を超えている状態を示す図である。対象距離検出部 31Aで検 出された対象距離 D1は、対象領域設定部 31Bに入力される。
[0047] (対象領域設定部 31B)
対象領域設定部 31Bは、対象距離検出部 31Aで検出された対象距離 D1と前後 ± αの距離にある対象物を撮像した画素のエッジ情報を抽出する(図 2 (c)参照)。こ の際、動きが検出された画素に限らず、対象距離 Dl ± αの距離にある画素のエッジ 情報が全て抽出される。本実施形態では、「α」は人間の体の幅とマージンを考慮し て 50cmとした。この処理によって、対象人物 Cと推測される移動物体を撮像した画 素部分のみのエッジ情報が抽出された状態となる。この状態を視覚的に理解しやす いように図 3 (b)に示した。なお、「ひ」は、 [特許請求の範囲]における「所定の前後 幅」に相当する。
[0048] 次に、対象領域設定部 31Bは、輪郭抽出処理を行うための矩形の対象領域 Aを設 定する。既に、対象距離 D1 (奥行き)が設定されているので、さらに対象領域 Aを設 定することで、結果的に直方体の空間領域に対応する画像情報に対して後述する輪 郭抽出処理が実行されることになる。具体的には、まず対象人物 Cを撮像した画素部 分のみのエッジ情報に関し、画像フレームの各列(縦線)毎にエッジの検出されてい る画素の数を累計する。そして、その累計値 (ヒストグラム H)が最大である画素列の 位置を対象人物 Cの中心線として特定する。図 4 (a)は中心線が特定された状態を 示すイメージ図である。
[0049] そして、対象領域設定部 31Bは、特定された中心線に基づき対象領域 Aを設定す る。本実施形態では、 2mの高さの基準として、カメラ 1から対象距離 D1にある床面を 下辺として設定したが、輪郭抽出を行いたい対象物を含むように、他の方法を用いて 対象領域 Aを設定してもよ ヽ。
[0050] なお、対象領域 Aを設定する際は、カメラ 1のチルト角や、カメラ 1の高さ等の各種力 メラパラメータを参照することにより、床面位置の認識や対象領域 Aの決定を正確に 行うことができる。この結果、対象領域 A内に確実に対象人物 Cが含まれる状態とさ れる。
[0051] 図 4 (b)は対象領域 Aが設定された状態を示す図である。ここで、図 4 (a)、 (b)に示 すように、画像上で実際にエッジ画素やヒストグラムを表示して中心線や対象領域 A を設定してもよいが、図 4 (a)、(b)のような画像を作成することは本発明の必須要件 ではない。
[0052] (輪郭抽出手段 32) 輪郭抽出手段 32は、対象領域設定部 31Bで設定された対象領域 Aの周辺上に節 点を等間隔で配置する節点配置部 32Aと、輪郭を変形させる輪郭変形部 32Bと、輪 郭を構成する各節点の節点間距離を測定する節点間距離測定部 32Cと、節点間距 離測定部 32Cでの測定結果に基づ ヽて、輪郭を分裂させる接続線を設定する接続 線設定部 32Dとから構成されて ヽる。
[0053] なお、本来ならば、この輪郭抽出手段 32は、図 4 (b)の対象領域 A内から対象人物 Cの輪郭を抽出する力 ここでは、 [従来の技術]の欄において説明した、従来の輪 郭分裂手法との差異を明確にするために、単純ィ匕した図 5—図 7を用いて説明する。
[0054] (節点配置部 32A)
節点配置部 32Aは、対象領域 Aの周辺上に、複数の節点 Pi (i= l, 2,…… , n)を 等間隔で配置する(図 5 (a)参照)。各節点 Piを、その配置順に結んだものをが、輪郭 Vとなる。これらの節点 Piの位置情報は、輪郭変形部 32Bに入力される。なお、節点 数 nは、輪郭抽出装置 3の処理能力や、抽出しようとする対象物の形状の複雑さ、動 きの速さ等に応じて適宜決定される。本実施形態では節点数 nを 100個とした。
[0055] (輪郭変形部 32B)
輪郭変形部 32Bは、節点 Piを、予め定義されたエネルギ関数が最小となるように移 動させることにより、輪郭 Vを変形させる(図 5 (b)参照)。なお、「予め定義されたエネ ルギ関数」としては、例えば、 [従来の技術]の欄における式(1)に表わしたエネルギ 関数を用いることができる。式(1)の各項は具体的には、下記のようなものである。な お、 1節点は 1画素で構成される。
[0056] すなわち、上記エネルギ関数を最小化するように各節点を移動させていくことは、 次の式(1)一 (4)力 計算されるエネルギが小さくなる点へ移動させることを意味する
(1)対象物と他の物体とを区別するために、画像上で、対象距離 Dl ± αの範囲内 にお 、て、輝度勾配が大き!/、部分にある節点を移動させる。
[数 2]
(2)輪郭の形状を滑らかにするために、連続する 3つの節点を結ぶ線分をできるだけ 直線に近づける。
[数 3]
^ =^,|^-^-,!2 + 2 - 2P,
(3)対象物の輪郭における窪んだ部分を正確に抽出するために、輪郭が囲む閉領 域をできるだけ小さくする。
£。™ = ,。 -y,)- w )>>,.]
(4)各節点をバランス良く配置するために、各節点間の距離を平均化させる。
[数 5]
- ρ,—,ΐΓ
ここで
[0057] (節点間距離測定部 32C)
節点間距離測定部 32Cは、輪郭変形部 32Βで変形された輪郭 Vを構成する各節 点 Piについて、隣り合う節点同士を除ぐ全ての節点の組み合わせについての節点 間距離 D2を測定 (算出)する。
[0058] 具体的には、まず、節点 Pから、節点 P ,節点 P ,…… ,節点 P までの節点間距
1 3 4 n-1
離 D2をそれぞれ測定する(図 6 (a)参照)。次に、節点 Pから、節点 P ,節点 P ,…
2 3 4
···,節点 Pまでの節点間距離 D2をそれぞれ測定する(図 6 (b)参照)。節点 P , P , n 3 4
……, P についても同様のことを行う。なお、この際一度検出されている「節点の組 n-1
み合わせ」については、節点間距離 D2の測定は行わない。そして、最終的には、節 点 P から節点 Pまでの節点間距離 D2を測定する(図 6 (c)参照)。節点間距離測 n-2 n
定部 32Cでの測定結果は、接続線設定部 32Dに入力される。
[0059] (接続線設定部 32D)
接続線設定部 32Dは、まず、節点間距離測定部 32Cから入力された測定結果に 基づいて、節点間距離 D2が予め定められた距離 D3以下となる「節点 Piの組み合わ せ」がある力否かを判定する。なお、距離 D3は、 [特許請求の範囲]における「第 1の 閾値」に相当する。 [0060] ここで、距離 D3はカメラ 1からの距離に応じて小さくなるように設定されて!、る。この ため、対象物が近くにあっても遠くにあっても正確な輪郭抽出が可能となる。本発明 では画素毎に撮像した対象物までの距離が算出されているので、その距離に応じた 閾値を適用した本判定処理が可能となっている。また、距離 D3は、検出したい対象 物の輪郭が検出された時に、最小となる節点間距離 D2 (例えば、手首間の距離)より も小さい値となるように、輪郭抽出対象物に応じて適宜設定されている。このため、 1 つの対象物に対して 2つの輪郭が抽出されてしまうことを防止することができる。
[0061] 節点間距離 D2が閾値である距離 D3以下となる「節点 Piの組み合わせ」が検出さ れた場合は、その「節点 Piの組み合わせ」において、自身と相手の節点連結順序に おける先頭側に隣り合う節点とをそれぞれ結ぶ接続線を設定する、又は自身と相手 の節点連結順序における後ろ側に隣り合う節点とをそれぞれ結ぶ接続線を設定する 。このことにより、 1つの輪郭を 2つの輪郭に分裂させることができる。
[0062] 具体的には、図 7 (a)に示すように、節点間距離 D2が距離 D3以下である節点の組 み合わせ (節点 P ,節点 P )が検出された場合は、図 7 (b)に示すように、節点 P—節 a b a 点 P
a + 1間と、節点 P
b—節点 P
b + 1間の接続を解消し、節点 P
aと節点 P
b + 1とを結ぶ接続 線 LIを設定し、節点 Pと節点 P とを結ぶ接続線 L2を設定することにより、輪郭 Vを b a+ 1
、輪郭 VIと輪郭 V2とに分裂させることができる(図 7 (c)参照)。なお、本実施形態で は、節点の組み合わせにおいて、「自身 (P
a)」と、「相手 (P )
bの節点連結順序におけ る先頭側に隣り合う節点 (P )
b + 1 」とをそれぞれ結ぶ接続線を設定することにより輪郭 を分裂させたが、「自身 (P )」と、「相手 (P )の節点連結順序における後ろ側に隣り a b
合う節点 (P )」とをそれぞれ結ぶ接続線を設定することにより輪郭を分裂させること b-1
もできる。
[0063] 以上のようにして、輪郭抽出手段 32では、節点配置部 32Aで概略の輪郭を設定し 、輪郭変形部 32Bで輪郭を変形させた後、節点間距離測定部 32Cで、隣り合う節点 Pi同士を除ぐ全ての節点 Piの組み合わせについての節点間距離 D2を測定する。 そして、接続線設定部 32Dで、節点間距離測定部 32Cでの測定結果に基づいて、 節点間距離 D2が距離 D3以下となる節点の組み合わせを検出し、その検出された節 点の組み合わせ (節点 P ,節点 P )にお 、て、節点 Pと節点 P とを結ぶ接続線 L1 a b a b+ 1 を設定し、節点 Pと節点 P とを結ぶ接続線 L2を設定することにより、輪郭 Vを、輪 b a + 1
郭 VIと輪郭 V2とに分裂させることができる。
[0064] (輪郭抽出システム Aの動作)
次に、輪郭抽出システム Aの動作について、図 1に示す輪郭抽出システム Aの全体 構成を示すブロック図と、図 8—図 10に示すフローチャートを参照して説明する。参 照する図面において、図 8は、輪郭抽出システム Aの動作における、「撮像画像解析 ステップ」と「対象領域設定ステップ」を説明するためのフローチャートである。また、 図 9は、輪郭抽出システム Aの動作における、「輪郭抽出ステップ」を説明するための 第 1のフローチャートである。また、図 10は、輪郭抽出システム Aの動作における、「 輪郭抽出ステップ」を説明するための第 2のフローチャートである。
[0065] <撮像画像解析ステップ >
図 8に示すフローチャートを参照して、まず、ステップ S1では、撮像画像解析装置 2 に撮像画像が入力される。続いて、ステップ S 2では、距離情報生成部 21で、ステツ プ S1で入力された撮像画像から「距離情報」を生成する。次に、ステップ S3では、動 き情報生成部 22で、ステップ S1で入力された撮像画像から「動き情報」を生成する。 そして、ステップ S4では、エッジ情報生成部 22で、ステップ S1で入力された撮像画 像から「エッジ情報」を生成する。
[0066] く対象領域設定ステップ >
引き続き図 8に示すフローチャートを参照して、ステップ S5では、対象距離検出部 3 1Aで、ステップ S2で生成された「距離情報」と、ステップ S3で生成された「動き情報」 とから、カメラ 1から対象人物 Cまでの距離である「対象距離 Dl」を検出する。そして、 ステップ S6では、対象距離設定部 31Bで、ステップ S5で検出された「対象距離 Dl」 に基づいて、輪郭抽出処理を行うための領域である「対象領域 A」を設定する。なお 、ステップ S2,ステップ S3,ステップ S4の各処理は、並列に行ってもよい。
[0067] <輪郭抽出ステップ >
図 9に示すフローチャートを参照して、ステップ S7では、節点配置部 32Aで、対象 領域 Aの周辺上に、複数の節点 Pi (i= l, 2,…… , n)を等間隔で配置する(図 5 (a) 参照)。各節点 Piを、その配置順に結んだものを力 輪郭 Vとなる。続いて、ステップ S8では、ステップ S7で配置された各節点 Piを、予め定義されたエネルギ関数が最小 となるように移動させることにより、輪郭 Vを変形させる(図 5 (b)参照)。本実施形態で は、注目している節点が位置する画素に近接している 8画素のそれぞれの位置に当 該節点が移動した場合に、上記エネルギがどうなるかを計算し、計算結果からェネル ギが最小となると判明した画素位置を移動後の新たな節点位置とする。そして、ステ ップ S9では、輪郭 Vを構成している各節点 Piについて、隣り合う節点同士を除ぐ全 ての節点の組み合わせについての節点間距離 D2を測定する(図 6 (a) , (b) , (c)参 照)。
[0068] 次に、ステップ S 10では、ステップ S9での測定結果に基づいて、節点間距離 D2が 予め定められた距離 D3以下となる「節点 Piの組み合わせ」ある力否かを判断する。ス テツプ S10で、「節点間距離 D2≤距離 D3となる節点 Piの組み合わせがある」と判断 された場合は、ステップ S11に進み、「節点間距離 D2≤距離 D3となる節点 Piの組み 合わせが無い」と判断された場合は、ステップ S12に進む。
[0069] なお、ステップ S10では、具体的には、節点 P (1= 1, 2,…… , n)の座標を (x , y ) とすると、
D22= (x -x ) 2+ (y -y ) 2≤D32
a b a b
となる場合に、「節点間距離 D2≤距離 D3となる節点 Piの組み合わせがある」と判 断している。
[0070] 続く、ステップ S11では、ステップ S10で検出された「節点間距離 D2≤距離 D3とな る節点 Piの組み合わせ (節点 P ,節点 P )」にお!/、て、節点 Pと節点 P とを結ぶ接 a b a b+ 1
続線 LIを設定し、節点 Pと節点 P とを結ぶ接続線 L2を設定することにより、(図 7 ( b a+ 1
b)参照)。このことにより、輪郭 Vを、輪郭 VIと輪郭 V2とに分裂させることができる(図 7 (c)参照)。
[0071] そして、ステップ S12では、ステップ S12における判定処理の繰り返し回数力 予め 定めた閾値 Thlよりも多いか否かを判断する。ステップ S 12で、「繰り返し回数が予め 定めた閾値 Thlよりも多い」と判断された場合は、次のステップ S13に進む。逆に、ス テツプ S 12で、「繰り返し回数が予め定めた閾値 Thlよりも多くない」と判断された場 合は、先のステップ S8に戻る。 [0072] 次に、ステップ S13では、抽出された輪郭に基づき算出される実際の高さが、予め 定めた閾値 Th2よりも高いか否かを判断する。この閾値 Th2は、対象物の輪郭が適 度に抽出されるまで繰り返されるように、対象物の形状、動きの速さ、輪郭抽出装置 3 の処理能力等に応じて設定すればよい。ステップ S13で、「輪郭の高さが予め定めた 閾値 Th2よりも高い」と判断された場合は、ステップ S15に進む。逆に、ステップ S13 で、「輪郭の高さが予め定めた閾値 Th2よりも高くはない」と判断された場合は、ステ ップ S 14に進む。ここで、閾値 Th2を高すぎる値に設定してしまうと、抽出すべき対象 物の輪郭抽出することができない。一方、閾値 Th2を低すぎる値に設定してしまうと、 対象物以外の不要なものの輪郭まで抽出してしまう。したがって、この処理において 用いる閾値 Th2は、輪郭抽出しようとする対象物の高さに基づいて適宜設定する。
[0073] ステップ S14では、抽出された輪郭内の画像情報を更新する。なお、画像情報を更 新するということは、その画像情報における距離情報をゼロにするということである。 輪郭内の画像情報を更新した後は、ステップ S 15に進む。
[0074] ステップ S15では、既抽出の輪郭数 (オブジェクト数)が予め定めた閾値 Th3に達し た力否かを判断する。ステップ S15で、「既抽出の輪郭数が閾値 Th3に達した (例え ば、人物の輪郭を 5人分抽出した)」と判断された場合は、処理を終了する。一方、ス テツプ S 15にお 、て、「既抽出の輪郭数が閾値 Th3に達して 、な 、」と判断された場 合は、続いてステップ S6の処理が実行される。閾値 Th3は、同時に抽出したい対象 物の数に応じて決定すればよいが、その数が多すぎると、計算負荷が増大して、高 速で正確な輪郭抽出に支障をきたすおそれがある。したがって、閾値 Th3は輪郭抽 出装置 3の計算能力や、輪郭抽出の目的などに応じて適宜設定する必要がある。
[0075] なお、以上説明した輪郭抽出システム Aにおける処理は、時間 tにおいて撮像され た画像に対しての処理であるので、時間 tにお ヽて撮像された画像に対してステップ S1—ステップ S15の処理を終了した後、時間 t+ 1において撮像された画像に対して も同様の処理が行われる。
なお、ステップ S14で、対象物ではないと判断される画像情報 (距離情報)はキャン セルされる。そして、ステップ S 15で「NO」と判断された後に行われるステップ S6の 処理は、ステップ S 14でキャンセルされた領域及び既に輪郭抽出された領域以外の 残りの画像領域に対して実行される。したがって、本発明では、複数の輪郭抽出を効 率良く実行することが可能となっている。
また、ステップ S3において全く動きが検出されない場合や、ステップ S5において対 象距離 D1が設定できない場合など、輪郭抽出すべき対象物が明らかに存在しない と判断される場合は、全ての処理を終了する。
[0076] 以上説明したように、本発明によれば、隣り合う節点同士を結ぶ線分が交差又は接 触する前に、より早いタイミングで輪郭を分裂させることができる。
また、従来の輪郭分裂手法では、図 11 (a) , (b)を用いて説明したように、輪郭分 裂の是非を判断するのに多数の計算処理を必要とするのに対し、本発明では、ステ ップ S 10の説明で示した簡単な距離計算のみで輪郭分裂の是非を判断することがで きる。したがって、本発明では計算負荷が著しく軽減される。
具体的には、節点数が 100個のとき、特許文献 1に開示されている従来の輪郭分 裂手法では、計算コストは約 200msecZframeであったのに対し、本発明では、計 算コストは約 lOOmsec/frameであった。
さらに、非特許文献 1では、輪郭分裂させるための固定された閾値に汎用性を持た せるのが困難であつたのに対し、本発明では、各画素に対して距離情報を対応付け 、対象物の距離に応じて閾値距離 D3を可変させるので、対象物が遠くにあっても近 くにあっても必要に応じて正確にその輪郭抽出を行うことができる。
[0077] 以上、輪郭抽出システム Aについて説明した力 この輪郭抽出システム Aに含まれ る撮像画像解析装置 2や輪郭抽出装置 3の各構成部は、ハードウ アで構成してもよ いし、プログラムで構成してもよい。例えば、輪郭抽出装置 3の各構成部をプログラム で構成した場合は、コンピュータ内の CPUやメモリ等をプログラムに従って動作させ ることにより、ハードウェアで構成した場合と同様の効果が得られる。
[0078] また、カメラ 1は固定カメラでもよいし、撮像方向が可変なものでもよい。そして、カメ ラ 1は固定体に備え付けてもよいし、移動体に搭載してもよい。さらに、カメラ 1、撮像 画像解析装置 2及び輪郭抽出装置 3は、個別に設けてもよいし、一体化させてもよい 。なお、カメラ 1、撮像画像解析装置 2及び輪郭抽出装置 3を個別に設けた場合は、 各装置間の情報通信は、有線で行ってもよいし、無線で行ってもよい。また、カメラ 1 が取得した色情報を用いて、肌色領域を抽出することによって、人間の画素領域を 特定し、その特定領域のみに対して輪郭抽出を行ってもよい。さらに、肌色であって 、かつ、略楕円の部分を顔として判定するなどの方法をも組み合わせて対象人物を 切り出すようにすれば、より効率的かつ確実に人物の輪郭抽出が行われるようになる
[0079] 時々刻々と連続的に抽出される輪郭情報は、室内監視カメラ、交通量計測、自律 二足歩行ロボットなどの多くのものに利用可能である。
本発明によれば、計算負荷を減らしつつ同時に複数の輪郭抽出を行えるが、例え ば、本発明を室内監視カメラに適用して動的輪郭抽出された領域以外の情報をキヤ ンセルすれば、さらに情報量を削減しながら注目すべき監視対象物の画像のみを長 時間保存することもできる。
また、自律二足歩行ロボットの場合、歩行制御、外部環境認識、ヒト指示への応答 など多くの複雑な処理を可能な限り短時間で行う必要があるが、本発明は輪郭抽出 処理の計算負荷を削減し、かつ、早いタイミングで必要な輪郭分裂を実現するので、 実環境における自律二足歩行ロボットの応答性を顕著に高めることができる。
なお、連続的に抽出される対象物の輪郭を画像と共に図示しない表示装置に表示 すれば、管理者が画像内の物体の有無などを把握したり、図 8—図 10を用いて説明 した各種閾値の調整に有効である。
図面の簡単な説明
[0080] [図 1]輪郭抽出システム Aの全体構成を示すブロック図である。
[図 2] (&)は距離画像!31、(b)は差分画像 P2、(c)はエッジ画像 P3を示す図である。
[図 3]対象距離の設定について説明するための図である。
[図 4]対象領域 Aの設定について説明するための図である。
[図 5] (a)は節点の配置について説明するための図であり、 (b)は輪郭の変形につい て説明するための図である。
[図 6]節点間距離の測定について説明するための図である。
[図 7]接続線の設定について説明するための図である。
[図 8]輪郭抽出システム Aの動作における、「撮像画像解析ステップ」と「対象領域設 定ステップ」を説明するためのフローチャートである。
[図 9]輪郭抽出システム Aの動作における、「輪郭抽出ステップ」を説明するためのフ ローチャートである。
[図 10]輪郭抽出システム Aの動作における、「輪郭抽出ステップ」を説明するための 第 2のフローチャートである。
圆 11]従来の輪郭分裂手法を説明するための図である。
圆 12]従来の輪郭分裂手法を説明するための図である。
符号の説明
A 輪郭抽出システム A
1 カメラ
2 撮像画像解析装置
3 輪郭抽出装置
31 対象領域設定手段
31 A 対象距離検出部
31B 対象領域設定部
32 輪郭抽出手段
32A 節点配置部
32B 輪郭変形部
32C 節点間距離測定部
32D 接続線設定部

Claims

請求の範囲
[1] カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装 置であって、
前記輪郭を形成し、予め定義されたエネルギ関数が最小になるように移動する複 数の節点に関し、異なる 2節点間の距離が、前記対象物までの距離に応じて設定さ れる閾値以下となった場合、当該 2節点部に新たな接続線を設けて、前記輪郭を分 裂させることを特徴とする輪郭抽出装置。
[2] カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装 置であって、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する 節点配置部と、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、 前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形部と、 隣り合う節点同士を除ぐ全ての節点の組み合わせについての節点間距離を測定 する節点間距離測定部と、
前記節点間距離が第 1の閾値以下となる 2つの節点が検出された場合、その一方 の節点力 他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定 することで前記輪郭を分裂させる接続線設定部と
を備えたことを特徴とする輪郭抽出装置。
[3] 前記第 1の閾値は、前記対象物までの距離が近いほど大きくなるように設定される ことを特徴とする請求項 2に記載の輪郭抽出装置。
[4] 前記画像から生成した前記対象物の距離情報、動き情報及びエッジ情報に基づ!ヽ て、前記対象物の画素を含む領域を設定する対象領域設定手段をさらに備え、 前記節点配置部は、前記対象領域設定手段によって設定された対象領域の周辺 上に、複数の節点を配置することを特徴とする請求項 2又は請求項 3に記載の輪郭 抽出装置。
[5] 前記対象領域設定手段は、動きが検出されている画素が、第 2の閾値よりも多く検 出されて!/ヽる距離を対象距離とし、該対象距離から所定の前後幅を持つ領域内の画 像を反映した画素のエッジ情報を得て、エッジの検出されて 、る画素の累計値が最 大となっている画素列を中心として対象領域を設定することを特徴とする請求項 4に 記載の輪郭抽出装置。
[6] 前記対象領域設定手段は、前記中心線力 左右に 50cmの幅を有し、かつ、 2mの 高さを有する矩形領域を対象領域として設定することを特徴とする請求項 5に記載の 輪郭抽出装置。
[7] 前記対象領域設定手段は、予め設定された所定数の輪郭が抽出されたか、別の 対象領域が設定できなくなつたと判断されるまで、新たな対象領域の設定処理を繰り 返すことを特徴とする請求項 4力 請求項 6のいずれか 1項に記載の輪郭抽出装置。
[8] 前記対象領域設定手段は、新たな対象領域を設定する際に、既に抽出した輪郭 領域及び対象物が存在しな!ヽと判断された領域以外の領域から、新たな領域を設定 することを特徴とする請求項 7に記載の輪郭抽出装置。
[9] 前記対象領域設定手段は、前記カメラから得られる色情報をも用いて前記対象領 域を設定することを特徴とする請求項 2から請求項 8のいずれか一項に記載の輪郭 抽出装置。
[10] カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための方 法であって、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する 節点配置ステップと、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、 前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形ステップと 隣り合う節点同士を除ぐ全ての節点の組み合わせについての節点間距離を測定 する節点間距離測定ステップと、
前記節点間距離が第 1の閾値以下となる 2つの節点が検出された場合、その一方 の節点力 他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定 することで前記輪郭を分裂させる接続線設定ステップと
を含むことを特徴とする輪郭抽出方法。 カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するために、 コンピュータを、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する 節点配置手段と、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、 前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形手段と、 隣り合う節点同士を除ぐ全ての節点の組み合わせについての節点間距離を測定 する節点間距離測定手段と、
前記節点間距離が第 1の閾値以下となる 2つの節点が検出された場合、その一方 の節点力 他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定 することで前記輪郭を分裂させる接続線設定手段と
として機能させることを特徴とする輪郭抽出プログラム。
PCT/JP2004/009325 2003-07-01 2004-07-01 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム WO2005004060A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/563,064 US7418139B2 (en) 2003-07-01 2004-07-01 Contour extraction apparatus, contour extraction method, and contour extraction program
EP04746794.9A EP1640917B1 (en) 2003-07-01 2004-07-01 Contour extracting device, contour extracting method, and contour extracting program
JP2005511351A JP4523915B2 (ja) 2003-07-01 2004-07-01 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-270070 2003-07-01
JP2003270070 2003-07-01

Publications (1)

Publication Number Publication Date
WO2005004060A1 true WO2005004060A1 (ja) 2005-01-13

Family

ID=33562603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/009325 WO2005004060A1 (ja) 2003-07-01 2004-07-01 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム

Country Status (4)

Country Link
US (1) US7418139B2 (ja)
EP (1) EP1640917B1 (ja)
JP (1) JP4523915B2 (ja)
WO (1) WO2005004060A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309455A (ja) * 2005-04-27 2006-11-09 Tokai Rika Co Ltd 特徴点検出装置及び距離測定装置
JP2015095691A (ja) * 2013-11-08 2015-05-18 株式会社リコー 情報処理装置、情報処理方法およびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672516B2 (en) * 2005-03-21 2010-03-02 Siemens Medical Solutions Usa, Inc. Statistical priors for combinatorial optimization: efficient solutions via graph cuts
JP4516516B2 (ja) * 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
JP2008243184A (ja) * 2007-02-26 2008-10-09 Fujifilm Corp 濃淡画像の輪郭補正処理方法及びその装置
US20110123117A1 (en) * 2009-11-23 2011-05-26 Johnson Brian D Searching and Extracting Digital Images From Digital Video Files
JP5720488B2 (ja) * 2011-08-16 2015-05-20 リコーイメージング株式会社 撮像装置および距離情報取得方法
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
KR101373603B1 (ko) * 2012-05-04 2014-03-12 전자부품연구원 홀 발생 억제를 위한 3d­워핑 방법 및 이를 적용한 영상 처리 장치
CN113781505B (zh) * 2021-11-08 2022-11-18 深圳市瑞图生物技术有限公司 染色体分割方法、染色体分析仪及存储介质
CN114554294A (zh) * 2022-03-04 2022-05-27 天比高零售管理(深圳)有限公司 一种直播内容的过滤和提示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092622A (ja) * 2000-09-14 2002-03-29 Honda Motor Co Ltd 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590261A (en) * 1993-05-07 1996-12-31 Massachusetts Institute Of Technology Finite-element method for image alignment and morphing
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
JPH08329254A (ja) 1995-03-24 1996-12-13 Matsushita Electric Ind Co Ltd 輪郭抽出装置
JP3750184B2 (ja) 1996-04-03 2006-03-01 松下電器産業株式会社 移動物体の抽出装置及び抽出方法
JP3678378B2 (ja) * 1996-09-20 2005-08-03 富士写真フイルム株式会社 異常陰影候補の検出方法および装置
JPH10336439A (ja) * 1997-05-28 1998-12-18 Minolta Co Ltd 画像読取り装置
JPH1156828A (ja) * 1997-08-27 1999-03-02 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
US6031935A (en) * 1998-02-12 2000-02-29 Kimmel; Zebadiah M. Method and apparatus for segmenting images using constant-time deformable contours
JP2001266158A (ja) * 2000-01-11 2001-09-28 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
US20030076319A1 (en) * 2001-10-10 2003-04-24 Masaki Hiraga Method and apparatus for encoding and decoding an object
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092622A (ja) * 2000-09-14 2002-03-29 Honda Motor Co Ltd 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAKAGUCHI Y. ET AL.: "SNAKE parameter no settei ni tsuite no kento", THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS GIJUTSU KENKYU HOKOKU, vol. 90, no. 74, 7 June 1990 (1990-06-07), pages 43 - 49, XP002984776 *
See also references of EP1640917A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309455A (ja) * 2005-04-27 2006-11-09 Tokai Rika Co Ltd 特徴点検出装置及び距離測定装置
JP2015095691A (ja) * 2013-11-08 2015-05-18 株式会社リコー 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
EP1640917A1 (en) 2006-03-29
US20070086656A1 (en) 2007-04-19
EP1640917A4 (en) 2009-09-16
US7418139B2 (en) 2008-08-26
EP1640917B1 (en) 2017-06-14
JP4523915B2 (ja) 2010-08-11
JPWO2005004060A1 (ja) 2006-11-30

Similar Documents

Publication Publication Date Title
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
KR20180087994A (ko) 스테레오 매칭 방법 및 영상 처리 장치
EP2426642A1 (en) Method, device and system for motion detection
US20210343026A1 (en) Information processing apparatus, control method, and program
US9449389B2 (en) Image processing device, image processing method, and program
CN105335955A (zh) 对象检测方法和对象检测装置
KR100651034B1 (ko) 대상 물체 검출 시스템 및 그 방법
KR20140045854A (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2008020598A1 (fr) Dispositif et procédé de détection d&#39;un nombre d&#39;objets
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
WO2005004060A1 (ja) 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム
EP2372652B1 (en) Method for estimating a plane in a range image and range image camera
US8243124B2 (en) Face detection apparatus and distance measurement method using the same
KR20140074201A (ko) 추적 장치
KR20100104272A (ko) 행동인식 시스템 및 방법
KR20200113743A (ko) 인체 자세 추정 및 보정을 하는 방법 및 장치
JP2010039617A (ja) 対象物追跡装置及びプログラム
CN102163335B (zh) 一种无需像机间特征点匹配的多像机网络结构参数自标定方法
KR100994722B1 (ko) 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
JP2006041939A (ja) 監視装置及び監視プログラム
JP4584405B2 (ja) 3次元物体検出装置と3次元物体検出方法及び記録媒体
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
JPH07120416B2 (ja) 高速視覚認識装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005511351

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2004746794

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2004746794

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004746794

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007086656

Country of ref document: US

Ref document number: 10563064

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10563064

Country of ref document: US