WO2010126071A1 - 物体位置推定装置、物体位置推定方法及びプログラム - Google Patents

物体位置推定装置、物体位置推定方法及びプログラム Download PDF

Info

Publication number
WO2010126071A1
WO2010126071A1 PCT/JP2010/057524 JP2010057524W WO2010126071A1 WO 2010126071 A1 WO2010126071 A1 WO 2010126071A1 JP 2010057524 W JP2010057524 W JP 2010057524W WO 2010126071 A1 WO2010126071 A1 WO 2010126071A1
Authority
WO
WIPO (PCT)
Prior art keywords
object candidate
candidate
reliability
visual
degree
Prior art date
Application number
PCT/JP2010/057524
Other languages
English (en)
French (fr)
Inventor
池田浩雄
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201080018812.9A priority Critical patent/CN102414718B/zh
Priority to JP2011511427A priority patent/JP5454573B2/ja
Priority to EP10769769.0A priority patent/EP2426643A4/en
Priority to US13/265,486 priority patent/US8885879B2/en
Publication of WO2010126071A1 publication Critical patent/WO2010126071A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Definitions

  • the present invention relates to an object position estimation device, an object position estimation method, and a program for estimating the position of an object using a plurality of camera images.
  • an object position estimation device, an object position estimation method, and a program are used by a video surveillance system or the like to estimate a position of a target object (a position with respect to a floor plane).
  • a technique related to this kind of object position estimation apparatus is disclosed in Japanese Patent Laid-Open No. 2008-15573 (or related technique).
  • Related art discloses an invention relating to an apparatus that determines the presence of a target object in real space using a plurality of camera images and estimates the position of the target object.
  • a plurality of cameras are arranged so that the fields of view of the cameras overlap each other in a real space (three-dimensional space) where position estimation is to be performed.
  • an image is acquired from each camera, and a moving object region of the target object is extracted using image processing such as a background difference method or an inter-frame difference method.
  • image processing such as a background difference method or an inter-frame difference method.
  • Each camera captures an image of a target in a state in which the camera is calibrated in advance so that the two-dimensional camera image and the coordinates of the three-dimensional real space can be mutually converted.
  • the related art apparatus back-projects the image including the moving object region extracted from each camera onto a designated plane in the real space.
  • the related art apparatus detects the overlap of backprojected moving object regions for all cameras for each plane. In this manner, the related art apparatus determines the presence of the moving object region (target object) in the real space and estimates the position of the object.
  • a related art apparatus may detect, for example, a virtual image object as shown in FIG. 1 in addition to an actual target object with respect to an object in real space obtained from overlapping of the back-projected moving object regions.
  • the related art apparatus estimates the object position from such a false object, the erroneous object position is transmitted to the user as information.
  • the reason why such a problem occurs will be described below.
  • the reason for detecting the false object as shown in FIG. 1 is that the back projection (view volume) of the moving object region is performed in a wide range including the actual target object in the real space, for example, the region S shown in FIG. There is.
  • an overlap called a virtual image object is formed in a real space different from the actual target object.
  • the present invention has been made in view of the above problems, and in a technique for obtaining an object position by a visual volume intersection method, an object position estimation device and an object position capable of reducing erroneous position estimation based on a virtual image object are provided.
  • An object is to provide an estimation method and a program.
  • an object position estimation apparatus includes: An object candidate acquisition unit that estimates an object position by a view volume intersection method and acquires an object candidate, and object candidate information that stores information related to the overlap of object candidates with respect to a view volume of an object obtained based on a captured image A storage unit; A degree-of-interaction acquisition unit that acquires, for an object candidate, an index called a degree of interlock that represents the interoperability of object candidates calculated based on the number of visual volumes including other object candidates that move in conjunction with the movement of the object candidate.
  • an object candidate determination unit that identifies an object candidate as an object or a non-object with a posteriori probability based on the acquired index and outputs the position of the object candidate determined as an object.
  • the object position estimation method obtains an object candidate by estimating an object position by a visual volume intersection method, Stores information related to the overlap between object candidates for the visual volume of the object obtained based on the captured image, Obtain an index for the object candidate indicating the degree of interlock between the object candidates calculated based on the number of visual volumes including other object candidates that move in conjunction with the movement of the object candidate, Identifying an object candidate as an object or a non-object with a posteriori probability based on the acquired index, The position of an object candidate determined as an object is output.
  • the program according to the present invention allows a computer to perform object candidate acquisition processing for acquiring an object candidate by estimating an object position by a visual volume intersection method, and object candidates to each other with respect to a visual volume of an object obtained based on a captured image.
  • Object candidate information storage process for storing information related to the overlap of objects, and the degree of interlocking representing the interlocking between object candidates calculated based on the number of visual volumes including other object candidates that move in conjunction with the movement of the object candidates.
  • the degree-of-interaction acquisition process for acquiring the index for the object candidate, and the object candidate is identified as an object or a non-object with a posteriori probability based on the acquired index, and the position of the object candidate determined as the object is determined. It is made to function as a means to perform the object candidate determination process to output.
  • FIG. 1 is a block diagram showing a configuration according to a first embodiment of the present invention. It is a figure which shows the example of information memorize
  • FIG. 2 is a block diagram showing a configuration according to the first embodiment.
  • the first embodiment will be described with reference to FIG.
  • the storage device 4 includes an object candidate information storage unit 41.
  • the object candidate information storage unit 41 recognizes the object position obtained from the object candidate acquisition unit 31 as a position where an object candidate (object candidate) exists, and stores information on the object candidate together with the position.
  • the object candidate information storage unit 41 stores, for example, information on the position (coordinate on the plane) of the object candidate and information on the overlap of the object candidates with other object candidates with respect to the object candidate.
  • the information regarding the overlap is, for example, whether or not there is an overlap between the object candidates in the view volume generated from the c-th (c: 1 to n natural number) image acquisition unit with respect to the object candidate.
  • the presence / absence of an object candidate to be observed in the field of view of the image acquisition unit of c hereinafter abbreviated as field of view when object candidate is observed, field of absence when not observed
  • number of object candidates in overlapping state It is.
  • Fig. 3 shows an example of this information.
  • the object candidate storage unit 41 also stores information acquired in the past.
  • the data processing device 3 includes an object candidate acquisition unit 31, an overlap state determination unit 32, a reliability acquisition unit 33, an interlocking degree acquisition unit 34, and an object candidate determination unit 35.
  • the object candidate acquisition unit 31 estimates the position of the object using the visual volume intersection method and acquires the object candidate.
  • the object candidate acquisition unit 31 synchronizes the imaging time points of the first image acquisition unit 1 to the n-th image acquisition unit 2, acquires images from these image acquisition units, On the other hand, image processing such as background difference is performed to obtain an image showing the object region.
  • the object candidate acquisition unit 31 acquires an object voxel (a voxel indicating an object) by a visual volume intersection method using a camera parameter and an image indicating the object region acquired in advance. Then, the object candidate acquisition unit 31 votes the number of object voxels with respect to the position on the plane, performs threshold processing, labeling, centroid calculation, and the like to estimate the object position.
  • the object candidate acquisition unit 31 stores each object voxel at this position in the object candidate information storage unit 41 as an object voxel constituting the object candidate.
  • object position estimation acquisition of object candidates
  • FIG. 5 shows that the object candidate acquisition unit 31 estimates the object position by the visual volume intersection shown in FIG. 1 And O 2 It is the example which acquired. Even if an object voxel is generated by the object candidate acquisition unit 31, it may be excluded by subsequent threshold processing by the object candidate acquisition unit 31 and may not become an object candidate.
  • the camera parameters shown above are parameters that associate the two-dimensional coordinates on the screen with the three-dimensional coordinates in the real space.
  • the overlap state determination unit 32 acquires information related to overlap between object candidates.
  • the overlap state determination unit 32 first labels object voxels as object candidates. As shown in FIG.
  • the overlap state determination unit 32 displays the object candidate O i A 3D model (object model) indicating the shape of the target object is placed at the position of and the object voxel included in the model is set as the object candidate O i Label as an object voxel.
  • the overlap state determination unit 32 does not use (or remove) object voxels that do not belong to any object candidate.
  • An example of what form the overlap state determination unit 32 uses as an object model is as follows. For example, if the target object is a pedestrian, the overlap state determination unit 32 uses a cylindrical model or the like. In the description so far, the overlap state determination unit 32 uses an example of labeling object voxels using an object model.
  • the overlap state determination unit 32 performs the object detection. As long as the method can label the voxel, the user may adopt any method.
  • the overlap state determination unit 32 determines each object candidate O i
  • the overlapping state determination unit 32 determines the object candidate O. i With respect to the object voxel labeled in step S1, the presence / absence of the field of view of the camera (whether the field of view can be taken) is examined in the projection direction onto the c-th image acquisition unit.
  • the overlap state determination unit 32 checks whether there is an area that is not obstructed by the obstacle. Furthermore, when there is a camera field of view, the overlap state determination unit 32 determines each object candidate O for the entire projection direction. i Object voxels of other object candidates other than, and each object candidate O i Check whether there is an overlap with. When there is an overlap, the overlap state determination unit 32 extracts all object candidates of the object voxels in the overlap state. An example of the above operation is shown in FIG. Here, the target object voxel is under the following conditions.
  • the overlap state determination unit 32 determines that the object candidate O i
  • the overlap state determination unit 32 determines that the object candidate as a whole is another object candidate. It is determined that they have an overlap of.
  • the overlap state determination unit 32 determines that there is no overlap (no overlap) when the number of overlapping object voxels does not satisfy the condition (1).
  • the overlap state determination unit 32 determines that there is no field of view for the c-th image acquisition unit. . Further, when it is determined that there is an overlap (with overlap), the overlap state determination unit 32 extracts all object candidates having object voxels in the overlap state as object candidates in the overlap state. The overlap state determination unit 32 stores all the information related to the determination of the overlap state in the object candidate information storage unit 41. The overlap state determination unit 32 performs these operations for all object candidates O. i And all the image acquisition units (the c-th).
  • the counting method may be such that there is one object voxel in the same projection direction.
  • the reliability acquisition unit 33 is the object candidate O i
  • Object candidate O i Is determined by the object candidate acquisition unit 31 based on the visual volume intersection method.
  • the reliability acquisition unit 33 uses this to make object candidate O i Is an object or a non-object (virtual image object).
  • the reliability acquisition unit 33 acquires the reliability Ri using Expression (2).
  • Si is the object candidate O i Is the number of visual volumes in units of image acquisition units determined to have a field of view, and is equal to or less than the total number of visual volumes in units of image acquisition units.
  • Li is object candidate O i Is the number of visual volumes in units of image acquisition units determined to have overlap.
  • ⁇ is a coefficient indicating a value of 1 to 2.
  • the reliability Ri indicates a value from 0 to 1.
  • Equation (2) is the object candidate O i
  • the reliability identification unit 33 extracts the Si and Li used in the calculation of Expression (2) from the object candidate information storage unit 41.
  • the reliability Ri may be expressed as in Expression (3) in consideration of the overlap between object candidates.
  • the calculation of ⁇ in Expression (3) and the selection of min are performed by the reliability identification unit 33 for the image acquisition unit (the c-th) determined to have a field of view.
  • the interlocking degree acquisition unit 34 is the object candidate O i
  • the degree of linkage indicating how much other object candidates move in conjunction with the movement of is acquired. Since the virtual image object is formed based on the visual volume of the real object, it always moves in conjunction with the real object. On the other hand, a real object rarely moves in conjunction with other objects, and if the number of real objects is large, it rarely moves in conjunction with other objects. Therefore, in this embodiment, a value called the degree of linkage is defined. Using this, the degree-of-interaction acquisition unit 34 uses the object candidate O.
  • the interlocking degree acquisition unit 34 acquires the interlocking degree Gi using Expression (4).
  • Ki is object candidate O i Is the number of visual volumes including other object candidates that move in conjunction with the movement of the image (the number of visual volumes in units of image acquisition units), and is equal to or less than the total number of visual volumes in units of image acquisition units. (In actuality, the value is equal to or less than the aforementioned Li). A detailed method for obtaining Ki will be described later.
  • ⁇ is a coefficient and indicates a value of 0 to 1.
  • the interlocking degree Gi indicates a value between 0 and 1.
  • Equation (4) is the object candidate O i This means that the greater the number of other object candidates that move in conjunction with the movement, the higher the degree of linkage Gi. Ki is specifically calculated as follows.
  • the interlocking degree acquisition unit 34 uses information stored in the object candidate information storage unit 41 as information necessary for obtaining Ki. First, the interlocking degree acquisition unit 34 selects the object candidate O. i In contrast, other object candidates that are determined to be in an overlapping state in the field of view of the c-th image acquisition unit are extracted (there may be a plurality of object candidates). Next, the interlocking degree acquisition unit 34 determines the current object candidate O i The previous object candidate O that was captured last time closest to the position of i Extract information about (* A).
  • the degree-of-interaction acquisition unit 34 also extracts information on the previous object candidate (* B) that is the closest to the position of the other object candidates (current) in the overlapping state acquired above. (There may be multiple).
  • the interlocking degree acquisition unit 34 stores past object candidates O shown in * A above. i If there is at least one piece of information on other object candidates in the overlapping state of the c-th image acquisition unit corresponding to information on past object candidates extracted in * B, the Ki count is calculated. Increase by one. This is performed for all image acquisition units to obtain Ki.
  • FIG. 7 shows a case where the degree of continuity is counted as an example of processing by the linkage degree acquisition unit 34. Processing is performed in the order of a to e.
  • T Currently T-1: Previous past Process a: O as object candidate 2 (T) (Shown as a cross in the nearest dotted circle in FIG. 7a) is selected.
  • Process b O 2 (T) As another object candidate in the overlapping state of camera A with respect to 3 (T) (Indicated by a circle surrounding the cross within the nearest dotted circle in FIG. 7b).
  • T Currently T-1: Previous past Process a: O as object candidate 2 (T) (Shown as a cross in the nearest dotted circle in FIG. 7a) is selected.
  • Process b O 2 (T) As another object candidate in the overlapping state of camera A with respect to 3 (T) (Indicated by a circle surrounding the cross within the nearest dotted circle in FIG. 7b).
  • Process c Current object candidate is O 2 (T) As the closest previous object candidate, O 2 (T) O located at the end of the block arrow from 2 (T-1) (Shown with a cross at the end of the block arrow c in FIG. 7) is extracted.
  • Process d Other acquired object candidate (current) in overlapping state is O 3 (T) As the closest previous object candidate, O 3 (T) O located at the end of the block arrow from 1 (T-1) (Indicated by a circle surrounding the cross at the end of the block arrow d in FIG. 7).
  • Process e Past object candidate O 2 (T-1) And O 2 (T-1) Among the other object candidates (indicated by a dotted ellipse e in FIG.
  • the camera A overlaps with the past object candidate O 1 (T-1) Check if there is at least one.
  • the object candidate determination unit 35 uses the reliability Ri obtained from the reliability acquisition unit 33 and the interlocking degree Gi obtained from the interlocking degree acquisition unit 34 to obtain an object candidate O in Expression (5). i Find the posterior probability of the object / non-object. And object candidate O i Is identified as an object and a non-object, and the object candidate O determined as an object i Output the position of.
  • Object candidate O determined as a non-object (virtual image object) i Is not output by the object candidate determination unit 35, so that the object position that is erroneously estimated can be reduced.
  • ⁇ i has two states of 0 and 1
  • the prior probability P ( ⁇ i) may be set to 0.5, or may be set as appropriate based on the knowledge of the user.
  • the object candidate determination unit 35 uses the probability density function p (Ri
  • ⁇ i) relating to the reliability Ri, and when ⁇ i 1, the probability density increases as the reliability Ri increases (the possibility of being an object increases). ), A function whose probability density decreases as the value decreases is selected.
  • the object candidate determination unit 35 uses the probability density function p (Gi
  • ⁇ i) related to the interlocking degree Gi, and when ⁇ i 1, the probability density decreases as the interlocking degree Gi increases (the possibility of being an object decreases), A function whose probability density increases as the interlocking degree Gi decreases is selected.
  • the object candidate determination unit 35 sets the integral value of the probability density function to 1.
  • the probability density function is defined as described above, but it may be estimated by learning the probability density function.
  • the object candidate O is obtained by using the reliability Ri obtained from the reliability obtaining unit 33 and the interlocking degree Gi obtained from the interlocking degree obtaining unit 34.
  • FIG. 8 is a flowchart showing the operation according to the first embodiment.
  • the first image acquisition unit 1 to the n-th image acquisition unit 2 acquire an image from a moving image such as a camera or a video.
  • the object candidate acquisition part 31 acquires the image imaged synchronously at the imaging time between n image acquisition parts from each image acquisition part (step S1). Then, the object candidate acquisition unit 31 performs image processing such as background difference on each image to acquire an image indicating the object region, and obtains an object voxel by the visual volume intersection method. Further, the object candidate acquisition unit 31 votes the number of object voxels with respect to the position on the plane, performs threshold processing, labeling, centroid calculation, and the like to estimate the position of the object, and uses the estimated value of each position as the object.
  • the candidate position is recorded in the object candidate information storage unit 41 (step S2).
  • the overlap state determination unit 32 is the object candidate O i
  • the information regarding the overlap of the object candidates in the view volume generated by the c-th image acquisition unit is acquired (step S3).
  • step S3 will be described in more detail according to the flowchart shown in FIG.
  • the overlapping state determination unit 32 generates the object candidate O i
  • An object model indicating the shape of the target object is placed at the position (step S301), and the object voxel included in this object model is set as the object candidate O. i Is labeled as an object voxel (step S302).
  • the overlap state determination unit 32 performs the processing from step 301 to S302 for all object candidates O.
  • Step 303 Step 303
  • all object candidates O i Step 303
  • the processes from step 301 to S302 are repeated until the process is completed.
  • the overlap state determination unit 32 displays all object candidates O i
  • step S303, YES unlabeled object voxels are removed (step S304).
  • step S305 the overlap state determination unit 32 performs processing object candidate O i Is selected (step S305), and the object candidate O to be processed is further selected.
  • i One c-th image acquisition unit is selected (step S306).
  • the overlapping state determination unit 32 generates the object candidate O i One object voxel to be processed to be labeled with is selected (step S308), and the object candidate O i Whether the field of view of the camera is present in the direction of projection onto the c-th image acquisition unit is checked for the object voxel labeled in step S309.
  • the overlap state determination unit 32 checks whether there is an area that is not obstructed by the obstacle.
  • step S312 All voxel object candidates (number i) are extracted (step S313 in FIG. 10).
  • step S309, NO When there is no field of view (FIG. 10, step S309, NO), or when there is no overlap (FIG. 10, step S311, NO), or when step S313 (FIG. 10) is completed, the overlap state determination unit 32
  • the processing from step S308 to step S313 (FIG. 10) is performed as object candidate O. i It is confirmed whether or not all object voxels to be labeled have been performed (FIG. 10, step S314).
  • Object candidate O i If the processing has not been completed for all the object voxels labeled with (No in FIG.
  • the overlap state determination unit 32 repeats the processing from step S308 to S314 (FIG. 10) until the processing is completed. .
  • the overlap state determination unit 32 determines whether or not the condition of the expression (1) is satisfied (FIG. 11, step S317), and the condition is not satisfied. In the case (FIG. 11, step S317, NO), the object candidate O i The c-th image acquisition unit is recorded in the object candidate information storage unit 41 with no overlap in the projection direction (FIG. 11, step S318). If the condition is satisfied (FIG. 11, step S317, YES), the overlap state determination unit 32 determines that the object candidate O i It is assumed that there is an overlap with the projection direction of the c-th image acquisition unit and is recorded in the object candidate information storage unit 41 (FIG. 11, step S320).
  • the overlapping state determination unit 32 records all the object candidates of the object voxels in the overlapping state in the object candidate information storage unit 41 as object candidates in the overlapping state (FIG. 11, step S320).
  • the overlap state determination unit 32 confirms whether the processes of steps S306 to S320 have been performed for all the c-th image acquisition units (FIG. 9, step S321). ) If the processing has not been completed for all the c-th image acquisition units (FIG. 9, step S321, NO), the processing from step S306 to S321 (FIGS. 9, 10, 11) is repeated until the processing is completed. .
  • the processing has been completed for all the c-th image acquisition units (FIG.
  • step S321 the overlapping state determination unit 32 performs the processing from step S305 to S321 (FIGS. 9, 10, and 11) for all object candidates. O i (Step S322), and all object candidates O i If the process has not been completed (step S322, NO), the processes from step S305 to S322 are repeated until the process is completed. All object candidates O i When the process is completed (YES in step S322), the overlap state determination unit 32 ends the process in step S3. Next, the reliability acquisition unit 33 receives the object candidate O i The reliability of the object voxel acquired based on the visual volume intersection method, which is necessary for the determination that is an actual object, is acquired. (FIG. 8, step S4).
  • step S4 will be described in more detail according to the flowchart shown in FIG.
  • the reliability acquisition unit 33 uses the object candidate information storage unit 41 to generate the object candidate O i
  • the number Si of the viewing volume is calculated and acquired in units of image acquisition units determined to have visibility by each image acquisition unit (FIG. 12, step S401).
  • the reliability acquisition unit 33 uses the object candidate information storage unit 41 to detect the object candidate O.
  • the number Li of the visual volume is calculated and acquired in units of image acquisition units determined to be overlapped in each image acquisition unit (FIG. 12, step S402).
  • the reliability acquisition part 33 calculates and acquires reliability Ri by Formula (2) using Si acquired by step S401, and Li acquired by step S402 (FIG. 12, step S403).
  • the reliability acquisition unit 33 performs the processes of steps S401 to S403 for all object candidates O. i (Step S404 in FIG. 12), and all object candidates O i If the process has not been completed (FIG. 12, step S404, NO), the processes from step S401 to S404 are repeated until the process is completed. All object candidates O i When the process is completed (FIG. 12, step S404, YES), the reliability level acquisition unit 33 ends the process of step S4. Next, the degree-of-interaction acquisition unit 34 selects the object candidate O i The degree of interlocking indicating how much other object candidates move in conjunction with the movement of (step S5 in FIG. 8) is acquired.
  • step S5 will be described in more detail according to the flowchart shown in FIG.
  • the degree-of-interaction acquisition unit 34 selects the object candidate O to be processed. i Is selected (step S501 in FIG. 13), and the object candidate O is selected. i A value of the number of visual volumes Ki in units of image acquisition units including other object candidates that move in conjunction with the movement is initialized to 0 (FIG. 13, step S502). Next, the degree-of-interaction acquisition unit 34 selects the object candidate O i One c-th image acquisition unit with respect to is selected (FIG. 13, step S503), and the object candidate O i On the other hand, other object candidates in the overlapping state of the c-th image acquisition unit are extracted from the object candidate information storage unit 41 (FIG.
  • step S504 the interlocking degree acquisition unit 34 displays the current object candidate O i Past object candidate O closest to the position of i Is extracted from the object candidate information storage unit 41 (FIG. 13, step S505). Further, the linkage degree acquisition unit 34 extracts, from the object candidate information storage unit 41, information on the past object candidate closest to the position of the other object candidates (current) in the overlapping state acquired in step S504. (FIG. 13, step S506). Then, the interlocking degree acquisition unit 34 acquires the past object candidate O acquired in step S505 (FIG. 13). i Other object candidates in the overlapping state of the c-th image acquisition unit with respect to are extracted from the object candidate information storage unit 41 (FIG. 13, step S507).
  • step S510 the interlocking degree acquisition unit 34 repeats the processing from step S503 to S510 (FIG. 13) until the processing is completed.
  • the interlocking degree acquiring unit 34 calculates and acquires the interlocking degree Gi using Equation (4) using the acquired Ki. (FIG. 13, step S511).
  • step S511 the interlocking degree acquisition unit 34 performs the processing from step S501 to S511 (FIG. 13) for all object candidates O. i (Step S512 in FIG. 13).
  • step S512 If the process has not been completed (FIG. 13, step S512, NO), the interlocking degree acquisition unit 34 repeats the processes from steps S501 to S512 (FIG. 13) until the process is completed. All object candidates O i When the process is completed (FIG. 13, step S512, YES), the interlocking degree acquisition unit 34 ends the process of step S5 (FIG. 8).
  • the object candidate determination unit 35 selects the object candidate O i The posterior probability of the object / non-object of the object candidate O i Is identified as an object and a non-object, and an object candidate O determined as an object i Is output (FIG. 8, step S6). Step S6 will be described in more detail according to the flowchart shown in FIG.
  • the object candidate determination unit 35 selects the object candidate O to be processed. i Is selected (FIG. 14, step S601). Then, the object candidate determination unit 35 uses the reliability Ri obtained from the reliability acquisition unit 33 and the interlocking degree Gi obtained from the interlocking degree acquisition unit 34 to express the object candidate O in Expression (5). i The posterior probability of the object / non-object is acquired (FIG. 14, step S602). Then, the object candidate determination unit 35 determines whether or not the posterior probability of the object is larger than the posterior probability of the non-object (FIG. 14, step S603), and if so (FIG. 14, step S603, YES), the object candidate O i Are output (FIG. 14, step S604). When not large (FIG.
  • step S603, NO or when the process of step S604 (FIG. 14) is completed, the object candidate determination unit 35 performs the processes from step S601 to S604 (FIG. 14) for all object candidates. O i (Step S605 in FIG. 14). And all object candidates O i If the process has not been completed (FIG. 14, step S605, NO), the object candidate determination unit 35 repeats the processes from step S601 to S605 (FIG. 14) until the process is completed. All object candidates O i When the process is completed (FIG. 14, step S605, YES), the process of step S6 is terminated. Next, the effect of the first embodiment will be described.
  • an object candidate obtained by the visual object intersection method is identified as an object and a non-object with a posteriori probability using two indices of reliability or interlocking degree, and only object candidates determined as objects are identified. Since it is configured to output the object position, the object position that is erroneously estimated as a virtual image object can be reduced. Furthermore, by using two indexes of reliability and interlocking, the object position that is erroneously estimated can be further reduced.
  • the reliability is characterized by the fact that all the visual volumes that make up the virtual object overlap the visual volumes that make up the real object, and that the possibility of a virtual image object increases as the overlap increases. Can do.
  • FIG. 15 is a block diagram showing a configuration according to the second embodiment.
  • the second embodiment has a configuration in which a data processing device 200 is obtained by adding a continuity obtaining unit 36 to the data processing device 2 in the first embodiment shown in FIG. 2.
  • some of the contents of the object candidate information storage unit 41, the reliability acquisition unit 33, and the object candidate determination unit 35 are changed from those of the first embodiment.
  • the object candidate information storage unit 41 stores the reliability Ri obtained by the reliability acquisition unit 33 in addition to the contents stored in the first embodiment.
  • the reliability obtaining unit 33 stores the obtained reliability Ri in the object candidate information storage unit 41 in addition to the contents stored in the first embodiment.
  • the continuity acquisition unit 36 displays the current object candidate O i For the past object candidate O i Object candidate O continuously in space-time i Acquires the continuity indicating whether or not exists.
  • the index of continuity is the object candidate O i
  • the previous object candidate O acquired by the object candidate acquisition unit last time is closest to the position of i Find by extracting. Specifically, this index indicates the current object candidate O i Position and past object candidate O i Distance di (space direction index) with the position of the object and past object candidate O i Reliability Ri ′ (index in the time direction).
  • Object candidate O i If the object is an object, the object candidate O continuously in space-time i would have existed. In other words, in the past, the current object candidate O i There was an effective visual volume intersection in the vicinity of. The smaller di, the index in the spatial direction, confirms that it was continuously present.
  • Ri ′ which is the index in the time direction
  • Object candidate O i Is a virtual image object, there is no continuous object in time and space, and di that is an index in the spatial direction is much larger than in the case where it is continuously present, or Ri that is an index in the time direction. 'Is much lower than if it existed continuously.
  • the continuity acquisition unit 36 uses information stored in the object candidate information storage unit 41 as information for obtaining an index of continuity.
  • the distance d i And reliability R i ′ Is the class ⁇ as shown above i Under (object / non-object [virtual image object]) it can be assumed that it is not independent.
  • the object candidate determination unit 35 adds the distance di and the reliability Ri ′ obtained from the continuity acquisition unit 36 to the first embodiment, and uses the object candidate O in Expression (6). i
  • the a posteriori probability of the object / non-object is obtained.
  • di and Ri ′ are not independent, the form of P (di, Ri ′
  • a function with a lower probability density is selected as the reliability Ri ′ is lower.
  • the object candidate determination unit 35 uses the probability density function P (di, Ri ′
  • the probability density function is defined as described above, but may be estimated by learning the probability density function.
  • step S403 is changed as follows. Using the Si acquired in step S401 and the Li acquired in step S402, the reliability acquisition unit 33 calculates and acquires the reliability Ri using Equation (2) and records it in the object candidate information storage unit 41 (step S403). ). Next, the operation of step S7 shown in FIG. 16 is added to FIG.
  • the continuity acquisition unit 36 is the object candidate O i For past object candidate O i Object candidate O continuously in space-time i
  • the degree of continuity indicating whether or not exists is acquired (step S7 in FIG. 16). Step S7 will be described in more detail according to the flowchart shown in FIG.
  • the continuity acquisition unit 36 selects the object candidate O to be processed. i Is selected (FIG. 17, step S701), and the current object candidate O is selected. i
  • the previous object candidate O acquired by the object candidate acquisition unit last time is closest to the position of i
  • the information regarding is extracted from the object candidate information storage unit 41 (FIG. 17, step S702).
  • the continuity acquisition unit 36 displays the current object candidate O i Position and past object candidate O i A distance di (continuity: index in the spatial direction) is calculated and acquired (FIG. 17, step S703). Further, the continuity acquisition unit 36 extracts the previous object candidate O acquired by the object candidate acquisition unit last time extracted in step S702. i Is obtained from the object candidate information storage unit 41 (FIG. 17, step S704). When the processing of step S704 (FIG. 17) is completed, the continuity acquisition unit 36 performs the processing from steps S701 to S704 (FIG. 17) for all object candidates O. i Is confirmed (FIG. 17, step S705). All object candidates O i If the processing has not been completed (FIG.
  • step S705, NO the continuity acquisition unit 36 repeats the processing from steps S701 to S705 (FIG. 17) until the processing is completed. All object candidates O i When the process is completed (FIG. 17, step S705, YES), the continuity acquisition unit 36 ends the process of step S7.
  • the operation shown in FIG. 14 (FIG. 14, step S602) is changed as follows.
  • the object candidate determination unit 35 determines the reliability Ri obtained from the reliability acquisition unit 33, the linkage degree Gi obtained from the linkage degree acquisition unit 34, the distance di obtained from the continuity degree acquisition unit 36, and past object candidates.
  • O i Of the object candidate O in Equation (6) using the reliability Ri ′ of i Get the posterior probability of the object / non-object.
  • the second embodiment uses the feature that real objects exist continuously in space and time.
  • the object candidate determination unit 35 uses the two indexes of the distance between the current object candidate and the corresponding past object candidate and the reliability of the past object candidate in the first embodiment. Add to index and calculate posterior probability. Then, according to the result, the object candidate determination unit 35 distinguishes the object candidate obtained by the visual volume intersection method into an object and a non-object. Since the object candidate determination unit 35 is configured to output only the object position of the object candidate determined to be an object, the object position erroneously estimated as a virtual image object can be further reduced.
  • a third embodiment will be described in detail with reference to the drawings. Referring to FIG.
  • the storage device 4 including the first image acquisition unit 1 to the n-th image acquisition unit 2 and the object candidate information storage unit 41 similar to the first embodiment includes: It is connected to the computer 100.
  • a computer-readable storage medium 102 that stores the object position estimation program 101 is connected to the computer 100.
  • the computer-readable storage medium 102 is composed of a magnetic disk, a semiconductor memory, or the like, and the object position estimation program 101 stored therein is read by the computer 100 when the computer 100 is started up.
  • the computer 100 can function as the respective units 31 to 35 in the data processing apparatus 3 in the first embodiment described above to perform the processing shown in FIGS.
  • the object position estimation apparatus according to the first embodiment is realized by a computer and a program.
  • the object position estimation apparatus can also be realized by a computer and a program. is there.
  • the risk that the object candidate determination unit 35 estimates a wrong object position as an actual object with respect to the object position obtained by the visual volume intersection method is reduced.
  • the object candidate discriminating unit 35 discriminates a real object and a virtual image object by using an index of reliability or interlocking degree or both, and excludes the virtual image object from the object position obtained by the visual volume intersection method. It is because it is doing.
  • the reliability is characterized by the fact that the entire visual volume constituting the virtual image object overlaps the visual volume constituting the real object, and that the possibility of the virtual image object increases as the overlap increases. be able to.
  • the degree of interlocking is characterized by the fact that the virtual image object moves in conjunction with the movement of the real object, and that the possibility of the virtual image object increases by increasing the number of interlocking of the real object with respect to the virtual image object. be able to.
  • the overlap state determination unit 32 obtains the number of visual volumes determined to overlap with another object candidate based on the information stored in the object candidate information storage unit 41, You may make it have the reliability acquisition part which acquires with respect to the said object candidate the reliability of the visual volume intersection information calculated based on the number as a parameter
  • the present invention is based on the fact that real objects exist continuously in space-time, and the distance between the current object candidate and the corresponding past object candidate, and the visual volume intersection information in the past object candidate. You may make it have the continuity acquisition part acquired with respect to the said object candidate by using the reliability showing reliability as a parameter
  • the interlocking degree acquisition unit of the present invention acquires the number of visual volumes including other object candidates that move in conjunction with the movement of the object candidate, and presets the value as a reciprocal by adding 1 to the number of visual volumes. A value obtained by multiplying the obtained coefficient may be subtracted from 1 to calculate the degree of linkage. Further, the reliability acquisition unit of the present invention may obtain the reliability by the following procedures a to c.
  • the reliability acquisition unit obtains the number of visual volumes determined to have a field of view in the visual volume obtained based on the image captured for the object candidate and the image captured for the object candidate. The number of viewing volumes determined to overlap with other object candidates in the determined viewing volume is acquired.
  • the reliability acquisition unit sets the reliability value to 1 when the number of the determined visual volumes in a is different.
  • the reliability acquisition unit calculates a reliability obtained by multiplying a reciprocal of the number of the visual volumes determined to be overlapped by a predetermined coefficient.
  • the past object candidate in the continuity acquisition unit of the present invention may be obtained by extracting a past object candidate imaged at the time of the image acquisition unit synchronous imaging closest to the current object candidate position.
  • the overlap state determination unit 32 obtains the number of visual volumes determined to have an overlap with another object candidate with respect to the object candidate based on the information stored in the object candidate information storage step, You may make it have the reliability acquisition process which acquires with respect to the said object candidate by using the reliability of the visual volume intersection information calculated based on the number as a parameter
  • the present invention is based on the fact that real objects exist continuously in space-time, and the distance between the current object candidate and the corresponding past object candidate, and the visual volume intersection information in the past object candidate. You may make it have the continuity acquisition process acquired with respect to the said object candidate by using the reliability showing reliability as a parameter
  • index index
  • index index
  • index index
  • the reliability acquisition unit is obtained based on the number of visual volumes determined to have a field of view in the visual volume obtained based on the image captured for the object candidate and the image captured for the object candidate. The number of viewing volumes determined to overlap with other object candidates in the determined viewing volume is acquired.
  • the reliability acquisition unit sets the reliability value to 1 when the number of the determined visual volumes in a is different.
  • the reliability acquisition unit calculates a reliability by multiplying a reciprocal of the number of the visual volumes determined to be overlapped by a predetermined coefficient.
  • the acquisition of past object candidates in the continuity acquisition step of the present invention may be obtained by extracting a past object candidate imaged at the time of image capturing unit synchronous imaging closest to the current object candidate position. .
  • the object position estimation apparatus may be configured to execute a reliability acquisition process for acquiring the object candidate using the reliability of the visual volume intersection information calculated based on the number as an index of reliability. good.
  • the present invention also provides a software program based on the fact that real objects exist continuously in space-time, and the distance between the current object candidate and the corresponding past object candidate and the view in the past object candidate.
  • the object position estimation apparatus may be caused to execute a continuity acquisition process for acquiring the object candidate using the reliability indicating the reliability of the volume intersection information as an index of continuity. Further, in the interlocking degree acquisition process of the present invention, the number of visual volumes including other object candidates that move in conjunction with the movement of the object candidate is acquired by a software program, and 1 is added to the number of visual volumes to obtain an inverse number.
  • the object position estimation apparatus may be configured to calculate the degree of interlocking by subtracting a value obtained by multiplying a value by a predetermined coefficient from 1 to calculate the degree of linkage.
  • the reliability acquisition processing of the present invention may be executed by the software program by the object position estimation apparatus as follows.
  • the reliability acquisition unit calculates a reliability by multiplying a reciprocal of the number of the visual volumes determined to be overlapped by a predetermined coefficient.
  • acquisition of past object candidates in the continuity acquisition processing of the present invention is obtained by extracting a past object candidate captured at the time of image capturing unit synchronous imaging closest to the current object candidate position by a software program. May be executed by the object position estimation apparatus.
  • an object position estimation device used for intruder detection, suspicious person detection, suspicious object left-over detection, and luggage in the monitoring field.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

視体積交差法によって物体位置を求める技術において、虚像物体をもとになされる誤った位置推定を低減することを課題とした、視体積交差法により物体位置を推定し物体候補を取得する物体候補取得手段と、撮像された画像を基に得られる物体の視体積に対して物体候補同士の重なりに関する情報を記憶する物体候補情報記憶手段と、物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に基づいて計算される物体候補同士の連動性を表す連動度という指標を物体候補に対して取得する連動度取得手段と、取得された前記指標に基づいて事後確率にて物体候補を物体または非物体に識別して、物体と判定された前記物体候補の位置を出力する物体候補判定手段と、を有する物体位置推定装置。

Description

物体位置推定装置、物体位置推定方法及びプログラム
　本発明は、複数のカメラ画像を用いて物体の位置を推定する物体位置推定装置、物体位置推定方法及びプログラムに関する。
　従来、物体位置推定装置、物体位置推定方法及びプログラムは、映像監視システムなどが、対象物体の位置（床平面に対する位置）を推定する為に用いられている。この種の物体位置推定装置に関連する技術が特開２００８−１５５７３号公報（又は関連技術という）に開示されている。関連技術には、複数のカメラ画像を用いて実空間上における対象物体の存在を判定し、対象物体の位置を推定する装置についての発明が開示されている。関連技術の対象物体の位置を推定する装置の方法は、そこでの位置推定を行いたい実空間（３次元空間）に対してカメラの視界が互いに重なるように複数のカメラを配置する。そして各カメラから画像を取得し、背景差分法やフレーム間差分法などの画像処理を用いて対象物体の動体領域を抽出する。
　各カメラは、２次元のカメラ画像と３次元の実空間の座標が相互変換できるように、予めカメラキャリブレーションされている状態で対象を撮像する。次にこの関連技術の装置は、各カメラから抽出された動体領域を含む画像を、実空間内の指定された平面へ逆投影する。次にこの関連技術の装置は、各平面毎に、全てのカメラに対する逆投影された動体領域の重なりを検出する。このようにして、この関連技術の装置は、実空間における動体領域（対象物体）の存在を判定し、物体の位置を推定する。
　利用者が関連技術に記載されている方法をとると、次のような問題が生じることがある。関連技術の装置は、逆投影された動体領域の重なりから得られる実空間上の物体に対して、実際の対象物体の他に、例えば図１に示すような虚像物体を検出する場合がある。関連技術の装置が、このような虚偽物体から物体位置を推定すると、誤った物体位置を利用者に情報として伝えることになってしまう。このような問題が発生する理由を以下に説明する。
　図１のような虚偽物体を検出する原因は、動体領域の逆投影（視体積）が、例えば図１に示される領域Ｓのように、実空間において実際の対象物体を含む広い範囲で行われることにある。その結果、カメラＡ、カメラＢの位置や方向と対象物体との相対的な位置関係によって、実際の対象物体とは異なる実空間で虚像物体という重なりを形成することになる。
　本発明は、上記問題点に鑑みてなされたもので、物体位置を視体積交差法によって求める技術において、虚像物体をもとになされる誤った位置推定を、低減できる物体位置推定装置、物体位置推定方法及びプログラムを提供することを目的とする。
　上記課題を解決するため、本発明に係る物体位置推定装置は、
視体積交差法により物体位置を推定し物体候補を取得する物体候補取得部と、撮像された画像を基に得られる物体の視体積に対して物体候補同士の重なりに関する情報を記憶する物体候補情報記憶部と、
物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に基づいて計算される物体候補同士の連動性を表す連動度という指標を物体候補に対して取得する連動度取得部と、取得された前記指標に基づいて事後確率にて物体候補を物体または非物体に識別して、物体と判定された前記物体候補の位置を出力する物体候補判定部と、を有することを特徴とする。
　また本発明に係る物体位置推定方法は、視体積交差法により物体位置を推定し物体候補を取得し、
撮像された画像を基に得られる物体の視体積に対して物体候補同士の重なりに関する情報を記憶し、
物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に基づいて計算される物体候補同士の連動性を表す連動度という指標を物体候補に対して取得し、
取得された前記指標に基づいて事後確率にて物体候補を物体または非物体に識別して、
物体と判定された物体候補の位置を出力することを特徴とする。
　また本発明のプログラムは、コンピュータを、視体積交差法により物体位置を推定し物体候補を取得する物体候補取得処理と、撮像された画像を基に得られる物体の視体積に対して物体候補同士の重なりに関する情報を記憶する物体候補情報記憶処理と、物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に基づいて計算される物体候補同士の連動性を表す連動度という指標を物体候補に対して取得する連動度取得処理と、取得された前記指標に基づいて事後確率にて物体候補を物体または非物体に識別して、物体と判定された物体候補の位置を出力する物体候補判定処理と、を実行させる手段として機能させることを特徴とする。
　本発明により、物体位置を視体積交差法によって求める技術において、虚像物体をもとに、物体位置の誤った推定を行うことを、低減することが可能になる。
従来技術の問題点である虚像物体の定義とその生成される状況を示す図である。 本発明の第１の実施形態に係る構成を示すブロック図である。 第１の実施形態に係る物体候補情報記憶手段に記憶された情報例を示す図である。 第１の実施形態に係る視体積交差法による物体候補の取得例を示す図である。 第１の実施形態に係る物体モデルを用いてラベルを付けられた物体ボクセルの例を示す図である。 第１の実施形態に係る物体ボクセル単位での重なりに関する情報の取得を示す図である。 第１の実施形態に係る連動度Ｇｉの取得に必要なＫｉを算出する為の処理イメージを示す図である。 本発明の第１の実施形態に係る動作を示すフローチャート図である。 本発明の第１の実施形態に係る動作を示すフローチャート図である。 本発明の第１の実施形態に係る動作を示すフローチャート図である。 本発明の第１の実施形態に係る動作を示すフローチャート図である。 本発明の第１の実施形態に係る動作を示すフローチャート図である。 本発明の第１の実施形態に係る動作を示すフローチャート図である。 本発明の第１の実施形態に係る動作を示すフローチャート図である。 本発明の第２の実施形態に係る構成を示すブロック図である。 本発明の第２の実施形態に係る動作を示すフローチャート図である。 本発明の第２の実施形態に係る動作を示すフローチャート図である。 本発明の第３の実施形態に係る構成を示すブロック図である。 本発明の第１の実施形態に係る別な構成を示すブロック図である。 本発明の第１の実施形態に係るさらに別な構成を示すブロック図である。
　次に、本発明の第１の実施形態について図面を参照して詳細に説明する。
　図２は第１の実施形態に係る構成を示すブロック図である。図２を参照して第１の実施形態について説明する。
　本実施形態は、カメラやビデオ等の動画像から画像を取得する第１の画像取得部１~第ｎの画像取得部２のｎ個の画像取得部と、プログラム制御により動作するデータ処理装置３と、情報を記憶する記憶装置４と、を備えて構成される。
　記憶装置４は、物体候補情報記憶部４１を備える。物体候補情報記憶部４１は、物体候補取得部３１から得られる物体位置を、物体の候補（物体候補）の存在する位置と認識し、その物体候補に関する情報を、その位置と共に記憶している。
　物体候補情報記憶部４１は、例えば、物体候補の位置（平面上の座標）情報や、その物体候補に対する他の物体候補との物体候補同士の重なりに関する情報を記憶している。重なりに関する情報とは、例えば、物体候補に対して第ｃ（ｃ：１~ｎの自然数）の画像取得部から生成される視体積での物体候補同士の重なりに関して、重なりの有無や、この第ｃの画像取得部の視界の中に観察される物体候補の有無（以降、物体候補が観察される場合は視界有り、観察されない場合は視界無し、と略す）、重なり状態にある物体候補の番号である。
　図３に、これらの情報を記載した例を示す。
ここでＯの添え字であるｉは
　　ｉ：１~ｍ　ｍ＝３
画像取得手段の番号ｃは
　　ｃ：１~ｎ　ｎ＝２
である。
また、重なりの有無と視界の有無の列の数字、記号はそれぞれ、
　　１：重なり有り（視界有り）
　　０：重なり無し（視界有り）
　　−：視界無し
を表す。
また、前述のこれらの情報に関しては、過去に取得されたものについても、物体候補記憶部４１が、記憶している。
　データ処理装置３は、物体候補取得部３１と、重なり状態判定部３２と、信頼度取得部３３と、連動度取得部３４と、物体候補判定部３５と、を備える。
　物体候補取得部３１は、視体積交差法を用いて物体の位置を推定し、物体候補を取得する。具体的には、物体候補取得部３１は、第１の画像取得部１~第ｎの画像取得部２の撮像時点を同期させて、これら画像取得部から画像を取得し、これらの各画像に対して背景差分等の画像処理を施し物体領域を示す画像を取得する。物体候補取得部３１は、予め取得したカメラパラメータと物体領域を示す画像を用いて、視体積交差法により物体ボクセル（物体を示すボクセル）を取得する。
　そして物体候補取得部３１は、平面上の位置に対して物体ボクセルの数を投票し、閾値処理、ラベリング、重心計算等を行って、物体位置を推定する。物体候補取得部３１は、この位置のそれぞれの物体ボクセルを、物体候補を構成する物体ボクセルとして、物体候補情報記憶部４１に記憶する。
　上記では、物体位置推定（物体候補の取得）の一例を示したが、視体積交差法を用いて物体位置を推定する方法であればどんな方法でもよい。
　図５は、物体候補取得部３１が、図４に示す視体積交差によって物体位置を推定し物体候補Ｏ１とＯ２とを取得した例である。物体候補取得部３１によって物体ボクセルが生成されても、その後の、物体候補取得部３１による閾値処理等で排除され、物体候補とならない場合もある。
　また上記で示したカメラパラメータとは、画面上の２次元座標と実空間上の３次元座標を対応づけるパラメータである。すなわち、２次元座標と３次元座標との間の変換パラメータ、画像取得部の３次元座標で表した位置、画像取得部の３次元空間あるいは２次元平面内の向きなどを指すものである。画像取得部から得られた画像の２次元座標と実空間の３次元座標は、物体候補取得部３１が、各画像取得部に対応したカメラパラメータを用いて変換処理を行うことにより、相互に変換することが可能となる。
　重なり状態判定部３２は、物体候補同士の重なりに関する情報を取得する。重なり状態判定部３２は、まず、物体ボクセルを物体候補としてラベリングする。
　図５に示すように、重なり状態判定部３２は、物体候補Ｏｉの位置に対象物体の形状を示す３Ｄモデル（物体モデル）を配置し、モデルに含まれる物体ボクセルをその物体候補Ｏｉに対する物体ボクセルとしてラベリングする。重なり状態判定部３２は、どの物体候補にも属さない物体ボクセルは利用しない（もしくは除去する）。
　重なり状態判定部３２が、物体モデルとしてどのような形の物を使うかについて例を挙げると、例えば対象物体が歩行者ならば、重なり状態判定部３２は円筒形のモデルなどを利用する。これまでの説明では、重なり状態判定部３２は、物体モデルを用いて物体ボクセルをラベリングする例を用いたが、物体候補の位置に対象物体が存在すると仮定した場合に重なり状態判定部３２が物体ボクセルをラベリングできる方法であれば、利用者はどんな方法を採用してもよい。
　次に、重なり状態判定部３２は、各物体候補Ｏｉに対し、第ｃの画像取得部が生成する視体積において、物体候補同士の重なりに関する情報を取得する。まず、重なり状態判定部３２は、物体候補Ｏｉでラベリングされる物体ボクセルに対し、第ｃの画像取得部への投影方向において、カメラの視界の有無（視界がとれるかどうか）を調べる。この際、重なり状態判定部３２は、カメラの視界に障害物が存在する場合は、この障害物にさえぎられていない領域があるかどうかについて調べる。さらにカメラの視界が有る場合、重なり状態判定部３２は、投影方向全体に対して、各物体候補Ｏｉ以外の他の物体候補の物体ボクセルと、各物体候補Ｏｉとの重なりが有るか否かについて調べる。重なりが有る場合、重なり状態判定部３２は、重なり状態にある物体ボクセルの物体候補全てを抽出する。
　上記操作の例を図６に示す。ここで対象の物体ボクセルは下記のような条件下にある。
　視界の有無：有
　重なりの有無：有
　重なり状態にある物体ボクセルの物体候補：Ｏ２
この操作を重なり状態判定部３２は、物体候補Ｏｉでラベリングされる物体ボクセル全てについて行い、式（１）を用いて重なり状態を判定する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Ｆｉ，ｃは物体候補Ｏｉの第ｃの画像取得部に対する視界有りの物体ボクセルの数、Ｅｉ，ｃは物体候補Ｏｉの第ｃの画像取得部の投影方向に対する重なり有りの物体ボクセルの数、ｔｈ１は閾値、である。
　式（１）の条件を満たす場合、重なり状態判定部３２は、物体候補Ｏｉに対して第ｃの画像取得部から生成される視体積上に、物体候補同士の重なりが有るとする。このことを言い換えると、物体候補の物体ボクセル全体が他の物体候補の物体ボクセルとほぼ重なっているという状況をもとに、重なり状態判定部３２が、物体候補はそれ全体として他の物体候補との重なりを有していると判定したことになる。ちなみに、重なり状態判定部３２は、重なり有りの物体ボクセルの数が（１）の条件を満たさない場合は、重なりが無いと判定する（重なり無し）。
　また、Ｆｉ，ｃ＝０の場合、つまり、第ｃの画像取得部に対して視界が全く無い場合、重なり状態判定部３２は、第ｃの画像取得部に対しての視界は無しと判定する。さらに、重なり状態判定部３２は、重なりが有ると判定した場合（重なり有り）、重なり状態にある物体ボクセルを有する物体候補全てを重なり状態にある物体候補として抽出する。重なり状態判定部３２は、これらの、重なり状態の判定に関する全ての情報を物体候補情報記憶部４１に記憶する。
　重なり状態判定部３２は、これらの操作を、全ての物体候補Ｏｉと全ての画像取得部（第ｃ）に対して行なう。また、重なり状態判定部３２が、Ｅｉ，ｃ、Ｆｉ，ｃの物体ボクセルの数える際のルールについては、同じ投影方向の物体ボクセルは１つとするという数え方でも良い。
　信頼度取得部３３は、物体候補Ｏｉが実在する物体であるという決定に必要な、視体積交差法により取得した物体ボクセルの情報に関して、その信頼度を取得する。物体候補Ｏｉは、視体積交差法に基づいて、物体候補取得部３１により決定されている。全ての画像取得部の視体積が他の物体候補と重なる場合、虚像物体である可能性がある。よって情報の信頼度は低下する。さらに、他の物体候補と重なる数が多ければ信頼度はより低下する。
　そこで、本実施形態は信頼度という値を定義した。信頼度取得部３３は、これを利用して、物体候補Ｏｉが物体であるか非物体（虚像物体）であるかを識別する。信頼度取得部３３は信頼度Ｒｉを式（２）を用いて取得する。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Ｓｉは、物体候補Ｏｉに対し視界有りと判定された画像取得部を単位とする視体積の数であり、画像取得部を単位とする視体積の総数以下の値となる。Ｌｉは物体候補Ｏｉに対し重なり有りと判定された画像取得部を単位とする視体積の数である。αは係数で、１~２の値を示す。信頼度Ｒｉは０~１の値を示すことになる。
　式（２）は、物体候補Ｏｉに対し視界有りの各画像取得部の視体積において全てに重なり（Ｓｉ＝Ｌｉ）が生じる場合、その重なりが多いほど信頼度が低くなることを意味する。また、１つでも重なりが無い画像取得部がある場合には虚像物体である可能性がないので、信頼度識別部３３は、視体積交差の情報に関する信頼度は高いと判断する（Ｒｉ＝１）。式（２）の計算で用いたＳｉ、Ｌｉについては信頼度識別部３３が物体候補情報記憶部４１から抽出する。
　また、信頼度Ｒｉは、物体候補間の重なり具合を考慮して式（３）のように表しても良い。式（３）のΣの計算及びｍｉｎの選択は、視界有りと判定された画像取得部（第ｃ）に対して信頼度識別部３３が行なう。
Figure JPOXMLDOC01-appb-M000003
 　連動度取得部３４は、物体候補Ｏｉの移動に合わせ他の物体候補がどのくらい連動して動くかを示す連動度を取得する。虚像物体は、実物体の視体積を元に形成されるので必ず実物体と連動して動く。一方、実物体は他の物体と完全に連動して動くことは少なく、実物体の数が多ければより他の物体と連動して動くことはより稀である。
　そこで、本実施形態では連動度という値を定義した。これを利用して、連動度取得部３４は物体候補Ｏｉを物体と非物体（虚像物体）とに識別する。連動度取得部３４は連動度Ｇｉを式（４）を用いて取得する。
Figure JPOXMLDOC01-appb-M000004
 　ここで、Ｋｉは物体候補Ｏｉの移動に対し連動して動く他の物体候補を含む視体積の数（画像取得部を単位とした視体積の数）であり、画像取得部を単位とする視体積の総数以下の値となる（実際には前述のＬｉ以下の値となる）。Ｋｉの詳細な求め方については後述する。βは係数であり、０~１の値を示す。連動度Ｇｉは０~１の値を示すことになる。
　式（４）は、物体候補Ｏｉの移動に対し連動して動く他の物体候補が多いほど連動度Ｇｉが、高くなることを意味する。
　Ｋｉは具体的には次のように求める。連動度取得部３４は、Ｋｉを求める為に必要な情報として、物体候補情報記憶部４１に記憶された情報を利用する。まず、連動度取得部３４は、物体候補Ｏｉに対して第ｃの画像取得部の視界で重なり状態にあると判定される他の物体候補を抽出する（複数の場合もある）。次に、連動度取得部３４は、現在の物体候補Ｏｉの位置に最も近い前回撮像された過去の物体候補Ｏｉ（※Ａ）に関する情報を抽出する。さらに、連動度取得部３４は、上記で取得した重なり状態にある他の物体候補（現在）についても、それらの位置に最も近い１つ前の過去の物体候補（※Ｂ）に関する情報を抽出する（複数の場合もある）。
　連動度取得部３４は、上記の※Ａに示す過去の物体候補Ｏｉに対する第ｃの画像取得部の重なり状態にある他の物体候補に関する情報の中に、※Ｂで抽出した過去の物体候補に関する情報と一致するものが１つでも存在する場合にはＫｉのカウントを１増加させる。これを全ての画像取得部に対して行いＫｉを求める。図７に連動度取得部３４による処理の例として、連続度をカウントする場合を示す。処理はａ~ｅの順に行われる。この図においてはｔ、ｔ−１を以下のように定義する。
　　ｔ：　　現在
　　ｔ−１：一つ前の過去
処理ａ：物体候補としてＯ２ （ｔ）（図７のａの直近の点線丸の中に十字で示したもの）を選択する。
処理ｂ：Ｏ２ （ｔ）に対するカメラＡの重なり状態にある他の物体候補としてＯ３ （ｔ）（図７のｂの直近の点線丸の中に十字を囲う丸で示したもの）を抽出する。なお、カメラＢの視界にも重なり状態にある他の物体候補が存在するが、図７ではカメラＡの視界のみを例として示している。
処理ｃ：現在の物体候補をＯ２ （ｔ）とし、最も近い１つ前の過去の物体候補として、Ｏ２ （ｔ）からのブロック矢印の先に位置している、Ｏ２ （ｔ−１）（図７のブロック矢印ｃの先に十字で示したもの）を抽出する。
処理ｄ：取得した重なり状態にある他の物体候補（現在）をＯ３ （ｔ）とし、最も近い１つ前の過去の物体候補として、Ｏ３ （ｔ）からのブロック矢印の先に位置しているＯ１ （ｔ−１）（図７のブロック矢印ｄの先に十字を囲う丸で示したもの）を抽出している。
処理ｅ：過去の物体候補をＯ２ （ｔ−１）とし、Ｏ２ （ｔ−１）に対するカメラＡの重なり状態にある他の物体候補の中（図７の点線楕円ｅで示したもの）に、過去の物体候補Ｏ１ （ｔ−１）が１つでも存在するかどうかを確認する。この図７の場合は、上記に説明したようにＯ１ （ｔ−１）が存在しているので、Ｋｉをカウントすることになる。
　物体候補判定部３５は、信頼度取得部３３から得られる信頼度Ｒｉと連動度取得部３４から得られる連動度Ｇｉを用いて、式（５）にて物体候補Ｏｉの物体／非物体の事後確率を求める。そして、物体候補Ｏｉを物体と非物体とに識別し、物体と判定された物体候補Ｏｉの位置を出力する。非物体（虚像物体）と判定された物体候補Ｏｉの位置は、物体候補判定部３５によって出力されない為、誤って推定される物体位置を低減できる。
Figure JPOXMLDOC01-appb-M000005
 　ここで、ωｉは０と１の２つの状態があり、ωｉ＝１は物体を示し、ωｉ＝０は非物体を示す。また、事前確率Ｐ（ωｉ）は０．５としても良いし、利用者の知識に基づいて適宜設定しても良い。さらに、物体候補判定部３５は、信頼度Ｒｉに関する確率密度関数ｐ（Ｒｉ｜ωｉ）として、ωｉ＝１の場合、信頼度Ｒｉが高くなるほど確率密度が高くなり（物体である可能性が高くなる）、低くなるほど確率密度が低くなる関数を選択する。
　また、ωｉ＝０に関してはその逆となる関数を、物体候補判定部３５は、選択する。物体候補判定部３５は、連動度Ｇｉに関する確率密度関数ｐ（Ｇｉ｜ωｉ）として、ωｉ＝１の場合、連動度Ｇｉが高くなるほど確率密度が低くなり（物体である可能性が低くなる）、連動度Ｇｉが低くなるほど確率密度が高くなる関数を選択する。物体候補判定部３５は、確率密度関数の積分値を１と設定しておく。
　ここでは、確率密度関数を上記のように定義したが、確率密度関数を学習させることで推定してもよい。また、上記では、信頼度取得手段３３から得られる信頼度Ｒｉと連動度取得手段３４から得られる連動度Ｇｉを用いて、物体候補Ｏｉの物体／非物体の事後確率を求めたが、どちらか一方のみを用いて事後確率を求めてもよい。その場合、物体候補判定部３５は、下記の式（５−１）又は式（５−２）を用いて物体／非物体の事後確率を求める。また、この場合、実施形態全体としては、図１９（信頼度のみ）又は図２０（連動度のみ）の構成をとる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 　次に、図２、図８、図９、図１０、図１１、図１２、図１３及び図１４を参照して第１の実施形態の動作について詳細に説明する。
　図８は第１の実施形態に係る動作を示すフローチャート図である。第１の画像取得部１~第ｎの画像取得部２は、カメラやビデオ等の動画像から画像を取得する。そして物体候補取得部３１は、ｎ個の画像取得部間で、撮像時点を同期して撮像した画像を各画像取得部から取得する（ステップＳ１）。そして、物体候補取得部３１は各画像に対して背景差分等の画像処理を施し物体領域を示す画像を取得して、視体積交差法により物体ボクセルを求める。さらに、物体候補取得部３１は、平面上の位置に対して物体ボクセルの数を投票し、閾値処理、ラベリング、重心計算等を行って物体の位置を推定し、それぞれの位置の推定値を物体候補位置として物体候補情報記憶部４１に記録する（ステップＳ２）。
　重なり状態判定部３２は、物体候補Ｏｉに対し、第ｃの画像取得部が生成する視体積における、物体候補同士の重なりに関する情報を取得する（ステップＳ３）。
　ここで、図９に示したフローチャートに従って、ステップＳ３をさらに詳細に説明する。重なり状態判定部３２は、物体候補Ｏｉの位置に対象物体の形状を示す物体モデルを配置（ステップＳ３０１）し、この物体モデルに含まれる物体ボクセルをその物体候補Ｏｉに対する物体ボクセルとしてラベリングする（ステップＳ３０２）。
　重なり状態判定部３２は、ステップＳ３０２の処理が終わったら、ステップ３０１~Ｓ３０２までの処理を全ての物体候補Ｏｉについて行ったかを確認し（ステップ３０３）、全ての物体候補Ｏｉについて処理が完了していない場合（ステップＳ３０３、ＮＯ）は、処理が完了するまでステップ３０１~Ｓ３０２までの処理を繰り返す。
　重なり状態判定部３２は、全ての物体候補Ｏｉについて処理が完了した場合（ステップＳ３０３、ＹＥＳ）、ラベリングされていない物体ボクセルを除去する（ステップＳ３０４）。
　次に、重なり状態判定部３２は、処理対象の物体候補Ｏｉを１つ選択（ステップＳ３０５）し、さらに、処理対象の物体候補Ｏｉに対する、第ｃの画像取得部を１つ選択する（ステップＳ３０６）。そして、物体候補Ｏｉの、第ｃの画像取得部に対する視界有りの物体ボクセルの数Ｆｉ，ｃと、物体候補Ｏｉの第ｃの画像取得部の投影方向に対する重なり有りの物体ボクセルの数Ｅｉ，ｃという値を０に初期化する（ステップＳ３０７）。
　次に、図１０、図１１に示すフローチャートに従って図９の２から４までを説明する。重なり状態判定部３２は、物体候補Ｏｉでラベリングされる処理対象の物体ボクセルを１つ選択し（ステップＳ３０８）、物体候補Ｏｉでラベリングされる物体ボクセルに対し、第ｃの画像取得部への投影方向において、カメラの視界が有るか否かを調査する（ステップＳ３０９）。この際、重なり状態判定部３２は、カメラの視界に障害物が存在する場合は、この障害物にさえぎられていない領域があるかどうかについて調べる。
　視界が有る場合（図１０、ステップＳ３０９、ＹＥＳ）、重なり状態判定部３２は、Ｆｉ，ｃをカウントアップ（Ｆｉ，ｃ＝Ｆｉ，ｃ＋１）（図１０、ステップＳ３１０）し、第ｃの画像取得部への投影方向全体に対して他の物体候補の物体ボクセルとの重なりが有るかを調査する（図１０、ステップＳ３１１）。重なりが有る場合（図１０、ステップ３１１、ＹＥＳ）、重なり状態判定部３２は、Ｅｉ，ｃをカウントアップ（Ｅｉ，ｃ＝Ｅｉ，ｃ＋１）し（図１０、ステップＳ３１２）、重なり状態にある物体ボクセルの物体候補（番号ｉ）全てを抽出する（図１０、ステップＳ３１３）。
　視界が無い場合（図１０、ステップＳ３０９、ＮＯ）は、または重なりが無い場合（図１０、ステップＳ３１１、ＮＯ）、またはステップＳ３１３（図１０）の処理が終わったら、重なり状態判定部３２は、ステップＳ３０８~ステップＳ３１３（図１０）までの処理を、物体候補Ｏｉでラベリングされる物体ボクセル全てについて行ったかを確認する（図１０、ステップＳ３１４）。
　物体候補Ｏｉでラベリングされる物体ボクセル全てについて処理が完了していない場合（図１０、ステップＳ３１４、ＮＯ）、重なり状態判定部３２は、処理が完了するまでステップＳ３０８~Ｓ３１４（図１０）までの処理を繰り返す。物体候補Ｏｉでラベリングされる物体ボクセル全てについて処理が完了した場合（図１０、ステップＳ３１４、ＹＥＳ）、重なり状態判定部３２は、Ｆｉ，ｃ＝０であるかを判定する（図１１、ステップＳ３１５）。Ｆｉ，ｃ＝０である場合（図１１、ステップＳ３１５、ＹＥＳ）は、物体候補Ｏｉの第ｃの画像取得部に対して視界無しとし、物体候補情報記憶部４１へ記録する（図１１、ステップＳ３１６）。
　Ｆｉ，ｃ＝０でない場合（図１１、ステップＳ３１５、ＮＯ）、重なり状態判定部３２は、式（１）の条件を満たすか否かを判定し（図１１、ステップＳ３１７）、条件を満たさない場合（図１１、ステップＳ３１７、ＮＯ）は、物体候補Ｏｉの第ｃの画像取得部の投影方向に対して重なり無しとし、物体候補情報記憶部４１へ記録する（図１１、ステップＳ３１８）。
　条件を満たす場合（図１１、ステップＳ３１７、ＹＥＳ）、重なり状態判定部３２は、物体候補Ｏｉの第ｃの画像取得部の投影方向に対して重なり有りとし、物体候補情報記憶部４１へ記録する（図１１、ステップＳ３２０）。さらに、重なり状態判定部３２は、重なり状態にある物体ボクセルの物体候補全てを重なり状態にある物体候補として、物体候補情報記憶部４１へ記録する（図１１、ステップＳ３２０）。
　ステップＳ３１６、またはステップＳ３１８、またはステップＳ３２０の処理が終わったら、重なり状態判定部３２は、ステップＳ３０６~Ｓ３２０までの処理を第ｃの画像取得部全てについて行ったかを確認し（図９、ステップＳ３２１）、第ｃの画像取得部全てについて処理が完了していない場合（図９、ステップＳ３２１、ＮＯ）は、処理が完了するまでステップＳ３０６~Ｓ３２１（図９、１０、１１）までの処理を繰り返す。
　第ｃの画像取得部全てについて処理が完了した場合（図９、ステップＳ３２１、ＹＥＳ）、重なり状態判定部３２は、ステップＳ３０５~Ｓ３２１（図９、１０、１１）までの処理を全ての物体候補Ｏｉについて行ったかを確認し（ステップＳ３２２）、全ての物体候補Ｏｉについて処理が完了していない場合（ステップＳ３２２、ＮＯ）は、処理が完了するまでステップＳ３０５~Ｓ３２２までの処理を繰り返す。
　全ての物体候補Ｏｉについて処理が完了した場合（ステップＳ３２２、ＹＥＳ）、重なり状態判定部３２は、ステップＳ３の処理を終了する。
　次に、信頼度取得部３３は、物体候補Ｏｉが実在する物体であるという決定に必要な、視体積交差法に基づいて取得した物体ボクセルに関して、その信頼度を取得する。（図８、ステップＳ４）。
　ここで、図１２に示したフローチャートに従って、ステップＳ４をさらに詳細に説明する。信頼度取得部３３は、物体候補情報記憶部４１を用いて、物体候補Ｏｉに対し各画像取得部で視界有りと判定された画像取得部を単位とする視体積の数Ｓｉを算出、取得する（図１２、ステップＳ４０１）。
　次に、信頼度取得部３３は、物体候補情報記憶部４１を用いて、物体候補Ｏｉに対し各画像取得部において重なり有りと判定された画像取得部を単位とする視体積の数Ｌｉを算出、取得する（図１２、ステップＳ４０２）。そして、信頼度取得部３３は、ステップＳ４０１で取得したＳｉとステップＳ４０２で取得したＬｉを用いて、式（２）にて信頼度Ｒｉを算出、取得する（図１２、ステップＳ４０３）。
　ステップＳ４０３の処理が終わったら、信頼度取得部３３は、ステップＳ４０１~Ｓ４０３までの処理を全ての物体候補Ｏｉについて行ったかを確認し（図１２、ステップＳ４０４）、全ての物体候補Ｏｉについて処理が完了していない場合（図１２、ステップＳ４０４、ＮＯ）は、処理が完了するまでステップＳ４０１~Ｓ４０４までの処理を繰り返す。全ての物体候補Ｏｉについて処理が完了した場合（図１２、ステップＳ４０４、ＹＥＳ）、信頼度取得部３３は、ステップＳ４の処理を終了する。
　次に、連動度取得部３４は、物体候補Ｏｉの移動に合わせ他の物体候補がどのくらい連動して動くかを示す連動度を取得する（図８、ステップＳ５）。
　ここで図１３に示したフローチャートに従って、ステップＳ５をさらに詳細に説明する。連動度取得部３４は、処理対象の物体候補Ｏｉを１つ選択し（図１３、ステップＳ５０１）、物体候補Ｏｉの移動に対し連動して動く他の物体候補を含む画像取得部を単位とした視体積の数Ｋｉという値を０に初期化する（図１３、ステップＳ５０２）。
　次に、連動度取得部３４は、物体候補Ｏｉに対する第ｃの画像取得部を１つ選択し（図１３、ステップＳ５０３）、物体候補Ｏｉに対して第ｃの画像取得部の重なり状態にある他の物体候補を物体候補情報記憶部４１から抽出する（図１３、ステップＳ５０４）。
　そして、連動度取得部３４は、現在の物体候補Ｏｉの位置に最も近い過去の物体候補Ｏｉを物体候補情報記憶部４１から抽出する（図１３、ステップＳ５０５）。さらに、連動度取得部３４は、ステップＳ５０４で取得した重なり状態にある他の物体候補（現在）に対して、それらの位置に最も近い過去の物体候補の情報を物体候補情報記憶部４１から抽出する（図１３、ステップＳ５０６）。そして、連動度取得部３４は、ステップＳ５０５（図１３）で取得した過去の物体候補Ｏｉに対する第ｃの画像取得部の重なり状態にある他の物体候補を物体候補情報記憶部４１から抽出する（図１３、ステップＳ５０７）。そして、連動度取得部３４は、ステップＳ５０７で抽出した物体候補の中にステップＳ５０６（図１３）で抽出した物体候補が１つでも存在するかを判定する（図１３、ステップＳ５０８）。
　１つでも存在する場合（図１３、ステップＳ５０８、ＹＥＳ）、連動度取得部３４は、は、Ｋｉをカウントアップ（Ｋｉ＝Ｋｉ＋１）する（図１３、ステップＳ５０９）。存在しない場合（図１３、ステップＳ５０８、ＮＯ）連動度取得部３４は、は、またはステップＳ５０９（図１３）の処理が終わったら、ステップＳ５０３~Ｓ５０９（図１３）までの処理を第ｃの画像取得部全てについて行ったかを確認する（図１３、ステップＳ５１０）。
　第ｃの画像取得部全てについて処理が完了していない場合（ステップＳ５１０、ＮＯ）、連動度取得部３４は、処理が完了するまでステップＳ５０３~Ｓ５１０（図１３）までの処理を繰り返す。第ｃの画像取得部全てについて処理が完了した場合（図１３、ステップＳ５１０、ＹＥＳ）、連動度取得部３４は、取得したＫｉを用いて、式（４）にて連動度Ｇｉを算出、取得する（図１３、ステップＳ５１１）。
　ステップＳ５１１（図１３）の処理が終わったら、連動度取得部３４は、ステップＳ５０１~Ｓ５１１（図１３）までの処理を全ての物体候補Ｏｉについて行ったかを確認する（図１３、ステップＳ５１２）。全ての物体候補Ｏｉについて処理が完了していない場合（図１３、ステップＳ５１２、ＮＯ）、連動度取得部３４は、処理が完了するまでステップＳ５０１~Ｓ５１２（図１３）までの処理繰り返す。全ての物体候補Ｏｉについて処理が完了した場合（図１３、ステップＳ５１２、ＹＥＳ）、連動度取得部３４は、ステップＳ５（図８）の処理を終了する。
　次に、物体候補判定部３５は、物体候補Ｏｉの物体／非物体の事後確率を求め、物体候補Ｏｉを物体と非物体に識別し、物体と判定された物体候補Ｏｉの位置を出力する（図８、ステップＳ６）。
　図１４に示したフローチャートに従って、ステップＳ６をさらに詳細に説明する。物体候補判定部３５は、処理対象の物体候補Ｏｉを１つ選択する（図１４、ステップＳ６０１）。そして物体候補判定部３５は、信頼度取得部３３から得られる信頼度Ｒｉと連動度取得部３４から得られる連動度Ｇｉを用いて式（５）にて物体候補Ｏｉの物体／非物体の事後確率を取得する（図１４、ステップＳ６０２）。
　そして物体候補判定部３５は、物体の事後確率が非物体の事後確率より大きいか否かを判定し（図１４、ステップＳ６０３）、大きいならば（図１４、ステップＳ６０３、ＹＥＳ）、物体候補Ｏｉの物体位置を出力する（図１４、ステップＳ６０４）。大きくない場合（図１４、ステップＳ６０３、ＮＯ）、またはステップＳ６０４（図１４）の処理が終わった場合、物体候補判定部３５は、ステップＳ６０１~Ｓ６０４（図１４）までの処理を全ての物体候補Ｏｉについて行ったかを確認する（図１４、ステップＳ６０５）。そして全ての物体候補Ｏｉについて処理が完了していない場合（図１４、ステップＳ６０５、ＮＯ）、物体候補判定部３５は、処理が完了するまでステップＳ６０１~Ｓ６０５（図１４）までの処理を繰り返す。
　全ての物体候補Ｏｉについて処理が完了した場合（図１４、ステップＳ６０５、ＹＥＳ）は、ステップＳ６の処理を終了する。
　次に、第１の実施形態の効果について説明する。
第１の実施形態では、信頼度もしくは連動度の２つの指標を用いた事後確率で、視体交差法により求めた物体候補を物体と非物体に識別し、物体と判定された物体候補のみの物体位置を出力するように構成されている為、虚像物体として誤って推定される物体位置を低減できる。さらに信頼度及び連動度という２つの指標を用いることで、誤って推定される物体位置を、より低減することができる。
ここで信頼度は、虚像物体を構成する視体積の全ては実物体を構成する視体積と重なるということ、また、その重なりが増加すると虚像物体の可能性が高まるということ、を特徴として表すことができる。
また、連動度は、実物体の動きに連動して虚像物体が動くということ、虚像物体に対して実物体の連動数が増加することで虚像物体の可能性が高まるということ、を特徴として表すことができる。
　次に、第２の実施形態について図面を参照して詳細に説明する。図１５は第２の実施形態に係る構成を示すブロック図である。
　図１５を参照すると、第２の実施形態は、図２に示された第１の実施形態におけるデータ処理装置２に連続度取得部３６を加え、データ処理装置２００とした構成である。また、第２の実施形態においては、物体候補情報記憶部４１、信頼度取得部３３、物体候補判定部３５の内容の一部を、第１の実施形態から変更している。
　第２の実施形態の、物体候補情報記憶部４１、信頼度取得部３３、連続度取得部３６、物体候補判定部３５の内容について次に説明する。
　物体候補情報記憶部４１は、第１の実施形態において記憶する内容に加え、信頼度取得部３３で得られる信頼度Ｒｉを記憶する。もちろん、前回画像取得部に撮像された過去の画像についての情報も記憶している。
　信頼度取得部３３は、第１の実施形態において記憶させた内容に加え、得られた信頼度Ｒｉを物体候補情報記憶部４１に記憶させる。
　連続度取得部３６は、現在の物体候補Ｏｉに対し、過去の物体候補Ｏｉから時空間で連続的に物体候補Ｏｉが存在するか否かを示す連続度を取得する。連続度の指標は、物体候補Ｏｉの位置に最も近い、前回、物体候補取得部が取得した過去の物体候補Ｏｉを抽出することによって求める。この指標は、具体的には、現在の物体候補Ｏｉの位置と過去の物体候補Ｏｉの位置との距離ｄｉ（空間方向の指標）と、過去の物体候補Ｏｉの信頼度Ｒｉ’（時間方向の指標）である。
　物体候補Ｏｉが物体であるならば、時空間で連続的に物体候補Ｏｉが存在していたことになる。換言すると、過去において現在の物体候補Ｏｉの近辺に、有効な視体積交差が存在していたことになる。空間方向の指標であるｄｉは小さいほど、連続的に存在していたことを裏付ける。また時間方向の指標であるＲｉ’は高いほど、連続的に存在していたことを裏付ける。物体候補Ｏｉが虚像物体であるならば、時空間で連続的に物体が存在せず、空間方向の指標であるｄｉは連続して存在していた場合に比べてひじょうに大きかったり、時間方向の指標であるＲｉ’は連続して存在していた場合に比べてがひじょうに低かったりする。
　ここで、連続度取得部３６は、連続度の指標を求める為の情報として物体候補情報記憶部４１に記憶された情報を利用する。
また、距離ｄｉと信頼度Ｒｉ’は、上記に示されるように、クラスωｉ（物体／非物体［虚像物体］）のもとで、独立でないと仮定できる。
　物体候補判定部３５は、第１の実施形態に対して、連続度取得部３６から得られる距離ｄｉと信頼度Ｒｉ’を追加し、式（６）にて物体候補Ｏｉの物体／非物体の事後確率を求めている。
Figure JPOXMLDOC01-appb-M000008
 　ここで、ｄｉとＲｉ’は独立でないので、式（６）にはＰ（ｄｉ，Ｒｉ’｜ωｉ）という形が残る。
　物体候補判定部３５は、確率密度関数Ｐ（ｄｉ，Ｒｉ’｜ωｉ）として、ωｉ＝１の場合、距離ｄｉが小さく且つ信頼度Ｒｉ’が高いなるほど確率密度が高くなり、距離ｄｉが大きかったり、もしくは信頼度Ｒｉ’が低いほど確率密度が小さくなる関数を選択する。
　物体候補判定部３５は、確率密度関数Ｐ（ｄｉ，Ｒｉ’｜ωｉ）として、ωｉ＝０の場合、その逆で、距離ｄｉが大きく且つ信頼度Ｒｉ’が低いほど確率密度が高くなり、距離ｄｉが小さく且つ信頼度Ｒｉ’が高くなるほど確率密度が低くなる関数を選択する。物体候補判定部３５は確率密度関数の積分値は１としておく。ここでは、確率密度関数を上記のように定義したが、確率密度関数を学習させることで推定してもよい。
　次に、図１２、図１４、図１５、図１６、図１７を参照して第２の実施形態の動作について詳細に説明する。
　第２の実施形態の動作は、図８に示された第１の実施形態の動作に図１６に示す動作（ステップＳ７）を追加したものである。また、図１２に示す動作（ステップＳ４０３）と図１４に示す動作（ステップＳ６０２）を変更する点で、第１の実施形態とは異なる。他のステップは、第１の実施形態の動作と同一のため、説明は省略する。
　まず、図１２に示す動作（ステップＳ４０３）は、次のように変更する。ステップＳ４０１で取得したＳｉとステップＳ４０２で取得したＬｉを用いて、信頼度取得部３３は式（２）にて信頼度Ｒｉを算出、取得し、物体候補情報記憶部４１へ記録する（ステップＳ４０３）。
　次に、図１６に示すステップＳ７の動作を図８に追加する。
　連続度取得部３６は、物体候補Ｏｉに対し過去の物体候補Ｏｉから時空間で連続的に物体候補Ｏｉが存在するか否かを示す連続度を取得する（図１６、ステップＳ７）。
　図１７に示すフローチャートに従って、ステップＳ７をさらに詳細に説明する。連続度取得部３６は、処理対象の物体候補Ｏｉを１つ選択し（図１７、ステップＳ７０１）、現在の物体候補Ｏｉの位置に最も近い、前回、物体候補取得部が取得した過去の物体候補Ｏｉに関する情報を、物体候補情報記憶部４１から抽出する（図１７、ステップＳ７０２）。
　次に、連続度取得部３６は、現在の物体候補Ｏｉの位置と過去の物体候補Ｏｉの位置との距離ｄｉ（連続度：空間方向の指標）を算出し取得する（図１７、ステップＳ７０３）。さらに、連続度取得部３６は、ステップＳ７０２で抽出された、前回、物体候補取得部が取得した過去の物体候補Ｏｉの信頼度Ｒｉ’（連続度：時間方向の指標）を物体候補情報記憶部４１から取得する（図１７、ステップＳ７０４）。
　ステップＳ７０４（図１７）の処理が終わったら、連続度取得部３６は、ステップＳ７０１~Ｓ７０４（図１７）までの処理を全ての物体候補Ｏｉについて行ったかを確認（図１７、ステップＳ７０５）する。全ての物体候補Ｏｉについて処理が完了していない場合（図１７、ステップＳ７０５、ＮＯ）、連続度取得部３６は、処理が完了するまでステップＳ７０１~Ｓ７０５（図１７）までの処理を繰り返す。全ての物体候補Ｏｉについて処理が完了した場合（図１７、ステップＳ７０５、ＹＥＳ）、連続度取得部３６は、ステップＳ７の処理を終了する。
　最後に、この実施形態においては、図１４に示す動作（図１４、ステップＳ６０２）を、次のように変更する。ステップＳ６０２において、物体候補判定手段３５は、信頼度取得部３３から得られる信頼度Ｒｉ、連動度取得部３４から得られる連動度Ｇｉ、連続度取得部３６から得られる距離ｄｉ、過去の物体候補Ｏｉの信頼度Ｒｉ’、を用いて式（６）にて物体候補Ｏｉの物体／非物体の事後確率を取得する。
　次に、第２の実施形態の効果について説明する。第２の実施形態は、実物体は時空間で連続的に存在するという特徴を利用した。具体的には、物体候補判定手段３５が、現在の物体候補とそれに対応する過去の物体候補との距離とその過去の物体候補における信頼度、という２つの指標を第１の実施形態で用いた指標に追加して事後確率を計算する。そして、その結果により、物体候補判定手段３５は、視体積交差法より求めた物体候補を物体と非物体とに識別する。物体候補判定手段３５は、物体と判定された物体候補のみの物体位置を出力するように構成されている為、虚像物体として誤って推定される物体位置を、より低減できる。
　次に、第３の実施形態について図面を参照して詳細に説明する。図１８を参照すると、第３の実施形態は、第１の実施形態と同様な第１の画像取得部１~第ｎの画像取得部２、物体候補情報記憶部４１を有する記憶装置４が、コンピュータ１００に接続されている。また、物体位置推定用プログラム１０１を記憶するコンピュータ可読記憶媒体１０２がコンピュータ１００に接続されている。
　コンピュータ可読記憶媒体１０２は、磁気ディスクや半導体メモリ等で構成され、そこに記憶された物体位置推定用プログラム１０１は、コンピュータ１００の立ち上げ時などに、コンピュータ１００に読み取られる。このプログラムにより、コンピュータ１００を、前述した第１の実施の形態におけるデータ処理装置３内の各部３１~３５として機能させ、図８~図１４に示される処理を行わせることができる。
　本実施形態は第１の実施の形態にかかる物体位置推定装置をコンピュータとプログラムとで実現したが、第２の実施の形態にかかる物体位置推定装置をコンピュータとプログラムとで実現することも可能である。
　また上記の実施形態によれば、視体積交差法によって求められる物体位置に関して、物体候補判別部３５が、虚像物体を実在する物体として、誤った物体位置を推定する、という危険性が低減される。
その理由は、物体候補判別部３５が、信頼度もしくは連動度、またはその両方の指標を用いて、実物体と虚像物体とを識別し、視体積交差法によって求められる物体位置から虚像物体を排除しているためである。　ここで、信頼度は、虚像物体を構成する視体積の全ては実物体を構成する視体積と重なるということ、また、その重なりが増加すると虚像物体の可能性が高まるということ、を特徴として表すことができる。また、連動度は、実物体の動きに連動して虚像物体が動くということ、虚像物体に対して実物体の連動数が増加することで虚像物体の可能性が高まるということ、を特徴として表すことができる。
　また本発明は、重なり状態判定部３２が物体候補情報記憶部４１で記憶された情報を基に物体候補に対して他の物体候補との重なりがあると判定された視体積の数を求め、その数に基づいて計算される視体積交差情報の信頼性を信頼度という指標として前記物体候補に対して取得する信頼度取得部を、有するようにしても良い。
　また本発明は、実物体が時空間で連続的に存在するということに基づいて、現在の物体候補とそれに対応する過去の物体候補との距離と、その過去の物体候補における視体積交差情報の信頼性を表す信頼度と、を連続度という指標として前記物体候補に対して取得する連続度取得部を、有するようにしても良い。
　また本発明の連動度取得部は、物体候補の移動に対し連動して動く他の物体候補を含む視体積の数を取得して、視体積の数に１を加え逆数とした値に予め定められた係数を乗算した値を１から減算して連動度を算出するようにしても良い。
　また本発明の信頼度取得部は、信頼度を以下のようなａ~ｃの手順で求めてもよい。
ａ：信頼度取得部が、物体候補に対し撮像された画像を基に得られた視体積において視界が有ると判定された視体積の数と、物体候補に対し撮像された画像を基に得られた視体積において他の物体候補との重なりがあると判定された視体積の数と、を取得する。ｂ：信頼度取得部はａにおけるそれぞれの判定された視体積の数が異なる場合には信頼度の値を１とする。ｃ：信頼度取得部はａにおけるそれぞれの判定された視体積の数が同じ場合には、重なりがあると判定された視体積の数の逆数に予め定められた係数を乗算した値を信頼度の値とする。
　また本発明の連続度取得部における過去の物体候補は、現在の物体候補の位置に最も近い、画像取得部同期撮像時に撮像された過去の物体候補を抽出して得るようにしても良い。
　また本発明は、重なり状態判定部３２が、物体候補情報記憶工程で記憶された情報を基に物体候補に対して他の物体候補との重なりがあると判定された視体積の数を求め、その数に基づいて計算される視体積交差情報の信頼性を信頼度という指標として前記物体候補に対して取得する信頼度取得工程を、有するようにしても良い。
　また本発明は、実物体が時空間で連続的に存在するということに基づいて、現在の物体候補とそれに対応する過去の物体候補との距離と、その過去の物体候補における視体積交差情報の信頼性を表す信頼度と、を連続度という指標として前記物体候補に対して取得する連続度取得工程を、有するようにしても良い。
　また本発明の連動度取得工程は、物体候補の移動に対し連動して動く他の物体候補を含む視体積の数を取得して、視体積の数に１を加え逆数とした値に予め定められた係数を乗算した値を１から減算して連動度を算出するようにしても良い。
　また本発明の信頼度取得工程は、信頼度を以下のａ~ｃのような工程で求めてもよい。
ａ：信頼度取得部が、物体候補に対し撮像された画像を基に得られた視体積において視界が有ると判定された視体積の数と、物体候補に対し撮像された画像を基に得られた視体積において他の物体候補との重なりがあると判定された視体積の数と、を取得する。ｂ：信頼度取得部はａにおけるそれぞれの判定された視体積の数が異なる場合には信頼度の値を１とする。ｃ：信頼度取得部はａにおけるそれぞれの判定された視体積の数が同じ場合には、重なりがあると判定された視体積の数の逆数に予め定められた係数を乗算した値を信頼度の値とする。
　また本発明の連続度取得工程における過去の物体候補の取得は、現在の物体候補の位置に最も近い、画像取得部同期撮像時に撮像された過去の物体候補を抽出して得るようにしても良い。
　また本発明は、ソフトウェアプログラムにより、重なり状態判定部３２によって物体候補情報記憶処理に記憶された情報を基に物体候補に対して他の物体候補との重なりがあると判定された視体積の数を求め、その数に基づいて計算される視体積交差情報の信頼性を信頼度という指標として、前記物体候補に対して取得する信頼度取得処理を、物体位置推定装置に実行させるようにしても良い。
　また本発明は、ソフトウェアプログラムにより、実物体が時空間で連続的に存在するということに基づいて、現在の物体候補とそれに対応する過去の物体候補との距離と、その過去の物体候補における視体積交差情報の信頼性を表す信頼度と、を連続度という指標として前記物体候補に対して取得する連続度取得処理を、物体位置推定装置に実行させるようにしても良い。
　また本発明の連動度取得処理は、ソフトウェアプログラムにより、物体候補の移動に対し連動して動く他の物体候補を含む視体積の数を取得して、視体積の数に１を加え逆数とした値に予め定められた係数を乗算した値を１から減算して連動度を算出することを、物体位置推定装置に実行させるようにしても良い。
　また本発明の信頼度取得処理は、ソフトウェアプログラムにより、以下を物体位置推定装置に実行させるようにしても良い。
ａ：信頼度取得部が、物体候補に対し撮像された画像を基に得られた視体積において視界が有ると判定された視体積の数と、物体候補に対し撮像された画像を基に得られた視体積において他の物体候補との重なりがあると判定された視体積の数と、を取得する。ｂ：信頼度取得部はａにおけるそれぞれの判定された視体積の数が異なる場合には信頼度の値を１とする。ｃ：信頼度取得部はａにおけるそれぞれの判定された視体積の数が同じ場合には、重なりがあると判定された視体積の数の逆数に予め定められた係数を乗算した値を信頼度の値とする。
　また本発明の連続度取得処理における過去の物体候補の取得は、ソフトウェアプログラムにより、現在の物体候補の位置に最も近い、画像取得部同期撮像時に撮像された過去の物体候補を抽出して得ることを、物体位置推定装置に実行させるようにしても良い。
以上実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２００９年４月２８日に出願された日本出願特願２００９−１０９８２７を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
　本発明によれば、物体位置推定装置、物体位置推定方法、その物体位置推定方法をコンピュータに実行させるためのプログラムを、監視分野での侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、混雑及び行列検出などを行う装置、マーケティング分野での動線解析、行動解析を行う装置、カメラや蓄積映像からの物体位置を入力とする入力インタフェース装置及び物体位置をトリガ・キーとするビデオや映像検索装置などの用途に適用できる。
１　　第１の画像取得部
２　　第ｎの画像取得部
３　　データ処理装置
４　　記憶装置
３１　　物体候補取得部
３２　　重なり状態判定部
３３　　信頼度取得部
３４　　連動度取得部
３５　　物体候補判定部
３６　　連続度取得部
４１　　物体候補情報記憶部
１００　　コンピュータ
１０１　　物体位置推定用プログラム
１０２　　コンピュータ可読記憶媒体
２００　　データ処理装置

Claims (15)

  1. 視体積交差法により物体位置を推定し物体候補を取得する物体候補取得手段と、撮像された画像を基に得られる物体の視体積に対して、
    前記物体候補同士の重なりに関する情報を記憶する物体候補情報記憶手段と、
    前記物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に基づいて計算される連動度を前記物体候補に対して取得する連動度取得手段
    又は、
    重なり状態判定手段が前記物体候補に対して他の物体候補との重なりがあると判定した視体積の数に基づいて計算される信頼度を前記物体候補に対して取得する信頼度取得手段と、
    取得された前記連動度又は前記信頼度に基づいて算出した事後確率により前記物体候補を物体または非物体に識別して、物体と判定された前記物体候補の位置を出力する物体候補判定手段と、
    を有することを特徴とする物体位置推定装置。
  2. 現在の前記物体候補の位置と前記物体候補に対応する過去の物体候補の位置との差と、前記物体候補に対応する過去の物体候補における信頼度とで構成される連続度を前記物体候補に対して取得する連続度取得手段を有し、
    前記物体候補判定手段は、
    前記連動度または前記信頼度または前記連続度に基づいて算出した事後確率により前記物体候補を物体または非物体に識別する
    ことを特徴とする請求項１に記載の物体位置推定装置。
  3. 前記連動度は、前記物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に１を加えたものの逆数に予め定められた係数を乗算した値を１から減算したものであることを特徴とする請求項１から２のいずれか１項に記載の物体位置推定装置。
  4. 前記信頼度取得手段は、前記物体候補に対し前記撮像された画像を基に得られた視体積において視界が有ると判定された視体積の数と、前記物体候補に対し前記撮像された画像を基に得られた視体積において他の物体候補との重なりがあると判定された視体積の数と、が異なる場合には前記信頼度の値を１とし、同じ場合には重なりがあると判定された視体積の数の逆数に予め定められた係数を乗算した値を信頼度として取得することを特徴とする請求項１乃至３に記載の物体位置推定装置。
  5. 前記物体候補に対応する過去の物体候補が複数存在する場合は、現在の前記物体候補の位置に最も近い前記物体候補に対応する過去の物体候補を選択することを特徴とする請求項２に記載の物体位置推定装置。
  6. 視体積交差法により物体位置を推定し物体候補を取得し、
    撮像された画像を基に得られる物体の視体積に対して、前記物体候補同士の重なりに関する情報を記憶し、
    前記物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に基づいて計算される連動度を前記物体候補に対して取得するか又は、
    前記記憶された重なりに関する情報を基に前記物体候補に対して他の物体候補との重なりがあると判定された視体積の数を求め、前記視体積の数に基づいて信頼度を計算し、
    取得された前記連動度又は前記信頼度に基づいて算出した事後確率により前記物体候補を物体または非物体に識別して、物体と判定された前記物体候補の位置を出力する物体位置推定方法。
  7. 現在の前記物体候補の位置と前記物体候補に対応する過去の物体候補の位置との差と、前記物体候補に対応する過去の物体候補における前記信頼度とで構成される連続度を取得し、前記連動度または前記信頼度または前記連続度に基づいて算出した事後確率により前記物体候補を物体または非物体に識別することを特徴とする、請求項６に記載の物体位置推定方法。
  8. 前記連動度は、前記物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に１を加えたものの逆数に予め定められた係数を乗算した値を１から減算して連動度を算出することを特徴とする請求項６から７のいずれか１項に記載の物体位置推定方法。
  9. 前記物体候補に対し前記撮像された画像を基に得られた視体積において視界が有ると判定された視体積の数と、前記物体候補に対し前記撮像された画像を基に得られた視体積において他の物体候補との重なりがあると判定された視体積の数とが異なる場合には前記信頼度の値を１とし、同じ場合には前記信頼度として、重なりがあると判定された視体積の数の逆数に予め定められた係数を乗算した値を求めることを特徴とする請求項６または８に記載の物体位置推定方法。
  10. 前記過去の物体候補は、現在の前記物体候補の位置に最も近い、過去の位置との差を取得することを特徴とする請求項７に記載の物体位置推定方法。
  11. 物体位置推定装置に、
    視体積交差法により物体位置を推定し物体候補を取得する物体候補取得処理と、撮像された画像を基に得られる物体の視体積に対して、
    前記物体候補同士の重なりに関する情報を記憶する物体候補情報記憶処理と、前記物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に基づいて計算される連動度を前記物体候補に対して取得する連動度取得処理、
    もしくは、
    前記物体候補情報記憶処理により記憶された情報を基に、重なり状態判定手段が前記物体候補に対して他の物体候補との重なりがあると判定した視体積の数に基づいて、信頼度を算出する信頼度取得処理と、
    取得された前記連動度もしくは前記信頼度に基づいて算出した事後確率により前記物体候補を物体または非物体に識別して、物体と判定された前記物体候補の位置を出力する物体候補判定処理と、
    を実行させることを特徴とするプログラム。
  12. 現在の前記物体候補の位置と前記物体候補の対応する過去の物体候補の位置との差と、前記物体候補に対応する過去の物体候補における信頼度とで構成される連続度を取得する連続度取得処理と、前記連動度または前記信頼度または前記連続度に基づいて算出した事後確率により前記物体候補を物体または非物体に識別し、物体と判定された前記物体候補の位置を出力する物体候補判定処理とを、物体位置推定装置に実行させることを特徴とする請求項１１に記載のプログラム。
  13. 前記連動度取得処理は、前記物体候補の移動に対し連動して動く他の物体候補を含む視体積の数に１を加えたものの逆数に予め定められた係数を乗算した値を１から減算する、ことを特徴とする請求項１１から１２のいずれか１項に記載のプログラム。
  14. 前記信頼度取得処理は、前記物体候補に対し前記撮像された画像を基に得られた視体積において視界が有ると判定された視体積の数と、前記物体候補に対し前記撮像された画像を基に得られた視体積において他の物体候補との重なりがあると判定された視体積の数と、が異なる場合には前記信頼度の値を１とし、同じ場合には重なりがあると判定された視体積の数の逆数に予め定められた係数を乗算した値とすることを特徴とする、請求項１１または１２に記載のプログラム。
  15. 前記物体の過去における位置が複数存在する場合は、現在の前記物体候補の位置に最も近い過去の位置との差を取得することを特徴とする請求項１２に記載のプログラム。
PCT/JP2010/057524 2009-04-28 2010-04-21 物体位置推定装置、物体位置推定方法及びプログラム WO2010126071A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201080018812.9A CN102414718B (zh) 2009-04-28 2010-04-21 对象位置估计设备和对象位置估计方法
JP2011511427A JP5454573B2 (ja) 2009-04-28 2010-04-21 物体位置推定装置、物体位置推定方法及びプログラム
EP10769769.0A EP2426643A4 (en) 2009-04-28 2010-04-21 Object position inference device, object position inference method, and program
US13/265,486 US8885879B2 (en) 2009-04-28 2010-04-21 Object position estimation device, object position estimation method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009109827 2009-04-28
JP2009-109827 2009-04-28

Publications (1)

Publication Number Publication Date
WO2010126071A1 true WO2010126071A1 (ja) 2010-11-04

Family

ID=43032215

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057524 WO2010126071A1 (ja) 2009-04-28 2010-04-21 物体位置推定装置、物体位置推定方法及びプログラム

Country Status (5)

Country Link
US (1) US8885879B2 (ja)
EP (1) EP2426643A4 (ja)
JP (1) JP5454573B2 (ja)
CN (1) CN102414718B (ja)
WO (1) WO2010126071A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381075B1 (ko) 2013-04-30 2014-04-14 재단법인대구경북과학기술원 객체 위치 추정 장치 및 그 방법
JP2014077751A (ja) * 2012-10-12 2014-05-01 Mitsubishi Electric Corp 追尾装置
US10212324B2 (en) 2015-12-01 2019-02-19 Canon Kabushiki Kaisha Position detection device, position detection method, and storage medium
JP2021033682A (ja) * 2019-08-26 2021-03-01 Kddi株式会社 画像処理装置、方法及びプログラム
JP2023514107A (ja) * 2021-01-15 2023-04-05 チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド 三次元再構築方法、装置、機器及び記憶媒体

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8436762B2 (en) * 2008-01-31 2013-05-07 Bae Systems Information And Electronic Systems Integration Inc. Determining at least one coordinate of an object using intersecting surfaces
US9341705B2 (en) 2008-01-31 2016-05-17 Bae Systems Information And Electronic Systems Integration Inc. Passive ranging of a target
WO2013006649A2 (en) 2011-07-05 2013-01-10 Omron Corporation A method and apparatus for projective volume monitoring
JP6102930B2 (ja) * 2011-10-14 2017-03-29 オムロン株式会社 射影空間監視のための方法および装置
US10078898B2 (en) * 2014-11-07 2018-09-18 National Institute Of Standards And Technology Noncontact metrology probe, process for making and using same
JP6736414B2 (ja) 2016-08-10 2020-08-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10902540B2 (en) * 2016-08-12 2021-01-26 Alitheon, Inc. Event-driven authentication of physical objects
JP6896401B2 (ja) * 2016-11-25 2021-06-30 東芝テック株式会社 物品認識装置
JP7257752B2 (ja) * 2018-07-31 2023-04-14 清水建設株式会社 位置検出システム
US20220284599A1 (en) * 2019-09-04 2022-09-08 Nec Corporation Position estimating method, position estimating system, and position estimating apparatus
CN110728229B (zh) * 2019-10-09 2023-07-18 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备和存储介质
JP2021076888A (ja) * 2019-11-05 2021-05-20 株式会社日立製作所 作業認識装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015573A (ja) 2006-07-03 2008-01-24 Sony Corp 画像処理装置、画像処理方法および画像監視システム
JP2008176504A (ja) * 2007-01-17 2008-07-31 Toshiba Corp 物体検出装置及びその方法
JP2009109827A (ja) 2007-10-31 2009-05-21 Canon Inc 磁性トナー

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030053658A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Surveillance system and methods regarding same
DE60330898D1 (de) * 2002-11-12 2010-02-25 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
JP4070618B2 (ja) * 2003-01-15 2008-04-02 日本電信電話株式会社 物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにそのプログラムを記録した記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015573A (ja) 2006-07-03 2008-01-24 Sony Corp 画像処理装置、画像処理方法および画像監視システム
JP2008176504A (ja) * 2007-01-17 2008-07-31 Toshiba Corp 物体検出装置及びその方法
JP2009109827A (ja) 2007-10-31 2009-05-21 Canon Inc 磁性トナー

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2426643A4 *
SUSUMU KUBOTA ET AL.: "Fukusu no Zenhoi Camera ni Yoru Jinbutsu Dosen Keisoku System", TOSHIBA REVIEW, vol. 63, no. 10, 1 October 2008 (2008-10-01), pages 44 - 47, XP008167486 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014077751A (ja) * 2012-10-12 2014-05-01 Mitsubishi Electric Corp 追尾装置
KR101381075B1 (ko) 2013-04-30 2014-04-14 재단법인대구경북과학기술원 객체 위치 추정 장치 및 그 방법
US10212324B2 (en) 2015-12-01 2019-02-19 Canon Kabushiki Kaisha Position detection device, position detection method, and storage medium
JP2021033682A (ja) * 2019-08-26 2021-03-01 Kddi株式会社 画像処理装置、方法及びプログラム
JP7177020B2 (ja) 2019-08-26 2022-11-22 Kddi株式会社 画像処理装置、方法及びプログラム
JP2023514107A (ja) * 2021-01-15 2023-04-05 チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド 三次元再構築方法、装置、機器及び記憶媒体
JP7352748B2 (ja) 2021-01-15 2023-09-28 チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド 三次元再構築方法、装置、機器及び記憶媒体

Also Published As

Publication number Publication date
EP2426643A4 (en) 2017-07-05
EP2426643A1 (en) 2012-03-07
US8885879B2 (en) 2014-11-11
JP5454573B2 (ja) 2014-03-26
CN102414718B (zh) 2014-12-10
US20120051598A1 (en) 2012-03-01
CN102414718A (zh) 2012-04-11
JPWO2010126071A1 (ja) 2012-11-01

Similar Documents

Publication Publication Date Title
JP5454573B2 (ja) 物体位置推定装置、物体位置推定方法及びプログラム
CN108537112B (zh) 图像处理装置、图像处理系统、图像处理方法及存储介质
JP6355052B2 (ja) 撮像装置、画像処理装置、撮像方法および記録媒体
US7729512B2 (en) Stereo image processing to detect moving objects
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP6525453B2 (ja) オブジェクト位置推定システム、及びそのプログラム
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
JP5603403B2 (ja) 対象物計数方法、対象物計数装置および対象物計数プログラム
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Hu et al. Robust object tracking via multi-cue fusion
CN104599287A (zh) 对象跟踪方法和装置、对象识别方法和装置
US11861900B2 (en) Multi-view visual data damage detection
JP6620443B2 (ja) 監視プログラム、監視装置、及び監視方法
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
JP6659095B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10390799B2 (en) Apparatus and method for interpolating lesion detection
JP5978996B2 (ja) 物体領域抽出装置、方法、及び、プログラム
Rougier et al. 3D head trajectory using a single camera
JP6127958B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP6606340B2 (ja) 画像検出装置、画像検出方法およびプログラム
CN114677423A (zh) 一种室内空间全景深度确定方法及相关设备
JP2009205695A (ja) 対象個数検出装置および対象個数検出方法
JP2019191736A (ja) 判定装置、判定方法及びプログラム
CN112132895B (zh) 基于图像的位置确定方法、电子设备及存储介质
US20240346684A1 (en) Systems and methods for multi-person pose estimation

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080018812.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10769769

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011511427

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010769769

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13265486

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE