WO2022102038A1 - 情報処理装置、生成方法、および生成プログラム - Google Patents

情報処理装置、生成方法、および生成プログラム Download PDF

Info

Publication number
WO2022102038A1
WO2022102038A1 PCT/JP2020/042193 JP2020042193W WO2022102038A1 WO 2022102038 A1 WO2022102038 A1 WO 2022102038A1 JP 2020042193 W JP2020042193 W JP 2020042193W WO 2022102038 A1 WO2022102038 A1 WO 2022102038A1
Authority
WO
WIPO (PCT)
Prior art keywords
stationary
person
positions
clusters
work
Prior art date
Application number
PCT/JP2020/042193
Other languages
English (en)
French (fr)
Inventor
正清 田中
收文 中山
有一 村瀬
千里 塩田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP20961566.5A priority Critical patent/EP4246438A4/en
Priority to PCT/JP2020/042193 priority patent/WO2022102038A1/ja
Priority to CN202080105869.6A priority patent/CN116348913A/zh
Priority to JP2022561769A priority patent/JPWO2022102038A1/ja
Publication of WO2022102038A1 publication Critical patent/WO2022102038A1/ja
Priority to US18/191,034 priority patent/US20230237690A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an information processing apparatus, a generation method, and a generation program.
  • a region of interest (ROI: Region Of Interest) corresponding to the work is generated for a moving image taken at the site by a shooting device such as a camera, and a person enters the region of interest.
  • a shooting device such as a camera
  • Patent Document 1 a technique for performing clustering related to the movement of a person is known (for example, Patent Document 1 and Patent Document 2).
  • the area of interest can be manually generated, for example, while looking at a moving image of a person's work.
  • it since it takes time and labor to manually generate the region of interest, it is desired to provide a technique capable of automatically generating the region of interest with high accuracy.
  • the information processing apparatus is a specific unit that specifies a plurality of stationary positions in which a person is stationary and a movement order in which the person moves in a plurality of stationary positions from a moving image of a person's work. And, if multiple quiescent positions are clustered and the obtained cluster contains a pair of quiesce positions that are in the relationship of the source and the destination in the movement order, the quiesce positions included in the cluster are further clustered and a plurality of quiesces are performed. It includes a division unit that divides a position into a plurality of clusters, and a generation unit that generates a region of interest in a moving image based on the plurality of clusters obtained by the division unit.
  • the area of interest can be automatically generated with high accuracy.
  • a region of interest is generated for each work area for a moving image taken at the site by a photographing device, and the work of the person is based on the fact that the person enters the region of interest.
  • Such a detection method is suitable for use in a field where a person creates a product while moving a plurality of work places such as a cell production method and a job shop method.
  • the area of interest can be manually generated, for example, while looking at a moving image of a person's work.
  • it since it takes time and labor to manually generate the region of interest, it is desired to provide a technique capable of automatically generating the region of interest with high accuracy.
  • FIG. 1 is a diagram illustrating a work area in which a person reflected in a moving image according to an embodiment is located during work.
  • three work A, work B, and work C are shown as places where the work is performed.
  • a work area A in which a person is located while performing work A, a work area B in which a person is located while performing work B, and a work area C in which a person is being performed are shown.
  • the work area C where the person is located is shown. Then, for example, suppose that an area of interest is automatically generated in the work area A, the work area B, and the work area C.
  • the stationary position where the person is stationary is detected from the moving image of the work, and the region of interest is generated based on the stationary position. Can be considered.
  • multiple stationary positions of a person are detected from moving images of multiple tasks.
  • the moving image used for detecting the stationary position may capture a plurality of operations performed by the same person, or may capture the work performed by a plurality of persons.
  • FIG. 2 is a diagram illustrating a plurality of stationary positions of a person detected from a moving image according to an embodiment.
  • the stationary position may be specified as, for example, a position in which a person is detected in a moving image and the detected person is stationary in the moving image.
  • FIG. 2 four stationary positions of 1a, 2a, 3a, and 4a are shown as stationary positions of the person who is performing the work A. Further, four stationary positions of 1b, 2b, 3b, and 4b are shown as stationary positions of the person who is performing the work B. Four stationary positions of 1c, 2c, 3c, and 4c are shown as stationary positions of the person who is performing the work C. Then, for example, clustering is executed at a plurality of stationary positions detected from the moving image.
  • FIG. 3 is a diagram illustrating clustering of stationary positions.
  • FIG. 3A shows a plurality of stationary positions of a person detected from a moving image.
  • the vertical axis is the vertical direction of the moving image
  • the horizontal axis is the horizontal direction of the moving image.
  • a plurality of stationary positions are clustered so that objects close to each other become the same cluster, and the area indicated by the obtained cluster of stationary positions is regarded as a work area where a person is working and is an area of interest. Is conceivable to generate.
  • the clustering may be performed using a known clustering technique such as the K-means method.
  • the obtained cluster may not correspond to the actual work area.
  • the distance between different work and the corresponding work area is short, so that the static positions corresponding to these different work may be clustered into one cluster. ..
  • the length of the object differs depending on the distance from the photographing device used for photographing.
  • FIG. 4 is a diagram showing a difference in length according to a shooting distance in an exemplary moving image.
  • an arrow is shown in the shooting range of the moving image.
  • the length a, the length b, the length c, and the length d indicated by the arrows are all the same length in the real space.
  • the arrows are shown with different lengths depending on the photographing distance. As described above, for example, as the distance from the photographing device increases, the length on the image becomes shorter even if the length is the same in the real space.
  • the distance difference between the stationary positions detected from a person doing different work becomes too short at a position far from the image pickup device. It may be detected as one cluster. Alternatively, for example, there is a large variation in the plurality of stationary positions detected from a person working in a work area close to the image pickup device, and the cluster may be detected as a plurality of clusters.
  • FIG. 3B the execution result of clustering is superimposed on the shooting range of the moving image. Then, in the execution result of the clustering of FIG. 3B, the stationary position located in the work area A of the work A in FIG. 1 has a large variation and is divided into two clusters. On the other hand, the work area B of the work B in FIG. 1 and the stationary positions located in the work area C of the work C are combined into one cluster in FIG. 3 (b).
  • the variation in the stationary position for one work may differ depending on the position of the work place in the image and the work content.
  • the quiescent position of one work may be divided into a plurality of clusters, or the quiescent position of a plurality of works may be grouped into one cluster.
  • the obtained cluster does not correspond to the work area of the actual work, and the area of interest corresponding to the work can be automatically generated based on the cluster in the quiesce position. It can be difficult.
  • a cluster obtained by clustering a plurality of stationary positions of a person detected from a moving image has a relationship between a movement source and a movement destination in a movement order in which the person moves a plurality of stationary positions. Perform clustering so that it does not include pairs of stationary positions.
  • the stationary position can be divided into clusters that can be associated with the work area with high accuracy. Then, based on the obtained cluster, it is possible to automatically generate an area of interest that corresponds to the work area with high accuracy.
  • FIG. 5 is a diagram illustrating the photographing system 500 according to the embodiment.
  • the photographing system 500 includes an information processing device 501 and a photographing device 502.
  • the information processing device 501 may be, for example, a computer having a calculation function such as a server computer, a personal computer (PC), a mobile PC, or a tablet terminal.
  • the photographing device 502 is, for example, a camera.
  • the photographing device 502 may be installed, for example, so as to photograph a person who is working.
  • the information processing device 501 generates a region of interest based on, for example, a moving image captured by the photographing device 502.
  • the information processing device 501 may be connected to the photographing device 502 and may acquire a moving image from the photographing device 502.
  • the information processing device 501 may acquire a moving image captured by the photographing device 502 via another device.
  • FIG. 6 is a diagram illustrating a functional block configuration of the information processing apparatus 501 according to the embodiment.
  • the information processing device 501 includes, for example, a control unit 601, a storage unit 602, and a communication unit 603.
  • the control unit 601 includes, for example, a specific unit 611, a division unit 612, a generation unit 613, and the like, and may also include other functional units.
  • the storage unit 602 of the information processing apparatus 501 may store information such as a moving image obtained by photographing a work by a person by the photographing apparatus 502 and a stationary position information 900 described later.
  • the communication unit 603 communicates with another device such as the photographing device 502 according to the instruction of the control unit 601 for example. The details of each of these units and the details of the information stored in the storage unit 602 will be described later.
  • the stationary position where the person is stationary is detected from the moving image of the work, and the region of interest is based on the stationary position.
  • the stationary position may be slightly different depending on the person, or the stationary position may be slightly different for each work even for the same person. Therefore, for example, the moving image may capture the work of the same person a plurality of times, or may capture the work of a plurality of people.
  • the control unit 601 detects a person from the captured moving image.
  • the person can be detected using, for example, a known person detection method.
  • the person detection may be performed by using a method using a local feature amount such as HOG (Histogram of Oriented Gradients) or using OpenPose or the like.
  • HOG Heistogram of Oriented Gradients
  • OpenPose OpenPose or the like.
  • the control unit 601 detects, for example, a position where the detected person satisfies a predetermined condition and is stationary as a stationary position. Further details of the detection of the stationary position will be described later.
  • FIG. 7 is a diagram illustrating clustering according to the embodiment.
  • the subscripts a, b, and c attached to the label N of the stationary position indicate the work corresponding to the stationary position.
  • Na is a stationary position detected from a working person in work A.
  • Nb is a stationary position detected from a person who is working in work B.
  • Nc is a stationary position detected from a person who is working in work C.
  • the control unit 601 when the control unit 601 detects the stationary position from the moving image, the control unit 601 also acquires the information of the movement order in which the person moves the stationary position in the moving image. For example, in FIG. 7, a person executes work in the order of work A ⁇ work B ⁇ work C. Then, in FIG. 7A, the information on the movement order of the stationary position is indicated by an arrow, and after the work A is performed, the arrow moving from the stationary position Na of the work A to the stationary position Nb of the work B is shown. It is shown. Further, after performing the work B, an arrow for moving from the stationary position Nb of the work B to the stationary position Nc of the work C is shown.
  • control unit 601 may cluster the detected plurality of stationary positions into two divisions, which is the minimum number of divisions.
  • FIG. 7B shows the result of performing clustering in two divisions, and the stationary position is divided into two clusters, cluster 701 and cluster 702.
  • the control unit 601 determines whether or not the cluster includes a pair of stationary positions having a relationship between the movement source and the movement destination. Then, when a pair of stationary positions that are in a relationship between a movement source and a movement destination are included in the same cluster, it can be considered that a plurality of operations and corresponding stationary positions are mixed in the cluster. Therefore, when the cluster includes a pair of stationary positions having a relationship between the movement source and the movement destination, the control unit 601 further clusters the cluster in two divisions. On the other hand, when the cluster does not include a pair of stationary positions having a relationship between the movement source and the movement destination, the control unit 601 may end the clustering of the cluster.
  • control unit 601 may end the division of the cluster 701.
  • the control unit 601 may determine that the cluster 702 includes a pair of stationary positions having a relationship between the movement source and the movement destination, and may further execute clustering of two divisions with respect to the cluster 702. ..
  • FIG. 7C is a diagram showing the result of performing two-division clustering on the cluster 702.
  • the stationary positions included in the cluster 702 are clustered in the cluster 703 and the cluster 704. Further, since neither the cluster 703 nor the cluster 704 includes a pair of stationary positions having a relationship between the migration source and the migration destination, the control unit 601 may terminate the clustering for the cluster 703 and the cluster 704.
  • the stationary position As described above, by executing clustering using the movement order information, it is possible to divide the stationary position into clusters that are well associated with the work area. Then, the work area and the corresponding area of interest can be generated with high accuracy based on the cluster of the stationary position obtained by the division.
  • the cluster is further divided by assuming that the cluster has a mixture of multiple tasks and corresponding stationary positions. do.
  • the stationary position of one work can be divided into the stationary position of another work at a short distance with high accuracy.
  • a flow line is set so that the movement distance of the person is reduced in the execution of a series of work in order to improve work efficiency. May be in place.
  • the two work areas arranged adjacent to each other and the corresponding stationary position can be separated with high accuracy, and the cluster of the separated stationary positions can be separated.
  • the region of interest can be automatically generated with high accuracy based on.
  • control unit 601 executes clustering stepwise by dividing into two. As a result, it is possible to prevent the stationary position corresponding to one work from being overdivided into a plurality of clusters during clustering.
  • the label N of the stationary position is described by the subscripts a, b, and c in association with the work, but when the stationary position is actually detected from the moving image, the label is described. Does not have to correspond to the work, and it is sufficient that the movement order of the stationary position for each person is specified.
  • FIG. 8 is a diagram illustrating the result of clustering of stationary positions arranged in a moving image. As shown in FIG. 8, each cluster in the stationary position is in a position corresponding to the work area described in FIG. Therefore, the control unit 601 can generate a region of interest in the work area of each work based on the cluster at the stationary position.
  • FIG. 9 is a diagram illustrating the stationary position information 900 according to the embodiment.
  • the stationary position information 900 a record including information on the stationary position is registered for each stationary position detected from the moving image.
  • the static position information 900 a record associated with information of a static time zone, a person ID (identifier), a static label, a static position, a front label, and a rear label is registered.
  • the stationary time zone is, for example, information indicating a time zone in which a person detected from a moving image satisfies a predetermined condition and is stationary.
  • the stationary time zone is registered as the period of the frame in which the stationary of the person is detected.
  • the person ID is an identifier assigned to identify the person detected from the moving image.
  • a person ID for identifying a person whose stillness is detected in the stationary time zone of the record is registered.
  • the static label is, for example, a label given to a static position detected in the static time zone of a record.
  • the static label follows the order in which the static time zones were detected in the moving image for the person. It may be given a series of labels.
  • Nx is assigned to the stationary position as a stationary label.
  • N of Nx may be a person ID.
  • x of Nx may be a value indicating the detection order of the rest time zone, and labels are assigned from a to each person in alphabetical order.
  • the person identified by the person ID 1 moves in the stationary position in the order of 1a ⁇ 1b ⁇ 1c in the moving image.
  • the stationary position of the stationary position information 900 for example, information indicating the position of a person detected in the stationary time zone of the record may be registered.
  • the stationary position may be represented by, for example, coordinates indicating a position in a frame image of a moving image.
  • the coordinates may be represented by the number of pixels in the vertical and horizontal directions from a predetermined pixel to a stationary position in the frame image.
  • the static label of the static position detected immediately before the static position of the record may be registered in the front label of the static position information 900.
  • the static label of the static position detected one after the static position of the record may be registered for the person identified by the person ID of the record.
  • the static label, the front label, and the rear label are movement information indicating the order of movement of the person.
  • "-" indicating that there is no corresponding stationary position. Is registered.
  • FIG. 10 is a diagram illustrating an operation flow of the generation process of the region of interest according to the embodiment.
  • the control unit 601 may start the operation flow of FIG. 10 when it receives an execution instruction of the generation process of the region of interest based on the moving image.
  • step 1001 the step is described as "S" and, for example, S1001)
  • the control unit 601 detects a person from the moving image. For example, the control unit 601 cuts out a frame image of each frame from the moving image. Then, the control unit 601 detects a person on the cut out frame image, and extracts information on the person and the skeleton such as the joint position of the person. Person detection and skeleton extraction may be performed using techniques using local features such as HOG and known techniques such as OpenPose. Then, the control unit 601 assigns a person ID to the person detected from the moving image.
  • control unit 601 detects a stationary time zone in which the person satisfies a predetermined condition in the moving image and is stationary for each detected person. For example, the control unit 601 may trace the movement of the person in the moving image for each detected person, and determine whether the person is moving or stationary. It should be noted that the static determination of a person can be performed by using various known methods.
  • control unit 601 may specify a stationary time zone from a moving image as a section in which a predetermined part of a person based on the information of the detected skeleton of the person does not move while satisfying a predetermined condition.
  • the control unit 601 is stationary in the section between the current frame and the previous frame when the distance between the ankle coordinates of the person shown in the current frame image and the ankle coordinates of the person shown in the previous frame image is equal to or less than a predetermined threshold. It may be determined that it is.
  • the control unit 601 may extract a time zone in which the time zone is continuously stationary for a predetermined number of frames or more as a stationary time zone, and attach a static label to the extracted static time zone.
  • control unit 601 may assign Nx as a static label during the stationary time zone.
  • N of Nx may be a person ID
  • x may be a value representing the detection order of the stationary time zone
  • labels may be given from a in alphabetical order. Then, the control unit 601 registers the record in which the static time zone detected for the person is associated with the person ID and the static label in the static position information 900.
  • the control unit 601 specifies the stationary position of the person for each stationary time zone detected from the moving image.
  • the control unit 601 may specify a representative position representing the position of a predetermined portion of a person in each frame in a stationary time zone as a stationary position.
  • the control unit 601 may use the position of the ankle coordinates of each frame in the stationary time zone as the stationary position by averaging the positions.
  • the representative position according to the embodiment is not limited to this, and other statistical values such as the median may be used as the representative position instead of the average.
  • the control unit 601 may register the coordinates of the static position specified in association with the static time zone in the record of the static position information 900 registered in S1002.
  • control unit 601 specifies the movement information.
  • the control unit 601 specifies information indicating the static labels of the stationary time zone immediately before and after the stationary time zone specified for the person as movement information, and the front label and the rear label of the stationary position information 900. You may register for each.
  • control unit 601 clusters the stationary position in two divisions.
  • the control unit 601 may cluster the stationary position registered in the stationary position information 900 into two clusters by using a known clustering method such as the K-means method.
  • the control unit 601 determines whether or not there is a pair of stationary positions in the cluster obtained by clustering, which has a relationship between the movement source and the movement destination in the movement order in which the person detected from the moving image moves the stationary position. To judge. Then, when there is a pair of stationary positions having a relationship between the movement source and the movement destination (S1006 is YES), the flow proceeds to S1007. For example, the control unit 601 refers to the record of the stationary position information 900 for the stationary position included in the cluster, and when the stationary position registered in the front label or the rear label of the record is included in the same cluster, in S1006. It may be determined as YES.
  • control unit 601 further clusters the cluster including the pair of stationary positions having the relationship between the movement source and the movement destination in two divisions, the flow returns to S1006, and the process is repeated.
  • the control unit 601 refers to the record of the stationary position information 900 for the stationary position included in the cluster, and when the stationary position registered in the front label or the rear label of the record is not included in the same cluster, in S1006. It may be determined as NO.
  • control unit 601 generates a region of interest based on the cluster obtained by clustering, and this operation flow ends.
  • control unit 601 may generate a region of interest to include at least a portion of the stationary position contained in the cluster.
  • control unit 601 may generate a rectangular region composed of the maximum value and the minimum value in each axial direction of the coordinates of the stationary position included in the cluster as the region of interest.
  • control unit 601 may generate an inclusion region by connecting the outermost stationary positions included in the cluster, for example, and use it as a region of interest.
  • the generation of the region of interest based on the cluster at the stationary position is not limited to these, and may be generated by using other methods.
  • FIG. 11 is a diagram illustrating the flow of generation of the region of interest and clustering according to the embodiment.
  • FIG. 11A shows an example in which a region of interest is automatically generated when a moving image is input as input data.
  • the control unit 601 of the information processing apparatus 501 detects a person from the moving image (1101 in FIG. 11A) and identifies the stationary position of the detected person (FIG. 11 (FIG. 11). 1102) of a). Then, the control unit 601 of the information processing apparatus 501 clusters the specified stationary position based on the information on the movement of the person (1103 in FIG. 11A).
  • FIG. 11B illustrates the flow of clustering based on movement information.
  • the control unit 601 of the information processing apparatus 501 divides the detected stationary position into two parts. Then, when the cluster obtained by the division does not include a pair of stationary positions having a relationship between the movement source and the movement destination, the division is terminated (1105 in FIG. 11B). On the other hand, when the cluster obtained by the division includes a pair of stationary positions having a relationship between the movement source and the movement destination, the division is further executed by the division into two (1106 in FIG. 11B). Then, when the cluster obtained by the division does not include the pair of stationary positions having the relationship between the movement source and the movement destination, the division ends (1107 in FIG. 11B).
  • control unit 601 of the information processing apparatus 501 generates and outputs a region of interest based on the obtained clusters at stationary positions (1104 in FIG. 11A). Therefore, it is possible to execute clustering by reducing the influence of the variation in the stationary position and the distance from the photographing device, and it is possible to generate the region of interest from the cluster corresponding to the work with high accuracy.
  • FIG. 12 is a diagram illustrating the result of clustering.
  • FIG. 12 (a) shows the clustering result described in FIG. 3 (b).
  • the work area A of the work A and the corresponding stationary position are divided into two clusters. Further, the stationary positions corresponding to the two tasks of task B and task C are clustered in one cluster.
  • FIG. 12B shows the clustering result described in FIG.
  • clusters are formed in each of the work area A of the work A, the work area B of the work B, and the work area C of the work C. Therefore, it is possible to generate a region of interest for detecting a stationary person for performing each work from a stationary position included in the cluster with high accuracy.
  • the embodiments are not limited to this.
  • the above-mentioned operation flow is an example, and the embodiment is not limited thereto.
  • the operation flow may be executed by changing the order of processing, may include additional processing separately, may omit some processing, or may be partially processing. It may be replaced.
  • the ankle is exemplified as a predetermined part of the person used for the determination of rest, but the embodiment is not limited to this, and other parts may be used.
  • the static determination may be performed using the coordinates of the heel of the person or the coordinates of the center of gravity of the body such as the back.
  • the threshold used to determine whether or not the person is stationary depends on the size of the person in the frame image, such as multiplying the distance from the knee joint to the ankle of the person in the frame image by a predetermined coefficient. It may be set as appropriate. As described above, the size of the person in the frame image varies depending on the distance from the imaging device. Therefore, by setting a relative threshold value based on the distance between the joints detected from the person, etc., the person is stationary. Judgment accuracy can be improved.
  • the algorithm for determining stationaryness in the embodiment is not limited to the above example.
  • the control unit 601 may determine that the time zone in which the person is moving continuously for a predetermined frame or more, such as the person moving in 10 consecutive frames, is determined to be moving, and the time zone in which the person is not moving is the stationary time. It may be specified as a band.
  • the control unit 601 may detect the movement as a stationary time zone if the movement is not detected from the person at a predetermined ratio or more in the predetermined period.
  • static detection for example, if one static position can be detected for a person detected from a moving image during the period from the start to the end of one work, another algorithm is used. May be good.
  • the stationary detection algorithm so that one stationary position can be detected from a person who is executing one task, the correspondence between the stationary position and the work is improved, and thus it is based on the above-mentioned clustering. It is possible to improve the generation accuracy of the area of interest for the work.
  • the embodiment is not limited to this.
  • the target for generating the region of interest may be animals other than humans and other objects such as machines.
  • embodiments may be applied to set areas of interest in other parts of a moving image that repeatedly move and rest and in areas where other objects rest.
  • control unit 601 in the processing of S1003 and S1004, operates as, for example, the specific unit 611. Further, in the processing of S1005 to S1007, the control unit 601 operates as, for example, the division unit 612. In the process of S1008, the control unit 601 operates as, for example, the generation unit 613.
  • FIG. 13 is a diagram illustrating a hardware configuration of a computer 1300 for realizing the information processing apparatus 501 according to the embodiment.
  • the hardware configuration for realizing the information processing device 501 of FIG. 13 includes, for example, a processor 1301, a memory 1302, a storage device 1303, a reading device 1304, a communication interface 1306, and an input / output interface 1307.
  • the processor 1301, the memory 1302, the storage device 1303, the reading device 1304, the communication interface 1306, and the input / output interface 1307 are connected to each other via, for example, the bus 1308.
  • the processor 1301 may be, for example, a single processor, a multiprocessor, or a multicore.
  • the processor 1301 provides a part or all of the functions of the control unit 601 described above by executing, for example, a program describing the procedure of the operation flow described above using the memory 1302.
  • the processor 1301 of the information processing device 501 operates as a specific unit 611, a division unit 612, and a generation unit 613 by reading and executing a program stored in the storage device 1303.
  • the memory 1302 is, for example, a semiconductor memory, and may include a RAM area and a ROM area.
  • the storage device 1303 is, for example, a semiconductor memory such as a hard disk or a flash memory, or an external storage device.
  • RAM is an abbreviation for Random Access Memory.
  • ROM is an abbreviation for Read Only Memory.
  • the reading device 1304 accesses the detachable storage medium 1305 according to the instruction of the processor 1301.
  • the removable storage medium 1305 is realized by, for example, a semiconductor device, a medium in which information is input / output by magnetic action, a medium in which information is input / output by optical action, and the like.
  • the semiconductor device is, for example, a USB (Universal Serial Bus) memory.
  • the medium to which information is input / output by magnetic action is, for example, a magnetic disk.
  • the medium to which information is input / output by optical action is, for example, a CD-ROM, a DVD, a Blu-ray Disc, or the like (Blu-ray is a registered trademark).
  • CD is an abbreviation for Compact Disc.
  • DVD is an abbreviation for Digital Versatile Disk.
  • the storage unit 602 includes, for example, a memory 1302, a storage device 1303, and a removable storage medium 1305.
  • the storage device 1303 of the information processing device 501 stores a moving image of the work and the stationary position information 900.
  • the communication interface 1306 communicates with other devices according to the instructions of the processor 1301. In one example, the communication interface 1306 may send and receive data to and from other devices such as the imaging device 502 via wired or wireless communication.
  • the communication interface 1306 is an example of the above-mentioned communication unit 603.
  • the input / output interface 1307 may be, for example, an interface between an input device and an output device.
  • the input device is, for example, a device such as a keyboard, a mouse, or a touch panel that receives an instruction from a user.
  • the output device is, for example, a display device such as a display and an audio device such as a speaker.
  • Each program according to the embodiment is provided to the information processing apparatus 501 in the following form, for example. (1) It is pre-installed in the storage device 1303. (2) Provided by the removable storage medium 1305. (3) It is provided from a server such as a program server.
  • the hardware configuration of the computer 1300 for realizing the information processing apparatus 501 described with reference to FIG. 13 is an example, and the embodiment is not limited to this. For example, some of the above configurations may be deleted or new configurations may be added. Further, in another embodiment, for example, some or all the functions of the above-mentioned control unit 601 may be implemented as hardware by FPGA, SoC, ASIC, PLD, or the like.
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • SoC is an abbreviation for System-on-a-chip.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • PLD is an abbreviation for Programmable Logic Device.
  • Imaging system 501 Information processing device 502 Imaging device 601 Control unit 602 Storage unit 603 Communication unit 611 Specific unit 612 Division unit 613 Generation unit 1300 Computer 1301 Processor 1302 Memory 1303 Storage device 1304 Reader 1305 Detachable storage medium 1306 Communication interface 1307 Output interface 1308 bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一実施形態に係る情報処理装置は、人物の作業を撮影した動画像から人物が静止している複数の静止位置と、人物が複数の静止位置を移動する移動順序とを特定する特定部と、複数の静止位置をクラスタリングし、得られたクラスタが移動順序において移動元と移動先の関係にある静止位置の対を含む場合、クラスタに含まれる静止位置を更にクラスタリングして、複数の静止位置を複数のクラスタに分割する分割部と、分割部により得られた複数のクラスタに基づいて動画像に関心領域を生成する生成部と、を含む。

Description

情報処理装置、生成方法、および生成プログラム
　本発明は、情報処理装置、生成方法、および生成プログラムに関する。
　工場などの現場では、業務改善を目的として、作業時間を計測して可視化し、作業時間のばらつきを評価したり、異なる人物による作業の比較を行ったりすることで問題点を抽出することが行われている。
　また、作業の検出手法の一つとして、カメラなどの撮影装置で現場を撮影した動画像に対して作業に応じた関心領域（ＲＯＩ：Region　Of　Interest）を生成し、関心領域に人物が入ったことに基づいて人物の作業を検出する手法がある。
　また、人物の動きに関連するクラスタリングを実行する技術が知られている（例えば、特許文献１および特許文献２）。
特開２０１７－０９０９６５号公報 国際公開第２０１１／０１３２９９号
　関心領域は、例えば、人物の作業を撮影した動画像を見ながら手作業で生成することができる。しかしながら、手作業での関心領域の生成には、時間および労力がかかるため、関心領域を高い精度で自動生成することのできる技術の提供が望まれている。
　１つの側面では、本発明は、関心領域を高い精度で自動生成することのできる技術を提供することを目的とする。
　本発明の一つの態様の情報処理装置は、人物の作業を撮影した動画像から人物が静止している複数の静止位置と、人物が複数の静止位置を移動する移動順序とを特定する特定部と、複数の静止位置をクラスタリングし、得られたクラスタが移動順序において移動元と移動先の関係にある静止位置の対を含む場合、クラスタに含まれる静止位置を更にクラスタリングして、複数の静止位置を複数のクラスタに分割する分割部と、分割部により得られた複数のクラスタに基づいて動画像に関心領域を生成する生成部と、を含む。
　関心領域を高い精度で自動生成することができる。
実施形態に係る動画像に写る人物が作業中に位置する作業領域を例示する図である。 実施形態に係る動画像から検出された人物の複数の静止位置を例示する図である。 静止位置のクラスタリングを例示する図である。 例示的な動画像における撮影距離に応じた長さの違いを示す図である。 実施形態に係る撮影システムを例示する図である。 実施形態に係る情報処理装置の機能ブロック構成を例示する図である。 実施形態に係るクラスタリングを例示する図である。 動画像に配置した静止位置のクラスタリング結果を例示する図である。 実施形態に係る静止位置情報を例示する図である。 実施形態に係る関心領域の生成処理の動作フローを例示する図である。 実施形態に係る関心領域の生成とクラスタリングとの流れを例示する図である。 クラスタリング結果を例示する図である。 実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。
　以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。
　上述のように、作業の検出手法の一つとして、撮影装置で現場を撮影した動画像に対して作業領域ごとに関心領域を生成し、関心領域に人物が入ったことに基づいて人物の作業を検出する手法がある。この様な検出手法は、例えば、セル生産方式およびジョブショップ方式といった複数の作業場所を人物が移動しながら製品を作成する現場での利用に適している。
　また、関心領域は、例えば、人物の作業を撮影した動画像を見ながら手作業で生成することができる。しかしながら、手作業での関心領域の生成には、時間および労力がかかるため、関心領域を高い精度で自動生成することのできる技術の提供が望まれている。
　図１は、実施形態に係る動画像に写る人物が作業中に位置する作業領域を例示する図である。図１の動画像の撮影範囲には作業が行われる場所として、作業Ａ、作業Ｂ、および作業Ｃの３つが示されている。また、図１には、作業Ａを行っている最中に人物が位置する作業領域Ａ、作業Ｂを行っている最中に人物が位置する作業領域Ｂ、作業Ｃを行っている最中に人物が位置する作業領域Ｃが示されている。そして、例えば、これらの作業領域Ａ、作業領域Ｂ、および作業領域Ｃに関心領域を自動生成したいとする。
　ここで、例えば、作業中には人物は静止していると仮定し、作業を撮影した動画像から人物が静止している静止位置を検出して、静止位置に基づいて関心領域を生成することが考えられる。
　一例として、複数の作業を撮影した動画像から人物の複数の静止位置を検出する。なお、静止位置の検出に用いられる動画像には、同一人物により行われた複数回の作業が撮影されていてもよく、複数の人物によって行われた作業が撮影されていてもよい。
　図２は、実施形態に係る動画像から検出された人物の複数の静止位置を例示する図である。なお、静止位置は、例えば、動画像において人物の検出を行い、検出された人物が動画像において静止している位置として特定されてよい。
　図２の例では、作業Ａを行っている最中の人物の静止位置として１ａ、２ａ、３ａ、および４ａの４つの静止位置が示されている。また、作業Ｂを行っている最中の人物の静止位置として１ｂ、２ｂ、３ｂ、および４ｂの４つの静止位置が示されている。作業Ｃを行っている最中の人物の静止位置として１ｃ、２ｃ、３ｃ、および４ｃの４つの静止位置が示されている。そして、例えば、動画像から検出された複数の静止位置にクラスタリングを実行する。
　図３は、静止位置のクラスタリングを例示する図である。図３（ａ）には、動画像から検出された人物の複数の静止位置が示されている。なお、図３（ａ）において、縦軸は動画像の縦方向であり、横軸は動画像の横方向である。そして、例えば、位置の近いもの同士が同じクラスタになるように複数の静止位置をクラスタリングし、得られた静止位置のクラスタが示す領域を、人物が作業中に位置する作業領域と見なして関心領域を生成することが考えられる。なお、クラスタリングは、例えば、Ｋ－ｍｅａｎｓ法などの既知のクラスタリング技術を用いて実行されてよい。
　しかしながら、静止位置のクラスタリングを行った際に、得られたクラスタが実際の作業の作業領域と対応していないことがある。
　例えば、撮影装置で撮影した動画像の撮影範囲において、異なる作業と対応する作業領域間の距離が近いために、これらの異なる作業と対応する静止位置が１つのクラスタにクラスタリングされてしまうことがある。
　また、例えば、動画像では、撮影に用いられた撮影装置からの距離に応じて対象物の長さの違いが生じる。
　図４は、例示的な動画像における撮影距離に応じた長さの違いを示す図である。図４には動画像の撮影範囲に矢印が示されている。矢印で示す長さａ、長さｂ、長さｃ、および長さｄは、いずれも実空間では同じ長さである。しかしながら、撮影装置からの距離が遠くなる程、実空間では同じ長さでも画像上の長さが短くなるため、図４では、撮影距離に応じて矢印は異なる長さで示されている。このように、例えば、撮影装置からの距離が遠くなる程、実空間では同じ長さでも画像上の長さは短くなる。
　そのため、例えば、動画像から検出した人物の複数の静止位置をクラスタリングした際に撮像装置から遠い位置では、異なる作業をしている人物から検出された静止位置間の距離差が短くなりすぎてしまい、１つのクラスタとして検出されてしまうことがある。或いは、例えば、撮像装置に近い作業領域で作業している人物から検出された複数の静止位置のばらつきが大きく、複数のクラスタとして検出されてしまうことがある。
　図３（ｂ）では、動画像の撮影範囲にクラスタリングの実行結果が重ねて示されている。そして、図３（ｂ）のクラスタリングの実行結果では、図１における作業Ａの作業領域Ａに位置する静止位置はばらつきが大きく、２つのクラスタに分割されてしまっている。一方、図１における作業Ｂの作業領域Ｂ、および作業Ｃの作業領域Ｃに位置する静止位置は、図３（ｂ）では１つのクラスタにまとめられてしまっている。
　以上で述べたように、作業場所の画像内での位置および作業内容などに応じて、１つの作業に対する静止位置のばらつきは異なり得る。その結果、１つの作業の静止位置が複数のクラスタに分けられてしまったり、複数の作業の静止位置が１つのクラスタにまとめられてしまったりすることがある。その結果、静止位置のクラスタリングを行った際に、得られたクラスタが実際の作業の作業領域と対応しておらず、静止位置のクラスタに基づいて作業と対応する関心領域を自動生成することが難しいことがある。
　以下で述べる実施形態では、動画像から検出された人物の複数の静止位置をクラスタリングして得られたクラスタが、人物が複数の静止位置を移動する移動順序において移動元と移動先の関係にある静止位置の対を含まなくなるようにクラスタリングを実行する。それにより、作業領域と高い精度で対応づけ可能なクラスタに静止位置を分割することができる。そして、得られたクラスタに基づいて作業領域と高い精度で対応づいている関心領域を自動生成することができる。以下、実施形態を更に詳細に説明する。
　図５は、実施形態に係る撮影システム５００を例示する図である。撮影システム５００は、情報処理装置５０１と、撮影装置５０２とを含む。情報処理装置５０１は、例えば、サーバコンピュータ、パーソナルコンピュータ（ＰＣ）、モバイルＰＣ、タブレット端末などの演算機能を備えるコンピュータであってよい。また、撮影装置５０２は、例えば、カメラである。撮影装置５０２は、例えば、作業を行っている最中の人物を撮影するように設置されていてよい。
　情報処理装置５０１は、例えば、撮影装置５０２で撮影された動画像に基づいて関心領域を生成する。一例では、情報処理装置５０１は、撮影装置５０２と接続されていてよく、撮影装置５０２から動画像を取得してよい。別の例では情報処理装置５０１は、撮影装置５０２で撮影された動画像を別の装置を介して取得してもよい。
　図６は、実施形態に係る情報処理装置５０１の機能ブロック構成を例示する図である。情報処理装置５０１は、例えば、制御部６０１、記憶部６０２、および通信部６０３を含む。制御部６０１は、例えば特定部６１１、分割部６１２、および生成部６１３などを含み、またその他の機能部を含んでもよい。情報処理装置５０１の記憶部６０２は、例えば、撮影装置５０２で人物による作業を撮影した動画像、および後述する静止位置情報９００などの情報を記憶していてよい。通信部６０３は、例えば、制御部６０１の指示に従って撮影装置５０２などの他の装置と通信する。これらの各部の詳細および記憶部６０２に格納されている情報の詳細については後述する。
　上述のように、例えば、作業中には人物の位置が静止していると仮定し、作業を撮影した動画像から人物が静止している静止位置を検出して、静止位置に基づいて関心領域を生成することが考えられる。なお、人物によって静止位置が若干異なっていたり、および同じ人物であっても作業ごとに静止位置が若干異なっていたりすることが考えられる。そのため、例えば、動画像には、同じ人物の複数回の作業が撮影されていてよく、また、複数の人物の作業が撮影されていてもよい。
　そして、制御部６０１は、撮影した動画像から人物を検出する。人物は、例えば、既知の人物検出手法を利用して検出することができる。人物検出は、一例では、ＨＯＧ（Histogram　of　Oriented　Gradients）などの局所特徴量を用いた手法またはＯｐｅｎＰｏｓｅなどを用いて実行されてよい。続いて、制御部６０１は、例えば、検出した人物が所定の条件を満たして静止している位置を静止位置として検出する。静止位置の検出の更なる詳細についての例は後述する。
　そして、例えば、動画像から検出した複数の静止位置をクラスタリングし、得られた静止位置の各クラスタを作業領域として、関心領域の生成に用いることが考えられる。
　図７は、実施形態に係るクラスタリングを例示する図である。なお、図７には、複数の静止位置（例えば、Ｎａ～Ｎｃ）が示されている。静止位置に付されたラベルＮは、動画像から検出された人物に割り当てられた識別子であってよく、図７には、動画像からＮ＝１～Ｎ＝４の４人の人物が検出された例が示されている。また、図７では静止位置のラベルＮに付された添え字のａ、ｂ、およびｃは、静止位置と対応する作業を示している。例えば、Ｎａは、作業Ａの作業中の人物から検出された静止位置である。また、Ｎｂは、作業Ｂの作業中の人物から検出された静止位置である。Ｎｃは、作業Ｃの作業中の人物から検出された静止位置である。
　そして、実施形態では制御部６０１は、動画像から静止位置を検出する際に、動画像において人物が静止位置を移動する移動順序の情報も取得する。例えば、図７では、人物は作業Ａ→作業Ｂ→作業Ｃの順序で作業を実行している。そして、図７（ａ）では、静止位置の移動順序の情報が矢印で示されており、作業Ａを行った後、作業Ａの静止位置Ｎａから、作業Ｂの静止位置Ｎｂに移動する矢印が示されている。また更に、作業Ｂを行った後、作業Ｂの静止位置Ｎｂから、作業Ｃの静止位置Ｎｃに移動する矢印が示されている。
　この場合に、制御部６０１は、検出された複数の静止位置を最小の分割数である２分割でクラスタリングしてよい。図７（ｂ）には、２分割でクラスタリングを実行した結果が示されており、静止位置は、クラスタ７０１と、クラスタ７０２の２つのクラスタに分けられている。
　ここで、例えば、人物が或る作業を終了して別な作業に移る場合、人物はある作業の静止位置から別な作業の静止位置へと移動すると考えられる。そのため、制御部６０１は、クラスタ内に移動元と移動先の関係となる静止位置の対が含まれているか否かを判定する。そして、同じクラスタ内に移動元と移動先の関係となる静止位置の対が含まれている場合、そのクラスタには複数の作業と対応する静止位置が混在していると見なすことができる。そのため、制御部６０１は、クラスタ内に移動元と移動先の関係となる静止位置の対が含まれている場合には、そのクラスタを更に２分割でクラスタリングする。一方、クラスタ内に移動元と移動先の関係となる静止位置の対が含まれていない場合には、制御部６０１は、そのクラスタのクラスタリングを終了してよい。
　例えば、図７（ｂ）では、クラスタ７０１内には静止位置Ｎａの移動先が含まれていない。そのため、制御部６０１は、クラスタ７０１については分割を終了してよい。
　一方、図７（ｂ）では、例えば、クラスタ７０２内には静止位置Ｎｂの移動先である静止位置Ｎｃが含まれている。そのため、制御部６０１は、クラスタ７０２には移動元と移動先の関係となる静止位置の対が含まれていると判定してよく、クラスタ７０２に対して更に２分割のクラスタリングを実行してよい。
　図７（ｃ）は、クラスタ７０２に２分割のクラスタリングを実行した結果を示す図である。図７（ｃ）では、クラスタ７０２に含まれている静止位置が、クラスタ７０３およびクラスタ７０４にクラスタリングされている。また、クラスタ７０３およびクラスタ７０４にはいずれも移動元と移動先の関係となる静止位置の対が含まれていないため、制御部６０１は、クラスタ７０３およびクラスタ７０４についてクラスタリングを終了してよい。
　以上のように、移動順序の情報を用いてクラスタリングを実行することで、作業領域との対応づけのよいクラスタに静止位置を分割することができる。そして、分割により得られた静止位置のクラスタに基づいて作業領域と対応する関心領域を高精度に生成することができる。
　例えば、同じクラスタ内に移動元と移動先の関係となる静止位置の対が含まれている場合、そのクラスタには複数の作業と対応する静止位置が混在していると見なしてクラスタを更に分割する。それにより、或る作業の静止位置を、近い距離にある別の作業の静止位置と高精度に分けることができる。例えば、セル生産方式およびジョブショップ方式といった複数の作業場所を人物が移動しながら製品を作成する現場では、作業効率をあげるために一連の作業の実行において人物の移動距離が小さくなるように動線が整備されていることがある。このような場合にも、実施形態に係るクラスタリングによれば、近くに隣接して配置されている２つの作業領域と対応する静止位置を高精度に分けることができ、分離された静止位置のクラスタに基づいて関心領域を高精度に自動生成することができる。
　また更に、図７の例では、制御部６０１は、２分割により段階的にクラスタリングを実行している。それにより、クラスタリングの際に１つの作業と対応する静止位置を複数のクラスタに過分割してしまうことを抑制することができる。
　なお、図７の例では静止位置のラベルＮは、添え字のａ、ｂ、およびｃで作業と対応づけて記載しているが、実際に動画像から静止位置を検出する際には、ラベルは作業と対応していなくてよく、人物ごとの静止位置の移動順序が特定されていればよい。
　図８は、動画像に配置した静止位置のクラスタリング結果を例示する図である。図８に示すように、静止位置の各クラスタは、図１で述べた作業領域と対応する位置にある。そのため、制御部６０１は、静止位置のクラスタに基づいて、各作業の作業領域の関心領域を生成することができる。
　例えば、以上で述べたように、静止位置の移動順序を示す情報を用いて、クラスタリングを段階的に実行することで、クラスタリングの差異に過分割や分割不足を抑制して、作業との対応のよいクラスタリングを実行することができる。
　以下、実施形態に係る関心領域の生成処理について説明する。
　図９は、実施形態に係る静止位置情報９００を例示する図である。静止位置情報９００には、動画像から検出された静止位置ごとに、その静止位置に関する情報を含むレコードが登録される。図９では静止位置情報９００には、静止時間帯、人物ＩＤ（identifier）、静止ラベル、静止位置、前ラベル、および後ラベルの情報を対応づけるレコードが登録されている。
　静止時間帯は、例えば、動画像から検出された人物が所定の条件を満たして静止している時間帯を示す情報である。図９の静止位置情報９００では、人物の静止が検出されたフレームの期間として静止時間帯が登録されている。
　人物ＩＤは、動画像から検出された人物を識別するために割り当てられた識別子である。静止位置情報９００の人物ＩＤには、例えば、レコードの静止時間帯において静止が検出された人物を識別するための人物ＩＤが登録されている。
　静止ラベルは、例えば、レコードの静止時間帯において検出された静止位置に対して付与されるラベルである。一例では、人物ＩＤで識別される特定の人物に対して動画像から複数の静止時間帯が検出された場合に、静止ラベルには人物に対して動画像において静止時間帯が検出された順序に従って一連のラベルを付与されてもよい。例えば、図９の静止位置情報９００では、静止位置には静止ラベルとしてＮｘが付与されている。ＮｘのＮは、人物ＩＤであってよい。また、Ｎｘのｘは、静止時間帯の検出順を表す値であってよく、人物ごとにアルファベット順にａからラベルが付与されている。例えば、図９の静止位置情報９００では、人物ＩＤ：１で識別される人物は、動画像において１ａ→１ｂ→１ｃの順序で静止位置を移動している。
　静止位置情報９００の静止位置には、例えば、レコードの静止時間帯において検出された人物の位置を示す情報が登録されてよい。静止位置は、例えば、動画像のフレーム画像における位置を示す座標で表されてよい。一例では、座標は、フレーム画像における所定画素からの静止位置までの縦方向と横方向の画素数で表されてよい。
　静止位置情報９００の前ラベルには、レコードの人物ＩＤで識別される人物について、そのレコードの静止位置よりも１つ前に検出された静止位置の静止ラベルが登録されてよい。また、静止位置情報９００の後ラベルには、レコードの人物ＩＤで識別される人物について、そのレコードの静止位置よりも１つ後に検出された静止位置の静止ラベルが登録されてよい。なお、図９の静止位置情報９００において、静止ラベル、前ラベルおよび後ラベルは、人物の移動の順序を表す移動情報である。また、図９の静止位置情報９００では、動画像において１つ前に検出された静止位置または１つ後に検出された静止位置がない場合には、対応する静止位置が無いことを示す「‐」が登録されている。
　続いて、実施形態に係る関心領域の生成処理の動作フローを説明する。
　図１０は、実施形態に係る関心領域の生成処理の動作フローを例示する図である。例えば、制御部６０１は、動画像に基づく関心領域の生成処理の実行指示を受けると図１０の動作フローを開始してよい。
　ステップ１００１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ１００１と表記する）において制御部６０１は、動画像から人物検出を行う。例えば、制御部６０１は、動画像から各フレームのフレーム画像を切り出す。そして、制御部６０１は、切り出したフレーム画像に対して人物検出を行い、人物、およびその人物の関節位置などの骨格の情報を抽出する。人物検出および骨格抽出は、例えばＨＯＧなどの局所特徴量を用いた手法およびＯｐｅｎＰｏｓｅなどの既知の技術を用いて実行されてよい。そして、制御部６０１は、動画像から検出された人物に人物ＩＤを割り当てる。
　Ｓ１００２において制御部６０１は、検出された人物ごとに、その人物が動画像において所定の条件を満たして静止している静止時間帯を検出する。制御部６０１は、例えば、検出された人物ごとに、動画像における人物の移動をトレースし、人物が動いているか、または静止しているかを判定してよい。なお、人物の静止判定は、既知の様々な手法を用いて実行することができる。
　例えば、制御部６０１は、検出された人物の骨格の情報に基づく人物の所定部位が、所定の条件を満たして動いていない区間として動画像から静止時間帯を特定してよい。一例では、制御部６０１は、現フレーム画像に写る人物の足首座標と、前フレーム画像に写る人物の足首座標との距離が所定の閾値以下の場合に、現フレームと前フレームとの区間で静止していると判定してよい。そして、制御部６０１は、所定のフレーム数以上連続して静止している時間帯を静止時間帯として抽出し、抽出した静止時間帯に静止ラベルを付与してよい。例えば、制御部６０１は、静止時間帯に静止ラベルとしてＮｘを付与してよい。ＮｘのＮは、人物ＩＤであってよく、ｘは静止時間帯の検出順を表す値であってよく、アルファベット順にａからラベルが付与されていてよい。そして、制御部６０１は、人物に対して検出された静止時間帯を、人物ＩＤ、および静止ラベルと対応づけたレコードを静止位置情報９００に登録する。
　Ｓ１００３において制御部６０１は、動画像から検出された各静止時間帯について人物の静止位置を特定する。一例では、制御部６０１は、静止時間帯における各フレームでの人物の所定の部位の位置を代表する代表位置を静止位置として特定してよい。例えば、制御部６０１は、静止時間帯の各フレームの足首座標の位置を平均して静止位置として用いてよい。なお、実施形態に係る代表位置はこれに限定されるものではなく、平均の代わりに中央値などその他の統計値が代表位置として用いられてもよい。そして、制御部６０１は、Ｓ１００２で登録した静止位置情報９００のレコードに、静止時間帯と対応づけて特定した静止位置の座標を登録してよい。
　Ｓ１００４において制御部６０１は、移動情報を特定する。例えば、制御部６０１は、人物に対して特定される或る静止時間帯の直前および直後の静止時間帯の静止ラベルを示す情報を移動情報として特定し、静止位置情報９００の前ラベルおよび後ラベルにそれぞれ登録してよい。
　Ｓ１００５において制御部６０１は、静止位置を２分割でクラスタリングする。例えば、制御部６０１は、静止位置情報９００に登録されている静止位置を、Ｋ－ｍｅａｎｓ法などの既知のクラスタリング手法を用いて２つのクラスタにクラスタリングしてよい。
　Ｓ１００６において制御部６０１は、クラスタリングで得られたクラスタ内に、動画像から検出された人物が静止位置を移動する移動順序において移動元と移動先の関係にある静止位置の対があるか否かを判定する。そして、移動元と移動先の関係にある静止位置の対がある場合（Ｓ１００６がＹＥＳ）、フローはＳ１００７に進む。例えば、制御部６０１は、クラスタに含まれる静止位置について静止位置情報９００のレコードを参照し、レコードの前ラベルまたは後ラベルに登録されている静止位置が同じクラスタに含まれている場合、Ｓ１００６においてＹＥＳと判定してよい。
　Ｓ１００７において制御部６０１は、移動元と移動先の関係にある静止位置の対を含むクラスタを２分割で更にクラスタリングし、フローはＳ１００６に戻り、処理を繰り返す。
　一方、クラスタリングで得られたクラスタに、移動元と移動先の関係にある静止位置の対を含むクラスタがない場合（Ｓ１００６がＮＯ）、フローはＳ１００８に進む。例えば、制御部６０１は、クラスタに含まれる静止位置について静止位置情報９００のレコードを参照し、レコードの前ラベルまたは後ラベルに登録されている静止位置が同じクラスタに含まれていない場合、Ｓ１００６においてＮＯと判定してよい。
　Ｓ１００８において制御部６０１は、クラスタリングにより得られたクラスタに基づき、関心領域を生成し、本動作フローは終了する。例えば、制御部６０１は、クラスタに含まれる静止位置の少なくとも一部を含むように関心領域を生成してよい。
　例えば、制御部６０１は、クラスタに含まれる静止位置の座標の各軸方向の最大値と最小値で構成される長方形領域を関心領域として生成してよい。或いは、制御部６０１は、例えば、クラスタに含まれる一番外側に配置されている静止位置を繋ぎ合わせて内包領域を生成し、関心領域として用いてもよい。なお、静止位置のクラスタに基づく関心領域の生成は、これらに限定されるものではなく、その他の手法を用いて生成されてもよい。
　以上で述べたように、実施形態によれば、検出対象の静止位置に基づいて動画像に関心領域を高い精度で生成することができる。
　図１１は、実施形態に係る関心領域の生成とクラスタリングとの流れを例示する図である。図１１（ａ）には、入力データとして動画像を入力すると、自動で関心領域が生成される例が示されている。例えば、情報処理装置５０１の制御部６０１は、動画像が入力されると、動画像から人物を検出し（図１１（ａ）の１１０１）、検出した人物の静止位置を特定する（図１１（ａ）の１１０２）。そして、情報処理装置５０１の制御部６０１は、特定した静止位置を人物の移動の情報に基づいてクラスタリングする（図１１（ａ）の１１０３）。
　図１１（ｂ）には、移動の情報に基づくクラスタリングの流れが例示されている。情報処理装置５０１の制御部６０１は、検出された静止位置を２分割で分割する。そして、分割で得られたクラスタ内に移動元と移動先の関係にある静止位置の対が含まれない場合には、分割を終了する（図１１（ｂ）の１１０５）。一方、分割で得られたクラスタ内に移動元と移動先の関係にある静止位置の対が含まれる場合には、更に２分割で分割を実行する（図１１（ｂ）の１１０６）。そして、分割で得られたクラスタ内に移動元と移動先の関係にある静止位置の対が含まれなくなると、分割を終了する（図１１（ｂ）の１１０７）。
　続いて、情報処理装置５０１の制御部６０１は、得られた静止位置のクラスタに基づいて関心領域を生成して出力する（図１１（ａ）の１１０４）。そのため、静止位置のばらつきや撮影装置からの距離の影響を低減してクラスタリングを実行することができ、作業と高い精度で対応づいたクラスタから関心領域を生成することができる。
　図１２は、クラスタリング結果を例示する図である。図１２（ａ）には、図３（ｂ）で述べたクラスタリング結果が示されている。図１２（ａ）の例では、作業Ａの作業領域Ａと対応する静止位置が２つのクラスタに分かれてしまっている。また、作業Ｂと作業Ｃの２つの作業と対応する静止位置が、１つのクラスタでクラスタリングされている。
　一方、図１２（ｂ）には図８で述べたクラスタリング結果が示されている。図１２（ｂ）の例では、作業Ａの作業領域Ａ、作業Ｂの作業領域Ｂ、および作業Ｃの作業領域Ｃのそれぞれにクラスタが形成されている。そのため、クラスタに含まれる静止位置からそれぞれの作業の実行のために静止した人物を検出するための関心領域を高い精度で生成することができる。
　以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、一部の処理が省略されてもよく、または、一部の処理が置き換えられてもよい。
例えば、上述の図１０のＳ１００５およびＳ１００７の処理では、２分割でクラスタリングを実行する例を述べている。このように最小の２分割で段階的にクラスタの分割を実行することで、１つの作業と対応する静止位置を、複数のクラスタへと過剰に分割してしまうことを抑制することができる。しかしながら、実施形態はこれに限定されるものではない。別の実施形態では２分割よりも多い数のクラスタに分割を行うことを含んでもよい。一例として、生成されるクラスタのサイズが、検出対象の人物のサイズよりも極端に大きい場合、分割不足であることが推測される。そのため、制御部６０１は、例えば、生成されるクラスタのサイズが、検出対象の人物のサイズに対して所定の比率以上で大きい場合には、分割数を増やしてクラスタリングを行ってもよい。
　また、上述の実施形態では、静止の判定に用いる人物の所定の部位として足首を例示しているが、実施形態はこれに限定されるものではなく、その他部位を用いることもできる。別の例として、人物の踵の座標、或いは、背中などの体の重心の座標を用いて静止の判定が行われてもよい。
　また、上述の実施形態では、連続するフレームにおいて所定の部位の移動が所定の閾値以下である場合に、静止していると判定する例を述べているが、実施形態はこれに限定されるものではない。別の実施形態では、静止しているか否かの判定に用いる閾値は、フレーム画像に写る人物の膝の関節から足首まで距離に所定の係数を乗じるなど、フレーム画像に写る人物のサイズに応じて適宜設定されてもよい。上述のように、フレーム画像に写る人物のサイズは、撮影装置からの距離に応じて変動するため、人物から検出した関節間の距離などに基づいて相対的に閾値を設定することで、静止の判定精度を高めることができる。
　更には、実施形態における静止の判定のアルゴリズムは、上述の例に限定されるものではない。別の例では、制御部６０１は、１０フレーム連続で人物が動いているなど、所定フレーム以上連続で人物が動いている時間帯を移動と判定してよく、移動していない時間帯を静止時間帯として特定してもよい。或いは、制御部６０１は、所定期間において所定の割合以上で人物から動きが検出されなければ静止時間帯として検出してもよい。更には、静止の検出には、例えば、１つの作業の開始から終了までの期間に動画像から検出された人物に対して１つの静止位置を検出することができれば、その他のアルゴリズムが用いられてもよい。
　そして、例えば、１つの作業を実行中の人物から１つの静止位置が検出できるように静止の検出アルゴリズムを調整することで、静止位置と作業との対応づけが良くなるため、上述のクラスタリングに基づく作業に対する関心領域の生成精度を高めることができる。
　また、上記においては、人物の作業の検出に用いる関心領域の設定に実施形態を適用する例を述べているが、実施形態はこれに限定されるものではない。例えば、関心領域の生成を行う対象は、人物以外の動物および機械などのその他の対象物であってもよい。例えば、実施形態は動画像において移動と静止を繰り返すその他の部位およびその他の物体が静止する領域に関心領域を設定するために適用されてもよい。
　上述の実施形態においてＳ１００３およびＳ１００４の処理では制御部６０１は、例えば、特定部６１１として動作する。また、Ｓ１００５からＳ１００７の処理では制御部６０１は、例えば、分割部６１２として動作する。Ｓ１００８の処理では制御部６０１は、例えば、生成部６１３として動作する。
　図１３は、実施形態に係る情報処理装置５０１を実現するためのコンピュータ１３００のハードウェア構成を例示する図である。図１３の情報処理装置５０１を実現するためのハードウェア構成は、例えば、プロセッサ１３０１、メモリ１３０２、記憶装置１３０３、読取装置１３０４、通信インタフェース１３０６、および入出力インタフェース１３０７を備える。なお、プロセッサ１３０１、メモリ１３０２、記憶装置１３０３、読取装置１３０４、通信インタフェース１３０６、入出力インタフェース１３０７は、例えば、バス１３０８を介して互いに接続されている。
　プロセッサ１３０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１３０１は、メモリ１３０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部６０１の一部または全部の機能を提供する。例えば、情報処理装置５０１のプロセッサ１３０１は、記憶装置１３０３に格納されているプログラムを読み出して実行することで、特定部６１１、分割部６１２、および生成部６１３として動作する。
　メモリ１３０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１３０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random　Access　Memoryの略称である。また、ＲＯＭは、Read　Only　Memoryの略称である。
　読取装置１３０４は、プロセッサ１３０１の指示に従って着脱可能記憶媒体１３０５にアクセスする。着脱可能記憶媒体１３０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal　Serial　Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Blu-ray　Disc等（Blu-rayは登録商標）である。ＣＤは、Compact　Discの略称である。ＤＶＤは、Digital　Versatile　Diskの略称である。
　記憶部６０２は、例えばメモリ１３０２、記憶装置１３０３、および着脱可能記憶媒体１３０５を含んでいる。例えば、情報処理装置５０１の記憶装置１３０３には、作業を撮影した動画像、および静止位置情報９００が格納されている。
　通信インタフェース１３０６は、プロセッサ１３０１の指示に従って、他の装置と通信する。一例では、通信インタフェース１３０６は、有線または無線通信で撮影装置５０２などの他の装置とデータを送受信してよい。通信インタフェース１３０６は、上述の通信部６０３の一例である。
　入出力インタフェース１３０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびスピーカなどの音声装置である。
　実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置５０１に提供される。
（１）記憶装置１３０３に予めインストールされている。
（２）着脱可能記憶媒体１３０５により提供される。
（３）プログラムサーバなどのサーバから提供される。
　なお、図１３を参照して述べた情報処理装置５０１を実現するためのコンピュータ１３００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の制御部６０１の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field　Programmable　Gate　Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application　Specific　Integrated　Circuitの略称である。ＰＬＤは、Programmable　Logic　Deviceの略称である。
　以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
５００　　　撮影システム
５０１　　　情報処理装置
５０２　　　撮影装置
６０１　　　制御部
６０２　　　記憶部
６０３　　　通信部
６１１　　　特定部
６１２　　　分割部
６１３　　　生成部
１３００　　コンピュータ
１３０１　　プロセッサ
１３０２　　メモリ
１３０３　　記憶装置
１３０４　　読取装置
１３０５　　着脱可能記憶媒体
１３０６　　通信インタフェース
１３０７　　入出力インタフェース
１３０８　　バス
 
 

Claims (6)

  1. 　人物の作業を撮影した動画像から前記人物が静止する第１複数の静止位置と、前記人物が前記複数の静止位置を移動する移動順序とを特定する特定部と、
    　前記第１複数の静止位置をクラスタリングすることで、前記第１複数の静止位置を第１複数のクラスタに分割し、第１複数のクラスタに含まれるクラスタが前記移動順序において移動元と移動先の関係にある静止位置の対を含む場合、前記クラスタに含まれる第２複数の静止位置をクラスタリングすることで、前記第２複数の静止位置を第２複数のクラスタに分割する分割部と、
    　前記第２複数のクラスタに基づいて前記動画像に関心領域を生成する生成部と、
    を含む、情報処理装置。
  2. 　前記分割部は、前記前記第２複数の静止位置を２分割で分割する、請求項１に記載の情報処理装置。
  3. 　前記特定部は、前記動画像において前記人物の骨格に基づく前記人物の所定部位が所定の条件を満たして動いていない静止時間帯を特定し、前記静止時間帯のフレーム画像における前記所定部位の位置を代表する代表位置を前記静止位置として特定する、請求項１または２に記載の情報処理装置。
  4. 　前記分割部は、前記第１複数のクラスタに含まれるクラスタが、前記移動順序において移動元と移動先の関係にある静止位置の対を含まない場合、前記クラスタに含まれる前記第２複数の静止位置の更なるクラスタリングを実行しない、請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　人物の作業を撮影した動画像から前記人物が静止する複数の静止位置と、前記人物が前記複数の静止位置を移動する移動順序とを特定し、
    　前記第１複数の静止位置をクラスタリングすることで、前記第１複数の静止位置を第１複数のクラスタに分割し、第１複数のクラスタに含まれるクラスタが前記移動順序において移動元と移動先の関係にある静止位置の対を含む場合、前記クラスタに含まれる第２複数の静止位置をクラスタリングすることで、前記第２複数の静止位置を第２複数のクラスタに分割し、
    　前記第２複数のクラスタに基づいて前記動画像に関心領域を生成する、
    ことを含む、コンピュータが実行する生成方法。
  6. 　人物の作業を撮影した動画像から前記人物が静止する複数の静止位置と、前記人物が前記複数の静止位置を移動する移動順序とを特定し、
    　前記第１複数の静止位置をクラスタリングすることで、前記第１複数の静止位置を第１複数のクラスタに分割し、第１複数のクラスタに含まれるクラスタが前記移動順序において移動元と移動先の関係にある静止位置の対を含む場合、前記クラスタに含まれる第２複数の静止位置をクラスタリングすることで、前記第２複数の静止位置を第２複数のクラスタに分割し、
    　前記第２複数のクラスタに基づいて前記動画像に関心領域を生成する、
    処理をコンピュータに実行させる生成プログラム。
     
     
PCT/JP2020/042193 2020-11-12 2020-11-12 情報処理装置、生成方法、および生成プログラム WO2022102038A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20961566.5A EP4246438A4 (en) 2020-11-12 2020-11-12 INFORMATION PROCESSING APPARATUS, GENERATION METHOD AND GENERATION PROGRAM
PCT/JP2020/042193 WO2022102038A1 (ja) 2020-11-12 2020-11-12 情報処理装置、生成方法、および生成プログラム
CN202080105869.6A CN116348913A (zh) 2020-11-12 2020-11-12 信息处理装置、生成方法、以及生成程序
JP2022561769A JPWO2022102038A1 (ja) 2020-11-12 2020-11-12
US18/191,034 US20230237690A1 (en) 2020-11-12 2023-03-28 Information processing device, generation method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/042193 WO2022102038A1 (ja) 2020-11-12 2020-11-12 情報処理装置、生成方法、および生成プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/191,034 Continuation US20230237690A1 (en) 2020-11-12 2023-03-28 Information processing device, generation method, and storage medium

Publications (1)

Publication Number Publication Date
WO2022102038A1 true WO2022102038A1 (ja) 2022-05-19

Family

ID=81600948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042193 WO2022102038A1 (ja) 2020-11-12 2020-11-12 情報処理装置、生成方法、および生成プログラム

Country Status (5)

Country Link
US (1) US20230237690A1 (ja)
EP (1) EP4246438A4 (ja)
JP (1) JPWO2022102038A1 (ja)
CN (1) CN116348913A (ja)
WO (1) WO2022102038A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128594A (ja) * 2008-11-25 2010-06-10 Sogo Keibi Hosho Co Ltd 動作検出装置および動作検出方法
WO2011013299A1 (ja) 2009-07-31 2011-02-03 パナソニック株式会社 移動体検出装置及び移動体検出方法
JP2011086045A (ja) * 2009-10-14 2011-04-28 Giken Torasutemu Kk 店員顧客分離集計装置
JP2012014302A (ja) * 2010-06-30 2012-01-19 Hitachi Ltd 監視装置
JP2017090965A (ja) 2015-11-02 2017-05-25 株式会社東芝 群衆分類装置、その方法、及び、そのプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013145632A1 (ja) * 2012-03-30 2013-10-03 日本電気株式会社 動線データ解析装置、システム、プログラム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128594A (ja) * 2008-11-25 2010-06-10 Sogo Keibi Hosho Co Ltd 動作検出装置および動作検出方法
WO2011013299A1 (ja) 2009-07-31 2011-02-03 パナソニック株式会社 移動体検出装置及び移動体検出方法
JP2011086045A (ja) * 2009-10-14 2011-04-28 Giken Torasutemu Kk 店員顧客分離集計装置
JP2012014302A (ja) * 2010-06-30 2012-01-19 Hitachi Ltd 監視装置
JP2017090965A (ja) 2015-11-02 2017-05-25 株式会社東芝 群衆分類装置、その方法、及び、そのプログラム

Also Published As

Publication number Publication date
EP4246438A4 (en) 2023-11-01
EP4246438A1 (en) 2023-09-20
JPWO2022102038A1 (ja) 2022-05-19
US20230237690A1 (en) 2023-07-27
CN116348913A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
JP7180710B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN108876804B (zh) 抠像模型训练和图像抠像方法、装置和系统及存储介质
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
CN110909655A (zh) 一种识别视频事件的方法及设备
CN108573510B (zh) 一种栅格地图矢量化方法及设备
JP2017130049A (ja) 画像処理装置、画像処理方法及びプログラム
JP6786015B1 (ja) 動作分析システムおよび動作分析プログラム
WO2022102038A1 (ja) 情報処理装置、生成方法、および生成プログラム
CN113297416A (zh) 视频数据存储方法、装置、电子设备和可读存储介质
JP6635208B1 (ja) 検索装置、検索方法、およびプログラム
JP7192888B2 (ja) 処理装置、処理方法及びプログラム
US20070223818A1 (en) Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video
US20150160836A1 (en) Extracting demonstrations from in-situ video content
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
JP6648930B2 (ja) 編集装置、編集方法及びプログラム
JP3451925B2 (ja) 物体認識方法及び物体認識装置
JP6539469B2 (ja) 特徴量抽出装置、特徴量抽出方法及び特徴量抽出用プログラム
JP7282275B1 (ja) 情報処理装置、三次元復元システム、及び情報処理方法
WO2023105661A1 (ja) 人物追跡システム、人物追跡方法、及び、記憶媒体
WO2023171184A1 (ja) 動画像集約装置、動画像集約方法、及び動画像集約プログラム
JP6508797B1 (ja) 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。
JP2021149253A (ja) 画像処理方法、画像処理プログラム、及び、画像処理装置
CN114820319A (zh) 一种图像处理方法、装置、电子设备以及存储介质
JP6642261B2 (ja) 情報処理装置、方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20961566

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022561769

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020961566

Country of ref document: EP

Effective date: 20230612