WO2019078164A1 - 検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム - Google Patents

検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム Download PDF

Info

Publication number
WO2019078164A1
WO2019078164A1 PCT/JP2018/038338 JP2018038338W WO2019078164A1 WO 2019078164 A1 WO2019078164 A1 WO 2019078164A1 JP 2018038338 W JP2018038338 W JP 2018038338W WO 2019078164 A1 WO2019078164 A1 WO 2019078164A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
objects
moving image
search key
movement
Prior art date
Application number
PCT/JP2018/038338
Other languages
English (en)
French (fr)
Inventor
健全 劉
晟 胡
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/755,930 priority Critical patent/US20200242155A1/en
Priority to JP2019549270A priority patent/JP6965939B2/ja
Publication of WO2019078164A1 publication Critical patent/WO2019078164A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Definitions

  • the present invention relates to a search device, a terminal device, an analysis device, a search method, an operation method of a terminal device, an analysis method, and a program.
  • Patent document 1 inputs the rough shape of the figure which the user drew on the display screen, extracted the object similar to the shape of the figure which the user drew from the database of images and objects, and the user drew the extracted object
  • a technique is disclosed which is arranged at a position corresponding to a figure, and is finished and output as a single image without discomfort by combining it with a background image etc. as a figure.
  • Non-Patent Document 1 discloses a moving image search technology based on a handwritten image. In this technique, when the input of the handwritten image is accepted in the input field, a scene similar to the handwritten image is retrieved and output. In addition, a figure similar to a handwritten figure is presented as an input candidate, and when one of the input candidates is selected, the handwritten figure in the input field is replaced with the selected figure.
  • An object of the present invention is to provide a new technique for searching for a desired scene.
  • Storage means for storing moving picture index information including correspondence information in which types of one or more objects extracted from a moving picture are associated with movements of the objects; Acquisition means for acquiring a search key in which types of one or more objects to be searched are associated with movement of the object; Search means for searching the video index information based on the search key; A search device having the
  • Display control means for displaying on the display a search screen having an icon display area for selectably displaying a plurality of icons indicating a plurality of predefined movements and an input area for receiving an input of a search key;
  • Input accepting means for accepting an operation of moving any one of the plurality of icons to the input area, and accepting, as the search key, a motion indicated by the icon located in the input area;
  • Transmission / reception means for transmitting the search key to the search device and for receiving the search result from the search device;
  • a terminal device is provided.
  • Detection means for detecting the object from the moving image based on the information indicating the feature of the appearance of each of the plurality of types of objects; Motion determination means for determining which of a plurality of predefined movements the detected object corresponds to; A registration unit that associates and registers the type of the object detected by the detection unit with the movement of each of the objects determined by the determination unit; An analysis apparatus having the
  • the computer is Storing moving image index information including correspondence information in which the type of one or more objects extracted from the moving image is associated with the movement of the objects;
  • a search method is provided to perform the
  • a storage unit for storing moving image index information including correspondence information in which types of one or more objects extracted from a moving image are associated with movements of the objects; Acquisition means for acquiring a search key in which the type of one or more objects to be searched is associated with the movement of the object; Search means for searching the video index information based on the search key; A program to function as is provided.
  • the computer is A display control step of displaying on a display a search screen having an icon display area for selectably displaying a plurality of icons respectively indicating a plurality of predefined movements and an input area for receiving an input of a search key; An input accepting step of accepting an operation of moving any one of the plurality of icons to the input area, and accepting, as the search key, a motion indicated by the icon located in the input area; A transmitting / receiving step of transmitting the search key to a search device and receiving a search result from the search device; A method of operating a terminal is provided.
  • Computer, Display control means for displaying on a display a search screen having an icon display area for selectably displaying a plurality of icons respectively indicating a plurality of predefined movements and an input area for receiving input of a search key;
  • Input accepting means for accepting an operation of moving any one of the plurality of icons to the input area, and accepting, as the search key, a motion indicated by the icon located in the input area;
  • Transmission / reception means for transmitting the search key to the search device and for receiving the search result from the search device, A program to function as is provided.
  • the computer is Detecting the object from the moving image based on the information indicating the feature of the appearance of each of the plurality of types of objects; A motion determining step of determining to which of a plurality of predefined movements the detected object corresponds; A registration step of registering the type of the object detected in the detection step and the movement of each of the objects determined in the determination step in association with each other; An analysis method is provided to perform the
  • a detection unit that detects the object from the moving image based on information indicating the feature of the appearance of each of a plurality of types of objects; Motion determination means for determining which of a plurality of predefined motions the detected object corresponds to; A registration unit that associates and registers the type of the object detected by the detection unit with the movement of each of the objects determined by the determination unit.
  • a program to function as is provided.
  • FIG. 7 is an example of a diagram showing whether or not each object appears in the scene indicated by the flow of each node for each type of object. It is another example of the figure which shows whether each object appears in the scene shown by the flow of each node for every kind of object. It is a figure which shows an example of the data expression of the search key of this embodiment. It is a figure which shows the specific example of the data expression of the search key of this embodiment. It is a figure showing an example of a functional block diagram of an analysis device of this embodiment.
  • the search system stores moving image index information including correspondence information in which one or more types of objects (eg, a person, a bag, a car, etc.) extracted from the moving image are associated with the movement of the object. And if the search key which matched the kind of one or several object of search object, and the motion of the object is acquired, moving image index information will be searched based on a search key, and a result will be output.
  • Such a search system of this embodiment can search for a desired scene using the movement of an object as a key. Although the appearance of the object appearing in the animation does not remain in the impression, the movement of the object may be clearly stored.
  • the search system of the present embodiment that can search using the motion of an object as a key can be used, for example, to search for a desired scene in such a case.
  • the moving image may be, for example, continuously photographed by a surveillance camera fixed at a certain position, or may be content (a movie, a television program, a net moving image, etc.) produced by a content creator. It may be a private moving image taken by a general person or the like. According to the search system of this embodiment, a desired scene can be searched from such a moving image.
  • the search system of this embodiment has a search device 10 and a terminal device 20.
  • the search device 10 and the terminal device 20 are configured to be able to communicate with each other in a wired and / or wireless manner.
  • the search device 10 and the terminal device 20 may communicate directly (not via another device), for example, in a wired and / or wireless manner.
  • the search device 10 and the terminal device 20 may communicate (via other devices) via, for example, wired and / or wireless public and / or private communication networks.
  • the search system is a so-called client server system, the search device 10 functions as a server, and the terminal device 20 functions as a client.
  • FIG. 2 shows an example of a functional block diagram of the search device 10.
  • the search device 10 includes a storage unit 11, an acquisition unit 12, and a search unit 13.
  • the storage unit 11 stores, for example, moving image index information including correspondence information as shown in FIG.
  • the correspondence information shown in the figure is information identifying a moving image file including each scene (moving image file ID (identifier)), information identifying a position of each scene in the moving image file (start time, end time), extracted from each scene.
  • the types of one or more objects and the movements of various objects in each scene are associated with each other.
  • the start time and the end time may be an elapsed time from the beginning of the moving image file.
  • the type of object may be, for example, a person, a dog, a cat, a bag, a car, a bike, a bicycle, a bench, a post, and the like.
  • the kind of illustrated object is an example to the last, may contain other kinds, and may not contain what was illustrated.
  • the types of illustrated objects may be further classified. For example, a person may be classified finely as an adult, a child, an old man, etc.
  • one object type may be described, or a plurality of object types may be described.
  • the movement of an object may be indicated by, for example, a change in relative positional relationship of a plurality of objects.
  • a plurality of objects approaches each other “a plurality of objects move away from each other”, “a plurality of objects maintain a predetermined distance from each other”, and the like are exemplified, but not limited thereto.
  • correspondence information in which "person (type of object)", “bag (type of object)", and "close to each other (movement of object)" are associated are stored in the storage unit 11.
  • the movement of the object may include “stationary”, “smiling”, and the like.
  • the correspondence information in which "person (type of object)" and “stationary (movement of object)" Is stored in
  • the moving image index information may be automatically generated by the computer analyzing the moving image, or may be generated by human analyzing the moving image.
  • An apparatus (analyzing apparatus) that analyzes moving pictures and generates moving picture index information will be described in the following embodiment.
  • the acquisition unit 12 acquires a search key in which the types of one or more objects to be searched are associated with the motion of the objects.
  • the acquisition unit 12 acquires a search key from the terminal device 20.
  • the terminal device 20 has an input / output function.
  • the terminal device 20 transmits the received search key to the search device 10.
  • the terminal device 20 displays the search result on the display.
  • the terminal device 20 is, for example, a personal computer (PC), a smartphone, a tablet, a portable game, a terminal dedicated to a search system, or the like. A more detailed functional configuration of the terminal device 20 will be described in the following embodiment.
  • the search unit 13 searches the video index information based on the search key acquired by the acquisition unit 12. Then, the search unit 13 extracts correspondence information that matches the search key. For example, the search unit 13 extracts correspondence information in which an object of the type indicated by the search key is associated with the movement of the object indicated by the search key. As a result, the scene specified by the scene matching the search key (moving image file ID included in the extracted correspondence information, the scene specified by the start time and the end time, see FIG. 3) is searched.
  • An output unit (not shown) of the search device 10 transmits the search result to the terminal device 20.
  • the output unit transmits information (video file, start time and end time of the searched scene) for reproducing the scene specified by the correspondence information extracted by the search unit 13 to the terminal device 20 as a search result. It may be sent. When multiple pieces of correspondence information are extracted, the above information may be transmitted to the terminal device 20 correspondingly to each.
  • the terminal device 20 displays the search result received from the search device 10 on the display. For example, a plurality of moving pictures may be displayed in a list so as to be reproducible.
  • the searching unit 13 acquires the search acquired in S10.
  • the moving image index information stored in the storage unit 11 is searched based on the key (S11). Then, the search device 10 transmits the search result to the terminal device 20 (S12).
  • search system of the present embodiment that can search using the motion of an object as a key, it is possible to search for a desired scene with an approach that has not been conventional.
  • the moving image index information further indicates the time change of the movement of the object. For example, in the case of a scene including a scene in which a person approaches a bag and then leaves with the bag, "person (type of object)", “bag (type of object)”, and “close to each other (movement of object Information associated with “),“ person (type of object) ”,“ bag (type of object) ”, and information associated with“ accompanying (movement of object) ”in this order ( Correspondence information associated with one another in chronological order is stored in the storage unit 11.
  • the acquisition unit 12 acquires a search key indicating the type of object to be searched and the temporal change of the motion of the object. Then, the search unit 13 searches for correspondence information that matches such a search key.
  • the other configuration of the search system of this embodiment is the same as that of the first embodiment.
  • the same function and effect as those of the first embodiment can be realized. Further, not only the motion of the object but also the temporal change of the motion of the object can be further retrieved as a key, so that the desired scene can be retrieved more accurately.
  • the moving image index information further includes the feature of the appearance of each object extracted from the moving image (see FIG. 5).
  • the appearance characteristics when the object is a person may be exemplified by facial characteristics, gender, age group, nationality, body type, characteristics of wearing things, etc., but are not limited thereto.
  • the facial features can be expressed using, for example, facial parts or the like, but the details thereof are not limited.
  • the features of the item to be worn are expressed by type, color, pattern, shape, etc., such as, for example, a blue cap, black pants, white skirt, black high heels and the like.
  • the features of the appearance when the object is other than human are exemplified by color, shape, size and the like, but are not limited thereto.
  • the acquisition unit 12 acquires a search key in which the type of one or more objects to be searched, the motion of the object (or the temporal change of the motion), and the feature of the appearance of the object are associated. Then, the search unit 13 searches for correspondence information that matches such a search key.
  • the other configuration of the search system of this embodiment is the same as that of the first and second embodiments.
  • the same function and effect as those of the first and second embodiments can be realized. Further, not only the movement of the object or the temporal change of the movement of the object, but also the characteristic of the appearance of the object can be further searched as a key, so that a desired scene can be searched with higher accuracy.
  • the moving image is, for example, continuously captured by a surveillance camera fixed at a certain position.
  • FIG. 6 shows an example of data representation of correspondence information stored in the storage unit 11.
  • the correspondence information is generated for each scene and stored in the storage unit 11.
  • video-id is an ID of a moving image file including each scene.
  • t s is information indicating the start position of each scene (elapsed time from the beginning of the moving image file, start time, etc.).
  • t e is information indicating the end position of each scene (elapsed time from the beginning of the moving image file, or end time).
  • Subjects indicates the type of object detected from each scene. Specific values are, for example, a person, a dog, a cat, a bag, a car, a bike, a bicycle, a bench, a post, other, or a code corresponding thereto, but not limited thereto.
  • Pred_i indicates the motion of each object detected from each scene in each scene.
  • FIG. 7 exemplifies the type of pred_i.
  • the types shown in the drawings are merely examples, and the present invention is not limited to these.
  • pred 1 corresponds to “gathering”, that is, movement of multiple objects approaching each other.
  • pred 2 corresponds to "diving”, that is, movement of multiple objects moving away from one another.
  • pred 3 corresponds to “co-locate”, that is, movement in which a plurality of objects keep a certain distance from each other.
  • pred 4 corresponds to "wandering”, i.e. the motion of the object wandering.
  • pred 5 corresponds to "rest”, ie a motion in which the object is at rest.
  • pred 1 Gather: movement of multiple objects approaching each other", for example, a scene where people meet one another, a scene where one person approaches another person, another person who is chasing another person
  • pred 2 parting: movement of multiple objects moving away from each other”, for example, a scene in which a person separates from another, a scene of a group of people, a scene in which a person throws an object (eg bag)
  • object eg bag
  • a scene in which a person escapes from another person, a scene in which a person leaves a car, a scene in which a car escapes from a collision car, a scene in which a car escapes from a collision person, etc. can be expressed.
  • pred 3 Accompaniment: movement of a plurality of objects keeping a certain distance from each other”, for example, a scene where a person and a person walk side by side, one person keeping a certain distance with another person It is possible to express a scene to be performed, a scene in which a person carries an object (eg, a bag), a scene in which a person moves on an animal (eg, a horse) and a scene in which a car and a car race.
  • object eg, a bag
  • animal eg, a horse
  • insult movement in which an object is insulted
  • a scene in which a person or a car wanders in a certain area a scene in which a person is lost in the way, etc. it can.
  • pred 5 stand still: movement of an object at rest", for example, a scene in which a person is stopped, a scene in which a person is sleeping, a broken car, a person who has lost consciousness and is falling, It is possible to express a scene in which people who are in poor physical condition and can not move, need help, or where things etc. illegally discarded appear in a certain place.
  • pred_i means that pred_i and subjects are associated with each other.
  • subjects means that the motion of pred_i that is associated is performed.
  • pred_i subjects
  • braces ⁇ .
  • Plural pred_i subjects
  • Example 1 ⁇ pred 5 (person) ⁇ , 00: 02: 25, 00: 09: 01, vid 2>
  • the correspondence information in Example 1 indicates that “a scene in which a person is at rest” is present in the moving image file vid2 from 00:02:25 to 00:09:01.
  • Example 2 ⁇ pred 5 (person), pred 4 (person) ⁇ , 00: 09: 15, 00: 49: 22, vid 1>
  • the correspondence information in Example 2 indicates that “a scene in which a person stops and then a scene in which a person wanders” is present at 00:09:15 to 00:49:22 of the moving image file of vid1.
  • Example 3 ⁇ pred 1 (person, bag), pred 3 (person, bag) ⁇ , 00: 49: 23, 00: 51: 11, vid 1>
  • the correspondence information in Example 3 indicates that “a scene in which a person and a bag come close to each other and then the person and the bag accompany” exists in 00:49:23 to 00:51:11 of the moving image file of vid1.
  • the correspondence information may be stored together in the storage unit 11 for each moving image file as shown in FIG. 8, for example.
  • Correspondence information illustrated is correspondence information generated based on a moving image file of vid1. Segment ID is synonymous with the information which identifies each scene.
  • the storage unit 11 may store information as shown in FIG.
  • the information shown in the drawing associates a pair of a moving image ID and a segment ID with each type of object. That is, information for identifying a scene in which each object is captured is associated with each type of object. From the figure, it can be seen that “person” is shown in the scene of seg1 of the moving image file of vid1, the scene of seg2 of the moving image file of vid1, etc. Also, it can be seen that "bag” is shown in the scene of seg2 of the moving image file of vid1.
  • the storage unit 11 may store index information indicating a temporal change in movement of an object extracted from a moving image in a tree structure.
  • FIG. 10 conceptually shows an example of the index information.
  • the index information of the tree structure indicates the time change of the movement of the object extracted from the moving image.
  • Each node corresponds to one movement.
  • the numbers in the nodes indicate the movement of the object.
  • the numbers in the nodes correspond to the "i" of "pred_i”. That is, “1” is “gathering”, “2” is “split”, “3” is “accompanying”, “4” is “don't care”, and “5” is “still”.
  • FIG. 10 conceptually shows an example of the index information.
  • the index information of the tree structure indicates the time change of the movement of the object extracted from the moving image.
  • Each node corresponds to one movement.
  • the numbers in the nodes indicate the movement of the object.
  • the numbers in the nodes correspond to the "i" of "pred_i
  • Each node is assigned a node ID (N: 001 or the like). Then, as shown in FIG. 11, in correspondence with each node, a pair of moving image ID and segment ID in which the motion of each node appears in the flow of the motion shown in FIG. 10 is registered. For example, in the node N: 002, the flow of "rest ⁇ shift ⁇ gather ⁇ accompany (5 ⁇ 4 ⁇ 1 ⁇ 3)" in the "I do (4)" scene in the video. A pair of a moving image ID and a segment ID for identifying the "wandering (4)" scene appearing in the is registered.
  • index information in a tree structure shown in FIG. 10 information as shown in FIGS. 12 and 13 can be generated.
  • the illustrated information is generated for each type of object.
  • the information indicates whether or not each object appears in the scene showing the temporal change of the movement for each combination of the flows of the nodes (temporal change of the movement) shown by the tree structure in FIG. Then, when it appears, a pair of a moving image ID indicating the scene and a segment ID is associated.
  • FIG. 14 illustrates an example of data representation of a search key (Query) acquired by the acquisition unit 12. This is the same as the contents of the braces of the correspondence information: ⁇ described with reference to FIG.
  • the search process by the search unit 13 will be specifically described. It is assumed that the acquisition unit 12 acquires the search key shown in FIG. This search key indicates the time change of the movement of “collect (1)” ⁇ “accompany (3)”. In addition, it can be seen that a person and a bag appear in both the scene in which the movement is “consolidated (1)” and the scene in which the movement is “accompanying (3)”.
  • the search unit 13 searches for the information shown in FIGS. 12 and 13 and associates it with the time change of the movement of 1 ⁇ 3 among the information (FIG. 12) corresponding to the person and “11”. Extract the pair of video ID and segment ID. In the case of the illustrated example, a pair of ⁇ vid1, seg2> and the like are extracted. Further, the search unit 13 extracts the time change of movement of 1 ⁇ 3 from the information (FIG. 13) corresponding to the bag, and the pair of the moving picture ID and the segment ID associated with “11”. . In the case of the illustrated example, a pair of ⁇ vid1, seg2> and the like are extracted.
  • the data as described above stored in the storage unit 11 may be automatically generated by analyzing a moving image by a computer, or may be generated by analyzing a moving image by a human.
  • a functional configuration of an analysis apparatus that analyzes a moving image and generates data as described above stored in the storage unit 11 will be described.
  • An example of a functional block diagram of the analysis device 30 is shown in FIG. As illustrated, the analysis device 30 includes a detection unit 31, a determination unit 32, and a registration unit 33.
  • the detection unit 31 detects various objects from the moving image based on the information indicating the feature of the appearance of each of the plurality of types of objects.
  • the determination unit 32 determines which of a plurality of predefined movements the object detected by the detection unit 31 corresponds to.
  • the plurality of predefined movements may be indicated by a change in relative positional relationship of the plurality of objects. For example, in a plurality of predefined movements, a plurality of objects move closer to each other (pred 1 : gather), a plurality of objects move away from each other (pred 2 : separate), and a plurality of objects maintain a constant distance from each other (pred 3) May include at least one of: accompanying), deceiving (pred 4 : decoying), and stationary (pred 5 : stationary).
  • the determination unit 32 may determine that the motions of the plurality of objects are “pred 1 : gather”.
  • the determination unit 32 may determine that the motions of the plurality of objects are “pred 2 : parting”.
  • the determination unit 32 determines that the motions of the plurality of objects are “pred 3 : accompany”. You may
  • the determination unit 32 may determine that the movement of the object is “pred 4 : overrun”. .
  • the determination unit 32 determines that the movement of the object is “pred 5 : stand still”. It is also good.
  • determination criteria described here are merely examples, and other determination criteria may be adopted.
  • the registration unit 33 registers data (pred_i (subjects)) in which the type of the object detected by the detection unit 31 and the movement of each object determined by the determination unit 32 are associated.
  • the registration unit 33 can further register the start position and the end position of the scene in association with each other.
  • the method of determining the start position and the end position of the scene is a matter of design. For example, the timing at which an object is detected from the moving image may be set as the start position of the scene, and the timing at which the object is not detected may be set as the end position of the scene. One scene and another scene may partially overlap or not overlap. As a result, information as shown in FIG. 8 is generated for each moving image file, and information as shown in FIGS. 9 to 13 is generated based on them.
  • Values of subjects of correspondence information depend on appearance of various objects in addition to people, dogs, cats, bags, cars, bikes, bicycles, benches, posts, or codes corresponding thereto.
  • the classification code may be further classified.
  • the value of subjects may be expressed by a person (h000001), a bag (b000001), or the like.
  • the value in parentheses is the classification code.
  • the classification code means an identification code for identifying an individual appearing in a moving image.
  • the classification code is information for identifying each group in which objects having the same or similar shape, size, pattern, color, design, etc. are grouped. The same is true for other objects.
  • storage part 11 may memorize the information which shows the feature of appearance for every classification code.
  • the acquisition unit 12 can acquire a search key including the type of the object to be searched, the motion of the object or the temporal change of the motion, and the feature of the appearance of the object. Then, the search unit 13 converts the feature of the appearance included in the search key into the above classification code, and the scene in which the various objects of the classification code are indicated by the search key or the time change of the movement is the same as above. It can be searched.
  • an object is extracted from each of a plurality of frames. And whether the appearance of the first type of object (eg, person) extracted from a certain frame and the first type of object (eg, person) extracted from a previous frame are similar by a predetermined level or more Judge, and group similar ones at a predetermined level or more.
  • a predetermined level or more Judge and group similar ones at a predetermined level or more.
  • Features of the appearance of each first type of object (eg, person) extracted from the previous frame and the appearance of each first type of object (eg, person) extracted from a certain frame The above determination may be made by comparing all pairs with the feature of. However, in the case of this processing, as the accumulated data of the object increases, the number of pairs to be compared becomes enormous and the processing load becomes large. Therefore, for example, the following method may be adopted.
  • the extracted objects are indexed as shown in FIG. 17 for each type of object, and the indexes are used to group objects that are similar in appearance by a predetermined level or more.
  • the details and generation method of the index are disclosed in Patent Documents 2 and 3, but will be briefly described below.
  • Patent Documents 2 and 3 the same processing can be adopted when the type of the object is another object.
  • the extraction ID “F ⁇ - ⁇ ⁇ ⁇ ⁇ ” shown in FIG. 17 is identification information attached to each person extracted from each frame.
  • F ⁇ is a frame identification information, and the hyphen and the following are identification information of each person extracted from each frame. If the same person is extracted from different frames, different extraction IDs will be assigned to each.
  • the third layer nodes corresponding to all extraction IDs obtained from the frames processed so far are arranged. Then, the plurality of nodes arranged in the third layer are grouped together by groups whose degree of similarity (the degree of similarity of appearance feature amounts) is equal to or higher than the first level. In the third layer, a plurality of extraction IDs determined to relate to the same person are grouped. That is, the first level of the degree of similarity is set to a value that enables such grouping. Person identification information (person ID: classification ID of person) is attached corresponding to each group in the third layer.
  • one node (representative) selected from each of the plurality of groups in the third layer is arranged, and is linked to the corresponding group in the third layer.
  • the plurality of nodes arranged in the second layer are grouped together by those whose degree of similarity is equal to or higher than the second level. Note that the second level of similarity is lower than the first level. That is, nodes not grouped according to the first level may be grouped according to the second level.
  • one node (representative) selected from each of the plurality of groups in the second layer is arranged, and is linked to the corresponding group in the second layer.
  • a new extraction ID is obtained from a new frame
  • a plurality of extraction IDs located in the first layer are compared. That is, a pair is created with the new extraction ID and each of the plurality of extraction IDs located in the first layer.
  • the degree of similarity is calculated for each pair, and it is determined whether the calculated degree of similarity is equal to or greater than a first threshold (similar to a predetermined level or more).
  • the comparison target is moved to the second layer.
  • the group of the second layer linked to “the extraction ID of the first layer determined to have the degree of similarity equal to or higher than the first threshold” is set as the comparison target.
  • a pair is created with the new extraction ID and each of the plurality of extraction IDs included in the processing target group of the second layer.
  • the similarity is calculated for each pair, and it is determined whether the calculated similarity is equal to or greater than a second threshold.
  • the second threshold is higher than the first threshold.
  • the person corresponding to the new extraction ID is the same person as the person extracted before that. I judge that there is. Then, the new extraction ID is made to belong to the group of the third layer linked to “the extraction ID of the second layer determined that the similarity is equal to or higher than the second threshold”. Also, the person ID corresponding to the group in the third layer is specified as the person ID of the person corresponding to the new extraction ID.
  • one or more extraction IDs extracted from a new frame can be added to the index of FIG. 17 and a person ID can be associated with each.
  • the terminal device 20 includes a display control unit 21, an input reception unit 22, and a transmission / reception unit 23.
  • the display control unit 21 causes the display to display a search screen having an icon display area for selectably displaying a plurality of icons indicating a plurality of predefined movements and an input area for receiving an input of a search key.
  • the search screen may further include a result display area for displaying a list of search results.
  • FIG. 19 schematically shows an example of the search screen.
  • the illustrated search screen 100 has an icon display area 101, an input area 102, and a result display area 103.
  • the icon display area 101 a plurality of icons indicating each of a plurality of predefined movements are displayed in a selectable manner.
  • the input area 102 displays a search key input by the user.
  • the result display area 103 a plurality of moving pictures are displayed in a list so as to be reproducible as a search result.
  • the input receiving unit 22 receives an operation of moving any of the plurality of icons displayed in the icon display area 101 to the input area 102. Then, the input receiving unit 22 receives the movement indicated by the icon located in the input area 102 as a search key.
  • the operation of moving the icon displayed in the icon display area 101 to the input area 102 is not particularly limited. For example, drag and drop may be performed, or other operations may be performed.
  • the input receiving unit 22 receives an input for specifying the type of one or more objects in association with the icon located in the input area 102. Then, the type of the object specified in association with the icon is accepted as a search key.
  • the type of object may be designated by drawing an illustration by handwriting in the dotted square of each icon.
  • the terminal device 20 presents a figure similar to the handwritten figure as an input candidate, and when one of the input candidates is selected, replaces the handwritten figure in the input field with the selected figure. May be Features of the appearance of various objects are also input by the handwritten figure. If there is a photograph or image that can clearly show the feature of the appearance, the photograph or image may be input.
  • icons corresponding to various objects may be displayed in the icon display area 101 in a selectable manner. Then, by moving the icons corresponding to the various objects into the dotted square of the icons corresponding to the various movements by drag and drop or other operations, an input may be made to specify the type of the object performing each movement. .
  • the input of the time change of the movement of an object moves a plurality of icons corresponding to various movements to the input area 102 as shown in the figure, and connects them in time series order with arrows as shown in the figure, It is realized by arranging (eg: left to right).
  • the transmission / reception unit 23 transmits the search key received by the input reception unit 22 to the search device 10 and receives the search result from the search device 10.
  • the display control unit 21 displays the search result received by the transmission / reception unit 23 in the result display area 103.
  • the search system of the present embodiment which can receive the input of the search key from the user friendly GUI (graphical user interface) screen as shown in FIG. 19, for example, the load of the user's search key input can be reduced.
  • each unit included in each of the search device 10, the terminal device 20, and the analysis device 30 is a central processing unit (CPU) of any computer, a memory, a program loaded to the memory, a storage unit such as a hard disk storing the program
  • CPU central processing unit
  • storage unit such as a hard disk storing the program
  • CDs Compact Disc
  • programs downloaded from servers on the Internet, etc. hardware and software centered on the network connection interface It is realized by any combination of wear. And it is understood by those skilled in the art that there are various modifications in the implementation method and apparatus.
  • FIG. 20 is a block diagram illustrating the hardware configuration of each of the search device 10, the terminal device 20, and the analysis device 30 according to the present embodiment.
  • each of the search device 10, the terminal device 20 and the analysis device 30 has a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • Peripheral circuit 4A includes various modules. The peripheral circuit 4A may not be provided.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A to mutually transmit and receive data.
  • the processor 1A is, for example, an arithmetic processing unit such as a central processing unit (CPU) or a graphics processing unit (GPU).
  • the memory 2A is, for example, a memory such as a random access memory (RAM) or a read only memory (ROM).
  • the input / output interface 3A is an interface for acquiring information from an input device (eg, keyboard, mouse, microphone, etc.), an external device, an external server, an external sensor, etc., an output device (eg, display, speaker, printer, mailer) Etc.), an interface for outputting information to an external device, an external server, etc.
  • the processor 1A can issue an instruction to each module and perform an operation based on the result of the operation.
  • Storage means for storing moving picture index information including correspondence information in which types of one or more objects extracted from a moving picture are associated with movements of the objects; Acquisition means for acquiring a search key in which types of one or more objects to be searched are associated with movement of the object; Search means for searching the video index information based on the search key; Search device with.
  • the correspondence information includes a plurality of types of the object, A search apparatus wherein movements of a plurality of the objects are indicated by changes in relative positional relationships of the plurality of the objects. 3.
  • a search apparatus including at least one of a plurality of objects moving closer to each other, a plurality of objects moving away from each other, and a plurality of objects keeping a constant distance from each other. 4.
  • a search apparatus wherein the movement of the object comprises at least one of stationary and intoxicating. 5.
  • the moving image index information further indicates temporal change of movement of the object, The search device acquires the search key further indicating the temporal change of the movement of the object to be searched. 6.
  • the moving image index information further includes an appearance feature of the object
  • the search device acquires the search key further indicating the feature of the appearance of the object to be searched. 7.
  • the search apparatus further includes a moving image file from which each moving object is extracted, and information identifying a position within the moving image file. 8.
  • Display control means for displaying on the display a search screen having an icon display area for selectably displaying a plurality of icons indicating a plurality of predefined movements and an input area for receiving an input of a search key;
  • Input accepting means for accepting an operation of moving any one of the plurality of icons to the input area, and accepting, as the search key, a motion indicated by the icon located in the input area;
  • Transmission / reception means for transmitting the search key to the search device and for receiving the search result from the search device;
  • Terminal device having 9.
  • the terminal device, wherein the input receiving unit receives an input specifying a type of one or a plurality of objects in association with the icon located in the input area, and receives a type of the specified object as the search key.
  • Detection means for detecting the object from the moving image based on the information indicating the feature of the appearance of each of the plurality of types of objects; Motion determination means for determining which of a plurality of predefined movements the detected object corresponds to; A registration unit that associates and registers the type of the object detected by the detection unit with the movement of each of the objects determined by the determination unit; Analyzer with. 11. In the analysis device described in 10, The analyzer according to claim 1, wherein the plurality of predefined movements are indicated by changes in relative positional relationships of the plurality of objects. 12.
  • the predefined plurality of motions includes at least one of a plurality of the objects approaching each other, a plurality of the objects moving away from one another, and a plurality of the objects keeping a constant distance from one another .
  • the analyzer according to any one of 10 to 12 The analyzing device, wherein the plurality of predefined motions are at least one of stationary and decubitus.
  • the computer is Storing moving image index information including correspondence information in which the type of one or more objects extracted from the moving image is associated with the movement of the objects; An acquisition step of acquiring a search key in which types of one or more objects to be searched are associated with movement of the object; A search step of searching the video index information based on the search key; How to perform a search. 15.
  • a storage unit for storing moving image index information including correspondence information in which types of one or more objects extracted from a moving image are associated with movements of the objects; Acquisition means for acquiring a search key in which the type of one or more objects to be searched is associated with the movement of the object; Search means for searching the video index information based on the search key; A program to function as 16.
  • the computer is A display control step of displaying on a display a search screen having an icon display area for selectably displaying a plurality of icons respectively indicating a plurality of predefined movements and an input area for receiving an input of a search key; An input accepting step of accepting an operation of moving any one of the plurality of icons to the input area, and accepting, as the search key, a motion indicated by the icon located in the input area; A transmitting / receiving step of transmitting the search key to a search device and receiving a search result from the search device; Operating method of the terminal device to perform 17.
  • Computer, Display control means for displaying on a display a search screen having an icon display area for selectably displaying a plurality of icons respectively indicating a plurality of predefined movements and an input area for receiving input of a search key;
  • Input accepting means for accepting an operation of moving any one of the plurality of icons to the input area, and accepting, as the search key, a motion indicated by the icon located in the input area;
  • Transmission / reception means for transmitting the search key to the search device and for receiving the search result from the search device, A program to function as 18.
  • the computer is Detecting the object from the moving image based on the information indicating the feature of the appearance of each of the plurality of types of objects; A motion determining step of determining to which of a plurality of predefined movements the detected object corresponds; A registration step of registering the type of the object detected in the detection step and the movement of each of the objects determined in the determination step in association with each other; Analysis method to carry out. 19.
  • a detection unit that detects the object from the moving image based on information indicating the feature of the appearance of each of a plurality of types of objects; Motion determination means for determining which of a plurality of predefined motions the detected object corresponds to; A registration unit that associates and registers the type of the object detected by the detection unit with the movement of each of the objects determined by the determination unit.

Abstract

動画から抽出された１つ又は複数の物体の種類と、当該物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶する記憶部（１１）と、検索対象の１つまたは複数の物体の種類と、物体の動きとを対応付けた検索キーを取得する取得部（１２）と、検索キーに基づき、動画インデックス情報を検索する検索部（１３）と、を有する検索装置（１０）を提供する。

Description

検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム
　本発明は、検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラムに関する。
　特許文献１は、ユーザがディスプレイ画面に描いた図形の大まかな形状を入力し、画像やオブジェクトのデータベースからユーザが描いた図形の形状に類似するオブジェクトを抽出し、抽出したオブジェクトをユーザが描いた図形に対応する位置に配置し、図として背景画像等と合成することにより違和感のない１枚の画像に仕上げて出力する技術を開示している。
　非特許文献１は手書き画像に基づいた動画検索技術を開示している。当該技術では、入力欄において手書き画像の入力を受付けると、手書き画像に類似するシーンを検索し、出力する。また、手書きされた図形に類似する図形を入力候補として提示し、入力候補の中の１つが選択されると、入力欄における手書きされた図形を選択された図形に置き代える。
特開２０１１－２８７５号公報 国際公開第２０１４／１０９１２７号 特開２０１５－４９５７４号公報
Claudiu Tanase、他７名、"Semantic Sketch-Based Video Retrieval with Auto completion"、［Online］、［平成２９年９月５日検索］、インターネット＜URL: https://iui.ku.edu.tr/sezgin_publications/2016/Sezgin-IUI-2016.pdf＞
　非特許文献１に記載のような「画像のみをキーとしたシーン検索」の場合、検索結果を十分に絞り込むことができない場合がある。本発明は、所望のシーンを検索する新たな技術を提供することを課題とする。
　本発明によれば、
　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶する記憶手段と、
　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得手段と、
　前記検索キーに基づき、前記動画インデックス情報を検索する検索手段と、
を有する検索装置が提供される。
　また、本発明によれば、
　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御手段と、
　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付手段と、
　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信手段と、
を有する端末装置が提供される。
　また、本発明によれば、
　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出手段と、
　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断手段と、
　前記検出手段により検出された前記物体の種類と、前記判断手段により判断された前記物体各々の動きとを対応付けて登録する登録手段と、
を有する解析装置が提供される。
　また、本発明によれば、
　コンピュータが、
　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶しておき、
　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得工程と、
　前記検索キーに基づき、前記動画インデックス情報を検索する検索工程と、
を実行する検索方法が提供される。
　また、本発明によれば、
　コンピュータを、
　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶する記憶手段、
　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得手段、
　前記検索キーに基づき、前記動画インデックス情報を検索する検索手段、
として機能させるプログラムが提供される。
　また、本発明によれば、
　コンピュータが、
　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御工程と、
　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付工程と、
　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信工程と、
を実行する端末装置の動作方法が提供される。
　また、本発明によれば、
　コンピュータを、
　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御手段、
　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付手段、
　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信手段、
として機能させるプログラムが提供される。
　また、本発明によれば、
　コンピュータが、
　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出工程と、
　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断工程と、
　前記検出工程で検出された前記物体の種類と、前記判断工程で判断された前記物体各々の動きとを対応付けて登録する登録工程と、
を実行する解析方法が提供される。
　また、本発明によれば、
　コンピュータを、
　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出手段、
　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断手段、
　前記検出手段により検出された前記物体の種類と、前記判断手段により判断された前記物体各々の動きとを対応付けて登録する登録手段、
として機能させるプログラムが提供される。
　本発明によれば、所望のシーンを検索する新たな技術が実現される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の検索システムの機能ブロック図の一例を示す図である。 本実施形態の検索装置の機能ブロック図の一例を示す図である。 本実施形態の動画インデックス情報に含まれる対応情報の一例を模式的に示す図である。 本実施形態の検索装置の処理の流れの一例を示すフローチャートである。 本実施形態の動画インデックス情報に含まれる対応情報の他の一例を模式的に示す図である。 本実施形態の対応情報のデータ表現の一例を模式的に示す図である。 図６のpred_iの種類を例示する図である。 動画ファイルごとにセグメントＩＤと対応情報とを対応付けた図の一例である。 物体の種類と関連情報とを対応付けた図である。 木構造のインデックス情報の一例を概念的に示す図である。 ノードＩＤと関連情報とを対応付けた図の一例である。 物体の種類ごとに各ノードの流れで示されるシーンに各物体が現れるか否かを示す図の一例である。 物体の種類ごとに各ノードの流れで示されるシーンに各物体が現れるか否かを示す図の他の一例である。 本実施形態の検索キーのデータ表現の一例を示す図である。 本実施形態の検索キーのデータ表現の具体例を示す図である。 本実施形態の解析装置の機能ブロック図の一例を示す図である。 外観が類似する物体をグループ化する処理で用いるインデックス情報の一例を模式的に示す図である。 本実施形態の端末装置の機能ブロック図の一例を示す図である。 本実施形態の端末装置が表示する画面の一例を模式的に示す図である。 本実施形態の装置のハードウエア構成の一例を示す図である。
＜第１の実施形態＞
　まず、本実施形態の検索システムの概要を説明する。検索システムは、動画から抽出された１つ又は複数の物体の種類（例：人、カバン、車等）と、その物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶する。そして、検索対象の１つまたは複数の物体の種類と、その物体の動きとを対応付けた検索キーを取得すると、検索キーに基づき動画インデックス情報を検索し、結果を出力する。このような本実施形態の検索システムは、物体の動きをキーとして所望のシーンを検索するこができる。動画に現れる物体の外観は印象に残っていないが、物体の動きは明確に記憶している場合がある。物体の動きをキーとして検索するこができる本実施形態の検索システムは、例えばこのような場合に所望のシーンを検索するのに利用することができる。
　動画は、例えばある位置に固定された監視カメラで連続的に撮影されたものであってもよいし、コンテンツ制作者により制作されたコンテンツ（映画、テレビ番組、ネット動画等）であってもよいし、一般人により撮影されたプライベートな動画であってもよいし、その他であってもよい。本実施形態の検索システムによれば、このような動画から所望のシーンを検索することができる。
　次に、本実施形態の検索システムの構成を詳細に説明する。図１の機能ブロック図に示すように、本実施形態の検索システムは、検索装置１０と端末装置２０とを有する。検索装置１０と端末装置２０とは、有線及び／又は無線で互いに通信可能に構成される。検索装置１０と端末装置２０は、例えば有線及び／又は無線で直接（他の装置を介さずに）通信してもよい。その他、検索装置１０と端末装置２０は、例えば有線及び／又は無線で公共及び／又はプライベートな通信ネットワークを介して（他の装置を介して）通信してもよい。検索システムはいわゆるクライアントサーバシステムであり、検索装置１０はサーバとして、端末装置２０はクライアントとして機能する。
　次に、検索装置１０の機能構成を説明する。図２に、検索装置１０の機能ブロック図の一例を示す。図示するように、検索装置１０は、記憶部１１と、取得部１２と、検索部１３とを有する。
　記憶部１１は、例えば図３に示すような対応情報を含む動画インデックス情報を記憶する。図示する対応情報は、各シーンを含む動画ファイルを識別する情報（動画ファイルＩＤ（identifier））、動画ファイル内の各シーンの位置を識別する情報（開始時間、終了時間）、各シーンから抽出された１つ又は複数の物体の種類、及び、各シーンでの各種物体の動きを対応付けている。開始時間及び終了時間は、動画ファイルの冒頭からの経過時間であってもよい。
　物体の種類は、例えば、人、犬、猫、カバン、車、バイク、自転車、ベンチ、ポスト等であってもよい。なお、例示した物体の種類はあくまで一例であり、その他の種類を含んでもよいし、例示したものを含まなくてもよい。また、例示した物体の種類は更に細かく分類されてもよい。例えば、人は成人、子供、老人等のように細かく分類されてもよい。物体の種類の欄には、１つの物体の種類が記載されてもよいし、複数の物体の種類が記載されてもよい。
　物体の動きは、例えば、複数の物体の相対的な位置関係の変化によって示されてもよい。具体的には、「複数の物体が互いに近づく」、「複数の物体が互いに遠ざかる」、「複数の物体が互いに一定の距離を保つ」等が例示されるが、これらに限定されない。例えば、人がカバンに近づく様子を含むシーンの場合、「人（物体の種類）」と、「カバン（物体の種類）」と、「互いに近づく（物体の動き）」とを対応付けた対応情報が記憶部１１に記憶される。
　その他、物体の動きは、「静止している」、「徘徊している」等を含んでもよい。例えば、人がある位置で静止している様子を含むシーンの場合、「人（物体の種類）」と、「静止している（物体の動き）」とを対応付けた対応情報が記憶部１１に記憶される。
　動画インデックス情報は、コンピュータが動画を解析することで自動的に生成されてもよいし、人間が動画を解析することで生成されてもよい。動画を解析して動画インデックス情報を生成する装置（解析装置）は以下の実施形態で説明する。
　図２に戻り、取得部１２は、検索対象の１つまたは複数の物体の種類と、その物体の動きとを対応付けた検索キーを取得する。取得部１２は、端末装置２０から検索キーを取得する。
　端末装置２０は、入出力機能を有する。端末装置２０は、ユーザから検索キーの入力を受付けると、受付けた検索キーを検索装置１０に送信する。そして、端末装置２０は、検索結果を検索装置１０から受信すると、検索結果をディスプレイに表示する。端末装置２０は、例えば、ＰＣ（personal computer）、スマートフォン、タブレット、携帯ゲーム、検索システム専用の端末等である。なお、端末装置２０のより詳細な機能構成は以下の実施形態で説明する。
　検索部１３は、取得部１２により取得された検索キーに基づき、動画インデックス情報を検索する。そして、検索部１３は、検索キーに合致する対応情報を抽出する。例えば、検索部１３は、検索キーで示される種類の物体と、検索キーで示される物体の動きとを対応付けた対応情報を抽出する。結果、検索キーに合致するシーン（抽出された対応情報が含む動画ファイルＩＤ、開始時間、終了時間で特定されるシーン。図３参照。）で特定されるシーンが検索される。
　検索装置１０の出力部（不図示）は、検索結果を端末装置２０に送信する。例えば、出力部は、検索部１３により抽出された対応情報で特定されるシーンを再生するための情報（動画ファイル、検索されたシーンの開始時間及び終了時間）を、検索結果として端末装置２０に送信してもよい。複数の対応情報が抽出されている場合、各々に対応して上記情報を端末装置２０に送信してもよい。
　端末装置２０は、検索装置１０から受信した検索結果をディスプレイに表示させる。例えば、複数の動画を再生可能に一覧表示してもよい。
　次に、図４のフローチャートを用いて、検索装置１０の処理の流れの一例を説明する。
　取得部１２が検索対象の１つまたは複数の物体の種類と、その物体の動きとを対応付けた検索キーを端末装置２０から取得すると（Ｓ１０）、検索部１３は、Ｓ１０で取得された検索キーに基づき、記憶部１１に記憶されている動画インデックス情報を検索する（Ｓ１１）。そして、検索装置１０は、検索結果を端末装置２０に送信する（Ｓ１２）。
　物体の動きをキーとして検索できる本実施形態の検索システムによれば、従来にないアプローチで所望のシーンを検索することができる。
＜第２の実施形態＞
　本実施形態の検索システムは、動画インデックス情報が物体の動きの時間変化を更に示す。例えば、人がカバンに近づき、その後、そのカバンを持って立ち去る様子を含むシーンの場合、「人（物体の種類）」と、「カバン（物体の種類）」と、「互いに近づく（物体の動き）」とを対応付けた情報と、「人（物体の種類）」と、「カバン（物体の種類）」と、「同行する（物体の動き）」とを対応付けた情報とをこの順に（時系列順に）互いに対応付けた対応情報が記憶部１１に記憶される。
　取得部１２は、検索対象の物体の種類と、その物体の動きの時間変化とを示す検索キーを取得する。そして、検索部１３は、このような検索キーに合致する対応情報を検索する。本実施形態の検索システムのその他の構成は、第１の実施形態と同様である。
　本実施形態の検索システムによれば、第１の実施形態と同様な作用効果を実現できる。また、物体の動きのみならず、物体の動きの時間変化をさらにキーとして検索できるので、所望のシーンをより高精度に検索することができる。
＜第３の実施形態＞
　本実施形態の検索システムは、動画インデックス情報が、動画から抽出された物体各々の外観の特徴をさらに含んでいる（図５参照）。物体が人の場合の外観の特徴は、顔の特徴、性別、年齢層、国籍、体型、身に着けている物の特徴等が例示されるがこれらに限定されない。顔の特徴は、例えば顔のパーツ等を用いて表現することができるが、その詳細は制限されない。身に着けている物の特徴は、例えば、青いキャップ、黒いズボン、白いスカート、黒いハイヒール等のように、種類、色、柄、形等で表現される。物体が人以外の場合の外観の特徴は、色、形状、大きさ等が例示されるがこれらに限定されない。
　例えば、５０代の男性が黒いカバンに近づき、その後、そのカバンを持って立ち去る様子を含むシーンの場合、「人（物体の種類）－５０代・男性（外観の特徴）」と、「カバン（物体の種類）－黒（外観の特徴）」と、「互いに近づく（物体の動き）」とを対応付けた情報と、「人（物体の種類）－５０代・男性（外観の特徴）」と、「カバン（物体の種類）－黒（外観の特徴）」と、「同行する（物体の動き）」とを対応付けた情報とをこの順に（時系列順に）互いに対応付けた対応情報が記憶部１１に記憶される。
　取得部１２は、検索対象の１つまたは複数の物体の種類と、その物体の動き（又は、動きの時間変化）と、その物体の外観の特徴とを対応付けた検索キーを取得する。そして、検索部１３は、このような検索キーに合致する対応情報を検索する。本実施形態の検索システムのその他の構成は、第１及び第２の実施形態と同様である。
　本実施形態の検索システムによれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、物体の動きや物体の動きの時間変化のみならず、物体の外観の特徴をさらにキーとして検索できるので、所望のシーンをより高精度に検索することができる。
＜第４の実施形態＞
　本実施形態では、検索装置１０の処理をより詳細に説明する。動画は、例えばある位置に固定された監視カメラで連続的に撮影されたものである。
　まず、検索装置１０により処理されるデータ構造の一例を詳細に説明する。
　図６に、記憶部１１に記憶される対応情報のデータ表現の一例を示す。対応情報はシーンごとに生成され、記憶部１１に記憶される。video-idは各シーンを含む動画ファイルのＩＤである。tsは各シーンの開始位置を示す情報（動画ファイルの冒頭からの経過時間、又は、開始時刻等）である。teは各シーンの終了位置を示す情報（動画ファイルの冒頭からの経過時間、又は、終了時刻等）である。
　subjectsは各シーンから検出された物体の種類を示す。具体的な値としては、例えば、人、犬、猫、カバン、車、バイク、自転車、ベンチ、ポスト、その他、又はこれらに対応するコード等であるがこれらに限定されない。
　pred_iは各シーンから検出された物体の各シーンでの動きを示す。図７に、pred_iの種類を例示する。なお、図示する種類はあくまで一例であり、これに限定されない。
　pred１は、「集まる」、すなわち複数の物体が互いに近づく動きに対応する。
　pred２は、「別れる」、すなわち複数の物体が互いに遠ざかる動きに対応する。
　pred３は、「同行する」、すなわち複数の物体が互いに一定の距離を保つ動きに対応する。
　pred４は、「徘徊する」、すなわち物体が徘徊している動きに対応する。
　pred５は、「静止する」、すなわち物体が静止している動きに対応する。
　なお、この５種類があれば、例えば次のようなシーンを表現することができる。
　まず、「pred１：集まる：複数の物体が互いに近づく動き」によれば、例えば、人と人の待ち合わせシーン、ある人が他の人に接近するシーン、他の人を追いかけている人が他の人に追いつくシーン、人が物（例：カバン）に近づき手に取るシーン、ある人が物を受け取るシーン、人が車に近づき乗車するシーン、車と車が衝突するシーン、車が人に衝突するシーン等を表現することができる。
　また、「pred２：別れる：複数の物体が互いに遠ざかる動き」によれば、例えば、人と人が別れるシーン、複数の人のグループのシーン、人が物（例：カバン）を投げる又は捨てるシーン、ある人が他の人から逃げるシーン、人が車から降車し離れるシーン、ある車が衝突した車から逃げるシーン、ある車が衝突した人から逃げるシーン等を表現することができる。
　また、「pred３：同行する：複数の物体が互いに一定の距離を保つ動き」によれば、例えば、人と人が並んで歩くシーン、ある人が他の人と一定の距離を保って尾行するシーン、人が物（例：カバン）を持ち歩くシーン、人が動物（例：馬）に乗って移動するシーン、車と車がレースするシーン等を表現することができる。
　また、「pred４：徘徊する：物体が徘徊している動きき」によれば、例えば、あるエリア内で人や車がウロウロするシーン、人が道に迷っているシーン等を表現することができる。
　また、「pred５：静止する：物体が静止している動きき」によれば、例えば、人が立ち止まっているシーン、人が寝ているシーン、故障車、意識を失って倒れている人、体調不良で動きが取れず助けが必要な人、ある場所に不法に廃棄された物等が写るシーンを表現することができる。
　pred_i（subjects）の表現は、pred_iとsubjectsが互いに対応付けられていることを意味する。すなわち、subjectsは対応付けられているpred_iの動きをしたことを意味する。
　中カッコ：｛｝の中には、pred_i（subjects）を１つ又は複数記載できる。複数のpred_i（subjects）は時系列順に並べられる。
　ここで、具体例を用いて対応情報を説明する。
例１：<｛pred５（人）｝,00:02:25,00:09:01,vid2>
　例１の対応情報は、vid2の動画ファイルの00:02:25～00:09:01において、「人が静止しているシーン」が存在することを示す。
例２：<｛pred５（人）、pred４（人）｝,00:09:15,00:49:22,vid１>
　例２の対応情報は、vid1の動画ファイルの00:09:15～00:49:22において、「人が静止し、その後、人が徘徊するシーン」が存在することを示す。
例３：<｛pred１（人，カバン）、pred３（人，カバン）｝,00:49:23,00:51:11,vid１>
　例３の対応情報は、vid1の動画ファイルの00:49:23～00:51:11において、「人とカバンが互いに近づき、その後、人とカバンが同行するシーン」が存在することを示す。
　対応情報は、例えば、図８に示すように動画ファイルごとにまとめて記憶部１１に記憶されてもよい。図示する対応情報は、vid1の動画ファイルに基づき生成された対応情報である。セグメントＩＤは各シーンを識別する情報と同義である。
　また、記憶部１１は、図９に示すような情報を記憶してもよい。図示する情報は、物体の種類毎に、動画ＩＤとセグメントＩＤとのペアを対応付けている。すなわち、物体の種類毎に、各々が写るシーンを識別する情報を対応付けている。図より、「人」は、vid1の動画ファイルのseg1のシーンや、vid1の動画ファイルのseg2のシーン等に写っていることが分かる。また、「カバン」は、vid1の動画ファイルのseg2のシーン等に写っていることが分かる。
　また、記憶部１１は、動画から抽出された物体の動きの時間変化を木構造で示すインデックス情報を記憶してもよい。図１０に、当該インデックス情報の一例を概念的に示す。当該木構造のインデックス情報は、動画から抽出された物体の動きの時間変化を示している。各ノードは１つの動きに対応する。ノード内の数字が物体の動きを示す。ノード内の数字は、「pred_i」の「i」に対応する。すなわち、「１」は「集まる」、「２」は「別れる」、「３」は「同行する」、「４」は「徘徊する」、「５」は「静止する」である。図１０の例の場合、「集まる（１）」のシーン、「静止する→徘徊する→集まる→同行する（５→４→１→３）」がこの順に起きるシーン、「同行する→別れる（３→２）」がこの順に起きるシーン、「静止する→徘徊する→静止する（５→４→５）」がこの順に起きるシーンが動画内に存在することが分かる。
　各ノードにはノードＩＤ（Ｎ：００１等）が付与される。そして、図１１に示すように、各ノードに対応付けて、各ノードの動きが図１０に示す動きの流れで現れる動画ＩＤとセグメントＩＤとのペアが登録される。例えば、N:002のノードには、動画内に存在する「徘徊する（４）」シーンの中の、「静止する→徘徊する→集まる→同行する（５→４→１→３）」の流れで現れる「徘徊する（４）」シーンを識別する動画ＩＤとセグメントＩＤとのペアが登録される。
　ここで、図１０に示す木構造のインデックス情報を用いれば、図１２及び図１３に示すような情報を生成することができる。図示する情報は、物体の種類ごとに生成される。当該情報は、図１０の木構造で示されるノードの流れの組合せ（動きの時間変化）毎に、その動きの時間変化を示すシーンに各物体が現れるか否かを示している。そして、現れる場合には、そのシーンを示す動画ＩＤとセグメントＩＤとのペアを対応付けている。
　図１２の５→４に対応付けられている「１１」、「０１」、「１０」は、動きが「静止する（５）」→「徘徊する（４）」と変化するシーンに人が現れるか否かを示す。左側の数字が５のノードに対応し、右側の数字が４のノードに対応する。動きが「静止する（５）」のシーンに人が現れる場合には左側の数字を「１」に、現れない場合には左側の数字を「０」にセットする。また、動きが「徘徊する（４）」のシーンに人が現れる場合には右側の数字を「１」に、現れない場合には右側の数字を「０」にセットする。
　図１２の５→４→１に対応付けられている「１１１」、・・・「００１」は、動きが「静止する（５）」→「徘徊する（４）」→「集まる（１）」と変化するシーンに人が現れるか否かを示す。一番左の数字が５のノードに対応し、真ん中の数字が４のノードに対応し、一番右の数字が１のノードに対応する。動きが「静止する（５）」のシーンに人が現れる場合には左端の数字を「１」に、現れない場合には左端の数字を「０」にセットする。また、動きが「徘徊する（４）」のシーンに人が現れる場合には真ん中の数字を「１」に、現れない場合には真ん中の数字を「０」にセットする。また、動きが「集まる（１）」のシーンに人が現れる場合には右端の数字を「１」に、現れない場合には右端の数字を「０」にセットする。
　図１４は、取得部１２が取得する検索キー（Query）のデータ表現の一例を示す。これは、図６を用いて説明した対応情報の中カッコ：｛｝の中身と一緒である。
　次に、検索部１３による検索処理を具体的に説明する。取得部１２が図１５に示す検索キーを取得したとする。この検索キーは、「集まる（１）」→「同行する（３）」の動きの時間変化を示す。また、動きが「集まる（１）」のシーン、及び、動きが「同行する（３）」のシーンいずれにも人とカバンが現れることが分かる。
　この場合、検索部１３は、図１２及び図１３に示す情報を検索対象とし、人に対応する情報（図１２）の中から１→３の動きの時間変化、及び、「１１」に対応付けられている動画ＩＤとセグメントＩＤとのペアを抽出する。図示する例の場合、<vid1,seg2>のペア等を抽出する。また、検索部１３は、カバンに対応する情報（図１３）の中から１→３の動きの時間変化、及び、「１１」に対応付けられている動画ＩＤとセグメントＩＤとのペアを抽出する。図示する例の場合、<vid1,seg2>のペア等を抽出する。そして、人に対応する情報（図１２）から抽出した動画ＩＤとセグメントＩＤとのペア、及び、カバンに対応する情報（図１３）から抽出した動画ＩＤとセグメントＩＤとのペアの両方に含まれるペアを、検索結果として抽出する。
　なお、記憶部１１に記憶される上述のようなデータは、コンピュータが動画を解析することで自動的に生成されてもよいし、人間が動画を解析することで生成されてもよい。以下、動画を解析し、記憶部１１に記憶される上述のようなデータを生成する解析装置の機能構成を説明する。図１６に、解析装置３０の機能ブロック図の一例を示す。図示するように、解析装置３０は、検出部３１と、判断部３２と、登録部３３とを有する。
　検出部３１は、複数種類の物体各々の外観の特徴を示す情報に基づき、動画から各種物体を検出する。
　判断部３２は、検出部３１により検出された物体が予め定義された複数の動きのいずれに該当するかを判断する。予め定義された複数の動きは、複数の物体の相対的な位置関係の変化で示されてもよい。例えば、予め定義された複数の動きは、複数の物体が互いに近づく（pred１：集まる）、複数の物体が互いに遠ざかる（pred２：別れる）、複数の物体が互いに一定の距離を保つ（pred３：同行する）、徘徊している（pred４：徘徊する）、及び、静止している（pred５：静止する）の中の少なくとも１つを含んでもよい。
　例えば、同じシーンに存在する複数の物体の距離が時間経過とともに小さくなっている場合、判断部３２は当該複数の物体の動きは「pred１：集まる」であると判断してもよい。
　また、同じシーンに存在する複数の物体の距離が時間経過とともに大きくなっている場合、判断部３２は当該複数の物体の動きは「pred２：別れる」であると判断してもよい。
　また、同じシーンに存在する複数の物体の距離が一定時間の間所定の距離以内に保たれている場合、判断部３２は当該複数の物体の動きは「pred３：同行する」であると判断してもよい。
　また、ある物体が基準位置から予め定められた距離Ｌ１以内のエリアでの移動を続けている場合、判断部３２は当該物体の動きは「pred４：徘徊する」であると判断してもよい。
　また、ある物体が基準位置から予め定められた距離Ｌ２以内のエリアに居続ける場合（Ｌ１＞Ｌ２）、判断部３２は、当該物体の動きは「pred５：静止する」であると判断してもよい。
　なお、ここで説明した判断基準はあくまで一例であり、他の判断基準を採用してもよい。
　登録部３３は、検出部３１により検出された物体の種類と、判断部３２により判断された物体各々の動きとを対応付けたデータ（pred_i（subjects））を登録する。
　なお、登録部３３は、さらにシーンの開始位置及び終了位置を対応付けて登録することができる。シーンの開始位置及び終了位置を決定する手法は設計的事項である。例えば、動画からある物体が検出されたタイミングをシーンの開始位置とし、その物体が検出されなくなったタイミングをシーンの終了位置としてもよい。あるシーンと他のシーンは一部が重なってもよいし、重ならないように定められてもよい。結果、動画ファイルごとに図８のような情報が生成され、それらに基づき図９乃至図１３に示すような情報が生成される。
　ここで、本実施形態の変形例を説明する。対応情報のsubjects（図６参照）の値は、人、犬、猫、カバン、車、バイク、自転車、ベンチ、ポスト、その他、又はこれらに対応するコード等に加えて、各種物体を外観に応じてさらに細かく分類した分類コードを含んでもよい。例えば、subjectsの値は、人（h000001）、カバン（b000001）等で表現されてもよい。カッコ内の値が分類コードである。物体が人の場合、分類コードは動画に写る個人を識別する識別コードを意味する。物体がカバンの場合、分類コードは形状、大きさ、柄、色、デザイン等が同一又は類似するものどうしをまとめたグループ各々を識別する情報となる。物体がその他の場合も同様である。そして、図示しないが、記憶部１１は、分類コード毎に、外観の特徴を示す情報を記憶してもよい。
　当該変形例の場合、取得部１２は、検索対象の物体の種類、当該物体の動き又は動きの時間変化、当該物体の外観の特徴を含む検索キーを取得することができる。そして、検索部１３は、検索キーに含まれる外観の特徴を上記分類コードに変換し、当該分類コードの各種物体が検索キーで示される動き又は動きの時間変化をしたシーンを上記と同様にして検索することができる。
　なお、変形例の場合、各フレームから抽出された各種物体を、外観が同一又は類似するものどうしでグループ化し、各グループに分類コードを付与するという処理が必要となる。以下、当該処理の一例を説明する。
　まず、複数のフレーム各々から物体を抽出する。そして、あるフレームから抽出された第１の種類の物体（例：人）と、それ以前のフレームから抽出された第１の種類の物体（例：人）との外観が所定レベル以上類似するか判断し、所定レベル以上類似するもの同士をグループ化する。それ以前のフレームから抽出されたすべての第１の種類の物体（例：人）各々の外観の特徴と、あるフレームから抽出されたすべての第１の種類の物体（例：人）各々の外観の特徴とのすべてのペアを比較することで、上記判断を行ってもよい。しかし、この処理の場合、蓄積された物体のデータが増えるほど、比較するペアの数が膨大となり、処理負担が大きくなる。そこで、例えば、次のような方法を採用してもよい。
　例えば、抽出された物体を物体の種類ごとに図１７のようにインデックス化し、当該インデックスを用いて外観が所定レベル以上類似するものどうしでグループ化する。当該インデックスの詳細及び生成方法は、特許文献２及び３に開示されているが、以下、簡単に説明する。ここでは、人を例にとり説明するが、物体の種類がその他の物である場合も同様の処理を採用できる。
　図１７に示す抽出ＩＤ：「Ｆ○○○－○○○○」は、各フレームから抽出された人物各々に付される識別情報である。Ｆ○○○がフレーム識別情報であり、ハイフン以下が各フレームから抽出された人物各々の識別情報である。同一人物が異なるフレームから抽出された場合、各々に異なる抽出ＩＤが付されることとなる。
　第３層には、それまでに処理されたフレームから得られた全ての抽出ＩＤ各々に対応したノードが配置される。そして、第３層に配置された複数のノードは、類似度（外観の特徴量の類似度）が第１のレベル以上のもの同士でまとめてグループ化される。第３層では、同一人物に関すると判断される複数の抽出ＩＤどうしでグループ化されている。すなわち、上記類似度の第１のレベルは、このようなグループ化を実現可能とする値に設定されている。このような第３層の各グループに対応して、人物識別情報（人物ＩＤ：人の分類ＩＤ）が付される。
　第２層には、第３層の複数のグループ各々から選択された１つのノード（代表）が配置され、第３層の当該グループと紐付けられる。第２層に配置された複数のノードは、類似度が第２のレベル以上のもの同士でまとめてグループ化される。なお、類似度の第２のレベルは、上記第１のレベルよりも低い。すなわち、第１のレベルを基準にした場合にはグループ化されないノード同士が、第２のレベルを基準にした場合にはグループ化され得る。
　第１層には、第２層の複数のグループ各々から選択された１つのノード（代表）が配置され、第２層の当該グループと紐付けられる。
　新たなフレームから新たな抽出ＩＤが得られた場合、まず、第１層に位置する複数の抽出ＩＤを比較対象とする。すなわち、新たな抽出ＩＤと、第１層に位置する複数の抽出ＩＤ各々とでペアを作成する。そして、ペア毎に類似度（外観の特徴量の類似度）を算出し、算出した類似度が第１の閾値以上（所定レベル以上類似）であるか判定する。
　第１層に、類似度が第１の閾値以上である抽出ＩＤが存在しない場合、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物でないと判断する。そして、新たな抽出ＩＤを第１層乃至第３層に追加し、それらを互いに紐付ける。第２層及び第３層においては、追加された新たな抽出ＩＤにより新たなグループが生成される。また、第３層の新たなグループに対応して新たな人物ＩＤが発行される。そして、その人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。
　一方、第１層に、類似度が第１の閾値以上である抽出ＩＤが存在する場合、比較対象を第２層に移す。具体的には、「類似度が第１の閾値以上であると判定された第１層の抽出ＩＤ」に紐付けられた第２層のグループを、比較対象とする。
　そして、新たな抽出ＩＤと、第２層の処理対象のグループに含まれる複数の抽出ＩＤ各々とでペアを作成する。次いで、ペア毎に類似度を算出し、算出した類似度が第２の閾値以上であるか判定する。なお、第２の閾値は、第１の閾値よりも高い。
　第２層の処理対象のグループに、類似度が第２の閾値以上である抽出ＩＤが存在しない場合、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物でないと判断する。そして、新たな抽出ＩＤを第２層及び第３層に追加し、互いに紐付ける。第２層においては、新たな抽出ＩＤは処理対象のグループに追加される。第３層においては、追加された新たな抽出ＩＤにより新たなグループが生成される。また、第３層の新たなグループに対応して新たな人物ＩＤが発行される。そして、その人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。
　一方、第２層の処理対象のグループに、類似度が第２の閾値以上である抽出ＩＤが存在する場合、新たな抽出ＩＤに対応する人物は、それ以前に抽出された人物と同一人物であると判断する。そして、新たな抽出ＩＤを、「類似度が第２の閾値以上であると判定された第２層の抽出ＩＤ」に紐付けられた第３層のグループに属させる。また、第３層のそのグループに対応する人物ＩＤを、新たな抽出ＩＤに対応する人物の人物ＩＤとして特定する。
　例えば、以上のようにして、新たなフレームから抽出された１つ又は複数の抽出ＩＤを図１７のインデックスに追加し、各々に人物ＩＤを対応付けることができる。
　以上説明した本実施形態の検索システムによれば、第１乃至第３の実施形態と同様な作用効果を実現できる。
＜第５の実施形態＞
　第１乃至第４の実施形態で説明した検索キーの入力を受付ける端末装置２０の機能構成を説明する。
　図１８に、端末装置２０の機能ブロック図の一例を示す。図示するように、端末装置２０は、表示制御部２１と、入力受付部２２と、送受信部２３とを有する。
　表示制御部２１は、予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる。なお、検索画面は、さらに検索結果を一覧表示する結果表示エリアを有してもよい。
　図１９に、検索画面の一例を模式的に示す。図示する検索画面１００は、アイコン表示エリア１０１と、入力エリア１０２と、結果表示エリア１０３とを有する。アイコン表示エリア１０１には、予め定義された複数の動き各々を示す複数のアイコンが選択可能に表示されている。入力エリア１０２には、ユーザにより入力された検索キーが表示されている。結果表示エリア１０３には、検索結果として複数の動画が再生可能に一覧表示されている。
　図１８に戻り、入力受付部２２は、アイコン表示エリア１０１に表示されている複数のアイコンのいずれかを入力エリア１０２に移動させる操作を受付ける。そして、入力受付部２２は、入力エリア１０２に位置するアイコンが示す動きを検索キーとして受付ける。
　アイコン表示エリア１０１に表示されているアイコンを入力エリア１０２に移動させる操作は特段制限されない。例えばドラッグアンドドロップであってもよいし、その他の操作であってもよい。
　また、入力受付部２２は、入力エリア１０２に位置するアイコンに対応付けて１つ又は複数の物体の種類を指定する入力を受付ける。そして、アイコンに対応付けて指定された物体の種類を検索キーとして受付ける。
　物体の種類を指定する操作は特段制限されない。例えば、各アイコンの点線四角内に手書きでイラストを描くことで、物体の種類が指定されてもよい。この場合、端末装置２０は、手書きされた図形に類似する図形を入力候補として提示し、入力候補の中の１つが選択されると、入力欄における手書きされた図形を選択された図形に置き代えてもよい。手書きされた図形により、各種物体の外観の特徴も入力される。外観の特徴を明示できる写真・画像がある場合は、その写真・画像を入力してもよい。
　その他、図示しないが、各種物体に対応したアイコンが選択可能にアイコン表示エリア１０１に表示されていてもよい。そして、ドラッグアンドドロップやその他の操作により、各種物体に対応したアイコンを各種動きに対応したアイコンの点線四角内に移動させることで、各動きをする物体の種類を指定する入力がなされてもよい。
　なお、物体の動きの時間変化の入力は、図示するように、各種動きに対応した複数のアイコンを入力エリア１０２に移動させ、それらを図示するように矢印で時系列順に繋いだり、時系列順に並べたり（例：左から右）することで実現される。
　送受信部２３は、入力受付部２２により受付けられた検索キーを検索装置１０に送信するとともに、検索装置１０から検索結果を受信する。表示制御部２１は、送受信部２３が受信した検索結果を結果表示エリア１０３に表示する。
　以上説明した本実施形態の検索システムによれば、第１乃至第４の実施形態と同様な作用効果を実現できる。
　また、例えば図１９に示すようなユーザフレンドリーなＧＵＩ（graphical user interface）画面から検索キーの入力を受付けることができる本実施形態の検索システムによれば、ユーザの検索キーの入力負担を軽減できる。
＜各装置のハードウエア構成＞
　最後に、検索装置１０、端末装置２０及び解析装置３０各々のハードウエア構成の一例について説明する。検索装置１０、端末装置２０及び解析装置３０各々が備える各部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図２０は、本実施形態の検索装置１０、端末装置２０及び解析装置３０各々のハードウエア構成を例示するブロック図である。図２０に示すように、検索装置１０、端末装置２０及び解析装置３０各々は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　以下、参考形態の例を付記する。
１．　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶する記憶手段と、
　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得手段と、
　前記検索キーに基づき、前記動画インデックス情報を検索する検索手段と、
を有する検索装置。
２．　１に記載の検索装置において、
　前記対応情報は、複数の前記物体の種類を含み、
　複数の前記物体の動きは、複数の前記物体の相対的な位置関係の変化で示される検索装置。
３．　２に記載の検索装置において、
　複数の前記物体の動きは、複数の前記物体が互いに近づく、複数の前記物体が互いに遠ざかる、及び、複数の前記物体が互いに一定の距離を保つ、の中の少なくとも１つを含む検索装置。
４．　１から３のいずれかに記載の検索装置において、
　前記物体の動きは、静止している、及び、徘徊している、の中の少なくとも１つを含む検索装置。
５．　１から４のいずれかに記載の検索装置において、
　前記動画インデックス情報は、前記物体の動きの時間変化を更に示し、
　前記取得手段は、検索対象の前記物体の動きの時間変化をさらに示す前記検索キーを取得する検索装置。
６．　１から５のいずれかに記載の検索装置において、
　前記動画インデックス情報は、前記物体の外観の特徴をさらに含み、
　前記取得手段は、検索対象の前記物体の外観の特徴をさらに示す前記検索キーを取得する検索装置。
７．　１から６のいずれかに記載の検索装置において、
　前記対応情報は、各動きをする各物体が抽出された動画ファイル、及び、当該動画ファイル内の位置を識別する情報をさらに含む検索装置。
８．　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御手段と、
　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付手段と、
　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信手段と、
を有する端末装置。
９．　８に記載の端末装置において、
　前記入力受付手段は、前記入力エリアに位置する前記アイコンに対応付けて１つ又は複数の物体の種類を指定する入力を受付け、指定された前記物体の種類を前記検索キーとして受付ける端末装置。
１０．　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出手段と、
　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断手段と、
　前記検出手段により検出された前記物体の種類と、前記判断手段により判断された前記物体各々の動きとを対応付けて登録する登録手段と、
を有する解析装置。
１１．　１０に記載の解析装置において、
　前記予め定義された複数の動きは、複数の前記物体の相対的な位置関係の変化で示される解析装置。
１２．　１１に記載の解析装置において、
　前記予め定義された複数の動きは、複数の前記物体が互いに近づく、複数の前記物体が互いに遠ざかる、及び、複数の前記物体が互いに一定の距離を保つ、の中の少なくとも１つを含む解析装置。
１３．　１０から１２のいずれかに記載の解析装置において、
　前記予め定義された複数の動きは、静止している、及び、徘徊している、の中の少なくとも１つを含む解析装置。
１４．　コンピュータが、
　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶しておき、
　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得工程と、
　前記検索キーに基づき、前記動画インデックス情報を検索する検索工程と、
を実行する検索方法。
１５．　コンピュータを、
　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶する記憶手段、
　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得手段、
　前記検索キーに基づき、前記動画インデックス情報を検索する検索手段、
として機能させるプログラム。
１６．　コンピュータが、
　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御工程と、
　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付工程と、
　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信工程と、
を実行する端末装置の動作方法。
１７．　コンピュータを、
　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御手段、
　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付手段、
　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信手段、
として機能させるプログラム。
１８．　コンピュータが、
　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出工程と、
　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断工程と、
　前記検出工程で検出された前記物体の種類と、前記判断工程で判断された前記物体各々の動きとを対応付けて登録する登録工程と、
を実行する解析方法。
１９．　コンピュータを、
　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出手段、
　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断手段、
　前記検出手段により検出された前記物体の種類と、前記判断手段により判断された前記物体各々の動きとを対応付けて登録する登録手段、
として機能させるプログラム。
　この出願は、２０１７年１０月１６日に出願された日本出願特願２０１７－２００１０３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (19)

  1. 　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶する記憶手段と、
    　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得手段と、
    　前記検索キーに基づき、前記動画インデックス情報を検索する検索手段と、
    を有する検索装置。
  2. 　請求項１に記載の検索装置において、
    　前記対応情報は、複数の前記物体の種類を含み、
    　複数の前記物体の動きは、複数の前記物体の相対的な位置関係の変化で示される検索装置。
  3. 　請求項２に記載の検索装置において、
    　複数の前記物体の動きは、複数の前記物体が互いに近づく、複数の前記物体が互いに遠ざかる、及び、複数の前記物体が互いに一定の距離を保つ、の中の少なくとも１つを含む検索装置。
  4. 　請求項１から３のいずれか１項に記載の検索装置において、
    　前記物体の動きは、静止している、及び、徘徊している、の中の少なくとも１つを含む検索装置。
  5. 　請求項１から４のいずれか１項に記載の検索装置において、
    　前記動画インデックス情報は、前記物体の動きの時間変化を更に示し、
    　前記取得手段は、検索対象の前記物体の動きの時間変化をさらに示す前記検索キーを取得する検索装置。
  6. 　請求項１から５のいずれか１項に記載の検索装置において、
    　前記動画インデックス情報は、前記物体の外観の特徴をさらに含み、
    　前記取得手段は、検索対象の前記物体の外観の特徴をさらに示す前記検索キーを取得する検索装置。
  7. 　請求項１から６のいずれか１項に記載の検索装置において、
    　前記対応情報は、各動きをする各物体が抽出された動画ファイル、及び、当該動画ファイル内の位置を識別する情報をさらに含む検索装置。
  8. 　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御手段と、
    　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付手段と、
    　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信手段と、
    を有する端末装置。
  9. 　請求項８に記載の端末装置において、
    　前記入力受付手段は、前記入力エリアに位置する前記アイコンに対応付けて１つ又は複数の物体の種類を指定する入力を受付け、指定された前記物体の種類を前記検索キーとして受付ける端末装置。
  10. 　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出手段と、
    　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断手段と、
    　前記検出手段により検出された前記物体の種類と、前記判断手段により判断された前記物体各々の動きとを対応付けて登録する登録手段と、
    を有する解析装置。
  11. 　請求項１０に記載の解析装置において、
    　前記予め定義された複数の動きは、複数の前記物体の相対的な位置関係の変化で示される解析装置。
  12. 　請求項１１に記載の解析装置において、
    　前記予め定義された複数の動きは、複数の前記物体が互いに近づく、複数の前記物体が互いに遠ざかる、及び、複数の前記物体が互いに一定の距離を保つ、の中の少なくとも１つを含む解析装置。
  13. 　請求項１０から１２のいずれか１項に記載の解析装置において、
    　前記予め定義された複数の動きは、静止している、及び、徘徊している、の中の少なくとも１つを含む解析装置。
  14. 　コンピュータが、
    　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶しておき、
    　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得工程と、
    　前記検索キーに基づき、前記動画インデックス情報を検索する検索工程と、
    を実行する検索方法。
  15. 　コンピュータを、
    　動画から抽出された１つ又は複数の物体の種類と、前記物体の動きとを対応付けた対応情報を含む動画インデックス情報を記憶する記憶手段、
    　検索対象の１つまたは複数の前記物体の種類と、前記物体の動きとを対応付けた検索キーを取得する取得手段、
    　前記検索キーに基づき、前記動画インデックス情報を検索する検索手段、
    として機能させるプログラム。
  16. 　コンピュータが、
    　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御工程と、
    　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付工程と、
    　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信工程と、
    を実行する端末装置の動作方法。
  17. 　コンピュータを、
    　予め定義された複数の動き各々を示す複数のアイコンを選択可能に表示するアイコン表示エリアと、検索キーの入力を受付ける入力エリアとを有する検索画面をディスプレイに表示させる表示制御手段、
    　複数の前記アイコンのいずれかを前記入力エリアに移動させる操作を受付け、前記入力エリアに位置する前記アイコンが示す動きを前記検索キーとして受付ける入力受付手段、
    　前記検索キーを検索装置に送信するとともに、前記検索装置から検索結果を受信する送受信手段、
    として機能させるプログラム。
  18. 　コンピュータが、
    　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出工程と、
    　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断工程と、
    　前記検出工程で検出された前記物体の種類と、前記判断工程で判断された前記物体各々の動きとを対応付けて登録する登録工程と、
    を実行する解析方法。
  19. 　コンピュータを、
    　複数種類の物体各々の外観の特徴を示す情報に基づき、動画から前記物体を検出する検出手段、
    　検出された前記物体が、予め定義された複数の動きのいずれに該当するかを判断する動き判断手段、
    　前記検出手段により検出された前記物体の種類と、前記判断手段により判断された前記物体各々の動きとを対応付けて登録する登録手段、
    として機能させるプログラム。
PCT/JP2018/038338 2017-10-16 2018-10-15 検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム WO2019078164A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/755,930 US20200242155A1 (en) 2017-10-16 2018-10-15 Search apparatus, search method, and non-transitory storage medium
JP2019549270A JP6965939B2 (ja) 2017-10-16 2018-10-15 検索装置、検索方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-200103 2017-10-16
JP2017200103 2017-10-16

Publications (1)

Publication Number Publication Date
WO2019078164A1 true WO2019078164A1 (ja) 2019-04-25

Family

ID=66174476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038338 WO2019078164A1 (ja) 2017-10-16 2018-10-15 検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム

Country Status (3)

Country Link
US (1) US20200242155A1 (ja)
JP (1) JP6965939B2 (ja)
WO (1) WO2019078164A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022027629A (ja) * 2020-07-29 2022-02-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオイベント識別方法、装置、電子デバイス及び記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075976A (ja) * 1999-09-01 2001-03-23 Nippon Telegr & Teleph Corp <Ntt> 多次元空間内の物体の動作データの管理方法、装置、および管理プログラムを記録した記録媒体
JP2001084274A (ja) * 1999-07-14 2001-03-30 Fuji Photo Film Co Ltd 画像検索方法および画像処理方法
JP2001306579A (ja) * 2000-04-25 2001-11-02 Mitsubishi Electric Corp 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005210573A (ja) * 2004-01-26 2005-08-04 Mitsubishi Electric Corp 映像表示システム
JP2011070265A (ja) * 2009-09-24 2011-04-07 Fujifilm Corp 情報検索装置、及び情報検索方法
WO2016067749A1 (ja) * 2014-10-29 2016-05-06 三菱電機株式会社 映像音声記録装置および監視システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06101018B2 (ja) * 1991-08-29 1994-12-12 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像データベースの検索
JP3621323B2 (ja) * 2000-02-28 2005-02-16 日本電信電話株式会社 映像登録・検索処理方法および映像検索装置
JP5207551B2 (ja) * 2009-06-16 2013-06-12 日本電信電話株式会社 描画支援装置，描画支援方法および描画支援プログラム
US8774533B2 (en) * 2010-10-12 2014-07-08 Hewlett-Packard Development Company, L.P. Quantifying social affinity from a plurality of images
WO2014109127A1 (ja) * 2013-01-11 2014-07-17 日本電気株式会社 インデックス生成装置及び方法並びに検索装置及び検索方法
JP6167767B2 (ja) * 2013-08-30 2017-07-26 日本電気株式会社 インデックス生成装置及び検索装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084274A (ja) * 1999-07-14 2001-03-30 Fuji Photo Film Co Ltd 画像検索方法および画像処理方法
JP2001075976A (ja) * 1999-09-01 2001-03-23 Nippon Telegr & Teleph Corp <Ntt> 多次元空間内の物体の動作データの管理方法、装置、および管理プログラムを記録した記録媒体
JP2001306579A (ja) * 2000-04-25 2001-11-02 Mitsubishi Electric Corp 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005210573A (ja) * 2004-01-26 2005-08-04 Mitsubishi Electric Corp 映像表示システム
JP2011070265A (ja) * 2009-09-24 2011-04-07 Fujifilm Corp 情報検索装置、及び情報検索方法
WO2016067749A1 (ja) * 2014-10-29 2016-05-06 三菱電機株式会社 映像音声記録装置および監視システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022027629A (ja) * 2020-07-29 2022-02-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオイベント識別方法、装置、電子デバイス及び記憶媒体
US11557120B2 (en) 2020-07-29 2023-01-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Video event recognition method, electronic device and storage medium
JP7242994B2 (ja) 2020-07-29 2023-03-22 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオイベント識別方法、装置、電子デバイス及び記憶媒体

Also Published As

Publication number Publication date
JP6965939B2 (ja) 2021-11-10
US20200242155A1 (en) 2020-07-30
JPWO2019078164A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
Kosti et al. Context based emotion recognition using emotic dataset
US9922271B2 (en) Object detection and classification
Zhao et al. Affective image retrieval via multi-graph learning
JP2023145558A (ja) 外観検索のシステムおよび方法
JP5318115B2 (ja) 場所別画像分類
CN104919794B (zh) 用于从主从式相机跟踪系统提取元数据的方法和系统
US20090232357A1 (en) Detecting behavioral deviations by measuring eye movements
CN108388570B (zh) 对视频进行分类匹配的方法、装置和挑选引擎
CN113158023A (zh) 基于混合推荐算法的公共数字生活精准分类服务方法
US20210271974A1 (en) Annotation system for a neural network
Wang et al. Inferring sentiment from web images with joint inference on visual and social cues: A regulated matrix factorization approach
WO2021216439A1 (en) Automated generation of training data for contextually generated perceptions
JP6433928B2 (ja) 検索装置、検索方法および検索システム
JP2018169972A (ja) 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
WO2020160131A1 (en) Contextually generated perceptions
EP3971735A1 (en) Intelligent systems and methods for visual search queries
JP6909657B2 (ja) 映像認識システム
WO2019078164A1 (ja) 検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム
Lei et al. A new clothing image retrieval algorithm based on sketch component segmentation in mobile visual sensors
JP7435837B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
Oliveira-Barra et al. Lifelog retrieval for memory stimulation of people with memory impairment
Theodosiou et al. Visual lifelogs retrieval: state of the art and future challenges
US20200074218A1 (en) Information processing system, information processing apparatus, and non-transitory computer readable medium
Frikha et al. Semantic attributes for people’s appearance description: an appearance modality for video surveillance applications
JP7014232B2 (ja) 検索システム、端末装置の動作方法及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019549270

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18868553

Country of ref document: EP

Kind code of ref document: A1