WO2019017046A1 - 情報処理装置、および情報処理方法 - Google Patents

情報処理装置、および情報処理方法 Download PDF

Info

Publication number
WO2019017046A1
WO2019017046A1 PCT/JP2018/018105 JP2018018105W WO2019017046A1 WO 2019017046 A1 WO2019017046 A1 WO 2019017046A1 JP 2018018105 W JP2018018105 W JP 2018018105W WO 2019017046 A1 WO2019017046 A1 WO 2019017046A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
metadata
captured image
processing apparatus
predetermined event
Prior art date
Application number
PCT/JP2018/018105
Other languages
English (en)
French (fr)
Inventor
綱島　宣浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18835140.7A priority Critical patent/EP3657356B1/en
Priority to US16/621,860 priority patent/US11132553B2/en
Priority to JP2019530893A priority patent/JPWO2019017046A1/ja
Priority to CN201880042602.XA priority patent/CN110800313B/zh
Publication of WO2019017046A1 publication Critical patent/WO2019017046A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Definitions

  • the present disclosure relates to an information processing apparatus and an information processing method.
  • captured images moving images or still images captured by an imaging device are used.
  • a device using the technology described in Patent Document 1 generates a silhouette image from a captured image, tracks a silhouette area included in the silhouette image according to a tracking area, and detects and identifies an event based on the tracking result.
  • Patent Document 2 by using the technology described in Patent Document 2, it is possible to measure the number of objects recognized from a captured image.
  • the relevance of an object recognized from a captured image is not considered. Therefore, even if the processing result according to the technology described in Patent Document 2 is used, it is not limited that the entire image of the event can be grasped.
  • the present disclosure proposes a novel and improved information processing apparatus and information processing method capable of assisting in grasping of a predetermined event detected based on a captured image.
  • a setting processing unit configured to set metadata for an object included in the captured image based on a captured image captured in time series by the imaging device
  • the setting processing unit is configured to The captured image is processed from a predetermined event detected from an image in a reverse time series reverse to the above time series, and for an object related to the predetermined event among the objects included in the captured image
  • An information processing apparatus is provided which sets the metadata.
  • the present disclosure there is a step of setting metadata for an object included in the captured image based on a captured image captured in time series by the imaging device, and in the setting step, The captured image is processed from a predetermined event detected from the captured image in a reverse time series reverse to the above time series, and for an object related to the predetermined event among the objects included in the captured image
  • An information processing method to be executed by the information processing apparatus is provided, wherein the metadata is set.
  • grasping of a predetermined event detected based on a captured image can be assisted.
  • FIG. 1 is an explanatory view showing an example of the configuration of an information processing system 1000 according to the present embodiment.
  • the information processing system 1000 includes, for example, an information processing apparatus 100, an imaging device 200, a display device 300, and a storage device 400.
  • the information processing apparatus 100, the imaging device 200, the display device 300, and the storage device 400 are connected wirelessly or by wire via the network 500, for example.
  • the network 500 for example, a wired network such as LAN (Local Area Network) or WAN (Wide Area Network), a wireless network such as WLAN (Wireless Local Area Network), or TCP / IP (Transmission Control Protocol / Internet Protocol) And the Internet using a communication protocol such as
  • the information processing apparatus 100 and a part or all of the imaging device 200, the display device 300, and the storage device 400 are directly connected to the information processing system 100 without passing through the network 500. It is also possible to communicate.
  • the imaging device 200, the display device 300, and the storage device 400 may be devices included in the information processing apparatus 100. Further, the information processing system according to the present embodiment may not have, for example, one or both of the display device 300 and the storage device 400.
  • the information processing system according to the present embodiment may have a plurality of imaging devices 200.
  • the information processing system according to the present embodiment includes a plurality of imaging devices 200, some of the plurality of imaging devices 200 may be imaging devices included in the information processing apparatus 100.
  • the information processing system according to the present embodiment may have a plurality of display devices 300.
  • the information processing system according to the present embodiment includes a plurality of display devices 300, some of the plurality of display devices 300 may be display devices provided in the information processing apparatus 100.
  • the information processing system according to the present embodiment may have a plurality of storage devices 400.
  • some of the plurality of storage devices 400 may be display devices included in the information processing apparatus 100.
  • the imaging device 200 is an imaging unit in the information processing system 1000, and corresponds to an external imaging device as viewed from the information processing apparatus 100.
  • the imaging device 200 may use, for example, an information processing system such as “a court or a ground (an example where the analysis of a sport game is the purpose)”, “a space to which a crime prevention measure is applied (an example when the crime is an objective)”.
  • Image a region according to the purpose for which 1000 is used. Either or both of the position and orientation of the imaging device 200 may be fixed or may change.
  • the imaging device 200 is configured to include, for example, a lens / imaging element and a signal processing circuit.
  • the lens / imaging device includes, for example, a lens of an optical system and an image sensor using a plurality of imaging devices such as a complementary metal oxide semiconductor (CMOS) and a charge coupled device (CCD).
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the imaging device into a digital signal (image data).
  • the signal processing circuit performs various processes related to, for example, RAW development.
  • the signal processing circuit may perform various signal processing such as white balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, edge enhancement processing, and the like.
  • the configuration of the imaging device 200 is not limited to the example described above, and may be configured according to an application example of the imaging device 200 described later.
  • the imaging device 200 is driven by, for example, power supplied from an internal power supply such as a battery included in the imaging device 200 or power supplied from a connected external power supply.
  • the display device 300 is a display unit in the information processing system 1000, and corresponds to an external display device as viewed from the information processing apparatus 100.
  • the display device 300 may be, for example, various images such as a captured image (a moving image or a plurality of still images, hereinafter the same shall apply) captured in the information processing apparatus 100 and an image related to a UI (User Interface). Display the image on the display screen.
  • the display on the display device 300 is controlled by the information processing apparatus 100, for example.
  • Examples of the display device 300 include a liquid crystal display, an organic EL (Electro-Luminescence) display, and a CRT (Cathode Ray Tube) display.
  • a liquid crystal display an organic EL (Electro-Luminescence) display
  • a CRT Cathode Ray Tube
  • the display device 300 is not limited to the example described above.
  • the display device 300 may be any wearable device worn on the body, such as a head mounted display or an eyewear type device.
  • a head mounted display or an eyewear type device such as a head mounted display or an eyewear type device.
  • other application examples of the display device 300 will be described later.
  • the display device 300 is driven by, for example, power supplied from an internal power supply such as a battery included in the display device 300, or power supplied from a connected external power supply.
  • the storage device 400 is a storage unit in the information processing system 1000, and corresponds to an external storage device as viewed from the information processing apparatus 100.
  • the storage device 400 stores various data, such as a captured image captured by the information processing apparatus 100, for example.
  • the storage device 400 may be, for example, a magnetic recording medium such as a hard disk or a non-volatile memory such as a flash memory. Further, other application examples of the storage device 400 will be described later.
  • Information processing apparatus 100 performs the process related to the information processing method according to the present embodiment.
  • a plurality of people are associated with the scoring event (an example of the event) of scoring.
  • the scoring event an example of the event
  • a plurality of people may be associated with an event (an example of the event) such as an accident or a crime.
  • an event an example of the event
  • Examples of a plurality of persons related to an event such as an accident or a crime include a perpetrator and a victim of the accident, and a person who has been in contact with a perpetrator or a perpetrator in the crime.
  • a score event (an example of an event) is detected from a captured image captured by a camera (an example of an imaging device) disposed in a soccer field
  • the existing technology such as the technology described in Patent Document 1.
  • the existing technology when each player holds the ball all the time and scores, it is possible to grasp the whole image of the scoring event by using the existing technology such as the technology described in Patent Document 1.
  • the existing technology when each player is involved in the ball, the situation of the players involved in the ball may be grasped .
  • a crime event an example of an event
  • a security camera an example of an imaging device
  • existing technology such as the technology described in Patent Document 1
  • the existing technology is used, for example, it is not possible to track the behavior of a person who has come into contact with the perpetrator, that is, a person who may have indirectly been involved in a crime event.
  • the information processing apparatus 100 processes a captured image captured in time series by the imaging device 200, and for an object related to a predetermined event detected from the captured image among objects included in the captured image, Set metadata.
  • Setting process the process of setting metadata based on a captured image may be referred to as “setting process”.
  • the captured image captured in time series by the imaging device 200 is, for example, “image captured as a result of the imaging device 200 continuously capturing a temporal change in the imaging range An image, or “a captured image obtained as a result of the imaging device 200 discontinuously capturing a temporal change in an imaging range at predetermined intervals”.
  • the predetermined interval may be a fixed time interval or an indefinite time interval.
  • the “captured image obtained as a result of the imaging device 200 continuously capturing a temporal change in the imaging range” corresponds to a moving image.
  • a captured image obtained as a result of the imaging device 200 discontinuously capturing a temporal change in the imaging range at predetermined intervals corresponds to a plurality of still images captured at different times. .
  • the direction of time opposite to the “direction of time corresponding to the captured image captured in time series” is referred to as “reverse time series”.
  • the “direction of time corresponding to the captured image captured in time series” corresponds to the direction from the past to the present or the future, and the reverse time series corresponds to the direction from the certain time point to the past.
  • Examples of the object included in the captured image include one or both of an organism such as a person or an animal other than a person and an inanimate object such as a ball or a bag.
  • the object which concerns on this embodiment is not restricted to the example shown above.
  • Examples of the object according to the present embodiment include an arbitrary object that can be detected using an arbitrary object detection process of detecting an object from an image.
  • the object detection processing for detecting an object from a captured image may be performed by the information processing apparatus 100, or may be performed by an external apparatus of the information processing apparatus 100 such as a server outside the information processing apparatus 100.
  • the information processing apparatus 100 performs the process according to the information processing method according to the present embodiment using the result of the object detection process in the external device.
  • the predetermined event detected from the captured image is, for example, any event that can be detected from the captured image by any event detection processing, such as a score event, an accident event, a crime event, etc. as described above. It can be mentioned.
  • the event detection process when an event detection process in a case of detecting a score event in soccer from a captured image is mentioned, for example, after setting the position of the goal in the captured image in advance, the position of the ball in the game from the captured image The point event is detected by searching for a scene in which the ball enters the goal by tracking
  • an event detection process when an event detection process in the case of detecting a score event in rugby from a captured image is mentioned, for example, after setting the position of the goal in the captured image in advance, a player with a ball from the captured image A point event is detected by searching for a scene that the preset goal line has been exceeded.
  • the event detection process may be a process of detecting an arbitrary event such as a score event based on a user
  • the event detection processing for detecting a predetermined event from a captured image may be performed by the information processing apparatus 100, or may be performed by an external apparatus of the information processing apparatus 100 such as a server outside the information processing apparatus 100.
  • the information processing apparatus 100 performs the process according to the information processing method according to the present embodiment by using the result of the event detection process in the external device.
  • objects associated with a predetermined event As objects associated with a predetermined event according to the present embodiment, “object directly related to a predetermined event” or “object directly related to a predetermined event” and “indirectly to a predetermined event” Related objects are listed. That is, objects associated with a predetermined event may include not only objects directly associated with the predetermined event but also objects indirectly associated with the predetermined event.
  • an object directly related to a predetermined event for example, “player who scored” (an example of an object directly related to a predetermined event when the predetermined event is a score event), “ A criminal perpetrator "(an example of an object directly related to a predetermined event when the predetermined event is a crime event) is applicable.
  • an object directly related to a predetermined event may be referred to as a "first object”.
  • an object indirectly related to a predetermined event for example, “a player who has given a pass to a player who scored a point” (An example of an object indirectly associated with a predetermined event when the predetermined event is a scoring event) or “a person who has contacted a criminal who has committed a crime” (when the predetermined event is a crime event)
  • An example of an object indirectly related to a predetermined event etc. corresponds.
  • an object indirectly related to a predetermined event may be referred to as a "second object”.
  • Metadata according to the present embodiment is data on an object related to a predetermined event. Indicates that an object for which metadata is set is an object associated with a predetermined event. That is, in the information processing system 1000, metadata is set for an object included in a captured image, whereby an object related to a predetermined event among objects included in the captured image is identified.
  • the metadata according to the present embodiment includes, for example, identification information identifying an object related to a predetermined event, and the position of the object in the captured image.
  • the identification information according to the present embodiment includes an ID unique to each object.
  • the unique ID may be a random number or may be a value including a value unique to the imaging device 200 that has captured the captured image.
  • the position of the object in the captured image is represented by, for example, a coordinate value of a set coordinate system, such as two-dimensional coordinates having an arbitrary position in the captured image as an origin.
  • the position of the object in the captured image may be simply referred to as “the position of the object”.
  • the metadata according to the present embodiment may include any data related to an object associated with a predetermined event.
  • the metadata according to the present embodiment may be indicated as a “tag”.
  • a hierarchy may be provided in metadata set for an object related to a predetermined event.
  • the hierarchy of metadata includes, for example, “metadata set for an object directly related to a predetermined event, and metadata set for an object indirectly “Separating the
  • metadata set for an object indirectly related to a predetermined event may be further divided into a plurality of layers.
  • the information processing apparatus 100 sets metadata for an object included in a captured image by an arbitrary process that can associate an object associated with a predetermined event with metadata, as described below, for example. . It is needless to say that the process of setting metadata for an object included in a captured image is not limited to the example described below. Processing for embedding metadata in a captured image including an object related to a predetermined event Recording medium in which metadata different from the captured image including an object related to a predetermined event is associated with the captured image Process to record in
  • the information processing apparatus 100 processes the captured image in reverse time series from a predetermined event detected from the captured image.
  • Processing a captured image in reverse time series from a predetermined event means processing a captured image corresponding to each time point of reverse time series in the order of reverse time series.
  • the information processing apparatus 100 sets metadata for an object related to a predetermined event included in a captured image corresponding to each time point of reverse time series.
  • the information processing apparatus 100 sets metadata not only for an object directly related to a predetermined event but also for an object indirectly related to the predetermined event. Also, as described above, it indicates that an object for which metadata is set is an object associated with a predetermined event.
  • the information processing apparatus 100 sets metadata for an object related to a predetermined event, not only an object directly related to the predetermined event but also an object indirectly related to the predetermined event , Can be identified. In addition, not only objects directly related to a predetermined event but also objects indirectly related to the predetermined event are identified, thereby the entire image of the event such as how the event occurred. It becomes easy to grasp.
  • the information processing apparatus 100 performs the setting process as the process related to the information processing method according to the present embodiment, it is possible to assist the grasp of the predetermined event detected based on the captured image.
  • the information processing apparatus 100 can further perform “processing of editing a captured image based on a setting result of metadata for an object related to a predetermined event in setting processing”.
  • processing of editing a captured image based on a setting result of metadata for an object related to a predetermined event in setting processing may be shown as an "editing process.”
  • the information processing apparatus 100 displays an image in which an object related to a predetermined event for which metadata is set is displayed based on a setting result of metadata for an object related to the predetermined event in the setting process, It is possible to further perform the process "displayed on the display screen".
  • an image showing an object related to a predetermined event for which metadata is set may be an image edited by the editing process or an image not edited by the editing process. May be As a display screen on which "an image showing an object related to a predetermined event for which metadata is set” is displayed, for example, a display screen of the display device 300 can be mentioned.
  • the process of displaying “an image showing an object related to a predetermined event for which metadata is set” is displayed on the display screen may be referred to as “display process”.
  • the information processing apparatus 100 generates a meta data for an object included in a captured image based on the captured image. Set the data.
  • the information processing apparatus 100 processes the captured image in reverse time series, and sets metadata for an object related to a predetermined event among objects included in the captured image.
  • a captured image processed by the information processing apparatus 100 in reverse time series for example, “corresponds to each time point in reverse time series in a period from when a predetermined event is detected to time when a predetermined condition in reverse time series is satisfied. Taken images are cited.
  • the predetermined condition relating to the captured image processed in reverse time series includes, for example, one or both of a temporal condition and a condition regarding an object detected from the captured image.
  • a temporal condition for example, "the captured image has been processed from the time when a predetermined event is detected to the time set in advance.”
  • the information processing apparatus 100 determines whether the above temporal condition is satisfied by referring to, for example, a time stamp of a captured image. Further, as the condition relating to the object, for example, “the object is detected to be present at a preset position or area”, or “the first object (which is directly related to a predetermined event) Object is not included in the captured image.
  • the information processing apparatus 100 determines, for example, whether or not the condition regarding the object is satisfied by performing an arbitrary object detection process on the captured image. It is needless to say that the predetermined condition concerning the captured image processed in reverse time series is not limited to the example shown above.
  • the captured image processed by the information processing apparatus 100 in the reverse time series is not limited to the example described above.
  • the captured image processed by the information processing apparatus 100 in reverse time series is “a captured image corresponding to all time points in the reverse time series that can be processed in reverse time series from the time when the predetermined event is detected. "May be.
  • the time point corresponding to the captured image processed at the end corresponds to the start time point of the predetermined event. Also, for example, the time when a predetermined event is detected corresponds to the end time of the predetermined event.
  • the information processing apparatus 100 causes each of the first object (the object directly related to the predetermined event) and the second object (the object indirectly related to the predetermined event) to Set metadata.
  • the information processing apparatus 100 performs the “first process” by performing “the process shown in the following (A)” or “the process shown in the following (A) and the process shown in the following (B)”. Set metadata for each of the second objects.
  • the information processing apparatus 100 specifies a first object (an object directly related to the predetermined event) from the captured image in which the predetermined event is detected.
  • a first object an object directly related to the predetermined event
  • Examples of the first object include, for example, the "ball” in the case where the predetermined event is a soccer scoring event, and the "person of the perpetrator” in the case where the predetermined event is a crime event.
  • the first object to be identified may be set for each event or may be estimated using detection results of a predetermined event.
  • the information processing apparatus 100 sets metadata for the identified first object.
  • the information processing apparatus 100 processes the captured image in reverse time series to specify a second object (an object indirectly related to a predetermined event).
  • a second object an object indirectly related to a predetermined event.
  • the information processing apparatus 100 sets metadata for the identified second object.
  • the information processing apparatus 100 identifies the second object, for example, by processing the captured image in reverse chronological order and determining an object directly related to the identified first object.
  • the information processing apparatus 100 determines, for example, an object directly related to the first object with respect to the captured image in which the first object of the captured images at each time point in the reverse time series is detected. Do.
  • the information processing apparatus 100 detects a first object from the captured image at each time point in the reverse time series, for example, by performing arbitrary object detection processing on the captured image at each time point in the reverse time series.
  • the information processing apparatus 100 directly relates to the object directly related to the first object. It is not necessary to perform the determination process. The processing load on the information processing apparatus 100 is reduced by the information processing apparatus 100 not performing the process of determining an object directly related to the first object on the captured image in which the first object is not detected. Be done.
  • the information processing apparatus 100 directly relates, to the first object, an object whose distance to the first object is less than or equal to a predetermined threshold or an object whose distance to the first object is smaller than the predetermined threshold. It is determined that the object is
  • the distance between objects is represented, for example, by the Euclidean distance between the position of one object in the captured image and the position of the other object in the captured image. Note that the distance between objects is not limited to the Euclidean distance described above, and may be a distance calculated by an arbitrary distance calculation method.
  • the predetermined threshold value relating to the process of determining an object directly related to the first object may be a preset fixed value, or a variable value that can be changed based on the user's operation or the like. It is also good.
  • the process of determining an object directly related to the first object is not limited to the example described above.
  • the information processing apparatus 100 may determine an object directly related to the first object by any process capable of determining to be related to the first object.
  • a specific example of the process of determining an object directly related to the first object will be described later.
  • an object directly related to a first object an object directly related to a predetermined event
  • the information processing apparatus 100 sets the determined third object as a second object (an object indirectly associated with a predetermined event).
  • FIG. 2 is a flowchart for explaining a first example of setting processing according to the information processing method according to the present embodiment.
  • FIG. 2 illustrates an example in which the information processing apparatus 100 sets a tag (an example of metadata) to an object related to a predetermined event. Further, FIG. 2 shows an example in which the captured image processed by the information processing apparatus 100 is a moving image composed of a plurality of frame images (still images).
  • the information processing apparatus 100 detects an event, and sets a tag on the tracking target object (S100).
  • the process of step S100 corresponds to the process of setting a tag for the first object.
  • the tag set for the first object such as the tag set in step S100, will be referred to as "tag 1 of first layer” or simply "tag 1".
  • the event detection process may be performed by the information processing apparatus 100 or may be performed by an external apparatus of the information processing apparatus 100.
  • the information processing apparatus 100 performs an event detection process
  • the information processing apparatus 100 performs the process of step S100 using the result of the performed event detection process.
  • the event detection process is performed by the external device
  • the information processing apparatus 100 performs the process of step S100 using the result of the event detection process in the external device.
  • a tracking target object to which a tag is set in step S100 for example, a “ball” in the case where the predetermined event is a soccer score event, and “a person in charge of execution criminal in the case where the predetermined event is a crime event” And so on.
  • the information processing apparatus 100 sets a captured image to be processed as a previous frame image (S102).
  • the information processing apparatus 100 tracks the object for which the tag is set in step S100 (S104).
  • tracking of an object means, for example, specifying an object to be tracked from a captured image.
  • the information processing apparatus 100 may, for example, “detect an object to which a tag is set in step S100 from a captured image by arbitrary object detection processing”, “using the method described in Patent Document 1”, “patent By performing an arbitrary process capable of tracking the object, such as using the method described in the document 2, the object with the tag set in step S100 is tracked. Further, the information processing apparatus 100 may track an object specified by a user's operation of specifying an object to be tracked (an example of manual tracking).
  • the information processing apparatus 100 determines whether there is another object near the tracking target object (S106). Another object determined in step S106 corresponds to an object directly related to the object to which the tag is set in step S100, that is, a third object (object directly related to the first object). . Also, the process of step S106 corresponds to the process of detecting the occurrence of a sub-event.
  • the information processing apparatus 100 Determine if there is another object near.
  • step S106 If it is not determined in step S106 that another object is present near the tracking target object, the information processing apparatus 100 performs the process of step S110 described later.
  • the information processing apparatus 100 sets a tag for the other object (S108).
  • the information processing apparatus 100 sets a tag 1-m (m is an integer of 1 or more) of the second hierarchy for each of the objects determined as being close to the object to be tracked in step S106.
  • the information processing apparatus 100 is different in the second hierarchy, such as the tag 1-1 in the second hierarchy, the tag 1-2 in the second hierarchy, and so on each time an object located near the object to be tracked is determined. Set the tag.
  • step S106 determines whether or not to end tracking of the tracking target object. It determines (S110).
  • the information processing apparatus 100 determines to end the tracking of the tracking target object when, for example, a predetermined condition including one or both of the temporal condition and the condition regarding the object detected from the captured image is satisfied.
  • step S110 When it is not determined in step S110 that the tracking of the object to be tracked is not ended, the information processing apparatus 100 repeats the processing from step S102. Further, when it is determined in step S110 that the tracking of the tracking target object is ended, the information processing apparatus 100 ends the process illustrated in FIG.
  • the information processing apparatus 100 performs, for example, the process illustrated in FIG. 2 as the setting process according to the first example.
  • a tag is set for each of the first object and the third object (an example of the second object) directly related to the first object.
  • the information processing apparatus 100 may set a tag on an object associated with a predetermined event, and record the movement trajectory of the object to which the tag is set.
  • the locus of movement of the object to which the tag is set is, for example, "the imaging state of the imaging device 200 represented by the angle of view, azimuth, elevation angle, depression angle, zoom magnification etc.” It is estimated from "the position of the object”. Needless to say, the method of estimating the trajectory of the movement of the object to which the tag is set is not limited to the example described above.
  • the recording of the locus of movement of the object to which the tag is set corresponds to the tracking result of the object.
  • the information processing apparatus 100 identifies the second object by processing the captured image in reverse time series and determining an object directly related to the identified third object. Then, the information processing apparatus 100 sets metadata for the identified second object.
  • the information processing apparatus 100 determines, for example, an object directly related to the third object in the captured image in which the third object is detected among the captured images at each time point in the reverse time series. Do.
  • the information processing apparatus 100 detects a third object from the captured image at each time point of reverse time series by performing arbitrary object detection processing on the captured image at each time point of reverse time series, for example.
  • the information processing apparatus 100 for example, with respect to a captured image in which the third object is not detected among the captured images at each time point in the reverse time series, an object directly related to the third object. It is not necessary to perform the determination process.
  • the processing load on the information processing apparatus 100 is reduced by the fact that the information processing apparatus 100 does not perform processing to determine an object directly related to the third object on the captured image in which the third object has not been detected. Be done.
  • the information processing apparatus 100 determines an object directly related to the third object, for example, similarly to the process of determining an object directly related to the first object.
  • an object directly related to the third object an object directly related to the first object
  • the information processing apparatus 100 sets the determined fourth object as a second object (an object indirectly related to a predetermined event).
  • the information processing apparatus 100 performs the second processing by processing the captured image in reverse time series, such as “specify an object directly related to the specified fourth object as the second object”. It is also possible to identify as a second object an object that is directly associated with the object identified as an object. Then, the information processing apparatus 100 sets metadata for the identified second object.
  • FIG. 3 is a flowchart for explaining a first example of setting processing according to the information processing method according to the present embodiment.
  • the processing illustrated in FIG. 3 is an example of processing on an object identified as a second object by processing a captured image in reverse time series, such as an object to which a tag is set in the processing illustrated in FIG. 2, for example. is there.
  • the information processing apparatus 100 takes the process shown in FIG. 3 as an example for each of the objects for which the tag 1-m of the second hierarchy is set in step S108 in FIG.
  • FIG. 3 illustrates an example in which the information processing apparatus 100 sets a tag (an example of metadata) to an object related to a predetermined event, as in FIG. 2. Also, in FIG. 3, as in FIG. 2, an example in which the captured image processed by the information processing apparatus 100 is a moving image composed of a plurality of frame images is shown.
  • a tag an example of metadata
  • the information processing apparatus 100 selects an object to be tracked (S200).
  • the process of step S200 corresponds to the process of selecting a sub event.
  • the information processing apparatus 100 selects an object to be tracked from, for example, an object for which the tag 1-m of the second layer is set in step S108 in FIG. Note that the information processing apparatus 100 can also select an arbitrary object specified as a second object, such as a fourth object, as an object to be tracked.
  • the information processing apparatus 100 sets a captured image to be processed as an immediately preceding frame image (S202). For example, when the process of step S202 is performed after the process of step S200 is performed, the information processing apparatus 100 determines a frame corresponding to the time point based on, for example, a time point when the tag is set for the tracking target object. The frame image immediately before the image is taken as a captured image to be processed. Further, for example, when the process of step S202 is performed after the process of step S210 described later, the information processing apparatus 100 may, for example, perform a frame image one frame before the frame image that is the captured image to be processed. As a captured image of the processing target.
  • the information processing apparatus 100 tracks the object selected in step S200, for example, as in step S104 of FIG. 2 (S204).
  • the information processing apparatus 100 determines whether there is another object near the object to be tracked, as in, for example, step S106 in FIG. 2 (S206). Another object determined in step S206 corresponds to an object directly related to the object selected in step S200.
  • step S206 If it is not determined in step S206 that another object is present near the tracking target object, the information processing apparatus 100 performs the process of step S210 described later.
  • the information processing apparatus 100 sets a tag for the other object (S208).
  • the information processing apparatus 100 determines that the object to be tracked is close in step S206.
  • the tag 1-m-n (n is an integer of 1 or more) of the third hierarchy is set for each of the objects.
  • the tag 1-m-1 in the third layer, the tag 1-m-2 in the third layer, and so on each time an object located near the object to be tracked is determined. Set different tags in 3 levels.
  • step S210 If it is not determined in step S206 that another object is present near the object to be tracked, or if the process of step S208 is performed, the information processing apparatus 100, for example, as in step S110 of FIG. It is determined whether the tracking of the object is ended (S210).
  • step S210 If it is not determined in step S210 that the tracking of the tracking target object is ended, the information processing apparatus 100 repeats the processing from step S202.
  • step S210 If it is determined in step S210 that the tracking of the tracking target object is ended, the information processing apparatus 100 returns the processing target image to the frame image corresponding to the tracking start time (S212).
  • a frame image used as a processing target image at step S212 for example, a frame image corresponding to a point in time when a tag is set for a tracking target object can be mentioned.
  • the information processing apparatus 100 sets the captured image to be processed as the next frame image (that is, the next frame image) (S214). For example, when the process of step S214 is performed after it is determined that the tracking of the object to be tracked is ended in the process of step S210, the information processing apparatus 100 determines, for example, the time when the tag is set for the object to be tracked. As a reference, a frame image one frame after the frame image corresponding to the point in time is taken as a captured image to be processed. Further, for example, when the process of step S214 is performed after the process of step S222 described later, the information processing apparatus 100 may, for example, perform a frame image after one frame image that is a captured image to be processed. As a captured image of the processing target. That is, the information processing apparatus 100 processes the captured images in time series after step S214.
  • the information processing apparatus 100 tracks the object selected in step S200, for example, as in step S104 of FIG. 2 (S216).
  • the information processing apparatus 100 determines whether there is another object near the tracking target object, as in, for example, step S106 in FIG. 2 (S218). Another object determined in step S218 corresponds to an object directly related to the object selected in step S200.
  • step S218 If it is not determined in step S218 that another object is present near the tracking target object, the information processing apparatus 100 performs the process of step S222 described later.
  • step S218 If it is determined in step S218 that another object is present near the tracking target object, the information processing apparatus 100 sets a tag for the other object, as in step S208 (S220).
  • the information processing apparatus 100 determines whether or not to end tracking of the tracking target object. It determines (S222). The information processing apparatus 100 determines to end the tracking of the tracking target object when, for example, a predetermined condition including one or both of the temporal condition and the condition regarding the object detected from the captured image is satisfied. That is, the information processing apparatus 100 determines whether or not the tracking of the object to be tracked ends, as in step S110 of FIG. 2 except that the captured images are processed in time series.
  • step S222 When it is not determined in step S222 that the tracking of the tracking target object is ended, the information processing apparatus 100 repeats the processing from step S214. Further, when it is determined in step S222 that the tracking of the tracking target object is ended, the information processing apparatus 100 ends the process illustrated in FIG.
  • the information processing apparatus 100 can perform the process shown in FIG. 3 in addition to the process shown in FIG. 2 as the setting process according to the first example.
  • a tag is set for an object identified as the second object, such as a fourth object directly related to the third object.
  • the information processing apparatus 100 may set a tag to an object associated with a predetermined event, and record the movement trajectory of the object to which the tag is set.
  • the information processing apparatus 100 performs processing on an object related to a predetermined event, for example, by performing “processing shown in (A)” or “processing shown in (A) and processing shown in (B)”.
  • Set metadata for an object related to a predetermined event for example, by performing “processing shown in (A)” or “processing shown in (A) and processing shown in (B)”.
  • FIG. 4 is an explanatory view showing an example of a result of a first example of setting processing according to the information processing method according to the present embodiment.
  • FIG. 4 shows an example of the result of performing the “process shown in (A) above and the process shown in (B) above” in a tree structure.
  • the result of the setting process is a tree structure indicating the relevance of the object for which metadata is set as shown in FIG. Can be represented.
  • the setting process according to the first example is not limited to "the process shown in the above (A)” or “the process shown in the above (A) and the process shown in the above (B)".
  • the information processing apparatus 100 can also obtain the consistency of the object for which the metadata is set, by performing the process shown in the following (C).
  • the information processing apparatus 100 determines the same object in which different metadata is set, from among objects related to a predetermined event in which the metadata is set. Then, the information processing apparatus 100 integrates different metadata set for the same object.
  • the integration of metadata refers to “resetting metadata so that the same metadata is set for an object for which different metadata determined to be the same object is set”.
  • the information processing apparatus 100 integrates metadata by replacing a deep tag in the hierarchy with a shallow tag in the hierarchy.
  • Tag 1-1-1 of the third hierarchy is replaced with tag 1 of the first hierarchy.
  • a method of determining the same object there is, for example, a method of determining an object having the same trajectory as described below.
  • each object for which metadata is set is the position of the object in the captured image , Up to t.
  • the reason shown as the maximum of t is that not all of the frame images of t frames include all of the objects for which the metadata is set.
  • an object in which the tag 1 of the first hierarchy is set and an object in which the tag 1-1-1 of the third hierarchy is set are the same object as an example, and the same object is determined An example will be described.
  • (x 1 (k), y 1 (k)) be the coordinate value of the object for which the tag 1 of the first hierarchy is set, and let the coordinate value of the object for which the tag 1-1-1 of the third hierarchy is set It is assumed that x 1-1-1 (k), y 1-1-1 (k). Here, k indicates a frame number. Moreover, x shows x coordinate and y shows y coordinate.
  • the information processing apparatus 100 performs, for example, the operation shown in the following Equation 1 to obtain an error err of the position between the two objects.
  • the error err obtained by the above equation 1 is "the sum of absolute values of differences between coordinates when the positions of two objects to be compared are both in the frame image" and "the positions of the two objects to be compared are both Divided by the total number of frame images in the frame image.
  • the error err is calculated by the sum of absolute values of the difference in the equation 1, the method of calculating the error err is not limited to the equation 1.
  • the information processing apparatus 100 may calculate the error err based on a sum of squares of differences, normalized cross correlation, or the like.
  • the information processing apparatus 100 determines the same object in which different metadata is set by comparing the error err with the set threshold. For example, when the error err is equal to or less than the set threshold, or when the error err is smaller than the set threshold, the information processing apparatus 100 determines that different metadata are the same set object. Do.
  • the threshold related to the determination of the same object for which different metadata is set may be a preset fixed value, or a variable value changeable by the operation of the user of the information processing apparatus according to the present embodiment, etc. It may be
  • FIG. 5 is an explanatory view showing another example of the result of the first example of the setting process related to the information processing method according to the present embodiment.
  • the process shown in the above (C) is further performed on the result of the “process shown in the above (A) and the process shown in the above (B)” shown in the tree structure of FIG.
  • An example of the result is shown in a tree structure.
  • Second Example of Process Related to Information Processing Method Second Example of Setting Process
  • the end time of a predetermined event is a predetermined event. Metadata was set for the object associated with the given event as when was detected.
  • the end time of the predetermined event is not limited to the time when the predetermined event is detected.
  • the information processing apparatus 100 may set metadata for an object included in a captured image corresponding to a time point after a predetermined event is detected.
  • a person related to a predetermined event such as a player after scoring in a sport such as soccer or a person who has caused an accident or a crime, is detected. It becomes possible to make it easier to grasp what action was taken.
  • the information processing apparatus 100 further processes the captured image in time series from a predetermined event to obtain metadata for an object related to the predetermined event.
  • the information processing apparatus 100 processes the captured image in reverse time series from the predetermined event, processes the captured image in time series from the predetermined event, and generates metadata for the object related to the predetermined event.
  • a captured image processed by the information processing apparatus 100 in time series for example, “a captured image corresponding to each time point in time series in a period from the time when a predetermined event is detected to the time when "Is mentioned.
  • the predetermined condition related to the captured image processed in time series includes, for example, one or both of a temporal condition and a condition regarding an object detected from the captured image.
  • a temporal condition for example, "the captured image has been processed from the time when a predetermined event is detected to the time after a preset time period" may be mentioned.
  • the information processing apparatus 100 determines whether the above temporal condition is satisfied, for example, by referring to the time stamp of the captured image or the like, similarly to the determination of the temporal condition related to the captured image processed in reverse time series.
  • the conditions relating to the object are the same as the conditions relating to the object related to the captured image processed in reverse time series, for example.
  • the information processing apparatus 100 determines, for example, whether or not the condition relating to the object is satisfied, as in the case of determining the condition relating to the object relating to the captured image processed in reverse time series. It is needless to say that the predetermined condition relating to the captured image processed in time series is not limited to the example shown above.
  • the captured image processed in time series is not limited to the example shown above.
  • the captured images processed by the information processing apparatus 100 in time series are “captured images corresponding to all points in time series that can be processed in time series from the time when a predetermined event is detected”. May be
  • the time point corresponding to the captured image processed at the end corresponds to the start time point of the predetermined event. Further, for example, of the captured images processed in time series by the information processing apparatus 100, the time point corresponding to the captured image processed at the end corresponds to the end time point of the predetermined event.
  • the process related to setting of metadata in the setting process according to the second example is the same as the setting process according to the first example except that the range of the captured image to be processed is different.
  • FIG. 6 is a flowchart for explaining a second example of setting processing according to the information processing method according to the present embodiment.
  • FIG. 6 shows an example in which the information processing apparatus 100 sets a tag (an example of metadata) to an object related to a predetermined event. Further, FIG. 6 shows an example in which the captured image processed by the information processing apparatus 100 is a moving image composed of a plurality of frame images.
  • the information processing apparatus 100 detects an event and sets a tag on an object to be tracked, as in step S100 shown in FIG. 2 (S300).
  • the process of step S300 corresponds to the process of setting a tag for the first object.
  • the information processing apparatus 100 sets a captured image to be processed as a previous frame image (S302).
  • the information processing apparatus 100 tracks the object for which the tag is set in step S300 as in step S104 illustrated in FIG. 2 (S304).
  • the information processing apparatus 100 determines whether there is another object near the object to be tracked (S306). Another object determined in step S306 corresponds to a third object (an object directly related to the first object).
  • step S306 If it is not determined in step S306 that another object is present near the tracking target object, the information processing apparatus 100 performs the process of step S310 described later.
  • step S306 If it is determined in step S306 that another object is present near the object to be tracked, the information processing apparatus 100 sets a tag for the other object, as in step S108 illustrated in FIG. 2. (S308).
  • step S306 If it is not determined in step S306 that another object is present near the tracking target object, or if the process of step S308 is performed, the information processing apparatus 100 performs tracking in the same manner as step S110 illustrated in FIG. It is determined whether the tracking of the object is ended (S310).
  • step S310 When it is not determined in step S310 that the tracking of the tracking target object is ended, the information processing apparatus 100 repeats the processing from step S302.
  • the information processing apparatus 100 When it is determined in step S310 that the tracking of the tracking target object is ended, the information processing apparatus 100 returns the processing target image to the frame image corresponding to the tracking start time (S312).
  • a frame image to be an image to be processed in step S312 for example, a frame image corresponding to the time when an event is detected can be mentioned.
  • the information processing apparatus 100 sets the captured image to be processed as the next frame image (that is, the next frame image) (S314). For example, when the process of step S314 is performed after it is determined that the tracking of the object to be tracked is ended in the process of step S310, the information processing apparatus 100 detects, for example, one of the frame images corresponding to the time when the event is detected. The subsequent frame image is taken as a captured image to be processed. Further, for example, when the process of step S314 is performed after the process of step S322 described later, the information processing apparatus 100 may, for example, perform a frame image after one frame image that is a captured image to be processed. As a captured image of the processing target. That is, the information processing apparatus 100 processes the captured images in time series from step S314.
  • the information processing apparatus 100 tracks the object selected in step S300, for example, as in step S104 of FIG. 2 (S316).
  • the information processing apparatus 100 determines whether there is another object near the object to be tracked, as in, for example, step S106 in FIG. 2 (S318). Another object determined in step S318 corresponds to a third object (an object directly related to the first object).
  • step S318 If it is not determined in step S318 that another object is present near the tracking target object, the information processing apparatus 100 performs the process of step S322 described later.
  • step S318 If it is determined in step S318 that there is another object near the object to be tracked, the information processing apparatus 100 sets a tag for the other object, as in step S308 (S320).
  • step S318 If it is not determined in step S318 that there is another object near the object to be tracked, or if the process of step S320 is performed, the information processing apparatus 100, for example, is similar to step S222 in FIG. It is determined whether the tracking of the object is ended (S322).
  • step S322 If it is not determined in step S322 that the tracking of the object to be tracked is not ended, the information processing apparatus 100 repeats the processing from step S314. If it is determined in step S322 that the tracking of the tracking target object is ended, the information processing apparatus 100 ends the process illustrated in FIG.
  • the information processing apparatus 100 performs, for example, the process illustrated in FIG. 6 as the setting process according to the second example.
  • the tag is set for each of the first object and the third object (an example of the second object) directly related to the first object.
  • the information processing apparatus 100 may further perform the process shown in FIG.
  • the information processing apparatus 100 may set, for example, a tag to an object associated with a predetermined event, and may record a trajectory of movement of the object to which the tag is set.
  • FIG. 7 is an explanatory diagram for describing a third example of setting processing according to the information processing method according to the present embodiment.
  • a of FIG. 7 shows an example in which each of the two imaging devices 200A and 200B images a soccer field.
  • B in FIG. 7 illustrates an example of a captured image in which the player O (an example of an object) is captured by the imaging device 200A.
  • C in FIG. 7 illustrates an example of a captured image in which the player O is captured by the imaging device 200B.
  • the information processing apparatus 100 processes a captured image of each imaging device 200, and sets metadata for an object related to a predetermined event for each imaging device 200.
  • the information processing apparatus 100 performs, for example, the setting process according to the first example or the setting process according to the second example on a captured image captured by each of the plurality of imaging devices 200. Set the data.
  • the information processing apparatus 100 may associate an object related to a predetermined event for which metadata is set for each imaging device 200.
  • the information processing apparatus 100 is, for example, the equation 1 in the setting process according to the first example.
  • the metadata is correlated using an evaluation function.
  • the association of metadata in the setting process according to the third example is set based on captured images captured by different imaging devices 200 It is the correspondence of the metadata which is done.
  • the information processing apparatus 100 performs coordinate conversion of the position of the object in the captured image captured by each of the plurality of imaging devices 200 into coordinates of a common coordinate system. Then, using the position of the object after coordinate conversion, the information processing apparatus 100 associates metadata with the evaluation function such as Equation 1 above.
  • Coordinate conversion of the position of the object in the captured image captured by each of the plurality of imaging devices 200 can be performed based on the imaging state of the imaging device 200 at each time, for example.
  • the imaging state of the imaging device 200 at each time point is represented including, for example, an angle of view and an imaging angle (for example, an azimuth angle, an elevation angle, and a depression angle) with respect to an imaging target such as a field.
  • an imaging angle for example, an azimuth angle, an elevation angle, and a depression angle
  • the position of the object is displayed on the planar map as viewed from directly above or diagonally above the imaging target such as a field. It can be converted to coordinates.
  • the example of coordinate conversion of the position of the object in the captured image is not limited to the example described above, and the information processing apparatus 100 may perform imaging by arbitrary processing capable of coordinate conversion to coordinates of a common coordinate system.
  • the position of the object in the image may be transformed.
  • the information processing apparatus 100 may, for example, set metadata set for another object associated with each set metadata. Record the relevance of
  • the information processing apparatus 100 records, in the table (or database) for each set metadata, the relevancy with the other associated metadata.
  • an object in which the tag A-1 of the second hierarchy in the imaging device 200A is set and an object in which the tag B-1 of the second hierarchy in the imaging device 200B is set are determined as the same object.
  • the information processing apparatus 100 determines that the tag B-1 is recorded in the table corresponding to the tag A-1
  • the information processing apparatus 100 records the tag A-1 in the table corresponding to the tag B-1.
  • metadata of the plurality of imaging devices 200 can be obtained.
  • the correlation can be more easily extracted.
  • the information processing apparatus 100 may integrate metadata associated with each other, for example, by the process shown in the above (C) in the setting process according to the first example.
  • the position of the object in the captured image captured by each of the imaging devices 200 is coordinate-transformed into the coordinates of the common coordinate system.
  • the coordinates of the common coordinate system are changed to the coordinates of the coordinate system corresponding to the position of the object in the captured image captured by each of the imaging devices 200.
  • Coordinate transformation is possible.
  • the coordinate conversion “reverse coordinate conversion from“ coordinates of common coordinate system to coordinates of coordinate system corresponding to position of object in captured image captured by imaging device 200 ”” is performed. It may be shown as
  • the information processing apparatus 100 first sets metadata for an object related to a predetermined event based on a captured image captured by a part of the plurality of imaging devices 200.
  • Some imaging devices 200 may be one imaging device 200 or two or more imaging devices 200.
  • the information processing apparatus 100 sets metadata by performing the setting process according to the first example or the setting process according to the second example.
  • an object in which metadata is set based on a captured image captured by the part of the imaging device 200 is used. Coordinates the position to the coordinates of the common coordinate system.
  • the information processing apparatus 100 uses the remaining imaging device 200 to capture the position of the object whose coordinate has been converted to the coordinates of the common coordinate system using the conversion equation for coordinate conversion in the remaining imaging device 200. Inverse coordinate transformation is performed to the coordinates of the coordinate system corresponding to the position of the object in the captured image.
  • the part of the imaging devices 200 and the remaining imaging devices 200 are different imaging devices 200. That is, it is considered that the imaging state at each time point in the some imaging devices 200 and the remaining imaging devices 200 is often different. Therefore, the position of the object corresponding to the result of the inverse coordinate conversion is not always in the captured image captured by the remaining imaging device 200.
  • the information processing apparatus 100 performs the inverse coordinate conversion included in the captured image when the position of the object, which is the result of performing the inverse coordinate conversion, is in the captured image captured by the remaining imaging device 200.
  • the setting process according to the first example or the setting process according to the second example is performed only on captured images captured by the part of the imaging devices 200. Metadata is set. Further, the processing load related to the process related to inverse coordinate conversion is lower than the processing load of each of the setting process according to the first example and the setting process according to the second example.
  • the processing load related to the setting process can be reduced as compared with the case where the setting process according to the third example is performed.
  • the information processing apparatus 100 performs, for example, one of the setting processing according to the first example to the setting processing according to the fourth example to generate metadata for an object related to a predetermined event.
  • the relevance of the object for which the metadata is set that is, the relevance of the object related to the predetermined event can be obtained. Therefore, by editing the captured image based on the setting result of the metadata in the setting process, the captured image can be edited using the relevance of the object related to the predetermined event.
  • the information processing apparatus 100 may display the edited image on the display screen of the display device 300 or may record the edited image in the storage device 400.
  • the information processing apparatus 100 may transmit the edited image to an external apparatus such as a server.
  • the field of soccer is imaged by the imaging device 200 as an example, it is often imaged at an angle of view that can overlook the entire field. If the image is taken at an angle of view that overlooks the entire field, it has the advantage of being able to image the entire play including multiple players, but on the other hand the drawback is that the players involved in the ball and play become smaller There is.
  • the optical zoom is a zoom method in which the zoom magnification is changed by moving the zoom lens constituting the optical system to change the focal length of the zoom lens.
  • the information processing apparatus 100 edits the captured image by image processing including one or both of the electronic zoom on the captured image and the combination of the plurality of images based on the captured image.
  • the electronic zoom is a zoom method in which the zoom magnification is changed by performing image processing on an image without moving a lens constituting the optical system.
  • image processing on an image without moving a lens constituting the optical system.
  • a plurality of images based on a captured image for example, a plurality of images cut out from a captured image taken by one imaging device 200 (for example, a plurality of images cut out from the same frame image, or cut out from different frame images) Multiple images)).
  • the plurality of images based on the captured image may be a plurality of captured images (which may include images cut out from the captured image) captured by the plurality of imaging devices 200, respectively.
  • composition of a plurality of images any image processing capable of combining a plurality of images, such as alpha composition, superposition of a plurality of images, pasting of a plurality of images, clipping and pasting of images, etc. Can be mentioned.
  • image processing such as composition processing for realizing picture-in-picture in a format such that a plurality of images are simultaneously displayed when the images are displayed on the display screen May be included.
  • FIG. 8 is an explanatory diagram for describing an example of the editing process according to the information processing method according to the present embodiment.
  • Each of A to D in FIG. 8 corresponds to the result of the editing process when the field of soccer is imaged by the imaging device 200.
  • the information processing apparatus 100 enlarges the player by electronic zoom as shown in A of FIG.
  • the cutout range in the electronic zoom is expanded so that the player involved in the sub-event is included in the image after editing.
  • the information processing apparatus 100 extends the cutout range in the electronic zoom at a time before the occurrence time of the sub event by referring to the set metadata.
  • the information processing apparatus 100 may set the cutout range of the electronic zoom from the position of the player or the ball after the generation time of the sub event by referring to the set metadata.
  • the captured image is an image that includes not only players involved in the play but also players involved in the play in the near future. Can be edited to be
  • a fixed period set in advance is mentioned as a period going back to the occurrence time of the sub-event.
  • the above retroactive period may be a variable period, such as until the condition regarding the object related to the sub event is satisfied.
  • the conditions relating to the objects related to the sub-event include, for example, the conditions relating to the distance between the objects relating to the sub-event, such as a player involved in the event having a certain distance from the ball.
  • the condition regarding the object related to the sub event is a combination of a plurality of conditions such as “until the preset fixed period has elapsed or until the condition regarding the distance between the objects related to the sub event is satisfied” It may be a condition.
  • the position of the ball may suddenly change greatly due to a long pass or the like.
  • the cutout range of the electronic zoom may be increased, and the ball or the player may be reduced in size.
  • the information processing apparatus 100 edits the captured image by combining a plurality of images as illustrated in C of FIG. 8 and D of FIG. 8, for example.
  • the information processing apparatus 100 separately cuts out an image of a player currently involved in a play and an image of a player involved in a play in the near future, performs electronic zoom, and combines a plurality of images.
  • the information processing apparatus 100 can also combine an image in which the entire field is captured and an image cut out by the electronic zoom.
  • the images to be combined may be two images as shown in C of FIG. 8 or three or more images as shown in D of FIG.
  • the plurality of images based on the captured image may include the captured images captured by the plurality of imaging devices 200.
  • the plurality of imaging devices 200 For example, when sports are imaged by a plurality of imaging devices 200, there is an imaging device 200 which is imaging a player involved in a play by optical zoom in addition to the imaging device 200 which images the entire field. There is a case. Therefore, when combining an image based on the captured image imaged with the several imaging device 200, the captured image expanded by the optical zoom may be used depending on the condition of play.
  • Example of Display Processing The information processing apparatus 100 generates metadata based on the setting result of metadata for an object related to a predetermined event.
  • the image on which the object related to the predetermined event for which is set is displayed is displayed on the display screen.
  • the information processing apparatus 100 transmits, for example, a control signal including a display instruction and a signal indicating an image to be displayed to the display device 300, thereby displaying an image indicating an object related to a predetermined event for which metadata is set. Are displayed on the display screen of the display device 300.
  • an image in which an object related to a predetermined event in which metadata is set is indicated, for example, “a captured image in which an object in which metadata is set is indicated” and “an object in which metadata is set are indicated And “an image edited by the editing process”.
  • FIG. 9 is an explanatory diagram for describing an example of display processing according to the information processing method according to the present embodiment.
  • Each of A to D in FIG. 9 corresponds to an image displayed on the display screen by the display process when the soccer field is imaged by the imaging device 200.
  • Each of A to FIG. 9C in FIG. 9 shows an example of “a captured image showing an object for which metadata is set”, and D in FIG. 9 indicates “an object for which metadata is set. , An example of the image edited by the editing process.
  • An object for which metadata is set is specified as follows, for example. It goes without saying that the method of indicating the object for which the metadata is set is not limited to the example shown below. Display the display object of the line type corresponding to the metadata at the position corresponding to the object for which the metadata is set (A to D in FIG.
  • the information processing apparatus 100 always displays, for example, an image in which an object related to a predetermined event for which metadata is set as illustrated in FIG. 9 is indicated.
  • the information processing apparatus 100 can switch, for example, whether or not to display an image indicating an object related to a predetermined event for which metadata as shown in FIG. 9 is set, on the display screen. May be
  • the information processing apparatus 100 displays an image showing an object related to a predetermined event for which metadata has been set, based on display setting information stored in a recording medium such as a storage unit (described later). Switch whether to display on or off.
  • the display setting information for example, a flag indicating whether an image indicating an object related to a predetermined event for which metadata is set is displayed is displayed.
  • the display setting information defines whether or not to display on the display screen an image indicating an object related to a predetermined event for which metadata is set, and a method for indicating an object for which metadata is set. , May be any form of data.
  • the content indicated by the display setting information can be changed based on, for example, a user operation.
  • the information processing apparatus 100 displays an object related to a predetermined event for which metadata is set (including not indicating that metadata is set). Can be changed. Also, when the content indicated by the display setting information is changed based on the user operation, the user can select how to display an object related to a predetermined event for which metadata is set.
  • the image displayed on the display screen by the display process is not limited to the image based on the captured image in which the sport is captured, as in the example illustrated in FIG. 9.
  • FIG. 10 is an explanatory diagram for explaining another example of display processing according to the information processing method according to the present embodiment.
  • FIG. 10 illustrates an example in which an image based on a captured image captured by the imaging device 200 functioning as a security camera is displayed on the display screen by display processing.
  • an example of a predetermined event is an intrusion of a person into a no-entry area.
  • the information processing apparatus 100 sets metadata for an object related to the predetermined event by setting processing, with a point in time when a person enters a no-entry zone as a point in time when a predetermined event is detected.
  • the information processing apparatus 100 sets metadata for an object related to a predetermined event, for example, by the setting process according to the first example or the setting process according to the second example.
  • Setting a tag for a person who has entered a no-entry area an example of setting metadata for the first object
  • Setting a tag for another person who approaches the person who entered the restricted area (example of setting of metadata for the second object)
  • Setting a tag for a package left by a person who entered a no-entry area (example of setting of metadata for the second object)
  • Setting a tag for a package carried by a person who entered a no-entry area (example of setting of metadata for the second object)
  • the information processing apparatus 100 sets metadata for each captured image captured by each of the imaging devices 200. Further, the information processing apparatus 100 performs arbitrary object detection processing on each of the captured images captured by each of the imaging devices 200. Then, the information processing apparatus 100 integrates metadata so that the same metadata is set for the same object, using the result of the object detection process.
  • the information processing apparatus 100 causes the display screen to display an image in which an object for which metadata has been set is indicated, using the metadata set as described above.
  • the predetermined event is the intrusion of a person into the restricted area
  • the following example can be given as an example of the image displayed on the display screen by the information processing apparatus 100. It goes without saying that the example of the image displayed on the display screen when the predetermined event is the intrusion of a person into the restricted area is not limited to the example shown below.
  • An image in which an object for which metadata is set is displayed on a map (an example of a representation capable of overlooking the entire place where a predetermined event has occurred) indicating an area in which the imaging device 200 is arranged.
  • An image in which objects with metadata set are displayed in time series on the map ⁇ Image in which the direction of progress of the object with metadata set is displayed as an arrow ⁇ Time until an event or sub-event occurs The image that is displayed-A combination of two or more of the above images
  • FIG. 11 is a block diagram showing an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, a communication unit 102 and a control unit 104.
  • the information processing apparatus 100 for example, a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and an operation by a user of the information processing apparatus 100.
  • a possible operation unit (not shown), a display unit (not shown) that displays various screens on the display screen, and the like may be provided.
  • the information processing apparatus 100 for example, connects the above-described components by a bus as a data transmission path.
  • the ROM (not shown) stores programs used by the control unit 104 and control data such as operation parameters.
  • the RAM (not shown) temporarily stores programs and the like executed by the control unit 104.
  • the storage unit is a storage unit included in the information processing apparatus 100, and stores, for example, various data such as data related to the information processing method according to the present embodiment and various applications.
  • various data such as data related to the information processing method according to the present embodiment and various applications.
  • a memory storage part (not shown)
  • non-volatile memories such as magnetic recording media, such as a hard disk, flash memory, etc. are mentioned, for example.
  • the storage unit (not shown) may be removable from the information processing apparatus 100.
  • Examples of the operation unit include an operation input device described later. Moreover, as a display part (not shown), the display device mentioned later is mentioned.
  • FIG. 12 is an explanatory view showing an example of the hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, and a communication interface 164. Further, the information processing apparatus 100 connects the respective constituent elements by, for example, a bus 166 as a data transmission path.
  • the information processing apparatus 100 is driven by, for example, power supplied from an internal power supply such as a battery provided in the information processing apparatus 100 or power supplied from a connected external power supply.
  • the MPU 150 includes, for example, one or more processors configured by arithmetic circuits such as MPU (Micro Processing Unit), and various processing circuits, and functions as a control unit 104 that controls the entire information processing apparatus 100. . Further, in the information processing apparatus 100, the MPU 150 plays a role of, for example, a setting processing unit 110, an editing processing unit 112, and a display processing unit 114 which will be described later. Note that some or all of the setting processing unit 110, the editing processing unit 112, and the display processing unit 114 are configured by dedicated (or general-purpose) circuits (for example, a processor separate from the MPU 150). May be
  • the ROM 152 stores programs used by the MPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores, for example, a program or the like executed by the MPU 150.
  • the recording medium 156 functions as a storage unit (not shown), and stores, for example, various data such as data related to the information processing method according to the present embodiment and various applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Also, the recording medium 156 may be removable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • the input / output interface 158 for example, a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, various processing circuits, etc. may be mentioned. .
  • the operation input device 160 is provided, for example, on the information processing apparatus 100, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • the operation input device 160 may be, for example, a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided, for example, on the information processing apparatus 100, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display and an organic EL display.
  • the input / output interface 158 can also be connected to an external device such as an external operation input device (for example, a keyboard or a mouse) of the information processing apparatus 100 or an external display device.
  • an external operation input device for example, a keyboard or a mouse
  • the display device 162 may be a device such as a touch panel capable of display and user operation.
  • the communication interface 164 is communication means included in the information processing apparatus 100, and is externally provided via the network 500 (or directly), such as the imaging device 200, the display device 300, the storage device 400, and a server (not shown). It functions as a communication unit 102 for communicating wirelessly or by wire with a device or the like.
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmitting / receiving circuit (wireless communication), an IEEE 802.11 port and a transmitting / receiving circuit (wireless communication) Or a LAN terminal and a transmission / reception circuit (wired communication).
  • Communication interface 164 may have any configuration corresponding to network 500.
  • the information processing apparatus 100 performs the process according to the information processing method according to the present embodiment, for example, by the configuration shown in FIG.
  • the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration shown in FIG.
  • the information processing apparatus 100 may not include the communication interface 164.
  • the communication interface 164 may be configured to be able to communicate with one or more external devices by a plurality of communication methods.
  • the information processing apparatus 100 may further include, for example, an imaging device that functions as the imaging device 200 in the information processing system 1000.
  • an imaging device that functions as the imaging device 200 in the information processing system 1000.
  • the imaging device functions as an imaging unit (not shown) that generates a captured image (moving image or still image) by imaging.
  • the information processing apparatus 100 can have a configuration not including, for example, a part or all of the recording medium 156, the operation input device 160, and the display device 162.
  • the information processing apparatus 100 can have a configuration according to an application example of the information processing apparatus 100 described later, for example.
  • part or all of the configuration (or the configuration according to the modification) illustrated in FIG. 12 may be realized by one or two or more ICs (Integrated Circuits).
  • the communication unit 102 is a communication unit included in the information processing apparatus 100, and wirelessly or wiredly with an external device such as the imaging device 200, the display device 300, and the storage device 400 via the network 500 (or directly). Communicate. Further, in the communication unit 102, for example, communication is controlled by the control unit 104.
  • the communication unit 102 for example, a communication antenna and an RF circuit, a LAN terminal, a transmission / reception circuit, etc. may be mentioned, but the configuration of the communication unit 102 is not limited to the above.
  • the communication unit 102 can have a configuration compatible with any standard capable of performing communication, such as a USB terminal and a transmission / reception circuit, or any configuration capable of communicating with an external device through the network 500.
  • the communication unit 102 may be configured to be able to communicate with one or more external devices and the like by a plurality of communication methods.
  • the control unit 104 is constituted by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100. Also, the control unit 104 includes, for example, a setting processing unit 110, an editing processing unit 112, and a display processing unit 114, and plays a leading role in performing processing related to the information processing method according to the present embodiment.
  • the setting processing unit 110 plays a leading role in performing the setting processing, and sets metadata on an object included in a captured image based on a captured image captured by the imaging device 200.
  • the setting processing unit 110 performs setting processing according to the first example shown in the above [1-4-2-1], setting processing according to the second example shown in the above [1-4-2-2], Any one of the setting process according to the third example shown in the above [1-4-2-3] and the setting process according to the fourth example shown in the above [1-4-2-4] Set metadata by doing.
  • FIG. 13 is a block diagram showing an example of the configuration of setting processing section 110 shown in FIG.
  • FIG. 13 illustrates an example of the configuration of the setting processing unit 110 in the case of setting metadata in which a hierarchy is provided.
  • FIG. 13 illustrates an example in which metadata of three layers, that is, metadata of the first layer to metadata of the third layer, is set, the number of layers in the case of setting metadata in which layers are provided is three. It is not limited to one.
  • the setting processing unit 110 includes, for example, an event detection unit 120, tracking target determination units 122A, 122B, and 122C, tracking processing units 124A, 124B, and 124C, recording units 126A, 126B, and 126C, and a metadata adding unit 128B, 128C and a metadata adjustment unit 130.
  • the tracking target determining unit 122A, the tracking processing unit 124A, and the recording unit 126A for example, set the metadata of the first layer by performing the process shown in FIG. Further, the tracking target determining unit 122B, the tracking processing unit 124B, the recording unit 126B, and the metadata adding unit 128B set the metadata of the second layer by performing the process shown in FIG. 3, for example. Further, the tracking target determining unit 122C, the tracking processing unit 124C, the recording unit 126C, and the metadata adding unit 128C set the metadata of the third hierarchy by performing the process shown in FIG. 3, for example.
  • the event detection unit 120 detects a predetermined event.
  • the tracking target determination unit 122A determines an object to be tracked.
  • the tracking target determined by the tracking target determining unit 122A is a first object (an object directly related to a predetermined event).
  • the recording unit 126A records the set metadata and the position of the object on a recording medium such as a storage unit (not shown).
  • the tracking processing unit 124A tracks the tracking target object determined in the tracking target determining unit 122A, and the recording unit 126A records the tracking result in the tracking processing unit 124A in the recording medium.
  • the tracking processing unit 124A determines whether there is another object near the object to be tracked. If it is determined that there is another object, the tracking processing unit 124A transmits the determination result to the metadata adding unit 128B.
  • the metadata assignment unit 128B sets the metadata of the second layer based on the determination result transmitted from the tracking processing unit 124A.
  • the recording unit 126B records the set metadata and the position of the object on the recording medium.
  • the tracking processing unit 124A When it is determined that the tracking target determination unit 122A ends tracking of the tracking target object, the tracking processing unit 124A notifies the tracking processing unit 124B that the tracking has ended.
  • the tracking processing unit 124B notified that the tracking has ended determines the tracking target by using the recording result of the recording unit 126B.
  • the tracking target determined by the tracking target determining unit 122B is a third object (an object directly related to the first object).
  • the tracking processing unit 124B tracks the tracking target object determined in the tracking target determining unit 122B, and the recording unit 126B records the tracking result in the tracking processing unit 124B in the recording medium.
  • the tracking processing unit 124B determines whether there is another object near the object to be tracked. If it is determined that there is another object, the tracking processing unit 124B transmits the determination result to the metadata adding unit 128C.
  • the metadata assignment unit 128C sets the metadata of the third hierarchy based on the determination result transmitted from the tracking processing unit 124B.
  • the recording unit 126C records the set metadata and the position of the object on the recording medium.
  • the tracking processing unit 124B When it is determined that the tracking target determination unit 122B ends the tracking of the tracking target object, the tracking processing unit 124B notifies the tracking processing unit 124C that the tracking has ended.
  • the tracking processing unit 124C notified that the tracking has ended determines the tracking target using the recording result of the recording unit 126C.
  • the tracking target determined by the tracking target determining unit 122C is the fourth object (an object directly related to the third object).
  • the tracking processing unit 124C tracks the tracking target object determined in the tracking target determining unit 122C, and the recording unit 126C records the tracking result in the tracking processing unit 124C in the recording medium.
  • the tracking processing unit 124C When it is determined that the tracking target determination unit 122C ends the tracking of the tracking target object, the tracking processing unit 124C notifies the metadata adjustment unit 130 that the tracking has ended.
  • the metadata adjustment unit 130 integrates different metadata set for the same object, for example, by performing the process shown in the above (C).
  • the setting processing unit 110 performs the processing shown in FIG. 2 and FIG. 3 according to the configuration shown in FIG.
  • the configuration of the setting processing unit 110 is not limited to the example shown in FIG.
  • FIG. 13 shows an example in which metadata is set until metadata is set up to a preset hierarchy
  • the setting processing unit 110 can not set metadata newly.
  • Metadata may be set. That is, the setting processing unit 110 can dynamically change the number of layers.
  • the setting processing unit 110 can also set metadata in which no hierarchy is provided.
  • the editing processing unit 112 plays a leading role in performing the above editing processing, and edits a captured image based on the setting result of metadata in the setting processing unit 110.
  • the editing processing unit 112 edits the captured image, for example, by performing the editing process shown in the above [1-4-2-5].
  • the display processing unit 114 plays a leading role in performing the above display processing, and based on the metadata setting result in the setting processing unit 110, an image showing an object related to a predetermined event for which metadata is set is displayed. , On the display screen.
  • the display processing unit 114 displays, on the display screen, an image in which an object related to a predetermined event for which metadata is set is displayed, for example, by performing the display processing shown in the above [1-4-2-6].
  • the control unit 104 for example, by having the setting processing unit 110, the editing processing unit 112, and the display processing unit 114, mainly performs processing related to the information processing method according to the present embodiment.
  • control unit 104 The configuration of the control unit 104 is not limited to the example shown in FIG.
  • control unit 104 may not include one or both of the editing processing unit 112 and the display processing unit 114. Even when one or both of the editing processing unit 112 and the display processing unit 114 are not provided, the control unit 104 can set metadata by setting processing. Therefore, even if the control unit 104 does not include one or both of the editing processing unit 112 and the display processing unit 114, the information processing apparatus 100 assists in grasping a predetermined event detected based on a captured image. be able to.
  • control unit 104 can have a configuration according to, for example, how to separate the processes related to the information processing method according to the present embodiment.
  • the information processing apparatus 100 performs processing (for example, setting processing, editing processing, and display processing) according to the information processing method according to the present embodiment, for example, by the configuration illustrated in FIG. Therefore, the information processing apparatus 100 can assist in grasping a predetermined event detected based on a captured image, for example, by the configuration illustrated in FIG.
  • the information processing apparatus 100 can exhibit the effects achieved by performing the processing according to the information processing method according to the present embodiment as described above.
  • the configuration of the information processing apparatus according to the present embodiment is not limited to the configuration shown in FIG.
  • some or all of the editing processing unit 112 and the display processing unit 114 can be realized by another processing circuit.
  • the information processing apparatus may not include one or both of the editing processing unit 112 and the display processing unit 114.
  • the configuration for realizing the processing according to the information processing method according to the present embodiment is not limited to the configuration shown in FIG. 11, and the method for separating the processing according to the information processing method according to the present embodiment It is possible to take a configuration according to it.
  • the information processing apparatus when communicating with an external device via an external communication device having the same function and configuration as the communication unit 102, does not include the communication unit 102. It is also good.
  • each device constituting the information processing system according to the present embodiment has been described above as a component of the information processing system according to the present embodiment, but the present embodiment It is not limited to the form.
  • computer such as PC (Personal Computer) or server”, “tablet type device”, “game machine”, “camera such as digital still camera or digital video camera”, etc.
  • the present invention can be applied to various devices capable of performing processing related to the information processing method according to the present invention.
  • the present embodiment can also be applied to, for example, a processing IC that can be incorporated into the above-described device.
  • the information processing apparatus may be applied to a processing system based on connection to a network (or communication between devices), such as cloud computing.
  • a processing system in which the processing according to the information processing method according to the present embodiment is performed, “a part of the processing according to the information processing method according to the present embodiment is performed by A system in which processing other than the processing of the part of the processing according to the information processing method according to the present embodiment is performed by another device configuring the processing system.
  • the imaging device was mentioned and demonstrated as a component of the information processing system which concerns on this embodiment, this embodiment is not restricted to this form.
  • a camera such as a digital still camera or a digital video camera
  • a communication device capable of capturing an image such as a smart phone or a mobile phone
  • a tablet type capable of capturing an image
  • any device having an imaging function such as “a game machine capable of imaging”.
  • the information processing apparatus according to the present embodiment may play a role of an imaging device.
  • TV receiver “wearable device such as head mounted display, eyewear type device”, “computer capable of performing display such as PC”, “displaying Possible tablet type devices, “cameras capable of displaying digital still cameras and digital video cameras etc.”, “communication devices capable of displaying smart phones and mobile phones etc”, “display Any device having a function of displaying an image, such as a game machine that can be played, may be mentioned.
  • a computer capable of storing data such as a PC
  • a tablet-type device capable of storing data and “a data such as a digital still camera or a digital video camera are stored.
  • a program for causing a computer system to function as an information processing apparatus according to the present embodiment is a program capable of executing the processing according to the information processing method according to the present embodiment) by a processor or the like in a computer system, thereby assisting in grasping of a predetermined event detected based on a captured image. can do.
  • a computer system according to the present embodiment a single computer or a plurality of computers may be mentioned.
  • a series of processes according to the information processing method according to the present embodiment are performed by the computer system according to the present embodiment.
  • a program for causing a computer system to function as an information processing apparatus according to the present embodiment is executed by the processing according to the above-described information processing method according to the present embodiment by being executed by a processor or the like in the computer system. Effects can be achieved.
  • a program for causing a computer system to function as an information processing apparatus according to the present embodiment
  • the present embodiment further stores the program.
  • a recording medium can also be provided.
  • a setting processing unit configured to set metadata for an object included in the captured image based on a captured image captured in time series by the imaging device;
  • the setting processing unit processes the captured image in a reverse time series reverse to the time series from a predetermined event detected from the captured image, and the predetermined event of the objects included in the captured image
  • An information processing apparatus configured to set the metadata for an object related to (2)
  • the setting processing unit sets the metadata for each of a first object directly related to the predetermined event and a second object indirectly related to the predetermined event.
  • the setting processing unit Identifying the first object from the captured image in which the predetermined event is detected; Processing the captured image in the reverse time series to determine an object associated with the identified first object; The information processing apparatus according to (2), wherein an object related to the determined first object is the second object.
  • the setting processing unit Detecting the first object for each of the captured images corresponding to each time point of the reverse time series; Determining a third object directly related to the first object from the captured image in which the first object is detected; The information processing apparatus according to (3), wherein the determined third object is the second object.
  • the setting processing unit is an object in which the distance to the first object is less than or equal to a predetermined threshold or the object in which the distance to the first object is smaller than the predetermined threshold is the third object.
  • the information processing apparatus which determines. (6)
  • the setting processing unit Further, a fourth object directly related to the third object is determined from the captured image including the determined third object;
  • the information processing apparatus according to (4) or (5), wherein the determined fourth object is the second object.
  • the setting processing unit processes the captured image corresponding to each time point of the reverse time series in a period from a time when the predetermined event is detected to a time when a predetermined condition in the reverse time series is satisfied.
  • the information processing apparatus according to any one of 1) to (6).
  • (8) The information processing apparatus according to (7), wherein the predetermined condition includes one or both of a temporal condition and a condition regarding an object detected from the captured image.
  • the setting processing unit further processes the captured image in the time series from the predetermined event, and sets the metadata for an object related to the predetermined event.
  • the information processing apparatus according to any one.
  • the setting processing unit Among the objects related to the predetermined event for which the metadata is set, the same object for which the different metadata is set is determined.
  • the information processing apparatus according to any one of (1) to (9), which integrates different pieces of metadata set for the same object.
  • the setting processing unit sets the metadata for an object related to the predetermined event based on the captured images captured by a plurality of the imaging devices, any one of (1) to (10). The information processing apparatus described in one.
  • the setting processing unit The predetermined event among the objects included in the captured image captured by the one or more imaging devices based on the captured image captured by the one or more of the plurality of imaging devices Set the metadata for related objects, The remaining setting based on the setting result of the metadata based on the captured image captured by the one or more imaging devices and the captured image captured by the remaining one of the plurality of imaging devices.
  • the information processing apparatus according to (11), wherein the metadata is set for an object related to the predetermined event among objects included in the captured image captured by the imaging device.
  • 100 information processing apparatus 102 communication unit 104 control unit 110 setting processing unit 112 editing processing unit 114 display processing unit 120 event detection unit 122A, 122B, 122C tracking target determination unit 124A, 124B, 124C tracking processing unit 126A, 126B, 126C recording unit 128B, 128C metadata adding unit 130 metadata adjusting unit 162, 300 display device 200, 200A, 200B imaging device 500 network 1000 information processing system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

撮像デバイスにより時系列に撮像された撮像画像に基づいて、撮像画像に含まれるオブジェクトに対してメタデータを設定する設定処理部を備え、設定処理部は、撮像画像から検出される所定のイベントから時系列とは逆の逆時系列に、撮像画像を処理し、撮像画像に含まれるオブジェクトのうちの所定のイベントに関連するオブジェクトに対して、メタデータを設定する、情報処理装置が、提供される。

Description

情報処理装置、および情報処理方法
　本開示は、情報処理装置、および情報処理方法に関する。
　撮像デバイスにより撮像された撮像画像を解析してイベントを検出する技術が開発されている。上記イベントを検出する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。また、撮像デバイスにより撮像された撮像画像に含まれる物体の数を計測する技術が開発されている。上記撮像画像に含まれる物体の数を計測する技術としては、例えば下記の特許文献２に記載の技術が挙げられる。
特開２００６－２８５８７８号公報 特開２０１６－１１０３８１号公報
　例えばスポーツの試合の解析や防犯などの様々な目的のために、撮像デバイスにより撮像された撮像画像（動画像、または、静止画像）が利用されている。
　例えば特許文献１に記載の技術を用いる装置は、撮像画像からシルエット画像を生成してシルエット画像に含まれるシルエットを追跡領域を追跡し、追跡結果に基づいてイベントを検出、特定する。
　ここで、サッカーやラグビーなどの点数により勝敗が決まるスポーツを例に挙げると、得点というイベントには、点を取った人物を含む複数人が関連している場合がある。
　しかしながら、特許文献１に記載の技術のように、人物、物体、風景などを示すシルエットを追跡してイベントを検出する場合には、検出されるイベントに直接的に関連した人物などしか考慮されない。よって、特許文献１に記載の技術に係る処理結果を用いたとしても、イベントの全体像を把握することができるとは限られない。
　また、例えば特許文献２に記載の技術を用いることによって、撮像画像から認識される物体の数を計測することが可能である。しかしながら、特許文献２に記載の技術では、撮像画像から認識される物体の関連性については、考慮されない。よって、特許文献２に記載の技術に係る処理結果を用いたとしても、イベントの全体像を把握することができるとは限られない。
　本開示では、撮像画像に基づき検出される所定のイベントの把握を補助することが可能な、新規かつ改良された情報処理装置、および情報処理方法を提案する。
　本開示によれば、撮像デバイスにより時系列に撮像された撮像画像に基づいて、上記撮像画像に含まれるオブジェクトに対してメタデータを設定する設定処理部を備え、上記設定処理部は、上記撮像画像から検出される所定のイベントから上記時系列とは逆の逆時系列に、上記撮像画像を処理し、上記撮像画像に含まれるオブジェクトのうちの上記所定のイベントに関連するオブジェクトに対して、上記メタデータを設定する、情報処理装置が、提供される。
　また、本開示によれば、撮像デバイスにより時系列に撮像された撮像画像に基づいて、上記撮像画像に含まれるオブジェクトに対してメタデータを設定するステップを有し、上記設定するステップでは、上記撮像画像から検出される所定のイベントから上記時系列とは逆の逆時系列に、上記撮像画像が処理され、上記撮像画像に含まれるオブジェクトのうちの上記所定のイベントに関連するオブジェクトに対して、上記メタデータが設定される、情報処理装置により実行される情報処理方法が、提供される。
　本開示によれば、撮像画像に基づき検出される所定のイベントの把握を補助することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理システムの構成の一例を示す説明図である。 本実施形態に係る情報処理方法に係る設定処理の第１の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る設定処理の第１の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る設定処理の第１の例の結果の一例を示す説明図である。 本実施形態に係る情報処理方法に係る設定処理の第１の例の結果の他の例を示す説明図である。 本実施形態に係る情報処理方法に係る設定処理の第２の例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る設定処理の第３の例を説明するための説明図である。 本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る表示処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る表示処理の他の例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 図１１に示す設定処理部の構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理システム、および本実施形態に係る情報処理方法
　　２．本実施形態に係るプログラム
（本実施形態に係る情報処理システム、および本実施形態に係る情報処理方法）
　以下、本実施形態に係る情報処理システムの一例を説明しつつ、本実施形態に係る情報処理方法について説明する。
［１］情報処理システムの構成
　図１は、本実施形態に係る情報処理システム１０００の構成の一例を示す説明図である。情報処理システム１０００は、例えば、情報処理装置１００と、撮像デバイス２００と、表示デバイス３００と、記憶デバイス４００とを有する。
　情報処理装置１００と、撮像デバイス２００、表示デバイス３００、および記憶デバイス４００それぞれとは、例えば、ネットワーク５００を介して無線または有線で接続される。ネットワーク５００としては、例えば、ＬＡＮ（Local　Area　Network）やＷＡＮ（Wide　Area　Network）などの有線ネットワーク、ＷＬＡＮ（Wireless　Local　Area　Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。なお、本実施形態に係る情報処理システムでは、情報処理装置１００と、撮像デバイス２００、表示デバイス３００、および記憶デバイス４００のうちの一部または全部とが、ネットワーク５００を介さずに、直接的に通信を行うことも可能である。
　なお、本実施形態に係る情報処理システムは、図１に示す例に限られない。
　例えば、撮像デバイス２００、表示デバイス３００、および記憶デバイス４００の一部または全部は、情報処理装置１００が備えるデバイスであってもよい。また、本実施形態に係る情報処理システムは、例えば、表示デバイス３００と記憶デバイス４００との一方または双方を有さない構成であってもよい。
　また、図１では、１つの撮像デバイス２００を示しているが、本実施形態に係る情報処理システムは、撮像デバイス２００を複数有していてもよい。本実施形態に係る情報処理システムが撮像デバイス２００を複数有する場合、複数の撮像デバイス２００のうちの一部は、情報処理装置１００が備える撮像デバイスであってもよい。
　また、図１では、１つの表示デバイス３００を示しているが、本実施形態に係る情報処理システムは、表示デバイス３００を複数有していてもよい。本実施形態に係る情報処理システムが表示デバイス３００を複数有する場合、複数の表示デバイス３００のうちの一部は、情報処理装置１００が備える表示デバイスであってもよい。
　また、図１では、１つの記憶デバイス４００を示しているが、本実施形態に係る情報処理システムは、複数の記憶デバイス４００を有していてもよい。本実施形態に係る情報処理システムが記憶デバイス４００を複数有する場合、複数の記憶デバイス４００のうちの一部は、情報処理装置１００が備える表示デバイスであってもよい。
　以下では、図１に示す情報処理システム１０００を主に例に挙げて、情報処理システム１０００を構成する装置について、説明する。
［１－１］撮像デバイス２００
　撮像デバイス２００は、情報処理システム１０００における撮像手段であり、情報処理装置１００からみて外部の撮像デバイスに該当する。撮像デバイス２００は、例えば、“コートやグラウンド（スポーツの試合の解析が目的である場合の一例）”、“防犯対策を施す空間（防犯が目的である場合の一例）”などの、情報処理システム１０００が用いられる目的に応じた領域を撮像する。撮像デバイス２００の位置と姿勢との一方または双方は、固定であってもよいし、変化してもよい。
　撮像デバイス２００は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）やＣＣＤ（Charge　Coupled　Device）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic　Gain　Control）回路やＡＤＣ（Analog　to　Digital　Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ　Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
　なお、撮像デバイス２００の構成は、上記に示す例に限られず、後述する撮像デバイス２００の適用例に応じた構成をとることが可能である。
　撮像デバイス２００は、例えば、撮像デバイス２００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
［１－２］表示デバイス３００
　表示デバイス３００は、情報処理システム１０００における表示手段であり、情報処理装置１００からみて外部の表示デバイスに該当する。表示デバイス３００は、例えば、情報処理装置１００において撮像された撮像画像（動画像、または、複数の静止画像。以下、同様とする。）や、ＵＩ（User　Interface）に係る画像などの、様々な画像を表示画面に表示する。表示デバイス３００における表示は、例えば、情報処理装置１００によって制御される。
　表示デバイス３００としては、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode　Ray　Tube）ディスプレイなどが挙げられる。
　なお、表示デバイス３００は、上記に示す例に限られない。
　例えば、表示デバイス３００は、ヘッドマウントディスプレイやアイウェア型の装置などのような、身体に装着して用いる任意のウェアラブル装置であってもよい。また、表示デバイス３００の他の適用例については、後述する。
　表示デバイス３００は、例えば、表示デバイス３００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
［１－３］記憶デバイス４００
　記憶デバイス４００は、情報処理システム１０００における記憶手段であり、情報処理装置１００からみて外部の記憶デバイスに該当する。記憶デバイス４００は、例えば、情報処理装置１００において撮像された撮像画像など、様々なデータを記憶する。
　記憶デバイス４００としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶デバイス４００の他の適用例については、後述する。
［１－４］情報処理装置１００
　情報処理装置１００は、本実施形態に係る情報処理方法に係る処理を行う。
［１－４－１］本実施形態に係る情報処理方法に係る処理の概要
　まず、情報処理装置１００が行う本実施形態に係る情報処理方法に係る処理の概要について、説明する。
　例えば、情報処理システム１０００が、サッカーやラグビーなどのスポーツの試合の解析が目的で用いられる場合、上述したように、得点したという得点イベント（イベントの一例）には、複数人が関連している場合がある。また、例えば、情報処理システム１０００が、防犯の目的で用いられる場合においても、事故や犯罪などのイベント（イベントの一例）には、複数人が関連している場合がある。事故や犯罪などのイベントに関連する複数人の例としては、事故における加害者および被害者や、犯罪における実行犯および実行犯に接触した人物などが、挙げられる。
　上述したように、特許文献１に記載の技術のように人物などを示すシルエットを追跡してイベントを検出する場合には、検出されるイベントに直接的に関連した人物などしか考慮されない。また、特許文献２に記載の技術のように撮像画像から認識される物体の数を計測する場合には、撮像画像から認識される物体の関連性は考慮されない。
　よって、特許文献１に記載の技術や特許文献２に記載の技術のような既存の技術を用いたとしても、例えば“イベントがどのようにして発生したのかなどのイベントの全体像”を把握することが困難である。
　一例として、サッカー場に配置されたカメラ（撮像デバイスの一例）により撮像された撮像画像から、得点イベント（イベントの一例）が検出された例を挙げる。一人の選手がずっとボールを保持して得点した場合は、特許文献１に記載の技術のような既存の技術を用いることによって、得点イベントの全体像を把握することが可能である。また、複数の選手がボールを受け渡した結果として得点した場合、既存の技術を用いることによって、それぞれの選手がボールに関与しているときは、ボールに関与している選手の状況が把握されうる。しかしながら、複数の選手がボールを受け渡した結果として得点した場合には、既存の技術を用いたとしても、選手それぞれがボールを受け取る前にどのような動きをしていたかまで把握することは、できない。
　また、他の例として、防犯カメラ（撮像デバイスの一例）により撮像された撮像画像から犯罪のイベント（イベントの一例）が検出された例を挙げる。特許文献１に記載の技術のような既存の技術を用いることによって、犯罪のイベントに直接的に関与した実行犯を、撮像画像から発見して追尾することは可能である。しかしながら、既存の技術を用いたとしても、例えば、上記実行犯と接触した人物、すなわち犯罪のイベントに間接的に関与した可能性がある人物の行動を追尾することはできない。
　そこで、情報処理装置１００は、撮像デバイス２００により時系列に撮像された撮像画像を処理し、撮像画像に含まれるオブジェクトのうちの撮像画像から検出される所定のイベントに関連するオブジェクトに対して、メタデータを設定する。以下では、撮像画像に基づきメタデータを設定する処理を、「設定処理」と示す場合がある。
　ここで、本実施形態に係る撮像デバイス２００により時系列に撮像された撮像画像とは、例えば、“撮像デバイス２００が、撮像範囲内の時間的な変化を連続的に撮像した結果得られた撮像画像”、または、“撮像デバイス２００が、撮像範囲内の時間的な変化を所定の間隔をおいて不連続に撮像した結果得られた撮像画像”をいう。上記所定の間隔は、一定の時間間隔であってもよいし、不定の時間間隔であってもよい。“撮像デバイス２００が、撮像範囲内の時間的な変化を連続的に撮像した結果得られた撮像画像”は、動画像に該当する。また、“撮像デバイス２００が、撮像範囲内の時間的な変化を所定の間隔をおいて不連続に撮像した結果得られた撮像画像”は、撮像された時点が異なる複数の静止画像に該当する。
　以下では、“時系列に撮像された撮像画像に対応する時間の方向”とは逆の時間の方向を、「逆時系列」と示す。“時系列に撮像された撮像画像に対応する時間の方向”とは、過去から現在または未来への方向に該当し、逆時系列は、ある時点から過去への方向に該当する。
　撮像画像に含まれるオブジェクトとしては、例えば、人や人以外の動物などの生物と、ボールやバックなどの非生物との一方または双方が、挙げられる。なお、本実施形態に係るオブジェクトは、上記に示す例に限られない。本実施形態に係るオブジェクトとしては、画像から物体を検出する任意のオブジェクト検出処理を用いて検出することが可能な任意のオブジェクトが、挙げられる。
　撮像画像からオブジェクトを検出するオブジェクト検出処理は、情報処理装置１００が行ってもよいし、情報処理装置１００の外部のサーバなどの、情報処理装置１００の外部装置により行われてもよい。オブジェクト検出処理が外部装置により行われる場合、情報処理装置１００は、当該外部装置におけるオブジェクト検出処理の結果を利用して、本実施形態に係る情報処理方法に係る処理を行う。
　撮像画像から検出される所定のイベントとしては、例えば上述したような、得点イベント、事故のイベント、犯罪のイベントなど、任意のイベント検出処理により撮像画像から検出することが可能な、任意のイベントが挙げられる。イベント検出処理の一例として、撮像画像からサッカーにおける得点イベントを検出する場合におけるイベント検出処理を挙げると、例えば、撮像画像内におけるゴールの位置を予め設定した後、撮像画像から試合中のボールの位置を追尾して、ボールがゴールに入ったシーンを探すことによって、得点イベントが検出される。イベント検出処理の一例として、撮像画像からラグビーにおける得点イベントを検出する場合におけるイベント検出処理を挙げると、例えば、撮像画像内におけるゴールの位置を予め設定した後、撮像画像からボールを持った選手が予め設定してあるゴールラインを越えたというシーンを探すことによって、得点イベントが検出される。また、イベント検出処理は、イベントが発生したことを示すユーザの操作に基づいて、得点イベントなどの任意のイベントを検出する処理（手動によるイベントの検出に係る処理）であってもよい。
　撮像画像から所定のイベントを検出するイベント検出処理は、情報処理装置１００が行ってもよいし、情報処理装置１００の外部のサーバなどの、情報処理装置１００の外部装置により行われてもよい。イベント検出処理が外部装置により行われる場合、情報処理装置１００は、当該外部装置におけるイベント検出処理の結果を利用して、本実施形態に係る情報処理方法に係る処理を行う。
　本実施形態に係る所定のイベントに関連するオブジェクトとしては、“所定のイベントに直接的に関連するオブジェクト”、または、“所定のイベントに直接的に関連するオブジェクト、および所定のイベントに間接的に関連するオブジェクト”が挙げられる。つまり、所定のイベントに関連するオブジェクトには、所定のイベントに直接的に関連するオブジェクトだけでなく、所定のイベントに間接的に関連するオブジェクトが含まれうる。
　所定のイベントに直接的に関連するオブジェクトとしては、例えば、“得点を挙げた選手”（所定のイベントが得点イベントである場合における、所定のイベントに直接的に関連するオブジェクトの一例）や、“犯罪の実行犯”（所定のイベントが犯罪のイベントである場合における、所定のイベントに直接的に関連するオブジェクトの一例）などが、該当する。以下では、所定のイベントに直接的に関連するオブジェクトを「第１のオブジェクト」と示す場合がある。
　また、所定のイベントに間接的に関連するオブジェクトとしては、例えば、“得点を挙げた選手に対して、パスを出した選手”
（所定のイベントが得点イベントである場合における、所定のイベントに間接的に関連するオブジェクトの一例）や、“犯罪の実行犯に接触した人物”（所定のイベントが犯罪のイベントである場合における、所定のイベントに間接的に関連するオブジェクトの一例）などが、該当する。以下では、所定のイベントに間接的に関連するオブジェクトを「第２のオブジェクト」と示す場合がある。
　所定のイベントに関連するオブジェクトの特定に係る処理の一例については、後述する。
　本実施形態に係るメタデータとは、所定のイベントに関連するオブジェクトについてのデータである。メタデータが設定されているオブジェクトが、所定のイベントに関連するオブジェクトであることを示す。つまり、情報処理システム１０００では、撮像画像に含まれるオブジェクトに対してメタデータが設定されることによって、撮像画像に含まれるオブジェクトのうちの所定のイベントに関連するオブジェクトが、特定される。
　本実施形態に係るメタデータには、例えば、所定のイベントに関連するオブジェクトを識別する識別情報と、撮像画像におけるオブジェクトの位置とが含まれる。本実施形態に係る識別情報としては、オブジェクトそれぞれに固有のＩＤが挙げられる。上記固有のＩＤは、乱数であってもよいし、撮像画像を撮像した撮像デバイス２００固有の値を含む値であってもよい。また、撮像画像におけるオブジェクトの位置は、例えば、撮像画像における任意の位置を原点とする二次元座標など、設定されている座標系の座標値で表される。以下では、撮像画像におけるオブジェクトの位置を、単に「オブジェクトの位置」と示す場合がある。
　なお、本実施形態に係るメタデータには、所定のイベントに関連するオブジェクトに関する、任意のデータが含まれていてもよい。以下では、本実施形態に係るメタデータを「タグ」と示す場合がある。
　また、所定のイベントに関連するオブジェクトに対して設定されるメタデータには、階層が設けられていてもよい。メタデータの階層分けとしては、例えば、“所定のイベントに直接的に関連するオブジェクトに対して設定されるメタデータと、所定のイベントに間接的に関連するオブジェクトに対して設定されるメタデータとを分けること”が挙げられる。また、所定のイベントに間接的に関連するオブジェクトに対して設定されるメタデータは、さらに複数の階層に分けられていてもよい。
　情報処理装置１００は、例えば下記に示すような、所定のイベントに関連するオブジェクトとメタデータとを対応付けることが可能な、任意の処理によって、撮像画像に含まれるオブジェクトに対してメタデータを設定する。なお、撮像画像に含まれるオブジェクトに対してメタデータを設定する処理が、下記に示す例に限られないことは、言うまでもない。
　　・所定のイベントに関連するオブジェクトが含まれる撮像画像にメタデータを埋め込む処理
　　・所定のイベントに関連するオブジェクトが含まれる撮像画像とは別体のメタデータを、当該撮像画像と対応付けて記録媒体に記録する処理
　より具体的には、情報処理装置１００は、撮像画像から検出される所定のイベントから逆時系列に撮像画像を処理する。所定のイベントから逆時系列に撮像画像を処理するとは、逆時系列の各時点に対応する撮像画像を、逆時系列の順序に従って処理することをいう。
　そして、情報処理装置１００は、逆時系列の各時点に対応する撮像画像に含まれる所定のイベントに関連するオブジェクトに対して、メタデータを設定する。
　上述したように、所定のイベントに関連するオブジェクトとしては、“所定のイベントに直接的に関連するオブジェクト”、または、“所定のイベントに直接的に関連するオブジェクト、および所定のイベントに間接的に関連するオブジェクト”が挙げられる。つまり、情報処理装置１００は、所定のイベントに直接的に関連するオブジェクトだけでなく、所定のイベントに間接的に関連するオブジェクトに対しても、メタデータを設定する。また、上述したように、メタデータが設定されているオブジェクトが、所定のイベントに関連するオブジェクトであることを示す。
　よって、情報処理装置１００が所定のイベントに関連するオブジェクトに対してメタデータを設定することによって、所定のイベントに直接的に関連するオブジェクトだけでなく、所定のイベントに間接的に関連するオブジェクトも、特定されうる。また、所定のイベントに直接的に関連するオブジェクトだけでなく、所定のイベントに間接的に関連するオブジェクトが特定されることによって、イベントがどのようにして発生したのかについてなどの、イベント全体像の把握が容易となる。
　したがって、情報処理装置１００が、本実施形態に係る情報処理方法に係る処理として設定処理を行うことによって、撮像画像に基づき検出される所定のイベントの把握を補助することができる。
　なお、本実施形態に係る情報処理方法に係る処理は、上記に示す設定処理に限られない。
　例えば、情報処理装置１００は、“設定処理における所定のイベントに関連するオブジェクトに対するメタデータの設定結果に基づいて撮像画像を編集する処理”を、さらに行うことが可能である。以下では、メタデータの設定結果に基づいて撮像画像を編集する処理を「編集処理」と示す場合がある。
　また、情報処理装置１００は、例えば、“設定処理における所定のイベントに関連するオブジェクトに対するメタデータの設定結果に基づいて、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる処理”を、さらに行うことが可能である。後述するように、“メタデータが設定された所定のイベントに関連するオブジェクトが示される画像”は、編集処理により編集された画像であってもよいし、編集処理により編集されていない画像であってもよい。“メタデータが設定された所定のイベントに関連するオブジェクトが示される画像”が表示される表示画面としては、例えば、表示デバイス３００の表示画面が挙げられる。以下では、“メタデータが設定された所定のイベントに関連するオブジェクトが示される画像”を表示画面に表示させる処理を、「表示処理」と示す場合がある。
［１－４－２］本実施形態に係る情報処理方法に係る処理
　次に、情報処理装置１００が行う本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
［１－４－２－１］情報処理方法に係る処理の第１の例：設定処理の第１の例
　情報処理装置１００は、撮像画像に基づいて、撮像画像に含まれるオブジェクトに対してメタデータを設定する。情報処理装置１００は、逆時系列に撮像画像を処理し、撮像画像に含まれるオブジェクトのうちの所定のイベントに関連するオブジェクトに対して、メタデータを設定する。
　情報処理装置１００が逆時系列に処理する撮像画像としては、例えば“所定のイベントが検出された時点から逆時系列における所定の条件を満たす時点までの期間における、逆時系列の各時点に対応する撮像画像”が、挙げられる。
　逆時系列に処理される撮像画像に係る所定の条件には、例えば、時間的な条件と、撮像画像から検出されるオブジェクトに関する条件との一方または双方が、含まれる。上記時間的な条件としては、例えば、“所定のイベントが検出された時点から予め設定されている期間前までの撮像画像が処理されたこと”が、挙げられる。情報処理装置１００は、例えば、撮像画像のタイムスタンプなどを参照することによって、上記時間的な条件を満たすか否かを判定する。また、上記オブジェクトに関する条件としては、例えば、“予め設定している位置や領域にオブジェクトが存在することが検出されたこと”、または、“第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）が撮像画像に含まれなくなること”が挙げられる。情報処理装置１００は、例えば、撮像画像に対して任意のオブジェクト検出処理を行うことによって、上記オブジェクトに関する条件を満たすか否かを判定する。なお、逆時系列に処理される撮像画像に係る所定の条件が、上記に示す例に限られないことは、言うまでもない。
　なお、情報処理装置１００が逆時系列に処理する撮像画像は、上記に示す例に限られない。例えば、情報処理装置１００が逆時系列に処理する撮像画像は、“所定のイベントが検出された時点から逆時系列に処理することが可能な、逆時系列における全ての時点に対応する撮像画像”であってもよい。
　例えば、情報処理装置１００が逆時系列に処理した撮像画像のうち、最後に処理した撮像画像に対応する時点が、所定のイベントの開始時点に該当する。また、例えば、所定のイベントが検出された時点が、所定のイベントの終了時点に該当する。
　上述したように、情報処理装置１００は、第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）、および第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）それぞれに対して、メタデータを設定する。情報処理装置１００は、例えば、“下記の（Ａ）に示す処理”、または“下記の（Ａ）に示す処理、および下記の（Ｂ）に示す処理”を行うことによって、第１のオブジェクトおよび第２のオブジェクトそれぞれに対して、メタデータを設定する。
（Ａ）
　情報処理装置１００は、撮像画像から所定のイベントが検出されると、所定のイベントが検出された撮像画像から、第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）を特定する。第１のオブジェクトの一例としては、例えば、所定のイベントがサッカーの得点イベントである場合における“ボール”や、所定のイベントが犯罪のイベントである場合における“実行犯の人物”などが、挙げられる。特定される第１のオブジェクトは、イベントごとに設定されていてもよいし、所定のイベントの検出結果を利用して推定されてもよい。
　第１のオブジェクトが特定されると、情報処理装置１００は、特定された第１のオブジェクトに対してメタデータを設定する。
　また、第１のオブジェクトが特定されると、情報処理装置１００は、逆時系列に撮像画像を処理して、第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）を特定する。ここで、逆時系列の各時点のうち、第２のオブジェクトが特定された時点は、所定のイベントにおけるサブイベントが発生した時点である定義することが可能である。
　第２のオブジェクトが特定されると、情報処理装置１００は、特定された第２のオブジェクトに対してメタデータを設定する。
　情報処理装置１００は、例えば、逆時系列に撮像画像を処理し、特定された第１のオブジェクトに直接的に関連するオブジェクトを判定することによって、第２のオブジェクトを特定する。
　情報処理装置１００は、例えば、逆時系列の各時点における撮像画像のうちの第１のオブジェクトが検出された撮像画像に対して、第１のオブジェクトに直接的に関連するオブジェクトを判定する処理を行う。情報処理装置１００は、例えば、逆時系列の各時点における撮像画像に対して、任意のオブジェクト検出処理を行うことによって、逆時系列の各時点における撮像画像から第１のオブジェクトを検出する。
　また、情報処理装置１００は、例えば、逆時系列の各時点における撮像画像のうちの第１のオブジェクトが検出されなかった撮像画像に対しては、第１のオブジェクトに直接的に関連するオブジェクトを判定する処理を行わなくてよい。情報処理装置１００が、第１のオブジェクトが検出されなかった撮像画像に対して第１のオブジェクトに直接的に関連するオブジェクトを判定する処理を行わないことによって、情報処理装置１００における処理負荷は軽減される。
　情報処理装置１００は、例えば、第１のオブジェクトとの距離が所定の閾値以下のオブジェクト、または、第１のオブジェクトとの距離が所定の閾値より小さいオブジェクトを、第１のオブジェクトに直接的に関連するオブジェクトであると判定する。オブジェクト間の距離は、例えば、撮像画像における一のオブジェクトの位置と、撮像画像における他のオブジェクトの位置とのユークリッド距離で表される。なお、オブジェクト間の距離は、上記ユークリッド距離に限られず、任意の距離算出方法により算出される距離であってもよい。第１のオブジェクトに直接的に関連するオブジェクトを判定する処理に係る所定の閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。
　なお、第１のオブジェクトに直接的に関連するオブジェクトを判定する処理は、上記に示す例に限られない。例えば、情報処理装置１００は、第１のオブジェクトに関連することを判定することが可能な任意の処理によって、第１のオブジェクトに直接的に関連するオブジェクトを判定してもよい。第１のオブジェクトに直接的に関連するオブジェクトを判定する処理の具体例については、後述する。以下では、第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）に直接的に関連するオブジェクトを、「第３のオブジェクト」と示す場合がある。
　第３のオブジェクトが判定されると、情報処理装置１００は、判定された第３のオブジェクトを、第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）とする。
　図２は、本実施形態に係る情報処理方法に係る設定処理の第１の例を説明するための流れ図である。図２は、情報処理装置１００が、所定のイベントに関連するオブジェクトに対して、タグ（メタデータの一例）を設定する例を示している。また、図２では、情報処理装置１００が処理する撮像画像が、複数のフレーム画像（静止画像）から構成される動画像である例を示している。
　情報処理装置１００は、イベントを検出し、追尾対象のオブジェクトにタグを設定する（Ｓ１００）。ステップＳ１００の処理は、第１のオブジェクトに対してタグを設定する処理に該当する。以下では、ステップＳ１００において設定されるタグのような、第１のオブジェクトに対して設定されるタグを、「第１階層のタグ１」または単に「タグ１」と示す。
　上述したように、イベント検出処理は、情報処理装置１００が行ってもよいし、情報処理装置１００の外部装置により行われてもよい。情報処理装置１００がイベント検出処理を行う場合、情報処理装置１００は、行ったイベント検出処理の結果を利用して、ステップＳ１００の処理を行う。また、イベント検出処理が外部装置により行われる場合、情報処理装置１００は、当該外部装置におけるイベント検出処理の結果を利用して、ステップＳ１００の処理を行う。
　ステップＳ１００においてタグが設定される追尾対象のオブジェクトとしては、例えば、所定のイベントがサッカーの得点イベントである場合における“ボール”や、所定のイベントが犯罪のイベントである場合における“実行犯の人物”などが、挙げられる。
　ステップＳ１００において追尾対象のオブジェクトにタグが設定されると、情報処理装置１００は、処理対象の撮像画像を１つ前のフレーム画像とする（Ｓ１０２）。
　情報処理装置１００は、ステップＳ１００においてタグが設定されたオブジェクトを追尾する（Ｓ１０４）。ここで、本実施形態に係るオブジェクトの追尾とは、例えば、追尾対象のオブジェクトを撮像画像から特定することをいう。情報処理装置１００は、例えば、“任意のオブジェクト検出処理により撮像画像からステップＳ１００においてタグが設定されたオブジェクトを検出すること”、“特許文献１に記載されている方法を用いること”、“特許文献２に記載されている方法を用いること”など、オブジェクトを追尾することが可能な任意の処理を行うことによって、ステップＳ１００においてタグが設定されたオブジェクトを追尾する。また、情報処理装置１００は、追尾するオブジェクトを指定するユーザの操作により指定されたオブジェクトを、追尾してもよい（手動による追尾の一例）。
　情報処理装置１００は、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ１０６）。ステップＳ１０６において判定される別のオブジェクトは、ステップＳ１００においてタグが設定されたオブジェクトに直接的に関連するオブジェクト、すなわち、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に該当する。また、ステップＳ１０６の処理は、サブイベントの発生を検出する処理に該当する。
　情報処理装置１００は、例えば、ステップＳ１００においてタグが設定されたオブジェクトとの距離が所定の閾値以下のオブジェクト、または、当該距離が当該所定の閾値より小さいオブジェクトが存在する場合に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する。
　ステップＳ１０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ１１０の処理を行う。
　また、ステップＳ１０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、当該別のオブジェクトに対してタグを設定する（Ｓ１０８）。情報処理装置１００は、ステップＳ１０６において追尾対象のオブジェクトの近くにあると判定されたオブジェクトそれぞれに対して、第２階層のタグ１－ｍ（ｍは、１以上の整数）を設定する。情報処理装置１００は、追尾対象のオブジェクトの近くにあるオブジェクトが判定されるごとに、第２階層のタグ１－１、第２階層のタグ１－２、…というように、第２階層の異なるタグを設定する。
　ステップＳ１０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ１０８の処理が行われると、情報処理装置１００は、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ１１０）。情報処理装置１００は、例えば、時間的な条件と、撮像画像から検出されるオブジェクトに関する条件との一方または双方を含む所定の条件を満たす場合に、追尾対象のオブジェクトの追尾を終了すると判定する。
　ステップＳ１１０において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ１０２からの処理を繰り返す。また、ステップＳ１１０において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、図２に示す処理を終了する。
　情報処理装置１００は、第１の例に係る設定処理として、例えば図２に示す処理を行う。図２に示す処理が行われることによって、第１のオブジェクト、および第１のオブジェクトに直接的に関連する第３のオブジェクト（第２のオブジェクトの一例）それぞれに対して、タグが設定される。
　なお、第１の例に係る設定処理の例は、図２に示す例に限られない。例えば、情報処理装置１００は、所定のイベントに関連したオブジェクトにタグを設定すると共に、タグが設定されたオブジェクトの移動の軌跡を記録してもよい。タグが設定されたオブジェクトの移動の軌跡は、例えば、撮像画像それぞれに対応する“画角、方位角、仰角、俯角、ズーム倍率などで表される撮像デバイス２００の撮像状態”および“撮像画像におけるオブジェクトの位置”から推定される。なお、タグが設定されたオブジェクトの移動の軌跡の推定方法が、上記に示す例に限られないことは、言うまでもない。タグが設定されたオブジェクトの移動の軌跡の記録は、当該オブジェクトの追尾結果に該当する。
（Ｂ）
　設定処理として上記（Ａ）の処理が行われることによって、第１のオブジェクト、および第３のオブジェクト（第２のオブジェクトの一例）それぞれに対して、メタデータが設定される。なお、設定処理においてメタデータが設定される第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）は、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に限られない。
　例えば、情報処理装置１００は、逆時系列に撮像画像を処理し、特定された第３のオブジェクトに直接的に関連するオブジェクトを判定することによって、第２のオブジェクトを特定する。そして、情報処理装置１００は、特定された第２のオブジェクトに対して、メタデータを設定する。
　情報処理装置１００は、例えば、逆時系列の各時点における撮像画像のうちの第３のオブジェクトが検出された撮像画像に対して、第３のオブジェクトに直接的に関連するオブジェクトを判定する処理を行う。情報処理装置１００は、例えば、逆時系列の各時点における撮像画像に対して、任意のオブジェクト検出処理を行うことによって、逆時系列の各時点における撮像画像から第３のオブジェクトを検出する。
　また、情報処理装置１００は、例えば、逆時系列の各時点における撮像画像のうちの第３のオブジェクトが検出されなかった撮像画像に対しては、第３のオブジェクトに直接的に関連するオブジェクトを判定する処理を行わなくてよい。情報処理装置１００が、第３のオブジェクトが検出されなかった撮像画像に対して第３のオブジェクトに直接的に関連するオブジェクトを判定する処理を行わないことによって、情報処理装置１００における処理負荷は軽減される。
　情報処理装置１００は、例えば、上記第１のオブジェクトに直接的に関連するオブジェクトを判定する処理と同様に、第３のオブジェクトに直接的に関連するオブジェクトを判定する。以下では、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に直接的に関連するオブジェクトを、「第４のオブジェクト」と示す場合がある。
　第４のオブジェクトが判定されると、情報処理装置１００は、判定された第４のオブジェクトを、第２のオブジェクト（所定のイベントに間接的に関連するオブジェクト）とする。
　さらに、情報処理装置１００は、例えば“特定された第４のオブジェクトに直接的に関連するオブジェクトを、第２のオブジェクトとして特定する”など、逆時系列に撮像画像を処理することにより第２のオブジェクトとして特定されたオブジェクトに直接的に関連するオブジェクトを、第２のオブジェクトとして特定することも、可能である。そして、情報処理装置１００は、特定された第２のオブジェクトに対して、メタデータを設定する。
　図３は、本実施形態に係る情報処理方法に係る設定処理の第１の例を説明するための流れ図である。図３に示す処理は、例えば、図２に示す処理においてタグが設定されたオブジェクトのように、逆時系列に撮像画像を処理することにより第２のオブジェクトとして特定されたオブジェクトに対する処理の一例である。以下では、情報処理装置１００が、図３に示す処理を、図２のステップＳ１０８において第２階層のタグ１－ｍが設定されたオブジェクトそれぞれに対して、それぞれ行う場合を例に挙げる。
　また、図３は、図２と同様に、情報処理装置１００が所定のイベントに関連するオブジェクトに対してタグ（メタデータの一例）を設定する例を示している。また、図３では、図２と同様に、情報処理装置１００が処理する撮像画像が、複数のフレーム画像から構成される動画像である例を示している。
　情報処理装置１００は、追尾対象のオブジェクトを選択する（Ｓ２００）。ステップＳ２００の処理は、サブイベントを選択する処理に該当する。情報処理装置１００は、例えば、図２のステップＳ１０８において第２階層のタグ１－ｍが設定されたオブジェクトから、追尾対象のオブジェクトを選択する。なお、情報処理装置１００は、例えば第４のオブジェクトなど、第２のオブジェクトとして特定された任意のオブジェクトを、追尾対象のオブジェクトとして選択することも可能である。
　情報処理装置１００は、処理対象の撮像画像を、１つ前のフレーム画像とする（Ｓ２０２）。例えば、ステップＳ２００の処理が行われた後にステップＳ２０２の処理が行われる場合、情報処理装置１００は、例えば追尾対象のオブジェクトに対してタグが設定された時点を基準として、当該時点に対応するフレーム画像の１つ前のフレーム画像を、処理対象の撮像画像とする。また、例えば、後述するステップＳ２１０の処理が行われた後にステップＳ２０２の処理が行われる場合、情報処理装置１００は、例えば、処理対象の撮像画像となっているフレーム画像の１つ前のフレーム画像を、処理対象の撮像画像とする。
　情報処理装置１００は、例えば図２のステップＳ１０４と同様に、ステップＳ２００において選択されたオブジェクトを追尾する（Ｓ２０４）。
　情報処理装置１００は、例えば図２のステップＳ１０６と同様に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ２０６）。ステップＳ２０６において判定される別のオブジェクトは、ステップＳ２００において選択されたオブジェクトに直接的に関連するオブジェクトに該当する。
　ステップＳ２０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ２１０の処理を行う。
　また、ステップＳ２０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、当該別のオブジェクトに対してタグを設定する（Ｓ２０８）。一例を挙げると、ステップＳ２００において選択されたオブジェクトが、第２階層のタグ１－ｍが設定されたオブジェクトである場合、情報処理装置１００は、ステップＳ２０６において追尾対象のオブジェクトの近くにあると判定されたオブジェクトそれぞれに対して、第３階層のタグ１－ｍ－ｎ（ｎは、１以上の整数）を設定する。情報処理装置１００は、追尾対象のオブジェクトの近くにあるオブジェクトが判定されるごとに、第３階層のタグ１－ｍ－１、第３階層のタグ１－ｍ－２、…というように、第３階層の異なるタグを設定する。
　ステップＳ２０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ２０８の処理が行われると、情報処理装置１００は、例えば図２のステップＳ１１０と同様に、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ２１０）。
　ステップＳ２１０において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ２０２からの処理を繰り返す。
　また、ステップＳ２１０において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、処理対象の画像を、追尾開始時点に対応するフレーム画像に戻す（Ｓ２１２）。ステップＳ２１２により処理対象の画像となるフレーム画像としては、例えば、追尾対象のオブジェクトに対してタグが設定された時点に対応するフレーム画像が、挙げられる。
　情報処理装置１００は、処理対象の撮像画像を、次のフレーム画像（すなわち、１つ後のフレーム画像）とする（Ｓ２１４）。例えば、ステップＳ２１０の処理において追尾対象のオブジェクトの追尾を終了すると判定された後にステップＳ２１４の処理が行われる場合、情報処理装置１００は、例えば追尾対象のオブジェクトに対してタグが設定された時点を基準として、当該時点に対応するフレーム画像の１つ後のフレーム画像を、処理対象の撮像画像とする。また、例えば、後述するステップＳ２２２の処理が行われた後にステップＳ２１４の処理が行われる場合、情報処理装置１００は、例えば、処理対象の撮像画像となっているフレーム画像の１つ後のフレーム画像を、処理対象の撮像画像とする。つまり、情報処理装置１００は、ステップＳ２１４以降、撮像画像を時系列に処理する。
　情報処理装置１００は、例えば図２のステップＳ１０４と同様に、ステップＳ２００において選択されたオブジェクトを追尾する（Ｓ２１６）。
　情報処理装置１００は、例えば図２のステップＳ１０６と同様に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ２１８）。ステップＳ２１８において判定される別のオブジェクトは、ステップＳ２００において選択されたオブジェクトに直接的に関連するオブジェクトに該当する。
　ステップＳ２１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ２２２の処理を行う。
　また、ステップＳ２１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、ステップＳ２０８と同様に、当該別のオブジェクトに対してタグを設定する（Ｓ２２０）。
　ステップＳ２１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ２２０の処理が行われると、情報処理装置１００は、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ２２２）。情報処理装置１００は、例えば、時間的な条件と、撮像画像から検出されるオブジェクトに関する条件との一方または双方を含む所定の条件を満たす場合に、追尾対象のオブジェクトの追尾を終了すると判定する。つまり、情報処理装置１００は、撮像画像を時系列に処理していることを除き、図２のステップＳ１１０と同様に、追尾対象のオブジェクトの追尾を終了するか否かを判定する。
　ステップＳ２２２において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ２１４からの処理を繰り返す。また、ステップＳ２２２において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、図３に示す処理を終了する。
　情報処理装置１００は、第１の例に係る設定処理として、図２に示す処理に加えて図３に示す処理を行うことが可能である。図３に示す処理が行われることによって、第３のオブジェクトに直接的に関連する第４のオブジェクトなどの、第２のオブジェクトとして特定されるオブジェクトに対して、タグが設定される。
　なお、第１の例に係る設定処理の例は、図２および図３に示す例に限られない。例えば上述したように、情報処理装置１００は、所定のイベントに関連したオブジェクトにタグを設定すると共に、タグが設定されたオブジェクトの移動の軌跡を記録してもよい。
　情報処理装置１００は、例えば、“上記（Ａ）に示す処理”、または“上記（Ａ）に示す処理、および上記（Ｂ）に示す処理”を行うことによって、所定のイベントに関連するオブジェクトに対して、メタデータを設定する。
　図４は、本実施形態に係る情報処理方法に係る設定処理の第１の例の結果の一例を示す説明図である。図４は、“上記（Ａ）に示す処理、および上記（Ｂ）に示す処理”が行われた結果の一例を、ツリー構造で示している。
　例えば、各オブジェクトに設定されたメタデータ、およびサブイベントの発生時点を整理することによって、設定処理の結果は、図４に示すようなメタデータが設定されたオブジェクトの関連性を示すツリー構造で表すことができる。
　なお、第１の例に係る設定処理は、“上記（Ａ）に示す処理”、または“上記（Ａ）に示す処理、および上記（Ｂ）に示す処理”に限られない。
　例えば、情報処理装置１００は、さらに下記の（Ｃ）に示す処理を行うことによって、メタデータが設定されたオブジェクトの整合性をとることも可能である。
（Ｃ）
　情報処理装置１００は、メタデータが設定された所定のイベントに関連するオブジェクトの中から、異なるメタデータが設定された同一のオブジェクトを判定する。そして、情報処理装置１００は、同一のオブジェクトに対して設定された異なるメタデータを、統合する。
　本実施形態に係るメタデータの統合とは、“同一のオブジェクトと判定された異なるメタデータが設定されたオブジェクトに対して、同一のメタデータが設定されるようにメタデータを設定し直すこと”をいう。例えばメタデータに階層が設けられる場合、情報処理装置１００は、階層の深いタグを階層の浅いタグに置き換えることによって、メタデータを統合する。具体例を挙げると、第１階層のタグ１が設定されたオブジェクトと、第３階層のタグ１－１－１が設定されたオブジェクトとが同一のオブジェクトと判定された場合、情報処理装置１００は、第３階層のタグ１－１－１を第１階層のタグ１に置き換える。
　同一のオブジェクトを判定する方法としては、例えば下記のように同じ軌跡を有するオブジェクトを判定する方法が、挙げられる。
　所定のイベントの開始時点から所定のイベントの終了時点までの撮像画像中にｔフレームのフレーム画像が存在する場合を例に挙げると、メタデータが設定されたオブジェクトそれぞれは、撮像画像におけるオブジェクトの位置を、最大ｔ個有する。ここで、最大ｔ個と示した理由は、ｔフレームのフレーム画像の全てに、メタデータが設定されたオブジェクトの全てが含まれるとは限られないためである。
　撮像画像におけるオブジェクトの位置は、上述したように、撮像画像における任意の位置を原点とする二次元座標など、設定されている座標系の座標値で表される。また、フレーム画像に含まれないメタデータが設定されたオブジェクトに対しては、例えば（ｘ，ｙ）＝（－１，－１）など、フレーム画像の外の座標値を設定する。
　以下、第１階層のタグ１が設定されたオブジェクトと、第３階層のタグ１－１－１が設定されたオブジェクトとが同一のオブジェクトとを例に挙げて、同一のオブジェクトを判定する方法の一例を説明する。
　第１階層のタグ１が設定されたオブジェクトの座標値を（ｘ１（ｋ）,ｙ１（ｋ））とし、第３階層のタグ１－１－１が設定されたオブジェクトの座標値を（ｘ１－１－１（ｋ）,ｙ１－１－１（ｋ））とする。ここで、ｋは、フレーム番号を示している。また、ｘは、ｘ座標を示し、ｙは、ｙ座標を示す。
　情報処理装置１００は、例えば下記の数式１に示す演算を行い、上記２つのオブジェクト間の位置の誤差ｅｒｒを求める。
Figure JPOXMLDOC01-appb-M000001
　ここで、上記数式１に示すｓｇｎ（ｘ）は、ｘ＜０のとき－１、ｘ＝０のとき０、およびｘ＞１のとき１をとる符号関数である。また、上述したように、フレーム画像に含まれないオブジェクトに対しては、例えば（ｘ，ｙ）＝（－１，－１）などの、フレーム画像の外の座標値が設定される。よって、フレーム画像内にオブジェクトが含まれる場合、符号関数ｓｇｎ（ｘ＋１）は、１を示し、また、フレーム画像内にオブジェクトが含まれない場合、符号関数ｓｇｎ（ｘ＋１）は、０を示す。
　つまり、上記数式１により求められる誤差ｅｒｒは、“比較する２つのオブジェクトの位置が共にフレーム画像内にある場合における座標の差の絶対値の和”を、“比較する２つのオブジェクトの位置が共にフレーム画像内にあるフレーム画像の総数”で割ったものである。
　なお、上記数式１では、誤差ｅｒｒを差の絶対値和により算出しているが、誤差ｅｒｒの算出方法は、上記数式１に限られない。例えば、情報処理装置１００は、差の二乗和や、正規化相互相関などにより、誤差ｅｒｒを算出してもよい。
　異なるメタデータが設定された同一のオブジェクトは、撮像画像内で同じ軌跡を有するはずである。よって、情報処理装置１００は、誤差ｅｒｒと設定されている閾値とを比較することによって、異なるメタデータが設定された同一のオブジェクトを判定する。例えば、情報処理装置１００は、誤差ｅｒｒが設定されている閾値以下である場合、または、誤差ｅｒｒが設定されている閾値より小さい場合に、異なるメタデータが設定された同一のオブジェクトであると判定する。
　異なるメタデータが設定された同一のオブジェクトの判定に係る閾値は、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などによって変更可能な可変値であってもよい。
　図５は、本実施形態に係る情報処理方法に係る設定処理の第１の例の結果の他の例を示す説明図である。図５は、図４のツリー構造で示される“上記（Ａ）に示す処理、および上記（Ｂ）に示す処理”が行われた結果に対して、さらに上記（Ｃ）に示す処理が行われた結果の一例を、ツリー構造で示している。
　例えば図４、図５を比較すると、上記（Ｃ）に示す処理がさらに行われることによって、図４に示す第３階層のタグ１－１－１が、第１階層のタグ１に置き換えられていることが分かる。
　よって、上記（Ｃ）に示す処理がさらに行われることによって、メタデータが設定されたオブジェクトの関連性を、より正確に求めることができる。
［１－４－２－２］情報処理方法に係る処理の第２の例：設定処理の第２の例
　上記第１の例に係る設定処理では、所定のイベントの終了時点を、所定のイベントが検出された時点として、所定のイベントに関連するオブジェクトに対してメタデータが設定された。
　しかしながら、所定のイベントの終了時点は、所定のイベントが検出された時点に限られない。例えば、情報処理装置１００は、所定のイベントが検出された後の時点に対応する撮像画像に含まれるオブジェクトに対して、メタデータを設定してもよい。上記のようにメタデータが設定されることによって、サッカーなどのスポーツにおける得点後の選手や、事故や犯罪を起こした人物など、所定のイベントに関連する人物が、所定のイベントが検出された後にどのような行動をとったのかを、より容易に把握させることが、可能となる。
　そこで、情報処理装置１００は、上記第１の例に係る設定処理に加え、さらに、所定のイベントから時系列に撮像画像を処理することによって、所定のイベントに関連するオブジェクトに対してメタデータを設定する。つまり、情報処理装置１００は、所定のイベントから逆時系列に撮像画像を処理すると共に、所定のイベントから時系列に撮像画像を処理して、所定のイベントに関連するオブジェクトに対してメタデータを設定する。
　情報処理装置１００が時系列に処理する撮像画像としては、例えば“所定のイベントが検出された時点から時系列における所定の条件を満たす時点までの期間における、時系列の各時点に対応する撮像画像”が、挙げられる。
　時系列に処理される撮像画像に係る所定の条件には、例えば、時間的な条件と、撮像画像から検出されるオブジェクトに関する条件との一方または双方が、含まれる。上記時間的な条件としては、例えば、“所定のイベントが検出された時点から予め設定されている期間後までの撮像画像が処理されたこと”が、挙げられる。情報処理装置１００は、例えば逆時系列に処理される撮像画像に係る時間的な条件の判定と同様に、撮像画像のタイムスタンプなどを参照することによって、上記時間的な条件を満たすか否かを判定する。また、上記オブジェクトに関する条件は、例えば逆時系列に処理される撮像画像に係るオブジェクトに関する条件と同様である。情報処理装置１００は、例えば逆時系列に処理される撮像画像に係るオブジェクトに関する条件の判定と同様に、上記オブジェクトに関する条件を満たすか否かを判定する。なお、時系列に処理される撮像画像に係る所定の条件が、上記に示す例に限られないことは、言うまでもない。
　なお、時系列に処理される撮像画像は、上記に示す例に限られない。例えば、情報処理装置１００が時系列に処理する撮像画像は、“所定のイベントが検出された時点から時系列に処理することが可能な、時系列における全ての時点に対応する撮像画像”であってもよい。
　例えば、情報処理装置１００が逆時系列に処理した撮像画像のうち、最後に処理した撮像画像に対応する時点が、所定のイベントの開始時点に該当する。また、例えば、情報処理装置１００が時系列に処理した撮像画像のうち、最後に処理した撮像画像に対応する時点が、所定のイベントの終了時点に該当する。
　第２の例に係る設定処理におけるメタデータの設定に係る処理は、処理の対象となる撮像画像の範囲が異なる点を除き、上記第１の例に係る設定処理と同様である。
　図６は、本実施形態に係る情報処理方法に係る設定処理の第２の例を説明するための流れ図である。図６は、情報処理装置１００が、所定のイベントに関連するオブジェクトに対して、タグ（メタデータの一例）を設定する例を示している。また、図６では、情報処理装置１００が処理する撮像画像が、複数のフレーム画像から構成される動画像である例を示している。
　情報処理装置１００は、図２に示すステップＳ１００と同様に、イベントを検出し、追尾対象のオブジェクトにタグを設定する（Ｓ３００）。ステップＳ３００の処理は、第１のオブジェクトに対してタグを設定する処理に該当する。
　ステップＳ３００において追尾対象のオブジェクトにタグが設定されると、情報処理装置１００は、処理対象の撮像画像を１つ前のフレーム画像とする（Ｓ３０２）。
　情報処理装置１００は、図２に示すステップＳ１０４と同様に、ステップＳ３００においてタグが設定されたオブジェクトを追尾する（Ｓ３０４）。
　情報処理装置１００は、図２に示すステップＳ１０６と同様に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ３０６）。ステップＳ３０６において判定される別のオブジェクトは、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に該当する。
　ステップＳ３０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ３１０の処理を行う。
　また、ステップＳ３０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、図２に示すステップＳ１０８と同様に、当該別のオブジェクトに対してタグを設定する（Ｓ３０８）。
　ステップＳ３０６において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ３０８の処理が行われると、情報処理装置１００は、図２に示すステップＳ１１０と同様に、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ３１０）。
　ステップＳ３１０において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ３０２からの処理を繰り返す。
　また、ステップＳ３１０において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、処理対象の画像を、追尾開始時点に対応するフレーム画像に戻す（Ｓ３１２）。ステップＳ３１２により処理対象の画像となるフレーム画像としては、例えば、イベントが検出された時点に対応するフレーム画像が、挙げられる。
　情報処理装置１００は、処理対象の撮像画像を、次のフレーム画像（すなわち、１つ後のフレーム画像）とする（Ｓ３１４）。例えば、ステップＳ３１０の処理において追尾対象のオブジェクトの追尾を終了すると判定された後にステップＳ３１４の処理が行われる場合、情報処理装置１００は、例えばイベントが検出された時点に対応するフレーム画像の１つ後のフレーム画像を、処理対象の撮像画像とする。また、例えば、後述するステップＳ３２２の処理が行われた後にステップＳ３１４の処理が行われる場合、情報処理装置１００は、例えば、処理対象の撮像画像となっているフレーム画像の１つ後のフレーム画像を、処理対象の撮像画像とする。つまり、情報処理装置１００は、ステップＳ３１４以降、撮像画像を時系列に処理する。
　情報処理装置１００は、例えば図２のステップＳ１０４と同様に、ステップＳ３００において選択されたオブジェクトを追尾する（Ｓ３１６）。
　情報処理装置１００は、例えば図２のステップＳ１０６と同様に、追尾対象のオブジェクトの近くに別のオブジェクトがあるか否かを判定する（Ｓ３１８）。ステップＳ３１８において判定される別のオブジェクトは、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）に該当する。
　ステップＳ３１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、情報処理装置１００は、後述するステップＳ３２２の処理を行う。
　また、ステップＳ３１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定された場合、情報処理装置１００は、ステップＳ３０８と同様に、当該別のオブジェクトに対してタグを設定する（Ｓ３２０）。
　ステップＳ３１８において追尾対象のオブジェクトの近くに別のオブジェクトがあると判定されない場合、または、ステップＳ３２０の処理が行われると、情報処理装置１００は、例えば図３のステップＳ２２２と同様に、追尾対象のオブジェクトの追尾を終了するか否かを判定する（Ｓ３２２）。
　ステップＳ３２２において追尾対象のオブジェクトの追尾を終了すると判定されない場合、情報処理装置１００は、ステップＳ３１４からの処理を繰り返す。また、ステップＳ３２２において追尾対象のオブジェクトの追尾を終了すると判定された場合、情報処理装置１００は、図６に示す処理を終了する。
　情報処理装置１００は、第２の例に係る設定処理として、例えば図６に示す処理を行う。図６に示す処理が行われることによって、第１のオブジェクト、および第１のオブジェクトに直接的に関連する第３のオブジェクト（第２のオブジェクトの一例）それぞれに対して、タグが設定される。
　なお、第２の例に係る設定処理の例は、図６に示す例に限られない。
　例えば、情報処理装置１００は、さらに図３に示す処理を行ってもよい。
　また、情報処理装置１００は、例えば、所定のイベントに関連したオブジェクトにタグを設定すると共に、タグが設定されたオブジェクトの移動の軌跡を記録してもよい。
［１－４－２－３］情報処理方法に係る処理の第３の例：設定処理の第３の例
　上記第１の例に係る設定処理、および上記第２の例に係る設定処理では、１つの撮像デバイス２００により時系列に撮像された撮像画像に含まれるオブジェクトに対して、メタデータを設定する処理を示した。しかしながら、上述したように、本実施形態に係る情報処理システムは、複数の撮像デバイス２００を含みうる。
　そこで、設定処理の第３の例として、“複数の撮像デバイス２００により撮像された撮像画像に基づいて、所定のイベントに関連するオブジェクトに対してメタデータを設定する処理”について、説明する。
　図７は、本実施形態に係る情報処理方法に係る設定処理の第３の例を説明するための説明図である。図７のＡは、２つの撮像デバイス２００Ａ、２００Ｂそれぞれが、サッカーのフィールドを撮像している例を示している。図７のＢは、撮像デバイス２００Ａにより選手Ｏ（オブジェクトの一例）が撮像された撮像画像の一例を示している。また、図７のＣは、撮像デバイス２００Ｂにより選手Ｏが撮像された撮像画像の一例を示している。
　以下、図７を適宜参照しつつ、設定処理の第３の例について説明する。
　情報処理装置１００は、撮像デバイス２００ごとの撮像画像を処理して、撮像デバイス２００ごとに、所定のイベントに関連するオブジェクトに対してメタデータを設定する。情報処理装置１００は、例えば、複数の撮像デバイス２００それぞれにより撮像された撮像画像に対して、上記第１の例に係る設定処理、または上記第２の例に係る設定処理を行うことによって、メタデータを設定する。
　また、情報処理装置１００は、撮像デバイス２００ごとにメタデータが設定された所定のイベントに関連するオブジェクトを、対応付けてもよい。
　複数の撮像デバイス２００それぞれにより撮像された撮像画像に基づき設定されたメタデータの対応付けを行う場合、情報処理装置１００は、例えば、上記第１の例に係る設定処理における上記数式１のような評価関数を用いて、メタデータの対応付けを行う。
　ここで、第３の例に係る設定処理におけるメタデータの対応付けは、上記第１の例に係る設定処理におけるメタデータの対応付けと異なり、異なる撮像デバイス２００により撮像された撮像画像に基づき設定されたメタデータの対応付けである。
　そこで、情報処理装置１００は、例えば、複数の撮像デバイス２００それぞれにより撮像された撮像画像におけるオブジェクトの位置を、共通の座標系の座標に座標変換する。そして、情報処理装置１００は、座標変換後のオブジェクトの位置を利用して、上記数式１のような評価関数によりメタデータの対応付けを行う。
　複数の撮像デバイス２００それぞれにより撮像された撮像画像におけるオブジェクトの位置の座標変換は、例えば、各時点における撮像デバイス２００の撮像状態に基づいて行うことが可能である。各時点における撮像デバイス２００の撮像状態は、例えば、画角と、フィールドなどの撮像対象に対する撮像角度（例えば、方位角、仰角、俯角）とを含んで表される。例えば、各時点における撮像デバイス２００の画角と、撮像対象に対する撮像角度とが既知であれば、オブジェクトの位置を、フィールドなどの撮像対象を真上、あるいは斜め上からから見た平面地図上の座標に変換することができる。なお、撮像画像におけるオブジェクトの位置の座標変換の例は、上記に示す例に限られず、情報処理装置１００は、共通の座標系の座標に座標変換することが可能な、任意の処理によって、撮像画像におけるオブジェクトの位置を変換してもよい。
　第３の例に係る設定処理においてメタデータの対応付けが行われる場合、情報処理装置１００は、例えば、設定されたメタデータごとに、対応付けられた他のオブジェクトに対して設定されたメタデータとの関連性を記録する。
　例えば、情報処理装置１００は、設定されたメタデータごとのテーブル（またはデータベース）に、対応付けられた他のメタデータとの関連性を記録する。具体例を挙げると、撮像デバイス２００Ａにおける第２階層のタグＡ－１が設定されたオブジェクトと、撮像デバイス２００Ｂにおける第２階層のタグＢ－１が設定されたオブジェクトとが、同一のオブジェクトと判定された場合、情報処理装置１００は、タグＡ－１に対応するテーブルにタグＢ－１を記録し、タグＢ－１に対応するテーブルにタグＡ－１を記録する。
　例えば上記のように“設定されたメタデータごとに対応付けられた他のオブジェクトに対して設定されたメタデータとの関連性を記録すること”によって、複数の撮像デバイス２００間でのメタデータの相関関係を、より容易に取り出すことが可能となる。
　なお、情報処理装置１００は、例えば上記第１の例に係る設定処理における上記（Ｃ）に示す処理によって、対応付けられたメタデータの統合を行ってもよい。
［１－４－２－４］情報処理方法に係る処理の第４の例：設定処理の第４の例
　“複数の撮像デバイス２００により撮像された撮像画像に基づいて、所定のイベントに関連するオブジェクトに対してメタデータを設定する処理”は、上記第３の例に係る設定処理に限られない。
　上記第３の例に係る設定処理では、撮像デバイス２００それぞれにより撮像された撮像画像におけるオブジェクトの位置を、共通の座標系の座標に座標変換した。ここで、撮像デバイス２００それぞれにおける座標変換のための変換式が分かれば、共通の座標系の座標から、撮像デバイス２００それぞれにより撮像された撮像画像におけるオブジェクトの位置に対応する座標系の座標へと、座標変換することが可能である。以下では、上記のように“共通の座標系の座標から、撮像デバイス２００により撮像された撮像画像におけるオブジェクトの位置に対応する座標系の座標へと、座標変換すること”を、「逆座標変換」と示す場合がある。
　そこで、情報処理装置１００は、まず、複数の撮像デバイス２００のうちの一部の撮像デバイス２００により撮像された撮像画像に基づいて、所定のイベントに関連するオブジェクトに対してメタデータを設定する。一部の撮像デバイス２００は、１つの撮像デバイス２００であってもよいし、２つ以上の撮像デバイス２００であってもよい。情報処理装置１００は、上記第１の例に係る設定処理、または上記第２の例に係る設定処理を行うことによって、メタデータを設定する。
　次に、情報処理装置１００は、上記一部の撮像デバイス２００により撮像された撮像画像に基づくメタデータの設定結果と、複数の撮像デバイス２００のうちの残りの撮像デバイス２００により撮像された撮像画像とに基づいて、所定のイベントに関連するオブジェクトに対して、メタデータを設定する。
　より具体的には、情報処理装置１００は、例えば、上記第３の例に係る設定処理と同様に、上記一部の撮像デバイス２００により撮像された撮像画像に基づきメタデータが設定されたオブジェクトの位置を、共通の座標系の座標へと座標変換する。情報処理装置１００は、残りの撮像デバイス２００における座標変換のための変換式を利用して、上記共通の座標系の座標に座標変換されたオブジェクトの位置を、上記残りの撮像デバイス２００により撮像された撮像画像におけるオブジェクトの位置に対応する座標系の座標へと、逆座標変換する。
　ここで、上記一部の撮像デバイス２００と、上記残りの撮像デバイス２００とは、異なる撮像デバイス２００である。つまり、上記一部の撮像デバイス２００と、上記残りの撮像デバイス２００とにおける各時点における撮像状態は、異なっていることが多いと考えられる。そのため、逆座標変換を行った結果に該当するオブジェクトの位置が、常に上記残りの撮像デバイス２００により撮像された撮像画像内にあるとは限られない。
　情報処理装置１００は、逆座標変換を行った結果であるオブジェクトの位置が上記残りの撮像デバイス２００により撮像された撮像画像内にある場合に、当該撮像画像に含まれる、逆座標変換を行った結果に該当するオブジェクトの位置に対応するオブジェクトに対して、メタデータを設定する。
　第４の例に係る設定処理では、上記一部の撮像デバイス２００により撮像された撮像画像に対してのみ、上記第１の例に係る設定処理、または上記第２の例に係る設定処理によって、メタデータが設定される。また、逆座標変換に係る処理に係る処理負荷は、上記第１の例に係る設定処理および上記第２の例に係る設定処理それぞれの処理負荷よりも、低い。
　よって、第４の例に係る設定処理が行われる場合には、上記第３の例に係る設定処理が行われる場合よりも、設定処理に係る処理負荷を低減することができる。
　情報処理装置１００は、例えば、上記第１の例に係る設定処理～上記第４の例に係る設定処理のいずれかの処理を行うことによって、所定のイベントに関連するオブジェクトに対して、メタデータを設定する。
　以下、情報処理方法に係る処理の他の例として、設定処理における所定のイベントに関連するオブジェクトに対するメタデータの設定結果を用いる処理について、説明する。
［１－４－２－５］情報処理方法に係る処理の第５の例：編集処理の例
　情報処理装置１００は、設定処理における所定のイベントに関連するオブジェクトに対するメタデータの設定結果に基づいて、撮像画像を編集する。
　例えば図４、図５に示すように、設定処理によりメタデータが設定されることによって、メタデータが設定されたオブジェクトの関連性、すなわち、所定のイベントに関連するオブジェクトの関連性が得られる。よって、設定処理におけるメタデータの設定結果に基づいて撮像画像を編集することによって、撮像画像を、所定のイベントに関連するオブジェクトの関連性を用いて編集することができる。
　また、情報処理装置１００は、編集された画像を、表示デバイス３００の表示画面に表示させてもよいし、記憶デバイス４００に記録させてもよい。また、情報処理装置１００は、編集された画像を、サーバなどの外部装置に送信してもよい。
　例えば図７に示す例のように、サッカーのフィールドが撮像デバイス２００で撮像される場合を例に挙げると、フィールド全体を見渡せる画角で撮像されることが多い。フィールド全体を見渡せる画角で撮像された場合、複数の選手を含むプレー全体を撮像することができるという利点があるが、その反面、ボールやプレーに関与している選手が小さくなってしまうという欠点がある。
　ボールやプレーに関与している選手を大きく撮像することは、例えば、撮像デバイス２００における光学ズームによって実現することができる。ここで、光学ズームは、光学系を構成するズームレンズを動かしてズームレンズの焦点距離を変更することによって、ズーム倍率を変更するズーム方式である。
　しかしながら、光学ズームを用いる場合には、ボールやプレーに関与している選手のみしか撮像することができない。
　そこで、情報処理装置１００は、撮像画像に対する電子ズームと、撮像画像に基づく複数の画像の合成との一方または双方を含む画像処理によって、撮像画像を編集する。
　電子ズームとは、光学系を構成するレンズを動かさずに、画像に対して画像処理を行うことによってズーム倍率を変更するズーム方式である。電子ズームが行われる場合には、画像の一部の領域が切り出され、切り出された領域に対して補間処理などの各種処理が適宜行われた上で、当該領域の画像が拡大される。
　撮像画像に基づく複数の画像としては、例えば、１つの撮像デバイス２００により撮像された撮像画像から切り出される複数の画像（例えば、同一のフレーム画像から切り出される複数の画像、または、異なるフレーム画像から切り出される複数の画像）が挙げられる。また、撮像画像に基づく複数の画像は、複数の撮像デバイス２００によりそれぞれ撮像された複数の撮像画像（当該撮像画像から切り出される画像も含みうる。）であってもよい。
　複数の画像の合成としては、例えば、アルファ合成や、複数の画像の重畳、複数の画像の貼り付け、画像の切り出しおよび貼り付けなど、複数の画像を合成することが可能な、任意の画像処理が挙げられる。また、複数の画像の合成には、例えば、ピクチャインピクチャを実現するための合成処理などの、表示画面に画像が表示されたときに複数の画像が同時に表示されるような形式とする画像処理が、含まれていてもよい。
　図８は、本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。図８のＡ～図８のＤそれぞれは、サッカーのフィールドが撮像デバイス２００で撮像される場合における編集処理の結果に該当する。
　例えば、設定された長さ以上の期間、一人の選手がボールを持ち続けた場合、情報処理装置１００は、図８のＡに示すように、電子ズームにより当該選手を拡大する。
　また、別の選手がボールを持つ選手に近づく、または、ボールを持つ選手が別の選手にボールをパスするなどのサブイベントが発生する場合、情報処理装置１００は、図８のＢに示すように、当該サブイベントに関与する選手が編集後の画像内に含まれるように電子ズームにおける切り出し範囲を広げる。情報処理装置１００は、設定されているメタデータを参照することによって、サブイベントの発生時点よりも前の時点に、電子ズームにおける切り出し範囲を広げる。また、情報処理装置１００は、設定されているメタデータを参照することによって、サブイベントの発生時点より後の時点における選手やボールの位置から、電子ズームの切り出し範囲を設定してもよい。
　上記のように、設定されたメタデータを利用して電子ズームを行うことによって、撮像画像を、プレーに関与している選手だけでなく、近い将来にプレーに関与する選手が含まれるような画像となるように編集することができる。
　編集処理を行う場合に、サブイベントの発生時点に対して遡る期間としては、予め設定されている固定の期間が、挙げられる。また、上記遡る期間は、サブイベントに関連するオブジェクトに関する条件を満たすまでなど、可変の期間であってもよい。サブイベントに関連するオブジェクトに関する条件としては、例えば、ブイベントに関与する選手がボールに対して一定の距離までなど、サブイベントに関連するオブジェクト間の距離に関する条件が、挙げられる。また、サブイベントに関連するオブジェクトに関する条件は、“予め設定されている固定の期間が経過するまで、または、サブイベントに関連するオブジェクト間の距離に関する条件を満たすまで”など、複数の条件を組み合わせた条件であってもよい。
　サッカーなどのスポーツにおいては、ロングパスなどによってボールの位置が急に大きく変わる場合がある。上記のような場合に電子ズームを行うと、電子ズームの切り出し範囲が大きくなってしまい、ボールや選手が小さくなってしまうことが、起こりうる。
　そこで、情報処理装置１００は、例えば図８のＣや図８のＤに示すように、複数の画像を合成することによって、撮像画像を編集する。情報処理装置１００は、例えば、現在プレーに関与している選手の画像と、近い将来にプレーに関与する選手の画像とを、別々に切り出して電子ズームを行い、複数の画像を合成する。また、情報処理装置１００は、フィールド全体が撮像された画像と、電子ズームによって切り出された画像とを、合成することも可能である。合成される画像は、図８のＣに示すように２つの画像であってもよいし、図８のＤに示すように３つ以上の画像であってもよい。
　なお、上述したように、撮像画像に基づく複数の画像には、複数の撮像デバイス２００により撮像された撮像画像が含まれうる。例えば、スポーツを複数の撮像デバイス２００で撮像した場合、フィールド全体を撮像する撮像デバイス２００とは別に、プレーに関与している選手を光学ズームによって拡大して撮像している撮像デバイス２００が存在する場合がある。よって、複数の撮像デバイス２００により撮像された撮像画像に基づき画像を合成する場合、プレーの状況によっては、光学ズームにより拡大された撮像画像が用いられてもよい。
［１－４－２－６］情報処理方法に係る処理の第６の例：表示処理の例
　情報処理装置１００は、所定のイベントに関連するオブジェクトに対するメタデータの設定結果に基づいて、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる。情報処理装置１００は、例えば、表示命令を含む制御信号と表示させる画像を示す信号とを、表示デバイス３００に送信することによって、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示デバイス３００の表示画面に表示させる。
　メタデータが設定された所定のイベントに関連するオブジェクトが示される画像としては、例えば、“メタデータが設定されているオブジェクトが示される撮像画像”と、“メタデータが設定されているオブジェクトが示される、編集処理により編集された画像”とが、挙げられる。
　図９は、本実施形態に係る情報処理方法に係る表示処理の一例を説明するための説明図である。図９のＡ～図９のＤそれぞれは、サッカーのフィールドが撮像デバイス２００で撮像される場合において表示処理により表示画面に表示される画像に該当する。図９のＡ～図９のＣそれぞれは、“メタデータが設定されているオブジェクトが示される撮像画像”の一例を示し、図９のＤは、“メタデータが設定されているオブジェクトが示される、編集処理により編集された画像”の一例を示している。
　メタデータが設定されているオブジェクトは、例えば下記のように明示される。なお、メタデータが設定されているオブジェクトを示す方法が、下記に示す例に限られないことは、言うまでもない。
　　・メタデータに対応する線種の表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる（図９のＡ～図９のＤ）
　　・メタデータに対応する色の表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる
　　・メタデータに対応する形の表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる
　　・メタデータに対応する線の太さの表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる
　　・メタデータが設定されているオブジェクトが将来動く方向を示す表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる（図９のＢ）
　　・イベントまたはサブイベントが起こるまでの時間を示す表示オブジェクトを、メタデータが設定されたオブジェクトに対応する位置に表示させる（図９のＣ）
　　・上記の表示のうちの、２以上の組み合わせ
　情報処理装置１００は、例えば、図９に示すようなメタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、常に表示させる。
　また、情報処理装置１００は、例えば、図９に示すようなメタデータが設定された所定のイベントに関連するオブジェクトが示される画像を表示画面に表示させるか否かを、切り替えることが可能であってもよい。
　情報処理装置１００は、例えば、記憶部（後述する）などの記録媒体に記憶されている表示設定情報に基づいて、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を表示画面に表示させるか否かを切り替える。
　表示設定情報としては、例えば、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を表示画面に表示させるか否かを示すフラグが、挙げられる。また、表示設定情報は、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を表示画面に表示させるか否かと、メタデータが設定されているオブジェクトを示す方法とが規定される、任意の形式のデータであってもよい。表示設定情報が示す内容は、例えばユーザ操作に基づいて、変更されうる。
　表示設定情報を参照することによって、情報処理装置１００は、メタデータが設定された所定のイベントに関連するオブジェクトの表示のさせ方（メタデータが設定されていることを示さないことも含む。）を、変えることができる。また、表示設定情報が示す内容がユーザ操作に基づいて変更される場合、ユーザは、メタデータが設定された所定のイベントに関連するオブジェクトの表示のさせ方を、選択することができる。
　なお、表示処理により表示画面に表示される画像は、図９に示す例のように、スポーツが撮像された撮像画像に基づく画像に限られない。
　図１０は、本実施形態に係る情報処理方法に係る表示処理の他の例を説明するための説明図である。図１０は、防犯カメラとして機能する撮像デバイス２００により撮像された撮像画像に基づく画像が、表示処理により表示画面に表示される場合の一例を示している。
　情報処理システム１０００が、防犯カメラとして機能する撮像デバイス２００を有する場合、所定のイベントの一例としては、立ち入り禁止区域内への人物の侵入が、挙げられる。情報処理装置１００は、人物が立ち入り禁止区域に進入した時点を所定のイベントが検出された時点として、設定処理により、当該所定のイベントに関連するオブジェクトに対してメタデータを設定する。情報処理装置１００は、例えば、上記第１の例に係る設定処理または上記第２の例に係る設定処理により、所定のイベントに関連するオブジェクトに対してメタデータを設定する。
　所定のイベントに関連するオブジェクトに対するメタデータの設定の一例としては、例えば下記に示す例が挙げられる。
　　・立ち入り禁止区域に進入した人物に対してタグを設定すること（第１のオブジェクトに対するメタデータの設定の一例）
　　・立ち入り禁止区域に進入した人物に近づいた別の人物に対してタグを設定すること（第２のオブジェクトに対するメタデータの設定の一例）
　　・立ち入り禁止区域に進入した人物が置き去りにした荷物に対してタグを設定すること（第２のオブジェクトに対するメタデータの設定の一例）
　　・立ち入り禁止区域に進入した人物が持ち去った荷物に対してタグを設定すること（第２のオブジェクトに対するメタデータの設定の一例）
　情報処理システム１０００が、防犯カメラとして機能する撮像デバイス２００を複数有する場合、情報処理装置１００は、撮像デバイス２００それぞれにより撮像された撮像画像ごとに、メタデータを設定する。また、情報処理装置１００は、撮像デバイス２００それぞれにより撮像された撮像画像それぞれに対して、任意のオブジェクト検出処理を行う。そして、情報処理装置１００は、オブジェクト検出処理の結果を利用して、同一のオブジェクトに対して同一のメタデータが設定されるように、メタデータを統合する。
　情報処理装置１００は、上記のように設定されたメタデータを利用して、メタデータが設定されたオブジェクトが示される画像を、表示画面に表示させる。
　所定のイベントが立ち入り禁止区域内への人物の侵入である場合において、情報処理装置１００が表示画面に表示させる画像の例としては、下記に示す例が挙げられる。なお、所定のイベントが立ち入り禁止区域内への人物の侵入である場合において表示画面に表示される画像の例が、下記に示す例に限られないことは、言うまでもない。
　　・撮像デバイス２００が配置されている領域を示す地図（所定のイベントが発生した場所全体を俯瞰することが可能な表現の一例）上に、メタデータが設定されたオブジェクトが表示される画像
　　・上記地図上に、メタデータが設定されたオブジェクトを時系列に同時に表示される画像
　　・メタデータが設定されたオブジェクトの進行方向が矢印などで表示される画像
　　・イベントまたはサブイベントが発生するまでの時間が表示される画像
　　・上記の画像のうちの、２以上の組み合わせ
［１－４－３］情報処理装置１００の構成の一例
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、情報処理装置１００の構成の一例を説明する。
　図１１は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、本実施形態に係る情報処理方法に係るデータや各種アプリケーションなどの、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
　操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
　図１２は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。また、情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
　ＭＰＵ１５０は、例えば、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する設定処理部１１０、編集処理部１１２、および表示処理部１１４の役目を果たす。なお、設定処理部１１０、編集処理部１１２、および表示処理部１１４のうちの一部または全部は、専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、本実施形態に係る情報処理方法に係るデータや各種アプリケーションなどの、様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
　また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。
　なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワーク５００を介して（あるいは、直接的に）、撮像デバイス２００、表示デバイス３００、記憶デバイス４００、サーバ（図示せず）などの外部装置などと、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。また、通信インタフェース１６４は、ネットワーク５００に対応する任意の構成であってもよい。
　情報処理装置１００は、例えば図１２に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図１２に示す構成に限られない。
　例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　また、情報処理装置１００は、例えば、情報処理システム１０００において撮像デバイス２００として機能する撮像デバイスを、さらに備えていてもよい。情報処理装置１００が撮像デバイスを備える場合、当該撮像デバイスは、撮像により撮像画像（動画像または静止画像）を生成する撮像部（図示せず）として機能する。
　また、情報処理装置１００は、例えば、記録媒体１５６、操作入力デバイス１６０、および表示デバイス１６２のうちの一部または全部を備えない構成をとることが可能である。
　また、情報処理装置１００は、例えば、後述する情報処理装置１００の適用例に応じた構成をとることが可能である。
　また、例えば、図１２に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated　Circuit）で実現されてもよい。
　再度図１１を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワーク５００を介して（あるいは、直接的に）、撮像デバイス２００、表示デバイス３００、記憶デバイス４００などの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
　ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワーク５００を介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、設定処理部１１０と、編集処理部１１２と、表示処理部１１４とを有し、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
　設定処理部１１０は、上記設定処理を主導的に行う役目を果たし、撮像デバイス２００により撮像された撮像画像に基づいて、撮像画像に含まれるオブジェクトに対してメタデータを設定する。設定処理部１１０は、例えば、上記［１－４－２－１］に示す第１の例に係る設定処理、上記［１－４－２－２］に示す第２の例に係る設定処理、上記［１－４－２－３］に示す第３の例に係る設定処理、および上記［１－４－２－４］に示す第４の例に係る設定処理のうちの、いずれかの処理を行うことによって、メタデータを設定する。
　図１３は、図１１に示す設定処理部１１０の構成の一例を示すブロック図である。図１３は、階層が設けられるメタデータを設定する場合における設定処理部１１０の構成の一例を示している。図１３では、第１階層のメタデータ～第３階層のメタデータという３つの階層のメタデータを設定する例を示しているが、階層が設けられるメタデータを設定する場合における階層数は、３つに限られない。
　設定処理部１１０は、例えば、イベント検出部１２０と、追尾対象決定部１２２Ａ、１２２Ｂ、１２２Ｃと、追尾処理部１２４Ａ、１２４Ｂ、１２４Ｃと、記録部１２６Ａ、１２６Ｂ、１２６Ｃと、メタデータ付与部１２８Ｂ、１２８Ｃと、メタデータ調整部１３０とを有する。追尾対象決定部１２２Ａ、追尾処理部１２４Ａ、および記録部１２６Ａは、例えば図２に示す処理を行うことによって、第１階層のメタデータを設定する。また、追尾対象決定部１２２Ｂ、追尾処理部１２４Ｂ、記録部１２６Ｂ、およびメタデータ付与部１２８Ｂは、例えば図３に示す処理を行うことによって、第２階層のメタデータを設定する。また、追尾対象決定部１２２Ｃ、追尾処理部１２４Ｃ、記録部１２６Ｃ、およびメタデータ付与部１２８Ｃは、例えば図３に示す処理を行うことによって、第３階層のメタデータを設定する。
　イベント検出部１２０は、所定のイベントを検出する。
　イベント検出部１２０において所定のイベントが検出されると、追尾対象決定部１２２Ａは、追尾対象のオブジェクトを決定する。追尾対象決定部１２２Ａが決定する追尾対象は、第１のオブジェクト（所定のイベントに直接的に関連するオブジェクト）である。
　追尾対象決定部１２２Ａにおいて追尾対象のオブジェクトが決定されると、記録部１２６Ａは、設定されたメタデータとオブジェクトの位置とを、記憶部（図示せず）などの記録媒体に記録する。
　追尾処理部１２４Ａは、追尾対象決定部１２２Ａにおいて決定された追尾対象のオブジェクトを追尾し、記録部１２６Ａは、追尾処理部１２４Ａにおける追尾結果を、記録媒体に記録する。
　また、追尾処理部１２４Ａは、追尾対象のオブジェクトの近くに別のオブジェクトがあるかを判定する。別のオブジェクトがあると判定された場合、追尾処理部１２４Ａは、判定結果を、メタデータ付与部１２８Ｂに伝達する。
　メタデータ付与部１２８Ｂは、追尾処理部１２４Ａから伝達される判定結果に基づき、第２階層のメタデータを設定する。第２階層のメタデータが設定されると、記録部１２６Ｂは、設定されたメタデータとオブジェクトの位置とを、記録媒体に記録する。
　追尾処理部１２４Ａは、追尾対象決定部１２２Ａにおいて決定された追尾対象のオブジェクトの追尾を終了すると判定された場合、追尾が終了したことを、追尾処理部１２４Ｂに伝達する。
　追尾が終了したことを伝達された追尾処理部１２４Ｂは、記録部１２６Ｂの記録結果を利用して、追尾対象を決定する。追尾対象決定部１２２Ｂが決定する追尾対象は、第３のオブジェクト（第１のオブジェクトに直接的に関連するオブジェクト）である。
　追尾処理部１２４Ｂは、追尾対象決定部１２２Ｂにおいて決定された追尾対象のオブジェクトを追尾し、記録部１２６Ｂは、追尾処理部１２４Ｂにおける追尾結果を、記録媒体に記録する。
　また、追尾処理部１２４Ｂは、追尾対象のオブジェクトの近くに別のオブジェクトがあるかを判定する。別のオブジェクトがあると判定された場合、追尾処理部１２４Ｂは、判定結果を、メタデータ付与部１２８Ｃに伝達する。
　メタデータ付与部１２８Ｃは、追尾処理部１２４Ｂから伝達される判定結果に基づき、第３階層のメタデータを設定する。第３階層のメタデータが設定されると、記録部１２６Ｃは、設定されたメタデータとオブジェクトの位置とを、記録媒体に記録する。
　追尾処理部１２４Ｂは、追尾対象決定部１２２Ｂにおいて決定された追尾対象のオブジェクトの追尾を終了すると判定された場合、追尾が終了したことを、追尾処理部１２４Ｃに伝達する。
　追尾が終了したことを伝達された追尾処理部１２４Ｃは、記録部１２６Ｃの記録結果を利用して、追尾対象を決定する。追尾対象決定部１２２Ｃが決定する追尾対象は、第４のオブジェクト（第３のオブジェクトに直接的に関連するオブジェクト）である。
　追尾処理部１２４Ｃは、追尾対象決定部１２２Ｃにおいて決定された追尾対象のオブジェクトを追尾し、記録部１２６Ｃは、追尾処理部１２４Ｃにおける追尾結果を、記録媒体に記録する。
　追尾処理部１２４Ｃは、追尾対象決定部１２２Ｃにおいて決定された追尾対象のオブジェクトの追尾を終了すると判定された場合、追尾が終了したことを、メタデータ調整部１３０に伝達する。
　メタデータ調整部１３０は、例えば上記（Ｃ）に示す処理を行うことによって、同一のオブジェクトに対して設定された異なるメタデータを、統合する。
　設定処理部１１０は、例えば図１３に示す構成によって図２、図３に示す処理を行い、階層が設けられるメタデータを設定する。
　なお、設定処理部１１０の構成は、図１３に示す例に限られない。
　例えば、図１３では、予め設定されている階層までメタデータが設定されるまでメタデータを設定する例を示したが、設定処理部１１０は、新たにメタデータを設定することができなくなる階層まで、メタデータを設定してもよい。つまり、設定処理部１１０は、階層数を動的に変えることが可能である。
　また、上述したように、設定処理部１１０は、階層が設けられていないメタデータを設定することも可能である。
　再度図１１を参照して、情報処理装置１００の構成の一例を説明する。編集処理部１１２は、上記編集処理を主導的に行う役目を果たし、設定処理部１１０におけるメタデータの設定結果に基づいて、撮像画像を編集する。編集処理部１１２は、例えば、上記［１－４－２－５］に示す編集処理を行うことによって、撮像画像を編集する。
　表示処理部１１４は、上記表示処理を主導的に行う役目を果たし、設定処理部１１０におけるメタデータの設定結果に基づいて、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる。表示処理部１１４は、例えば、上記［１－４－２－６］に示す表示処理を行うことによって、メタデータが設定された所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる。
　制御部１０４は、例えば、設定処理部１１０、編集処理部１１２、および表示処理部１１４を有することにより、本実施形態に係る情報処理方法に係る処理を主導的に行う。
　なお、制御部１０４の構成は、図１１に示す例に限られない。
　例えば、制御部１０４は、編集処理部１１２と表示処理部１１４との一方または双方を、備えていなくてもよい。編集処理部１１２と表示処理部１１４との一方または双方を備えない場合であっても、制御部１０４は、設定処理によりメタデータを設定することができる。よって、制御部１０４が編集処理部１１２と表示処理部１１４との一方または双方を備えない構成であっても、情報処理装置１００は、撮像画像に基づき検出される所定のイベントの把握を補助することができる。
　また、制御部１０４は、例えば、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成を有することが可能である。
　情報処理装置１００は、例えば図１１に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、設定処理、編集処理、および表示処理）を行う。したがって、情報処理装置１００は、例えば図１１に示す構成によって、撮像画像に基づき検出される所定のイベントの把握を補助することができる。
　また、例えば図１１に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
　なお、本実施形態に係る情報処理装置の構成は、図１１に示す構成に限られない。
　例えば、本実施形態に係る情報処理装置は、図１１に示す設定処理部１１０、編集処理部１１２、および表示処理部１１４のうちの一部または全部を、制御部１０４とは個別に備えること（例えば、編集処理部１１２、および表示処理部１１４のうちの一部または全部を別の処理回路で実現すること）ができる。
　また、上述したように、本実施形態に係る情報処理装置は、編集処理部１１２と表示処理部１１４との一方または双方を、備えていなくてもよい。
　また、上述したように、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１１に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
　また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。
［２］本実施形態に係る情報処理システムを構成する各装置の適用例
　以上、本実施形態に係る情報処理システムの構成要素として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣ（Personal　Computer）やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”などが、挙げられる。
　また、本実施形態に係る情報処理システムの構成要素として、撮像デバイスを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”や、“スマートホンや携帯電話などの撮像を行うことが可能な通信装置”、“撮像を行うことが可能なタブレット型の装置”、“撮像を行うことが可能なゲーム機”など、撮像機能を有する任意の装置が、挙げられる。また、上述したように、本実施形態に係る情報処理システムでは、本実施形態に係る情報処理装置が撮像デバイスの役目を果たしてもよい。
　また、本実施形態に係る情報処理システムの構成要素として、表示デバイスを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“テレビ受像機”、“ヘッドマウントディスプレイや、アイウェア型の装置などのウェアラブル装置”、“ＰＣなどの表示を行うことが可能なコンピュータ”、“表示を行うことが可能なタブレット型の装置”、“デジタルスチルカメラやデジタルビデオカメラなどの表示を行うことが可能なカメラ”、“スマートホンや携帯電話などの表示を行うことが可能な通信装置”、“表示を行うことが可能なゲーム機”など、画像を表示する機能を有する任意の装置が、挙げられる。
　また、本実施形態に係る情報処理システムの構成要素として、記憶デバイスを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣなどのデータを記憶することが可能なコンピュータ”、“データを記憶することが可能なタブレット型の装置”、“デジタルスチルカメラやデジタルビデオカメラなどのデータを記憶することが可能なカメラ”、“スマートホンや携帯電話などのデータを記憶することが可能な通信装置”、“データを記憶することが可能なゲーム機”など、記録媒体にデータを記憶する機能を有する任意の装置が、挙げられる。
（本実施形態に係るプログラム）
　コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記設定処理”、“上記設定処理と、上記編集処理および上記表示処理の一方または双方とを組み合わせた処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、撮像画像に基づき検出される所定のイベントの把握を補助することができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
　また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像デバイスにより時系列に撮像された撮像画像に基づいて、前記撮像画像に含まれるオブジェクトに対してメタデータを設定する設定処理部を備え、
　前記設定処理部は、前記撮像画像から検出される所定のイベントから前記時系列とは逆の逆時系列に、前記撮像画像を処理し、前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して、前記メタデータを設定する、情報処理装置。
（２）
　前記設定処理部は、前記所定のイベントに直接的に関連する第１のオブジェクト、および前記所定のイベントに間接的に関連する第２のオブジェクトそれぞれに対して、前記メタデータを設定する、（１）に記載の情報処理装置。
（３）
　前記設定処理部は、
　前記所定のイベントが検出された前記撮像画像から前記第１のオブジェクトを特定し、
　前記逆時系列に前記撮像画像を処理して、特定された前記第１のオブジェクトに関連するオブジェクトを判定し、
　判定された前記第１のオブジェクトに関連するオブジェクトを前記第２のオブジェクトとする、（２）に記載の情報処理装置。
（４）
　前記設定処理部は、
　前記逆時系列の各時点に対応する前記撮像画像ごとに、前記第１のオブジェクトを検出し、
　前記第１のオブジェクトが検出された前記撮像画像から、前記第１のオブジェクトに直接的に関連する第３のオブジェクトを判定し、
　判定された前記第３のオブジェクトを前記第２のオブジェクトとする、（３）に記載の情報処理装置。
（５）
　前記設定処理部は、前記第１のオブジェクトとの距離が所定の閾値以下のオブジェクト、または、前記第１のオブジェクトとの距離が前記所定の閾値より小さいオブジェクトを、前記第３のオブジェクトであると判定する、（４）に記載の情報処理装置。
（６）
　前記設定処理部は、
　さらに、判定された前記第３のオブジェクトを含む前記撮像画像から、前記第３のオブジェクトに直接的に関連する第４のオブジェクトを判定し、
　判定された前記第４のオブジェクトを前記第２のオブジェクトとする、（４）または（５）に記載の情報処理装置。
（７）
　前記設定処理部は、前記所定のイベントが検出された時点から前記逆時系列における所定の条件を満たす時点までの期間における、前記逆時系列の各時点に対応する前記撮像画像を処理する、（１）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記所定の条件は、時間的な条件と、前記撮像画像から検出されるオブジェクトに関する条件との一方または双方を含む、（７）に記載の情報処理装置。
（９）
　前記設定処理部は、さらに、前記所定のイベントから前記時系列に前記撮像画像を処理し、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、（１）～（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記設定処理部は、
　前記メタデータが設定された前記所定のイベントに関連するオブジェクトの中から、異なる前記メタデータが設定された同一のオブジェクトを判定し、
　前記同一のオブジェクトに対して設定された異なる前記メタデータを、統合する、（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記設定処理部は、複数の前記撮像デバイスにより撮像された前記撮像画像に基づいて、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、（１）～（１０）のいずれか１つに記載の情報処理装置。
（１２）
　前記設定処理部は、前記撮像デバイスごとの前記撮像画像を処理して、前記撮像デバイスごとに、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、（１１）に記載の情報処理装置。
（１３）
　前記設定処理部は、前記撮像デバイスごとに前記メタデータが設定された前記所定のイベントに関連するオブジェクトを、対応付ける、（１２）に記載の情報処理装置。
（１４）
　前記設定処理部は、設定されたメタデータごとに、対応付けられた他のオブジェクトに対して設定されたメタデータとの関連性を記録する、（１３）に記載の情報処理装置。
（１５）
　前記設定処理部は、
　複数の前記撮像デバイスのうちの一部の前記撮像デバイスにより撮像された前記撮像画像に基づいて、前記一部の撮像デバイスにより撮像された前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定し、
　前記一部の撮像デバイスにより撮像された前記撮像画像に基づく前記メタデータの設定結果と、複数の前記撮像デバイスのうちの残りの前記撮像デバイスにより撮像された前記撮像画像とに基づいて、前記残りの撮像デバイスにより撮像された前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、（１１）に記載の情報処理装置。
（１６）
　前記所定のイベントに関連するオブジェクトに対する前記メタデータの設定結果に基づいて、前記撮像画像を編集する編集処理部を、さらに備える、（１）～（１５）のいずれか１つに記載の情報処理装置。
（１７）
　前記編集処理部は、前記撮像画像に対する電子ズームと、前記撮像画像に基づく複数の画像の合成との一方または双方を含む画像処理によって、前記撮像画像を編集する、（１６）に記載の情報処理装置。
（１８）
　前記所定のイベントに関連するオブジェクトに対する前記メタデータの設定結果に基づいて、前記メタデータが設定された前記所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる表示処理部を、さらに備える、（１）～（１７）のいずれか１つに記載の情報処理装置。
（１９）
　前記表示処理部は、表示設定情報に基づいて、前記メタデータが設定された前記所定のイベントに関連するオブジェクトの表示のさせ方を変える、（１８）に記載の情報処理装置。
（２０）
　撮像デバイスにより時系列に撮像された撮像画像に基づいて、前記撮像画像に含まれるオブジェクトに対してメタデータを設定するステップを有し、
　前記設定するステップでは、前記撮像画像から検出される所定のイベントから前記時系列とは逆の逆時系列に、前記撮像画像が処理され、前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して、前記メタデータが設定される、情報処理装置により実行される情報処理方法。
　１００　　情報処理装置
　１０２　　通信部
　１０４　　制御部
　１１０　　設定処理部
　１１２　　編集処理部
　１１４　　表示処理部
　１２０　　イベント検出部
　１２２Ａ、１２２Ｂ、１２２Ｃ　　追尾対象決定部
　１２４Ａ、１２４Ｂ、１２４Ｃ　　追尾処理部
　１２６Ａ、１２６Ｂ、１２６Ｃ　　記録部
　１２８Ｂ、１２８Ｃ　　メタデータ付与部
　１３０　　メタデータ調整部
　１６２、３００　　表示デバイス
　２００、２００Ａ、２００Ｂ　　撮像デバイス
　５００　　ネットワーク
　１０００　　情報処理システム

Claims (20)

  1. 　撮像デバイスにより時系列に撮像された撮像画像に基づいて、前記撮像画像に含まれるオブジェクトに対してメタデータを設定する設定処理部を備え、
    　前記設定処理部は、前記撮像画像から検出される所定のイベントから前記時系列とは逆の逆時系列に、前記撮像画像を処理し、前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して、前記メタデータを設定する、情報処理装置。
  2. 　前記設定処理部は、前記所定のイベントに直接的に関連する第１のオブジェクト、および前記所定のイベントに間接的に関連する第２のオブジェクトそれぞれに対して、前記メタデータを設定する、請求項１に記載の情報処理装置。
  3. 　前記設定処理部は、
    　前記所定のイベントが検出された前記撮像画像から前記第１のオブジェクトを特定し、
    　前記逆時系列に前記撮像画像を処理して、特定された前記第１のオブジェクトに関連するオブジェクトを判定し、
    　判定された前記第１のオブジェクトに関連するオブジェクトを前記第２のオブジェクトとする、請求項２に記載の情報処理装置。
  4. 　前記設定処理部は、
    　前記逆時系列の各時点に対応する前記撮像画像ごとに、前記第１のオブジェクトを検出し、
    　前記第１のオブジェクトが検出された前記撮像画像から、前記第１のオブジェクトに直接的に関連する第３のオブジェクトを判定し、
    　判定された前記第３のオブジェクトを前記第２のオブジェクトとする、請求項３に記載の情報処理装置。
  5. 　前記設定処理部は、前記第１のオブジェクトとの距離が所定の閾値以下のオブジェクト、または、前記第１のオブジェクトとの距離が前記所定の閾値より小さいオブジェクトを、前記第３のオブジェクトであると判定する、請求項４に記載の情報処理装置。
  6. 　前記設定処理部は、
    　さらに、判定された前記第３のオブジェクトを含む前記撮像画像から、前記第３のオブジェクトに直接的に関連する第４のオブジェクトを判定し、
    　判定された前記第４のオブジェクトを前記第２のオブジェクトとする、請求項４に記載の情報処理装置。
  7. 　前記設定処理部は、前記所定のイベントが検出された時点から前記逆時系列における所定の条件を満たす時点までの期間における、前記逆時系列の各時点に対応する前記撮像画像を処理する、請求項１に記載の情報処理装置。
  8. 　前記所定の条件は、時間的な条件と、前記撮像画像から検出されるオブジェクトに関する条件との一方または双方を含む、請求項７に記載の情報処理装置。
  9. 　前記設定処理部は、さらに、前記所定のイベントから前記時系列に前記撮像画像を処理し、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、請求項１に記載の情報処理装置。
  10. 　前記設定処理部は、
    　前記メタデータが設定された前記所定のイベントに関連するオブジェクトの中から、異なる前記メタデータが設定された同一のオブジェクトを判定し、
    　前記同一のオブジェクトに対して設定された異なる前記メタデータを、統合する、請求項１に記載の情報処理装置。
  11. 　前記設定処理部は、複数の前記撮像デバイスにより撮像された前記撮像画像に基づいて、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、請求項１に記載の情報処理装置。
  12. 　前記設定処理部は、前記撮像デバイスごとの前記撮像画像を処理して、前記撮像デバイスごとに、前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、請求項１１に記載の情報処理装置。
  13. 　前記設定処理部は、前記撮像デバイスごとに前記メタデータが設定された前記所定のイベントに関連するオブジェクトを、対応付ける、請求項１２に記載の情報処理装置。
  14. 　前記設定処理部は、設定されたメタデータごとに、対応付けられた他のオブジェクトに対して設定されたメタデータとの関連性を記録する、請求項１３に記載の情報処理装置。
  15. 　前記設定処理部は、
    　複数の前記撮像デバイスのうちの一部の前記撮像デバイスにより撮像された前記撮像画像に基づいて、前記一部の撮像デバイスにより撮像された前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定し、
    　前記一部の撮像デバイスにより撮像された前記撮像画像に基づく前記メタデータの設定結果と、複数の前記撮像デバイスのうちの残りの前記撮像デバイスにより撮像された前記撮像画像とに基づいて、前記残りの撮像デバイスにより撮像された前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して前記メタデータを設定する、請求項１１に記載の情報処理装置。
  16. 　前記所定のイベントに関連するオブジェクトに対する前記メタデータの設定結果に基づいて、前記撮像画像を編集する編集処理部を、さらに備える、請求項１に記載の情報処理装置。
  17. 　前記編集処理部は、前記撮像画像に対する電子ズームと、前記撮像画像に基づく複数の画像の合成との一方または双方を含む画像処理によって、前記撮像画像を編集する、請求項１６に記載の情報処理装置。
  18. 　前記所定のイベントに関連するオブジェクトに対する前記メタデータの設定結果に基づいて、前記メタデータが設定された前記所定のイベントに関連するオブジェクトが示される画像を、表示画面に表示させる表示処理部を、さらに備える、請求項１に記載の情報処理装置。
  19. 　前記表示処理部は、表示設定情報に基づいて、前記メタデータが設定された前記所定のイベントに関連するオブジェクトの表示のさせ方を変える、請求項１８に記載の情報処理装置。
  20. 　撮像デバイスにより時系列に撮像された撮像画像に基づいて、前記撮像画像に含まれるオブジェクトに対してメタデータを設定するステップを有し、
    　前記設定するステップでは、前記撮像画像から検出される所定のイベントから前記時系列とは逆の逆時系列に、前記撮像画像が処理され、前記撮像画像に含まれるオブジェクトのうちの前記所定のイベントに関連するオブジェクトに対して、前記メタデータが設定される、情報処理装置により実行される情報処理方法。
PCT/JP2018/018105 2017-07-21 2018-05-10 情報処理装置、および情報処理方法 WO2019017046A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18835140.7A EP3657356B1 (en) 2017-07-21 2018-05-10 Information processing device and information processing method
US16/621,860 US11132553B2 (en) 2017-07-21 2018-05-10 Information processing apparatus and information processing method
JP2019530893A JPWO2019017046A1 (ja) 2017-07-21 2018-05-10 情報処理装置、および情報処理方法
CN201880042602.XA CN110800313B (zh) 2017-07-21 2018-05-10 信息处理设备和信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-141808 2017-07-21
JP2017141808 2017-07-21

Publications (1)

Publication Number Publication Date
WO2019017046A1 true WO2019017046A1 (ja) 2019-01-24

Family

ID=65015966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018105 WO2019017046A1 (ja) 2017-07-21 2018-05-10 情報処理装置、および情報処理方法

Country Status (5)

Country Link
US (1) US11132553B2 (ja)
EP (1) EP3657356B1 (ja)
JP (1) JPWO2019017046A1 (ja)
CN (1) CN110800313B (ja)
WO (1) WO2019017046A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017641B2 (en) * 2018-12-21 2021-05-25 Sbot Technologies Inc. Visual recognition and sensor fusion weight detection system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285878A (ja) 2005-04-04 2006-10-19 Nippon Hoso Kyokai <Nhk> 映像解析装置および映像解析プログラム
JP2008252519A (ja) * 2007-03-30 2008-10-16 Hitachi Kokusai Electric Inc 画像処理装置
JP2016110381A (ja) 2014-12-05 2016-06-20 古野電気株式会社 物体数計測装置、プログラムおよび物体数計測方法
JP2016143302A (ja) * 2015-02-04 2016-08-08 キヤノン株式会社 情報通知装置、方法、およびプログラム
JP2016174252A (ja) * 2015-03-16 2016-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463015B2 (en) * 2007-02-09 2013-06-11 Ge Healthcare Bio-Sciences Ab System and method for tracking the movement of biological materials
US8284990B2 (en) 2008-05-21 2012-10-09 Honeywell International Inc. Social network construction based on data association
US20100036875A1 (en) 2008-08-07 2010-02-11 Honeywell International Inc. system for automatic social network construction from image data
JP5570176B2 (ja) * 2009-10-19 2014-08-13 キヤノン株式会社 画像処理システム及び情報処理方法
US9070233B2 (en) * 2012-10-17 2015-06-30 Diebold, Incorporated Automated banking machine system and monitoring
JP5954106B2 (ja) * 2012-10-22 2016-07-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6649231B2 (ja) * 2016-11-18 2020-02-19 株式会社東芝 検索装置、検索方法およびプログラム
JP7030452B2 (ja) * 2017-08-30 2022-03-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285878A (ja) 2005-04-04 2006-10-19 Nippon Hoso Kyokai <Nhk> 映像解析装置および映像解析プログラム
JP2008252519A (ja) * 2007-03-30 2008-10-16 Hitachi Kokusai Electric Inc 画像処理装置
JP2016110381A (ja) 2014-12-05 2016-06-20 古野電気株式会社 物体数計測装置、プログラムおよび物体数計測方法
JP2016143302A (ja) * 2015-02-04 2016-08-08 キヤノン株式会社 情報通知装置、方法、およびプログラム
JP2016174252A (ja) * 2015-03-16 2016-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3657356A4

Also Published As

Publication number Publication date
EP3657356A1 (en) 2020-05-27
EP3657356B1 (en) 2023-08-09
US11132553B2 (en) 2021-09-28
US20200167571A1 (en) 2020-05-28
CN110800313A (zh) 2020-02-14
CN110800313B (zh) 2022-12-06
EP3657356A4 (en) 2020-05-27
JPWO2019017046A1 (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
CN109194879B (zh) 拍照方法、装置、存储介质及移动终端
RU2597232C1 (ru) Способ предоставления видео в режиме реального времени и устройство для его осуществления, а также сервер и терминальное устройство
US20190199941A1 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US8619135B2 (en) Detection of abnormal behaviour in video objects
US9342744B2 (en) Surveillance image retrieval apparatus and surveillance system
JPWO2006025272A1 (ja) 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
CN107430436B (zh) 全景手势的自动检测
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
US11211097B2 (en) Generating method and playing method of multimedia file, multimedia file generation apparatus and multimedia file playback apparatus
EP2966591A1 (en) Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information
WO2018078986A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6396682B2 (ja) 監視カメラシステム
JP6724919B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6593922B2 (ja) 画像監視システム
WO2019017046A1 (ja) 情報処理装置、および情報処理方法
WO2019187493A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5914992B2 (ja) 表示制御装置、表示制御方法、およびプログラム
WO2023151527A1 (zh) 图像拍摄方法及装置
CN116193049A (zh) 视频处理方法、装置、计算机设备和存储介质
WO2018135095A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
US20210166734A1 (en) Electronic device for tagging event in sports play video and operating method thereof
JP7215173B2 (ja) 情報処理装置、および情報処理方法
CN113891040A (zh) 视频处理方法、装置、计算机设备和存储介质
TW202005407A (zh) 透過擴增實境給予提示以播放接續影片之系統及方法
KR20180053221A (ko) 전자 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019530893

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018835140

Country of ref document: EP

Effective date: 20200221