WO2021140669A1 - 可視化画像表示装置 - Google Patents

可視化画像表示装置 Download PDF

Info

Publication number
WO2021140669A1
WO2021140669A1 PCT/JP2020/000757 JP2020000757W WO2021140669A1 WO 2021140669 A1 WO2021140669 A1 WO 2021140669A1 JP 2020000757 W JP2020000757 W JP 2020000757W WO 2021140669 A1 WO2021140669 A1 WO 2021140669A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
class
data
feature
time
Prior art date
Application number
PCT/JP2020/000757
Other languages
English (en)
French (fr)
Inventor
恵子 井上
剛志 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/000757 priority Critical patent/WO2021140669A1/ja
Priority to JP2021569708A priority patent/JP7264281B2/ja
Priority to US17/789,962 priority patent/US11989799B2/en
Publication of WO2021140669A1 publication Critical patent/WO2021140669A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a visualization image display device, a visualization image display method, and a recording medium.
  • a movement locus which is a temporal change in the position of an object in an image
  • a background image is combined with a background image and displayed on a display unit.
  • the loci of two or more objects are displayed on one background image.
  • the user specifies, the time or timing as a reference for the elapsed time, the elapsed time from the reference, the orientation of the object, the staying time of the object, the color of the object, and the clothes of the object.
  • the range of items and loci to be displayed is narrowed down using the target and locus to display the locus based on the traveling direction of the pattern or the object.
  • Patent Document 2 a technique for labeling an object appearing in an image has been conventionally proposed (see, for example, Patent Document 2).
  • the technique of visualizing the temporal change of the feature of the object appearing in the image it is possible to visually confirm the pattern and tendency of the feature of the object appearing with the passage of time. Further, according to the technique of labeling the object appearing in the image as described above, the object appearing in the image can be classified into several classes.
  • An object of the present invention is to display a visualized image that solves the above-mentioned problem, that is, it is difficult to visually confirm the temporal change of the characteristics of an object in an image for each class of the object. To provide the equipment.
  • the visualization image display device is Time-series feature data in which the time-series data of the features of the object in the video and the object ID are associated with each other, and classification data in which the object ID and the class ID labeled for the object are associated with each other. And how to get and A selection method for selecting the class ID to be visualized, and The object ID associated with the selected class ID is acquired from the class classification data, the time series data associated with the acquired object ID is acquired from the time series feature data, and the acquired time series is obtained. Based on the data, a display control means for displaying a feature image showing a temporal change of the feature of the object having the selected class ID on the display unit, and Is configured to include.
  • the visualized image display method is Time-series feature data in which the time-series data of the features of the object in the video and the object ID are associated with each other, and classification data in which the object ID and the class ID labeled for the object are associated with each other. And get, Select the class ID to be visualized and select The object ID associated with the selected class ID is acquired from the class classification data, the time series data associated with the acquired object ID is acquired from the time series feature data, and the acquired time series is obtained. Based on the data, a feature image showing the temporal change of the feature of the object having the selected class ID is displayed on the display unit. It is configured as follows.
  • the computer-readable recording medium is On the computer Time-series feature data in which the time-series data of the features of the object in the video and the object ID are associated with each other, and classification data in which the object ID and the class ID labeled for the object are associated with each other. And the process of getting The process of selecting the class ID to be visualized and The object ID associated with the selected class ID is acquired from the class classification data, the time series data associated with the acquired object ID is acquired from the time series feature data, and the acquired time series is obtained. Based on the data, a process of displaying a feature image showing a temporal change of the feature of the object having the selected class ID on the display unit, and It is configured to record a program to do this.
  • the present invention has the above-described configuration, it is possible to visually confirm the temporal change of the characteristics of the object in the image for each class of the object.
  • FIG. 1 is a block diagram of the visualization image display device 100 according to the first embodiment of the present invention.
  • the visualization image display device 100 of the present embodiment is an information processing device configured to visualize temporal changes in the characteristics of an object in an image.
  • the visualization image display device 100 has, as main components, a communication interface unit (hereinafter referred to as a communication I / F unit) 110, an operation input unit 120, a screen display unit 130, a storage unit 140, and an arithmetic processing unit. It has 150 and.
  • a communication interface unit hereinafter referred to as a communication I / F unit
  • an operation input unit 120 a screen display unit 130
  • a storage unit 140 arithmetic processing unit. It has 150 and.
  • the communication I / F unit 110 is composed of a dedicated data communication circuit, and is configured to perform data communication with various devices connected via a wireless line or the like.
  • the operation input unit 120 is composed of an operation input device such as a keyboard and a mouse, and is configured to detect an operator's operation and output it to the arithmetic processing unit 150.
  • the screen display unit 130 is composed of a screen display device such as an LCD (Liquid Crystal Display) or a PDP (Plasma Display Panel), and displays various information such as images and texts on the screen in response to an instruction from the arithmetic processing unit 150. It is configured as follows.
  • the operation input unit 120 and the screen display unit 130 also function as a graphical user interface (GUI) having an interactive means for the user to change various settings via the screen.
  • GUI graphical user interface
  • the GUI input means may be in any form such as a touch panel, a keyboard, a mouse, a button, and a dial.
  • the storage unit 140 is composed of a storage device such as a hard disk or a memory, and is configured to store processing information and a program 1401 required for various processes in the arithmetic processing unit 150.
  • the program 1401 is a program that realizes various processing units by being read and executed by the arithmetic processing unit 150, and is an external device (not shown) or an external device (not shown) via a data input / output function such as a communication I / F unit 110. It is read in advance from a recording medium (not shown) and stored in the storage unit 140.
  • the main processing information stored in the storage unit 140 includes moving image data 1402, time series feature data 1403, and classification data 1404.
  • the moving image data 1402 is moving image sequence data in which an unspecified number of objects appear.
  • the viewpoint direction of the camera that acquires the moving image data 1402 may be fixed or variable.
  • the camera may be a visible light camera or a camera other than visible light such as an infrared camera.
  • the moving image data 1402 may be a video signal input online from the camera, or may be a recorded offline video.
  • the frame image constituting the moving image data 1402 is given a shooting time (hereinafter, also simply referred to as a time) or a frame number that uniquely identifies the frame image. Therefore, a frame image having a desired time or frame number can be searched from the moving image data 1402 using the time or frame number as a search keyword.
  • the time-series feature data 1403 is time-series data of one or more feature quantities of the object in the moving image data 1402.
  • the time-series feature data 1403 is associated with the object ID that uniquely identifies the object, the feature ID that uniquely identifies the feature type, and the time (or the corresponding moving image frame number; the same applies hereinafter) in the moving image. It holds time-series data of the features of the object. Therefore, it is possible to search the time-series data having the desired object ID, feature amount ID, and time from the time-series feature data 1403 by using the combination of the object ID, the feature amount ID, and the time as a search keyword.
  • Feature types include the position, color, size, shape, and time derivative of the object obtained by image analysis.
  • the feature quantity type is not limited to the image analysis result, but also the device log linked to the time and other sensor information (camera parameters such as camera orientation, pan, tilt, zoom, etc., and the time acquired from sensors other than the camera. Information synchronized with) may be used.
  • the time-series feature data 1403 may be online data obtained by analyzing the moving image data 1402 in real time, or may be the result of offline analysis. Further, the time-series feature data 1403 may be data manually created from the moving image data 1402, or may be data automatically created from the moving image data 1402 by the image analysis system.
  • FIG. 2 shows a format example of the time series feature data 1403.
  • the time-series feature data 1403 of this example is composed of an object ID 14031 and one or more time-series data 14032, each of which has a one-to-one correspondence with one feature quantity type.
  • Each time-series data 14032 is composed of a feature amount ID 140321 that uniquely identifies the feature amount type, and a pair 140322 of one or more times and feature values arranged in ascending order of time.
  • the feature value is a numerical value representing the position (x coordinate value, y coordinate value) of the object, a numerical value representing the size, a numerical value representing the color, and the like.
  • the class classification data 1404 is data in which the object ID and the class ID are associated with each other.
  • FIG. 3 shows a format example of the classification data 1404.
  • the classification data 1404 of this example includes one or more pairs of the class ID 14041 and the list 14042 of the object IDs.
  • the class ID 14041 is a name or numerical value that uniquely identifies the class.
  • the list of object IDs 14042 is a list of IDs of objects belonging to the class specified by the same pair of class IDs 14041.
  • the arithmetic processing unit 150 has a microprocessor such as an MPU and its peripheral circuits, and by reading and executing the program 1401 from the storage unit 140, the hardware and the program 1401 are made to cooperate to realize various processing units. It is configured to do.
  • the main processing units realized by the arithmetic processing unit 150 include a data acquisition unit 1501, a background mode setting unit 1502, a background time setting unit 1503, a background image generation unit 1504, a visualization target class setting unit 1505, and a visualization target ID setting unit.
  • visualization target time setting unit 1507 visualization target feature amount setting unit 1508, mapping change unit 1509, feature image generation unit 1510, visualization image composition unit 1511, related information display target class setting unit 1512, related information display target ID setting unit There are 1513, a related detailed information synthesis unit 1514, a display control unit 1515, and a classification change unit 1516.
  • the data acquisition unit 1501 acquires moving image data and time-series feature data generated from the moving image data from an external device such as an external image analysis device (not shown) through the communication I / F unit 110, and obtains the moving image data 1402 and It is configured to be stored in the storage unit 140 as time-series feature data 1403. Further, the data acquisition unit 1501 is configured to acquire the classification data from an external device (not shown) through the communication I / F unit 110 and store it in the storage unit 140 as the classification data 1404.
  • the background mode setting unit 1502, the background time setting unit 1503, and the background image generation unit 1504 are for setting the background image of the visualized image.
  • the background mode setting unit 1502 uses the operation input unit 120 and the screen display unit 130 for interactive processing with the user (hereinafter, simply referred to as interactive processing with the user) to obtain (1) a black image for the background of the visualized image. It is configured to set any of three modes: (black background), (2) fixed frame, and (3) designated frame playback. However, the background mode setting unit 1502 sets the black background (1) except when the position information of the object is assigned to (x, y) of the visualized image by the mapping change unit 1509.
  • the background time setting unit 1503 is configured to set the time (or frame number) of the image to be set as the background by interactive processing with the user when the background mode (2) is set.
  • the background time setting unit 1503 sets the start / end time (or frame number) of the image to be reproduced as the background by interactive processing with the user, and sets the current reproduction position.
  • the background image generation unit 1504 is configured to generate an image (black background or a specific frame image) according to the background mode / time set by the background mode setting unit 1502 and the background time setting unit 1503 as the background image. ..
  • the visualization target class setting unit 1505, the visualization target ID setting unit 1506, the visualization target time setting unit 1507, the visualization target feature amount setting unit 1508, the mapping change unit 1509, and the feature image generation unit 1510 are temporally of the features of the object. This is for setting a feature image that visualizes changes.
  • the visualization target class setting unit 1505 is configured to select one, a plurality, or all of the objects for visualizing the time series features by interactive processing with the user. For example, the visualization target class setting unit 1505 reads all the class IDs from the class classification data 1404, displays the check boxes corresponding to each class ID on the screen display unit 130, and allows the user to display the check boxes of each check box through the operation input unit 120. It may be configured to accept on / off operations.
  • the visualization target ID setting unit 1506 is configured to select one, a plurality, or all of the objects for which the time-series features are visualized for each object ID by interactive processing with the user. For example, the visualization target ID setting unit 1506 reads all the object IDs from the time series feature data 1403 or the classification data 1404, displays the check boxes corresponding to each object ID on the screen display unit 130, and displays the operation input unit. It may be configured to accept on / off operations of each check box from the user through 120. Alternatively, the visualization target ID setting unit 1506 extracts only the object IDs belonging to the class set by the visualization target class setting unit 1505 from the classification data 1404, and displays a check box corresponding to each extracted object ID. It may be configured to be displayed on the display unit 130 and to accept on / off operations of each check box from the user through the operation input unit 120.
  • the visualization target time setting unit 1507 is configured to set the start / end time (or frame number) of the time-series feature to be visualized by interactive processing with the user.
  • the visualization target time setting unit 1507 determines the start / end time (or frame number) of the time-series feature to be visualized by interactive processing with the user, and the time length from the appearance / end time of the object ID selected by the user ( It is configured to be set by (frame length).
  • the time length (frame length) may be automatically set to an initial value according to the appearance / end time of the object ID.
  • the visualization target feature amount setting unit 1508 is configured to set the type of feature amount to be visualized in the time-series feature data by interactive processing with the user. For example, the visualization target feature amount setting unit 1508 reads all the feature amount IDs from the time series feature data 1403, displays the check boxes corresponding to each feature amount ID on the screen display unit 130, and allows the user to display the check boxes corresponding to the operation input units 120. It may be configured to accept on / off operations of each check box.
  • the mapping change unit 1509 sets variables to be assigned to the horizontal axis (x axis) and the vertical axis (y axis) (or the z axis in the case of three-dimensional coordinates) of the coordinate plane for displaying the visualized image by interactive processing with the user. It is configured to do.
  • the variables include types such as feature type, elapsed time, class, and object.
  • the mapping change unit 1509 displays a drop-down list corresponding to one-to-one on the horizontal axis (x-axis) and the vertical axis (y-axis) on the screen display unit 130, and each drop-down from the user through the operation input unit 120. It may be configured to accept the operation of selecting one variable from the list of variables through the list.
  • the mapping change unit 1509 uses the interactive processing with the user to display the hue (H), saturation (S), lightness (V), and transmittance (alpha) of the display elements (trajectories, etc.) displayed on the coordinate plane. It is configured to set the variables assigned to. For example, the mapping change unit 1509 displays a drop-down list corresponding to one-to-one correspondence between hue (H), saturation (S), lightness (V), and transparency (alpha) on the screen display unit 130, and input operations. It may be configured to accept an operation of selecting one variable from the list of variables through each drop-down list from the user through unit 120.
  • mapping change unit 1509 uses the x-axis, y-axis, z-axis, hue (H), saturation (S), lightness (V), transparency (alpha) and variables assigned to them by interactive processing with the user. It may be configured to set a corresponding curve with. Further, the mapping change unit 1509 sets the display value range of the hue (H), saturation (S), lightness (V), and transparency (alpha) of the display element (trajectory, etc.) by interactive processing with the user. It may be configured as follows. Further, the mapping change unit 1509 sets the hue (H), saturation (S), lightness (V), and transparency (alpha) of the display element to which the variable is not assigned to fixed values, and interactively sets the values with the user. It may be configured to be changed by processing.
  • the feature image generation unit 1510 is based on the conditions set by the visualization target class setting unit 1505, the visualization target ID setting unit 1506, the visualization target time setting unit 1507, the visualization target feature amount setting unit 1508, and the mapping change unit 1509. It is configured to generate a feature image that visualizes time-series feature data.
  • the feature image generation unit 1510 is a class ID set by a visualization target class setting unit 1505, a visualization target ID setting unit 1506, a visualization target time setting unit 1507, and a visualization target feature amount setting unit 1508.
  • Time-series feature data satisfying the object ID, feature quantity type, and start / end time is extracted from the time-series feature data 1403.
  • the feature image generation unit 1510 is based on the extracted time-series feature data and the x-axis (horizontal axis) and y-axis (vertical axis) of the coordinate plane and the variables assigned to the display elements by the mapping change unit 1509. Generate display data to be displayed on the coordinate plane.
  • the hue (H) is the elapsed time
  • the saturation (S) / brightness ( V) -It is assumed that fixed values are assigned to transparency (alpha).
  • the movement locus representing the temporal change of the position of the object is displayed on the coordinate plane.
  • the display data to be displayed on the screen will be generated.
  • the visualization image composition unit 1511 is configured to generate an image in which the feature image generated by the feature image generation unit 1510 is superimposed on the background image generated by the background image generation unit 1504 as a visualization image.
  • the related information display target class setting unit 1512, the related information display target ID setting unit 1513, and the related detailed information synthesis unit 1514 are for setting information (related information) to be displayed in relation to the class or the object. is there.
  • the related information is, for example, basic information of the target object (object ID, class ID, appearance / disappearance frame, etc.).
  • the related information may be basic information of an object having similar features, a visualized image ID / class and a visualized image, and feature quantity statistical information of a designated class (visualized image of average value, histogram, etc.).
  • the related information display target class setting unit 1512 is configured to set the class ID of the object for which the related information is displayed by interactive processing with the user.
  • the related information display target ID setting unit 1513 is configured to set the target ID of the object for which the related information is displayed by interactive processing with the user. For example, when the display element (trajectory, etc.) of the object in the visualized image is clicked by the user, the related information display target class setting unit 1512 and the related information display target ID setting unit 1513 have the class ID to which the object belongs.
  • the object ID may be configured to be regarded as specified.
  • the related detailed information synthesis unit 1514 provides time-series feature data of related information of the class and the object satisfying the class ID and the object ID set by the related information display target class setting unit 1512 and the related information display target ID setting unit 1513. It is configured to extract from 1403 and classification data 1404. Further, the related detailed information synthesis unit 1514 is configured to generate a related information image in which the extracted related information is displayed in a different area or a separate window from the visualized image.
  • the display control unit 1515 is configured to display the visualization image generated by the visualization image composition unit 1511 on the screen display unit 130. Further, the display control unit 1515 is configured to display the related information image generated by the related detailed information synthesizing unit 1514 on the screen display unit 130.
  • the class classification change unit 1516 is configured to modify the class classification data 1404 by interactive processing with the user. For example, the class classification change unit 1516 performs another object ID stored in the list 14042 of the object IDs of the class ID 14041 of the class classification data 1404 shown in FIG. 3 by interactive processing with the user. By moving to the list 14042 of the object ID of the class ID 14041, the class to which the object belongs is modified.
  • FIG. 4 is a flowchart showing an example of the operation of the visualization image display device 100.
  • the data acquisition unit 1501 acquires moving image data 1402, time series feature data 1403, and classification data 1404 from an external device (not shown) through the communication I / F unit 110 and stores them in the storage unit 140. (Step S1).
  • the background mode setting unit 1502, the background time setting unit 1503, and the background image generation unit 1504 generate a background image of the visualized image by interactive processing with the user (step S2).
  • the visualization target class setting unit 1505, the visualization target ID setting unit 1506, the visualization target time setting unit 1507, the visualization target feature amount setting unit 1508, the mapping change unit 1509, and the feature image generation unit 1510 interact with the user.
  • a feature image that visualizes the temporal change of the feature of the object by the processing is generated (step S3).
  • the visualization image synthesis unit 1511 generates an image in which the feature image generated by the feature image generation unit 1510 is superimposed on the background image generated by the background image generation unit 1504 as a visualization image (step S4).
  • the related information display target class setting unit 1512, the related information display target ID setting unit 1513, and the related detailed information synthesis unit 1514 display information (related information) related to the object by interactive processing with the user. ) Is displayed in a different area or window from the visualized image (step S5).
  • the display control unit 1515 displays the visualization image generated by the visualization image composition unit 1511 and the related information image generated by the related detailed information composition unit 1514 on the screen display unit 130 (step S6).
  • the class classification change unit 1516 modifies the class classification data 1404 by interactive processing with the user (step S7). Then, the process returns to the process of step S1 and the same process as the above-described process is repeated.
  • the moving image data 1402 an image obtained by stirring a transparent or translucent liquid in a container and capturing the movement of an unspecified number of minute objects existing in the liquid with a camera was used.
  • three types of objects in the image were targeted: foreign matter (dust, etc.) mixed in the liquid, bubbles, and minute scratches on the surface of the container.
  • two types of moving image data were prepared: moving image data taken with the container stationary and moving image data taken with the container rotated.
  • time-series feature data 1403 the time-series data of the positions of individual objects (foreign substances, bubbles, scratches) existing in the moving image data was used.
  • the position of the object is represented by the x-coordinate value and the y-coordinate value on the XY coordinate axes set on the image.
  • classification data 1404 data was used in which individual objects appearing in each frame image of the moving image data 1402 were manually assigned to any of the foreign matter class, the bubble class, and the scratch class.
  • FIG. 5 is a schematic diagram showing an example of a visualized image displayed on the screen display unit 130.
  • a frame image of moving image data 1402 for a certain period is used as a background image.
  • a locus showing a temporal change in the position of an object belonging to the scratch class is used.
  • the object ID is distinguished by the color.
  • the color distinction is expressed by the type of locus.
  • the moving image data and the time-series feature data used are the moving image data taken in a state where the container is rotated and the time-series feature data generated from the moving image data.
  • the hatched portion in the figure corresponds to the liquid level portion.
  • Most of the objects displayed in FIG. 5 have an arc shape centered on the center of rotation of the container, and it can be seen that they move in synchronization with the rotation of the container.
  • the locus of an object pointed to by the arrow in FIG. 5 is clearly different from the locus of another object and is asynchronous with the rotation of the container. If the object is a scratch on the container, it should move in sync with the rotation of the container, but the object does not move that way. From this, it is considered that the object is not a scratch on the container but a foreign substance or a bubble. That is, it is considered that the scratch label is erroneously attached to the object. In this case, the user can modify the label of the object X by using the classification change unit 1516.
  • FIG. 6 shows another example of the visualized image displayed on the screen display unit 130.
  • a specific frame image of the moving image data 1402 is used as the background image.
  • a locus showing a temporal change in the position of a specific object belonging to the foreign body class is used as a feature image.
  • the time is expressed by the hue by allocating the passage of time to the hue of the locus.
  • the hue distinction is represented by the line type of the locus.
  • the moving image data and the time-series feature data used are the moving image data taken with the container stationary and the time-series feature data generated from the moving image data. From the visualization image displayed in FIG. 6, it is possible to individually confirm how a specific foreign object moves in time.
  • FIG. 7 shows another example of the visualized image displayed on the screen display unit 130.
  • a black background in the figure, a white background is used for convenience of explanation
  • a locus showing a temporal change in the positions of all objects is used as the background image.
  • the class is expressed by the hue by assigning the class to the hue of the locus.
  • the hue distinction is represented by the line type of the locus.
  • the visualization image displayed in FIG. 7 allows the temporal changes in the position of the object to be compared between the classes.
  • FIGS. 5 to 7 are images that visualize the locus showing the temporal change of the position of the object, but it is of course possible to visualize not only the locus information but also other feature quantities. For example, if the time is assigned to the x-axis and the feature amount A is assigned to the y-axis, the time-series graph of the feature amount A can be displayed as a visualized image. Further, if the feature amount A is assigned to the x-axis and the feature amount B is assigned to the y-axis, the correlation diagram between the feature amount A and the feature amount B can be displayed as a visualized image.
  • the present embodiment it is possible to visually confirm the temporal change of the characteristics of the object in the image for each class of the object.
  • the reason is that the time-series feature data 1403 in which the time-series data of the features of the object in the image and the object ID are associated with each other, and the object ID and the class ID labeled for the object are associated with each other.
  • the data acquisition unit 1501 for acquiring the obtained class classification data 1404, the visualization target class setting unit 1505 for setting the class ID to be visualized, and the object ID associated with the set class ID are classified as class classification data.
  • the features of the object having the above-selected class ID, acquired from 1404, and the time-series data associated with the acquired object ID is acquired from the time-series feature data 1403, and based on the acquired time-series data. This is because it includes a feature image generation unit 1510 that creates a feature image showing a change over time.
  • the visualization target ID setting unit 1506 since the visualization target ID setting unit 1506 is provided, it is possible to visually confirm the temporal change of the characteristics of the object in the image for each object.
  • the visualization target time setting unit 1507 since the visualization target time setting unit 1507 is provided, it is possible to visually confirm the temporal change of the feature of the object in the image only for a desired period.
  • the visualization target feature amount setting unit 1508 since the visualization target feature amount setting unit 1508 is provided, it is possible to visually confirm the temporal change of the feature of the object in the image for each feature type.
  • mapping change unit 1509 since the mapping change unit 1509 is provided, the appearance of the temporal change of the feature of the object in the image is not limited to a specific one, and can be changed in various ways.
  • the background image of the visualization image can be freely set from the frame image of the moving image data and the black background.
  • the related detailed information synthesis unit 1514 for generating the related information image for displaying the related information in a different area or a separate window from the visualized image is provided, the temporal change of the feature is visualized.
  • Information related to the class or object can be displayed to the user in an easy-to-understand manner.
  • the class classification changing unit 1516 since the class classification changing unit 1516 is provided, if it is found that the labeling of the object is incorrect by the visualized image, the class classification data 1404 can be corrected on the spot. it can.
  • FIG. 8 is a block diagram of the visualization image display device 200 according to the present embodiment.
  • the visualization image display device 200 includes acquisition means 201, selection means 202, and display control means 203.
  • the acquisition means 201 associates the time-series feature data in which the time-series data of the features of the object in the video and the object ID are associated with each other, and the object ID and the class ID labeled for the object. It is configured to acquire the obtained classification data.
  • the acquisition means 201 can be configured in the same manner as, for example, the data acquisition unit 1501 in FIG. 1, but is not limited thereto.
  • the selection means 202 is configured to select the class ID to be visualized.
  • the selection means 202 can be configured in the same manner as, for example, the visualization target class setting unit 1505 in FIG. 1, but is not limited thereto.
  • the display control means 203 is configured to acquire the object ID associated with the class ID selected by the selection means 202 from the class classification data acquired by the acquisition means 201. Further, the display control means 203 is configured to acquire the time series data associated with the acquired object ID from the time series feature data acquired by the acquisition means 201. Further, the display control means 203 is configured to display a feature image showing a temporal change of the feature of the object having the selected class ID on the display unit based on the acquired time series data. ..
  • the display control means 203 can be configured in the same manner as, for example, the feature image generation unit 1510 and the display control unit 1515 in FIG. 1, but is not limited thereto.
  • the visualization image display device 200 configured in this way operates as follows. That is, first, the acquisition means 201 first obtains the time-series feature data in which the time-series data of the features of the object in the video and the object ID are associated with each other, and the class ID labeled with the object ID and the object. Gets the classification data associated with. Next, the selection means 202 selects the class ID to be visualized. Next, the display control means 203 acquires the object ID associated with the selected class ID from the class classification data, and acquires the time series data associated with the acquired object ID from the time series feature data. Based on the acquired time-series data, a feature image showing the temporal change of the feature of the object having the selected class ID is displayed on the display unit.
  • the acquisition means 201 for acquiring the class classification data, the selection means 202 for selecting the class ID to be visualized, and the object ID associated with the selected class ID are acquired from the class classification data and this acquisition is performed.
  • the time-series data associated with the selected object ID is acquired from the time-series feature data, and the feature showing the temporal change of the feature of the object having the selected class ID based on the acquired time-series data. This is because the display control means 203 for displaying an image on the display unit is provided.
  • the present invention has been described above with reference to each of the above embodiments, the present invention is not limited to the above-described embodiments. Various changes that can be understood by those skilled in the art can be made to the structure and details of the present invention within the scope of the present invention. For example, when displaying a locus image of an object, the object may be highlighted by expanding the dynamic range only in the peripheral region of the object in each frame image.
  • the present invention can be used as a study auxiliary tool (a tool for studying which features are useful, whether the direction of the algorithm is appropriate, etc.) in the development of object tracking / analysis technology using camera moving images.
  • a study auxiliary tool a tool for studying which features are useful, whether the direction of the algorithm is appropriate, etc.
  • the present invention by superimposing appropriate information on a single image or moving image and visualizing it, it is possible to present the time-series features of the object in a form that is easy for humans to understand. As a result, it becomes easy to confirm and compare the behavior of each class / object and discover the time-series features unique to each class / object.
  • the present invention can be used as a visualization tool for confirming / verifying the output result of an analysis system (inspection machine, monitoring device, etc.) using a camera moving image. Further, the present invention can be used to assist in visual confirmation of an object in the work of correctly answering analysis data.
  • a background image generation means for generating a specific frame image or a black image of the video as a background image is further provided.
  • the display control means is configured to display a visualized image in which the feature image is superimposed on the background image on the display unit.
  • the display control means is configured to display the related information image in a display area different from the feature image.
  • the visualization image display device according to any one of Supplementary note 1 to 3.
  • Appendix 5 Hue (H), saturation (S), lightness (V), transmittance (alpha) of the horizontal and vertical axes of the coordinate plane for displaying the visualized image and the display elements (trajectories, etc.) displayed on the coordinate plane. Further provided with a mapping changing means for selecting the variable to be assigned to the feature quantity type, elapsed time, class, and object.
  • the visualization image display device according to any one of Appendix 1 to 4.
  • Appendix 6 Time-series feature data in which the time-series data of the features of the object in the video and the object ID are associated with each other, and classification data in which the object ID and the class ID labeled for the object are associated with each other.
  • the object ID associated with the selected class ID is acquired from the class classification data, the time series data associated with the acquired object ID is acquired from the time series feature data, and the acquired time series is obtained. Based on the data, a feature image showing the temporal change of the feature of the object having the selected class ID is displayed on the display unit.
  • Visualized image display method [Appendix 7] Further, the classification data is modified. The visualized image display method according to Appendix 6. [Appendix 8] Further, a specific frame image or a black image of the video is generated as a background image, and the image is generated. In the display, a visualization image in which the feature image is superimposed on the background image is displayed on the display unit.
  • the visualized image display method according to Appendix 6 or 7.
  • Appendix 9 Further, a related information image representing the information related to the class related to the class ID or the information related to the object related to the object ID is generated. In the display, the related information image is displayed in a display area different from the feature image.
  • the visualized image display method according to any one of Appendix 6 to 8.
  • Appendix 10 On the computer Time-series feature data in which the time-series data of the features of the object in the video and the object ID are associated with each other, and classification data in which the object ID and the class ID labeled for the object are associated with each other.
  • the process of getting The process of selecting the class ID to be visualized and The object ID associated with the selected class ID is acquired from the class classification data, the time series data associated with the acquired object ID is acquired from the time series feature data, and the acquired time series is obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段と、可視化対象とするクラスＩＤを選択する選択手段と、前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段と、 を備える。

Description

可視化画像表示装置
　本発明は、可視化画像表示装置、可視化画像表示方法、および記録媒体に関する。
　映像に出現する対象物の特徴（位置など）の時間的な変化を可視化する技術が従来から提案されている。
　例えば特許文献１では、映像中の対象物の位置の時間的な変化である移動軌跡を背景画像に合成して表示部に表示させている。また特許文献１では、１つの背景画像に２以上の対象物の軌跡を表示させている。また特許文献１では、ユーザの指定、経過時間の基準とされる時刻もしくはタイミング、該基準からの経過時間、対象物の向き、対象物の滞在時間、対象物の服色、対象物の服の柄または対象物の進行方向に基づいて、軌跡を表示させる対象や軌跡を用いて表示する項目や軌跡の範囲を絞り込んでいる。
　一方、映像に出現する対象物に対してラベル付けする技術が従来から提案されている（例えば特許文献２参照）。
ＷＯ２０１８／１８００４０ 特開２０１９－４０３３５号公報
　上述したように映像に出現する対象物の特徴の時間的な変化を可視化する技術によれば、時間経過に伴って現れる対象物の特徴のパターンや傾向を視覚的に確認することができる。また、上述したように映像に出現する対象物に対してラベル付けする技術によれば、映像に出現する対象物を幾つかのクラスに分類することができる。
　しかしながら、映像中の対象物の特徴の時間的な変化を可視化する技術と映像中の対象物に対してラベル付けする技術とは、互いに有機的に関連付けられていなかった。そのため、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認するのは困難であった。
　本発明の目的は、上述した課題、すなわち、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認するのは困難である、という課題を解決する可視化画像表示装置を提供することにある。
　本発明の一形態に係る可視化画像表示装置は、
　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段と、
　可視化対象とするクラスＩＤを選択する選択手段と、
　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段と、
を備えるように構成されている。
　本発明の他の形態に係る可視化画像表示方法は、
　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得し、
　可視化対象とするクラスＩＤを選択し、
　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する、
ように構成されている。
　本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する処理と、
　可視化対象とするクラスＩＤを選択する処理と、
　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する処理と、
を行わせるためのプログラムを記録するように構成されている。
　本発明は上述したような構成を有することにより、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認することができる。
本発明の第１の実施形態に係る可視化画像表示装置のブロック図である。 本発明の第１の実施形態における時系列特徴データのフォーマット例を示す図である。 本発明の第１の実施形態におけるクラス分類データのフォーマット例を示す図である。 本発明の第１の実施形態に係る可視化画像表示装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態における可視化画像の例を示す図である。 本発明の第１の実施形態における可視化画像の他の例を示す図である。 本発明の第１の実施形態における可視化画像の更に別の例を示す図である。 本発明の第２の実施形態に係る可視化画像表示装置のブロック図である。
　次に本発明を実施するための形態について詳細に説明する。
［第１の実施形態］
　図１は本発明の第１の実施形態に係る可視化画像表示装置１００のブロック図である。本実施形態の可視化画像表示装置１００は、映像中の対象物の特徴の時間的な変化を可視化するように構成された情報処理装置である。
　可視化画像表示装置１００は、主な構成要素として、通信インターフェース部（以下、通信Ｉ／Ｆ部と記す）１１０と、操作入力部１２０と、画面表示部１３０と、記憶部１４０と、演算処理部１５０とを備えている。
　通信Ｉ／Ｆ部１１０は、専用のデータ通信回路から構成され、無線回線などを介して接続された各種装置との間でデータ通信を行うように構成されている。操作入力部１２０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部１５０に出力するように構成されている。画面表示部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）などの画面表示装置から構成され、演算処理部１５０からの指示に応じて、画像やテキストなどの各種情報を画面表示するように構成されている。上記操作入力部１２０と画面表示部１３０は、ユーザが各種設定を、画面を介して変更できるための対話手段を有するグラフィカルユーザインターフェイス（ＧＵＩ）としても機能する。ＧＵＩの入力手段は、タッチパネル・キーボード・マウス・ボタン・ダイアルなど任意の形態であってよい。
　記憶部１４０は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１５０における各種処理に必要な処理情報およびプログラム１４０１を記憶するように構成されている。プログラム１４０１は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して外部装置（図示せず）や記録媒体（図示せず）から予め読み込まれて記憶部１４０に保存される。記憶部１４０に記憶される主な処理情報には、動画像データ１４０２、時系列特徴データ１４０３、および、クラス分類データ１４０４がある。
　動画像データ１４０２は、不特定多数の対象物が出現する動画像シーケンスデータである。動画像データ１４０２を取得するカメラの視点方向は固定されていてもよいし、可変であってもよい。カメラは、可視光カメラであってもよいし、赤外線カメラなど可視光以外のカメラであってもよい。また、動画像データ１４０２は、カメラからオンラインで入力される映像信号であってもよいし、録画済みのオフライン映像であってもよい。動画像データ１４０２を構成するフレーム画像には、そのフレーム画像を一意に識別する撮影時刻（以下、単に時刻とも記す）またはフレーム番号が付与されている。そのため、時刻またはフレーム番号を検索キーワードにして、動画像データ１４０２から所望の時刻またはフレーム番号のフレーム画像を検索することができる。
　時系列特徴データ１４０３は、動画像データ１４０２中の対象物の１以上の特徴量の時系列データである。時系列特徴データ１４０３は、対象物を一意に識別する対象物ＩＤと特徴量種別を一意に識別する特徴量ＩＤと時刻（または対応する動画像フレーム番号。以下同じ）に関連付けて、動画像中の対象物の特徴量の時系列データを保持している。そのため、対象物ＩＤと特徴量ＩＤと時刻の組み合わせを検索キーワードにして、時系列特徴データ１４０３から所望の対象物ＩＤ、特徴量ＩＤおよび時刻を有する時系列データを検索することができる。特徴量種別には、画像解析によって得られた対象物の位置、色、サイズ、形状、それらの時間微分などがある。但し、特徴量種別は、画像解析結果によるものだけでなく、時刻に紐づいた装置ログや他センサ情報（カメラ向き、パン、チルト、ズームなどのカメラパラメータや、カメラ以外のセンサから取得した時刻に同期した情報など）によるものがあってもよい。また、時系列特徴データ１４０３は、動画像データ１４０２をリアルタイムに解析したオンラインデータであってもよいし、オフラインで解析した結果であってもよい。また、時系列特徴データ１４０３は、動画像データ１４０２から人手によって作成されたデータであってもよいし、動画像データ１４０２から画像解析システムによって自動的に作成されたデータであってもよい。
　図２は、時系列特徴データ１４０３のフォーマット例を示す。この例の時系列特徴データ１４０３は、対象物ＩＤ１４０３１とそれぞれが１つの特徴量種別に１対１に対応する１以上の時系列データ１４０３２とから構成されている。各々の時系列データ１４０３２は、特徴量種別を一意に識別する特徴量ＩＤ１４０３２１と、時刻の昇順に並べられた１以上の時刻と特徴値のペア１４０３２２とから構成されている。特徴値とは、対象物の位置（ｘ座標値、ｙ座標値）を表す数値、サイズを表す数値、色を表す数値などである。
　クラス分類データ１４０４は、対象物ＩＤとクラスＩＤとを関連付けたデータである。図３は、クラス分類データ１４０４のフォーマット例を示す。この例のクラス分類データ１４０４は、クラスＩＤ１４０４１と対象物ＩＤのリスト１４０４２とのペアを１以上備えている。クラスＩＤ１４０４１は、クラスを一意に識別する名称や数値などである。また対象物ＩＤのリスト１４０４２は、同じペアのクラスＩＤ１４０４１によって特定されるクラスに属する対象物のＩＤのリストである。
　演算処理部１５０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１４０からプログラム１４０１を読み込んで実行することにより、上記ハードウェアとプログラム１４０１とを協働させて各種処理部を実現するように構成されている。演算処理部１５０で実現される主な処理部には、データ取得部１５０１、背景モード設定部１５０２、背景時刻設定部１５０３、背景画像生成部１５０４、可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、可視化対象特徴量設定部１５０８、マッピング変更部１５０９、特徴画像生成部１５１０、可視化画像合成部１５１１、関連情報表示対象クラス設定部１５１２、関連情報表示対象ＩＤ設定部１５１３、関連詳細情報合成部１５１４、表示制御部１５１５、およびクラス分類変更部１５１６がある。
　データ取得部１５０１は、図示しない外部の画像解析装置などの外部装置から通信Ｉ／Ｆ部１１０を通じて動画像データおよび当該動画像データから生成された時系列特徴データを取得し、動画像データ１４０２および時系列特徴データ１４０３として記憶部１４０に保存するように構成されている。またデータ取得部１５０１は、図示しない外部装置から通信Ｉ／Ｆ部１１０を通じてクラス分類データを取得し、クラス分類データ１４０４として記憶部１４０に保存するように構成されている。
　背景モード設定部１５０２、背景時刻設定部１５０３、および背景画像生成部１５０４は、可視化画像の背景画像を設定するためのものである。
　背景モード設定部１５０２は、操作入力部１２０および画面表示部１３０を通じたユーザとの対話的処理（以下、単にユーザとの対話的処理と記す）により、可視化画像の背景について、（１）黒画像（黒背景）、（２）指定フレーム固定、（３）指定フレーム再生の３つのモードの何れかを設定するように構成されている。但し、背景モード設定部１５０２は、マッピング変更部１５０９によって可視化画像の（ｘ、ｙ）に対象物の位置情報が割り当てられている場合以外は黒背景（１）を設定する。
　背景時刻設定部１５０３は、背景モード（２）が設定された場合、ユーザとの対話的処理により、背景に設定する画像の時刻（またはフレーム番号）を設定するように構成されている。また背景時刻設定部１５０３は、背景モード（３）が設定された場合、ユーザとの対話的処理により、背景として再生する画像の開始／終了時刻（またはフレーム番号）を設定すると共に、現在再生位置を調整可能とする（時刻指定、再生／一時停止など）ように構成されている。
　背景画像生成部１５０４は、背景モード設定部１５０２および背景時刻設定部１５０３で設定された背景モード・時刻に応じた画像（黒背景または特定フレーム画像）を背景画像として生成するように構成されている。
　可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、可視化対象特徴量設定部１５０８、マッピング変更部１５０９、および特徴画像生成部１５１０は、対象物の特徴の時間的な変化を可視化した特徴画像を設定するためのものである。
　可視化対象クラス設定部１５０５は、ユーザとの対話的処理により、時系列特徴を可視化する対象物をクラス単位で１つまたは複数または全部を選択するように構成されている。例えば、可視化対象クラス設定部１５０５は、クラス分類データ１４０４から全てのクラスＩＤを読み出し、各クラスＩＤに対応するチェックボックスを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各チェックボックスのオン、オフ操作を受け付けるように構成されていてよい。
　可視化対象ＩＤ設定部１５０６は、ユーザとの対話的処理により、時系列特徴を可視化する対象物を対象物ＩＤ単位で１つまたは複数または全部を選択するように構成されている。例えば、可視化対象ＩＤ設定部１５０６は、時系列特徴データ１４０３またはクラス分類データ１４０４から全ての対象物ＩＤを読み出し、各対象物ＩＤに対応するチェックボックスを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各チェックボックスのオン、オフ操作を受け付けるように構成されていてよい。或いは、可視化対象ＩＤ設定部１５０６は、可視化対象クラス設定部１５０５で設定されたクラスに属する対象物ＩＤだけをクラス分類データ１４０４から抽出し、その抽出した各対象物ＩＤに対応するチェックボックスを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各チェックボックスのオン、オフ操作を受け付けるように構成されていてよい。
　可視化対象時刻設定部１５０７は、ユーザとの対話的処理により、可視化する時系列特徴の開始／終了時刻（またはフレーム番号）を設定するように構成されている。あるいは可視化対象時刻設定部１５０７は、ユーザとの対話的処理により、可視化する時系列特徴の開始／終了時刻（またはフレーム番号）をユーザが選択した対象物ＩＤの登場／終了時刻からの時間長（フレーム長）で設定するように構成されている。但し、上記時間長（フレーム長）は、対象物ＩＤの登場／終了時刻に応じて自動で初期値設定されるようにしてもよい。
　可視化対象特徴量設定部１５０８は、ユーザとの対話的処理により、時系列特徴データ中の可視化する特徴量の種別を設定するように構成されている。例えば、可視化対象特徴量設定部１５０８は、時系列特徴データ１４０３から全ての特徴量ＩＤを読み出し、各特徴量ＩＤに対応するチェックボックスを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各チェックボックスのオン、オフ操作を受け付けるように構成されていてよい。
　マッピング変更部１５０９は、ユーザとの対話的処理により、可視化画像を表示する座標平面の横軸（ｘ軸）および縦軸（ｙ軸）（３次元座標ならばｚ軸も）に割り当てる変数を設定するように構成されている。ここで、変数には、特徴量種別、経過時間、クラス、対象物などの種類がある。例えば、マッピング変更部１５０９は、横軸（ｘ軸）および縦軸（ｙ軸）に１対１に対応するドロップダウンリストを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各ドロップダウンリストを通じて変数の一覧から１つの変数を選択する操作を受け付けるように構成されていてよい。
　またマッピング変更部１５０９は、ユーザとの対話的処理により、座標平面上に表示される表示要素（軌跡など）の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）に割り当てる変数を設定するように構成されている。例えば、マッピング変更部１５０９は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）に１対１に対応するドロップダウンリストを画面表示部１３０に表示し、操作入力部１２０を通じてユーザから各ドロップダウンリストを通じて変数の一覧から１つの変数を選択する操作を受け付けるように構成されていてよい。
　またマッピング変更部１５０９は、ユーザとの対話的処理により、ｘ軸、ｙ軸、ｚ軸、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）とそれらに割り当てる変数との対応曲線を設定するように構成されていてもよい。またマッピング変更部１５０９は、ユーザとの対話的処理により、表示要素（軌跡など）の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）の表示値範囲を設定するように構成されていてもよい。またマッピング変更部１５０９は、変数が割り当てられていない表示要素の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）は固定値とし、その値をユーザとの対話的処理により変更するように構成されていてもよい。
　特徴画像生成部１５１０は、可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、可視化対象特徴量設定部１５０８、およびマッピング変更部１５０９によって設定された条件に基づいて、時系列特徴データを可視化した特徴画像を生成するように構成されている。
　具体的には、先ず特徴画像生成部１５１０は、可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、および可視化対象特徴量設定部１５０８によって設定されたクラスＩＤ、対象物ＩＤ、特徴量種別、開始／終了時刻を満足する時系列特徴データを時系列特徴データ１４０３の中から抽出する。例えば、可視化対象クラス設定部１５０５においてクラスＩＤ＝Ｃ１が選択され、可視化対象ＩＤ設定部１５０６においてＣ１クラスに属する対象物ＩＤ＝Ｏ１、Ｏ２が選択され、可視化対象特徴量設定部１５０８において特徴量ＩＤ＝Ｆ１、Ｆ２、が選択され、可視化対象時刻設定部１５０７において開始時刻＝Ｔｓ、終了時刻＝Ｔｅが選択されているとする。その場合、特徴画像生成部１５１０は、例えば、対象物ＩＤ＝Ｏ１ｏｒＯ２、特徴量ＩＤ＝Ｆ１ｏｒＦ２、Ｔｓ≦時刻≦Ｔｅの組み合わせをキーワードにして時系列特徴データ１４０３を検索することにより、対象物ＩＤ＝Ｏ１ｏｒＯ２を有する時系列特徴データ１４０３から特徴量ＩＤ＝Ｆ１ｏｒＦ２を有する時系列データ１４０３２を抽出し、その抽出した時系列データ１４０３２からＴｓ≦時刻≦Ｔｅを満たす時刻を含む時刻と特徴値のペア１４０３２２を取得する。
　次に特徴画像生成部１５１０は、上記抽出した時系列特徴データとマッピング変更部１５０９によって座標平面のｘ軸（横軸）およびｙ軸（縦軸）並びに表示要素に割り当てられた変数とに基づいて座標平面上に表示させる表示データを生成する。例えば、マッピング変更部１５０９において、横軸（ｘ軸）に特徴量ＩＤ＝Ｆ１、縦軸（ｙ軸）に特徴量ＩＤ＝Ｆ２、色相（Ｈ）に経過時間、彩度（Ｓ）・明度（Ｖ）・透過度（ａｌｐｈａ）に固定値がそれぞれ割り当てられているとする。その場合、特徴画像生成部１５１０は、横軸（ｘ軸）に割り当てられた特徴量ＩＤ＝Ｆ１に係る時系列データと縦軸（ｙ軸）に割り当てられた特徴量ＩＤ＝Ｆ２に係る時系列データとの関係を示す表示要素を座標平面上に表示させる表示データを生成する。また、特徴画像生成部１５１０は、色相（Ｈ）に割り当てられた変数である経過時間に基づいて、表示要素の色相（Ｈ）を時系列データ中の時刻の経過に応じて制御する。これによって、例えば、特徴量ＩＤ＝Ｆ１が対象物のｘ座標値、特徴量ＩＤ＝Ｆ２が対象物のｙ座標値の場合、対象物の位置の時間的な変化を表す移動軌跡を座標平面上に表示させる表示データが生成されることになる。
　可視化画像合成部１５１１は、背景画像生成部１５０４によって生成された背景画像に特徴画像生成部１５１０によって生成された特徴画像を重畳した画像を可視化画像として生成するように構成されている。
　関連情報表示対象クラス設定部１５１２、関連情報表示対象ＩＤ設定部１５１３、および関連詳細情報合成部１５１４は、クラスまたは対象物に関連して表示される情報（関連情報）を設定するためのものである。関連情報は、例えば、対象物体の基本情報（対象物ＩＤ、クラスＩＤ、登場／消失フレームなど）である。或いは関連情報は、特徴が類似する対象物の基本情報＆可視化画像ＩＤ・クラスおよび可視化画像、指定クラスの特徴量統計情報（平均値の可視化画像、ヒストグラムなど）であってよい。
　関連情報表示対象クラス設定部１５１２は、ユーザとの対話的処理により、関連情報を表示する対象物のクラスＩＤを設定するように構成されている。関連情報表示対象ＩＤ設定部１５１３は、ユーザとの対話的処理により、関連情報を表示する対象物の対象物ＩＤを設定するように構成されている。例えば、関連情報表示対象クラス設定部１５１２および関連情報表示対象ＩＤ設定部１５１３は、可視化画像内の対象物の表示要素（軌跡など）がユーザによってクリックされると、当該対象物が属するクラスＩＤ、対象物ＩＤが指定されたものとみなすように構成されていてよい。
　関連詳細情報合成部１５１４は、関連情報表示対象クラス設定部１５１２および関連情報表示対象ＩＤ設定部１５１３によって設定されたクラスＩＤおよび対象物ＩＤを満足するクラスおよび対象物の関連情報を時系列特徴データ１４０３およびクラス分類データ１４０４から抽出するように構成されている。また関連詳細情報合成部１５１４は、上記抽出した関連情報を可視化画像とは別領域あるいは別ウインドウに表示する関連情報画像を生成するように構成されている。
　表示制御部１５１５は、可視化画像合成部１５１１で生成された可視化画像を画面表示部１３０に表示するように構成されている。また表示制御部１５１５は、関連詳細情報合成部１５１４で生成された関連情報画像を画面表示部１３０に表示するように構成されている。
　クラス分類変更部１５１６は、ユーザとの対話的処理により、クラス分類データ１４０４を修正するように構成されている。例えばクラス分類変更部１５１６は、ユーザとの対話的処理により、図３に示すクラス分類データ１４０４の或るクラスＩＤ１４０４１の対象物ＩＤのリスト１４０４２に記憶されていた或る対象物ＩＤを、別のクラスＩＤ１４０４１の対象物ＩＤのリスト１４０４２に移動させることで、当該対象物が属するクラスを修正するように構成されている。
　次に、可視化画像表示装置１００の動作を説明する。図４は可視化画像表示装置１００の動作の一例を示すフローチャートである。
　図４を参照すると、先ずデータ取得部１５０１は、図示しない外部装置から通信Ｉ／Ｆ部１１０を通じて動画像データ１４０２、時系列特徴データ１４０３、およびクラス分類データ１４０４を取得して記憶部１４０に保存する（ステップＳ１）。
　次に、背景モード設定部１５０２、背景時刻設定部１５０３、および背景画像生成部１５０４は、ユーザとの対話的処理により可視化画像の背景画像を生成する（ステップＳ２）。
　次に、可視化対象クラス設定部１５０５、可視化対象ＩＤ設定部１５０６、可視化対象時刻設定部１５０７、可視化対象特徴量設定部１５０８、マッピング変更部１５０９、および特徴画像生成部１５１０は、ユーザとの対話的処理により対象物の特徴の時間的な変化を可視化した特徴画像を生成する（ステップＳ３）。
　次に、可視化画像合成部１５１１は、背景画像生成部１５０４によって生成された背景画像に特徴画像生成部１５１０によって生成された特徴画像を重畳した画像を可視化画像として生成する（ステップＳ４）。
　次に、関連情報表示対象クラス設定部１５１２、関連情報表示対象ＩＤ設定部１５１３、および関連詳細情報合成部１５１４は、ユーザとの対話的処理により対象物に関連して表示される情報（関連情報）を可視化画像とは別領域あるいは別ウインドウに表示する関連情報画像を生成する（ステップＳ５）。
　次に、表示制御部１５１５は、可視化画像合成部１５１１で生成された可視化画像および関連詳細情報合成部１５１４で生成された関連情報画像を画面表示部１３０に表示する（ステップＳ６）。
　次に、クラス分類変更部１５１６は、ユーザとの対話的処理により、クラス分類データ１４０４を修正する（ステップＳ７）。そして、ステップＳ１の処理に戻り、前述した処理と同様の処理を繰り返す。
　次に本発明の実施例について説明する。
　動画像データ１４０２として、容器中の透明または半透明な液体を撹拌させ、液体中に存在する不特定多数の微小物体の動きをカメラで撮影した映像を使用した。また映像中の対象物として、液体中に混入した異物（ホコリなど）、泡、および、容器表面の微小な傷の３種類を対象とした。また容器を静止させた状態で撮影した動画像データと容器を回転させた状態で撮影した動画像データとの２種類を用意した。
　時系列特徴データ１４０３として、動画像データ中に存在する個々の対象物（異物、泡、傷）の位置の時系列データを使用した。対象物の位置は、画像上に設定したＸＹ座標軸におけるｘ座標値、ｙ座標値で表現した。
　クラス分類データ１４０４として、動画像データ１４０２の各フレーム画像に出現する個々の対象物を人手作業によって異物クラス、泡クラス、傷クラスの何れかに分属したデータを使用した。
　図５は、画面表示部１３０に表示された可視化画像の例を示す模式図である。この例の可視化画像は、背景画像として、動画像データ１４０２の或る期間のフレーム画像が使用されている。また特徴画像として、傷クラスに属する対象物の位置の時間的な変化を表す軌跡が使用されている。また、軌跡の色に対象物ＩＤを割り当てることにより、色で対象物ＩＤを区別している。図５では、説明の便宜上、色の区別は軌跡の種類で表現している。使用した動画像データおよび時系列特徴データは、容器を回転させた状態で撮影した動画像データおよびそれから生成した時系列特徴データである。図中のハッチングを施した箇所は液面部分に相当する。図５に表示されている対象物の殆どは、容器の回転中心を中心とする円弧形状になっており、容器の回転に同期して動いていることが見て取れる。しかし、図５中の矢印が指し示す或る対象物の軌跡は、他の対象物の軌跡と明らかに異なっており、容器の回転に非同期である。当該対象物が容器の傷であれば、容器の回転に同期して動くはずであるが、当該対象物はそのようには動いていない。このことから、当該対象物は容器の傷でなく異物或いは泡であることが考えられる。即ち、当該対象物に対して間違って傷ラベルが付与されていることと考えられる。この場合、ユーザは、クラス分類変更部１５１６を使用して対象物Ｘのラベルを修正することができる。
　図６は、画面表示部１３０に表示された可視化画像の他の例を示す。この例の可視化画像は、背景画像として、動画像データ１４０２の或る特定のフレーム画像が使用されている。また特徴画像として、異物クラスに属する或る特定の対象物の位置の時間的な変化を表す軌跡が使用されている。また、軌跡の色相に時間経過を割り当てることにより、色相で時間を表現している。図６では、説明の便宜上、色相の区別は軌跡の線種で表現している。使用した動画像データおよび時系列特徴データは、容器を静止させた状態で撮影した動画像データおよびそれから生成した時系列特徴データである。図６に表示された可視化画像によって、特定の或る異物が時間的にどのような動きをするのかを個々に確認することができる。
　図７は、画面表示部１３０に表示された可視化画像の別の例を示す。この例の可視化画像は、背景画像として黒背景（図では説明の便宜上、白背景としている）が使用されている。また特徴画像として、全対象物の位置の時間的な変化を表す軌跡が使用されている。また、軌跡の色相にクラスを割り当てることにより、色相でクラスを表現している。図７では、説明の便宜上、色相の区別は軌跡の線種で表現している。図７に表示された可視化画像によって、対象物の時間的な位置の変化をクラス間で比較することができる。
　図５乃至図７は対象物の位置の時間的な変化を表す軌跡を可視化した画像であるが、軌跡情報に限らず、他の特徴量の可視化も勿論可能である。例えば、ｘ軸に時刻を、ｙ軸に特徴量Ａを割り当てれば、特徴量Ａの時系列グラフを可視化画像として表示することができる。また、ｘ軸に特徴量Ａを、ｙ軸に特徴量Ｂを割り当てれば、特徴量Ａと特徴量Ｂとの相関図を可視化画像として表示することができる。
　このように本実施形態によれば、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認することができる。その理由は、映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ１４０３、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データ１４０４とを取得するデータ取得部１５０１と、可視化対象とするクラスＩＤを設定する可視化対象クラス設定部１５０５と、上記設定されたクラスＩＤに関連付けられた対象物ＩＤをクラス分類データ１４０４から取得し、この取得した対象物ＩＤに関連付けられた時系列データを時系列特徴データ１４０３から取得し、この取得した時系列データに基づいて、上記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を作成する特徴画像生成部１５１０と、を備えているためである。
　また本実施形態によれば、可視化対象ＩＤ設定部１５０６を備えているため、映像中の対象物の特徴の時間的な変化を対象物毎に視覚的に確認することができる。
　また本実施形態によれば、可視化対象時刻設定部１５０７を備えているため、映像中の対象物の特徴の時間的な変化を所望の期間に限定して視覚的に確認することができる。
　また本実施形態によれば、可視化対象特徴量設定部１５０８を備えているため、映像中の対象物の特徴の時間的な変化を特徴の種別毎に視覚的に確認することができる。
　また本実施形態によれば、マッピング変更部１５０９を備えているため、映像中の対象物の特徴の時間的な変化の見え方が特定のものに限定されず、様々に変えることができる。
　また本実施形態によれば、背景モード設定部１５０２および背景時刻設定部１５０３を備えているため、可視化画像の背景画像を動画像データのフレーム画像および黒背景から自由に設定することができる。
　また本実施形態によれば、関連情報を可視化画像とは別領域あるいは別ウインドウに表示する関連情報画像を生成する関連詳細情報合成部１５１４を備えているため、特徴の時間的な変化を可視化するクラスあるいは対象物の関連情報をユーザに分かりやすく表示することができる。
　また本実施形態によれば、クラス分類変更部１５１６を備えているため、可視化画像によって対象物へのラベル付けが間違っていることが判明した場合、その場でクラス分類データ１４０４を修正することができる。
［第２の実施の形態］
　次に、本発明の第２の実施形態について説明する。図８は、本実施形態に係る可視化画像表示装置２００のブロック図である。
　図８を参照すると、可視化画像表示装置２００は、取得手段２０１と選択手段２０２と表示制御手段２０３とを備えている。
　取得手段２０１は、映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得するように構成されている。取得手段２０１は、例えば図１のデータ取得部１５０１と同様に構成することができるが、それに限定されない。
　選択手段２０２は、可視化対象とするクラスＩＤを選択するように構成されている。選択手段２０２は、例えば図１の可視化対象クラス設定部１５０５と同様に構成することができるが、それに限定されない。
　表示制御手段２０３は、選択手段２０２によって選択されたクラスＩＤに関連付けられた対象物ＩＤを、取得手段２０１によって取得されたクラス分類データから取得するように構成されている。また表示制御手段２０３は、上記取得した対象物ＩＤに関連付けられた時系列データを、取得手段２０１によって取得された時系列特徴データから取得するように構成されている。また表示制御手段２０３は、上記取得した時系列データに基づいて、上記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示するように構成されている。表示制御手段２０３は、例えば図１の特徴画像生成部１５１０および表示制御部１５１５と同様に構成することができるが、それに限定されない。
　このように構成された可視化画像表示装置２００は、以下のように動作する。即ち、先ず取得手段２０１は、映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する。次に選択手段２０２は、可視化対象とするクラスＩＤを選択する。次に表示制御手段２０３は、上記選択されたクラスＩＤに関連付けられた対象物ＩＤをクラス分類データから取得し、この取得した対象物ＩＤに関連付けられた時系列データを時系列特徴データから取得し、この取得した時系列データに基づいて、上記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する。
　このように本実施形態によれば、映像中の対象物の特徴の時間的な変化を対象物のクラス毎に視覚的に確認することができる。その理由は、映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段２０１と、可視化対象とするクラスＩＤを選択する選択手段２０２と、上記選択されたクラスＩＤに関連付けられた対象物ＩＤをクラス分類データから取得し、この取得した対象物ＩＤに関連付けられた時系列データを時系列特徴データから取得し、この取得した時系列データに基づいて、上記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段２０３と、を備えているためである。
　以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、対象物の軌跡画像を表示する場合、各フレーム画像における当該対象物の周辺領域だけダイナミックレンジを拡張することで、対象物を強調表示するようにしてもよい。
　本発明は、カメラ動画像を用いた物体追跡・解析技術の開発における検討補助ツール（どの特徴量が有用か、アルゴリズムの方向性は妥当かなどを検討するツール）に利用できる。特に本発明によると、１枚の画像あるいは動画像に適切な情報を重畳して可視化することで、対象物の時系列的な特徴を人に分かりやすい形で提示することができる。その結果、クラス毎・対象物毎の挙動の確認・比較や、クラス毎・対象物毎に固有の時系列特徴の発見が容易になる。
　また本発明は、カメラ動画像を用いた解析システム（検査機、監視装置など）の出力結果の確認・検証のための可視化ツールに利用できる。また本発明は、解析用データの正解付け作業における、対象物の目視確認の補助に利用できる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段と、
　可視化対象とするクラスＩＤを選択する選択手段と、
　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段と、
を備える可視化画像表示装置。
［付記２］
　前記クラス分類データを修正するクラス分類変更手段を、さらに備える、
付記１に記載の可視化画像表示装置。
［付記３］
　前記映像の特定フレーム画像または黒画像を背景画像として生成する背景画像生成手段を、さらに備え、
　前記表示制御手段は、前記背景画像に前記特徴画像を重畳した可視化画像を前記表示部に表示するように構成されている、
付記１または２に記載の可視化画像表示装置。
［付記４］
　前記クラスＩＤに係るクラスに関連する情報または前記対象物ＩＤに係る対象物に関連する情報を表す関連情報画像を生成する関連詳細情報合成手段を、さらに備え、
　前記表示制御手段は、前記特徴画像とは別の表示領域に前記関連情報画像を表示するように構成されている、
付記１乃至３の何れかに記載の可視化画像表示装置。
［付記５］
　可視化画像を表示する座標平面の横軸および縦軸ならびに前記座標平面上に表示される表示要素（軌跡など）の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）に割り当てる変数を、特徴量種別、経過時間、クラス、対象物の中から選択するマッピング変更手段を、更に備える、
付記１乃至４の何れかに記載の可視化画像表示装置。
［付記６］
　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得し、
　可視化対象とするクラスＩＤを選択し、
　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する、
可視化画像表示方法。
［付記７］
　さらに、前記クラス分類データを修正する、
付記６に記載の可視化画像表示方法。
［付記８］
　さらに、前記映像の特定フレーム画像または黒画像を背景画像として生成し、
　前記表示では、前記背景画像に前記特徴画像を重畳した可視化画像を前記表示部に表示する、
付記６または７に記載の可視化画像表示方法。
［付記９］
　さらに、前記クラスＩＤに係るクラスに関連する情報または前記対象物ＩＤに係る対象物に関連する情報を表す関連情報画像を生成し、
　前記表示では、前記特徴画像とは別の表示領域に前記関連情報画像を表示する、
付記６乃至８の何れかに記載の可視化画像表示方法。
［付記１０］
　コンピュータに、
　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する処理と、
　可視化対象とするクラスＩＤを選択する処理と、
　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
１００…可視化画像表示装置
１１０…通信Ｉ／Ｆ部
１２０…操作入力部
１３０…画面表示部
１４０…記憶部
１５０…演算処理部
２００…可視化画像表示装置
２０１…取得手段
２０２…選択手段
２０３…表示制御手段
１４０１…プログラム
１４０２…動画像データ
１４０３…時系列特徴データ
１４０４…クラス分類データ
１５０１…データ取得部
１５０２…背景モード設定部
１５０３…背景時刻設定部
１５０４…背景画像生成部
１５０５…可視化対象クラス設定部
１５０６…可視化対象ＩＤ設定部
１５０７…可視化対象時刻設定部
１５０８…可視化対象特徴量設定部
１５０９…マッピング変更部
１５１０…特徴画像生成部
１５１１…可視化画像合成部
１５１２…関連情報表示対象クラス設定部
１５１３…関連情報表示対象ＩＤ設定部
１５１４…関連詳細情報合成部
１５１５…表示制御部
１５１６…クラス分類変更部

Claims (10)

  1. 　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する取得手段と、
    　可視化対象とするクラスＩＤを選択する選択手段と、
    　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する表示制御手段と、
    を備える可視化画像表示装置。
  2. 　前記クラス分類データを修正するクラス分類変更手段を、さらに備える、
    請求項１に記載の可視化画像表示装置。
  3. 　前記映像の特定フレーム画像または黒画像を背景画像として生成する背景画像生成手段を、さらに備え、
    　前記表示制御手段は、前記背景画像に前記特徴画像を重畳した可視化画像を前記表示部に表示するように構成されている、
    請求項１または２に記載の可視化画像表示装置。
  4. 　前記クラスＩＤに係るクラスに関連する情報または前記対象物ＩＤに係る対象物に関連する情報を表す関連情報画像を生成する関連詳細情報合成手段を、さらに備え、
    　前記表示制御手段は、前記特徴画像とは別の表示領域に前記関連情報画像を表示するように構成されている、
    請求項１乃至３の何れかに記載の可視化画像表示装置。
  5. 　可視化画像を表示する座標平面の横軸および縦軸ならびに前記座標平面上に表示される表示要素（軌跡など）の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、透過度（ａｌｐｈａ）に割り当てる変数を、特徴量種別、経過時間、クラス、対象物の中から選択するマッピング変更手段を、更に備える、
    請求項１乃至４の何れかに記載の可視化画像表示装置。
  6. 　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得し、
    　可視化対象とするクラスＩＤを選択し、
    　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する、
    可視化画像表示方法。
  7. 　さらに、前記クラス分類データを修正する、
    請求項６に記載の可視化画像表示方法。
  8. 　さらに、前記映像の特定フレーム画像または黒画像を背景画像として生成し、
    　前記表示では、前記背景画像に前記特徴画像を重畳した可視化画像を前記表示部に表示する、
    請求項６または７に記載の可視化画像表示方法。
  9. 　さらに、前記クラスＩＤに係るクラスに関連する情報または前記対象物ＩＤに係る対象物に関連する情報を表す関連情報画像を生成し、
    　前記表示では、前記特徴画像とは別の表示領域に前記関連情報画像を表示する、
    請求項６乃至８の何れかに記載の可視化画像表示方法。
  10. 　コンピュータに、
    　映像中の対象物の特徴の時系列データと対象物ＩＤとが関連付けられた時系列特徴データ、および、対象物ＩＤと対象物に対してラベル付けされたクラスＩＤとが関連付けられたクラス分類データとを取得する処理と、
    　可視化対象とするクラスＩＤを選択する処理と、
    　前記選択されたクラスＩＤに関連付けられた対象物ＩＤを前記クラス分類データから取得し、該取得した対象物ＩＤに関連付けられた時系列データを前記時系列特徴データから取得し、該取得した時系列データに基づいて、前記選択されたクラスＩＤを有する対象物の特徴の時間的な変化を示す特徴画像を表示部に表示する処理と、
    を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2020/000757 2020-01-10 2020-01-10 可視化画像表示装置 WO2021140669A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/000757 WO2021140669A1 (ja) 2020-01-10 2020-01-10 可視化画像表示装置
JP2021569708A JP7264281B2 (ja) 2020-01-10 2020-01-10 可視化画像表示装置
US17/789,962 US11989799B2 (en) 2020-01-10 2020-01-10 Visualized image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/000757 WO2021140669A1 (ja) 2020-01-10 2020-01-10 可視化画像表示装置

Publications (1)

Publication Number Publication Date
WO2021140669A1 true WO2021140669A1 (ja) 2021-07-15

Family

ID=76787780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000757 WO2021140669A1 (ja) 2020-01-10 2020-01-10 可視化画像表示装置

Country Status (3)

Country Link
US (1) US11989799B2 (ja)
JP (1) JP7264281B2 (ja)
WO (1) WO2021140669A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044498A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Visualizing and updating learned trajectories in video surveillance systems
JP2016049055A (ja) * 2014-08-29 2016-04-11 株式会社エヌテック 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム
JP2019003329A (ja) * 2017-06-13 2019-01-10 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080580A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
JP4902499B2 (ja) * 2007-11-05 2012-03-21 株式会社リコー 画像表示装置、画像表示方法、および画像表示システム
US20140321756A9 (en) * 2008-05-27 2014-10-30 Samsung Electronics Co., Ltd. System and method for circling detection based on object trajectory
JP4977241B2 (ja) * 2010-07-16 2012-07-18 株式会社東芝 表示装置及び表示方法
KR102282465B1 (ko) * 2014-10-27 2021-07-27 한화테크윈 주식회사 로이터링 시각화 장치 및 방법
JP2018142097A (ja) * 2017-02-27 2018-09-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3606054A4 (en) 2017-03-31 2020-04-01 Nec Corporation IMAGE PROCESSING DEVICE AND SYSTEM, METHOD AND PROGRAM FOR IMAGE ANALYSIS
JP6824838B2 (ja) * 2017-07-07 2021-02-03 株式会社日立製作所 作業データ管理システム及び作業データ管理方法
JP6506360B2 (ja) 2017-08-24 2019-04-24 三菱電機インフォメーションシステムズ株式会社 教師データを生成する方法、学習済みモデルを生成する方法、学習済みモデル、コンピュータおよびプログラム
JP7297465B2 (ja) * 2019-02-22 2023-06-26 株式会社東芝 情報表示方法、情報表示システム及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044498A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Visualizing and updating learned trajectories in video surveillance systems
JP2016049055A (ja) * 2014-08-29 2016-04-11 株式会社エヌテック 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム
JP2019003329A (ja) * 2017-06-13 2019-01-10 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2021140669A1 (ja) 2021-07-15
US20220375138A1 (en) 2022-11-24
US11989799B2 (en) 2024-05-21
JP7264281B2 (ja) 2023-04-25

Similar Documents

Publication Publication Date Title
Blascheck et al. State-of-the-art of visualization for eye tracking data.
JP4533087B2 (ja) 画像処理方法、画像処理装置
JP3996852B2 (ja) 表示されたスライドの予め選択された部分を強調表示するためのタッチパッドを備えたリモートコントロール
US8098263B2 (en) Image processing method and image processing apparatus
Pastoor et al. An experimental multimedia system allowing 3-D visualization and eye-controlled interaction without user-worn devices
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
US9928665B2 (en) Method and system for editing scene in three-dimensional space
JP2002196855A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
WO1999040562A1 (en) Video camera computer touch screen system
CN101180599A (zh) 用户界面系统
KR20090031754A (ko) 이미지 레이아웃 제약을 생성하는 방법 및 시스템
EP1817651A1 (en) System for 3d rendering applications using hands
US20090085910A1 (en) Method and apparatus for creating a composite image
CN102868898A (zh) 3d图像处理设备及其执行方法
CN106325726A (zh) 触控互动方法
WO2021140669A1 (ja) 可視化画像表示装置
EP0360599B1 (en) A video processing system for movement simulation
JP2005267033A (ja) 複合現実感映像蓄積検索方法及び装置
JP5001984B2 (ja) 測定装置
CN109753219B (zh) 基于虚拟现实的手工艺品制作系统、方法及装置
CN114257735A (zh) 图像处理装置、图像处理方法和存储介质
JP5632348B2 (ja) 測定装置
Berthaut et al. Controllar: Appropriation of visual feedback on control surfaces
JP2009016977A (ja) 画質評価方法、プログラム及び装置
US6927768B2 (en) Three dimensional depth cue for selected data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912456

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569708

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912456

Country of ref document: EP

Kind code of ref document: A1