WO2022003842A1 - 処理システム及び処理方法 - Google Patents

処理システム及び処理方法 Download PDF

Info

Publication number
WO2022003842A1
WO2022003842A1 PCT/JP2020/025729 JP2020025729W WO2022003842A1 WO 2022003842 A1 WO2022003842 A1 WO 2022003842A1 JP 2020025729 W JP2020025729 W JP 2020025729W WO 2022003842 A1 WO2022003842 A1 WO 2022003842A1
Authority
WO
WIPO (PCT)
Prior art keywords
photographer
video
information
action
processing system
Prior art date
Application number
PCT/JP2020/025729
Other languages
English (en)
French (fr)
Inventor
遥 久保田
明 片岡
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022532899A priority Critical patent/JP7468653B2/ja
Priority to PCT/JP2020/025729 priority patent/WO2022003842A1/ja
Publication of WO2022003842A1 publication Critical patent/WO2022003842A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Definitions

  • the present invention relates to a processing system and a processing method.
  • the image from the viewpoint of the photographer can accurately record the information seen and heard by the photographer, and can be used in various fields regardless of individuals or businesses.
  • the image from the viewpoint of the photographer can accurately record the information seen and heard by the photographer, and can be used in various fields regardless of individuals or businesses.
  • work such as construction work
  • a moving image taken from the viewpoint of a worker as a work log it can be used for work manualization, work analysis, work trail, and the like.
  • the present invention is based on a combination of single actions, which are the basic actions of the photographer, defined by the position information of the photographer and the temporal change of the movement amount or the rotation amount of each viewpoint.
  • a storage unit that stores detection conditions indicating conditions for detecting the behavior of the photographer from the video
  • an acquisition unit that acquires the video and the position information and viewpoint information of the photographer of the video.
  • a data processing unit that detects a scene in which the photographer performs the action shown in the detection condition from the video. It is characterized by being prepared.
  • the present invention it is possible to easily detect a scene in which the photographer of the video is performing a specific action from the video.
  • FIG. 1A is a diagram for explaining an outline of the processing system of each embodiment.
  • FIG. 1B is a diagram for explaining an outline of the processing system of the first embodiment.
  • FIG. 1C is a diagram showing an example of a screen for selecting a combination of single actions to be set as a detection condition.
  • FIG. 1D is a flowchart showing an example of a processing procedure for setting a combination of single actions to be set as a detection condition.
  • FIG. 2 is a diagram showing a configuration example of the processing system of the first embodiment.
  • FIG. 3 is a flowchart showing an example of a processing procedure of input data (video) by the processing system of the first embodiment.
  • FIG. 4 is a flowchart showing an example of a processing procedure when the processing system of the first embodiment performs an action detection by a combination of action elements selected from a user.
  • FIG. 5 is a diagram for explaining an outline of the processing system of the second embodiment.
  • FIG. 6 is a diagram for explaining an outline of the processing system of the third embodiment.
  • FIG. 7 is a diagram showing a configuration example of the processing system of the third embodiment.
  • FIG. 8 is a flowchart showing an example of a processing procedure for initial processing of input data (video) by the processing system of the third embodiment.
  • FIG. 9 is a flowchart showing an example of a processing procedure when the processing system of the third embodiment detects that the photographer has visually recognized a specific object (specific object).
  • FIG. 10 is a diagram for explaining an outline of the processing system of other embodiments.
  • FIG. 11 is a diagram showing an example of a computer that executes a processing program.
  • the processing system determines the behavior of the photographer based on the image taken by the photographer (for example, the worker), and detects a scene in which the photographer has performed a predetermined action. Let's take an example.
  • the processing system determines a simple action (hereinafter referred to as a single action) based on the temporal change of the position and viewpoint of the photographer of the image, and determines the action of the photographer by the combination of the determined single actions.
  • a simple action hereinafter referred to as a single action
  • the behavior of a worker can be expressed by combining a classification related to the movement of the worker and a classification related to the movement of the viewpoint of the worker. Therefore, the processing system can determine various behaviors of the worker by using the combination of the above-mentioned classification regarding the movement of the worker and the classification regarding the movement of the viewpoint of the worker as a condition.
  • the processing system can classify (determine) that the worker is gaze at the terminal operation or the like. Further, if the worker is stopped in the video and the viewpoint is moving so that the viewpoint can be seen, the processing system can determine that the worker is performing a visual inspection or the like. Further, if the worker moves in the video and moves aside, the processing system can determine that the worker is inspecting a wide range.
  • the processing system determines the behavior using the hierarchical worker behavior model as described above. Thereby, the processing system can detect the scenes of various actions performed by the worker by the combination of the action components (actions in each layer) selected by the user.
  • the processing system classifies the position and viewpoint of the worker (videographer) into the above-mentioned single actions based on the amount of movement, the amount of rotation, and the like. Then, the user sets a condition (detection condition) for detecting a predetermined action of the worker from the video by combining those single actions or customizing the threshold value of the parameter of the single action. Then, the processing system detects various behavioral scenes of the worker from the video based on the detection conditions set above. When setting the detection conditions, the processing system may register a plurality of combinations of individual actions for the same action in consideration of individual differences of workers. By doing so, the processing system can detect the scene of the action performed by the worker from the video in consideration of the individual difference of the worker.
  • the processing system of the first embodiment detects a scene in which the photographer performs a predetermined action in the video by a combination of individual actions determined by a temporal change of the position and the viewpoint of the photographer.
  • the temporal changes in the position and the viewpoint are, for example, the amount of movement, the amount of rotation, and the like per time of the position and the viewpoint.
  • the user of the processing system selects a component (single behavior) of the behavior of the photographer to be detected, or selects a preset combination by a label.
  • the user sets a combination of position "stop” x viewpoint "fixed” as a detection condition for detecting the behavior of "gaze”.
  • the user sets a combination of position "stop” x viewpoint “round trip” as a detection condition in order to detect the behavior of "overlooking”.
  • the user sets a combination of position "movement” x viewpoint "fixed” as a detection condition for detecting the action of "movement”.
  • the processing system groups actions from the same viewpoint among single actions. For example, as options for movement, stop, move, etc. are grouped. Further, although not shown here, for example, gaze, looking around, moving aside, etc. are grouped as options related to the viewpoint.
  • the single actions within the same group have an exclusive relationship with each other. This is to make it easier for the user to select a single action to detect a certain action from within the group.
  • whether or not each individual action has an exclusive relationship is determined based on the amount of movement of the position, for example, in the case of a single action related to movement, and in the case of a single action related to a viewpoint, the viewpoint. It is judged by the amount of rotation of.
  • the processing system displays options related to movement (single action group) and options related to viewpoint (single action group). Then, the user selects a combination of single actions to be used for action detection from the displayed group of options. For example, the user selects a single action for the move from the group of move options displayed. In addition, the user selects a single action regarding the viewpoint from the group of displayed viewpoint choices. Then, the processing system sets a combination of these selected single actions as a detection condition.
  • the processing system selects an action label from the user and inputs the relationship between the selected action labels (for example, whether to take a logical sum, a logical product, or a time series).
  • the detection condition is constructed based on the input information (S213: The input of the label selection and the relationship between the labels is accepted and a new condition is constructed).
  • the processing system detects the scene from the video based on the above detection conditions. For example, as shown in FIG. 1B, the processing system detects a scene in which the position of the photographer moves and the viewpoint is fixed as a scene with the action name “movement” from the video.
  • the values of the parameters of each individual action set in the detection conditions may be adjusted. For example, the user may make adjustments such as relaxing the movement speed condition of the photographer set in the above detection condition for the photographer who is elderly and moves slowly.
  • the processing system may subdivide or group the labels as described above according to the user's application. Further, the processing system may determine a higher-level action by combining a plurality of actions determined from the position of the photographer and the temporal change of the line of sight and setting conditions such as order.
  • the processing system 10 includes a raw data storage unit (acquisition unit) 11, an information extraction unit 12, a data processing unit 13, a UI (user interface) unit 14, a condition storage unit 15, and a processing data storage unit 16. Be prepared.
  • the processing system 10 includes, for example, electronic circuits such as a CPU (Central Processing Unit) and MPU (Micro Processing Unit), and integrated circuits such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field Programmable Gate Array). Further, the processing system 10 has an internal memory for storing programs and control data defining various processing procedures, and executes each processing using the internal memory. Further, the processing system 10 realizes the functions of the above-mentioned parts by executing various programs. Further, the raw data storage unit 11, the condition storage unit 15, and the processing data storage unit 16 are realized by a storage device (storage unit) included in the processing system 10 and a program execution process.
  • a storage device storage unit
  • the raw data storage unit 11 stores the video (video information) taken by the photographer.
  • the raw data storage unit 11 stores a video acquired from the outside.
  • the information extraction unit 12 extracts the position information of the photographer, the viewpoint information of the photographer, and the like from the video.
  • the information extraction unit 12 extracts the position information of the photographer and the viewpoint information of the photographer from the video stored in the raw data storage unit 11.
  • the information extraction unit 12 outputs the position information of the photographer and the viewpoint information of the photographer extracted from the video to the raw data storage unit 11.
  • the raw data storage unit 11 stores the image, the position information of the photographer extracted from the image, and the viewpoint information of the photographer.
  • the data processing unit 13 acquires the video and the position information and the viewpoint information of the photographer of the video from the raw data storage unit 11. Then, the data processing unit 13 uses the acquired image, the position information and the viewpoint information of the photographer of the image, and the detection condition stored in the condition storage unit 15, and the photographer sets the detection condition from the image. Detect the scene where the indicated action was performed. Then, the data processing unit 13 outputs the detection result (detection result) to the processing data storage unit 16.
  • the UI unit 14 provides an interface for accepting various settings from the user and displaying various information to the user.
  • the UI unit 14 includes a condition setting unit 141, a visualization information display unit 142, and a video display unit 143.
  • condition setting unit 141 When the condition setting unit 141 receives the selection input of the component of the detection condition of the photographer's action (the above-mentioned single action) from the user, the condition setting unit 141 sets the combination of the selected single actions as the detection condition of the action. do. Then, the condition setting unit 141 stores the detected detection condition after the setting in the condition storage unit 15.
  • condition setting unit 141 when the condition setting unit 141 receives a detection condition setting request from the user, the condition setting unit 141 presents (displays) to the user information indicating the correspondence between the single action (existing element) stored in the condition storage unit 15 and the existing element. do.
  • the information indicating the correspondence between the existing elements is, for example, information in which one or more single actions having an exclusive relationship with each other are grouped.
  • the condition setting unit 141 receives the selection input of the combination of the single actions for detecting the action of the photographer and the input of the labeling for the combination, the received contents are set as the detection condition (new element).
  • the detection condition after setting is stored in the condition storage unit 15.
  • the visualization information display unit 142 displays the visualization information to the user.
  • the visualization information display unit 142 displays the visualization information of the detection result stored in the processing data storage unit 16.
  • This visualization information is, for example, information in which the detection result of the scene in which each action shown in the detection condition is performed is displayed on the timeline (see the detection result exemplified in FIG. 1B).
  • the visualization information display unit 142 may accept the designation of the video reproduction scene from the user on the above visualization information.
  • the visualization information display unit 142 receives the designation of the video reproduction scene, the visualization information display unit 142 outputs the designated video reproduction scene as the reproduction range to the video display unit 143.
  • the video display unit 143 reproduces the video in the specified range and displays it to the user. For example, when the video display unit 143 receives information on the reproduction range of the video from the visualization information display unit 142, the video display unit 143 reproduces the video in the reproduction range and displays it to the user.
  • the condition storage unit 15 stores the detection condition. As described above, this detection condition is information indicating the behavior of the photographer to be detected as a combination of individual behaviors.
  • the condition storage unit 15 stores in advance the detection condition of the single action based on the position information and the viewpoint information and the label of the single action for the single action.
  • the value of the parameter of the single action included in the detection condition (for example, the value of the time change of the movement amount or the rotation amount of each position information and the viewpoint) can be appropriately changed by inputting the user's instruction. be.
  • the data processing unit 13 can detect the scene more accurately by making changes such as slowing down the moving speed condition in the detection conditions.
  • the above-mentioned movement amount may include, for example, not only the movement distance but also information regarding the movement direction.
  • the amount of movement includes information regarding the direction of movement
  • the amount of movement is represented by, for example, a vector. Since the detection condition includes the above-mentioned information regarding the direction of movement, the data processing unit 13 detects an action expressed by a difference in the direction of movement such as aside movement, or uses a reciprocating movement such as looking around. Behavior can be detected.
  • the detection condition may include a condition related to the order of actions performed by the photographer (for example, gaze ⁇ overlooking ⁇ movement, etc.).
  • the data processing unit 13 can detect scenes in which the photographer has performed a series of actions in a designated order.
  • the processing data storage unit 16 stores the detection result by the data processing unit 13.
  • the processing system 10 acquires the video information (video) taken by the photographer and stores it in the raw data storage unit 11 (S11: acquisition of video information). Then, when the processing system 10 determines that the data in the raw data storage unit 11 or the detection condition in the condition storage unit 15 has been updated (Yes in S12), the process proceeds to S13. When the processing system 10 determines that neither the data in the raw data storage unit 11 nor the detection condition in the condition storage unit 15 is updated (No in S12), the process returns to S12.
  • the information extraction unit 12 uses the video. Information is extracted from (S14). For example, the information extraction unit 12 extracts the map information and the position information of the photographer by SLAM (Simultaneous Localization and Mapping). After S14, the information extraction unit 12 stores the extracted information in the raw data storage unit 11 in association with the video of the extraction source, and proceeds to S15. On the other hand, when the processing system 10 determines that the information is not extracted from the video in the processing system 10 (No in S13), the processing in S14 is skipped and the process proceeds to S15.
  • SLAM Simultaneous Localization and Mapping
  • the data processing unit 13 refers to the detection condition of each action element stored in the condition storage unit 15. Then, the condition storage unit 15 that has received the above reference request passes the stored detection condition to the data processing unit 13 (S16).
  • the data processing unit 13 After S16, the data processing unit 13 detects the corresponding scene in the video based on the condition (detection condition passed in S16) for each action element (S17). Then, the data processing unit 13 stores the detection result of each action element in the processing data storage unit 16 (S18).
  • the condition setting unit 141 of the processing system 10 receives from the user the setting of the label of the action to be extracted from the video (S21). Then, the condition setting unit 141 displays the action element that can be the detection condition of the action from the action elements registered in the condition storage unit 15, and accepts the selection of the action element that is the detection condition of the action from the action elements (S22). : Select an action element that can be a detection condition for the action from the registered action elements).
  • condition setting unit 141 determines in S22 that the action element that can be the detection condition of the action is not registered, the user may input and register the necessary action element. Further, at this time, the condition setting unit 141 may receive the adjustment of the action detection condition from the user as necessary and reflect it in the action detection condition in the condition storage unit 15.
  • condition setting unit 141 sets the action element selected in S22 as the detection condition of the action and registers it in the condition storage unit 15 (S23: registers the added / updated action element).
  • the data processing unit 13 detects the action element added / updated by the condition setting unit 141 from the video (S24), and stores the detection result in S24 in the processing data storage unit 16 (S25).
  • the visualization information display unit 142 displays the detection result stored in the processing data storage unit 16 as visualization information (S26: visualization display of the detection result).
  • the user can set detection conditions for detecting the photographer's behavior from the video by combining the photographer's individual behaviors. As a result, it becomes easier to search for a scene in which the photographer of the video is performing a specific action from the video.
  • the processing system 10 of the second embodiment is characterized in that a scene in which the photographer is performing a predetermined action is excluded from the video.
  • the processing system 10 when the processing system 10 receives an instruction input from the user to "cut a moving scene from the image to the work place", the processing system 10 is based on the instruction input and is used by the photographer. Cut or hide the scene where the action is "movement between work places”.
  • condition setting unit 141 receives the selection input of the action of the photographer who is the target of the cut (exclusion) in the processing system 10, the action is stored in the condition storage unit 15 as a detection condition of the cut scene.
  • the data processing unit 13 cuts the scene in which the photographer performs the action shown in the above-mentioned cut scene detection condition by using the cut scene detection condition stored in the condition storage unit 15.
  • a condition is set to cut a scene in which the position is "movement", the movement speed of the photographer exceeds "a", and the duration thereof exceeds "b".
  • the data processing unit 13 detects a scene in which the duration of the photographer's movement speed exceeds "a” and the duration exceeds "b" based on the above detection conditions, the data processing unit 13 cuts the scene. It is stored in the processing data storage unit 16. After that, for example, the video display unit 143 displays a video excluding the cut scene.
  • the conditions for detecting the scene are the condition that the photographer has captured an object at the time of shooting (whether it has been captured by the camera) and the condition that the photographer has performed. Combine with the condition of what the action is.
  • the processing system can determine what kind of action the photographer has taken on a certain object in the video, so that it is possible to narrow down the scenes in which the photographer has performed a specific action on the object.
  • Whether or not the photographer has captured (visualized) an object with the camera can be determined from the detection of the object in the image or the angle of view of the camera using the shooting position and the viewpoint direction. can. Further, whether or not the photographer consciously looks at the object can be determined from the distance to the object, how much the photographer grasps the object from the front position, and the like.
  • the processing system uses, for example, map information associated with the position information in each scene in the video.
  • map information for example, there are a method of reading a map corresponding to coordinates from the outside, a method of acquiring position information and map information synchronized by SLAM or the like, and the like.
  • a configuration example of the processing system 10a which is the processing system of the third embodiment, will be described with reference to FIG. 7.
  • the same configurations as those of the above-described embodiments are designated by the same reference numerals, and the description thereof will be omitted.
  • the information extraction unit 12 of the processing system 10a extracts position information, viewpoint information, and map information from the video. Then, the information extraction unit 12 stores the video and the position information, the viewpoint information, and the map information extracted from the video in the raw data storage unit 11.
  • the condition setting unit 141 accepts from the user the designation of the condition of the distance to the object to be visually recognized and the condition of the shooting angle as the detection condition. Further, the condition setting unit 141 receives from the user the selection of the action of the photographer to be detected (selection of the detection action). For example, the condition setting unit 141 presents the existing element (behavior element) stored in the condition storage unit 15 to the user, and accepts the selection of the detected action from the user. After that, the condition setting unit 141 sets the conditions of the distance to the visual object and the shooting angle and the selected detection behavior as the detection conditions. Then, the condition setting unit 141 stores the detected detection condition (new element) after the setting in the condition storage unit 15.
  • the visualization information display unit 142 displays a map to the user based on the map information stored in the raw data storage unit 11. Then, when the visualization information display unit 142 receives the designation (target position designation) of the position of the object to be visually recognized from the map, the designated position (target position) is handed over to the condition setting unit 141. After that, the condition setting unit 141 adds the designated target position to the detection conditions in which the distance to the above-mentioned visual object and the shooting angle condition and the selected detection behavior are set, and the condition storage unit 141. Store in 15.
  • the data processing unit 13 performs scene detection based on the detection conditions stored in the condition storage unit 15. For example, the data processing unit 13 visually recognizes the object set in the detection condition from the video at the angle and distance set in the detection condition, and performs the action set in the detection condition. Detect the scene.
  • the processing system 10 acquires the video information (video) taken by the photographer and stores it in the raw data storage unit 11 (S31: acquisition of video information). Then, when the processing system 10rion extracts information from the video (for example, extraction of the photographer's position information, viewpoint information, and map information) in the processing system 10 (Yes in S32), the information extraction unit 12 extracts information from the video. Information extraction is performed (S33). For example, the information extraction unit 12 acquires location information and map information by SLAM or the like. On the other hand, when the processing system 10 does not extract information from the video in the processing system 10 (No in S32), the processing of S33 is skipped and the process proceeds to S34.
  • the processing system 10 does not extract information from the video in the processing system 10 (No in S32)
  • the processing of S33 is skipped and the process proceeds to S34.
  • the data processing unit 13 refers to the detection condition of each action element stored in the condition storage unit 15. Then, the condition storage unit 15 that has received the above reference request passes the stored detection condition to the data processing unit 13 (S35).
  • the data processing unit 13 detects the corresponding scene in the video based on the condition (detection condition passed in S35) for each action element (S36). For example, the data processing unit 13 detects a scene having position information and viewpoint information corresponding to each action element shown in the detection condition. After that, the data processing unit 13 stores the detection result of each action element and the map information, the position information, and the viewpoint information extracted in S33 in the processing data storage unit 16 (S37).
  • condition setting unit 141 of the processing system 10 receives from the user the designation of the distance and the shooting angle conditions for the photographer to consider that the specific object is visually recognized (S41: the angle / distance conditions for the specific target). specify). Further, the condition setting unit 141 receives from the user the designation of the behavior of the photographer to be detected (S42: the behavior of the photographer to be detected is designated).
  • the visualization information display unit 142 receives the designation of the position (target position) of the object to be visually recognized from the user (S43: designation of the target position by the user). For example, the visualization information display unit 142 displays a map to the user based on the map information stored in the processing data storage unit 16, and accepts the designation of the target position for visual recognition from the map. Then, the visualization information display unit 142 passes the target position designated by the user to the condition setting unit 141. After that, the condition setting unit 141 sets the designated target position to the detection condition in which the angle / distance condition with respect to the specific target and the behavior of the photographer are set, and stores the designated target position in the condition storage unit 15.
  • the data processing unit 13 detects the scene based on the detection conditions stored in the condition storage unit 15 above (S44). That is, the data processing unit 13 detects a scene from the video based on the target position specified in S43 and the set conditions (detection conditions). For example, the data processing unit 13 visually recognizes the object at the target position specified in S43 at the angle / distance specified in S41 from the video, and performs the action specified in S42. Detect the determined scene.
  • the data processing unit 13 stores the detection result in S44 in the processing data storage unit 16 (S45).
  • the visualization information display unit 142 displays the target position specified in S43 on the map, and displays the detection result stored in S45 as visualization information (S46: target position designated on the map). Is displayed and the detection result is visualized).
  • the user of the processing system 10a detects a scene in which the photographer performs the specified action while visually recognizing the object at the target position in the video while confirming the designated target position on the map. You can check the result.
  • the processing system 10a accepts the designation of the target position after the designation of the angle / distance condition with respect to the target, but the present invention is not limited to this.
  • the processing system 10a may also accept the designation of the target position when accepting the designation of the angle / distance condition with respect to the target.
  • the processing systems 10 and 10a of each embodiment may detect a scene by combining information other than the position information of the photographer, the viewpoint information, and the information of the object visually recognized by the photographer.
  • the processing systems 10 and 10a reflect a specific voice or a registered object, and a sensor data value acquired synchronously with the video (for example, environmental information such as temperature, or for each terminal.
  • the recognition state of the sensor tag installed in the above may also be used as a detection condition. By doing so, it is possible to enhance the versatility of narrowing down the scenes by the processing systems 10 and 10a.
  • the processing systems 10 and 10a have image recognition results, audio information, and temperature as conditions (detection conditions) for detecting a scene from an image, in addition to the position information and viewpoint information of the photographer. Etc. may be used.
  • the processing systems 10 and 10a can detect the scene by combining events such as a specific object appearing in the image, a warning sound, and the detection of thermal runaway of the device.
  • the processing systems 10 and 10a can perform behavior detection in a wider variety of combinations.
  • the processing systems 10 and 10a detect actions such as "walking” and "gaze” by expressing whole-body actions such as “walking” and “gaze” as higher-level actions that combine these elements. can do. Further, since the actions in a unit larger than the work unit can be expressed by connecting the actions in chronological order, the processing systems 10 and 10a can express the actions in a larger unit such as a work unit by connecting the actions in chronological order. Can express and detect behavior.
  • the processing systems 10 and 10a group basic behaviors (single behaviors) based on the same viewpoint (position movement amount, viewpoint rotation amount, etc.), and further group them. Set the items so that each action in is exclusive. This makes it easier for the user to more intuitively select the corresponding item when combining arbitrary actions using the processing systems 10 and 10a.
  • Each component of the processing systems 10 and 10a is a functional concept and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of the distribution and integration of the functions of the processing systems 10 and 10a is not limited to the one shown in the figure, and all or a part thereof may be functionally or partially in an arbitrary unit according to various loads and usage conditions. It can be physically distributed or integrated.
  • each process performed in the processing systems 10 and 10a may be realized by a CPU, a GPU (Graphics Processing Unit), and a program analyzed and executed by the CPU and the GPU, in whole or in any part thereof. Further, each process performed in the process system 10 may be realized as hardware by wired logic.
  • FIG. 11 is a diagram showing an example of a computer in which the processing systems 10 and 10a are realized by executing the program.
  • the computer 1000 has, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these parts is connected by a bus 1080.
  • Memory 1010 includes ROM 1011 and RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090.
  • the disk drive interface 1040 is connected to the disk drive 1100.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
  • the video adapter 1060 is connected to, for example, the display 1130.
  • the hard disk drive 1090 stores, for example, an OS (Operating System) 1091, an application program 1092, a program module 1093, and program data 1094. That is, the program that defines each process of the processing systems 10 and 10a is implemented as a program module 1093 in which a code that can be executed by the computer 1000 is described.
  • the program module 1093 is stored in, for example, the hard disk drive 1090.
  • the program module 1093 for executing the same processing as the functional configuration in the processing systems 10 and 10a is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in, for example, a memory 1010 or a hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 into the RAM 1012 and executes them as needed.
  • the program module 1093 and the program data 1094 are not limited to those stored in the hard disk drive 1090, but may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Then, the program module 1093 and the program data 1094 may be read from another computer by the CPU 1020 via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network
  • Processing system 11
  • Raw data storage unit 12
  • Information extraction unit 13
  • Data processing unit 14
  • UI unit 15
  • Condition storage unit 16
  • Processing data storage unit 141
  • Condition setting unit 142
  • Visualization information display unit 143
  • Video display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

処理システム（１０）は、条件格納部（１５）と、生データ格納部（１１）と、データ処理部（１３）とを備える。条件格納部（１５）は、撮影者の位置情報および視点それぞれの移動量または回転量の時間的変化により定義される撮影者の基礎的な行動である単体的行動の組み合わせにより、映像から撮影者の行動を検出するための条件を示した検出条件を記憶する。生データ格納部（１１）は、映像と、映像の撮影者の位置情報および視点情報とを取得し、格納する。データ処理部（１３）は、取得した、映像、当該映像の撮影者の位置情報および視点情報と、上記の検出条件とを用いて、映像から撮影者が検出条件に示される行動を行った場面を検出する。

Description

処理システム及び処理方法
　本発明は、処理システム及び処理方法に関する。
　従来、撮影者の視点の映像は、撮影者が見たり聞いたりした情報を正確に記録可能であり、個人や事業を問わず様々な分野で活用可能であることが知られている。例えば、工事等の作業を行うにあたって、作業者の視点で撮影した動画映像を作業ログとして用いることで、作業のマニュアル化、業務分析、作業証跡等に活用可能である。このような活用にあたっては、映像から特定の場面（シーン）のみを抽出したいケースが多いが、目視での抽出作業は手間がかかり非効率である。
　ここで、映像から特定の場面のみを抽出するため、各映像シーンの識別にセンサやタグ、画像マーカーを用いることも考えられるが、事前準備が必要であり、手間がかかる。そこで、上記のような事前準備を行わずに、映像から特定の場面のみを抽出する技術として、映像の特徴量を元に人や物体を識別し、近接学（proxemics）等により抽象化した人や物体間の関係性の遷移を元に、映像から特定の場面を自動検出する技術がある。
胡晟、劉健全、西村祥治　「大量な映像における高速な動的場面検索」　情報処理学会研究報告　2017/11/8
　しかし、上記の技術で、映像から、当該映像の撮影者が特定の行動を行っている場面を検出しようとする場合、映像には撮影者自身は基本的に映らず、また、映像から撮影者の行動を特定するためには複雑なパラメータ設定が必要なため、検出が困難であるという問題がある。そこで、本発明は、前記した問題を解決し、映像から、当該映像の撮影者が特定の行動を行っている場面の検出を容易にすることを課題とする。
　前記した課題を解決するため、本発明は、撮影者の位置情報および視点それぞれの移動量または回転量の時間的変化により定義される前記撮影者の基礎的な行動である単体的行動の組み合わせにより、映像から撮影者の行動を検出するための条件を示した検出条件を記憶する記憶部と、映像と、前記映像の撮影者の位置情報および視点情報とを取得する取得部と、取得した、前記映像、当該映像の撮影者の位置情報および視点情報と、前記検出条件とを用いて、前記映像から撮影者が前記検出条件に示される行動を行った場面を検出するデータ処理部と、を備えることを特徴とする。
　本発明によれば、映像から、当該映像の撮影者が特定の行動を行っている場面の検出を容易にすることができる。
図１Ａは、各実施形態の処理システムの概要を説明するための図である。 図１Ｂは、第１の実施形態の処理システムの概要を説明するための図である。 図１Ｃは、検出条件に設定する単体的行動の組み合わせの選択画面の例を示す図である。 図１Ｄは、検出条件に設定する単体的行動の組み合わせの設定の処理手順の例を示すフローチャートである。 図２は、第１の実施形態の処理システムの構成例を示す図である。 図３は、第１の実施形態の処理システムによる入力データ（映像）の処理手順の例を示すフローチャートである。 図４は、第１の実施形態の処理システムが、ユーザから選択された行動要素の組み合わせにより行動検出を行う際の処理手順の例を示すフローチャートである。 図５は、第２の実施形態の処理システムの概要を説明するための図である。 図６は、第３の実施形態の処理システムの概要を説明するための図である。 図７は、第３の実施形態の処理システムの構成例を示す図である。 図８は、第３の実施形態の処理システムによる入力データ（映像）の初期処理の処理手順の例を示すフローチャートである。 図９は、第３の実施形態の処理システムが、撮影者がある特定の対象物（特定対象）を視認したことを検出する際の処理手順の例を示すフローチャートである。 図１０は、その他の実施形態の処理システムの概要を説明するための図である。 図１１は、処理プログラムを実行するコンピュータの例を示す図である。
　以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は、以下に説明する各実施形態に限定されない。なお、以下では、処理システムは、撮影者（例えば、作業者）により撮影された映像に基づき、当該撮影者の行動を判定し、当該撮影者が所定の行動を行った場面を検出する場合を例に説明する。
　処理システムは、映像の撮影者の位置および視点の時間的変化に基づき単純な行動（以下、単体的行動と称す）を判定し、判定した単体的行動の組み合わせにより撮影者の行動を判定する。
　まず、図１Ａを参照しながら、各実施形態の処理システムの概要を説明する。例えば、図１Ａに示すように、作業者（映像の撮影者）の行動は、作業者の移動に関する分類と、当該作業者の視点の動きに関する分類とを組み合わせることで表現できる。よって、処理システムは、上記の作業者の移動に関する分類と、当該作業者の視点の動きに関する分類との組み合わせを条件として用いることで、作業者の様々な行動を判定できる。
　例えば、映像中で作業者が停留し、注視した状態であれば、処理システムは、作業者が端末操作等の注視をしていると分類（判定）できる。また、映像中で作業者が停留し、視点が見渡すような動きをしていれば、処理システムは、作業者が目視点検等をしていると判定できる。また、映像中で作業者が移動し、わき見移動をしていれば、処理システムは、作業者が広範囲の点検等をしていると判定できる。
　処理システムは、上記のように階層的な作業者行動のモデルを用いて行動の判定を行う。これにより、処理システムは、ユーザにより選択された、行動の構成要素（各階層における行動）の組み合わせにより、作業者が行った様々な行動の場面を検出することができる。
　例えば、処理システムは、作業者（映像の撮影者）の位置および視点それぞれについて移動量や回転量等に基づき上記の単体的行動に分類しておく。そして、ユーザはそれらの単体的行動を組み合せる、または単体的行動のパラメータの閾値をカスタマイズすることで、映像から作業者の所定の行動を検出するための条件（検出条件）を設定する。そして、処理システムは、上記の設定された検出条件に基づき、映像から作業者の様々な行動の場面の検出を行う。なお、検出条件を設定する際、処理システムは、作業者の個人差を考慮し、同じ行動に単体的行動の組み合せパターンを複数個登録してもよい。このようにすることで、処理システムは、作業者の個人差を考慮した上で、映像から当該作業者が行った行動の場面を検出することができる。
[第１の実施形態]
　次に、第１の実施形態の処理システムを説明する。第１の実施形態の処理システムは、映像内で撮影者が所定の行動を行った場面を、撮影者の位置および視点の時間的変化により判定される単体的行動の組み合せによって検出する。なお、位置および視点の時間的変化は、例えば、位置および視点の時間あたりの移動量、回転量等である。
　図１Ｂを用いて、第１の実施形態の処理システムの概要を説明する。例えば、処理システムのユーザは、検出したい撮影者の行動の構成要素（単体的行動）を選択、または、事前に設定された組み合わせをラベルで選択する。
　例えば、ユーザは、「注視」という行動を検出するための検出条件として、位置「停留」×視点「固定」という組み合わせを設定する。また、ユーザは、「見渡し」という行動を検出するため検出条件として、位置「停留」×視点「往復」というの組み合わせを設定する。さらに、ユーザは、「移動」という行動を検出するため検出条件として、位置「移動」×視点「固定」という組み合わせを設定する。その後、処理システムは、上記の検出条件に基づき、映像から、撮影者が「注視」を行った場面、「見渡し」を行った場面、「移動」を行った場面を検出する。そして、処理システムは、これらの検出結果をユーザに表示する。
　上記の検出条件に設定する単体的行動の組み合わせの選択例について、図１Ｃを用いて説明する。例えば、処理システムは、単体的行動のうち、同じ観点の行動をグルーピングしておく。例えば、移動に関する選択肢として、停留、移動等をグルーピングしておく。また、ここでは図示を省略しているが、例えば、視点に関する選択肢として、注視、見渡す、わき見移動等をグルーピングしておく。
　なお、同じグループ内の単体的行動は、互いに排他的な関係になっていることが好ましい。これは、ユーザが、グループ内からある行動を検出するために単体的行動を選択しやすくするためである。また、また単体的行動それぞれが排他的な関係になっているか否かは、例えば、移動に関する単体的行動であれば、位置の移動量に基づき判断され、視点に関する単体的行動であれば、視点の回転量等により判断される。
　例えば、処理システムは、図１Ｃに示すように、移動に関する選択肢（単体的行動群）と、視点に関する選択肢（単体的行動群）とを表示する。そして、ユーザは、表示された選択肢のグループから、行動検出に用いる単体的行動の組み合わせを選択する。例えば、ユーザは、表示された移動の選択肢のグループから、移動に関する単体的行動を選択する。また、ユーザは、表示された視点の選択肢のグループから、視点に関する単体的行動を選択する。そして、処理システムは、選択されたこれらの単体的行動の組み合わせを検出条件として設定する。
　例えば、図１Ｄに示すように、処理システムは、ユーザから、抽出したい行動名（例えば、「移動」等）の入力を受け付けると（Ｓ２１１）、条件格納部１５（後記）に登録された行動ラベルを、排他的なもの同士をグルーピングして表示する（Ｓ２１２）。例えば、処理システムが、「移動」という行動名の入力を受け付けると、「移動」に関する行動である、「移動」、「停留」等の行動ラベルをグルーピングして表示する。
　Ｓ２１２の後、処理システムは、ユーザから行動ラベルの選択と、選択された行動ラベル間の関係性（例えば、論理和をとるか、論理積をとるか、時系列とするか等）の入力を受け付けると、入力された情報に基づき検出条件を構築する（Ｓ２１３：ラベルの選択とラベル間の関係性との入力を受け付け、新規条件を構築）。
　例えば、行動名「移動」を検出するための単体的行動の組み合わせとして、ユーザから、「移動」に関する単体的行動から「移動」が選択され、「視点」に関する単体的行動から「固定」が選択され、これらの行動の関係性として「論理積」が入力されると、処理システムは、これらの情報をもとに行動名「移動」を検出するための検出条件として「位置：移動」×「視点：固定」を構築する（図１Ｂ参照）。そして、処理システムは、構築した検出条件を条件格納部１５に格納する。
　その後、処理システムは、上記の検出条件に基づき、映像からの場面検出を行う。例えば、処理システムは、図１Ｂに示すように、映像から、行動名「移動」の場面として、撮影者の位置が移動し、かつ、視点が固定している場面を検出する。
　なお、ユーザが、撮影者や撮影環境に合わせて検出条件を調整したい場合、検出条件に設定される各単体的行動のパラメータの値を調整してもよい。例えば、ユーザは、高齢で移動がゆっくりの撮影者については、上記の検出条件に設定される撮影者の移動の速度条件を緩和する等の調整を行ってもよい。また、処理システムは、ユーザの用途に応じて前記したラベルの細分化やグルーピングを行ってもよい。さらに、処理システムは、撮影者の位置と視線の時間的変化から判定される行動を複数組み合わせ、順序性等の条件を設けることでより上位の行動を判定するようにしてもよい。
[構成例]
　次に、図２を用いて処理システム１０の構成例を説明する。処理システム１０は、生データ格納部（取得部）１１と、情報抽出部１２と、データ処理部１３と、ＵＩ（ユーザインタフェース）部１４と、条件格納部１５と、処理データ格納部１６とを備える。
　なお、処理システム１０は、例えば、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）等の電子回路や、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路を備える。また、処理システム１０は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、処理システム１０は、各種のプログラムを実行することにより上記の各部の機能を実現する。さらに、生データ格納部１１、条件格納部１５、処理データ格納部１６は、処理システム１０の備える記憶装置（記憶部）と、プログラムの実行処理とにより実現される。
　生データ格納部１１は、撮影者が撮影した映像（映像情報）を格納する。例えば、生データ格納部１１は、外部から取得した映像を格納する。情報抽出部１２は、映像から、撮影者の位置情報、撮影者の視点情報等の抽出を行う。例えば、情報抽出部１２は、生データ格納部１１に格納される映像から、撮影者の位置情報、撮影者の視点情報を抽出する。そして、情報抽出部１２は、映像から抽出した撮影者の位置情報、撮影者の視点情報を生データ格納部１１に出力する。生データ格納部１１は、映像と当該映像から抽出された撮影者の位置情報、撮影者の視点情報と格納する。
　データ処理部１３は、生データ格納部１１から、映像と当該映像の撮影者の位置情報および視点情報とを取得する。そして、データ処理部１３は、取得した映像と当該映像の撮影者の位置情報および視点情報と、条件格納部１５に格納される検出条件とを用いて、当該映像から撮影者が当該検出条件に示される行動を行った場面を検出する。そして、データ処理部１３は、検出の結果（検出結果）を、処理データ格納部１６に出力する。
　ＵＩ部１４は、ユーザから各種設定を受け付けたり、ユーザに各種情報を表示したりするためのインタフェースを提供する。ＵＩ部１４は、条件設定部１４１と、可視化情報表示部１４２と、映像表示部１４３とを備える。
　条件設定部１４１は、ユーザから、撮影者の行動の検出条件の構成要素（上記の単体的行動）の選択入力を受け付けると、選択された単体的行動の組み合わせを、当該行動の検出条件に設定する。そして、条件設定部１４１は、設定後の検出条件を条件格納部１５に格納する。
　例えば、条件設定部１４１は、ユーザから検出条件の設定要求を受け付けると、条件格納部１５に格納される単体的行動（既存要素）および既存要素の対応関係を示す情報をユーザに提示（表示）する。なお、上記の既存要素の対応関係を示す情報は、例えば、互いに排他的な関係にある１以上の単体的行動をグルーピングした情報である。その後、条件設定部１４１は、撮影者の行動を検出するための単体的行動の組み合わせの選択入力と、当該組み合わせに対するラベル付けの入力を受け付けると、受け付けた内容を、検出条件（新規要素）に設定し、設定後の検出条件を条件格納部１５に格納する。
　可視化情報表示部１４２は、ユーザに対し可視化情報を表示する。例えば、可視化情報表示部１４２は、処理データ格納部１６に格納される検出結果の可視化情報を表示する。この可視化情報は、例えば、検出条件に示される各行動を行った場面の検出結果を、タイムライン上に表示した情報である（図１Ｂに例示する検出結果参照）。また、可視化情報表示部１４２は、上記の可視化情報上でユーザから映像再生場面の指定を受け付けてもよい。可視化情報表示部１４２は、映像再生場面の指定を受け付けた場合、指定された映像再生場面を再生範囲として映像表示部１４３に出力する。
　映像表示部１４３は、指定された範囲の映像を再生し、ユーザに表示する。例えば、映像表示部１４３は、可視化情報表示部１４２から、映像の再生範囲の情報を受け取ると、当該再生範囲の映像を再生し、ユーザに表示する。
　条件格納部１５は、検出条件を格納する。この検出条件は、前記したとおり、検出対象となる撮影者の行動を単体的行動の組み合わせで示した情報である。なお、条件格納部１５には、予め、単体的行動について、位置情報、視点情報に基づく当該単体的行動の検出条件および当該単体的行動のラベルが格納されている。
　なお、前記したとおり、検出条件に含まれる単体的行動のパラメータの値（例えば、位置情報や視点それぞれの移動量または回転量の時間的変化の値）は、ユーザの指示入力により適宜変更可能である。例えば、撮影者が高齢で移動がゆっくりである場合、検出条件における移動の速度条件を緩やかにする等の変更を行うことで、データ処理部１３は、より精度よく場面検出を行うことができる。なお、上記の移動量は、例えば、移動距離のみならず移動の方向に関する情報も含んでいてもよい。移動量が移動の方向に関する情報を含む場合、移動量は、例えば、ベクトル等で表される。検出条件が、上記の移動の方向に関する情報を含むことで、データ処理部１３は、わき見移動等、移動の方向の差により表現される行動を検出したり、見渡し等、往復の動きを用いた行動を検出したりすることができる。
　また、検出条件は、撮影者が行う行動の順序（例えば、注視→見渡し→移動等）に関する条件を含んでいてもよい。検出条件が上記の条件を含むことで、データ処理部１３は、撮影者が行った一連の行動について、指定された順序で行った場面を検出することができる。
　処理データ格納部１６は、データ処理部１３による検出結果を格納する。
[処理手順]
　次に、図３を用いて、処理システム１０による入力データ（映像）の処理手順の例を説明する。
　まず、処理システム１０は、撮影者が撮影した映像情報（映像）を取得し、生データ格納部１１に格納する（Ｓ１１：映像情報の取得）。そして、処理システム１０は、生データ格納部１１のデータまたは条件格納部１５の検出条件に更新有りと判定した場合（Ｓ１２でＹｅｓ）、Ｓ１３へ進む。なお、処理システム１０が、生データ格納部１１内のデータにも、条件格納部１５内の検出条件にも、更新無しと判定した場合（Ｓ１２でＮｏ）、Ｓ１２に戻る。
　Ｓ１３において、処理システム１０が、処理システム１０内で映像から情報抽出（例えば、撮影者の位置情報、視点情報の抽出）を行うと判断した場合（Ｓ１３でＹｅｓ）、情報抽出部１２は、映像からの情報抽出を実施する（Ｓ１４）。例えば、情報抽出部１２は、地図情報と撮影者の位置情報とをSLAM（Simultaneous　Localization　and　Mapping）によって抽出する。Ｓ１４の後、情報抽出部１２は、抽出した情報を抽出元の映像と対応付けて生データ格納部１１に格納し、Ｓ１５へ進む。一方、処理システム１０が処理システム１０内で映像から情報抽出を行わないと判断した場合（Ｓ１３でＮｏ）、Ｓ１４の処理をスキップし、Ｓ１５へ進む。
　Ｓ１５において、データ処理部１３は、条件格納部１５に格納された各行動要素の検出条件を参照する。そして、上記の参照要求を受けた条件格納部１５は、格納された検出条件をデータ処理部１３に渡す（Ｓ１６）。
　Ｓ１６の後、データ処理部１３は、各行動要素について、条件（Ｓ１６で渡された検出条件）に基づき映像内の該当場面を検出する（Ｓ１７）。そして、データ処理部１３は、処理データ格納部１６に各行動要素の検出結果を格納する（Ｓ１８）。
　次に、図４を用いて、処理システム１０が、ユーザから選択された行動要素（単体的行動）の組み合わせにより行動検出を行う際の処理手順の例を説明する。
　まず、処理システム１０の条件設定部１４１は、ユーザから、映像から抽出したい行動のラベルの設定を受け付ける（Ｓ２１）。そして、条件設定部１４１は、当該行動の検出条件となりうる行動要素を条件格納部１５に登録済みの行動要素から表示し、その中から当該行動の検出条件となる行動要素の選択を受け付ける（Ｓ２２：当該行動の検出条件となり得る行動要素を登録済みの行動要素の中から選択）。
　なお、Ｓ２２において、条件設定部１４１が、当該行動の検出条件となりうる行動要素が未登録であると判断した場合、ユーザは必要な行動要素を入力し、登録するようにしてもよい。また、このとき条件設定部１４１は、必要に応じ、ユーザから、行動の検出条件の調整を受け付け、条件格納部１５内における当該行動の検出条件に反映させてもよい。
　Ｓ２２の後、条件設定部１４１は、Ｓ２２で選択された行動要素を当該行動の検出条件として設定し、条件格納部１５に登録する（Ｓ２３：追加・更新された行動要素を登録）。
　Ｓ２３の後、データ処理部１３は、条件設定部１４１で追加・更新された行動要素を映像内から検出し（Ｓ２４）、Ｓ２４における検出結果を処理データ格納部１６に格納する（Ｓ２５）。その後、可視化情報表示部１４２は、処理データ格納部１６に格納された検出結果を可視化情報として表示する（Ｓ２６：検出結果を可視化表示）。
　このような処理システム１０によれば、ユーザは、撮影者の単体的行動の組み合わせにより、映像から撮影者の行動を検出するための検出条件を設定することができる。その結果、映像から、当該映像の撮影者が特定の行動を行っている場面を検索しやすくなる。
[第２の実施形態]
　次に、図５を用いて、本発明の第２の実施形態を説明する。第２の実施形態の処理システム１０は、映像内から撮影者が所定の行動を行っている場面を除外することを特徴とする。
　例えば、処理システム１０は、図５に示すように、ユーザから「映像から作業場所間の移動中の場面をカット」という指示入力を受け付けた場合、当該指示入力に基づき、映像から、撮影者の行動が「作業場所間の移動」である場面をカットまたは非表示とする。
　例えば、処理システム１０に条件設定部１４１が、上記のカット（除外）の対象となる撮影者の行動の選択入力を受け付けると、当該行動をカット場面の検出条件として条件格納部１５に格納する。その後、データ処理部１３は、条件格納部１５に格納されたカット場面の検出条件を用いて、撮影者が、上記のカット場面の検出条件に示される行動を行った場面をカットする。
　例えば、上記のカット場面の検出条件として、位置が「移動」であり、撮影者の移動速度が「ａ」を超え、その継続時間が「ｂ」を超える場面をカットする旨の条件が設定されている場合を考える。この場合、データ処理部１３は、上記の検出条件に基づき、撮影者の移動速度が「ａ」を超える状態での継続時間が「ｂ」を超える場面を検出すると、当該場面をカットして、処理データ格納部１６に格納する。その後、例えば、映像表示部１４３は、カットされた場面を除外した映像を表示する。このような処理システム１０によれば、映像内からユーザの視聴目的外の場面を除外することができるので、ユーザは、ユーザの視聴目的に合った映像のみを視聴することができる。なお、上記のようにして映像から除外された場面は、例えば、ユーザ操作により復元可能としてもよい。
[第３の実施形態]
　次に、本発明の第３の実施形態を説明する。第３の実施形態の処理システムは、撮影者がある対象を映した場面の中から、当該撮影者が特定の行動を行った場面を絞り込む。
　例えば、図６に示すように、第３の実施形態の処理システムは、場面の検出条件として、撮影者が撮影時にある対象を捉えたか（カメラで捉えたか）という条件と、撮影者の行った行動がどのような行動かという条件とを組み合わせる。これにより処理システムは、映像において、撮影者がある対象にどのような行動を行ったかを判定できるので、撮影者がある対象に特定の行動を行った場面を絞り込むことができる。
　なお、撮影者が、ある対象物をカメラで捉えたか（視認したか）否かは、映像内におけるオブジェクトの検出、または、撮影位置および視点方向を用いたカメラの画角等から判定することができる。また、撮影者が対象物を意識的に見たか否かは、対象物までの距離や、撮影者が当該対象物をどの程度正面の位置から捉えたか等から判定することができる。
　処理システムが、撮影者の行動に加え、撮影者が視認する対象物の位置による絞り込みを併用することで、撮影者の位置情報および視線情報のみからより具体的な行動の判定が可能となる。ここで、処理システムは、対象物の位置（対象位置）を検出条件に設定するため、例えば、映像内の各場面における位置情報が紐づいた地図情報を利用する。なお、地図情報の取得方法は、例えば、外部から座標に対応する地図を読み込む方法や、SLAM等により同期された位置情報と地図情報とを取得する方法等がある。
　図７を用いて、第３の実施形態の処理システムである処理システム１０ａの構成例を説明する。前記した実施形態と同じ構成は同じ符号を付して説明を略す。
　図７に示すように、処理システム１０ａの情報抽出部１２は、映像から位置情報、視点情報、地図情報を抽出する。そして、情報抽出部１２は、映像と当該映像から抽出された位置情報、視点情報、地図情報とを生データ格納部１１に格納する。
　条件設定部１４１は、ユーザから、検出条件として、視認の対象物との距離および撮影角度の条件の指定を受け付ける。また、条件設定部１４１は、ユーザから、検出対象となる撮影者の行動の選択（検出行動の選択）を受け付ける。例えば、条件設定部１４１は、条件格納部１５に格納される既存要素（行動要素）をユーザに提示し、ユーザから検出行動の選択を受け付ける。その後、条件設定部１４１は、上記の視認の対象物との距離および撮影角度の条件と、選択された検出行動とを検出条件に設定する。そして、条件設定部１４１は、設定後の検出条件（新規要素）を、条件格納部１５に格納する。
　また、可視化情報表示部１４２は、生データ格納部１１に格納された地図情報に基づき、ユーザに地図を表示する。そして、可視化情報表示部１４２は、地図上からの視認の対象物の位置の指定（対象位置指定）を受け付けると、指定された位置（対象位置）を条件設定部１４１に受け渡す。その後、条件設定部１４１は、指定された対象位置を、上記の視認の対象物との距離および撮影角度の条件と、選択された検出行動とが設定された検出条件に追加し、条件格納部１５に格納する。
　データ処理部１３は、条件格納部１５に格納された検出条件に基づき、場面検出を行う。例えば、データ処理部１３は、映像から、撮影者が検出条件に設定された角度・距離で当該検出条件に設定された対象物を視認し、かつ、当該検出条件に設定された行動を行った場面を検出する。
[処理手順]
　次に、図８を用いて、処理システム１０аによる入力データ（映像）の初期処理の処理手順の例を説明する。
　まず、処理システム１０аは、撮影者が撮影した映像情報（映像）を取得し、生データ格納部１１に格納する（Ｓ３１：映像情報の取得）。そして、処理システム１０аが処理システム１０内で映像から情報抽出（例えば、撮影者の位置情報、視点情報、地図情報の抽出）を行う場合（Ｓ３２でＹｅｓ）、情報抽出部１２は、映像からの情報抽出を実施する（Ｓ３３）。例えば、情報抽出部１２は、位置情報と地図情報をSLAM等によって取得する。一方、処理システム１０が処理システム１０内で映像から情報抽出を行わない場合（Ｓ３２でＮｏ）、Ｓ３３の処理をスキップし、Ｓ３４へ進む。
　Ｓ３４において、データ処理部１３は、条件格納部１５に格納された各行動要素の検出条件を参照する。そして、上記の参照要求を受けた条件格納部１５は、格納された検出条件をデータ処理部１３に渡す（Ｓ３５）。
　Ｓ３５の後、データ処理部１３は、各行動要素について、条件（Ｓ３５で渡された検出条件）に基づき映像内の該当場面を検出する（Ｓ３６）。例えば、データ処理部１３は、検出条件に示される各行動要素に対応する位置情報、視点情報を持つ場面を検出する。その後、データ処理部１３は、処理データ格納部１６に各行動要素の検出結果、および、Ｓ３３で抽出された地図情報、位置情報、視点情報を格納する（Ｓ３７）。
　次に、図９を用いて、処理システム１０が、撮影者が特定対象を視認したことを検出する際の処理手順の例を説明する。
　まず、処理システム１０の条件設定部１４１は、ユーザから、撮影者が特定対象物を視認したとみなすための距離および撮影角度の条件の指定を受け付ける（Ｓ４１：特定対象に対する角度・距離の条件を指定）。また、条件設定部１４１は、ユーザから、検出対象となる撮影者の行動の指定を受け付ける（Ｓ４２：検出する撮影者の行動を指定）。
　Ｓ４２の後、可視化情報表示部１４２は、ユーザから視認の対象物の位置（対象位置）の指定を受け付ける（Ｓ４３：ユーザによる対象位置の指定）。例えば、可視化情報表示部１４２は、処理データ格納部１６に格納された地図情報に基づき、ユーザに地図を表示し、地図上からの視認の対象位置の指定を受け付ける。そして、可視化情報表示部１４２は、ユーザから指定された対象位置を条件設定部１４１に受け渡す。その後、条件設定部１４１は、指定された対象位置を、上記の特定対象に対する角度・距離の条件と撮影者の行動とが設定された検出条件に設定し、条件格納部１５に格納する。
　Ｓ４３の後、データ処理部１３は、上記の条件格納部１５に格納された検出条件に基づき場面の検出を行う（Ｓ４４）。すなわち、データ処理部１３は、Ｓ４３で指定された対象位置および設定された条件（検出条件）に基づき、映像から場面を検出する。例えば、データ処理部１３は、映像から、撮影者がＳ４１で指定された角度・距離で、Ｓ４３で指定された対象位置にある対象物を視認し、かつ、Ｓ４２で指定された行動を行ったと判定した場面を検出する。
　そして、データ処理部１３は、Ｓ４４における検出結果を処理データ格納部１６に格納する（Ｓ４５）。その後、可視化情報表示部１４２は、地図上に、Ｓ４３で指定された対象位置を表示し、また、Ｓ４５で格納された検出結果を可視化情報として表示する（Ｓ４６：地図上に指定された対象位置を表示し、検出結果を可視化表示）。これにより、処理システム１０ａのユーザは、指定した対象位置を地図上で確認しつつ、映像中、撮影者が当該対象位置の対象物を視認した状態で、指定された行動を行った場面の検出結果を確認することができる。
　なお、上記の実施形態において処理システム１０ａは、対象位置の指定を、当該対象に対する角度・距離の条件の指定の後で受け付けることとしたが、これに限定されない。例えば、処理システム１０ａは、対象位置の指定を、当該対象に対する角度・距離の条件の指定を受け付けるときに併せて受け付けてもよい。
[その他の実施形態]
　なお、各実施形態の処理システム１０，１０ａは、撮影者の位置情報、視点情報、撮影者が視認した対象物の情報以外の情報を組み合わせて場面の検出を行ってもよい。例えば、処理システム１０，１０ａが、場面を検出する組み合せ要素として、特定の音声や登録オブジェクトの映り込み、映像と同期的に取得したセンサデータの値（例えば、気温等の環境情報や、端末ごとに設置したセンサタグの認識状態）等も検出条件として用いてもよい。このようにすることで、処理システム１０，１０ａによる場面の絞込みの汎用性を強化することができる。
　例えば、処理システム１０，１０ａは、図１０に示すように、映像から場面を検出する条件（検出条件）として、撮影者の位置情報、視点情報のほかに、画像認識の結果、音声情報、温度等を用いてもよい。これにより、処理システム１０，１０ａは、映像に特定の対象が映った、警告音が鳴った、装置の熱暴走を検知した等の事象も組み合わせて場面を検出することができる。その結果、処理システム１０，１０ａは、より多彩な組み合わせにより行動検出を行うことができる。
[効果]
　以上説明した処理システム１０，１０ａによれば以下のような効果を得ることができる。
（１）任意の行動の表現を簡易化
　従来、映像から撮影者が所定の行動を行った場面を検出する際、撮影者の複雑な行動を表現するためには、ユーザが複雑な数値条件を設定する必要であった。一方、処理システム１０，１０ａは、人の行動が階層的であるとみなすことにより、ユーザは単純な行動や移動特性（単体的行動）を組み合せるだけで、検出対象の行動を表現することができる。例えば、人の行動は細分化すると「手を動かす」「視線が動く」等の細かい要素である。よって、処理システム１０，１０ａは、これらの要素を組み合わせた上位の行動として「歩く」「注視する」等の全身での行動を表現することで、「歩く」「注視する」等の行動を検出することができる。さらに、行動を時系列的に繋げることで作業単位等より大きな単位での行動が表現できるので、処理システム１０，１０ａは、行動を時系列的に繋げることで作業単位等、より大きな単位での行動を表現し、検出することができる。
（２）直感的な行動の組み上げ
　処理システム１０，１０ａは、基礎的な行動（単体的行動）を同じ観点（位置の移動量、視点の回転量等）に基づくもの同士をグルーピングし、さらにグループ内の各行動が排他的になるように項目を設定する。これにより、ユーザが処理システム１０，１０ａを用いて任意の行動を組み合わせる際に、より直感的に該当する項目を選択しやすくなる。
（３）個人差や環境要因に合わせたカスタマイズの容易性
　映像から撮影者が所定の行動を行った場面を検出する際には環境要因や個人差による検出精度のブレが想定される。このため、従来の数値条件を用いた場面検出では、利用シチュエーションに合わせたカスタマイズ等を行うためには全ての数値条件を再度見直す必要があった。一方、処理システム１０，１０ａにおいては、検出条件に設定される撮影者の行動は、単純な行動（単体的行動）の組合せであるため、個人差や環境要因にあわせて必要な行動の数値条件のみ調整することで、利用シチュエーションに合わせたカスタマイズが可能となる。
［実施の形態のシステム構成について］
　処理システム１０，１０ａの各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、処理システム１０，１０ａの機能の分散及び統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
　また、処理システム１０，１０ａにおいておこなわれる各処理は、全部または任意の一部が、ＣＰＵ、ＧＰＵ（Graphics　Processing　Unit）、及び、ＣＰＵ、ＧＰＵにより解析実行されるプログラムにて実現されてもよい。また、処理システム１０においておこなわれる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
　また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
［プログラム］
　図１１は、プログラムが実行されることにより、処理システム１０，１０ａが実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating　System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、処理システム１０，１０ａの各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、処理システム１０，１０ａにおける機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
１０　処理システム
１１　生データ格納部
１２　情報抽出部
１３　データ処理部
１４　ＵＩ部
１５　条件格納部
１６　処理データ格納部
１４１　条件設定部
１４２　可視化情報表示部
１４３　映像表示部

Claims (9)

  1. 　撮影者の位置情報および視点それぞれの移動量または回転量の時間的変化により定義される前記撮影者の基礎的な行動である単体的行動の組み合わせにより、映像から撮影者の行動を検出するための条件を示した検出条件を記憶する記憶部と、
    　映像と、前記映像の撮影者の位置情報および視点情報とを取得する取得部と、
    　取得した、前記映像、当該映像の撮影者の位置情報および視点情報と、前記検出条件とを用いて、前記映像から撮影者が前記検出条件に示される行動を行った場面を検出するデータ処理部と、
    　を備えることを特徴とする処理システム。
  2. 　前記撮影者の行動ごとに、当該行動を検出するための前記単体的行動の組み合わせおよび前記単体的行動の関係性の選択入力を受け付け、前記選択入力された、前記行動ごとの当該行動を検出するための単体的行動の組み合わせおよび前記単体的行動の関係性を前記検出条件に設定する条件設定部
    　をさらに備えることを特徴とする請求項１に記載の処理システム。
  3. 　前記条件設定部は、さらに、
    　前記検出条件における前記単体的行動のパラメータ値の調整の入力を受け付け、前記入力に基づき、前記検出条件における前記単体的行動のパラメータ値の調整を行う
    　ことを特徴とする請求項２に記載の処理システム。
  4. 　前記記憶部は、さらに、
    　互いに排他的な関係にある複数の前記単体的行動をグルーピングした情報を記憶し、
    　前記条件設定部は、
    　前記行動を検出するための前記単体的行動の組み合わせの選択入力を受け付ける際、互いに排他的な関係にある複数の前記単体的行動をグルーピングした情報を、前記単体的行動の選択肢として表示する
    　ことを特徴とする請求項２に記載の処理システム。
  5. 　前記検出条件は、さらに、
    　前記撮影者が視認する対象物の情報を含み、
    　前記データ処理部は、さらに、
    　前記取得した映像と、前記映像の撮影者の位置情報および視点情報と、前記対象物の位置情報とを用いて、前記撮影者が前記検出条件に示される対象物を視認したか否かを判定し、前記判定の結果を用いて、前記撮影者が前記対象物を視認し、かつ、前記検出条件に示される行動を行った場面を検出する
    　ことを特徴とする請求項１に記載の処理システム。
  6. 　前記撮影者が視認する対象物の情報は、
    　前記撮影者が前記対象物を視認したとみなすための当該対象物との距離および撮影角度の少なくともいずれかと、地図上から指定された当該対象物の位置情報とを含み、
    　前記データ処理部は、
    　前記撮影者が前記検出条件に示される対象物を視認したか否かを判定する際、前記対象物の指定に用いられた地図と、前記取得した映像と、前記映像の撮影者の位置情報および視点情報とを用いて、前記撮影者と前記検出条件に示される対象物との距離および撮影角度の少なくともいずれかを推定し、前記推定の結果を用いて、前記撮影者が前記検出条件に示される対象物を視認したか否かを判定する
    　ことを特徴とする請求項５に記載の処理システム。
  7. 　前記処理システムは、さらに、
    　前記撮影者が前記検出条件に示される行動を行った場面の検出結果の可視化情報を表示し、前記表示された可視化情報上から、前記映像の再生場面の選択入力を受け付ける可視化情報表示部と、
    　前記選択入力された前記映像の再生場面を再生し、表示する映像表示部と、
    　を備えることを特徴とする請求項１に記載の処理システム。
  8. 　前記検出条件は、さらに、
    　前記単体的行動の組み合わせにより、前記映像からの除外対象となる場面を記述した情報を含み、
    　前記データ処理部は、さらに、
    　前記映像から前記検出条件に示される除外対象となる場面を除外する
    　ことを特徴とする請求項１に記載の処理システム。
  9. 　処理システムにより実行される処理方法であって、
    　前記処理システムは、撮影者の位置情報および視点それぞれの移動量または回転量の時間的変化により定義される前記撮影者の基礎的な行動である単体的行動の組み合わせにより、映像から撮影者の行動を検出するための条件を示した検出条件を記憶する記憶部を有し、
    　映像と、前記映像の撮影者の位置情報および視点情報とを取得する工程と、
    　取得した、前記映像、当該映像の撮影者の位置情報および視点情報と、前記検出条件とを用いて、前記映像から撮影者が前記検出条件に示される行動を行った場面を検出する工程と、
    　を含むことを特徴とする処理方法。
PCT/JP2020/025729 2020-06-30 2020-06-30 処理システム及び処理方法 WO2022003842A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022532899A JP7468653B2 (ja) 2020-06-30 2020-06-30 処理システム及び処理方法
PCT/JP2020/025729 WO2022003842A1 (ja) 2020-06-30 2020-06-30 処理システム及び処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/025729 WO2022003842A1 (ja) 2020-06-30 2020-06-30 処理システム及び処理方法

Publications (1)

Publication Number Publication Date
WO2022003842A1 true WO2022003842A1 (ja) 2022-01-06

Family

ID=79315772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025729 WO2022003842A1 (ja) 2020-06-30 2020-06-30 処理システム及び処理方法

Country Status (2)

Country Link
JP (1) JP7468653B2 (ja)
WO (1) WO2022003842A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188899A (ja) * 2008-02-08 2009-08-20 Sony Corp 画像の撮影装置、その表示装置および画像データの管理システム
JP2015023552A (ja) * 2013-07-23 2015-02-02 キヤノン株式会社 画像再生装置、画像再生方法、プログラム、及び記憶媒体
WO2018212013A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209836A (ja) 2002-01-17 2003-07-25 Mitsubishi Electric Corp 情報伝達システム及び情報表示システム及び情報伝達方法及び情報表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188899A (ja) * 2008-02-08 2009-08-20 Sony Corp 画像の撮影装置、その表示装置および画像データの管理システム
JP2015023552A (ja) * 2013-07-23 2015-02-02 キヤノン株式会社 画像再生装置、画像再生方法、プログラム、及び記憶媒体
WO2018212013A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
JPWO2022003842A1 (ja) 2022-01-06
JP7468653B2 (ja) 2024-04-16

Similar Documents

Publication Publication Date Title
KR102437839B1 (ko) 요약 영상 브라우징 시스템 및 방법
TWI742300B (zh) 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US11676389B2 (en) Forensic video exploitation and analysis tools
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
US10936472B2 (en) Screen recording preparation method for evaluating software usability
CN110476421A (zh) 视频图像处理设备、视频图像分析系统、方法和程序
JP6334767B1 (ja) 情報処理装置、プログラム、及び情報処理方法
KR101678377B1 (ko) 시각적 이벤트 결과를 제공하는 영상 보안 시스템 및 방법
US20220044147A1 (en) Teaching data extending device, teaching data extending method, and program
JP6910208B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11109810B2 (en) Information display device, biological signal measurement system, and computer program product
JP5776471B2 (ja) 画像表示システム
WO2022003842A1 (ja) 処理システム及び処理方法
EP2608152A1 (en) Medical imaging diagnosis apparatus and medical imaging diagnosis method for providing diagnostic basis
JP2002262233A (ja) 行動計測システム
US20230259817A1 (en) Machine learning pipeline
JP5962383B2 (ja) 画像表示システムおよび画像処理装置
WO2022044637A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2022003836A1 (ja) 処理システム及び処理方法
JP7358269B2 (ja) 物体検出装置、物体検出システム、および、物体検出方法
JP2019125305A (ja) 教師データ作成支援装置
WO2018161421A1 (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置
US20200293785A1 (en) Information processing apparatus, information processing method, and medium
WO2021149261A1 (ja) 表示システムおよび表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20943176

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532899

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20943176

Country of ref document: EP

Kind code of ref document: A1