WO2021240581A1 - 動線表示装置、動線表示方法、及びプログラム - Google Patents

動線表示装置、動線表示方法、及びプログラム Download PDF

Info

Publication number
WO2021240581A1
WO2021240581A1 PCT/JP2020/020483 JP2020020483W WO2021240581A1 WO 2021240581 A1 WO2021240581 A1 WO 2021240581A1 JP 2020020483 W JP2020020483 W JP 2020020483W WO 2021240581 A1 WO2021240581 A1 WO 2021240581A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow line
action
information
display
display device
Prior art date
Application number
PCT/JP2020/020483
Other languages
English (en)
French (fr)
Inventor
祥治 西村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/020483 priority Critical patent/WO2021240581A1/ja
Priority to US17/925,660 priority patent/US20230186635A1/en
Priority to JP2022527264A priority patent/JPWO2021240581A1/ja
Publication of WO2021240581A1 publication Critical patent/WO2021240581A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves

Definitions

  • the present invention relates to a flow line display device, a flow line display method, and a program.
  • Patent Document 1 describes that a detection flag indicating whether or not a tracking object can be detected from a captured image is formed, and a display type of a flow line is determined based on this detection flag. Then, in Patent Document 1, the flow line is displayed superimposed on the captured image.
  • Patent Document 2 describes the following techniques. First, it is described that the flow lines of a plurality of people in the monitoring area are identified by image analysis, and the flow lines are associated with the flow line ID and stored in the database. The flow line ID corresponds to the person ID. When a certain person ID is selected, the flow line corresponding to the person ID is read from the database and displayed on the screen.
  • Patent Document 3 describes that the flow line of a moving body is superimposed and displayed on a real-time image.
  • Patent Document 4 a person who has performed a predetermined motion is detected by analyzing a video, the number of detections is stored for each person, and the number of detections of the predetermined motion is used to make that person a suspect. It is described to set.
  • the movement of a person is defined by various information.
  • the present inventor has considered displaying the movement of a person on a display means in an easy-to-understand manner.
  • One of the problems to be solved by the present invention is to display the movement of a person on a display means in an easy-to-understand manner.
  • an acquisition means for acquiring flow line information including a person's flow line, an action performed when the person moves along the flow line, and action information indicating a position where the action is performed.
  • a display control means for displaying the flow line, the action content information indicating the content of the action, and the action position information indicating the position where the action was performed on the display means.
  • a flow line display device comprising the above is provided.
  • the computer The flow line information including the flow line of the person, the action performed when the person moved along the flow line, and the action information indicating the position where the action was performed is acquired.
  • the display means is provided with a flow line display method for displaying the flow line, the action content information indicating the content of the action, and the action position information indicating the position where the action is performed.
  • the computer An acquisition function for acquiring flow line information including a person's flow line, an action performed when the person moves along the flow line, and action information indicating the position where the action was performed.
  • the movement of a person can be displayed on a display means in an easy-to-understand manner.
  • FIG. 3 It is a figure which shows an example of the functional structure of the flow line display device which concerns on 1st Embodiment. It is a figure which shows the hardware configuration example of the flow line display device. It is a flowchart which shows an example of the process performed by a flow line display device. The first example of the screen displayed in step S120 of FIG. 3 is shown. A second example of the screen displayed in step S120 of FIG. 3 is shown. A third example of the screen displayed in step S120 of FIG. 3 is shown. It is a flowchart which shows an example of the process performed by the flow line display device which concerns on 2nd Embodiment. An example of the screen displayed by the display unit in step S220 of FIG. 7 is shown.
  • FIG. 7 An example of the screen displayed by the display unit in step S240 of FIG. 7 is shown. It is a figure which shows an example of the functional structure of the flow line display device which concerns on 3rd Embodiment. It is a figure which shows an example of the modification of FIG.
  • FIG. 1 is a diagram showing an example of a functional configuration of the flow line display device 10 according to the present embodiment.
  • the flow line display device 10 according to the present embodiment includes an acquisition unit 110 and a display processing unit 120.
  • the acquisition unit 110 acquires at least one flow line information.
  • the flow line information includes the flow line of a person, the action performed when the person moves along the flow line, and the action information indicating the position where the action is performed.
  • the flow line information is generated for each person.
  • the flow line information is generated by, for example, analyzing a video.
  • This image is generated by a fixed camera such as a surveillance camera. Then, by analyzing the image generated by this fixed camera, the flow line information of the person who has moved the area included in the angle of view of the fixed camera is generated.
  • the frame rate of the images constituting the video is arbitrary.
  • the "act” is an act that is not related to the presence or absence of movement, such as waving, stretching, or looking around (shaking the face from side to side), that is, an act that can be performed whether the person is stationary or moving. It may be information about a moving state such as walking, running, walking fast, stopping, sitting, or swaying. Further, the "act” may include both information regarding the movement state and an act not related to the presence or absence of movement. An example of "act” in this case is "waving while walking".
  • the flow line information may include timing information indicating the timing at which the person is located at at least one point on the flow line.
  • the timing information includes, for example, a time, but may further include a month, day, and year, month, and day.
  • the flow line information preferably includes the timing at which the action is performed for all the positions on the flow line and all the actions.
  • the display processing unit 120 causes the display unit 130 to display the flow line indicated by the flow line information, the action content information indicating the content of the action, and the action position information indicating the position where the action was performed.
  • the details of the information displayed on the display unit 130 by the display processing unit 120 will be described later.
  • the flow line information may be generated by processing images from a plurality of fixed cameras.
  • the area included in the angle of view of the first fixed camera hereinafter referred to as the first area
  • the area included in the angle of view of the second fixed camera hereinafter referred to as the second area
  • the analysis results of the images of the first fixed camera and the analysis results of the images of the second fixed camera are summarized, and one flow line information is in the region connecting the first region and the second region. , Can show the flow lines and actions of people.
  • the number of fixed cameras required to generate one flow line information is not limited to one or two.
  • the display processing unit 120 may display the flow line information about at least two of these plurality of people on the display unit 130 at the same time, or may display only the flow line information of one person on the display unit 130. good.
  • the display processing unit 120 may display the flow line information about at least two of these plurality of people on the display unit 130 at the same time, or may display only the flow line information of one person on the display unit 130. good.
  • the display processing unit 120 may display the flow line information about at least two of these plurality of people on the display unit 130 at the same time, or may display only the flow line information of one person on the display unit 130. good.
  • the display processing unit 120 may display the flow line information about at least two of these plurality of people on the display unit 130 at the same time, or may display only the flow line information of one person on the display unit 130. good.
  • the display processing unit 120 may display the flow line information about at least two of these plurality of people on the display unit 130 at the same time, or may display only the flow line information of one person on the display unit
  • FIG. 2 is a diagram showing a hardware configuration example of the flow line display device 10.
  • the flow line display device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device realized by a RAM (RandomAccessMemory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 1040 stores a program module that realizes each function of the flow line display device 10 (for example, an acquisition unit 110, a display processing unit 120, and a display unit 130).
  • the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the storage device 1040 may also function as the flow line information storage unit 140 and the video storage unit 150 shown in the embodiments described later.
  • the input / output interface 1050 is an interface for connecting the flow line display device 10 and various input / output devices.
  • the flow line display device 10 When the flow line information storage unit 140 and the video storage unit 150 are located outside the flow line display device 10, the flow line display device 10 together with the flow line information storage unit 140 and the video storage unit 150 via the input / output interface 1050. You may connect.
  • the network interface 1060 is an interface for connecting the flow line display device 10 to the network.
  • This network is, for example, LAN (Local Area Network) or WAN (Wide Area Network).
  • the method of connecting the network interface 1060 to the network may be a wireless connection or a wired connection.
  • the flow line display device 10 is connected to the flow line information storage unit 140 and the video storage unit 150 via the network interface 1060. You may.
  • FIG. 3 is a flowchart showing an example of processing performed by the flow line display device 10.
  • the acquisition unit 110 acquires the flow line information (step S110).
  • the acquisition unit 110 may acquire one flow line information or may acquire a plurality of flow line information. In the latter case, the plurality of flow line information all indicate the flow lines in the same region and the same time zone.
  • the display processing unit 120 generates screen information using the flow line information acquired in step S110, and outputs this screen information to the display unit 130. Then, the display unit 130 displays a screen according to the screen information. This screen includes a flow line, action content information, and action position information (step S120).
  • FIG. 4 shows a first example of the screen displayed in step S120 of FIG.
  • the display unit 130 shows a region in which a person is moving in a top view.
  • the display unit 130 may display the flow line diagonally upward with a viewpoint.
  • the flow line is shown by a line.
  • the display unit 130 displays an identifier of a person corresponding to the flow line (described as ID: 7 in the figure) in the vicinity of the flow line.
  • ID: 7 in the figure the display unit 130 does not have to display this identifier.
  • the line indicating the flow line also serves as action content information.
  • the type of the line indicating the flow line differs depending on the action of the person at the point indicated by the flow line, for example, the action accompanied by the movement of the person.
  • the type of line indicating a flow line is set by using the moving speed of a person in the flow line.
  • the flow line when walking is shown by a solid line
  • the flow line when running is shown by a dotted line.
  • the type of front may differ depending on the speed at which the vehicle is running.
  • the type of line may be a solid line, a dotted line, or a alternate long and short dash line, or may be changed depending on the thickness and color of the line.
  • At least one of the action content information indicating a certain action is a mark or a character.
  • the display unit 130 displays a mark or a character indicating the act at or near the position where the act is performed, such as "falling over", which is not accompanied by the movement of a person.
  • FIG. 5 shows a second example of the screen displayed in step S120 of FIG.
  • the display unit 130 displays the information shown in FIG. 4, and also displays the timing information indicating the timing at which each action is performed.
  • the display unit 130 also displays timing information of an action in the vicinity of a mark or a character indicating an action.
  • the timing information is time.
  • the timing information may further include a date or a date.
  • FIG. 6 shows a third example of the screen displayed in step S120 of FIG.
  • the display unit 130 shows the flow line of one person, the action content information, and the action position information.
  • the display unit 130 shows the flow lines, the action content information, and the action position information of each of the plurality of people. In this way, the person looking at the display unit 130 can recognize how the movements of the plurality of people affect each other (for example, who collided with whom).
  • the display unit 130 displays an identifier of a person corresponding to the flow line (described as ID: 5, ID: 6, ID: 7 in the figure) in the vicinity of each flow line. ing. By doing so, the person who is looking at the display unit 130 can recognize the person who has made the movement shown in the flow line for each of the plurality of flow lines.
  • the display processing unit 120 tells the display unit 130 the flow line of the person, the action content information indicating the action performed when the person moves along the flow line, and the action content information. Display the action position indicating the position where the action was performed. Therefore, the movement of a person is displayed in an easy-to-understand manner.
  • the flow line display device 10 displays the flow line, the action content information, and the action position information indicated by the flow line information of the person selected by the user among the plurality of flow line information acquired by the acquisition unit 110.
  • the flow line display device 10 according to the first embodiment except that the flow line, the action content information, and the action position information indicated by the flow line information of another person are displayed on the display unit 130. Is similar to.
  • FIG. 7 is a flowchart showing an example of processing performed by the flow line display device 10 according to the present embodiment.
  • the acquisition unit 110 acquires a plurality of flow line information. These plurality of flow line information indicate the flow lines of people different from each other (step S210).
  • the display processing unit 120 causes the display unit 130 to display a screen for selecting at least one of these plurality of people (step S220). The details of this screen will be described later.
  • the user of the flow line display device 10 looks at the display unit 130 and inputs an input for selecting a person who wants to check the flow line.
  • the display processing unit 120 acquires information indicating the selection result, that is, information for identifying a person selected by the user (step 230).
  • the display processing unit 120 selects the flow line information of the person selected by the user, and causes the display unit 130 to display the flow line, the action content information, and the action position information indicated by the selected flow line information.
  • the display processing unit 120 does not display the flow line, the action content information, and the action position information indicated by the flow line information of another person on the display unit 130 (step S240).
  • FIG. 8 shows an example of the screen displayed by the display unit 130 in step S220 of FIG. 7.
  • the column on the left side of the screen is a column for the user to select a person
  • the column on the right side of the screen is the flow line of the selected person, the action content information, and the action position. It is a column for displaying information.
  • the display unit 130 displays an image including a person corresponding to the flow line information in the left column for each flow line information as information for selecting a person.
  • This image is, for example, an image trimmed from a frame image generated by a camera, and is acquired by the acquisition unit 110 together with the flow line information in step S210. Then, when the user selects the image (for example, clicking the mouse with the cursor placed on it), the person corresponding to the image is selected.
  • FIG. 9 shows an example of the screen displayed by the display unit 130 in step S240 of FIG. 7.
  • the image of the person selected by the user can be identified from the images of the rest of the people.
  • the image of a person not selected by the user is lighter than the image of the person selected by the user.
  • the flow line of the person selected by the user is displayed together with the action content information and the action position information, but the flow line, the action content information, and the action position information of the remaining people are displayed. Not.
  • steps S220 to S240 may be performed again.
  • the display processing unit 120 causes the display unit 130 to display the flow line, the action content information, and the action position information indicated by the flow line information of the person selected by the user on the display unit 130.
  • the flow line indicated by the flow line information of another person, the action content information, and the action position information may also be displayed on the display unit 130.
  • the display processing unit 120 displays the flow line, the action content information, and the action position information indicated by the flow line information of the person selected by the user, and the flow line, the action content information, and the action content information indicated by the flow line information of another person. It is displayed on the display unit 130 in a state that can be identified from the action position information (for example, changing the color).
  • the movement of a person is displayed in an easy-to-understand manner. Further, according to the present embodiment, even if the acquisition unit 110 acquires the flow line information of a plurality of people, the flow lines of the person not desired by the user are not displayed on the display unit 130. Therefore, the movement of a person becomes easy to understand.
  • the flow line display device 10 acquires the conditions that the flow line information should satisfy (hereinafter referred to as selection conditions) from the user, and acquires the flow line information that satisfies the selection conditions.
  • FIG. 10 is a diagram showing an example of the functional configuration of the flow line display device 10 according to the present embodiment.
  • the flow line display device 10 shown in this figure is any of the above, except that the acquisition unit 110 acquires the above-mentioned selection conditions and acquires the flow line information satisfying the selection conditions from the flow line information storage unit 140. It is the same as the embodiment of.
  • the flow line information storage unit 140 stores, for example, the flow line information in association with the date and time and place (or the identification information of the camera that generated the image) in which the image corresponding to the flow line information is generated.
  • An example of the selection condition acquired by the acquisition unit 110 is a combination of a place and a date and time.
  • the display processing unit 120 causes the display unit 130 to display the flow line of a person in a certain time zone at a specific place.
  • the selection condition may include an act included in the flow line information.
  • the display processing unit 120 causes the display unit 130 to display only the flow line of the person who has performed a specific action (for example, running, looking around, etc.) in a certain time zone of a specific place.
  • the selection condition may include a plurality of actions and an order of the plurality of actions.
  • the display processing unit 120 causes the display unit 130 to display the flow lines of people who have performed a plurality of actions in a designated order.
  • the display processing unit 120 causes the display unit 130 to display the flow line of a person who "walks, falls, and stands up".
  • the movement line information storage unit 140 is, for example, in the identifier of the camera that generated the image in which the person is shown, the identifier (or the date and time) of the frame image in which the person is shown, and the frame image for each person ID. It remembers the position and action of the person (for example, the amount of behavioral features).
  • the structure of the data stored in the flow line information storage unit 140 is not limited to this example.
  • FIG. 11 is a diagram showing an example of a modification of FIG. 10.
  • the acquisition unit 110 acquires information from the video storage unit 150 instead of the flow line information storage unit 140.
  • the image storage unit 150 stores the image generated by the camera in association with information (for example, an identifier of the camera) that can identify the place where the camera is installed.
  • the video also includes information indicating the date and time when each frame image was generated.
  • the acquisition unit 110 acquires the above-mentioned selection condition
  • the acquisition unit 110 acquires the video satisfying the place and the date and time included in the selection condition from the video storage unit 150.
  • the acquisition unit 110 generates the above-mentioned flow line information by processing this video.
  • the selection condition includes the "action”
  • the acquisition unit 110 selects the flow line information that satisfies the "action” as the selection condition from the generated flow line information.
  • the movement of a person is displayed in an easy-to-understand manner.
  • the flow line display device 10 can cause the display unit 130 to display the flow line of a person under the conditions desired by the user (for example, a place and a date and time).
  • the display processing unit 120 aggregates the places where the actions (for example, falling, running, etc.) are performed for each action, and specifies the places where the actions are likely to be performed. good.
  • the display processing unit 120 may display the number of cases in which the act has been performed on the display unit 130 for each location.
  • the display processing unit 120 may display the posture change timeline instead of the flow line.
  • the posture change timeline the horizontal axis is used as the time axis, and the mark or character in which each action is performed is displayed at the position corresponding to the time when the action is performed.
  • the mark or character is a flow line display device that also serves as the action position information by being displayed at or near the position where the action is performed in the flow line. 4.
  • At least one of the action content information is a line indicating the flow line, and a flow line display device indicating the action according to the type of the line. 5.
  • the type of the line is a flow line display device set by using the moving speed of the person in the flow line. 6.
  • the flow line information includes timing information indicating the timing at which the act is performed.
  • the display control means is a flow line display device that causes the display means to display the timing indicated by the timing information. 7.
  • the acquisition means acquires the flow line information of each of the plurality of the persons, and obtains the flow line information.
  • the display control means is a flow line display device that causes the display means to display the flow line, the action content information, and the action position information of each of the plurality of people. 8.
  • the display control means is A selection display is displayed on the display means so that the user can select at least one of the plurality of people.
  • the selection display information that identifies the person selected by the user is acquired, the flow line of the person, the action content information, and the action position information are displayed on the display means, and the other person's A flow line display device that does not display the flow line, the action content information, and the action position information on the display means.
  • the display control means is A selection display is displayed on the display means so that the user can select at least one of the plurality of people.
  • the selection display information that identifies the person selected by the user is acquired, and the person's flow line, the action content information, and the action position information are used for the other person's flow line and the action content.
  • a flow line display device that causes the display means to display information in a state that can be identified from the information and the action position information. 10.
  • the acquisition means Acquire the selection condition that is the condition that the flow line information to be acquired by the acquisition means should be acquired.
  • a flow line display device that acquires the flow line information satisfying the selection condition from a storage means that stores the flow line information of a plurality of the persons. 11.
  • the selection condition is a flow line display device related to the act. 12.
  • the selection condition is a flow line display device including the plurality of the actions and the order of the plurality of actions. 13.
  • the computer An acquisition process for acquiring flow line information including a person's flow line, an action performed when the person moves along the flow line, and action information indicating the position where the action was performed.
  • the mark or character is displayed in or near the position where the action is performed in the flow line, so that the flow line display method also serves as the action position information. 16.
  • At least one of the action content information is a line indicating the flow line, and a flow line display method indicating the action depending on the type of the line.
  • the type of the line is a flow line display method set by using the movement speed of the person in the flow line.
  • the flow line information includes timing information indicating the timing at which the act is performed.
  • the computer causes the display means to display the timing indicated by the timing information as well.
  • the acquisition process the computer acquires the flow line information of each of the plurality of persons.
  • the computer causes the display means to display the flow line, the action content information, and the action position information of each of the plurality of people.
  • the computer A selection display is displayed on the display means so that the user can select at least one of the plurality of people.
  • the selection display information for identifying the person selected by the user is acquired, the flow line of the person, the action content information, and the action position information are displayed on the display means, and the other person's A flow line display method that does not display the flow line, the action content information, and the action position information on the display means.
  • the computer A selection display is displayed on the display means so that the user can select at least one of the plurality of people.
  • the selection display information that identifies the person selected by the user is acquired, and the person's flow line, the action content information, and the action position information are used for the other person's flow line and the action content.
  • the computer Acquire the selection condition that is the condition that the flow line information to be acquired by the acquisition means should be acquired.
  • the selection condition is a flow line display method related to the act. 24.
  • the selection condition is a flow line display method including a plurality of the actions and an order of the plurality of actions. 25.
  • the type of the line is a program set by using the moving speed of the person in the flow line.
  • the flow line information includes timing information indicating the timing at which the act is performed.
  • the display control function is a program that causes the display means to display the timing indicated by the timing information.
  • the acquisition function acquires the flow line information of each of the plurality of the persons, and obtains the flow line information.
  • the display control function is a program for causing the display means to display the flow line, the action content information, and the action position information of each of the plurality of people. 32.
  • the display control function is A selection display is displayed on the display means so that the user can select at least one of the plurality of people.
  • the selection display information that identifies the person selected by the user is acquired, the flow line of the person, the action content information, and the action position information are displayed on the display means, and the other person's A program that does not display the flow line, the action content information, and the action position information on the display means.
  • the display control function is A selection display is displayed on the display means so that the user can select at least one of the plurality of people.
  • the selection display information that identifies the person selected by the user is acquired, and the person's flow line, the action content information, and the action position information are used as the other person's flow line and the action content.
  • the acquisition function is Acquire the selection condition that is the condition that the flow line information to be acquired by the acquisition means should be acquired.
  • the selection condition is a program related to the act. 36.
  • the selection condition is a program including a plurality of the above actions and an order of the plurality of actions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

動線表示装置(10)は、取得部(110)及び表示処理部(120)を備えている。取得部(110)は、少なくとも一つの動線情報を取得する。動線情報は、人の動線、並びに、その人が動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含んでいる。動線情報は人別に生成されている。表示処理部(120)は、表示部(130)に、動線情報が示す動線、行為情報が示す行為を示す行為内容情報、及びその行為を行った位置を示す行為位置情報を表示させる。

Description

動線表示装置、動線表示方法、及びプログラム
 本発明は、動線表示装置、動線表示方法、及びプログラムに関する。
 近年は、画像解析などを用いることにより人の動線を把握することが行われている。そして得られた動線は、ディスプレイなどの表示部に表示される。
 例えば特許文献1には、撮像画像から追跡対象物を検知できているか否かを示す検知フラグを形成し、この検知フラグに基づいて動線の表示種別を決定することが記載されている。そして特許文献1において、動線は、撮影画像に重ねて表示される。
 また特許文献2には、以下の技術が記載されている。まず、画像解析により、監視領域内における複数の人の動線を特定し、この動線を動線IDに対応付けてデータベースに記憶することが記載されている。動線IDは、人物IDに対応づいている。そしてある人物IDが選択されると、その人物IDに対応する動線がデータベースから読み出されて画面に表示される。
 また特許文献3には、移動体の動線をリアルタイムな映像上に重畳して表示することが記載されている。
 なお、特許文献4には、映像を解析することにより所定動作を行った人物を検知し、この検知回数を人物別に記憶しておき、この所定動作の検知回数を用いてその人物を被疑者に設定することが記載されている。
国際公開第2010/044186号 特開2009-265922号公報 特開2015-70354号公報 国際公開第2016/147770号
 人の動きは、様々な情報によって定義される。本発明者は、人の動きをわかりやすく表示手段に表示させることを検討した。本発明が解決しようとする課題の一つは、人の動きをわかりやすく表示手段に表示させることにある。
 本発明によれば、人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得する取得手段と、
 表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる表示制御手段と、
を備える動線表示装置が提供される。
 本発明によれば、コンピュータが、
  人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得し、
  表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる、動線表示方法が提供される。
 本発明によれば、コンピュータに、
  人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得する取得機能と、
  表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる表示処理機能と、
を持たせるプログラムが提供される。
 本発明によれば、人の動きをわかりやすく表示手段に表示させることができる。
 上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第1実施形態に係る動線表示装置の機能構成の一例を示す図である。 動線表示装置のハードウェア構成例を示す図である。 動線表示装置が行う処理の一例を示すフローチャートである。 図3のステップS120で表示される画面の第1例を示している。 図3のステップS120で表示される画面の第2例を示している。 図3のステップS120で表示される画面の第3例を示している。 第2実施形態に係る動線表示装置が行う処理の一例を示すフローチャートである。 図7のステップS220において表示部が表示する画面の一例を示している。 図7のステップS240において表示部が表示する画面の一例を示している。 第3実施形態に係る動線表示装置の機能構成の一例を示す図である。 図10の変形例の一例を示す図である。
 以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
[第1実施形態]
 図1は、本実施形態に係る動線表示装置10の機能構成の一例を示す図である。本実施形態に係る動線表示装置10は、取得部110及び表示処理部120を備えている。
 取得部110は、少なくとも一つの動線情報を取得する。動線情報は、人の動線、並びに、その人が動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含んでいる。動線情報は人別に生成されている。
 動線情報は、例えば映像を解析することにより生成されている。この映像は、例えば監視カメラなどの固定カメラによって生成されている。そしてこの固定カメラが生成した映像が解析されることにより、当該固定カメラの画角に含まれる領域を移動した人の動線情報が生成される。ここで、映像を構成する画像のフレームレートは任意である。
 映像を解析すると、人毎の動線を特定することができる。また映像を解析することにより、その人が動線上の各位置で行った行為を特定することもできる。このため、上記した行為情報も、映像を解析することにより生成される。ここで「行為」は、手を振る、背伸びをする、周囲を見回す(顔を左右に振る)など、移動の有無に関連しない行為すなわち静止していても移動していても行える行為であってもよいし、歩く、走る、早歩きをする、立ち止まる、座る、ふらついているなどの移動状態に関する情報であってもよい。また「行為」は、移動状態に関する情報及び移動の有無に関連しない行為の双方を含んでいてもよい。この場合の「行為」の一例は、「歩きながら手を振る」である。
 そして、動線情報は、その人が動線上の少なくとも一つの地点に位置したタイミングを示すタイミング情報を含んでいてもよい。タイミング情報は、例えば時刻を含んでいるが、さらに月日や年月日を含んでいてもよい。動線情報は、好ましくは、動線上のすべての位置及びすべての行為について、当該行為が行われたタイミングを含んでいる。
 表示処理部120は、表示部130に、動線情報が示す動線、行為の内容を示す行為内容情報、及びその行為を行った位置を示す行為位置情報を表示させる。表示処理部120が表示部130に表示させる情報の詳細については、後述する。
 なお、動線情報は、複数の固定カメラの映像を処理することにより生成されていてもよい。一例として、第1の固定カメラの画角に含まれる領域(以下、第1領域と記載)と、第2の固定カメラの画角に含まれる領域(以下、第2領域と記載)は隣り合っている場合、これらの第1の固定カメラの映像の分析結果と第2の固定カメラの映像の分析結果をまとめると、一つの動線情報は、第1領域及び第2領域をつなげた領域における、人の動線及び行為を示すことができる。なお、一つの動線情報を生成するために必要な固定カメラの台数は1台又は2台に限定されない。
 また、一つの映像に複数の人が映っていた場合、一つの映像から複数の動線情報が生成される。この場合、表示処理部120は、これら複数の人の少なくとも二人に関する動線情報を、同時に表示部130に表示させてもよいし、一人の動線情報のみを表示部130に表示させてもよい。前者の場合、同じ時間帯における複数の人の動線情報が同時に表示部130に表示されるため、表示部130を見ている人は、これら複数の人の動きが互いにどのように影響しているかを認識することができる。
 図2は、動線表示装置10のハードウェア構成例を示す図である。動線表示装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
 バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
 プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
 メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
 ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は動線表示装置10の各機能(例えば取得部110、表示処理部120、及び表示部130)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は、後述する実施形態で示す動線情報記憶部140及び映像記憶部150としても機能することもある。
 入出力インタフェース1050は、動線表示装置10と各種入出力機器とを接続するためのインタフェースである。動線情報記憶部140及び映像記憶部150が動線表示装置10の外部に位置する場合、動線表示装置10は、入出力インタフェース1050を介して動線情報記憶部140及び映像記憶部150と接続してもよい。
 ネットワークインタフェース1060は、動線表示装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。動線情報記憶部140及び映像記憶部150が動線表示装置10の外部に位置する場合、動線表示装置10は、ネットワークインタフェース1060を介して動線情報記憶部140及び映像記憶部150と接続してもよい。
 図3は、動線表示装置10が行う処理の一例を示すフローチャートである。まず取得部110は、動線情報を取得する(ステップS110)。ここで取得部110は、動線情報を一つ取得することもあれば、複数の動線情報を取得することもある。後者の場合、複数の動線情報は、いずれも同一の領域かつ同一の時間帯における動線を示している。
 次いで表示処理部120は、ステップS110で取得した動線情報を用いて画面情報を生成し、この画面情報を表示部130に出力する。そして、表示部130は、画面情報に従った画面を表示する。この画面は、動線、行為内容情報、及び行為位置情報を含んでいる(ステップS120)。
 図4は、図3のステップS120で表示される画面の第1例を示している。本図に示す例において、表示部130は、人が動いていた領域を上面視で示している。ただし表示部130は、斜め上方に視点をおいて動線を表示してもよい。そして動線は線で示されている。また本図に示す例において、表示部130は、動線の近傍に、当該動線に対応する人物の識別子(図においてはID:7と記載)を表示している。ただし、表示部130はこの識別子を表示しなくてもよい。
 ここで、動線を示す線は、行為内容情報を兼ねている。具体的には、動線を示す線の種類は、当該動線が示す地点における人の行為、例えば人の移動が伴う行為によって異なっている。例えば動線を示す線の種類は、当該動線における人の移動速度を用いて設定されている。一例として、歩いているときの動線は実線であり、走っているときの動線は点線で示されている。ここで、走っているときの速さによって戦線の種類が異なっていてもよい。なお、線の種類は、実線、点線、及び一点鎖線であってもよいし、さらに線の太さや色によって変えられていてもよい。
 また本図に示す例において、ある行為を示す行為内容情報の少なくとも一つはマーク又は文字である。具体的には、表示部130は、「転倒」といった、人の移動が伴わない行為について、その行為が行われた位置又はその近傍に、その行為を示すマーク又は文字を表示している。
 図5は、図3のステップS120で表示される画面の第2例を示している。本図に示す例において、表示部130は、図4に示した情報を表示するとともに、さらに、各行為が行われたタイミングを示すタイミング情報も表示している。一例として、表示部130は、ある行為を示すマーク又は文字の近傍に、その行為のタイミング情報も表示している。本図に示す例において、タイミング情報は時刻である。ただし、上記したように、タイミング情報はさらに月日や年月日を含んでいてもよい。
 図6は、図3のステップS120で表示される画面の第3例を示している。図4に示す例において、表示部130は、一人の動線、行為内容情報、及び行為位置情報を示していた。これに対して本図に示す例では、表示部130は複数の人それぞれの動線、行為内容情報、及び行為位置情報を示している。このようにすると、表示部130を見ている人は、複数の人の動きが互いにどのように影響しているか(例えば誰と誰が衝突したかなど)を認識することができる。
 また本図に示す例において、表示部130は、各動線の近傍に、当該動線に対応する人物の識別子(図においてはID:5、ID:6、ID:7と記載)を表示している。このようにすると、表示部130を見ている人は、複数の動線それぞれについて、当該動線に示した動きをした人を認識することができる。
 以上、本実施形態によれば、表示処理部120は、表示部130に、人の動線とともに、その人がその動線に沿って移動したときに行った行為を示す行為内容情報、及び、当該行為を行った位置を示す行為位置を表示させる。このため、人の動きはわかりやすく表示される。
[第2実施形態]
 本実施形態に係る動線表示装置10は、取得部110が取得した複数の動線情報のうち、ユーザが選択した人の動線情報が示す動線、行為内容情報、及び行為位置情報を表示部130に表示させるが、他の人の動線情報が示す動線、行為内容情報、及び行為位置情報は表示部130に表示させない点を除いて、第1実施形態に係る動線表示装置10と同様である。
 図7は、本実施形態に係る動線表示装置10が行う処理の一例を示すフローチャートである。まず取得部110は、複数の動線情報を取得する。これら複数の動線情報は、互いに異なる人の動線を示している(ステップS210)。次いで表示処理部120は、これら複数の人の少なくとも一人を選択させるための画面を表示部130に表示させる(ステップS220)。この画面の詳細については、後述する。
 動線表示装置10のユーザは、表示部130を見て、動線を確認したい人を選択するための入力を行う。表示処理部120は、この選択結果を示す情報、すなわちユーザが選択した人を特定する情報を取得する(ステップ230)。次いで表示処理部120は、ユーザが選択した人の動線情報を選択し、選択した動線情報が示す動線、行為内容情報、及び行為位置情報を表示部130に表示させる。ここで表示処理部120は、他の人の動線情報が示す動線、行為内容情報、及び行為位置情報は表示部130に表示させない(ステップS240)。
 図8は、図7のステップS220において表示部130が表示する画面の一例を示している。本図に示す例において、画面の左側の欄は、ユーザが人を選択するための欄になっており、画面の右側の欄は、選択された人の動線、行為内容情報、及び行為位置情報を表示するための欄になっている。
 そして表示部130は、人を選択するための情報として、動線情報毎に、当該動線情報に対応する人を含む画像を左側の欄に表示させている。この画像は、例えばカメラが生成したフレーム画像からトリミングされた画像であり、ステップS210において、取得部110によって動線情報とともに取得されている。そしてユーザがその画像を選択する(例えばカーソルを重ねた状態でマウスをクリックする)と、その画像に対応する人が選択されたことになる。
 図9は、図7のステップS240において表示部130が表示する画面の一例を示している。左側の欄において、ユーザが選択した人の画像は、残りの人の画像から識別可能になっている。一例として、ユーザが選択しなかった人の画像は、ユーザが選択した人の画像と比べて薄くなっている。また右側の欄には、ユーザが選択した人の動線が、行為内容情報、及び行為位置情報とともに表示されているが、残りの人の動線、行為内容情報、及び行為位置情報は表示されていない。
 なお、ステップS240の後に、再度ステップS220~ステップS240が行われてもよい。
 また、図7のステップS240において、表示処理部120は、表示部130に、ユーザが選択した人の動線情報が示す動線、行為内容情報、及び行為位置情報を表示部130に表示させるとともに、他の人の動線情報が示す動線、行為内容情報、及び行為位置情報も表示部130に表示させてもよい。この場合、表示処理部120は、ユーザが選択した人の動線情報が示す動線、行為内容情報、及び行為位置情報を、他の人の動線情報が示す動線、行為内容情報、及び行為位置情報から識別可能な状態(例えば色を変える等)で表示部130に表示させる。
 本実施形態によっても、第1実施形態と同様に、人の動きはわかりやすく表示される。また本実施形態によれば、取得部110が複数の人の動線情報を取得したとしても、ユーザが希望しない人の動線は表示部130に表示されない。従って、人の動きはわかりやすくなる。
[第3実施形態]
 本実施形態に係る動線表示装置10は、ユーザから動線情報が満たすべき条件(以下、選択条件と記載)を取得し、この選択条件を満たす動線情報を取得する。
 図10は、本実施形態に係る動線表示装置10の機能構成の一例を示す図である。本図に示す動線表示装置10は、取得部110が上記した選択条件を取得し、その選択条件を満たす動線情報を動線情報記憶部140から取得する点を除いて、上記したいずれかの実施形態と同様である。
 動線情報記憶部140は、例えば動線情報を、その動線情報に対応する映像が生成された日時及び場所(又は映像を生成したカメラの識別情報)に紐づけて記憶している。そして取得部110が取得する選択条件の一例は、場所及び日時の組み合わせである。この場合、表示処理部120は、表示部130に、ある特定の場所のある時間帯における人の動線を表示させる。
 なお、選択条件は、動線情報に含まれる行為を含んでいてもよい。この場合、表示処理部120は、表示部130に、ある特定の場所のある時間帯において、特定の行為(例えば走る、周囲を見回すなど)を行った人の動線のみを表示させる。また選択条件は、複数の行為と、当該複数の行為の順序を含んでいてもよい。この場合、表示処理部120は、表示部130に、複数の行為を指定された順序で行った人の動線を表示させる。一例として、表示処理部120は、表示部130に、「歩いて・転んで・立ち上がった」人の動線を表示させる。
 なお、動線情報記憶部140は、例えば、人物ID別に、その人物が映っている映像を生成したカメラの識別子、その人物が映っているフレーム画像の識別子(または日時)、及びそのフレーム画像におけるその人物の位置及び行為(例えば行動特徴量)を記憶している。ただし、動線情報記憶部140が記憶しているデータの構造はこの例に限定されない。
 図11は、図10の変形例の一例を示す図である。本図に示す動線表示装置10において、取得部110は動線情報記憶部140の代わりに映像記憶部150から情報を取得する。映像記憶部150は、カメラが生成した映像を、そのカメラが設置されている場所が特定可能な情報(例えばカメラの識別子)に紐づけて記憶している。なお、映像は、各フレーム画像が生成された日時を示す情報も含んでいる。
 そして取得部110は、上記した選択条件を取得すると、選択条件に含まれる場所及び日時を満たす映像を映像記憶部150から取得する。そして取得部110は、この映像を処理することにより、上記した動線情報を生成する。そして取得部110は、選択条件に「行為」が含まれていた場合、生成した動線情報のうち選択条件としての「行為」を満たす動線情報を選択する。
 本実施形態によっても、第1実施形態と同様に、人の動きはわかりやすく表示される。また、動線表示装置10は、表示部130に、ユーザが所望する条件(例えば場所及び日時)における人の動線を表示させることができる。
 以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
 例えば第3実施形態又はその変形例において、表示処理部120は、行為別に、その行為(例えば転ぶ、走るなど)が行われた場所を集計し、その行為が行われやすい場所を特定してもよい。この場合、表示処理部120は、場所別にその行為が行われた件数を表示部130に表示させてもよい。
 また上記した各実施形態において、表示処理部120は、動線の代わりに姿勢変化タイムラインを表示させてもよい。姿勢変化タイムラインの一例は、横軸を時間軸として、各行為が行われたマークや文字をその行為が行われた時刻に対応する位置に表示させるものである。
 また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
 上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
 1.人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得する取得手段と、
 表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる表示制御手段と、
を備える動線表示装置。
2.上記1に記載の動線表示装置において、
 前記行為内容情報の少なくとも一つはマーク又は文字である動線表示装置。
3.上記2に記載の動線表示装置において、
 前記マーク又は文字は、前記動線のうち当該行為が行われた位置又はその近傍に表示されることにより、前記行為位置情報を兼ねている動線表示装置。
4.上記1~3のいずれか一項に記載の動線表示装置において、
 前記行為内容情報の少なくとも一つは、前記動線を示す線であり、当該線の種類によって前記行為を示している動線表示装置。
5.上記4に記載の動線表示装置において、
 前記線の種類は、前記動線における前記人の移動速度を用いて設定されている動線表示装置。
6.上記1~5のいずれか一項に記載の動線表示装置において、
 前記動線情報は、前記行為が行われたタイミングを示すタイミング情報を含んでおり、
 前記表示制御手段は、前記表示手段に、前記タイミング情報が示すタイミングも表示させる動線表示装置。
7.上記1~6のいずれか一項に記載の動線表示装置において、
 前記取得手段は、複数の前記人それぞれの前記動線情報を取得し、
 前記表示制御手段は、前記複数の人それぞれの前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させる動線表示装置。
8.上記7に記載の動線表示装置において、
 前記表示制御手段は、
  前記複数の人から少なくとも一人をユーザに選択させるため選択表示を前記表示手段に表示させ、
  前記選択表示において前記ユーザが選択した前記人を特定する情報を取得し、当該人の前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させるとともに、他の前記人の前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させない動線表示装置。
9.上記7に記載の動線表示装置において、
 前記表示制御手段は、
  前記複数の人から少なくとも一人をユーザに選択させるため選択表示を前記表示手段に表示させ、
  前記選択表示において前記ユーザが選択した前記人を特定する情報を取得し、当該人の前記動線、前記行為内容情報、及び前記行為位置情報を、他の前記人の前記動線、前記行為内容情報、及び前記行為位置情報から識別可能な状態で前記表示手段に表示させる動線表示装置。
10.上記1~9のいずれか一項に記載の動線表示装置において、
 前記取得手段は、
  当該取得手段が取得すべき前記動線情報が満たすべき条件である選択条件を取得し、
  複数の前記人の前記動線情報を記憶している記憶手段から、前記選択条件を満たす前記動線情報を取得する動線表示装置。
11.上記10に記載の動線表示装置において、
 前記選択条件は、前記行為に関している動線表示装置。
12.上記11に記載の動線表示装置において、
 前記選択条件は、複数の前記行為と、当該複数の行為の順序を含んでいる動線表示装置。
13.コンピュータが、
  人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得する取得処理と、
  表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる表示処理と、
を行う動線表示方法。
14.上記13に記載の動線表示方法において、
 前記行為内容情報の少なくとも一つはマーク又は文字である動線表示方法。
15.上記14に記載の動線表示方法において、
 前記マーク又は文字は、前記動線のうち当該行為が行われた位置又はその近傍に表示されることにより、前記行為位置情報を兼ねている動線表示方法。
16.上記13~15のいずれか一項に記載の動線表示方法において、
 前記行為内容情報の少なくとも一つは、前記動線を示す線であり、当該線の種類によって前記行為を示している動線表示方法。
17.上記16に記載の動線表示方法において、
 前記線の種類は、前記動線における前記人の移動速度を用いて設定されている動線表示方法。
18.上記13~17のいずれか一項に記載の動線表示方法において、
 前記動線情報は、前記行為が行われたタイミングを示すタイミング情報を含んでおり、
 前記表示制御処理において、前記コンピュータは、前記表示手段に、前記タイミング情報が示すタイミングも表示させる動線表示方法。
19.上記13~18のいずれか一項に記載の動線表示方法において、
 前記取得処理において、前記コンピュータは、複数の前記人それぞれの前記動線情報を取得し、
 前記表示制御処理において、前記コンピュータは、前記複数の人それぞれの前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させる動線表示方法。
20.上記19に記載の動線表示方法において、
 前記表示制御処理において、前記コンピュータは、
  前記複数の人から少なくとも一人をユーザに選択させるため選択表示を前記表示手段に表示させ、
  前記選択表示において前記ユーザが選択した前記人を特定する情報を取得し、当該人の前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させるとともに、他の前記人の前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させない動線表示方法。
21.上記19に記載の動線表示方法において、
 前記表示制御処理において、前記コンピュータは、
  前記複数の人から少なくとも一人をユーザに選択させるため選択表示を前記表示手段に表示させ、
  前記選択表示において前記ユーザが選択した前記人を特定する情報を取得し、当該人の前記動線、前記行為内容情報、及び前記行為位置情報を、他の前記人の前記動線、前記行為内容情報、及び前記行為位置情報から識別可能な状態で前記表示手段に表示させる動線表示方法。
22.上記13~21のいずれか一項に記載の動線表示方法において、
 前記取得処理において、前記コンピュータは、
  当該取得手段が取得すべき前記動線情報が満たすべき条件である選択条件を取得し、
  複数の前記人の前記動線情報を記憶している記憶手段から、前記選択条件を満たす前記動線情報を取得する動線表示方法。
23.上記22に記載の動線表示方法において、
 前記選択条件は、前記行為に関している動線表示方法。
24.上記23に記載の動線表示方法において、
 前記選択条件は、複数の前記行為と、当該複数の行為の順序を含んでいる動線表示方法。
25.コンピュータに、
  人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得する取得機能と、
  表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる表示処理機能と、
を持たせるプログラム。

26.上記25に記載のプログラムにおいて、
 前記行為内容情報の少なくとも一つはマーク又は文字であるプログラム。
27.上記26に記載のプログラムにおいて、
 前記マーク又は文字は、前記動線のうち当該行為が行われた位置又はその近傍に表示されることにより、前記行為位置情報を兼ねているプログラム。
28.上記25~27のいずれか一項に記載のプログラムにおいて、
 前記行為内容情報の少なくとも一つは、前記動線を示す線であり、当該線の種類によって前記行為を示しているプログラム。
29.上記28に記載のプログラムにおいて、
 前記線の種類は、前記動線における前記人の移動速度を用いて設定されているプログラム。
30.上記25~29のいずれか一項に記載のプログラムにおいて、
 前記動線情報は、前記行為が行われたタイミングを示すタイミング情報を含んでおり、
 前記表示制御機能は、前記表示手段に、前記タイミング情報が示すタイミングも表示させるプログラム。
31.上記25~30のいずれか一項に記載のプログラムにおいて、
 前記取得機能は、複数の前記人それぞれの前記動線情報を取得し、
 前記表示制御機能は、前記複数の人それぞれの前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させるプログラム。
32.上記31に記載のプログラムにおいて、
 前記表示制御機能は、
  前記複数の人から少なくとも一人をユーザに選択させるため選択表示を前記表示手段に表示させ、
  前記選択表示において前記ユーザが選択した前記人を特定する情報を取得し、当該人の前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させるとともに、他の前記人の前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させないプログラム。
33.上記31に記載のプログラムにおいて、
 前記表示制御機能は、
  前記複数の人から少なくとも一人をユーザに選択させるため選択表示を前記表示手段に表示させ、
  前記選択表示において前記ユーザが選択した前記人を特定する情報を取得し、当該人の前記動線、前記行為内容情報、及び前記行為位置情報を、他の前記人の前記動線、前記行為内容情報、及び前記行為位置情報から識別可能な状態で前記表示手段に表示させるプログラム。
34.上記25~33のいずれか一項に記載のプログラムにおいて、
 前記取得機能は、
  当該取得手段が取得すべき前記動線情報が満たすべき条件である選択条件を取得し、
  複数の前記人の前記動線情報を記憶している記憶手段から、前記選択条件を満たす前記動線情報を取得するプログラム。
35.上記34に記載のプログラムにおいて、
 前記選択条件は、前記行為に関しているプログラム。
36.上記35に記載のプログラムにおいて、
 前記選択条件は、複数の前記行為と、当該複数の行為の順序を含んでいるプログラム。
10    動線表示装置
110    取得部
120    表示処理部
130    表示部
140    動線情報記憶部
150    映像記憶部

Claims (14)

  1.  人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得する取得手段と、
     表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる表示制御手段と、
    を備える動線表示装置。
  2.  請求項1に記載の動線表示装置において、
     前記行為内容情報の少なくとも一つはマーク又は文字である動線表示装置。
  3.  請求項2に記載の動線表示装置において、
     前記マーク又は文字は、前記動線のうち当該行為が行われた位置又はその近傍に表示されることにより、前記行為位置情報を兼ねている動線表示装置。
  4.  請求項1~3のいずれか一項に記載の動線表示装置において、
     前記行為内容情報の少なくとも一つは、前記動線を示す線であり、当該線の種類によって前記行為を示している動線表示装置。
  5.  請求項4に記載の動線表示装置において、
     前記線の種類は、前記動線における前記人の移動速度を用いて設定されている動線表示装置。
  6.  請求項1~5のいずれか一項に記載の動線表示装置において、
     前記動線情報は、前記行為が行われたタイミングを示すタイミング情報を含んでおり、
     前記表示制御手段は、前記表示手段に、前記タイミング情報が示すタイミングも表示させる動線表示装置。
  7.  請求項1~6のいずれか一項に記載の動線表示装置において、
     前記取得手段は、複数の前記人それぞれの前記動線情報を取得し、
     前記表示制御手段は、前記複数の人それぞれの前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させる動線表示装置。
  8.  請求項7に記載の動線表示装置において、
     前記表示制御手段は、
      前記複数の人から少なくとも一人をユーザに選択させるため選択表示を前記表示手段に表示させ、
      前記選択表示において前記ユーザが選択した前記人を特定する情報を取得し、当該人の前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させるとともに、他の前記人の前記動線、前記行為内容情報、及び前記行為位置情報を前記表示手段に表示させない動線表示装置。
  9.  請求項7に記載の動線表示装置において、
     前記表示制御手段は、
      前記複数の人から少なくとも一人をユーザに選択させるため選択表示を前記表示手段に表示させ、
      前記選択表示において前記ユーザが選択した前記人を特定する情報を取得し、当該人の前記動線、前記行為内容情報、及び前記行為位置情報を、他の前記人の前記動線、前記行為内容情報、及び前記行為位置情報から識別可能な状態で前記表示手段に表示させる動線表示装置。
  10.  請求項1~9のいずれか一項に記載の動線表示装置において、
     前記取得手段は、
      当該取得手段が取得すべき前記動線情報が満たすべき条件である選択条件を取得し、
      複数の前記人の前記動線情報を記憶している記憶手段から、前記選択条件を満たす前記動線情報を取得する動線表示装置。
  11.  請求項10に記載の動線表示装置において、
     前記選択条件は、前記行為に関している動線表示装置。
  12.  請求項11に記載の動線表示装置において、
     前記選択条件は、複数の前記行為と、当該複数の行為の順序を含んでいる動線表示装置。
  13.  コンピュータが、
      人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得する取得処理と、
      表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる表示処理と、
    を行う動線表示方法。
  14.  コンピュータに、
      人の動線、並びに、前記人が前記動線に沿って移動したときに行った行為及び当該行為を行った位置を示す行為情報を含む動線情報を取得する取得機能と、
      表示手段に、前記動線、前記行為の内容を示す行為内容情報、及び前記行為を行った位置を示す行為位置情報を表示させる表示処理機能と、
    を持たせるプログラム。
PCT/JP2020/020483 2020-05-25 2020-05-25 動線表示装置、動線表示方法、及びプログラム WO2021240581A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/020483 WO2021240581A1 (ja) 2020-05-25 2020-05-25 動線表示装置、動線表示方法、及びプログラム
US17/925,660 US20230186635A1 (en) 2020-05-25 2020-05-25 Flow line display apparatus, flow line display method, and non-transitory computer-readable storage medium
JP2022527264A JPWO2021240581A1 (ja) 2020-05-25 2020-05-25

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020483 WO2021240581A1 (ja) 2020-05-25 2020-05-25 動線表示装置、動線表示方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2021240581A1 true WO2021240581A1 (ja) 2021-12-02

Family

ID=78723195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020483 WO2021240581A1 (ja) 2020-05-25 2020-05-25 動線表示装置、動線表示方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230186635A1 (ja)
JP (1) JPWO2021240581A1 (ja)
WO (1) WO2021240581A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010002997A (ja) * 2008-06-18 2010-01-07 Toshiba Tec Corp 人物行動分析装置及び人物行動分析プログラム
JP2014191541A (ja) * 2013-03-27 2014-10-06 Nippon Telegraph & Telephone West Corp 情報表示装置、情報格納装置及び情報表示方法
JP2016129295A (ja) * 2015-01-09 2016-07-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010002997A (ja) * 2008-06-18 2010-01-07 Toshiba Tec Corp 人物行動分析装置及び人物行動分析プログラム
JP2014191541A (ja) * 2013-03-27 2014-10-06 Nippon Telegraph & Telephone West Corp 情報表示装置、情報格納装置及び情報表示方法
JP2016129295A (ja) * 2015-01-09 2016-07-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20230186635A1 (en) 2023-06-15
JPWO2021240581A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
US10209516B2 (en) Display control method for prioritizing information
CN105339868B (zh) 基于眼睛跟踪的视觉增强
JP7036493B2 (ja) 監視方法及び装置
US20190266413A1 (en) Image processing apparatus, monitoring system, image processing method, and program
JP2024075625A (ja) 映像監視システム、映像監視方法、及びプログラム
JP6624852B2 (ja) 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム
US10956763B2 (en) Information terminal device
US11548760B2 (en) Elevator display system
JP2007131382A (ja) エレベータのかご内監視装置、及び監視プログラム
US20160349972A1 (en) Data browse apparatus, data browse method, and storage medium
US20230410510A1 (en) Information processing apparatus, control method, and program
JP4735242B2 (ja) 注視対象物体特定装置
US20200250444A1 (en) Method for determining correct scanning distance using augmented reality and machine learning models
JP6320942B2 (ja) 重み行列学習装置、視線方向予測システム、警告システムおよび重み行列学習方法
US20240112408A1 (en) User-customized location based content presentation
KR102279444B1 (ko) 모션의 검출을 표시하기 위한 감시 장치 및 감시 방법
WO2021240581A1 (ja) 動線表示装置、動線表示方法、及びプログラム
WO2011108183A1 (ja) 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム
JP2024086797A (ja) 動線表示装置、動線表示方法、及びプログラム
WO2022059223A1 (ja) 映像解析システムおよび映像解析方法
CN114546103A (zh) 扩展现实中通过手势的操作方法和头戴式显示器系统
EP3244293B1 (en) Selection option information presentation system and method
JP7380863B2 (ja) 画像記憶装置、画像記憶方法、及びプログラム
JP2019125305A (ja) 教師データ作成支援装置
WO2021214981A1 (ja) コンテンツ表示装置、コンテンツ表示方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20937432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527264

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20937432

Country of ref document: EP

Kind code of ref document: A1