WO2022064631A1 - 画像解析システム及び画像解析方法 - Google Patents

画像解析システム及び画像解析方法 Download PDF

Info

Publication number
WO2022064631A1
WO2022064631A1 PCT/JP2020/036222 JP2020036222W WO2022064631A1 WO 2022064631 A1 WO2022064631 A1 WO 2022064631A1 JP 2020036222 W JP2020036222 W JP 2020036222W WO 2022064631 A1 WO2022064631 A1 WO 2022064631A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image analysis
analysis
user
analysis system
Prior art date
Application number
PCT/JP2020/036222
Other languages
English (en)
French (fr)
Inventor
健全 劉
洋平 佐々木
悠太 並木
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/036222 priority Critical patent/WO2022064631A1/ja
Priority to EP20955225.6A priority patent/EP4221197A4/en
Priority to US18/026,520 priority patent/US20230351571A1/en
Priority to JP2022551515A priority patent/JPWO2022064631A1/ja
Priority to TW110130429A priority patent/TW202213182A/zh
Publication of WO2022064631A1 publication Critical patent/WO2022064631A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to an image analysis system and an image analysis method.
  • Patent Document 1 discloses a technique for analyzing an image and detecting a suspicious person or the like.
  • Patent Documents 2 and 3 disclose an index generator in which a plurality of nodes generate a layered index.
  • Patent Documents 1 to 3 do not disclose the problem and the means for solving the problem.
  • An object of the present invention is to improve the convenience of an image analysis system.
  • a selection means for selecting at least one of the plurality of image analysis means, and a selection means.
  • An analysis control means for causing the selected image analysis means to analyze an image specified by the user, and An output means for outputting the result of image analysis and An image analysis system is provided.
  • the computer Select at least one of the multiple image analysis methods and select The selected image analysis means is made to analyze the image specified by the user, and the image is analyzed.
  • An image analysis method for outputting the result of image analysis is provided.
  • the convenience of the image analysis system is improved.
  • FIG. 1 shows the hardware configuration example of the image analysis system of this embodiment.
  • This is an example of a functional block diagram of the image analysis system of the present embodiment. It is a figure for demonstrating an example of the process executed by the image analysis system of this embodiment.
  • This is a configuration example of the image analysis system of the present embodiment. It is a figure which shows typically an example of the information processed by the image analysis system of this embodiment. It is a figure which shows an example of the information output by the image analysis system of this embodiment schematically.
  • It is a flowchart shows an example of the processing flow of the image analysis system of this embodiment. It is a figure which shows an example of the information output by the image analysis system of this embodiment schematically.
  • image analysis system 10 includes a plurality of image analysis means for performing different types of image analysis. Then, the image analysis system 10 analyzes the image specified by the user by the image analysis means selected based on the user input, and outputs the analysis result. According to such an image analysis system 10, convenience is improved.
  • Each functional unit of the image analysis system 10 is stored in a storage unit (from the stage of shipping the device in advance) such as a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded in the memory, and a hard disk for storing the program. It can store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and can be realized by any combination of hardware and software centered on the network connection interface. Will be done. And, it is understood by those skilled in the art that there are various variations in the method of realizing the device and the device.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the image analysis system 10.
  • the image analysis system 10 includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the image analysis system 10 does not have to have the peripheral circuit 4A.
  • the image analysis system 10 may be composed of a plurality of physically and / or logically separated devices, or may be composed of one physically and / or logically integrated device. When the image analysis system 10 is composed of a plurality of physically and / or logically separated devices, each of the plurality of devices can be provided with the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A to transmit and receive data to each other.
  • the processor 1A is, for example, an arithmetic processing unit such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, a memory such as a RAM (RandomAccessMemory) or a ROM (ReadOnlyMemory).
  • the input / output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external server, etc. ..
  • the input device is, for example, a keyboard, a mouse, a microphone, a physical button, a touch panel, or the like.
  • the output device is, for example, a display, a speaker, a printer, a mailer, or the like.
  • the processor 1A can issue a command to each module and perform a calculation based on the calculation result thereof.
  • FIG. 2 shows an example of a functional block diagram of the image analysis system 10.
  • the image analysis system 10 includes a plurality of image analysis units 11, an input unit 14, an analysis control unit 15, a storage unit 16, and an output unit 17.
  • the input unit 14 has a selection unit 12 and an image designation unit 13.
  • the configuration of each functional unit will be described in detail.
  • the image analysis unit 11 analyzes the image.
  • the plurality of image analysis units 11 perform different types of image analysis from each other. Examples of the types of image analysis include face recognition, humanoid recognition, posture estimation, appearance attribute estimation, image gradient feature detection, image color feature detection, and object recognition.
  • the image analysis performed by the plurality of image analysis units 11 may be any one of the types exemplified here.
  • the amount of facial features of a person is extracted. Further, the similarity between facial features may be collated and calculated (determination of the same person, etc.).
  • humanoid recognition the amount of human physical characteristics of a person (for example, the fattening of the body shape, the overall characteristics such as height and clothes) is extracted. Furthermore, the similarity between human features may be collated and calculated (determination of the same person, etc.).
  • posture estimation the joint points of a person are recognized and the joint points are connected to form a stick figure. Then, by using the information of the stick figure, the height of the person is estimated and the feature amount of the posture is extracted. Furthermore, the similarity between the features of the posture may be collated and calculated (determination of the same behavior, etc.).
  • the appearance attributes associated with the person are recognized. Furthermore, the similarity of the recognized appearance attributes may be collated and calculated (it is possible to determine whether the attributes are the same).
  • Image gradient features include SIFT, SURF, RIFF, ORB, BRISK, CARD, HoG, etc.
  • the color characteristics of the image are a color histogram and the like.
  • Object recognition is realized by using an engine such as YoLo (which can extract general objects [for example, cars, bicycles, chairs, etc.] and people).
  • the image analysis unit 11 stores the analysis result in the storage unit 16.
  • the image analysis unit 11 may store the raw data of the analysis result generated by the image analysis in the storage unit 16.
  • the raw data includes various feature quantities and the like extracted from each image.
  • the image analysis unit 11 may store the calculation result obtained by performing various processes such as aggregation and editing based on the raw data in the storage unit 16. For example, the image analysis unit 11 groups a plurality of feature quantities extracted from a plurality of images (eg, a plurality of frame images included in a moving image) into similar ones, and information indicating the result of the grouping. May be stored in the storage unit 16. By the grouping, the feature amount (facial feature amount, etc.) of the same person extracted from a plurality of images can be grouped, the feature amount of the same posture extracted from a plurality of images can be grouped, and a plurality of images can be grouped. It is possible to group the feature quantities of the same vehicle type extracted from.
  • a plurality of images e.g, a plurality of frame images included in a moving image
  • information indicating the result of the grouping May be stored in the storage unit 16.
  • the feature amount (facial feature amount, etc.) of the same person extracted from a plurality of images
  • the similarity between the feature amount extracted from a certain image and all the feature amounts extracted before that may be calculated and grouped by those having the similarity degree equal to or higher than the reference value.
  • the number of extracted features increases, the number of pairs for which the degree of similarity is calculated becomes enormous, and the processing load on the computer increases. Therefore, for example, the following method may be adopted.
  • the extracted features may be indexed as shown in FIG. 3 and the index may be used to realize the above grouping.
  • the processing speed can be increased. Details of the index and a method for generating the index are disclosed in Patent Documents 2 and 3. Hereinafter, the structure of the index of FIG. 3 and its usage will be briefly described.
  • Extraction ID (identifier) shown in FIG. 3: “F ⁇ - ⁇ ” is a feature amount extracted from each image (feature amount of human face, feature amount of posture, feature amount of vehicle, etc.). It is the identification information attached to each. F ⁇ is the identification information of the image, and the hyphen and below are the identification information of each feature amount extracted from each image.
  • nodes corresponding to each of all the extraction IDs obtained from the images processed so far are arranged. Then, the plurality of nodes arranged in the third layer are grouped together with the nodes having the similarity of the feature amount of the first level or higher. A group ID is assigned to each group in the third layer. The result of the third layer grouping is the final grouping result.
  • One node (representative) selected from each of the plurality of groups in the third layer is arranged in the second layer, and is associated with the group in the third layer.
  • a plurality of nodes arranged in the second layer are grouped together by those having a similarity of the second level or higher.
  • the second level of similarity is lower than the first level. That is, nodes that are not grouped based on the first level can be grouped based on the second level.
  • One node (representative) selected from each of the plurality of groups in the second layer is arranged in the first layer, and is associated with the group in the second layer.
  • the image analysis unit 11 indexes the obtained plurality of extraction IDs as shown in FIG. 3, and when a new extraction ID is obtained, adds a node of the new extraction ID to the index.
  • An additional processing example will be described below.
  • the image analysis unit 11 targets a plurality of extraction IDs located in the first layer for comparison.
  • the image analysis unit 11 generates a pair with each of the new extraction ID and the plurality of extraction IDs located in the first layer, and calculates the similarity of the feature amount for each pair. Then, the image analysis unit 11 determines whether the calculated similarity is equal to or higher than the first threshold value.
  • the image analysis unit 11 When there is no extraction ID whose similarity is equal to or higher than the first threshold value in the first layer, the image analysis unit 11 adds nodes corresponding to the new extraction ID to the first to third layers, and adds them to the first layer. Associate with each other. In the second layer and the third layer, a new group is generated by the node of the added new extraction ID. Then, a new group ID is issued corresponding to the new group in the third layer.
  • the image analysis unit 11 shifts the comparison target to the second layer. Specifically, the group of the second layer associated with the "extraction ID of the first layer determined to have the similarity equal to or higher than the first threshold value" is used as a comparison target.
  • the image analysis unit 11 generates a pair with each of the new extraction ID and the plurality of extraction IDs included in the group to be processed in the second layer, and calculates the similarity of the feature amount for each pair. Then, the image analysis unit 11 determines whether the calculated similarity is equal to or higher than the second threshold value.
  • the second threshold value is higher than the first threshold value.
  • the image analysis unit 11 sets the node corresponding to the new extraction ID to the group to be processed in the second layer.
  • nodes corresponding to the new extraction ID are added to the third layer, and they are linked to each other.
  • a new group is generated by the node of the added new extraction ID. Then, a new group ID is issued corresponding to the new group in the third layer.
  • the image analysis unit 11 when there is an extraction ID whose similarity is equal to or higher than the second threshold value in the group to be processed in the second layer, the image analysis unit 11 has a second group to which the extraction ID whose similarity is equal to or higher than the second threshold value belongs. Add the node corresponding to the new extraction ID to the group of 3 layers. This concludes the description of the structure of the index in FIG. 3 and how to use it.
  • the image analysis system 10 may be configured so that the image analysis unit 11 can be increased by installing a plug-in. With this configuration, the types of image analysis that can be executed by the image analysis system 10 can be increased by a relatively simple process of installing a plug-in. The more types of image analysis that the image analysis system 10 can perform, the better the convenience.
  • the input unit 14 accepts user input.
  • User input may be realized via an input device such as a touch panel, a keyboard, a mouse, a physical button, and a microphone connected to the image analysis system 10.
  • the image analysis system 10 may be a server of a client-server system as shown in FIG.
  • the user input is realized via the user terminal 20 (client) communicably connected to the image analysis system 10 via the communication network.
  • the user terminal 20 include, but are not limited to, personal computers, smartphones, tablet terminals, smart watches, mobile phones, and the like.
  • the selection unit 12 selects at least one from the plurality of image analysis units 11.
  • the selection unit 12 can selectably present a plurality of types of image analysis corresponding to each of the plurality of image analysis units 11 such as "face analysis”, “posture analysis”, “vehicle analysis”, etc., from among them.
  • User input to select at least one may be accepted.
  • the image analysis unit 11 corresponding to the image analysis selected by the user may be selected.
  • associating information linking the analysis purpose and at least one type of image analysis (at least one image analysis unit 11) to be executed at each analysis purpose is generated in advance, and the image is imaged. It may be stored in the analysis system 10. Then, the selection unit 12 may refer to the above-mentioned association information and select the image analysis unit 11 associated with the analysis purpose selected by the user.
  • the analysis objectives include, but are not limited to, "suspicious person detection”, “customer tendency analysis”, “vehicle tendency analysis”, and the like.
  • the "report format" shown in FIG. 5 will be described later.
  • the image designation unit 13 designates an image to be image-analyzed based on the user operation.
  • the designated image may be a moving image or a still image.
  • the user operation may be an operation of designating one of the images stored in the storage device accessible to the image analysis system 10, or an operation of inputting a new image to the image analysis system 10. It may be other than that.
  • the input unit 14 can accept various other inputs related to image analysis.
  • Other various inputs are, for example, input of comments attached to the image analysis, input of related information (shooting date and time, shooting location, etc.) of the specified image, and analysis target in the specified moving image.
  • Inputs that specify a part are exemplified, but are not limited to these.
  • the analysis control unit 15 causes at least one image analysis unit 11 selected by the selection unit 12 to analyze the image specified by the user.
  • the output unit 17 outputs the result of image analysis by the image analysis unit 11.
  • the output unit 17 can output an analysis report generated based on the result of image analysis.
  • the analysis report can include at least one of the following items.
  • the format of the analysis report may be defined in advance. For example, the type of information displayed in the analysis report (for example, one of the above examples), the display method (graph type, graph format, etc.), the layout of the information in the analysis report, and the characters. The size of the image, the format of the characters, the size of the image, and the like may be defined. Then, the output unit 17 may generate and output an analysis report according to the definition.
  • the format of the analysis report may be defined for each analysis purpose.
  • the analysis objectives include, but are not limited to, "suspicious person detection”, “customer tendency analysis”, “vehicle tendency analysis” and the like.
  • the output unit 17 may generate and output an analysis report according to the definition corresponding to the analysis purpose selected by the user.
  • the definition of the analysis report format described above may be customized by the user (modification of existing definition, addition of new definition, deletion of existing definition, etc.).
  • the output unit 17 may add or change the definition of the analysis report format based on the user input.
  • the user may be able to add, change, or delete a combination of "analysis purpose", “image analysis method”, and “report format” shown in FIG. That is, the image analysis system 10 may update the information shown in FIG. 5 based on the user input.
  • the output unit 17 may output the raw data generated by the image analysis by the image analysis unit 11.
  • the output unit 17 may be able to export, download, or move the raw data to another storage device.
  • the output unit 17 may be provided with a means for notifying the user when the image analysis by the image analysis unit 11 started in response to the user operation is completed.
  • the analysis completion may be notified by e-mail to the e-mail address of the user registered in advance.
  • This e-mail may be accompanied by an analysis report or may include the URL of the analysis report published on the web.
  • other means such as push notification of the application may be used.
  • the image designation unit 13 designates an image to be image-analyzed based on the user operation (S10).
  • the user operation may be an operation of designating one of the images stored in the storage device accessible to the image analysis system 10, or an operation of inputting a new image to the image analysis system 10. It may be other than that.
  • the input unit 14 sets various items including the image analysis method based on the user operation (S11).
  • the setting of the image analysis method means the selection of the image analysis unit 11.
  • the selection unit 12 of the input unit 14 may perform a plurality of types of image analysis (a plurality of types of image analysis unit 11) that can be executed by the image analysis system 10 such as "face analysis”, “attitude analysis”, and “vehicle analysis”. ) May be presented in a selectable manner and user input to select at least one of them may be accepted.
  • a plurality of types of image analysis a plurality of types of image analysis unit 11
  • associating information linking the analysis purpose and at least one type of image analysis (at least one image analysis unit 11) to be executed at each analysis purpose is generated in advance, and the image is imaged. It may be stored in the analysis system 10. Then, the selection unit 12 may refer to the above-mentioned association information and select the image analysis unit 11 associated with the analysis purpose selected by the user.
  • the input unit 14 inputs a comment to be attached to the image analysis, inputs related information (shooting date / time, shooting location, etc.) of the specified image, and makes it an analysis target in the designated moving image. You may accept the input to specify the part (such as specifying by the elapsed time from the beginning).
  • the processing order of S10 and S11 is not limited to those shown in the figure.
  • the analysis control unit 15 causes the selected image analysis unit 11 to analyze the designated image (S12). After that, the output unit 17 outputs the result of image analysis (S13).
  • FIG. 8 is a list of image analysis requests. After logging in to the image analysis system 10, the user can call a UI screen showing a list of image analysis requests made by the user.
  • the analysis ID identifier
  • the request ID the image file name
  • the analysis method the comment
  • the status the registration date
  • the execution date the result
  • some of these items may not be included, or other items may be included.
  • the analysis ID is information that distinguishes the analysis from other analyzes.
  • the request ID is information that distinguishes the analysis request from other requests.
  • the image file name is the file name of the image specified in the analysis.
  • the analysis method is the analysis method selected in the analysis.
  • the comment is a comment registered by the user in association with the analysis.
  • the status indicates the current state of analysis. For example, status values such as completed, incomplete, and error are set.
  • the registration date is the date on which the analysis request was registered.
  • the execution date is the date on which the analysis was executed.
  • the results include a link to the results of the analysis. Select "PDF" to open the PDF file showing the analysis report. When the "Web page" is opened, the Web page showing the analysis report is opened.
  • the administrator of the image analysis system 10 may also be able to call the UI screen showing a list of image analysis requests as shown in FIG. 8 after logging in to the image analysis system 10.
  • the UI screen of each user displays a list of image analysis requests made by each user, while the administrator's UI screen displays a list of all image analysis requests made by all users. To.
  • FIG. 9 is a list of images stored in a storage device accessible to the image analysis system 10.
  • the user can store the image in the storage device by any means such as uploading or inputting the image. After logging in to the image analysis system 10, the user can call up a UI screen showing a list of images stored in the storage device.
  • the file ID is information that distinguishes the image from other images.
  • the thumbnail is a thumbnail image of the image.
  • the image file name is the file name of the image.
  • the shooting date and time is the shooting date and time of the image.
  • the reproduction time is the reproduction time of the image (moving image).
  • the registration date is the date when the image is stored in the storage device.
  • the file size is the file size of the image.
  • the analysis history is the history of the analysis method executed for the image. When the new analysis button is operated, the UI screen for requesting a new analysis for the image is called. By performing a predetermined operation via the UI screen, it is possible to execute a new analysis on the image.
  • the administrator of the image analysis system 10 may also be able to call the UI screen showing a list of image files as shown in FIG. 9 after logging in to the image analysis system 10.
  • a list of images stored in the storage device by each user is displayed, whereas on the UI screen of the administrator, all the images stored in the storage device by all users are displayed. A list is displayed.
  • FIG. 10 is a browsing history of the analysis result.
  • the user can view the analysis result from, for example, the UI screen shown in FIGS. 8 and 10.
  • the browsing history can be confirmed on the UI screen.
  • the user After logging in to the image analysis system 10, the user can call the UI screen showing his / her browsing history.
  • the analysis ID, the analysis method, the last browsing date, and the result are associated with each other. It should be noted that some of these items may not be included, or other items may be included.
  • the analysis ID is information that distinguishes the analysis from other analyzes.
  • the analysis method is the analysis method selected in the analysis.
  • the last browsing date is the date when the result was last viewed.
  • the results include a link to the results of the analysis. Select "PDF" to open the PDF file showing the analysis report. When the "Web page" is opened, the Web page showing the analysis report is opened.
  • the administrator of the image analysis system 10 may also be able to call the UI screen showing the browsing history of the analysis result as shown in FIG. 10 after logging in to the image analysis system 10. While the browsing history of each user is displayed on the UI screen of each user, the browsing history of all users is displayed on the UI screen of the administrator.
  • FIG. 11 shows an example of the analysis result presented in the PDF file.
  • thumbnail images of the analyzed images are shown.
  • thumbnail images of the analyzed images are shown.
  • the column of “List of people grouped by feature amount” the result of grouping the feature amount extracted from the analyzed image is shown.
  • the column of “frequency of appearance GID” the number of appearances of the feature amount of each group in the analyzed image is shown.
  • the moving image may be divided into a plurality of windows having a predetermined time length, and the number of appearing windows may be used as the number of appearances.
  • Percentage of appearance in video (%) the ratio of the time length in which the feature amount of each group appears to the time length of the analyzed image (moving image) is shown.
  • FIG. 12 shows an example of the analysis result presented on the Web page.
  • the result of grouping the feature amount extracted from the analyzed image is shown.
  • the column of "frequency of appearance GID” the number of appearances of the feature amount of each group in the analyzed image is shown.
  • the moving image may be divided into a plurality of windows having a predetermined time length, and the number of appearing windows may be used as the number of appearances.
  • Percentage of appearance in video (%) the ratio of the time length in which the feature amount of each group appears to the time length of the analyzed image (moving image) is shown.
  • FIG. 13 shows an example of the analysis result presented on the Web page.
  • the screen shown in FIG. 13 is displayed in response to the operation of selecting one group (any of Gid1 to 23).
  • time series detection with analysis ID 182
  • time change of the number of appearances of the feature amount of the selected group in one analyzed image one moving image
  • time series in which all analysis IDs are put together the time change of the number of appearances of the feature amount of the selected group in each of the plurality of analyzed images (plurality of moving images) is shown.
  • a scene of the analyzed image is shown in the "Nearby image” column.
  • “Nearby video” can be selected according to the operation of selecting an arbitrary date and time on the graph. Playback starts from the date and time specified in the column.
  • FIG. 15 shows an example of the analysis result presented on the Web page.
  • the content displayed in the “Nearby image” column is different from that in FIG.
  • Other configurations are the same as in FIG.
  • FIG. 15 shows the result of the posture analysis.
  • the skeletal structure of the detected person may be shown in the "Nearby image” column.
  • FIG. 16 shows an example of the analysis result presented on the Web page.
  • the results of a plurality of analyzes for a plurality of images are collectively displayed.
  • a column for simultaneously reproducing and displaying the plurality of images at the same time may be provided as shown in FIG. ..
  • such an image may be displayed in the “nearby image” column of FIGS. 13 and 15.
  • the image analysis system 10 of the present embodiment described above includes a plurality of image analysis means for performing different types of image analysis from each other, and analyzes an image specified by the user by the image analysis means selected based on the user input. According to such an image analysis system 10, convenience is improved.
  • the image analysis system 10 of the present embodiment can generate and output one analysis report summarizing the results of a plurality of types of image analysis. According to such an analysis report, the user can analyze the results of a plurality of types of image analysis while comparing them and confirming them in parallel. As a result, it becomes possible to find out the information hidden in the image.
  • the format of the analysis report can be configured so that the user can customize it.
  • the user can obtain an analysis report displaying desired information in a desired layout, for example.
  • the efficiency of confirmation and analysis of analysis reports is improved.
  • the format of the analysis report can be defined for each analysis purpose, and the analysis report in the format corresponding to the analysis purpose selected by the user can be generated and output.
  • the user can obtain an analysis report in a format suitable for the analysis purpose.
  • the image analysis system 10 can be configured so that the image analysis unit 11 can be increased by installing a plug-in.
  • the types of image analysis that can be executed by the image analysis system 10 can be increased by a relatively simple process of installing a plug-in. The more types of image analysis that the image analysis system 10 can perform, the better the convenience.
  • the image analysis system 10 can be provided with a means for notifying the user when the image analysis is completed. In this case, the user does not have to wait until the image analysis is finished, during which the user can do other things. As a result, convenience is improved.
  • the image analysis system 10 can be provided with a means for outputting raw data of image analysis.
  • the user can process or process the raw data independently. As a result, convenience is improved.
  • the user and the administrator can easily grasp various situations and confirm the result of image analysis.
  • a selection means for selecting at least one of the plurality of image analysis means, and a selection means.
  • An analysis control means for causing the selected image analysis means to analyze an image specified by the user, and An output means for outputting the result of image analysis and Image analysis system with.
  • 3. The format of the analysis report is defined for each analysis purpose.
  • the image analysis system according to 2 wherein the output means generates and outputs the analysis report in the format defined according to the analysis purpose selected by the user. 4.
  • the selection means selects the image analysis means selected by the user. 9.
  • the selection means refers to the association information associated with the analysis purpose and at least one image analysis means, and selects at least one image analysis means associated with the analysis purpose selected by the user.
  • the image analysis system according to any one of 8 to 8. 10.
  • the computer Select at least one of the multiple image analysis methods and select The selected image analysis means is made to analyze the image specified by the user, and the image is analyzed. An image analysis method that outputs the result of image analysis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本発明は、複数の画像解析部（１１）と、複数の画像解析部（１１）の中から少なくとも１つを選択する選択部（１２）と、選択された画像解析部（１１）に、ユーザが指定した画像を解析させる解析制御部（１５）と、画像の解析の結果を出力する出力部（１７）と、を有する画像解析システム（１０）を提供する。

Description

画像解析システム及び画像解析方法
　本発明は、画像解析システム及び画像解析方法に関する。
　特許文献１には、画像を解析し、不審人物等を検出する技術が開示されている。特許文献２及び３には、複数のノードが階層化されたインデックスを生成するインデックス生成装置が開示されている。
特開２０１７－１９１６２１号公報 国際公開第２０１４／１０９１２７号 特開２０１５－４９５７４号公報
　画像解析においては、顔の特徴量を抽出する顔解析、人の姿勢の特徴量を抽出する姿勢解析、車両の特徴量を抽出する車両解析等、各種解析が存在する。しかし、１つのシステムが１つの種類の画像解析のみに対応し、そのシステムでは１つの種類の画像解析しかできない場合、利便性が悪い。特許文献１乃至３は、当該課題及びその解決手段を開示していない。本発明の課題は、画像解析システムの利便性を向上させることである。
　本発明によれば、
　複数の画像解析手段と、
　複数の前記画像解析手段の中から少なくとも１つを選択する選択手段と、
　選択された前記画像解析手段に、ユーザが指定した画像を解析させる解析制御手段と、
　前記画像の解析の結果を出力する出力手段と、
を有する画像解析システムが提供される。
　また、本発明によれば、
　コンピュータが、
　複数の画像解析手段の中から少なくとも１つを選択し、
　選択された前記画像解析手段に、ユーザが指定した画像を解析させ、
　前記画像の解析の結果を出力する画像解析方法が提供される。
　本発明によれば、画像解析システムの利便性が向上する。
本実施形態の画像解析システムのハードウエア構成例を示す図である。 本実施形態の画像解析システムの機能ブロック図の一例である。 本実施形態の画像解析システムが実行する処理の一例を説明するための図である。 本実施形態の画像解析システムの構成例である。 本実施形態の画像解析システムが処理する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムの処理の流れの一例を示すフローチャートである。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。 本実施形態の画像解析システムが出力する情報の一例を模式的に示す図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
「概要」
　本実施形態の画像解析システム（以下、「画像解析システム１０」）は、互いに異なる種類の画像解析を行う複数の画像解析手段を備える。そして、画像解析システム１０は、ユーザが指定した画像を、ユーザ入力に基づき選択した画像解析手段で解析し、解析結果を出力する。このような画像解析システム１０によれば、利便性が向上する。
「構成」
　次に、画像解析システム１０の構成を説明する。まず、画像解析システム１０のハードウエア構成の一例を説明する。画像解析システム１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図１は、画像解析システム１０のハードウエア構成を例示するブロック図である。図１に示すように、画像解析システム１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像解析システム１０は周辺回路４Ａを有さなくてもよい。なお、画像解析システム１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。画像解析システム１０が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　次に、画像解析システム１０の機能構成を説明する。図２は、画像解析システム１０の機能ブロック図の一例を示す。図示するように、画像解析システム１０は、複数の画像解析部１１と、入力部１４と、解析制御部１５と、記憶部１６と、出力部１７とを有する。そして、入力部１４は、選択部１２と画像指定部１３とを有する。以下、各機能部の構成を詳細に説明する。
　画像解析部１１は、画像を解析する。複数の画像解析部１１は、互いに異なる種類の画像解析を行う。画像解析の種類は、顔認識、人型認識、姿勢推定、外観属性推定、画像の勾配特徴検出、画像の色特徴検出及び物体認識等が例示される。複数の画像解析部１１が行う画像解析は、ここで例示した種類の中のいずれかであってもよい。
　顔認識では、人物の顔特徴量を抽出する。さらに、顔特徴量間の類似性を照合・計算してもよい（同一人物であるかの判定等）。人型認識では、人物の人体的特徴量（例えば、体形の肥痩や、身長、服装などの全体的な特徴を指す）を抽出する。さらに、人体的特徴量間の類似性を照合・計算してもよい（同一人物であるかの判定等）。姿勢推定では、人物の関節点を認識し、関節点を繋げて棒人間を構成する。そして、その棒人間の情報を用いることで、人物の身長を推定したり、姿勢の特徴量を抽出したりする。さらに、姿勢の特徴量間の類似性を照合・計算してもよい（同一行動であるかの判定等）。
　外観属性推定では、人物に付随する外観的な属性（例えば、服装色、靴色、髪型、帽子・ネックタイなどの着用、例えば合計１００週類以上の外観属性がある）を認識する。さらに、認識した外観属性の類似性を照合・計算してもよい（同一属性であるかの判定が可能）。画像の勾配特徴は、SIFT、SURF、RIFF、ORB、BRISK、CARD、HoGなどである。画像の色特徴は、カラーヒストグラムなどである。物体認識は、例えば YoLo（一般物体[例えば、車・自転車・椅子など]の抽出や、人の抽出ができる）等のエンジンを利用して実現される。
　なお、上記例示はあくまで一例であり、その他の画像解析を行ってもよい。例えば、両の特徴量を抽出する車両解析等、従来のあらゆる技術を利用することができる。画像解析部１１は、解析の結果を記憶部１６に記憶させる。
　画像解析部１１は、画像解析で生成した解析結果の生データを記憶部１６に記憶させてもよい。生データは、各画像から抽出された各種特徴量等を含む。
　その他、画像解析部１１は、生データに基づき集計や編集などの各種処理を行うことで得られた演算結果を記憶部１６に記憶させてもよい。例えば、画像解析部１１は、複数の画像（例：動画像に含まれる複数のフレーム画像）から抽出した複数の特徴量を、互いに類似するもの同士でグループ化し、そのグループ化の結果を示す情報を記憶部１６に記憶させてもよい。当該グループ化により、複数の画像から抽出された同一人物の特徴量（顔の特徴量等）をグループ化したり、複数の画像から抽出された同様の姿勢の特徴量をグループ化したり、複数の画像から抽出された同一車種の特徴量をグループ化したりすることができる。
　ここで、上記グループ化を実現する方法の一例を説明する。例えば、ある画像から抽出された特徴量と、それ以前に抽出されたすべての特徴量との類似度を算出し、類似度が基準値以上のもの同士でグループ化してもよい。しかし、この処理の場合、抽出された特徴量の数が増えるほど、類似度を算出するペアの数が膨大となり、コンピュータの処理負担が大きくなる。そこで、例えば、次のような方法を採用してもよい。
　例えば、抽出された特徴量を図３のようにインデックス化し、当該インデックスを用いて上記グループ化を実現してもよい。当該インデックスを用いることで、処理速度を高速化できる。当該インデックスの詳細及び生成方法は、特許文献２及び３に開示されている。以下、図３のインデックスの構成及びその利用方法を簡単に説明する。
　図３に示す抽出ＩＤ（identifier）：「Ｆ○○○－○○○○」は、各画像から抽出された特徴量（人の顔の特徴量、姿勢の特徴量、車両の特徴量等）各々に付される識別情報である。Ｆ○○○が画像の識別情報であり、ハイフン以下が各画像から抽出された特徴量各々の識別情報である。
　第３層には、それまでに処理された画像から得られた全ての抽出ＩＤ各々に対応したノードが配置される。そして、第３層に配置された複数のノードは、特徴量の類似度が第１のレベル以上のもの同士でまとめてグループ化される。第３層の各グループに対応して、グループＩＤが付される。第３層のグループ化の結果が、最終的なグループ化の結果となる。
　第２層には、第３層の複数のグループ各々から選択された１つのノード（代表）が配置され、第３層の当該グループと紐付けられる。第２層に配置された複数のノードは、類似度が第２のレベル以上のもの同士でまとめてグループ化される。なお、類似度の第２のレベルは、上記第１のレベルよりも低い。すなわち、第１のレベルを基準にした場合にはグループ化されないノード同士が、第２のレベルを基準にした場合にはグループ化され得る。
　第１層には、第２層の複数のグループ各々から選択された１つのノード（代表）が配置され、第２層の当該グループと紐付けられる。
　画像解析部１１は、例えば、得られた複数の抽出ＩＤを、図３に示すようにインデックス化し、新たな抽出ＩＤが得られると当該インデックスの中にその新たな抽出ＩＤのノードを追加する。以下、追加の処理例を説明する。
　まず、画像解析部１１は、第１層に位置する複数の抽出ＩＤを比較対象とする。画像解析部１１は、新たな抽出ＩＤと、第１層に位置する複数の抽出ＩＤ各々とでペアを生成し、ペア毎に特徴量の類似度を算出する。そして、画像解析部１１は、算出した類似度が第１の閾値以上であるか判定する。
　第１層に、類似度が第１の閾値以上である抽出ＩＤが存在しない場合、画像解析部１１は、新たな抽出ＩＤに対応するノードを第１層乃至第３層に追加し、それらを互いに紐付ける。第２層及び第３層においては、追加された新たな抽出ＩＤのノードにより新たなグループが生成される。そして、第３層の新たなグループに対応して新たなグループＩＤが発行される。
　一方、第１層に、類似度が第１の閾値以上である抽出ＩＤが存在する場合、画像解析部１１は、比較対象を第２層に移す。具体的には、「類似度が第１の閾値以上であると判定された第１層の抽出ＩＤ」に紐付けられた第２層のグループを、比較対象とする。
　そして、画像解析部１１は、新たな抽出ＩＤと、第２層の処理対象のグループに含まれる複数の抽出ＩＤ各々とでペアを生成し、ペア毎に特徴量の類似度を算出する。そして、画像解析部１１は、算出した類似度が第２の閾値以上であるか判定する。なお、第２の閾値は、第１の閾値よりも高い。
　第２層の処理対象のグループに、類似度が第２の閾値以上である抽出ＩＤが存在しない場合、画像解析部１１は、新たな抽出ＩＤに対応するノードを第２層の処理対象のグループに追加するとともに、第３層に新たな抽出ＩＤに対応するノードを追加し、それらを互いに紐付ける。第３層においては、追加された新たな抽出ＩＤのノードにより新たなグループが生成される。そして、第３層の新たなグループに対応して新たなグループＩＤが発行される。
　一方、第２層の処理対象のグループに、類似度が第２の閾値以上である抽出ＩＤが存在する場合、画像解析部１１は、類似度が第２の閾値以上である抽出ＩＤが属する第３の層のグループに、新たな抽出ＩＤに対応するノードを追加する。図３のインデックスの構成及びその利用方法の説明は以上である。
　なお、画像解析システム１０は、プラグインのインストールにより、画像解析部１１を増やすことができるように構成されてもよい。このように構成すれば、プラグインのインストールという比較的簡単な処理で、画像解析システム１０が実行できる画像解析の種類を増やすことができる。画像解析システム１０が実行できる画像解析の種類が増えるほど、利便性が向上する。
　図２に戻り、入力部１４は、ユーザ入力を受付ける。ユーザ入力は、画像解析システム１０に接続されたタッチパネル、キーボード、マウス、物理ボタン、マイク等の入力装置を介して実現されてもよい。その他、画像解析システム１０は、図４に示すようにクライアント－サーバシステムのサーバであってもよい。この場合、ユーザ入力は、通信ネットワークを介して画像解析システム１０と通信可能に接続されたユーザ端末２０（クライアント）を介して実現される。ユーザ端末２０は、パーソナルコンピュータ、スマートフォン、タブレット端末、スマートウォッチ、携帯電話等が例示されるが、これらに限定されない。
　選択部１２は、複数の画像解析部１１の中から少なくとも１つを選択する。例えば、選択部１２は、「顔解析」、「姿勢解析」、「車両解析」等のように複数の画像解析部１１各々に対応した複数種類の画像解析を選択可能に提示し、その中から少なくとも１つを選択するユーザ入力を受付けてもよい。そして、ユーザが選択した画像解析に対応する画像解析部１１を選択してもよい。
　その他、図５に示すように、解析目的と、各解析目的時に実行すべき少なくとも１種類の画像解析（少なくとも１つの画像解析部１１）とを紐付けた紐付け情報が、予め生成され、画像解析システム１０に記憶されていてもよい。そして、選択部１２は、上記紐付け情報を参照し、ユーザが選択した解析目的に紐付けられた画像解析部１１を選択してもよい。解析目的は、「不審者検出」、「客傾向分析」、「車両傾向分析」等が例示されるが、これらに限定されない。なお、図５に示す「レポート形式」については、後述する。
　画像指定部１３は、ユーザ操作に基づき、画像解析する画像を指定する。指定される画像は、動画像であってもよいし、静止画像であってもよい。ユーザ操作は、画像解析システム１０がアクセス可能な記憶装置に記憶されている画像の中からいずれかを指定する操作であってもよいし、画像解析システム１０に新たな画像を入力する操作であってもよいし、その他であってもよい。
　なお、入力部１４は、画像解析に関するその他の各種入力を受付けることができる。その他の各種入力は、例えば、その画像解析に付しておくコメントの入力や、指定した画像の関連情報（撮影日時、撮影場所等）の入力や、指定した動画像の中の解析対象とする一部を指定する入力（冒頭からの経過時間で指定など）等が例示されるがこれらに限定されない。
　解析制御部１５は、選択部１２により選択された少なくとも１つの画像解析部１１に、ユーザが指定した画像を解析させる。
　図２に戻り、出力部１７は、画像解析部１１による画像の解析の結果を出力する。
　一例として、出力部１７は、画像の解析の結果に基づき生成された解析レポートを出力することができる。解析レポートは、以下の複数の項目の中の少なくとも１つを含むことができる。
・指定された画像から抽出された特徴量の一覧。
・指定された画像から抽出された特徴量をグループ化した結果。例えば、グループの数や、各グループの関連情報（代表特徴量や代表画像等）が表示されてもよい。
・グループ毎の解析結果（出現回数や出現回数の時間変化など）。
　なお、予め解析レポートの形式が定義されていてもよい。例えば、解析レポートで表示する情報の種類（例えば、上記例示したものの中のいずれか）や、表示の仕方（グラフの種類やグラフの書式等）や、解析レポートにおけるそれらの情報のレイアウトや、文字の大きさや、文字の書式や、画像の大きさ等が定義されていてもよい。そして、出力部１７は、その定義通りに解析レポートを生成し、出力してもよい。
　また、図５に示すように、解析目的ごとに、解析レポートの形式が定義されていてもよい。上述の通り、解析目的は、「不審者検出」、「客傾向分析」、「車両傾向分析」等が例示されるが、これらに限定されない。そして、出力部１７は、ユーザが選択した解析目的に対応する定義通りに解析レポートを生成し、出力してもよい。
　なお、上述した解析レポートの形式の定義は、ユーザがカスタマイズ（既存の定義の修正、新たな定義の追加、既存の定義の削除等）することができてもよい。出力部１７は、ユーザ入力に基づき、解析レポートの形式の定義を追加・変更してもよい。
　また、ユーザが、図５に示す「解析目的」、「画像解析方法」及び「レポート形式」の組み合わせを追加したり、変更したり、削除したりできてもよい。すなわち、画像解析システム１０は、ユーザ入力に基づき、図５に示す情報を更新してもよい。
　また、出力部１７は、画像解析部１１による画像の解析で生成された生データを出力してもよい。出力部１７は、生データをエクスポートしたり、ダウンロードさせたり、他の記憶装置内に移動させたりできてもよい。
　また、出力部１７は、ユーザ操作に応じて開始された画像解析部１１による画像の解析が終了すると、その旨をユーザに通知する手段を備えてもよい。例えば、図６に示すように、予め登録されたユーザのメールアドレスを宛先として、Ｅメールで解析終了を通知してもよい。このＥメールには、解析レポートが添付されてもよいし、ウェブ上で公開されている解析レポートのＵＲＬを含んでもよい。なお、Ｅメールでの通知に代えて／加えて、アプリのプッシュ通知等の他の手段を利用してもよい。
　次に、図７のフローチャートを用いて、画像解析システム１０の処理の流れの一例を示す。
　まず、画像指定部１３は、ユーザ操作に基づき、画像解析する画像を指定する（Ｓ１０）。ユーザ操作は、画像解析システム１０がアクセス可能な記憶装置に記憶されている画像の中からいずれかを指定する操作であってもよいし、画像解析システム１０に新たな画像を入力する操作であってもよいし、その他であってもよい。
　次に、入力部１４は、ユーザ操作に基づき、画像解析方法を含む各種項目を設定する（Ｓ１１）。画像解析方法の設定は、画像解析部１１の選択を意味する。
　例えば、入力部１４の選択部１２は、「顔解析」、「姿勢解析」、「車両解析」等のように画像解析システム１０が実行可能な複数種類の画像解析（複数種類の画像解析部１１）を選択可能に提示し、その中から少なくとも１つを選択するユーザ入力を受付けてもよい。
　その他、図５に示すように、解析目的と、各解析目的時に実行すべき少なくとも１種類の画像解析（少なくとも１つの画像解析部１１）とを紐付けた紐付け情報が、予め生成され、画像解析システム１０に記憶されていてもよい。そして、選択部１２は、上記紐付け情報を参照し、ユーザが選択した解析目的に紐付けられた画像解析部１１を選択してもよい。
　また、入力部１４は、その画像解析に付しておくコメントの入力や、指定した画像の関連情報（撮影日時、撮影場所等）の入力や、指定した動画像の中の解析対象とする一部を指定する入力（冒頭からの経過時間で指定など）等を受付けてもよい。
　なお、Ｓ１０とＳ１１の処理順は図示するものに限定されない。
　次に、解析制御部１５は、選択された画像解析部１１に、指定された画像を解析させる（Ｓ１２）。その後、出力部１７は、画像の解析の結果を出力する（Ｓ１３）。
　次に、出力部１７が出力するＵＩ（user interface）画面の一例を説明する。
　図８は、画像解析のリクエストの一覧である。ユーザは、画像解析システム１０にログインした後、自分が行った画像解析のリクエストの一覧を示すＵＩ画面を呼び出すことができる。
　図示する画像解析のリクエストの一覧では、解析ＩＤ（identifier）と、リクエストＩＤと、画像ファイル名と、解析方法と、コメントと、ステータスと、登録日と、実行日と、結果とが紐付けられている。なお、これらの項目の中の一部を含まなくてもよいし、他の項目を含んでもよい。
　解析ＩＤは、その解析を他の解析と識別する情報である。
　リクエストＩＤは、その解析のリクエストを他のリクエストと識別する情報である。
　画像ファイル名は、その解析で指定された画像のファイル名である。
　解析方法は、その解析で選択された解析方法である。
　コメントは、その解析に紐付けてユーザが登録したコメントである。
　ステータスは、現在の解析の状態を示す。例えば、完了、未完了、エラー等の状態値が設定される。
　登録日は、その解析のリクエストが登録された日である。
　実行日は、その解析が実行された日である。
　結果は、解析の結果のリンクを含む。図示する「ＰＤＦ」を選択すると、解析レポートを示すＰＤＦファイルが開く。「Ｗｅｂページ」を開くと、解析レポートを示すＷｅｂページが開く。
　なお、画像解析システム１０の管理人も、画像解析システム１０にログインした後、図８に示すような画像解析のリクエストの一覧を示すＵＩ画面を呼び出すことができてもよい。各ユーザのＵＩ画面では、各ユーザが行った画像解析のリクエストの一覧が表示されるのに対し、管理人のＵＩ画面では、全てのユーザが行った全ての画像解析のリクエストの一覧が表示される。
　図９は、画像解析システム１０がアクセス可能な記憶装置に記憶されている画像の一覧である。ユーザは、画像のアップロード、入力などの任意の手段で、上記記憶装置に画像を記憶させることができる。ユーザは、画像解析システム１０にログインした後、自分が上記記憶装置に記憶させた画像の一覧を示すＵＩ画面を呼び出すことができる。
　図示する画像ファイルの一覧では、ファイルＩＤと、サムネイル画像と、画像ファイル名と、撮影日時と、再生時間と、登録日と、ファイルサイズと、解析履歴と、新規解析のためのボタンとが紐付けられている。なお、これらの項目の中の一部を含まなくてもよいし、他の項目を含んでもよい。
　ファイルＩＤは、その画像を他の画像と識別する情報である。
　サムネイルは、その画像のサムネイル画像である。
　画像ファイル名は、その画像のファイル名である。
　撮影日時は、その画像の撮影日時である。
　再生時間は、その画像（動画像）の再生時間である。
　登録日は、その画像を上記記憶装置に記憶させた日である。
　ファイルサイズは、その画像のファイルサイズである。
　解析履歴は、その画像に対して実行した解析方法の履歴である。
　新規解析ボタンが操作されると、その画像に対する新たな解析のリクエストを行うためのＵＩ画面が呼び出される。そのＵＩ画面を介して所定の操作を行うことで、その画像に対する新たな解析を実行させることができる。
　なお、画像解析システム１０の管理人も、画像解析システム１０にログインした後、図９に示すような画像ファイルの一覧を示すＵＩ画面を呼び出すことができてもよい。各ユーザのＵＩ画面では、各ユーザが上記記憶装置に記憶させた画像の一覧が表示されるのに対し、管理人のＵＩ画面では、全てのユーザが上記記憶装置に記憶させた全ての画像の一覧が表示される。
　図１０は、解析結果の閲覧履歴である。ユーザは、例えば図８や図１０に示すＵＩ画面などから、解析結果を閲覧することができる。その閲覧の履歴が、当該ＵＩ画面で確認できる。ユーザは、画像解析システム１０にログインした後、自分の閲覧履歴を示すＵＩ画面を呼び出すことができる。
　図示する解析結果閲覧履歴では、解析ＩＤと、解析方法と、最終閲覧日と、結果とが紐付けられている。なお、これらの項目の中の一部を含まなくてもよいし、他の項目を含んでもよい。
　解析ＩＤは、その解析を他の解析と識別する情報である。
　解析方法は、その解析で選択された解析方法である。
　最終閲覧日は、その結果を最後に閲覧した日である。
　結果は、解析の結果のリンクを含む。図示する「ＰＤＦ」を選択すると、解析レポートを示すＰＤＦファイルが開く。「Ｗｅｂページ」を開くと、解析レポートを示すＷｅｂページが開く。
　なお、画像解析システム１０の管理人も、画像解析システム１０にログインした後、図１０に示すような解析結果の閲覧履歴を示すＵＩ画面を呼び出すことができてもよい。各ユーザのＵＩ画面では、各ユーザの閲覧履歴が表示されるのに対し、管理人のＵＩ画面では、全てのユーザの閲覧履歴が表示される。
　図１１は、ＰＤＦファイルで提示される解析の結果の一例を示す。
　「動画データ」の欄では、解析した画像の詳細情報が示されている。
　「サムネイル」の欄では、解析した画像のサムネイル画像が示されている。
　「特徴量でグルーピングされた人一覧」の欄では、解析した画像から抽出された特徴量のグループ化の結果が示されている。
　「登場するＧＩＤの頻度」の欄では、解析した画像における各グループの特徴量の登場回数が示されている。例えば、動画像を所定時間長さの複数のウインドウに分割し、登場しているウインドウの数を登場回数としてもよい。
　「映像への登場割合（％）」の欄では、解析した画像（動画像）の時間長さに対する各グループの特徴量が登場する時間長さの割合が示されている。
　図１２は、Ｗｅｂページで提示される解析の結果の一例を示す。
　「特徴量でグルーピングされた人一覧」の欄では、解析した画像から抽出された特徴量のグループ化の結果が示されている。
　「登場するＧＩＤの頻度」の欄では、解析した画像における各グループの特徴量の登場回数が示されている。例えば、動画像を所定時間長さの複数のウインドウに分割し、登場しているウインドウの数を登場回数としてもよい。
　「映像への登場割合（％）」の欄では、解析した画像（動画像）の時間長さに対する各グループの特徴量が登場する時間長さの割合が示されている。
　図１３は、Ｗｅｂページで提示される解析の結果の一例を示す。例えば、図１２のＷｅｂページにおいて、１つのグループ（Ｇｉｄ１～２３のいずれか）を選択する操作に応じて、図１３に示す画面が表示される。
　当該画面の上部では、選択されたグループの代表サムネイル画像と、その他の複数のサムネイル画像とが示されている。
　「分析ＩＤ＝１８２での時系列検出」の欄では、解析した１つの画像（１つの動画像）における選択されたグループの特徴量の登場回数の時間変化が示されている。
　「すべての分析ＩＤをまとめた時系列」の欄では、解析した複数の画像（複数の動画像）各々における選択されたグループの特徴量の登場回数の時間変化が示されている。なお、図では１つの画像の解析結果のみが示されているが、複数の画像を解析している場合、図１４に示すように、複数の画像各々に対応した折れ線が表示される。
　図１３に戻り、「付近の映像」の欄では、解析した画像の一場面が示されている。例えば、「分析ＩＤ＝１８２での時系列検出」の欄や「すべての分析ＩＤをまとめた時系列」の欄において、グラフ上で任意の日時を選択する操作に応じて、「付近の映像」の欄において指定された日時からの再生が開始される。
　図１５は、Ｗｅｂページで提示される解析の結果の一例を示す。図１５は、「付近の映像」の欄に表示されている内容が、図１３と異なる。その他の構成は、図１３と同様である。図１５は、姿勢解析の結果を示している。この場合、図示するように、「付近の映像」の欄において、検出した人物の骨格構造が示されてもよい。
　図１６は、Ｗｅｂページで提示される解析の結果の一例を示す。当該画面においては、複数の画像（複数の動画像）に対する複数の解析の結果がまとめて表示されている。
　「特徴量でグルーピングされた人一覧」の欄では、解析した複数の画像（複数の動画像）から抽出された特徴量のグループ化の結果が示されている。
　「登場するＧＩＤの頻度と解析ＩＤ」の欄では、解析した複数の画像（複数の動画像）全体における各グループの特徴量の登場回数が示されている。また、各特徴量がどの解析ＩＤで抽出されたか（「どの動画像の解析で抽出されたか」と同義）が示されている。
　「映像への登場割合（％）」の欄では、解析した複数の画像（複数の動画像）全体での時間長さに対する各グループの特徴量が登場する時間長さの割合が示されている。
　「複数映像での登場割合」の欄では、解析した複数の画像（複数の動画像）全体で検出された特徴量の登場回数に対する、各画像で検出された特徴量の登場回数の割合が示されている。
　「判定された顔一覧」の欄では、選択されたグループの代表サムネイル画像と、その他の複数のサムネイル画像とが示されている。
　なお、複数の画像（複数の動画像）に対する複数の解析の結果をまとめて表示する場合、図１７に示すように、時刻を同期して複数の画像を同時に再生表示する欄を設けてもよい。例えば、図１３や図１５の「付近の映像」の欄においてこのような画像を表示してもよい。
「作用効果」
　以上説明した本実施形態の画像解析システム１０は、互いに異なる種類の画像解析を行う複数の画像解析手段を備え、ユーザが指定した画像を、ユーザ入力に基づき選択した画像解析手段で解析する。このような画像解析システム１０によれば、利便性が向上する。
　また、本実施形態の画像解析システム１０は、複数種類の画像解析の結果をまとめた１つの解析レポートを生成し、出力することができる。このような解析レポートによれば、ユーザは、複数種類の画像解析の結果を比較したり、並行して確認したりしながら、分析することができる。結果、画像の中に隠れた情報を見つけ出すことが可能となる。
　また、本実施形態の画像解析システム１０によれば、解析レポートの形式をユーザがカスタマイズできるように構成することができる。この場合、ユーザは、例えば所望の情報を所望のレイアウトで表示した解析レポートを得ることができる。結果、解析レポートの確認や分析の効率が向上する。
　また、本実施形態の画像解析システム１０によれば、解析目的ごとに解析レポートの形式を定義し、ユーザが選択した解析目的に対応した形式の解析レポートを生成、出力することができる。この場合、ユーザは、解析目的に適した形式の解析レポートを得ることができる。結果、解析レポートの確認や分析の効率が向上する。
　また、画像解析システム１０は、プラグインのインストールにより、画像解析部１１を増やすことができるように構成することができる。このように構成すれば、プラグインのインストールという比較的簡単な処理で、画像解析システム１０が実行できる画像解析の種類を増やすことができる。画像解析システム１０が実行できる画像解析の種類が増えるほど、利便性が向上する。
　また、画像解析システム１０は、画像解析が完了したらその旨をユーザに通知する手段を備えることができる。この場合、ユーザは、画像解析が終了するまで待つ必要がなく、その間、他の事を行うことが可能となる。結果、利便性が向上する。
　また、画像解析システム１０は、画像解析の生データを出力する手段を備えることができる。この場合、ユーザは、生データを独自に加工したり、処理したりすることが可能となる。結果、利便性が向上する。
　また、上述した多種多様なＵＩ画面によれば、ユーザ及び管理人は、各種状況を容易に把握したり、画像解析の結果を確認したりすることが可能となる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１．　複数の画像解析手段と、
　複数の前記画像解析手段の中から少なくとも１つを選択する選択手段と、
　選択された前記画像解析手段に、ユーザが指定した画像を解析させる解析制御手段と、
　前記画像の解析の結果を出力する出力手段と、
を有する画像解析システム。
２．　前記出力手段は、前記画像の解析の結果に基づき生成された解析レポートを出力する１に記載の画像解析システム。
３．　解析目的ごとに、前記解析レポートの形式が定義されており、
　前記出力手段は、ユーザが選択した前記解析目的に対応して定義された前記形式で前記解析レポートを生成し、出力する２に記載の画像解析システム。
４．　前記出力手段は、ユーザ入力に基づき、前記解析レポートの形式の定義を追加・変更する３に記載の画像解析システム。
５．　前記出力手段は、選択された前記画像解析手段による前記画像の解析が終了すると、その旨を前記ユーザに通知する手段を備える１から４のいずれかに記載の画像解析システム。
６．　前記出力手段は、前記画像の解析で生成された生データを出力する１から５のいずれかに記載の画像解析システム。
７．　プラグインのインストールにより、前記画像解析手段を増やすことができる１から６のいずれかに記載の画像解析システム。
８．　前記選択手段は、ユーザが選択した前記画像解析手段を選択する１から７のいずれかに記載の画像解析システム。
９．　前記選択手段は、解析目的と少なくとも１つの前記画像解析手段とを紐付けた紐付け情報を参照し、ユーザが選択した前記解析目的に紐付けられた少なくとも１つの前記画像解析手段を選択する１から８のいずれかに記載の画像解析システム。
１０．　コンピュータが、
　複数の画像解析手段の中から少なくとも１つを選択し、
　選択された前記画像解析手段に、ユーザが指定した画像を解析させ、
　前記画像の解析の結果を出力する画像解析方法。
　１０　　画像解析システム
　１１　　画像解析部
　１２　　選択部
　１３　　画像指定部
　１４　　入力部
　１５　　解析制御部
　１６　　記憶部
　１７　　出力部
　１Ａ　　プロセッサ
　２Ａ　　メモリ
　３Ａ　　入出力Ｉ／Ｆ
　４Ａ　　周辺回路
　５Ａ　　バス

Claims (10)

  1. 　複数の画像解析手段と、
    　複数の前記画像解析手段の中から少なくとも１つを選択する選択手段と、
    　選択された前記画像解析手段に、ユーザが指定した画像を解析させる解析制御手段と、
    　前記画像の解析の結果を出力する出力手段と、
    を有する画像解析システム。
  2. 　前記出力手段は、前記画像の解析の結果に基づき生成された解析レポートを出力する請求項１に記載の画像解析システム。
  3. 　解析目的ごとに、前記解析レポートの形式が定義されており、
    　前記出力手段は、ユーザが選択した前記解析目的に対応して定義された前記形式で前記解析レポートを生成し、出力する請求項２に記載の画像解析システム。
  4. 　前記出力手段は、ユーザ入力に基づき、前記解析レポートの形式の定義を追加・変更する請求項３に記載の画像解析システム。
  5. 　前記出力手段は、選択された前記画像解析手段による前記画像の解析が終了すると、その旨を前記ユーザに通知する手段を備える請求項１から４のいずれか１項に記載の画像解析システム。
  6. 　前記出力手段は、前記画像の解析で生成された生データを出力する請求項１から５のいずれか１項に記載の画像解析システム。
  7. 　プラグインのインストールにより、前記画像解析手段を増やすことができる請求項１から６のいずれか１項に記載の画像解析システム。
  8. 　前記選択手段は、ユーザが選択した前記画像解析手段を選択する請求項１から７のいずれか１項に記載の画像解析システム。
  9. 　前記選択手段は、解析目的と少なくとも１つの前記画像解析手段とを紐付けた紐付け情報を参照し、ユーザが選択した前記解析目的に紐付けられた少なくとも１つの前記画像解析手段を選択する請求項１から８のいずれか１項に記載の画像解析システム。
  10. 　コンピュータが、
    　複数の画像解析手段の中から少なくとも１つを選択し、
    　選択された前記画像解析手段に、ユーザが指定した画像を解析させ、
    　前記画像の解析の結果を出力する画像解析方法。
PCT/JP2020/036222 2020-09-25 2020-09-25 画像解析システム及び画像解析方法 WO2022064631A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2020/036222 WO2022064631A1 (ja) 2020-09-25 2020-09-25 画像解析システム及び画像解析方法
EP20955225.6A EP4221197A4 (en) 2020-09-25 2020-09-25 IMAGE ANALYSIS SYSTEM AND IMAGE ANALYSIS METHOD
US18/026,520 US20230351571A1 (en) 2020-09-25 2020-09-25 Image analysis system and image analysis method
JP2022551515A JPWO2022064631A1 (ja) 2020-09-25 2020-09-25
TW110130429A TW202213182A (zh) 2020-09-25 2021-08-18 影像解析系統以及影像解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/036222 WO2022064631A1 (ja) 2020-09-25 2020-09-25 画像解析システム及び画像解析方法

Publications (1)

Publication Number Publication Date
WO2022064631A1 true WO2022064631A1 (ja) 2022-03-31

Family

ID=80846301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036222 WO2022064631A1 (ja) 2020-09-25 2020-09-25 画像解析システム及び画像解析方法

Country Status (5)

Country Link
US (1) US20230351571A1 (ja)
EP (1) EP4221197A4 (ja)
JP (1) JPWO2022064631A1 (ja)
TW (1) TW202213182A (ja)
WO (1) WO2022064631A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243031A (ja) * 2010-05-19 2011-12-01 Canon Inc ジェスチャ認識装置及びジェスチャ認識方法
WO2014109127A1 (ja) 2013-01-11 2014-07-17 日本電気株式会社 インデックス生成装置及び方法並びに検索装置及び検索方法
JP2015049574A (ja) 2013-08-30 2015-03-16 日本電気株式会社 インデックス生成装置及び検索装置
JP2017191621A (ja) 2016-03-30 2017-10-19 日本電気株式会社 解析装置、解析方法及びプログラム
WO2018061976A1 (ja) * 2016-09-28 2018-04-05 株式会社日立国際電気 画像処理装置
WO2019229789A1 (ja) * 2018-05-28 2019-12-05 株式会社オプティム 学習済モデル提案システム、学習済モデル提案方法、およびプログラム
JP2020093076A (ja) * 2018-08-14 2020-06-18 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036888B2 (en) * 2012-04-30 2015-05-19 General Electric Company Systems and methods for performing quality review scoring of biomarkers and image analysis methods for biological tissue
US11650217B2 (en) * 2015-12-08 2023-05-16 Shimadzu Corporation Data processing system for analytical instrument, and data processing program for analytical instrument
CN111654669A (zh) * 2020-05-26 2020-09-11 号百控股股份有限公司 一种基于视频结构化分析处理的视频拆条系统框架及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243031A (ja) * 2010-05-19 2011-12-01 Canon Inc ジェスチャ認識装置及びジェスチャ認識方法
WO2014109127A1 (ja) 2013-01-11 2014-07-17 日本電気株式会社 インデックス生成装置及び方法並びに検索装置及び検索方法
JP2015049574A (ja) 2013-08-30 2015-03-16 日本電気株式会社 インデックス生成装置及び検索装置
JP2017191621A (ja) 2016-03-30 2017-10-19 日本電気株式会社 解析装置、解析方法及びプログラム
WO2018061976A1 (ja) * 2016-09-28 2018-04-05 株式会社日立国際電気 画像処理装置
WO2019229789A1 (ja) * 2018-05-28 2019-12-05 株式会社オプティム 学習済モデル提案システム、学習済モデル提案方法、およびプログラム
JP2020093076A (ja) * 2018-08-14 2020-06-18 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4221197A4

Also Published As

Publication number Publication date
TW202213182A (zh) 2022-04-01
JPWO2022064631A1 (ja) 2022-03-31
US20230351571A1 (en) 2023-11-02
EP4221197A4 (en) 2023-10-18
EP4221197A1 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
US10649633B2 (en) Image processing method, image processing apparatus, and non-transitory computer-readable storage medium
CA3111097C (en) Bounding box doubling as redaction boundary
US10176198B1 (en) Techniques for identifying visually similar content
US8416997B2 (en) Method of person identification using social connections
US9607010B1 (en) Techniques for shape-based search of content
US8983144B2 (en) Content extracting device, content extracting method and program
US8917943B2 (en) Determining image-based product from digital image collection
US20140195921A1 (en) Methods and systems for background uploading of media files for improved user experience in production of media-based products
TW201921270A (zh) 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統
US9846809B2 (en) Information processing apparatus, method, and storage medium storing program
US9411839B2 (en) Index configuration for searchable data in network
US9026643B2 (en) Contents' relationship visualizing apparatus, contents' relationship visualizing method and its program
CN108170731A (zh) 数据处理方法、装置、计算机存储介质及服务器
CN107071143B (zh) 一种影像的管理方法及装置
US10074039B2 (en) Image processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium that extract person groups to which a person belongs based on a correlation
US20170185279A1 (en) Information processing apparatus, information processing method, and program
CN111488477A (zh) 相册处理方法、装置、电子设备及存储介质
US11775618B2 (en) Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image
WO2022064631A1 (ja) 画像解析システム及び画像解析方法
WO2024002092A1 (zh) 视频的推送方法、装置和存储介质
JP6793169B2 (ja) サムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラム
CN112150347A (zh) 从有限的修改后图像集合中学习的图像修改样式
US7706577B1 (en) Exporting extracted faces
JP2003330941A (ja) 類似画像分類装置
US10324975B2 (en) Bulk keyword management application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20955225

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022551515

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020955225

Country of ref document: EP

Effective date: 20230425