WO2023249034A1 - 画像処理方法、コンピュータプログラム及び画像処理装置 - Google Patents

画像処理方法、コンピュータプログラム及び画像処理装置 Download PDF

Info

Publication number
WO2023249034A1
WO2023249034A1 PCT/JP2023/022855 JP2023022855W WO2023249034A1 WO 2023249034 A1 WO2023249034 A1 WO 2023249034A1 JP 2023022855 W JP2023022855 W JP 2023022855W WO 2023249034 A1 WO2023249034 A1 WO 2023249034A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene change
change position
frames
candidate
moving image
Prior art date
Application number
PCT/JP2023/022855
Other languages
English (en)
French (fr)
Inventor
ウィラフ パトラワラ
アニシュラム セナティ
ワンシュ バティア
Original Assignee
ダイキン工業株式会社
Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ダイキン工業株式会社, Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社 filed Critical ダイキン工業株式会社
Priority to EP23827217.3A priority Critical patent/EP4546265A1/en
Priority to CN202380047958.3A priority patent/CN119404224A/zh
Publication of WO2023249034A1 publication Critical patent/WO2023249034A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Definitions

  • the present invention relates to an image processing method, a computer program, and an image processing device that perform image processing on moving images.
  • Image processing techniques that detect changes in scenes (scenes, shots, etc.) in moving images are widely used.
  • pixel values between consecutive frames in time series are compared for a plurality of frames constituting a moving image, and based on the comparison result, it is determined whether or not there is a change in the scene.
  • methods have also been developed that use learning models that have been machine learned in advance to detect scene changes.
  • Patent Document 1 proposes a method of detecting scene changes within a video, detecting fast-moving scenes by counting the number of consecutive scene changes, and selecting key frames from the scenes.
  • the present invention has been made in view of the above circumstances, and its purpose is to provide an image processing method, a computer program, and an image processing device that can be expected to accurately detect changes in scenes from moving images. It is about providing.
  • an image processing device detects candidates for scene change positions from a moving image, and detects candidate frames that can be main frames of the scene from among frames constituting the moving image. , a main frame is determined from among the candidate frames, and a scene change position is determined from among the scene change position candidates based on the chronological order of the scene change position candidates and the main frames.
  • the image processing method according to the second aspect is the image processing method according to the first aspect, in which when a main frame does not exist between two scene change position candidates arranged in chronological order, The scene change position is determined by excluding one of the change positions from the candidates.
  • the image processing method according to the third aspect is the image processing method according to the first aspect or the second aspect, in which a scene change position candidate is located between two similar main frames arranged in chronological order. If the scene change position exists, the scene change position is determined by excluding the scene change position from the candidates.
  • the image processing method according to the fourth aspect is the image processing method according to any one of the first to third aspects, and calculates the statistical value of each frame, and calculates the statistical value of the two frames.
  • a scene change position candidate is detected based on the difference in the scene change position.
  • An image processing method is an image processing method according to any one of the first to fourth aspects, which calculates a hash value of each frame, and calculates a hash value of two frames.
  • a scene change position candidate is detected based on the difference in the scene change position.
  • An image processing method is an image processing method according to any one of the first to fifth aspects, which extracts an edge from each frame, and extracts an edge between two frames. Detect candidate frames based on changes in .
  • An image processing method is an image processing method according to any one of the first to sixth aspects, which extracts feature points from candidate frames, and extracts feature points between a plurality of candidate frames.
  • the main frame is determined from among the candidate frames by excluding the candidate frames based on the comparison result of the feature points in .
  • An image processing method is an image processing method according to any one of the first to seventh aspects, in which information regarding the determined scene change position and main frames is added to the moving image.
  • the moving image is stored in correspondence, the selection of the scene change position or main frame is accepted, and the moving image is reproduced based on the selected scene change position or main frame.
  • the image processing method according to the ninth aspect is the image processing method according to the eighth aspect, in which information regarding the determined scene change position and main frame and text information regarding the moving image are stored in association with each other.
  • the image processing method according to the tenth aspect is the image processing method according to the ninth aspect, in which a moving image of construction or repair work of air conditioning-related equipment is acquired, and a scene change position is determined for the acquired moving image. and a main frame, and store information about the determined scene change position and main frame in association with text information about air conditioning related equipment.
  • the image processing method according to an eleventh aspect is the image processing method according to any one of the first to tenth aspects, and is based on the determined scene change position and main frame. Partial video images are extracted and the extracted partial video images are combined to generate a summary video image.
  • the image processing method is the image processing method according to any one of the first to eleventh aspects, in which the determined main frame is used for construction or repair work of air conditioning related equipment. input into a learning model that classifies the type of construction or repair based on the input of the main frames of the video image captured, obtain the classification results output by the learning model, and based on the obtained classification results, Alternatively, the title of the scene included in the moving image is determined.
  • a computer program causes a computer to detect a scene change position candidate from a moving image, detect a candidate frame that can be a main frame of a scene from among frames constituting the moving image, and detect a candidate frame that can be a main frame of the scene, and A main frame is determined from among the frames, and a process for determining a scene change position from among the scene change position candidates is executed based on the scene change position candidates and the chronological order of the main frames.
  • An image processing device includes a scene change position candidate detection unit that detects a scene change position candidate from a moving image, and a scene change position candidate detection unit that detects a scene change position candidate from a moving image; a candidate frame detection unit that detects a candidate frame; a main frame determination unit that determines a main frame from among the candidate frames; and a scene change position determination unit that determines a scene change position from the scene change position.
  • scene changes can be detected accurately from moving images.
  • FIG. 1 is a schematic diagram for explaining an overview of an information processing system according to the present embodiment.
  • FIG. 2 is a block diagram showing the configuration of a server device according to the present embodiment.
  • FIG. 2 is a block diagram showing the configuration of a terminal device according to the present embodiment.
  • FIG. 3 is a schematic diagram for explaining scene change position and key frame detection processing performed by the information processing system according to the present embodiment. It is a schematic diagram which shows an example of an HSL histogram.
  • FIG. 2 is a schematic diagram showing an example of a calculation result of a degree of difference between frames in a moving image.
  • FIG. 2 is a schematic diagram showing an example of edge extraction.
  • FIG. 2 is a schematic diagram showing an example of a calculation result of an edge change rate between frames in a moving image.
  • FIG. 1 is a schematic diagram for explaining an overview of an information processing system according to the present embodiment.
  • FIG. 2 is a block diagram showing the configuration of a server device according to the present embodiment.
  • FIG. 3 is a schematic diagram showing an example of key points extracted from candidate frames.
  • FIG. 2 is a schematic diagram showing an example of key point matching results.
  • FIG. 3 is a schematic diagram for explaining a method of determining a scene change position by the server device. It is a flowchart which shows the procedure of the process which a server apparatus performs in this Embodiment. It is a flowchart which shows the procedure of the process which a server apparatus performs in this Embodiment.
  • FIG. 3 is a schematic diagram showing an example of a playback screen displayed by a terminal device.
  • FIG. 2 is a schematic diagram for explaining a learning model used by the server device according to the present embodiment.
  • FIG. 1 is a schematic diagram for explaining an overview of an information processing system according to this embodiment.
  • a worker 102 who performs work such as installing or repairing an air conditioner 101 monitors the progress of the work using a camera 103 equipped with a headset or the like worn on his or her head. Take a photo.
  • photography is performed using the camera 103 installed in a wearable device such as a headset worn by the worker 102, but the invention is not limited to this, and the air conditioning equipment 101 and the worker A camera 103 may be installed around the person 102 to photograph the work.
  • the air conditioning equipment 101 is not limited to this, and examples of the air conditioning equipment 101 include an outdoor unit of an air conditioner, a ventilation device, a circulator, an air purifier, a heating It may be a variety of air conditioning related equipment, such as an appliance or a dehumidifying dryer. Further, the camera 103 may take pictures of work such as construction or repair of various equipment other than air conditioning related equipment, and may take pictures of various works other than construction or repair of these equipment.
  • the moving image taken by the camera 103 is provided to the server device 1.
  • the server device 1 acquires moving images photographed by one or more workers, and stores the acquired moving images in a database.
  • the method for providing moving images from the camera 103 to the server device 1 is, for example, if the camera 103 is equipped with a communication function, the moving images are directly transmitted from the camera 103 to the server device 1 through wired or wireless communication. A method may be adopted.
  • the camera 103 may record a moving image on a recording medium such as a memory card or an optical disk, and provide the moving image from the camera 103 to the server device 1 via the recording medium. Can be done.
  • a terminal device such as a PC (personal computer) or a smartphone may be interposed between the camera 103 and the server device 1, and the terminal device may acquire a moving image from the camera 103 and transmit it to the server device 1. Any method may be used to provide moving images from the camera 103 to the server device 1.
  • the server device 1 can communicate with one or more terminal devices 3 via a network such as a LAN (Local Area Network) or the Internet.
  • the terminal device 3 is a general-purpose information processing device such as a PC or a smartphone, and in this embodiment, an unskilled user who is learning work such as construction or repair of the air conditioning equipment 101 can be used by a skilled worker. It is used to view videos of the work being performed.
  • the server device 1 Based on a request from the terminal device 3, the server device 1 acquires a desired moving image from among the plurality of moving images stored in the database and transmits it to the terminal device 3.
  • the terminal device 3 displays (plays) the moving image received from the server device 1.
  • the server device 1 detects scenes (scenes, shots, etc.) and key frames (main frames) from the video image acquired from the camera 103, and stores information regarding these detection results together with the video image.
  • the moving image obtained by shooting with the camera 103 is composed of about several dozen frames (still images) connected in one second, and key frames hold important information about the scene among these frames. It is a frame.
  • the server device 1 transmits information regarding scenes and key frames to the terminal device 3 along with the moving image.
  • the terminal device 3 receives information about scenes and key frames along with moving images from the server device 1, and, for example, when playing back moving images, receives a selection of a scene or key frame from a user, and selects a scene or key frame from the selected scene or key frame. Playback of the moving image can be started.
  • the server device 1 first performs a process of detecting scene change position candidates from the moving image captured by the camera 103.
  • the server device 1 also performs a process of detecting candidate frames that can become key frames from the moving images captured by the camera 103.
  • the server device 1 performs a process of determining a key frame by, for example, excluding similar candidate frames from among the plurality of candidate frames detected from the moving image.
  • the server device 1 determines whether or not a key frame exists between two consecutive scene change position candidates from among the plurality of scene change position candidates detected from the video image. Performs processing to determine the scene change position in the image.
  • the server device 1 can be expected to accurately detect scene change positions and key frames suitable for moving images.
  • FIG. 2 is a block diagram showing the configuration of the server device 1 according to this embodiment.
  • the server device 1 according to the present embodiment includes a processing section 11, a storage section 12, a communication section (transceiver) 13, and the like. Note that although the present embodiment will be described assuming that the processing is performed by one server device, the processing may be performed in a distributed manner by a plurality of server devices.
  • the processing unit 11 includes an arithmetic processing unit such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit), or a quantum processor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is configured using The processing unit 11 reads out and executes the server program 12a stored in the storage unit 12, thereby detecting scene change positions and key frames from the moving image taken by the camera 103, and detecting the moving image stored in the database. performs various processes such as providing the information to the terminal device 3.
  • arithmetic processing unit such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit), or a quantum processor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is configured using The processing unit 11 reads out and executes the server program 12a stored in the storage unit 12, thereby detecting scene change positions and key frames from the moving image
  • the storage unit 12 is configured using a large-capacity storage device such as a hard disk, for example.
  • the storage unit 12 stores various programs executed by the processing unit 11 and various data necessary for processing by the processing unit 11.
  • the storage unit 12 stores a server program 12a executed by the processing unit 11.
  • the storage unit 12 is also provided with a moving image DB (database) 12b that stores moving images captured by the camera 103.
  • the server program (program product) 12a is provided in a form recorded on a recording medium 99 such as a memory card or an optical disk, and the server device 1 reads the server program 12a from the recording medium 99 and stores it in the storage unit 12.
  • the server program 12a may be written into the storage unit 12, for example, during the manufacturing stage of the server device 1.
  • the server program 12a may be distributed by another remote server device, and the server device 1 may obtain it through communication.
  • the server program 12 a may be recorded on the recording medium 99 by a writing device and written into the storage unit 12 of the server device 1 .
  • the server program 12a may be provided in the form of distribution via a network, or may be provided in the form of being recorded on the recording medium 99.
  • the moving image DB 12b is a database that stores and accumulates moving images captured by the camera 103.
  • the moving image DB 12b also stores information regarding scene change positions and key frames detected from the moving images in association with these moving images.
  • the communication unit 13 communicates with various devices via a network N including a mobile phone communication network, a wireless LAN (Local Area Network), the Internet, and the like.
  • the communication unit 13 communicates with one or more terminal devices 3 and the camera 103 via the network N.
  • the communication unit 13 transmits data provided from the processing unit 11 to other devices, and also provides data received from other devices to the processing unit 11.
  • the storage unit 12 may be an external storage device connected to the server device 1.
  • the server device 1 may be a multicomputer including a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server device 1 is not limited to the above configuration, and may include, for example, a reading unit that reads information stored in a portable storage medium, an input unit that accepts operation input, a display unit that displays an image, etc. .
  • the server device 1 has a scene change position candidate detection section 11a, a candidate frame detection section 11b, a key
  • the frame determining unit 11c, the scene change position determining unit 11d, the DB processing unit 11e, and the like are implemented in the processing unit 11 as software-like functional units.
  • functional units related to moving images are illustrated as functional units of the processing unit 11, and functional units related to other processes are omitted.
  • the scene change position candidate detection unit 11a performs processing to detect candidates for positions where the scene (scene, shot, etc.) changes from the moving image captured by the camera 103.
  • the scene change position candidate detection unit 11a compares two consecutive frames in time series for each frame constituting a moving image, and calculates a value indicating a difference between the two frames. When this calculated value exceeds a predetermined threshold, the scene change position candidate detection unit 11a determines that a scene change has occurred in the moving image, and sets the previous frame of these two frames as the last frame of the scene, The next frame is the beginning of the next scene.
  • the scene change position candidate detection unit 11a sets the position of the first (or last) frame of the scene as a candidate for the scene change position of the moving image, and information indicating this position (time or frame from the beginning of the moving image to this position) memorize numbers, etc.)
  • the scene change position candidate detection unit 11a calculates two types of values as values indicating the difference between two frames.
  • the first value indicating the difference between the two frames is the "Bhattacharyya Distance."
  • the Bhattacharyya distance is one of the measures for determining the distance between two probability distributions.
  • the scene change position candidate detection unit 11a creates HSL (hue, saturation, brightness) histograms for a plurality of pixel values included in the frames for each of the two frames to be compared.
  • the scene change position candidate detection unit 11a calculates the Bhattacharyya distance indicating the difference between the two HSL histograms created for the two frames.
  • the scene change position candidate detection unit 11a can select the positions of these two frames as scene change position candidates when the calculated Bhattacharyya distance exceeds a predetermined threshold.
  • the second value indicating the difference between the two frames is the "pHash (Perseptual Hash) distance."
  • a hash value is a value of a predetermined length (for example, 64 bits, 256 bits, etc.) calculated by performing predetermined arithmetic processing on input information
  • pHash is a hash value that has characteristics of the input image.
  • the scene change position candidate detection unit 11a calculates pHash from each of the two frames, and calculates the distance (for example, Hamming distance) between the two calculated pHash.
  • the scene change position candidate detection unit 11a can determine the positions of these two frames as scene change position candidates when the calculated pHash distance exceeds a predetermined threshold.
  • the scene change position candidate detection unit 11a detects scene change position candidates based on the Bhattacharyya distance and scene change position candidates based on the pHash distance, and detects scene change position candidates using at least one of the methods.
  • the selected scene change position candidates can be used as the final scene change position candidates.
  • the scene change position candidate detection unit 11a may use the scene change position candidates detected as scene change position candidates by both methods as the final scene change position candidates.
  • the scene change position candidate detection unit 11a may detect scene change position candidates based on the Bhattacharyya distance or detect scene change position candidates based on the pHash distance; Scene change position candidates may be detected using other methods.
  • the scene change position candidate detection unit 11a calculates the average value or total value of the calculated Bhattacharyya distance and pHash distance as the degree of dissimilarity, and when the calculated degree of dissimilarity exceeds a threshold value, the scene change position candidate detection unit 11a changes the position of the two frames to the scene. It may also be a candidate for a change position.
  • the candidate frame detection unit 11b performs a process of detecting candidate frames that can become key frames from the moving image captured by the camera 103.
  • the candidate frame detection unit 11b performs processing to extract edges for each frame constituting the moving image, compares the edges of two chronologically consecutive frames, and calculates the rate of change of the edges of the two frames. do. If the calculated edge change rate is smaller than a predetermined threshold (that is, the edge change is small), the candidate frame detection unit 11b sets the chronologically earlier frame (or the later frame) as a key among these two frames. This is a candidate frame that can become a frame.
  • the key frame determination unit 11c performs a process of determining key frames of a moving image from among the candidate frame candidates detected by the candidate frame detection unit 11b.
  • the key frame determining unit 11c searches for similar candidate frames from among the plurality of candidate frames by extracting feature amounts for a plurality of candidate frames detected from a moving image and comparing the features.
  • the key frame determination unit 11c leaves any one candidate frame as the final key frame from among the plurality of similar candidate frames, and excludes the other candidate frames. For example, when there are two similar candidate frames, the key frame determining unit 11c can leave the earlier candidate frame in chronological order and exclude the later candidate frame. For example, when there are three similar candidate frames, the key frame determining unit 11c can leave the chronologically middle candidate frame and exclude the preceding and succeeding candidate frames.
  • the key frame determining unit 11c extracts key points using ORB (Oriented FAST and Rotated BRIEF) to extract feature amounts from each candidate frame. For example, the key frame determining unit 11c performs matching of key points extracted from two candidate frames, calculates a value such as the number or proportion of matching key points between the two candidate frames, and this value is determined as a threshold value. It is possible to determine whether two candidate frames are similar based on whether the two candidate frames are similar. Note that the key frame determining unit 11c may extract feature amounts other than key frames of the ORB to determine whether candidate frames are similar.
  • ORB Oriented FAST and Rotated BRIEF
  • the scene change position determination unit 11d determines the final scene change position from among the scene change position candidates detected by the scene change position candidate detection unit 11a, based on the key frame determined by the key frame determination unit 11c. Perform processing.
  • the scene change position determination unit 11d examines the chronological order relationship between scene change position candidates and key frames, and determines whether a key frame exists between two scene change position candidates that are sequentially adjacent in time. Determine whether or not.
  • the scene determined by the scene change position (that is, the scene captured in the moving image from the previous scene change position to the later scene change position) includes at least one key frame. The condition is that there is.
  • the scene change position determination unit 11d determines that at least one of the scene change position candidates is inappropriate and excludes it.
  • the scene change position determination unit 11d repeatedly performs the above process on all scene change position candidates detected from the video image, excludes inappropriate candidates, and finally selects the remaining scene change position candidates as the final scene change position candidates. Determine the scene change position.
  • the scene change position determination unit 11d may determine the scene change position candidate detected by the scene change position candidate detection unit 11a as the final scene change position. In this case, if a key frame does not exist between the two scene change positions, the scene change position determining unit 11d excludes the moving image (that is, the scene) between the two scene change positions from the entire moving image. Note that the exclusion of a scene may be performed, for example, by removing the data of this scene from the video data to generate video data with a shortened playback time, or, for example, by changing the video data itself. Instead, information regarding the relevant scene may be removed from the scene configuration information held regarding the moving image.
  • the DB processing unit 11e associates and stores the moving image captured by the camera 103 and information regarding the scene change position determined by the scene change position determining unit 11d and the key frame determined by the key frame determining unit 11c for this video.
  • the information is stored in the moving image DB 12b of the section 12.
  • the DB processing unit 11e receives a request to play back a moving image from the terminal device 3, reads data of the moving image requested to be played from the moving image DB 12b, and stores the read moving image and the scene associated with this moving image.
  • the changed position and information regarding the key frame are transmitted to the requesting terminal device 3.
  • FIG. 3 is a block diagram showing the configuration of the terminal device 3 according to the present embodiment.
  • the terminal device 3 according to the present embodiment includes a processing section 31, a storage section 32, a communication section (transceiver) 33, a display section 34, an operation section 35, and the like.
  • the terminal device 3 is a device used by, for example, an unskilled user who learns techniques such as construction or repair of the air conditioning equipment 101, and is configured using an information processing device such as a smartphone, a tablet terminal device, or a personal computer. can be done.
  • the processing unit 31 is configured using an arithmetic processing device such as a CPU or MPU, a ROM, a RAM, and the like.
  • the processing unit 31 reads and executes the program 32a stored in the storage unit 32 to search for moving images stored in the moving image DB 12b of the server device 1 and display (playback) these moving images. Perform processing, etc.
  • the storage unit 32 is configured using, for example, a nonvolatile memory element such as a flash memory or a storage device such as a hard disk.
  • the storage unit 32 stores various programs executed by the processing unit 31 and various data necessary for processing by the processing unit 31.
  • the storage unit 32 stores a program 32a executed by the processing unit 31.
  • the program 32a is distributed by a remote server device or the like, and the terminal device 3 acquires it through communication and stores it in the storage unit 32.
  • the program 32a may be written into the storage unit 32, for example, during the manufacturing stage of the terminal device 3.
  • the program 32a may be stored in the storage unit 32 by reading the program 32a recorded on a recording medium 98 such as a memory card or an optical disk by the terminal device 3.
  • the program 32a may be recorded on the recording medium 98 and read by a writing device and written into the storage unit 32 of the terminal device 3.
  • the program 32a may be provided in the form of distribution via a network, or may be provided in the form of being recorded on the recording medium 98.
  • the communication unit 33 communicates with various devices via a network N including a mobile phone communication network, wireless LAN, the Internet, and the like.
  • the communication unit 33 communicates with the server device 1 via the network N.
  • the communication unit 33 transmits data provided from the processing unit 31 to other devices, and also provides data received from other devices to the processing unit 31.
  • the display unit 34 is configured using a liquid crystal display or the like, and displays various images, characters, etc. based on the processing of the processing unit 31.
  • the operation unit 35 accepts user operations and notifies the processing unit 31 of the accepted operations.
  • the operation unit 35 receives user operations using input devices such as mechanical buttons or a touch panel provided on the surface of the display unit 34 .
  • the operation unit 35 may be an input device such as a mouse and a keyboard, and these input devices may be configured to be detachable from the terminal device 3.
  • the search processing section 31a, the display processing section 31b, etc. function as software-like functional sections by the processing section 31 reading out and executing the program 32a stored in the storage section 32.
  • the program 32a may be a program dedicated to the information processing system according to this embodiment, or may be a general-purpose program such as an Internet browser or a web browser.
  • the search processing unit 31a performs search processing on a large number of moving images stored in the moving image DB 12b of the server device 1.
  • the search processing unit 31a receives input of various search conditions from the user, and transmits the received search conditions to the server device 1.
  • the server device 1 which has received the search conditions from the terminal device 3, extracts moving images corresponding to the search conditions from the moving image DB 12b, and transmits list information of the extracted moving images and the like to the terminal device 3 as a search result.
  • the terminal device 3 receives and displays the search results from the server device 1, and the search processing unit 31a receives a selection of a video to be played back from the user based on the search results, and sends the selected video to the server device 1. request.
  • the display processing unit 31b performs display processing such as displaying a screen that accepts input of search conditions, displaying information transmitted as search results from the server device 1, and playing back (displaying) moving images.
  • the server device 1 reads the requested moving image from the moving image DB 12b, and various information related to this moving image (for example, scene change position and key frame information).
  • the moving image is transmitted to the requesting terminal device 3.
  • the display processing unit 31b of the terminal device 3 that has received the moving image from the server device 1 plays back the received moving image and displays it on the display unit 34.
  • the display processing unit 31b receives information transmitted together with the moving image, and based on the scene change position and key frame information included in the received information, the display processing unit 31b determines, for example, the scene change position specified by the user as the playback position of the moving image. Alternatively, processing such as skipping to a key frame may be performed.
  • FIG. 4 is a schematic diagram for explaining scene change position and key frame detection processing performed by the information processing system according to the present embodiment.
  • the moving image handled by the information processing system according to the present embodiment is, for example, a series of about several dozen frames (still images) per second.
  • a moving image can also be divided into multiple scenes.
  • a scene can be called a scene or a shot in video production, for example, and is a unit that defines one section of the action of a person, object, etc. captured in a moving image.
  • one scene is a series of multiple frames including at least one key frame, as shown in the lower part of FIG. 4, and the first frame and the last frame are treated as scene change positions. be exposed.
  • the server device 1 of the information processing system acquires a moving image taken by a camera 103 of work such as construction or repair of an air conditioner 101 via communication or a recording medium, and stores the obtained moving image. It is stored in the moving image DB 12b. At this time, the server device 1 performs processing to detect the scene change position and key frame of the acquired moving image, and stores information regarding the detected scene change position and key frame in association with the moving image in the moving image DB 12b.
  • the server device 1 For the moving image acquired from the camera 103, the server device 1 first performs a process of detecting scene change position candidates included in the moving image.
  • the server device 1 calculates a value indicating a difference between two consecutive frames in time series for a plurality of frames constituting a moving image, and determines whether the calculated value exceeds a predetermined threshold. Determine whether If the value indicating the difference between frames exceeds the threshold, the server device 1 selects the positions of two consecutive frames as candidates for scene change positions.
  • the server device 1 calculates two values, the Bhattacharyya distance of the HSL histogram and the distance of the hash value, as values indicating the difference between frames.
  • FIG. 5 is a schematic diagram showing an example of an HSL histogram, and is a graph showing the distribution of the number of pixels with respect to the values of H (hue), S (saturation), and L (luminance) for one sample frame. .
  • the horizontal axis represents the HSL value
  • the vertical axis represents the number of pixels.
  • the distribution of H is shown by a solid line
  • the distribution of S is shown by a broken line
  • the distribution of L is shown by a chain line.
  • the server device 1 calculates an HSL histogram for each frame making up a moving image.
  • the server device 1 can calculate the HSL histogram by converting pixel values of a frame given, for example, RGB values into HSL values, and counting the number of pixels included in the frame for each HSL value.
  • the server device 1 calculates HSL histograms for all frames included in the moving image, and calculates a value indicating the difference in the HSL histogram between each frame and the previous chronologically continuous frame.
  • the server device 1 calculates the Bhattacharyya distance as a value indicating the difference in HSL histograms. Note that the method for calculating the Bhattacharyya distance is an existing technique, so a detailed explanation will be omitted.
  • the server device 1 calculates the HSL histogram of each frame and calculates the Bhattacharyya distance between frames, but the server device 1 is not limited to this, and the server device 1 calculates statistical values other than the HSL histogram.
  • a value other than the Bhattacharyya distance may be calculated as a value indicating the difference between frames.
  • the server device 1 calculates hash values, such as pHash, for all frames included in the moving image.
  • pHash is a hash value obtained by frequency-converting an image using discrete cosine transform or the like, extracting low-frequency components, and calculating a hash value.
  • the server device 1 calculates the Hamming distance of pHash between each frame and the previous frame that is consecutive in time series as a value indicating the difference between the frames. pHash has a characteristic that the more similar two images are, the smaller the Hamming distance of pHash between the two images becomes. Note that the pHash and Hamming distance calculation methods are existing techniques, so detailed explanations will be omitted.
  • the server device 1 calculates the pHash of each frame and calculates the Hamming distance of pHash between frames, but the server device 1 is not limited to this, and the server device 1 calculates the pHash of each frame ( For example, aHash (Average Hash), etc.) may be calculated, or a value other than the Hamming distance may be calculated as a value indicating the difference between frames.
  • aHash Average Hash
  • a value other than the Hamming distance may be calculated as a value indicating the difference between frames.
  • the server device 1 calculates two values, the Bhattacharyya distance of the HSL histogram and the Hamming distance of pHash, between each frame and the previous frame that is consecutive in time. , is calculated as a value indicating the difference between the two frames.
  • the average value (weighted average value) of the two values of the Bhattacharya distance and Hamming distance calculated by the server device 1 is calculated, and the calculated average value is used as the degree of difference between frames.
  • FIG. 6 is a schematic diagram showing an example of a calculation result of the degree of dissimilarity between frames in a moving image, and is a graph showing a change in the degree of dissimilarity over the playback time of a moving image.
  • the horizontal axis of the graph in FIG. 6 is time (playback time of a moving image), and the vertical axis is the degree of difference between frames.
  • the server device 1 calculates the degree of difference from the previous frame for all frames included in the moving image, and determines whether this degree of difference exceeds a predetermined threshold.
  • the waveform indicated by a solid line indicates a change in the degree of dissimilarity
  • the dashed horizontal line indicates a threshold value.
  • the server device 1 sets the point in time at which the calculated degree of difference exceeds a predetermined threshold as a candidate for the scene change position.
  • the dashed-dotted vertical line is the point in time when the server device 1 selects the moving image change position as a candidate.
  • the server device 1 is restricted from detecting scene change position candidates for a predetermined period of time after detecting the scene change position candidates. By setting such a restriction, it can be expected to suppress detection of a large number of candidates for similar scene change positions.
  • the server device 1 performs a process of detecting candidate frames that are key frame candidates from all frames included in the moving image captured by the camera 103. Note that the candidate frame detection process may be performed before, after, or simultaneously with the scene change position detection process described above.
  • the server device 1 according to the present embodiment performs image processing to extract edges for a plurality of frames constituting a moving image.
  • FIG. 7 is a schematic diagram showing an example of edge extraction.
  • an example of an image (frame image) corresponding to one frame included in a moving image is shown.
  • a binary image (edge image) of edges extracted from the image of this frame is shown in which pixels corresponding to the edges are white and pixels other than the edges are black.
  • the server device 1 can extract edges from each frame image by performing edge detection processing (Canny Edge Detection) using the Canny method, for example, on each frame included in a moving image.
  • edge detection processing Canny Edge Detection
  • Image processing for extracting edges from an image is an existing technology, so detailed explanation will be omitted. Note that the edge extraction from the frame image by the server device 1 may be performed using any image processing.
  • the server device 1 that has extracted the edges of each frame included in the video image calculates the edge change rate by comparing the edges of the two chronologically consecutive frames.
  • the server device 1 compares two edge images extracted from two frame images, and calculates, for example, the number of edge pixels changed to non-edge pixels and the number of non-edge pixels changed to edge pixels.
  • the total number can be calculated, the ratio of this total number to the total number of pixels in one frame can be calculated, and the calculated ratio can be taken as the edge change rate.
  • the edge change rate may be any value as long as it is an index that indicates how much the edge changes between frames, and the above method for calculating the edge change rate is an example and is limited to this. Instead, the server device 1 may calculate the edge change rate using any method.
  • FIG. 8 is a schematic diagram showing an example of calculation results of the edge change rate between frames in a moving image, and is a graph showing changes in the edge change rate over the playback time of the moving image.
  • the horizontal axis of the graph in FIG. 8 is time (playback time of a moving image), and the vertical axis is the edge change rate between frames.
  • the server device 1 calculates the edge change rate by comparing all frames included in the video with the previous frame, and determines whether this edge change rate exceeds a predetermined threshold. In FIG. 8, the horizontal straight line indicates the threshold value.
  • the server device 1 sets a frame at a time when the calculated edge change rate is less than a predetermined threshold (a time when it is less than the threshold) as a candidate frame that becomes a key frame candidate.
  • a vertical straight line indicates a time point of a frame that is determined as a candidate frame by the server device 1.
  • FIG. 8 shows that three candidate frames are detected in the first half of the video, and one candidate frame is detected in the second half of the video. Note that in addition to these four candidate frames, there are other times in FIG. 8 when the edge change rate is less than the threshold, and the server device 1 may detect candidate frames at these times as well.
  • the server device 1 selects similar candidate frames from among the multiple candidate frames detected from all frames included in the moving image. Processing is performed to determine the final key frame by removing candidate frames. Note that although the server device 1 performs the process of determining key frames after the process of detecting candidate frames, the process of determining key frames may be performed before or after the process of detecting scene change position candidates. or in parallel.
  • the server device 1 performs a process of extracting the feature amount of each candidate frame, compares the feature amounts of the two candidate frames to calculate the degree of similarity, and the calculated degree of similarity exceeds a threshold value. In this case, it is determined that these two candidate frames are similar.
  • the server device 1 extracts key points based on the ORB as feature amounts of each candidate frame.
  • ORB is a method that combines key point detection using FAST (Features from Accelerated Segment Test) and feature descriptors using BRIEF (Binary Robust Independent Elementary Features). Since these technologies such as ORB, FAST, and BRIEF are already existing, detailed explanations thereof will be omitted.
  • FIG. 9 is a schematic diagram showing an example of key points extracted from candidate frames.
  • the two images shown in FIG. 9 are obtained by extracting key points from two similar candidate frames (candidate frame 1 and candidate frame 2), and the extracted key points are shown as circular dots on the images. There is.
  • FIG. 10 is a schematic diagram showing an example of key point matching results.
  • the example shown in FIG. 10 shows a key point matching result by connecting corresponding (matching) key points of the two candidate frames shown in FIG. 9 with straight lines.
  • the server device 1 counts the total number of key points extracted from two candidate frames and the number of matches of key points between the two candidate frames, and calculates the ratio of the number of matches to the total number of key points as a degree of similarity. Calculated as The server device 1 can determine whether or not the calculated degree of similarity exceeds a predetermined threshold, and can determine that the two candidate frames are similar if the degree of similarity exceeds the threshold.
  • the server device 1 determines a candidate frame for which no other similar candidate frames exist as a key frame included in the video image. In addition, when a plurality of similar candidate frames are included in the video image, the server device 1 appropriately selects one candidate frame from among these plurality of candidate frames, determines it as a key frame, and selects one candidate frame from among the plurality of candidate frames, and selects one candidate frame from among the plurality of candidate frames and determines it as a key frame. one or more candidate frames are excluded from key frame candidates. At this time, if there are two similar candidate frames, the server device 1 sets the earlier candidate frame in chronological order as a key frame, and excludes the later candidate frame from the key frame candidates.
  • the server device 1 sets the second candidate frame in chronological order as a key frame, and excludes the first and third candidate frames from the key frame candidates.
  • the method of selecting one candidate frame as a key frame from a plurality of similar candidate frames is not limited to the above method; the server device 1 may select one key frame from a plurality of similar candidate frames. You may.
  • the server device 1 After detecting scene change position candidates from the video image and detecting key frames, the server device 1 performs a process of determining a scene change position from among the scene change position candidates. I do. In the present embodiment, the server device 1 determines the final scene change position from the scene change position candidates based on the chronological order relationship between the scene change position candidates and key frames. Determine the scenes included in the scene. In this embodiment, the scene of the moving image is conditioned to include at least one key frame, as shown in the lower part of FIG.
  • FIG. 11 is a schematic diagram for explaining a method of determining a scene change position by the server device 1.
  • the illustrated example shows a state in which the server device 1 has detected three scene change position candidates 1 to 3 and two key frames 1 and 2 by performing the above-described processing on the moving image. There is. In chronological order, scene change position candidate 1, scene change position candidate 2, scene change position candidate 3 are arranged in this order, and key frame 1 and key frame 2 are placed between scene change position candidates 2 and 3. They are lined up in order. No key frame exists between scene change position candidates 1 and 2.
  • Scene candidate 1 is a moving image consisting of multiple frames existing between scene change position candidates 1 and 2, and multiple frames (two key frames 1 , 2) is set as scene candidate 2.
  • a moving image includes one or more scenes, and one scene includes one or more key frames.
  • Scene candidate 1 which has scene change position candidates 1 and 2 shown in FIG. 11 as previous and subsequent scene change positions, does not include a key frame and does not correspond to the scene in this embodiment. If a key frame is not included between two chronologically consecutive scene change position candidates, the server device 1 removes either one of the two scene change position candidates to determine whether the key frame is Connect the scene candidates that are not included to the scene candidates that include the key frame. In the case of the example shown in FIG. 11, the server device 1 connects the scene candidates 1 and 2 that exist before and after the scene change position candidate 2 and combines them into one scene by excluding the scene change position candidate 2, for example. , scene change position candidates 1 and 3 are set as the final scene change positions.
  • the server device 1 excludes the candidate 2 at the scene change position that is later in the chronological order for the scene candidate 1 that does not include a key frame, and sets the scene candidate 1 to the scene candidate 2 that is later in the chronological order.
  • the server device 1 may, for example, exclude the candidate 1 at the previous scene change position in chronological order and connect the scene candidate 1 to the previous scene candidate.
  • the server device 1 may exclude candidates for scene change positions that are earlier in chronological order, or may exclude candidates for scene change positions that are later.
  • Which scene change position candidates the server device 1 excludes may be determined in advance, for example, or may select one of them depending on the length of the preceding and succeeding scene candidates, the number of key frames, etc. You can.
  • the server device 1 may exclude this scene change position candidate.
  • the server device 1 can determine whether two key frames are similar using the degree of similarity calculated when determining a key frame from candidate frames.
  • the server device 1 calculates the similarity based on the key point matching results for two chronologically consecutive key frames, and sets the calculated similarity to a predetermined threshold (however, it is determined whether the candidate frames are similar or not).
  • the two key frames are determined to be similar if the value exceeds the threshold (a value smaller than the threshold value at the time).
  • the server device 1 can exclude scene change position candidates that exist between two similar key frames, and connect the scene candidates before and after this scene change position candidate to form one scene.
  • the server device 1 may exclude the scene between the two scene change positions from the entire moving image.
  • the server device 1 estimates that the moving image during this period does not contain important information, and Scene candidate 1 between change position candidates 1 and 2 may be excluded from the moving image. Further, at this time, the server device 1 may exclude either scene change position candidate 1 or 2 together with scene candidate 1.
  • the server device 1 After determining all the scene change positions and key frames included in the moving image, the server device 1 stores information regarding the determined scene change positions and key frames in association with the moving image in the moving image DB 12b. Further, when the server device 1 receives a request from the terminal device 3 to send a moving image stored in the moving image DB 12b, the server device 1 transmits the requested moving image and information regarding the scene change position and key frame associated with the requested moving image. It is read from the moving image DB 12b and transmitted to the requesting terminal device 3. The terminal device 3 can receive a scene selection from the user, for example, using the information regarding the scene change position and key frame received from the server device 1 along with the video, and can reproduce and display the video from the accepted scene.
  • the processing unit 11 of the server device 1 acquires a moving image of the construction or repair of the air conditioning equipment 101 captured by the camera 103 by communicating with the camera 103 through the communication unit 13, for example.
  • the scene change position candidate detection unit 11a of the processing unit 11 calculates an HSL histogram of each frame included in the video image acquired in step S1 (step S2).
  • the scene change position candidate detection unit 11a calculates the Bhattacharyya distance between the HSL histograms of two consecutive frames in time series based on the HSL histogram of each frame calculated in step S2 (step S3).
  • the scene change position candidate detection unit 11a calculates pHash of each frame included in the video image acquired in step S1 (step S4).
  • the scene change position candidate detection unit 11a calculates the Hamming distance between the pHash of two chronologically consecutive frames based on the pHash of each frame calculated in step S4 (step S5).
  • the scene change position candidate detection unit 11a calculates the degree of difference between two chronologically consecutive frames based on the Bhattacharyya distance calculated in step S3 and the Hamming distance calculated in step S5 (step S6). .
  • the sum or average value of the Bhattacharyya distance and Hamming distance may be used as the degree of dissimilarity.
  • the scene change position candidate detection unit 11a compares the degree of difference calculated in step S6 with a predetermined threshold, and selects two frames (or between these two frames) for which the degree of difference exceeds the threshold as candidates for scene change positions. (Step S7).
  • the candidate frame detection unit 11b of the processing unit 11 extracts edges of each frame included in the video image acquired in step S1 (step S8).
  • the candidate frame detection unit 11b calculates the edge change rate between each frame and the frame immediately before this frame in time series based on the edges extracted in step S8 (step S9).
  • the candidate frame detection unit 11b compares the edge change rate calculated in step S9 with a predetermined threshold, and detects frames whose edge change rate does not exceed the threshold as candidate frames that are key frame candidates ( Step S10).
  • the key frame determining unit 11c of the processing unit 11 extracts ORB key points for each candidate frame detected in step S10 (step S11).
  • the key frame determining unit 11c performs key point matching between candidate frames based on the key points of each candidate frame extracted in step S11 (step S12).
  • the key frame determining unit 11c calculates the degree of similarity between candidate frames based on the key point matching result in step S12 (step S13).
  • the key frame determination unit 11c determines a key frame by selecting one frame from the plurality of candidate frames as a key frame and excluding other candidate frames for the plurality of candidate frames whose degree of similarity exceeds a threshold value. (Step S14).
  • the scene change position determination unit 11d of the processing unit 11 determines two chronologically consecutive scene change position candidates based on the scene change position candidates detected in step S7 and the key frames determined in step S14. A scene candidate that does not include a key frame is searched from among the scene candidates that exist between them (step S15). The scene change position determining unit 11d removes one of the two scene change position candidates before and after defining scene candidates that do not include the key frame searched in step S15 (step S16). . The scene change position determination unit 11d determines the scene change position candidates that were not removed in step S16 as the final scene change positions (step S17).
  • the DB processing unit 11e of the processing unit 11 stores the moving image acquired in step S1, the scene change position determined in step S17, and the key frame information determined in step S14 in association with each other in the moving image DB 12b ( Step S19), the process ends.
  • the moving image DB 12b corresponds to various information such as character strings such as the title or description of the moving image given by the photographer of the moving image, the shooting date and time of the moving image, and the shooting location of the moving image. It is attached and memorized.
  • the video DB 12b stores video images taken of work such as construction or repair of the air conditioning equipment 101, and the video includes images of the air conditioning equipment 101 that is the target of the work such as construction or repair. Character information such as a name or product number is stored in association with each other.
  • the terminal device 3 accepts input of a character string serving as a keyword from the user, transmits the accepted character string to the server device 1, and requests a search for a moving image.
  • the server device 1 searches the video image DB 12b for video images that include the given keyword character string in the title, description, name of the air conditioning equipment 101, product number, etc.
  • Information regarding the moving image is transmitted as a search result to the requesting terminal device 3.
  • the terminal device 3 that has received the search results from the server device 1 displays a list of information such as the title and shooting date and time of the moving images that correspond to the input keyword.
  • the terminal device 3 accepts from the user a selection of a moving image to be played from among the moving images displayed as a list as a search result, and requests the server device 1 to transmit the selected moving image.
  • the server device 1 reads out the selected moving image and information regarding the scene change position and key frame associated with this moving image from the moving image DB 12b, and sends the information to the requesting terminal device.
  • FIG. 14 is a schematic diagram showing an example of a playback screen by the terminal device 3.
  • the illustrated playback screen is provided with a moving image display area for displaying moving images at the upper center of the screen, and four operation buttons are provided horizontally below this area.
  • the four operation buttons are, from the left, a button to return to the beginning of the scene (back button), a button to play the video (play button), and a button to skip to the next scene ( (skip button) and a button (stop button) for stopping the playback of the moving image.
  • the terminal device 3 receives the user's operations on these operation buttons and performs processing such as playing and stopping the moving image.
  • the terminal device 3 performs a scene change of the moving image using the back button and the skip button based on the scene change position received from the server device 1. For example, when the return button is operated, the terminal device 3 starts playback from the closest scene change position before the current playback time of the moving image. Further, for example, when the skip button is operated, the terminal device 3 starts playback from the closest scene change position after the current playback time of the moving image.
  • the terminal device 3 displays a progress bar indicating the playback time below the four operation buttons, and indicates a break indicating the scene change position of the moving image on the progress bar.
  • the illustrated example is a case where the moving image includes three scenes, and the progress bar shows two divisions of thick vertical lines indicating moving image change positions.
  • the terminal device 3 displays reduced images of one or more key frames included in this moving image in an appropriate arrangement below the progress bar.
  • the terminal device 3 indicates the temporal timing at which these key frames appear in the moving image by an arrow connecting the key frame image and the progress bar. This arrow indicates the temporal position at which the corresponding key frame appears in the video playback time indicated by the progress bar.
  • the method of displaying a moving image shown in FIG. 14 is an example and is not limited to this, and the terminal device 3 may display a moving image using any method.
  • the server device 1 performs a process of generating a digest video (summary video) of a video based on the scene change position and key frame of the video determined by the above-described process. conduct.
  • the server device 1 generates a digest video whose playback time is shorter than that of the original video by extracting (cutting out) and concatenating one or more partial video images from the video.
  • the server device 1 extracts a partial video of a predetermined time (for example, several seconds to several tens of seconds) from the scene change position and a partial video of a predetermined time before and after a key frame from the entire video. do.
  • the server device 1 generates a digest video by connecting the plurality of partial video images extracted from the video in chronological order.
  • the server device 1 stores the generated digest video in the video DB 12b in association with the original video.
  • the server device 1 may generate a digest video when acquiring a video from the camera 103, or may generate a digest video in response to a request from the terminal device 3, or may generate a digest video in response to a request from the terminal device 3.
  • a digest video image may be generated based on the timing.
  • the server device 1 when transmitting search results in response to a video search request from the terminal device 3, the server device 1 reads a digest video of the corresponding video as the search result from the video image DB 12b and sends it to the terminal device 3. You can also send it.
  • the terminal device 3 may display a list of digest video images as a result of the video search, along with information such as titles of multiple video images that match the search conditions.
  • the server device 1 stores a learning model generated by machine learning in the storage unit 12. After detecting key frames included in a moving image, the server device 1 inputs each of the detected one or more key frames to a learning model, and obtains a classification result output from the learning model.
  • the type of construction or repair of the air conditioning equipment 101 output by the learning model is, for example, construction of an outdoor unit of an air conditioner or repair of an indoor unit of an air conditioner.
  • the server device 1 classifies each key frame included in a video image into the type of construction or repair using a learning model, obtains classification results for all key frames, and performs classification based on the obtained classification results. Generate a video title and a scene title.
  • the server device 1 accepts input of the key frame and generates a character string for the title of this key frame.
  • a learning model may also be used.
  • Such learning models include, for example, learning models such as CNN that convert images into features, RNN (Recurrent Neural Network), LSTM (Long Short Term Memory), and BERT that generate title strings based on features. (Bidirectional Encoder Representations from Transformers) or GPT-3 (Generative Pre-trained Transformer-3).
  • the server device 1 stores the title of the moving image generated based on the key frame and the title of the scene included in the moving image in association with the moving image in the moving image DB 12b. Note that, for example, when a videographer or the like inputs the title of the video or scene, the server device 1 stores the input title in the video image DB 12b and generates the title using the learning model. You don't have to do it. Further, the terminal device 3 can display the title of the moving image at the top or the like on the playback screen shown in FIG. 14, for example, and can display the title of the scene in association with one or more key frame images.
  • the server device 1 detects a scene change position candidate from a moving image taken by the camera 103, and selects a scene change position candidate from a plurality of frames constituting the moving image. Detect candidate frames that can become frames (main frames), determine key frames from among the candidate frames, and select from among scene change position candidates based on the scene change position candidates and the chronological order of the key frames. Determine the scene change position. As a result, the information processing system according to this embodiment can be expected to accurately detect changes in scenes from moving images.
  • the server device 1 selects one of these two scene change position candidates. By excluding one, the scene change position is determined. Furthermore, in the information processing system according to the present embodiment, if a scene change position candidate exists between two chronologically consecutive and similar key frames, the server device 1 selects this scene change position candidate. By excluding the scene change position, the scene change position may be determined. As a result, the information processing system according to this embodiment can be expected to accurately determine a scene change position from among scene change position candidates detected from a moving image.
  • the server device 1 calculates the statistical value (HSL histogram) of each frame included in a moving image, and calculates the difference (difference) between the statistical values of two consecutive frames in time series. Detect scene change position candidates based on the Further, in the information processing system according to the present embodiment, the server device 1 calculates a hash value (pHash) of each frame included in a moving image, and calculates the hash value (pHash) of each frame included in a moving image based on the difference between the hash values of two chronologically consecutive frames. , detect scene change position candidates. As a result, the information processing system according to this embodiment can be expected to accurately detect candidates for scene change positions from moving images.
  • the server device 1 stores information regarding the determined scene change position and key frame in the video image DB 12b in association with the video image.
  • the terminal device 3 receives a selection of a scene change position or a key frame from a user, and reproduces a moving image based on the received scene change position or key frame.
  • the information processing system according to the present embodiment can be expected to reproduce moving images from scenes and the like required by the user.
  • information regarding the determined scene change position and key frame, the title, description, shooting date and time, shooting location of the moving image, air conditioning equipment to be constructed or repaired (air conditioning related
  • the server device 1 stores the information in the moving image DB 12b in association with character information such as the name or product number of the device) 101. This allows the user to search for a moving image by inputting a keyword or the like based on the text information associated with the moving image.
  • partial video images are extracted from the video image based on the determined scene change position and key frame, and the extracted partial video images are combined to create a digest video image. generate.
  • the information processing according to the present embodiment can provide a summary video to the user, and the user can use the summary video to easily understand the outline of the video even if the video has a long playback time. can be expected.
  • the server device 1 inputs the determined key frames into a learning model that has been subjected to machine learning in advance, and the key frames included in the moving image or the moving image are input based on the information outputted by the learning model. Decide on the title of the scene.
  • the information processing system according to the present embodiment can automatically add a title to a moving image even if the photographer of the moving image does not input a title.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

動画像から場面の変化を精度よく検出することが期待できる画像処理方法、コンピュータプログラム及び画像処理装置を提供する。　本実施の形態に係る画像処理方法は、画像処理装置が、動画像から場面変化位置の候補を検出し、前記動画像を構成するフレームの中から、場面の主要フレームとなり得る候補フレームを検出し、前記候補フレームの中から主要フレームを決定し、場面変化位置の候補及び主要フレームの時系列的な順序に基づいて、場面変化位置の候補の中から場面変化位置を決定する。時系列的に並ぶ２つの場面変化位置の候補の間に主要フレームが存在しない場合、前記２つの場面変化位置を候補からいずれか一方を除外することで、場面変化位置を決定してもよい。

Description

画像処理方法、コンピュータプログラム及び画像処理装置
　本発明は、動画像に対する画像処理を行う画像処理方法、コンピュータプログラム及び画像処理装置に関する。
　動画像における場面（シーン又はショット等）の変化を検出する画像処理の技術が広く用いられている。これらの技術では、例えば動画像を構成する複数のフレームに対し、時系列的に連続するフレーム間での画素値を比較し、この比較結果に基づいて場面の変化の有無が判断される。また近年では、場面変化を検出するよう予め機械学習がなされた学習モデルを用いる方法も開発されている。
　特許文献１においては、ビデオ内からシーン変化を検出し、連続したシーンの変化の数をカウントすることによって速い動きのシーンを検出し、シーンからキーフレームを選択する方法が提案されている。
特表２００３－５１９９４６号公報
　フレーム間の画素値を比較して場面検出を行う方法では、例えば動画像を撮影しているカメラが撮影中に揺れた箇所などを誤って場面の変化と判断する虞がある。また機械学習がなされた学習モデルを用いる方法では、機械学習に用いられた動画像とは異なる状況が撮影された動画像に対して場面変化の検出精度が低下する虞があると共に、導入のために必要なコストの上昇が懸念される。
　本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、動画像から場面の変化を精度よく検出することが期待できる画像処理方法、コンピュータプログラム及び画像処理装置を提供することにある。
　第１の態様に係る画像処理方法は、画像処理装置が、動画像から場面変化位置の候補を検出し、前記動画像を構成するフレームの中から、場面の主要フレームとなり得る候補フレームを検出し、前記候補フレームの中から主要フレームを決定し、場面変化位置の候補及び主要フレームの時系列的な順序に基づいて、場面変化位置の候補の中から場面変化位置を決定する。
　第２の態様に係る画像処理方法は、第１の態様に係る画像処理方法であって、時系列的に並ぶ２つの場面変化位置の候補の間に主要フレームが存在しない場合、前記２つの場面変化位置を候補からいずれか一方を除外することで、場面変化位置を決定する。
　第３の態様に係る画像処理方法は、第１の態様又は第２の態様に係る画像処理方法であって、時系列的に並び且つ類似する２つの主要フレームの間に場面変化位置の候補が存在する場合、当該場面変化位置を候補から除外することで、場面変化位置を決定する。
　第４の態様に係る画像処理方法は、第１の態様から第３の態様までのいずれか１つに係る画像処理方法であって、各フレームの統計値を算出し、２つのフレームの統計値の差異に基づいて、場面変化位置の候補を検出する。
　第５の態様に係る画像処理方法は、第１の態様から第４の態様までのいずれか１つに係る画像処理方法であって、各フレームのハッシュ値を算出し、２つのフレームのハッシュ値の差異に基づいて、場面変化位置の候補を検出する。
　第６の態様に係る画像処理方法は、第１の態様から第５の態様までのいずれか１つに係る画像処理方法であって、各フレームからエッジを抽出し、２つのフレームの間のエッジの変化に基づいて、候補フレームを検出する。
　第７の態様に係る画像処理方法は、第１の態様から第６の態様までのいずれか１つに係る画像処理方法であって、候補フレームから特徴点を抽出し、複数の候補フレームの間での特徴点の比較結果に基づいて、候補フレームを除外することで、候補フレームの中から主要フレームを決定する。
　第８の態様に係る画像処理方法は、第１の態様から第７の態様までのいずれか１つに係る画像処理方法であって、決定した場面変化位置及び主要フレームに関する情報を前記動画像に対応付けて記憶し、場面変化位置又は主要フレームの選択を受け付け、選択された場面変化位置又は主要フレームに基づく前記動画像の再生を行う。
　第９の態様に係る画像処理方法は、第８の態様に係る画像処理方法であって、決定した場面変化位置及び主要フレームに関する情報と、前記動画像に関する文字情報とを対応付けて記憶する。
　第１０の態様に係る画像処理方法は、第９の態様に係る画像処理方法であって、空調関連機器の施工又は修理の作業を撮影した動画像を取得し、取得した動画像について場面変化位置及び主要フレームを決定し、決定した場面変化位置及び主要フレームに関する情報と、空調関連機器に関する文字情報とを対応付けて記憶する。
　第１１の態様に係る画像処理方法は、第１の態様から第１０の態様までのいずれか１つに係る画像処理方法であって、決定した場面変化位置及び主要フレームに基づいて前記動画像から部分動画像を抽出し、抽出した部分動画像を結合して要約動画像を生成する。
　第１２の態様に係る画像処理方法は、第１の態様から第１１の態様までのいずれか１つに係る画像処理方法であって、決定した主要フレームを、空調関連機器の施工又は修理の作業を撮影した動画像の主要フレームの入力に対して施工又は修理の種別を分類する学習モデルへ入力し、当該学習モデルが出力する分類結果を取得し、取得した分類結果に基づいて、前記動画像又は前記動画像に含まれる場面の表題を決定する。
　第１３の態様に係るコンピュータプログラムは、コンピュータに、動画像から場面変化位置の候補を検出し、前記動画像を構成するフレームの中から、場面の主要フレームとなり得る候補フレームを検出し、前記候補フレームの中から主要フレームを決定し、場面変化位置の候補及び主要フレームの時系列的な順序に基づいて、場面変化位置の候補の中から場面変化位置を決定する処理を実行させる。
　第１４の態様に係る画像処理装置は、動画像から場面変化位置の候補を検出する場面変化位置候補検出部と、前記動画像を構成するフレームの中から、場面の主要フレームとなり得る候補フレームを検出する候補フレーム検出部と、前記候補フレームの中から主要フレームを決定する主要フレーム決定部と、場面変化位置の候補及び主要フレームの時系列的な順序に基づいて、場面変化位置の候補の中から場面変化位置を決定する場面変化位置決定部とを備える。
　一実施形態による場合は、動画像から場面の変化を精度よく検出することが期待できる。
本実施の形態に係る情報処理システムの概要を説明するための模式図である。 本実施の形態に係るサーバ装置の構成を示すブロック図である。 本実施の形態に係る端末装置の構成を示すブロック図である。 本実施の形態に係る情報処理システムが行う場面変化位置及びキーフレームの検出処理を説明するための模式図である。 ＨＳＬヒストグラムの一例を示す模式図である。 動画像におけるフレーム間の相違度の算出結果の一例を示す模式図である。 エッジ抽出の一例を示す模式図である。 動画像におけるフレーム間のエッジ変化率の算出結果の一例を示す模式図である。 候補フレームから抽出したキーポイントの一例を示す模式図である。 キーポイントのマッチング結果の一例を示す模式図である。 サーバ装置による場面変化位置の決定方法を説明するための模式図である。 本実施の形態においてサーバ装置が行う処理の手順を示すフローチャートである。 本実施の形態においてサーバ装置が行う処理の手順を示すフローチャートである。 端末装置による再生画面の一例を示す模式図である。 本実施の形態に係るサーバ装置が用いる学習モデルを説明するための模式図である。
　本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
＜システム構成＞
　図１は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムでは、空調設備１０１の施行又は修理等の作業を行う作業者１０２は、自身の頭部に装着したヘッドセット等に備えられたカメラ１０３にて作業の様子を撮影する。なお本実施の形態においては、作業者１０２が装着したヘッドセット等のウェアラブルデバイスに搭載されたカメラ１０３を用いて撮影が行われるものとするが、これに限るものではなく、空調設備１０１及び作業者１０２の周辺にカメラ１０３を設置して作業を撮影してもよい。また、図１に示した空調設備１０１はエアコン（エアーコンディショナー）の室内機であるが、これに限るものではなく、空調設備１０１は例えばエアコンの室外機、換気装置、サーキュレータ、空気清浄機、暖房器具又は除湿乾燥機等の種々の空調関連機器であってよい。またカメラ１０３により、空調関連機器以外の様々な機器の施工又は修理等の作業を撮影してよく、これらの機器について施工又は修理等以外の様々な作業を撮影してよい。
　カメラ１０３により撮影された動画像は、サーバ装置１へ与えられる。サーバ装置１は、一又は複数の作業者により撮影された動画像を取得して、取得した動画像をデータベースに蓄積する。カメラ１０３からサーバ装置１への動画像の提供方法は、例えばカメラ１０３に通信機能が備えられている場合には、有線又は無線の通信によりカメラ１０３からサーバ装置１へ直接的に動画像を送信する方法が採用され得る。また、カメラ１０３が通信機能を備えていない場合、例えばカメラ１０３がメモリカード又は光ディスク等の記録媒体に動画像を記録し、記録媒体を介してカメラ１０３からサーバ装置１へ動画像を提供することができる。また例えばカメラ１０３及びサーバ装置１の間にＰＣ（パーソナルコンピュータ）又はスマートフォン等の端末装置を介在させて、端末装置がカメラ１０３から動画像を取得してサーバ装置１へ送信してもよい。カメラ１０３からサーバ装置１への動画像の提供方法は、どのような方法が採用されてもよい。
　サーバ装置１は、ＬＡＮ（Local Area Network）又はインターネット等のネットワークを介して一又は複数の端末装置３との通信を行うことができる。端末装置３は、例えばＰＣ又はスマートフォン等の汎用的な情報処理装置であり、本実施の形態においては例えば空調設備１０１の施工又は修理等の作業を学ぶ非熟練のユーザが、熟練の作業者が行う作業を撮影した動画像を視聴するために用いられる。サーバ装置１は、端末装置３からの要求に基づいて、データベースに記憶した複数の動画像の中から所望の動画像を取得して端末装置３へ送信する。端末装置３は、サーバ装置１から受信した動画像を表示（再生）する。
　本実施の形態に係るサーバ装置１は、カメラ１０３から取得した動画像から場面（シーン又はショット等）の検出及びキーフレーム（主要フレーム）の検出を行い、これらの検出結果に関する情報を動画像と共にデータベースに記憶する。カメラ１０３の撮影により得られる動画像は、１秒間に数十枚程度のフレーム（静止画像）を連ねて構成されており、キーフレームはこれら複数のフレームの中で場面に関する重要な情報を保持するフレームである。サーバ装置１は、動画像と共に場面及びキーフレームに関する情報を端末装置３へ送信する。端末装置３は、動画像と共に場面及びキーフレームに関する情報をサーバ装置１から受信し、例えば動画像を再生する際にユーザから場面又はキーフレームの選択を受け付けて、選択された場面又はキーフレームから動画像の再生を開始することができる。
　本実施の形態に係るサーバ装置１は、カメラ１０３が撮影した動画像から、まず場面変化位置の候補を検出する処理を行う。またサーバ装置１は、カメラ１０３が撮影した動画像から、キーフレームとなり得る候補フレームを検出する処理を行う。次いでサーバ装置１は、動画像から検出された複数の候補フレームの中から、例えば類似する候補フレームを除外することにより、キーフレームを決定する処理を行う。次いでサーバ装置１は、動画像から検出された複数の場面変化位置の候補の中から、例えば連続する２つの場面変化位置の候補の間にキーフレームが存在するか否かに基づいて、この動画像における場面変化位置を決定する処理を行う。これらの手順で動画像から場面変化位置及びキーフレームを検出することによって、サーバ装置１は、動画像に適した場面変化位置及びキーフレームを精度よく検出することが期待できる。
＜装置構成＞
　図２は、本実施の形態に係るサーバ装置１の構成を示すブロック図である。本実施の形態に係るサーバ装置１は、処理部１１、記憶部（ストレージ）１２及び通信部（トランシーバ）１３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。
　処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又は量子プロセッサ等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶されたサーバプログラム１２ａを読み出して実行することにより、カメラ１０３が撮影した動画像から場面変化位置及びキーフレームを検出する処理、及び、データベースに記憶した動画像を端末装置３へ提供する処理等の種々の処理を行う。
　記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するサーバプログラム１２ａを記憶する。また記憶部１２には、カメラ１０３が撮影した動画像を蓄積する動画像ＤＢ（データベース）１２ｂが設けられている。
　本実施の形態においてサーバプログラム（プログラム製品）１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置１は記録媒体９９からサーバプログラム１２ａを読み出して記憶部１２に記憶する。ただし、サーバプログラム１２ａは、例えばサーバ装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばサーバプログラム１２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置１が通信にて取得してもよい。例えばサーバプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置１の記憶部１２に書き込んでもよい。サーバプログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。
　動画像ＤＢ１２ｂは、カメラ１０３が撮影した動画像を記憶して蓄積するデータベースである。また動画像ＤＢ１２ｂは、これらの動画像に対応付けて、動画像から検出された場面変化位置及びキーフレームに関する情報を記憶する。
　通信部１３は、携帯電話通信網、無線ＬＡＮ（Local Area Network）及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部１３は、ネットワークＮを介して、一又は複数の端末装置３及びカメラ１０３との間で通信を行う。通信部１３は、処理部１１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部１１へ与える。
　なお記憶部１２は、サーバ装置１に接続された外部記憶装置であってよい。またサーバ装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置１は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
　また本実施の形態に係るサーバ装置１には、記憶部１２に記憶されたサーバプログラム１２ａを処理部１１が読み出して実行することにより、場面変化位置候補検出部１１ａ、候補フレーム検出部１１ｂ、キーフレーム決定部１１ｃ、場面変化位置決定部１１ｄ及びＤＢ処理部１１ｅ等が、ソフトウェア的な機能部として処理部１１に実現される。なお本図においては、処理部１１の機能部として、動画像に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。
　場面変化位置候補検出部１１ａは、カメラ１０３が撮影した動画像から場面（シーン又はショット等）が変化する位置の候補を検出する処理を行う。場面変化位置候補検出部１１ａは、動画像を構成する各フレームについて、時系列的に連続する２つのフレームの比較を行い、２つのフレームの差異を示す値を算出する。場面変化位置候補検出部１１ａは、算出したこの値が所定の閾値を超えた場合に、動画像における場面の変化が生じたと判定し、この２つのフレームのうち先のフレームを場面の最後とし、後のフレームを次の場面の最初とする。場面変化位置候補検出部１１ａは、場面の最初（又は最後）のフレームの位置を、動画像の場面変化位置の候補とし、この位置を示す情報（動画像の最初からこの位置までの時間又はフレーム数等）を記憶する。
　また本実施の形態において場面変化位置候補検出部１１ａは、２つのフレームの差異を示す値として、２種類の値を算出する。２つのフレームの差異を示す１つ目の値は、「バタチャリヤ距離（Bhattacharyya Distance）」である。バタチャリヤ距離は、２つの確率分布の距離を求めるための尺度の１つである。場面変化位置候補検出部１１ａは、フレームに含まれる複数の画素値についてＨＳＬ（色相、彩度、輝度）のヒストグラムを、比較する２つのフレームについてそれぞれ作成する。場面変化位置候補検出部１１ａは、２つのフレームについて作成した２つのＨＳＬヒストグラムから、この２つのヒストグラムの差異を示すバタチャリヤ距離を算出する。場面変化位置候補検出部１１ａは、算出したバタチャリヤ距離が予め定められた閾値を超える場合に、この２つのフレームの位置を場面変化位置の候補とすることができる。
　２つのフレームの差異を示す２つ目の値は、「ｐＨａｓｈ（Perseptual Hash）の距離」である。入力情報に対して所定の演算処理を行うことで所定長（例えば６４ビット、２５６ビット等）の値を算出したものがハッシュ値であり、ｐＨａｓｈは入力画像の特徴を有するハッシュ値である。場面変化位置候補検出部１１ａは、２つのフレームからそれぞれｐＨａｓｈを算出し、算出した２つのｐＨａｓｈの距離（例えばハミング距離）を算出する。場面変化位置候補検出部１１ａは、算出したｐＨａｓｈの距離が予め定められた閾値を超える場合に、この２つのフレームの位置を場面変化位置の候補とすることができる。
　場面変化位置候補検出部１１ａは、バタチャリヤ距離に基づく場面変化位置の候補の検出と、ｐＨａｓｈの距離に基づく場面変化位置の候補の検出とを行い、少なくとも一方の方法で場面変化位置の候補として検出された場面変化位置の候補を、最終的な場面変化位置の候補とすることができる。なお場面変化位置候補検出部１１ａは、両方の方法で場面変化位置の候補として検出された場面変化位置の候補を、最終的な場面変化位置の候補としてもよい。また場面変化位置候補検出部１１ａは、バタチャリヤ距離に基づく場面変化位置の候補の検出と、ｐＨａｓｈの距離に基づく場面変化位置の候補の検出とのいずれか一方のみを行ってもよく、この２つ以外の方法で場面変化位置の候補を検出してもよい。また場面変化位置候補検出部１１ａは、算出したバタチャリヤ距離及びｐＨａｓｈの距離の平均値又は合計値等を相違度として算出し、算出した相違度が閾値を超える場合に、２つのフレームの位置を場面変化位置の候補としてもよい。
　候補フレーム検出部１１ｂは、カメラ１０３が撮影した動画像からキーフレームとなり得る候補フレームを検出する処理を行う。候補フレーム検出部１１ｂは、動画像を構成する各フレームについてエッジを抽出する処理を行って、時系列的に連続する２つのフレームのエッジの比較を行い、２つのフレームのエッジの変化率を算出する。候補フレーム検出部１１ｂは、算出したエッジ変化率が所定の閾値より小さい（即ちエッジの変化が小さい）場合、この２つのフレームのうち時系列的に先のフレーム（後のフレームでもよい）をキーフレームとなり得る候補フレームとする。
　キーフレーム決定部１１ｃは、候補フレーム検出部１１ｂが検出した候補フレームの候補の中から、動画像のキーフレームを決定する処理を行う。キーフレーム決定部１１ｃは、動画像から検出された複数の候補フレームについて特徴量を抽出し、特徴を比較することで複数の候補フレームの中から類似する候補フレームを探索する。キーフレーム決定部１１ｃは、類似する複数の候補フレームの中から、いずれか１つの候補フレームを最終的なキーフレームとして残し、これ以外の候補フレームを除外する。キーフレーム決定部１１ｃは、例えば類似する２つの候補フレームが存在する場合、時系列的に先の候補フレームを残し、後の候補フレームを除外することができる。キーフレーム決定部１１ｃは、例えば類似する３つの候補フレームが存在する場合、時系列的に真ん中の候補フレームを残し、前後の候補フレームを除外することができる。
　また本実施の形態においてキーフレーム決定部１１ｃは、各候補フレームからの特徴量の抽出として、ＯＲＢ（Oriented FAST and Rotated BRIEF）によるキーポイントの抽出を行う。キーフレーム決定部１１ｃは、例えば２つの候補フレームからそれぞれ抽出したキーポイントのマッチングを行い、２つの候補フレームの間で一致するキーポイントの数又は割合等の値を算出し、この値が閾値を超えるか否かに基づいて２つの候補フレームが類似するか否かを判定することができる。なおキーフレーム決定部１１ｃは、ＯＲＢのキーフレーム以外の特徴量を抽出して候補フレームが類似するか否かを判定してよい。
　場面変化位置決定部１１ｄは、キーフレーム決定部１１ｃが決定したキーフレームに基づいて、場面変化位置候補検出部１１ａが検出した場面変化位置の候補の中から、最終的な場面変化位置を決定する処理を行う。場面変化位置決定部１１ｄは、場面変化位置の候補とキーフレームとの時系列的な順序関係を調べ、時系列的に前後する２つの場面変化位置の候補の間に、キーフレームが存在するか否かを判定する。本実施の形態においては、場面変化位置により定まる場面（即ち、先の場面変化位置から後の場面変化位置までの時間の動画像に写された場面）には少なくとも１つのキーフレームが含まれていることを条件とする。場面変化位置決定部１１ｄは、前後する２つの場面変化位置の候補の間にキーフレームが存在しない場合、少なくとも一方の場面変化位置の候補が適切ではないと判断し、これを除外する。場面変化位置決定部１１ｄは、動画像から検出されたすべての場面変化位置の候補について上記の処理を繰り返し行って不適切な候補を除外し、最終的に残った場面変化位置の候補を最終的な場面変化位置と決定する。
　又は、場面変化位置決定部１１ｄは、場面変化位置候補検出部１１ａが検出した場面変化位置の候補について、最終的な場面変化位置と決定してもよい。この場合、場面変化位置決定部１１ｄは、２つの場面変化位置の間にキーフレームが存在しない場合、この２つの場面変化位置の間の動画像（即ち場面）を、動画像全体から除外する。なお場面の除外は、例えば動画像のデータからこの場面のデータを取り除いて再生時間が短縮された動画像のデータを生成することにより行われてもよく、また例えば動画像のデータ自体は変化させずに、この動画像に関して保持される場面の構成情報から該当する場面に関する情報を取り除くことにより行われてもよい。
　ＤＢ処理部１１ｅは、カメラ１０３が撮影した動画像と、この動画像について場面変化位置決定部１１ｄが決定した場面変化位置及びキーフレーム決定部１１ｃが決定したキーフレームに関する情報とを対応付けて記憶部１２の動画像ＤＢ１２ｂに記憶する。またＤＢ処理部１１ｅは、端末装置３から動画像の再生要求を受け付け、再生を要求された動画像のデータを動画像ＤＢ１２ｂから読み出し、読み出した動画像と、この動画像に対応付けられた場面変化位置及びキーフレームに関する情報とを要求元の端末装置３へ送信する。
　図３は、本実施の形態に係る端末装置３の構成を示すブロック図である。本実施の形態に係る端末装置３は、処理部３１、記憶部（ストレージ）３２、通信部（トランシーバ）３３、表示部（ディスプレイ）３４及び操作部３５等を備えて構成されている。端末装置３は、例えば空調設備１０１の施工又は修理等の技術を学ぶ非熟練者のユーザなどが使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の情報処理装置を用いて構成され得る。
　処理部３１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部３１は、記憶部３２に記憶されたプログラム３２ａを読み出して実行することにより、サーバ装置１の動画像ＤＢ１２ｂに蓄積された動画像の検索処理、及び、これらの動画像の表示（再生）処理等の処理を行う。
　記憶部３２は、例えばフラッシュメモリ等の不揮発性のメモリ素子又はハードディスク等の記憶装置等を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するプログラム３２ａを記憶している。本実施の形態においてプログラム３２ａは遠隔のサーバ装置等により配信され、これを端末装置３が通信にて取得し、記憶部３２に記憶する。ただしプログラム３２ａは、例えば端末装置３の製造段階において記憶部３２に書き込まれてもよい。例えばプログラム３２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム３２ａを端末装置３が読み出して記憶部３２に記憶してもよい。例えばプログラム３２ａは、記録媒体９８に記録されたものを書込装置が読み出して端末装置３の記憶部３２に書き込んでもよい。プログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。
　通信部３３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、サーバ装置１との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。
　表示部３４は、液晶ディスプレイ等を用いて構成されており、処理部３１の処理に基づいて種々の画像及び文字等を表示する。操作部３５は、ユーザの操作を受け付け、受け付けた操作を処理部３１へ通知する。例えば操作部３５は、機械式のボタン又は表示部３４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部３５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置３に対して取り外すことが可能な構成であってもよい。
　また本実施の形態に係る端末装置３は、記憶部３２に記憶されたプログラム３２ａを処理部３１が読み出して実行することにより、検索処理部３１ａ及び表示処理部３１ｂ等がソフトウェア的な機能部として処理部３１に実現される。なおプログラム３２ａは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。
　検索処理部３１ａは、サーバ装置１の動画像ＤＢ１２ｂに記憶された多数の動画像に対する検索処理を行う。検索処理部３１ａは、ユーザから様々な検索条件の入力を受け付け、受け付けた検索条件をサーバ装置１へ送信する。端末装置３から検索条件を受信したサーバ装置１は、検索条件に該当する動画像を動画像ＤＢ１２ｂから抽出し、抽出した動画像の一覧情報などを検索結果として端末装置３へ送信する。端末装置３はサーバ装置１から検索結果を受信して表示し、検索処理部３１ａは、検索結果に基づいて再生する動画像の選択をユーザから受け付け、選択された動画像の送信をサーバ装置１に要求する。
　表示処理部３１ｂは、検索条件の入力を受け付ける画面の表示、サーバ装置１から検索結果として送信される情報の表示、及び、動画像の再生（表示）等の表示処理を行う。検索処理部３１ａによる動画像の送信要求に応じて、サーバ装置１は要求された動画像を動画像ＤＢ１２ｂから読み出し、この動画像に関連する種々の情報（例えば場面変化位置及びキーフレームの情報）と共に、動画像を要求元の端末装置３へ送信する。サーバ装置１から動画像を受信した端末装置３の表示処理部３１ｂは、受信した動画像を再生して表示部３４に表示する。また表示処理部３１ｂは、動画像と共に送信される情報を受信し、受信した情報に含まれる場面変化位置及びキーフレームの情報に基づいて、例えば動画像の再生位置をユーザが指定した場面変化位置又はキーフレームまでスキップするなどの処理を行ってよい。
＜場面変化位置及びキーフレームの検出処理＞
　図４は、本実施の形態に係る情報処理システムが行う場面変化位置及びキーフレームの検出処理を説明するための模式図である。本実施の形態に係る情報処理システムが扱う動画像は、図４の上段に示すように、例えば１秒間に数十枚程度のフレーム（静止画像）を連ねたものである。また動画像は、複数の場面に分割され得る。本実施の形態において場面は、例えば映像制作においてシーン又はショット等と呼ばれ得るものであり、動画像に写された人又は物等の動作が一区切りする単位である。また本実施の形態において１つの場面は、図４の下段に示すように、少なくとも１つのキーフレームを含む複数のフレームを連ねたものであり、最初のフレーム及び最後のフレームが場面変化位置として扱われる。
　本実施の形態に係る情報処理システムのサーバ装置１は、空調設備１０１の施工又は修理等の作業をカメラ１０３で撮影した動画像を通信又は記録媒体等を介して取得し、取得した動画像を動画像ＤＢ１２ｂに記憶する。このときにサーバ装置１は、取得した動画像の場面変化位置及びキーフレームの検出処理を行い、検出した場面変化位置及びキーフレームに関する情報を動画像に対応付けて動画像ＤＢ１２ｂに記憶する。
（１）場面変化位置の候補の検出
　カメラ１０３から取得した動画像に対して、サーバ装置１は、まず動画像に含まれる場面変化位置の候補を検出する処理を行う。本実施の形態に係るサーバ装置１は、動画像を構成する複数のフレームについて、時系列的に連続する２つのフレームの差異を示す値を算出し、算出した値が所定の閾値を超えるか否かを判定する。サーバ装置１は、フレームの差異を示す値が閾値を超える場合に、連続する２つのフレームの位置を場面変化位置の候補とする。本実施の形態においてサーバ装置１は、フレームの差異を示す値として、ＨＳＬヒストグラムのバタチャリヤ距離と、ハッシュ値の距離との２つの値を算出する。
　図５は、ＨＳＬヒストグラムの一例を示す模式図であり、サンプルとなる１つのフレームについてＨ（色相）、Ｓ（彩度）及びＬ（輝度）の値に対する画素数の分布を示したグラフである。図５のグラフは、横軸をＨＳＬの値とし、縦軸を画素数としている。図５のグラフには、Ｈの分布を実線で示し、Ｓの分布を破線で示し、Ｌの分布を一点鎖線で示している。サーバ装置１は、動画像を構成する各フレームについてＨＳＬヒストグラムを算出する。サーバ装置１は、例えばＲＧＢの値で与えられるフレームの画素値をＨＳＬの値に変換し、ＨＳＬの値毎にフレームに含まれる画素数をカウントすることでＨＳＬヒストグラムを算出することができる。
　サーバ装置１は、動画像に含まれる全てのフレームについてＨＳＬヒストグラムの算出を行い、各フレームについて時系列的に連続する１つ前のフレームとの間でＨＳＬヒストグラムの差異を示す値を算出する。本実施の形態においてサーバ装置１は、ＨＳＬヒストグラムの差異を示す値としてバタチャリヤ距離を算出する。なおバタチャリヤ距離の算出方法は、既存の技術であるため、詳細な説明は省略する。また本実施の形態においてサーバ装置１は、各フレームのＨＳＬヒストグラムを算出し、フレーム間のバタチャリヤ距離を算出しているが、これに限るものではなく、サーバ装置１はＨＳＬヒストグラム以外の統計値を算出してもよく、バタチャリヤ距離以外の値をフレーム間の差異を示す値として算出してよい。
　またサーバ装置１は、動画像に含まれる全てのフレームについてハッシュ値、例えばｐＨａｓｈを算出する。ｐＨａｓｈは、画像を離散コサイン変換等により周波数変換し、低周波成分を抽出してハッシュ値を算出したものである。更にサーバ装置１は、各フレームについて時系列的に連続する１つ前のフレームとの間でｐＨａｓｈのハミング距離を、フレームの差異を示す値として算出する。ｐＨａｓｈには、２つの画像が類似するほど、この２つの画像のｐＨａｓｈのハミング距離が小さくなるという特性がある。なおｐＨａｓｈ及びハミング距離の算出方法は、既存の技術であるため、詳細な説明は省略する。また本実施の形態においてサーバ装置１は、各フレームのｐＨａｓｈを算出し、フレーム間のｐＨａｓｈのハミング距離を算出しているが、これに限るものではなく、サーバ装置１はｐＨａｓｈ以外のハッシュ値（例えばａＨａｓｈ（Average Hash）など）を算出してもよく、ハミング距離以外の値をフレーム間の差異を示す値として算出してよい。
　このように本実施の形態に係るサーバ装置１は、各フレームについて時系列的に連続する１つ前のフレームとの間で、ＨＳＬヒストグラムのバタチャリヤ距離と、ｐＨａｓｈのハミング距離との２つの値を、２つのフレームの差異を示す値として算出する。本実施の形態においては、サーバ装置１が算出したバタチャリヤ距離及びハミング距離の２つの値の平均値（重み付き平均値）を算出し、算出した平均値をフレーム間の相違度とする。
　図６は、動画像におけるフレーム間の相違度の算出結果の一例を示す模式図であり、動画像の再生時間における相違度の変化を示したグラフである。図６のグラフの横軸は時間（動画像の再生時間）であり、縦軸はフレーム間の相違度である。サーバ装置１は、動画像に含まれる全てのフレームについて１つ前のフレームとの相違度を算出し、この相違度が所定の閾値を超えるか否かを判定する。図６において実線で示す波形が相違度の変化であり、破線の水平線が閾値を示している。
　サーバ装置１は、算出した相違度が所定の閾値を超える時点を、場面変化位置の候補とする。図６において一点鎖線の垂直線がサーバ装置１により動画変化位置の候補とされた時点である。なお図６において場面変化位置の候補とされた時点は３つであり、この時点以外にも相違度が閾値を超える時点が存在している。これは、本実施の形態においてサーバ装置１が、場面変化位置の候補の時点を検出した後、所定時間は場面変化位置の候補を検出しないよう制限しているためである。このような制限を設けることで、類似した場面変化位置の候補が大量に検出されることを抑制することが期待できる。
（２）候補フレームの検出
　サーバ装置１は、カメラ１０３が撮影した動画像に含まれる全てのフレームから、キーフレームの候補となる候補フレームを検出する処理を行う。なお候補フレームの検出処理は、上記の場面変化位置の検出処理より先に行われてもよく、後に行われてもよく、同時に行われてもよい。本実施の形態に係るサーバ装置１は、動画像を構成する複数のフレームについて、エッジを抽出する画像処理を行う。
　図７は、エッジ抽出の一例を示す模式図である。図７の左側には、動画像に含まれる１つのフレームに相当する画像（フレーム画像）の一例が示されている。図７の右側には、このフレームの画像から抽出したエッジについて、エッジに相当する画素を白色とし、エッジ以外の画素を黒色とした２値の画像（エッジ画像）が示されている。サーバ装置１は、動画像に含まれる各フレームに対して例えばキャニー法によるエッジ検出処理（Canny Edge Detection）を行うことで、各フレームの画像からエッジを抽出することができる。画像からエッジを抽出する画像処理は、既存の技術であるため、詳細な説明を省略する。なおサーバ装置１によるフレーム画像からのエッジの抽出は、どのような画像処理により行われてもよい。
　動画像に含まれる各フレームのエッジを抽出したサーバ装置１は、時系列的に連続する２つのフレームについて、この２つのフレームのエッジを比較してエッジ変化率を算出する。サーバ装置１は、２つのフレーム画像から抽出された２つのエッジ画像を比較し、例えばエッジの画素が非エッジの画素に変化した数、及び、非エッジの画素がエッジの画素に変化した数の合計数を算出し、１つのフレームの全画素数に対するこの合計数の割合を算出し、算出した割合をエッジ変化率とすることができる。なお、エッジの変化率はフレーム間でエッジがどの程度変化するかを示す指標であればどのような値であってもよく、上記のエッジ変化率の算出方法は一例であってこれに限るものではなく、サーバ装置１は、どのような方法でエッジ変化率を算出してもよい。
　図８は、動画像におけるフレーム間のエッジ変化率の算出結果の一例を示す模式図であり、動画像の再生時間におけるエッジ変化率の変化を示したグラフである。図８のグラフの横軸は時間（動画像の再生時間）であり、縦軸はフレーム間のエッジ変化率である。サーバ装置１は、動画像に含まれる全てのフレームについて１つ前のフレームとの比較を行ってエッジ変化率を算出し、このエッジ変化率が所定の閾値を超えるか否かを判定する。図８において水平方向の直線が閾値を示している。
　サーバ装置１は、算出したエッジ変化率が所定の閾値を下回る時点（閾値未満の時点）のフレームを、キーフレームの候補となる候補フレームとする。図８において垂直方向の直線が、サーバ装置１により候補フレームとされたフレームの時点を示している。図８においては、動画の前半に３つの候補フレームが検出され、動画の後半に１つの候補フレームが検出されていることが示されている。なお図８にはこれら４つの候補フレームの他にも、エッジ変化率が閾値を下回る時点が存在しており、サーバ装置１はこれらの時点についても候補フレームを検出してよい。
（３）キーフレームの決定
　サーバ装置１は、動画像に含まれる全フレームから検出した候補フレームについて、例えば所定時間内に複数の候補フレームが存在する場合、これら複数の候補フレームの中から類似する候補フレームを除去することによって、最終的なキーフレームを決定する処理を行う。なおサーバ装置１は、キーフレームを決定する処理を候補フレームを検出する処理の後に行うが、キーフレームを決定する処理を場面変化位置の候補を検出する処理の前に行ってもよく、後に行ってもよく、並列的に行ってもよい。
　本実施の形態に係るサーバ装置１は、例えば各候補フレームの特徴量を抽出する処理を行い、２つの候補フレームについて特徴量を比較して類似度を算出し、算出した類似度が閾値を超える場合に、この２つの候補フレームが類似していると判定する。本実施の形態においてサーバ装置１は、各候補フレームの特徴量として、ＯＲＢによるキーポイントを抽出する。ＯＲＢは、ＦＡＳＴ（Features from Accelerated Segment Test）によるキーポイントの検出と、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）による特徴量記述子とを組み合わせる手法である。これらのＯＲＢ、ＦＡＳＴ及びＢＲＩＥＦ等の技術は既存のものであるため、詳細な説明は省略する。なおサーバ装置１によるキーポイントの抽出は、例えばＳＩＦＴ（Scale Invariant Feature Transform）又はＳＵＲＦ（Speeded-Up Robust Features）等のＯＲＢ以外の方法で行われてもよい。またサーバ装置１は、キーポイント以外の特徴量をフレームから抽出してもよい。図９は、候補フレームから抽出したキーポイントの一例を示す模式図である。図９に示す２つの画像は、類似する２つの候補フレーム（候補フレーム１及び候補フレーム２）についてキーポイントを抽出したものであり、抽出されたキーポイントが画像上に円形の点で示されている。
　次いでサーバ装置１は、２つの候補フレームから抽出されたキーポイントを比較して、一致するキーポイントを探索する処理、いわゆるキーポイントのマッチング処理を行う。ＯＲＢ等の方法で抽出されたキーポイントのマッチング処理は、既存の技術であるため、本実施の形態においては詳細な説明は省略する。図１０は、キーポイントのマッチング結果の一例を示す模式図である。図１０に示す例は、図９に示した２つの候補フレームのキーポイントについて、対応する（マッチする）キーポイント同士を直線で結ぶことで、キーポイントのマッチング結果を示している。
　サーバ装置１は、例えば２つの候補フレームから抽出されたキーポイントの総数と、２つの候補フレームの間でのキーポイントのマッチ数とをカウントし、キーポイントの総数に対するマッチ数の割合を類似度として算出する。サーバ装置１は、算出した類似度が所定の閾値を超えるか否かを判定し、類似度が閾値を超える場合にこの２つの候補フレームが類似していると判断することができる。
　サーバ装置１は、類似する他の候補フレームが存在しない候補フレームを、動画像に含まれるキーフレームと決定する。またサーバ装置１は、動画像中に類似する複数の候補フレームが含まれている場合、これら複数の候補フレームの中から適宜に１つの候補フレームを選択してキーフレームと決定し、選択しなかった一又は複数の候補フレームをキーフレームの候補から除外する。このときにサーバ装置１は、類似する候補フレームを２つ存在する場合、例えば時系列的に先の候補フレームをキーフレームとし、後の候補フレームをキーフレームの候補から除外する。またサーバ装置１は、類似する候補フレームが３つ存在する場合、例えば時系列的に２番目の候補フレームをキーフレームとし、１番目及び３番目の候補フレームをキーフレームの候補から除外する。なお類似する複数の候補フレームから１つの候補フレームをキーフレームとして選択する方法は、上記の方法に限らず、サーバ装置１はどのような方法で類似する複数の候補フレームから１つのキーフレームを選択してもよい。
（４）場面変化位置の決定
　動画像から場面変化位置の候補を検出し、且つ、キーフレームを検出した後、サーバ装置１は、場面変化位置の候補の中から、場面変化位置を決定する処理を行う。本実施の形態においてサーバ装置１は、場面変化位置の候補とキーフレームとの時系列的な順序関係に基づいて、場面変化位置の候補から最終的な場面変化位置を決定することにより、動画像に含まれる場面を決定する。本実施の形態において動画像の場面は、図４の下段に示したように、少なくとも１つのキーフレームを含むことを条件としている。
　図１１は、サーバ装置１による場面変化位置の決定方法を説明するための模式図である。図示の例は、サーバ装置１が動画像に対して上述の処理を行うことによって、３つの場面変化位置の候補１～３と、２つのキーフレーム１，２とを検出した状態が示されている。時系列的に、場面変化位置の候補１、場面変化位置の候補２、場面変化位置の候補３の順で並び、場面変化位置の候補２，３の間にキーフレーム１及びキーフレーム２がこの順で並んでいる。場面変化位置の候補１，２の間にキーフレームは存在していない。場面変化位置の候補１、２の間に存在する複数のフレームで構成される動画像を場面候補１とし、場面変化位置の候補２，３の間に存在する複数のフレーム（２つのキーフレーム１，２を含む）で構成される動画像を場面候補２とする。
　本実施の形態において動画像には一又は複数の場面を含み、１つの場面には一又は複数のキーフレームを含む。図１１に示した場面変化位置候補１，２を前後の場面変化位置とする場面候補１には、キーフレームが含まれておらず、本実施の形態における場面に相当しない。サーバ装置１は、時系列的に連続する２つの場面変化位置の候補の間にキーフレームが含まれていない場合、２つの場面変化位置の候補のいずれか一方を除外することにより、キーフレームが含まれていない場面候補をキーフレームが含まれる場面候補に連結する。図１１に示す例の場合にサーバ装置１は、例えば場面変化位置の候補２を除外することで、場面変化位置の候補２の前後に存在する場面候補１，２を連結して１つの場面とし、場面変化位置の候補１，３を最終的な場面変化位置とする。
　なお上記の例においてサーバ装置１は、キーフレームを含まない場面候補１について時系列的に後ろの場面変化位置の候補２を除外して、場面候補１を時系列的に後ろの場面候補２と連結したが、これに限るものではない。サーバ装置１は、例えば時系列的に前の場面変化位置の候補１を除外して、場面候補１をそれ以前の場面候補に連結してもよい。サーバ装置１は、キーフレームを含まない場面候補について、時系列的に前側の場面変化位置の候補を除外してもよく、後ろ側の場面変化位置の候補を除外してもよい。サーバ装置１がいずれの場面変化位置の候補を除外するかは、例えば予め定められていてもよく、また例えば前後の場面候補の長さ又はキーフレームの数等に応じていずれか一方を選択してもよい。
　また更にサーバ装置１は、時系列的に連続し且つ類似する２つのキーフレームの間に場面変化位置の候補が存在する場合、この場面変化位置の候補を除外してもよい。サーバ装置１は、２つのキーフレームが類似するか否かを、候補フレームの中からキーフレームを決定した際に算出した類似度を用いて判断することができる。サーバ装置１は、時系列的に連続する２つのキーフレームについて、キーポイントのマッチング結果に基づく類似度を算出し、算出した類似度が所定の閾値（ただし候補フレームが類似するか否かを判定した際の閾値より小さい値）を超える場合に、２つのキーフレームが類似すると判断する。サーバ装置１は、類似する２つのキーフレームの間に存在する場面変化位置の候補を除外し、この場面変化位置の候補の前後の場面候補を連結して１つの場面とすることができる。
　またサーバ装置１は、２つの場面変化位置の間にキーフレームが存在しない場合、この２つの場面変化位置の間の場面を、動画像全体から除外してもよい。図１１に示した例において、場面変化位置の候補１，２の間にキーフレームが存在していない場合、サーバ装置１は、この間の動画像に重要な情報を含んでいないと推定し、場面変化位置の候補１，２の間の場面候補１を動画像から除外してもよい。またこのときにサーバ装置１は、場面候補１と共に、場面変化位置の候補１又は２のいずれか一方を除外してよい。
　サーバ装置１は、動画像に含まれる全ての場面変化位置及びキーフレームを決定した後、決定した場面変化位置及びキーフレームに関する情報をこの動画像に対応付けて動画像ＤＢ１２ｂに記憶する。またサーバ装置１は、端末装置３から動画像ＤＢ１２ｂに記憶された動画像の送信要求が与えられた場合、要求された動画像とこれに対応付けられた場面変化位置及びキーフレームに関する情報とを動画像ＤＢ１２ｂから読み出して、要求元の端末装置３へ送信する。端末装置３は、動画像と共にサーバ装置１から受信した場面変化位置及びキーフレームに関する情報を用いて、例えばユーザから場面選択を受け付け、受け付けた場面から動画像を再生して表示することができる。
　図１２及び図１３は、本実施の形態においてサーバ装置１が行う処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置１の処理部１１は、例えば通信部１３にてカメラ１０３との通信を行うことにより、カメラ１０３により撮影された空調設備１０１の施工又は修理の動画像を取得する（ステップＳ１）。処理部１１の場面変化位置候補検出部１１ａは、ステップＳ１にて取得した動画像に含まれる各フレームのＨＳＬヒストグラムを算出する（ステップＳ２）。場面変化位置候補検出部１１ａは、ステップＳ２にて算出した各フレームのＨＳＬヒストグラムに基づいて、時系列的に連続する２つのフレームのＨＳＬヒストグラム間のバタチャリヤ距離を算出する（ステップＳ３）。
　次いで場面変化位置候補検出部１１ａは、ステップＳ１にて取得した動画像に含まれる各フレームのｐＨａｓｈを算出する（ステップＳ４）。場面変化位置候補検出部１１ａは、ステップＳ４にて算出した各フレームのｐＨａｓｈに基づいて、時系列的に連続する２つのフレームのｐＨａｓｈ間のハミング距離を算出する（ステップＳ５）。場面変化位置候補検出部１１ａは、ステップＳ３にて算出したバタチャリヤ距離とステップＳ５にて算出したハミング距離とに基づいて、時系列的に連続する２つのフレームの相違度を算出する（ステップＳ６）。相違度は、例えばバタチャリヤ距離及びハミング距離の合計値又は平均値等が用いられ得る。場面変化位置候補検出部１１ａは、ステップＳ６にて算出した相違度と所定の閾値とを比較し、相違度が閾値を超える２つのフレーム（又はこの２つのフレーム間）を、場面変化位置の候補として検出する（ステップＳ７）。
　また処理部１１の候補フレーム検出部１１ｂは、ステップＳ１にて取得した動画像に含まれる各フレームのエッジを抽出する（ステップＳ８）。候補フレーム検出部１１ｂは、ステップＳ８にて抽出したエッジに基づいて、各フレームと時系列的にこのフレームの１つ前のフレームとの間のエッジの変化率を算出する（ステップＳ９）。候補フレーム検出部１１ｂは、ステップＳ９にて算出したエッジの変化率と所定の閾値とを比較し、エッジの変化率が閾値を超えないフレームを、キーフレームの候補となる候補フレームとして検出する（ステップＳ１０）。
　処理部１１のキーフレーム決定部１１ｃは、ステップＳ１０にて検出した各候補フレームについて、ＯＲＢのキーポイントを抽出する（ステップＳ１１）。キーフレーム決定部１１ｃは、ステップＳ１１にて抽出した各候補フレームのキーポイントに基づいて、候補フレームの間でのキーポイントのマッチングを行う（ステップＳ１２）。キーフレーム決定部１１ｃは、ステップＳ１２のキーポイントのマッチング結果に基づいて、候補フレーム間の類似度を算出する（ステップＳ１３）。キーフレーム決定部１１ｃは、類似度が閾値を超える複数の候補フレームについて、複数の候補フレームから１つのフレームを選択してキーフレームとし、これ以外の候補フレームを除外することによって、キーフレームを決定する（ステップＳ１４）。
　処理部１１の場面変化位置決定部１１ｄは、ステップＳ７にて検出した場面変化位置の候補と、ステップＳ１４にて決定したキーフレームとに基づき、時系列的に連続する２つの場面変化位置の候補の間に存在する場面候補の中から、キーフレームを含まない場面候補を検索する（ステップＳ１５）。場面変化位置決定部１１ｄは、ステップＳ１５にて検索したキーフレームを含まない場面候補を規定する前後２つの場面変化位置の候補のうち、いずれか一方の場面変化位置の候補を取り除く（ステップＳ１６）。場面変化位置決定部１１ｄは、ステップＳ１６にて取り除かれなかった場面変化位置の候補を、最終的な場面変化位置として決定する（ステップＳ１７）。処理部１１のＤＢ処理部１１ｅは、ステップＳ１にて取得した動画像、ステップＳ１７にて決定した場面変化位置及びステップＳ１４にて決定したキーフレームに関する情報を対応付けて動画像ＤＢ１２ｂに記憶し（ステップＳ１９）、処理を終了する。
＜動画像の再生処理＞
　本実施の形態に係る情報処理システムでは、サーバ装置１が上述の処理により決定した動画像の場面変化位置及びキーフレームに関する情報を、この動画像に対応付けて動画像ＤＢ１２ｂに記憶している。また動画像ＤＢ１２ｂには、例えば動画像の撮影者が付与した動画像のタイトル（表題）又は説明等の文字列、動画像の撮影日時、並びに、動画像の撮影場所等の様々な情報が対応付けて記憶される。また本実施の形態において動画像ＤＢ１２ｂには、空調設備１０１の施工又は修理等の作業を撮影した動画像が記憶され、動画像には施工又は修理等の作業の対象となった空調設備１０１の名称又は商品番号等の文字情報が対応付けて記憶される。
　端末装置３は、例えばユーザからキーワードとなる文字列の入力を受け付け、受け付けた文字列をサーバ装置１へ送信して動画像の検索を要求する。端末装置３からの要求に応じてサーバ装置１は、与えられたキーワードの文字列をタイトル、説明分、空調設備１０１の名称又は商品番号等に含む動画像を動画像ＤＢ１２ｂから検索し、該当する動画像に関する情報を検索結果として要求元の端末装置３へ送信する。サーバ装置１から検索結果を受信した端末装置３は、入力されたキーワードに該当する動画像のタイトル及び撮影日時等の情報を一覧表示する。
　また端末装置３は、検索結果として一覧表示した動画像の中から、再生する動画像の選択をユーザから受け付け、選択された動画像の送信をサーバ装置１に要求する。端末装置３からの要求に応じてサーバ装置１は、選択された動画像と、この動画像に対応付けられた場面変化位置及びキーフレームに関する情報とを動画像ＤＢ１２ｂから読み出して要求元の端末装置３へ送信する。サーバ装置１から動画像と場面変化位置及びキーフレームに関する情報とを受信した端末装置３は、表示部３４に動画像の再生画面を表示し、この画面において動画像を再生して表示する。
　図１４は、端末装置３による再生画面の一例を示す模式図である。図示の再生画面には、画面の上側中央に動画像を表示するための動画像表示領域が設けられ、この領域の下方に４つの操作ボタンが横方向に並べて設けられている。４つの操作ボタンは、左側から、シーン（場面）の最初へ戻すためのボタン（戻すボタン）、動画像を再生するためのボタン（再生ボタン）、１つ後のシーンへスキップするためのボタン（スキップボタン）、動画像の再生を停止するためのボタン（停止ボタン）である。端末装置３は、これらの操作ボタンに対するユーザの操作を受け付けて、動画像の再生及び停止等の処理を行う。また端末装置３は、戻すボタン及びスキップボタンによる動画像のシーンチェンジを、サーバ装置１から受信した場面変化位置に基づいて行う。例えば端末装置３は、戻すボタンに対する操作がなされた場合、動画像の現在の再生時点より前の最も近い場面変化位置から再生を開始する。また例えば端末装置３は、スキップボタンに対する操作がなされた場合、動画像の現在の再生時点より後の最も近い場面変化位置から再生を開始する。
　また再生画面において端末装置３は、４つの操作ボタンの下方に、再生時間を示すプログレスバーを表示し、プログレスバーに動画像の場面変化位置を示す区切りを示す。図示の例は、動画像に３つの場面が含まれている場合のものであり、動画変化位置を示す太垂直線の２つの区切りがプログレスバーに示されている。また端末装置３は、プログレスバーの下方に、この動画像に含まれる一又は複数のキーフレームの縮小画像を適宜の配置で表示する。端末装置３は、これらのキーフレームが動画像中に登場する時間的なタイミングを、キーフレームの画像とプログレスバーとを結ぶ矢印で示す。この矢印は、プログレスバーが示す動画像の再生時間において、対応するキーフレームが登場する時間的な位置を指し示している。端末装置３は、再生画面に表示したキーフレームに対するクリック又はタップ等の操作を受け付けた場合に、操作を受け付けたキーフレームに対応する時点から動画像を再生する。
　なお、図１４に示す動画像の表示方法は一例であってこれに限るものではなく、端末装置３はどのような方法で動画像の表示を行ってもよい。
＜要約動画像の生成処理＞
　本実施の形態に係る情報処理システムでは、上述の処理により決定した動画像の場面変化位置及びキーフレームに基づいて、動画像のダイジェスト動画像（要約動画像）を生成する処理をサーバ装置１が行う。サーバ装置１は、動画像から一又は複数の部分動画像を抽出して（切り出して）連結することによって、元の動画像よりも再生時間が短いダイジェスト動画像を生成する。
　本実施の形態に係るサーバ装置１は、動画像全体から、場面変化位置から所定時間（例えば数秒～数十秒）の部分動画像と、キーフレームの前後の所定時間の部分動画像とを抽出する。サーバ装置１は、動画像から抽出したこれら複数の部分動画像を時系列順に連結することによって、ダイジェスト動画像を生成する。サーバ装置１は、生成したダイジェスト動画像を、元の動画像に対応付けて動画像ＤＢ１２ｂに記憶する。
　サーバ装置１は、例えばカメラ１０３から動画像を取得した際にダイジェスト動画像を生成してもよく、また例えば端末装置３からの要求に応じてダイジェスト動画像を生成してもよく、これら以外のタイミングでダイジェスト動画像を生成してもよい。またサーバ装置１は、例えば端末装置３からの動画像の検索要求に対して検索結果を送信する際に、検索結果として該当する動画像のダイジェスト動画像を動画像ＤＢ１２ｂから読み出して端末装置３へ送信してもよい。端末装置３は、動画像の検索結果として、検索条件に合致した複数の動画像のタイトル等の情報と共に、ダイジェスト動画像を一覧表示してもよい。
＜タイトル生成処理＞
　本実施の形態に係る情報処理システムでは、動画像のタイトル、動画像に含まれる場面のタイトル、又は、動画像に含まれるキーフレームのタイトル等を、機械学習がなされた学習モデル、いわゆるＡＩ（Artificial Intelligence）を用いてサーバ装置１が自動生成することができる。図１５は、本実施の形態に係るサーバ装置１が用いる学習モデルを説明するための模式図である。本実施の形態に係るサーバ装置１が用いる学習モデルは、動画像に含まれるキーフレームを入力として受け付け、このキーフレームに写されている空調設備１０１の施工又は修理の種別を分類結果として出力するよう予め機械学習がなされた学習モデルである。
　本実施の形態に係る学習モデルは、例えばＣＮＮ（Convolutional Neural Network）又はＤＮＮ（Deep Neural Network）等の構成の学習モデルが採用され得る。学習モデルは、例えば画像と、この画像に写された施工又は修理の種別とが対応付けられた学習用のデータを用いて、いわゆる教師ありの機械学習を行うことによって生成され得る。学習モデルの教師あり学習の処理は、既存の技術であるため詳細な説明は省略するが、サーバ装置１は、例えば勾配降下法、確率的勾配降下法又は誤差逆伝播法等の手法により学習モデルの学習を行うことができる。
　サーバ装置１は、機械学習により生成した学習モデルを記憶部１２に記憶している。サーバ装置１は、動画像に含まれるキーフレームの検出を行った後、検出された一又は複数のキーフレームをそれぞれ学習モデルへ入力し、学習モデルが出力する分類結果を取得する。学習モデルが出力する空調設備１０１の施工又は修理の種別は、例えばエアコン（エアコンディショナー）の室外機の施工又はエアコンの室内機の修理等である。サーバ装置１は、例えば動画像に含まれる各キーフレームについて、学習モデルを用いた施工又は修理の種別の分類をそれぞれ行い、全てのキーフレームについて分類結果を取得し、取得した分類結果に基づいて動画像のタイトル及び場面のタイトルを生成する。
　サーバ装置１は、動画像に含まれる複数のキーフレームの分類結果から、例えば最も多い分類結果など、１つの分類結果を適宜に選択する。サーバ装置１は、例えば選択した分類結果と、この動画像が撮影された日時とを組み合わせた「ＸＸＸＸ年ＹＹ月ＺＺ日：エアコンの室外機の施工」等の文字列を、この動画像のタイトルとすることができる。またサーバ装置１は、動画像に含まれる各場面について、この場面に含まれるキーフレームの分類結果を適宜に１つ選択し、選択した分類結果を相当する「エアコンの室内機の修理」等の文字列を場面のタイトルとすることができる。なおサーバ装置１による、施工又は修理の種別の分類結果に基づいてタイトルを生成する方法は、上記のものに限らず、どのような方法が採用されてもよい。
　またサーバ装置１は、キーフレームに写されている空調設備１０１の施工又は修理の種別を分類する学習モデルに代えて、キーフレームの入力を受け付けて、このキーフレームのタイトルの文字列を生成する学習モデルを用いてもよい。このような学習モデルは、例えば画像を特徴量に変換するＣＮＮ等の学習モデルと、特徴量を基にタイトルの文字列を生成するＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short Term Memory）、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）又はＧＰＴ－３（Generative Pre-trained Transformer - 3）等の学習モデルとを組み合わせて構成され得る。
　サーバ装置１は、キーフレームに基づいて生成した動画像のタイトル及び動画像に含まれる場面のタイトルを、この動画像に対応付けて動画像ＤＢ１２ｂに記憶する。なお、例えば動画像の撮影者等がこの動画像又は場面のタイトルを入力した場合には、サーバ装置１は、入力されたタイトルを動画像ＤＢ１２ｂに記憶し、学習モデルを用いたタイトルの生成を行わなくてもよい。また端末装置３は、例えば図１４に示した再生画面において、動画像のタイトルを最上部等に表示し、一又は複数のキーフレームの画像に対応付けて場面のタイトルを表示することができる。
＜まとめ＞
　以上の構成の本実施の形態に係る情報処理システムでは、カメラ１０３が撮影した動画像からサーバ装置１が場面変化位置の候補を検出し、動画像を構成する複数のフレームの中から場面のキーフレーム（主要フレーム）となり得る候補フレームを検出し、候補フレームの中からキーフレームを決定し、場面変化位置の候補及びキーフレームの時系列的な順序に基づいて、場面変化位置の候補の中から場面変化位置を決定する。これにより本実施の形態に係る情報処理システムは、動画像から場面の変化を精度よく検出することが期待できる。
　また本実施の形態に係る情報処理システムでは、時系列的に並ぶ２つの場面変化位置の候補の間にキーフレームが存在しない場合、サーバ装置１は、この２つの場面変化位置の候補からいずれか一方を除外することで、場面変化位置を決定する。また本実施の形態に係る情報処理システムでは、時系列的に連続し且つ類似する２つのキーフレームの間に場面変化位置の候補が存在する場合、サーバ装置１は、この場面変化位置の候補を除外することで、場面変化位置を決定してもよい。これらにより本実施の形態に係る情報処理システムは、動画像から検出した場面変化位置の候補の中から精度よく場面変化位置を決定することが期待できる。
　また本実施の形態に係る情報処理システムでは、動画像に含まれる各フレームの統計値（ＨＳＬヒストグラム）をサーバ装置１が算出し、時系列的に連続する２つのフレームの統計値の差異（相違度）に基づいて、場面変化位置の候補を検出する。また本実施の形態に係る情報処理システムでは、動画像に含まれる各フレームのハッシュ値（ｐＨａｓｈ）をサーバ装置１が算出し、時系列的に連続する２つのフレームのハッシュ値の差異に基づいて、場面変化位置の候補を検出する。これにより本実施の形態に係る情報処理システムは、動画像から場面変化位置の候補を精度よく検出することが期待できる。
　また本実施の形態に係る情報処理システムでは、動画像に含まれる各フレームからエッジをサーバ装置１が抽出し、時系列的に連続する２つのフレームの間のエッジの変化（変化率）に基づいて候補フレームを検出する。また本実施の形態に係る情報処理システムでは、候補フレームから特徴点（キーポイント）をサーバ装置１が抽出し、複数の候補フレーム間での特徴点の比較結果に基づいて類似する候補フレームを除外することで、候補フレームの中からキーフレームを決定する。これらにより本実施の形態に係る情報処理システムは、動画像から候補フレームを精度よく検出し、候補フレームの中からキーフレームを精度よく決定することが期待できる。
　また本実施の形態に係る情報処理システムでは、決定した場面変化位置及びキーフレームに関する情報を、サーバ装置１が動画像に対応付けて動画像ＤＢ１２ｂに記憶する。端末装置３は、場面変化位置又はキーフレームの選択をユーザから受け付け、受け付けた場面変化位置又はキーフレームに基づく動画像の再生を行う。これにより本実施の形態に係る情報処理システムは、ユーザが必要とする場面等から動画像を再生することが期待できる。
　また本実施の形態に係る情報処理システムでは、決定した場面変化位置及びキーフレームに関する情報と、動画像のタイトル、説明、撮影日時、撮影場所、施工又は修理の対象となった空調設備（空調関連機器）１０１の名称又は商品番号等の文字情報とを対応付けて、サーバ装置１が動画像ＤＢ１２ｂに記憶する。これによりユーザは、動画像に対応付けられた文字情報に基づいて、キーワード等を入力して動画像を検索することができる。
　また本実施の形態に係る情報処理システムでは、決定した場面変化位置及びキーフレームに基づいて動画像から部分動画像を抽出し、抽出した部分動画像を結合して要約動画像（ダイジェスト動画像）を生成する。これにより本実施の形態に係る情報処理はユーザに要約動画像を提供することができ、ユーザは要約動画像を利用して再生時間が長い動画像であってもその概要を容易に把握することが期待できる。
　また本実施の形態に係る情報処理システムでは、決定したキーフレームをサーバ装置１が予め機械学習がなされた学習モデルへ入力し、学習モデルが出力する情報に基づいて動画像又は動画像に含まれる場面の表題（タイトル）を決定する。これにより本実施の形態に係る情報処理システムは、動画像の撮影者が表題を入力しない場合であっても、動画像に対して自動的に表題を付与することができる。
　今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　サーバ装置（画像処理装置）
　３　端末装置
　１１　処理部
　１１ａ　場面変化位置候補検出部
　１１ｂ　候補フレーム検出部
　１１ｃ　キーフレーム決定部（主要フレーム決定部）
　１１ｄ　場面変化位置決定部
　１１ｅ　ＤＢ処理部
　１２　記憶部
　１２ａ　サーバプログラム（コンピュータプログラム）
　１２ｂ　動画像ＤＢ
　１３　通信部
　３１　処理部
　３１ａ　検索処理部
　３１ｂ　表示処理部
　３２　記憶部
　３２ａ　プログラム
　３３　通信部
　３４　表示部
　３５　操作部
　１０１　空調設備（空調関連機器）
　１０２　作業者
　１０３　カメラ
　Ｎ　ネットワーク
 

Claims (14)

  1. 　画像処理装置が、
    　動画像から場面変化位置の候補を検出し、
    　前記動画像を構成するフレームの中から、場面の主要フレームとなり得る候補フレームを検出し、
    　前記候補フレームの中から主要フレームを決定し、
    　場面変化位置の候補及び主要フレームの時系列的な順序に基づいて、場面変化位置の候補の中から場面変化位置を決定する、
    　画像処理方法。
  2. 　時系列的に並ぶ２つの場面変化位置の候補の間に主要フレームが存在しない場合、前記２つの場面変化位置を候補からいずれか一方を除外することで、場面変化位置を決定する、
    　請求項１に記載の画像処理方法。
  3. 　時系列的に並び且つ類似する２つの主要フレームの間に場面変化位置の候補が存在する場合、当該場面変化位置を候補から除外することで、場面変化位置を決定する、
    　請求項１又は請求項２に記載の画像処理方法。
  4. 　各フレームの統計値を算出し、
    　２つのフレームの統計値の差異に基づいて、場面変化位置の候補を検出する、
    　請求項１から請求項３までのいずれか１つに記載の画像処理方法。
  5. 　各フレームのハッシュ値を算出し、
    　２つのフレームのハッシュ値の差異に基づいて、場面変化位置の候補を検出する、
    　請求項１から請求項４までのいずれか１つに記載の画像処理方法。
  6. 　各フレームからエッジを抽出し、
    　２つのフレームの間のエッジの変化に基づいて、候補フレームを検出する、
    　請求項１から請求項５までのいずれか１つに記載の画像処理方法。
  7. 　候補フレームから特徴点を抽出し、
    　複数の候補フレームの間での特徴点の比較結果に基づいて、候補フレームを除外することで、候補フレームの中から主要フレームを決定する、
    　請求項１から請求項６までのいずれか１つに記載の画像処理方法。
  8. 　決定した場面変化位置及び主要フレームに関する情報を前記動画像に対応付けて記憶し、
    　場面変化位置又は主要フレームの選択を受け付け、
    　選択された場面変化位置又は主要フレームに基づく前記動画像の再生を行う、
    　請求項１から請求項７までのいずれか１つに記載の画像処理方法。
  9. 　決定した場面変化位置及び主要フレームに関する情報と、前記動画像に関する文字情報とを対応付けて記憶する、
    　請求項８に記載の画像処理方法。
  10. 　空調関連機器の施工又は修理の作業を撮影した動画像を取得し、
    　取得した動画像について場面変化位置及び主要フレームを決定し、
    　決定した場面変化位置及び主要フレームに関する情報と、空調関連機器に関する文字情報とを対応付けて記憶する、
    　請求項９に記載の画像処理方法。
  11. 　決定した場面変化位置及び主要フレームに基づいて前記動画像から部分動画像を抽出し、
    　抽出した部分動画像を結合して要約動画像を生成する、
    　請求項１から請求項１０までのいずれか１つに記載の画像処理方法。
  12. 　決定した主要フレームを、空調関連機器の施工又は修理の作業を撮影した動画像の主要フレームの入力に対して施工又は修理の種別を分類する学習モデルへ入力し、
    　当該学習モデルが出力する分類結果を取得し、
    　取得した分類結果に基づいて、前記動画像又は前記動画像に含まれる場面の表題を決定する、
    　請求項１から請求項１１までのいずれか１つに記載の画像処理方法。
  13. 　コンピュータに、
    　動画像から場面変化位置の候補を検出し、
    　前記動画像を構成するフレームの中から、場面の主要フレームとなり得る候補フレームを検出し、
    　前記候補フレームの中から主要フレームを決定し、
    　場面変化位置の候補及び主要フレームの時系列的な順序に基づいて、場面変化位置の候補の中から場面変化位置を決定する
    　処理を実行させる、コンピュータプログラム。
  14. 　動画像から場面変化位置の候補を検出する場面変化位置候補検出部と、
    　前記動画像を構成するフレームの中から、場面の主要フレームとなり得る候補フレームを検出する候補フレーム検出部と、
    　前記候補フレームの中から主要フレームを決定する主要フレーム決定部と、
    　場面変化位置の候補及び主要フレームの時系列的な順序に基づいて、場面変化位置の候補の中から場面変化位置を決定する場面変化位置決定部と
    　を備える、画像処理装置。
     
PCT/JP2023/022855 2022-06-23 2023-06-21 画像処理方法、コンピュータプログラム及び画像処理装置 WO2023249034A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23827217.3A EP4546265A1 (en) 2022-06-23 2023-06-21 Image processing method, computer program, and image processing device
CN202380047958.3A CN119404224A (zh) 2022-06-23 2023-06-21 图像处理方法、计算机程序以及图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-101248 2022-06-23
JP2022101248A JP7429016B2 (ja) 2022-06-23 2022-06-23 画像処理方法、コンピュータプログラム及び画像処理装置

Publications (1)

Publication Number Publication Date
WO2023249034A1 true WO2023249034A1 (ja) 2023-12-28

Family

ID=89379977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022855 WO2023249034A1 (ja) 2022-06-23 2023-06-21 画像処理方法、コンピュータプログラム及び画像処理装置

Country Status (4)

Country Link
EP (1) EP4546265A1 (ja)
JP (1) JP7429016B2 (ja)
CN (1) CN119404224A (ja)
WO (1) WO2023249034A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257436A (ja) * 1997-03-10 1998-09-25 Atsushi Matsushita 動画像の自動階層構造化方法及びこれを用いたブラウジング方法
JP2001527304A (ja) * 1997-12-19 2001-12-25 シャープ株式会社 ディジタル動画の階層的要約及び閲覧方法
JP2003519946A (ja) 1999-12-30 2003-06-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 速い動きのシーンを検出する方法及び装置
JP2005151069A (ja) * 2003-11-14 2005-06-09 Funai Electric Co Ltd 記録再生装置
WO2007039995A1 (ja) * 2005-09-30 2007-04-12 Pioneer Corporation ダイジェスト作成装置およびそのプログラム
JP2008109290A (ja) * 2006-10-24 2008-05-08 Sony Corp 内容文字情報取得方法、内容文字情報取得プログラム、内容文字情報取得装置及び映像コンテンツ記録装置
US20200349357A1 (en) * 2018-01-17 2020-11-05 Group Ib, Ltd Method of creating a template of original video content
JP2021131738A (ja) * 2020-02-20 2021-09-09 株式会社安藤・間 工程判別システム、及び工程判別方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032551A (ja) * 2002-06-27 2004-01-29 Seiko Epson Corp 画像処理方法、画像処理装置及びプロジェクタ
CN106503693B (zh) * 2016-11-28 2019-03-15 北京字节跳动科技有限公司 视频封面的提供方法及装置
CN112651336B (zh) * 2020-12-25 2023-09-29 深圳万兴软件有限公司 关键帧的确定方法、设备、计算机可读存储介质
CN114187558A (zh) * 2021-12-20 2022-03-15 深圳万兴软件有限公司 一种视频场景识别方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257436A (ja) * 1997-03-10 1998-09-25 Atsushi Matsushita 動画像の自動階層構造化方法及びこれを用いたブラウジング方法
JP2001527304A (ja) * 1997-12-19 2001-12-25 シャープ株式会社 ディジタル動画の階層的要約及び閲覧方法
JP2003519946A (ja) 1999-12-30 2003-06-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 速い動きのシーンを検出する方法及び装置
JP2005151069A (ja) * 2003-11-14 2005-06-09 Funai Electric Co Ltd 記録再生装置
WO2007039995A1 (ja) * 2005-09-30 2007-04-12 Pioneer Corporation ダイジェスト作成装置およびそのプログラム
JP2008109290A (ja) * 2006-10-24 2008-05-08 Sony Corp 内容文字情報取得方法、内容文字情報取得プログラム、内容文字情報取得装置及び映像コンテンツ記録装置
US20200349357A1 (en) * 2018-01-17 2020-11-05 Group Ib, Ltd Method of creating a template of original video content
JP2021131738A (ja) * 2020-02-20 2021-09-09 株式会社安藤・間 工程判別システム、及び工程判別方法

Also Published As

Publication number Publication date
JP7429016B2 (ja) 2024-02-07
CN119404224A (zh) 2025-02-07
JP2024002193A (ja) 2024-01-11
EP4546265A1 (en) 2025-04-30

Similar Documents

Publication Publication Date Title
Yao et al. Oscar: On-site composition and aesthetics feedback through exemplars for photographers
CN101523412B (zh) 基于人脸的图像聚类
US8995725B2 (en) On-site composition and aesthetics feedback through exemplars for photographers
CN106462744B (zh) 基于规则的视频重要性分析
US10410677B2 (en) Content management system, management content generating method, management content play back method, and recording medium
CN109063611B (zh) 一种基于视频语义的人脸识别结果处理方法和装置
US20070074244A1 (en) Method and apparatus for presenting content of images
US8345742B2 (en) Method of processing moving picture and apparatus thereof
CN103365936A (zh) 视频推荐系统及其方法
US9721613B2 (en) Content management system, management content generation method, management content reproduction method, program and recording medium
TWI764240B (zh) 智慧型影片編輯方法及系統
CN111986180B (zh) 基于多相关帧注意力机制的人脸伪造视频检测方法
JP2006172437A (ja) データのストリームにおけるセグメント境界の位置の決定方法、データサブセットを近隣のデータサブセットと比較してセグメント境界を決定する方法、コンピュータによって実行可能な命令のプログラム、ならびにデータのストリームにおける境界及び非境界を識別するシステム又は装置
CN110866563B (zh) 相似视频检测、推荐方法、电子设备和存储介质
CN110569773A (zh) 基于时空显著性行为注意力的双流网络行为识别方法
CN105095853A (zh) 图像处理装置及图像处理方法
CN108921023A (zh) 一种确定低质量人像数据的方法及装置
Ma et al. An universal image attractiveness ranking framework
Cheng et al. Re-compose the image by evaluating the crop on more than just a score
JP7429016B2 (ja) 画像処理方法、コンピュータプログラム及び画像処理装置
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020217425A1 (ja) 教師データ生成装置
JP2006217046A (ja) 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム
CN111626409B (zh) 一种图像质量检测的数据生成方法
JP7667724B2 (ja) 計算機システム及び運動を行う人の身体動作の分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827217

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202417103248

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2023827217

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023827217

Country of ref document: EP

Effective date: 20250123

WWP Wipo information: published in national office

Ref document number: 2023827217

Country of ref document: EP