WO2016199335A1 - タギング装置、タギングシステム、タギング方法、ダイジェスト作成装置及びダイジェスト作成システム - Google Patents

タギング装置、タギングシステム、タギング方法、ダイジェスト作成装置及びダイジェスト作成システム Download PDF

Info

Publication number
WO2016199335A1
WO2016199335A1 PCT/JP2016/001889 JP2016001889W WO2016199335A1 WO 2016199335 A1 WO2016199335 A1 WO 2016199335A1 JP 2016001889 W JP2016001889 W JP 2016001889W WO 2016199335 A1 WO2016199335 A1 WO 2016199335A1
Authority
WO
WIPO (PCT)
Prior art keywords
tag
data
range
digest
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/001889
Other languages
English (en)
French (fr)
Inventor
瑞樹 小原
次郎 鵜▲崎▼
賢司 松岡
英明 小野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015118858A external-priority patent/JP6451521B2/ja
Priority claimed from JP2015118859A external-priority patent/JP6485238B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2016199335A1 publication Critical patent/WO2016199335A1/ja
Priority to US15/831,842 priority Critical patent/US20180096214A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the present invention relates to a tagging device, a tagging system, a tagging method, a digest creation device, and a digest creation system.
  • Patent Document 1 describes that in an image recording apparatus, only a frame in which a flag F1 is set based on biometric information, that is, a frame tagged based on biometric information is recorded in a recording unit.
  • digest video is created from video data.
  • Patent Document 2 describes that in a highlight still image generation / distribution device, a highlight scene moving image is cut out from video captured by a camera, and an important scene is extracted from the moving image as a highlight still image. Has been.
  • the importance of moving image data can be clarified by tagging, but the number of frames is fixed, and important frames may be lost.
  • tagging method in which a user presses a button or the like to tag during recording or viewing, but with such a method, the range from where to where is important can be clarified. There wasn't.
  • the apparatus designates a portion to be extracted as a highlight in a moving image being shot by a sensor signal or manually, and a range important for the user cannot be extracted from the moving image data with high accuracy.
  • the present invention has been made to solve such a problem, and provides a tagging apparatus, a tagging system, and a tagging method capable of accurately setting a tag range and attaching a tag to an important scene of moving image data.
  • the purpose is to do.
  • Another object of the present invention is to provide a digest creation apparatus and digest creation system that can accurately extract a range important for a user from moving image data and create a digest video.
  • an image capturing unit that captures an image of a subject and outputs moving image data, and data that continuously receives vital data of a user who records or reproduces moving image data and receives timing data of the user's tag input.
  • a tag range processing unit that sets the time range as a tag range when the time range corresponding to the timing data is included in a time range in which the vital data received by the communication unit and the data communication unit is greater than or equal to a preset value
  • a tagging device comprising:
  • the data communication step for continuously receiving the vital data of the user who records or reproduces the moving image data and the timing data of the user's tag input, and the vital data received in the data communication step are Provided is a tagging method including a tag range processing step for setting a time range as a tag range when a time range corresponding to the timing data is included in a time range equal to or greater than a preset value.
  • the data communication unit that continuously receives the vital data of the user who records or reproduces the moving image data and receives the timing data of the user's tag input, and the vital data received by the data communication unit are When the time range corresponding to the timing data is included in the time range that is greater than or equal to the preset value, based on the tag range processing unit that sets the time range as the tag range and the tag range set by the tag range processing unit A digest processing unit that creates a digest video of the video data. When there are a plurality of tag ranges, the digest processing unit generates digest video from a plurality of tag ranges based on the importance of vital data in the tag range.
  • a digest creation device for selecting a tag range for creating a tag is provided.
  • the present embodiment can provide a tagging device, a tagging system, and a tagging method for setting a tag range with high accuracy in an important scene of moving image data and adding a tag.
  • the present embodiment can provide a digest creation device and a digest creation system that accurately extract a range important for a user from moving image data and create a digest video.
  • the digest creation system according to the present embodiment includes the vital data (biological information) of the user and the tag timing data input by the user in an important scene when the user is shooting a sporting game or the like. Is used to create a digest video by accurately setting a tag range in an important range of shooting data.
  • FIG. 1 is a block diagram showing a schematic configuration of a digest creation system 1 according to the present embodiment.
  • the digest creation system (or tagging system) 1 includes a sensor device 2, a tag input device 3, an imaging device 4, and the like. Communication between the sensor device 2 and the imaging device 4 and between the tag input device 3 and the imaging device 4 can be performed wirelessly or by wire.
  • the sensor device 2 measures a heart rate, which is vital data of the user, when a user (not shown) is photographing with the imaging device 4.
  • the sensor device 2 includes data communication that transmits the measured heart rate to the imaging device 4 in real time in addition to the configuration of a general sensor device such as the sensor main body 21, the sensor control unit 22, the sensor data processing unit 23, and the CPU 24.
  • the unit 25 is provided.
  • the tag input device 3 When the tag input device 3 thinks that it is better for the user to shoot with the image pickup device 4 and tag the photographic data, for example, in the case of a soccer game, the tag input device 3 is pressed by pressing a button or the like. Input.
  • the tag input device 3 includes a key input unit 31 such as a button and a screen, a key control unit 32, an input tag data processing unit 33, a configuration provided in a general tag input device such as a CPU 34, and a tag input by a user.
  • a data communication unit 35 that transmits input tag data, which is data, to the imaging device 4 in real time is provided.
  • the imaging device (digest creation device or tagging device) 4 can capture a moving image such as a video camera or a digital camera.
  • the imaging device 4 includes a data communication unit 47, sensor data, in addition to a configuration provided in a general imaging device such as an image sensor 41, an imaging unit 42, an image data processing unit 43, a data output unit 44, a recording medium 45, and a CPU 46.
  • a recording unit 48, a tag control unit 49, a tag range processing unit 50, a tag recording unit 51, a digest processing unit 52, a digest recording unit 53, and the like are provided.
  • the data communication unit 47 receives sensor data transmitted by the data communication unit 25 of the sensor device 2, input tag data transmitted by the data communication unit 35 of the tag input device 3, and the like. In addition, the data communication unit 47 may transmit a signal for controlling the operation start timing to the sensor device 2, the tag input device 3, and the like. That is, the data communication unit 25 of the sensor device 2 and the data communication unit 35 of the tag input device 3 communicate with the data communication unit 47 of the imaging device 4 in one direction or in both directions such as a control signal and a status notification signal. Also good.
  • the sensor data recording unit 48 records sensor data received from the sensor device 2.
  • the tag control unit 49 controls the entire tag providing operation (tagging method) in the imaging device 4.
  • the tag range processing unit 50 uses the received sensor data and input tag data, and an appropriate range of the moving image data captured by the imaging device 4, for example, at a timing when the tag is recorded, vital data exceeds a preset threshold value If it is, a period that is equal to or greater than the threshold is set in the tag range.
  • the tag range processing unit 50 can set such a tag range during shooting. Furthermore, the tag range may be set when playing back a moving image.
  • the tag recording unit 51 records the received sensor data, input tag data, and set tag range in association with moving image data during shooting or during moving image reproduction.
  • the tag recording unit 51 adds a tag within the set tag range and records the timing data.
  • the input tag data includes, for example, the time when the user inputs the tag and the time when the imaging device 4 receives the tag input. Even if it is not the time, if the sensor device 2, the tag input device 3, and the imaging device 4 can share some synchronized timing such as the start of recording, the information of the elapsed time from that point can be substituted.
  • the sensor device 2 and the tag input device 3 have a built-in clock
  • the sensor device 2 and the tag input device 3 transmit the measured heart rate and input tag data to the imaging device 4 in real time. do not have to. Later, it is possible to synchronize the timing of the moving image data, vital data, and input tag data based on the respective clock information.
  • the received sensor data, input tag data, set tag range data, and moving image data associated therewith may be recorded on the recording medium 45.
  • the digest processing unit 52 creates a digest video based on the tag range set by the tag range processing unit 50.
  • the digest recording unit 53 stores the data related to the digest video created by the digest processing unit 52 in association with the moving image data.
  • Each component realized by the imaging device 4 can be realized by executing a program under the control of the CPU 46. More specifically, the imaging device 4 is realized by loading a program stored in a storage unit (not shown) into a main storage device (not shown) and executing the program under the control of the CPU 46.
  • Each component is not limited to being realized by software by a program, and may be realized by any combination of hardware, firmware, and software.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
  • Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
  • the program may be supplied to the imaging device 4 by various types of temporary computer-readable media.
  • Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the imaging device 4 via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the digest creation system 1 that is, a digest creation method
  • a digest creation method an operation of the digest creation system 1 according to the present embodiment, that is, a digest creation method will be described.
  • an outline of the tag range setting operation of the tag range processing unit 50 will be described.
  • the tag range processing unit 50 uses the received sensor data and input tag data to set a tag in an appropriate range of the moving image data captured by the imaging device 4.
  • FIG. 2 is a diagram showing the relationship between the time change of the heart rate and the tag range set using the vital data (heart rate) and the tag data input by the user according to the present embodiment.
  • a graph showing the heart rate and the tag F (tags F1 to F4 in this embodiment) as input tag data are shown at the top, and the range of the tag F set from the input tag data is associated with the video data (tag (Range) is shown at the bottom.
  • the horizontal axis represents time
  • the vertical axis represents heart rate.
  • a horizontal line near the heart rate 75 indicates a threshold for setting the tag range of the tag F.
  • horizontal arrows and characters such as “normal” and “tension” written in the vicinity of the heart rate 40 are for explaining the state of the user at that time.
  • the state of the user changes from a change in heart rate from the start of the game to the end of the game to a normal state, a tension state or an excitement state, and a normal (relaxed) state.
  • Four peaks (1 to 4) of the heart rate occur in the tension state or the excitement state, and the user inputs the tags F1 to F4 at each peak.
  • the tag range processing unit 50 Is set as the tag range of the tag F inputted.
  • a tag may be attached to a frame in the time range.
  • the time range t1 to t2 is set as the tag range of the tag F1.
  • the time range t3 to t4 is set as the tag range of the tag F2.
  • the tag range processing unit 50 records the tag F, the tag range of the tag F, and the time range (tag time) in the tag recording unit 51 as a recording tag list. Note that the tag range processing unit 50 does not set the tag range when the user does not input the tag F within the time range even if the heart rate has a time range equal to or greater than the predetermined value. Moreover, even if the user inputs the tag F, if the heart rate is not equal to or greater than the predetermined value, the tag range processing unit 50 sets the tag range by default or the time or the number of frames set by the user.
  • FIG. 3 is a diagram showing a detailed relationship between the time change of the heart rate and the tag range according to the present embodiment.
  • the heart rate graph is shown at the top and the tag range at the bottom.
  • Horizontal dotted lines in the graph indicate threshold values, and equally spaced points on the horizontal dotted line indicate heart rate sampling points, that is, sampling times.
  • the heart rate is sampled at intervals of 1 second, for example.
  • FIG. 4 is a flowchart showing a detailed processing procedure of the tag range processing unit 50 according to the present embodiment. A detailed processing procedure of the tag range processing unit 50 will be described with reference to FIGS. 3 and 4.
  • the status indicating the status of vital data is set to “below threshold” (step S10), and the “previous vital data time value” is initialized to the recording start time t0 (step S20).
  • the sampling time t0 it is determined whether the status is “threshold or more” (step S30).
  • the status remains “less than threshold value” set in step S10 (No in step S30), so it is determined whether there is vital data received at time t0 (step S40).
  • step S50 Since there is vital data received at time t0 (Yes in step S40), it is determined whether the value of vital data at time t0 is equal to or greater than a threshold value (step S50). As shown in FIG. 3, since the value of the vital data at time t0 is less than the threshold value (No in step S50), the current vital data time t0 is stored as the “previous vital data time value” (step S80). Then, the process returns to step S30. Until t11, since the normal state, that is, the vital data is less than the threshold value, the same processing is repeated.
  • step S50 it is determined whether the value of the vital data at time t12 is equal to or greater than the threshold. .
  • the “previous vital data time value”, here, the time t11 stored in step S80 is “tag range start time value”. (Step S60)
  • the status is set to "above threshold” (step S70)
  • the current vital data time t12 is saved as "previous vital data time value” (step S80)
  • the process returns to step S30. .
  • step S90 since the status is “above threshold value” as set in step S70 (Yes in step S30), it is determined whether there is vital data at time t13 (step S90). Since there is vital data received at time t13 (Yes in step S90), it is determined whether the value of vital data at time t13 is equal to or greater than a threshold value (step S100). As shown in FIG. 3, since the value of the vital data at time t13 is equal to or greater than the threshold value (Yes in step S100), the current vital data time t13 is stored as “previous vital data time value” (step S80), and the process proceeds to step S30. Return. Until the sampling time t21, the same processing as that at time t13 is continued.
  • step S100 since the status is “above threshold” and there is vital data received at time t22 (Yes at step S30, Yes at step S90), is the vital data value at time t22 greater than or equal to the threshold? Judgment is made (step S100).
  • the vital data value at time t22 is less than the threshold (No in step S100)
  • the current vital data time t22 is stored as a “tag range end time value” (step S110), and a tag recording request is made. In other words, it is determined whether a tag is input when the value of the vital data is equal to or greater than a threshold value (step S120). As shown in FIG.
  • step S120 since the user inputs the tag F between time t16 and time t17 (Yes in step S120), the “tag range start time value of the tag range obtained in steps S60 and S110”
  • the tag F is recorded at “t11 to“ tag range end time value ”t22 (step S130), the status is set to“ less than threshold ”(step S140), and the current vital data time t22 is set to“ previous vital data time value ”. (Step S80) and return to step S30.
  • the current vital data time t is stored as a “tag range end time value” (step S110).
  • the status is set to “less than threshold value” (step S140). That is, as described above, even if there is a time range in which the heart rate is equal to or greater than the predetermined value, if the user does not input a tag within the time range, the time range is not set as the tag range. If the status is “above threshold” and there is no vital data for the time t (Yes in step S30, No in step S90), the recording end time is stored as a “tag range end time value” (step S150).
  • step S120 and S130 when there is a tag recording request, the tag F is recorded within the obtained tag range and the process is terminated. When there is no tag recording request, the process is terminated as it is. In this way, the tag range processing unit 50 can accurately set the tag range in the important range of the moving image data.
  • FIG. 5 is a flowchart showing a processing procedure of the digest processing unit 52 according to the present embodiment.
  • 6 and 7 are diagrams for explaining the processing contents of the digest processing unit 52 according to the present embodiment. 6 and 7 show the recording tag list, digest candidate list, and created digest from the left side, respectively.
  • the record tag list is created by the tag range processing unit 50 as described above and recorded in the tag recording unit 51. Information such as the tag ID, tag start time, and tag time of the tag set by the tag range processing unit 50 is recorded. including.
  • the digest candidate list is created by the digest processing unit 52 and recorded in the storage unit or the digest recording unit 53 inside the digest processing unit 52.
  • the tag ID of a tag that may be used in the digest video, and the tag Includes information such as vital data integration values and tag times for each tag.
  • the created digest is created by the digest processing unit 52 and recorded in the digest recording unit 53, and includes tag ID information of a tag used in the digest video.
  • FIG. 6 shows a state in which the processing of the tag F1 and the tag F2 is completed in the processing procedure described below.
  • FIG. 7 shows a state where the processing is completed in the processing procedure.
  • the storage tag list, digest candidate list, and created digest can be recorded on the recording medium 45 together with the moving image data.
  • the processing procedure of the digest processing unit 52 will be described with reference to FIGS. It is assumed that the digest processing unit 52 creates a digest video within 10 minutes with reference to the setting of the digest video setting time.
  • the digest video setting time is for the user to set the length of the digest video to be created in advance.
  • the digest processing unit 52 determines whether there is a tag F to be added to the recording tag list (step S210).
  • the digest processing unit 52 refers to the recording tag list in order from the top, and determines that there is a tag F1 (Yes in step S210).
  • the tag F1 is determined to be a tag using vital data and tag data input by the user (Yes in step S220).
  • the vital data values within the tag range are integrated (step S230).
  • the heart rate in the time range t1 to t2, which is the tag range of the tag F1 is integrated, and the integrated value 300 is calculated.
  • the integrated value of vital data is an index of the importance of the tag F.
  • the tag ID in the candidate list is compared with the vital data integrated value (step S240). In the case of the tag F1, since no other tag ID is recorded in the candidate list, the process proceeds to the next.
  • the tags F corresponding to the tag IDs in the candidate list are arranged in descending order of the integrated value of the vital data (step S250).
  • the tag F1 since no other tag F is recorded in the candidate list, the tag F1 is recorded and the process proceeds to the next.
  • it is determined whether the digest video set time has been exceeded step S260).
  • the tag time of the tag F1 is 3 minutes (180 seconds), and it is determined that it does not exceed the above-described digest video setting time of 10 minutes (No in step S260), and the process returns to step S210.
  • the digest processing unit 52 similarly determines that there is a tag F2 (Yes in step S210), determines that the tag F2 is a tag using vital data (Yes in step S220), and determines the tag F2
  • the integrated value 500 of the heart rate in the time range t3 to t4 which is the tag range is calculated (step S230).
  • the tag F1 in the candidate list is compared with the vital data integrated value (step S240), and the tag IDs of the candidate list are arranged in descending order of the vital data integrated value (step S250).
  • the integrated value of the tag F1 is 300
  • the integrated value of the tag F2 is 500
  • the tags F2 are arranged so as to be higher than the tag F1.
  • the tag time of the tag F2 is 4 minutes (240 seconds)
  • the tag time of the tag F1 is 3 minutes, and it is 7 minutes in total, and does not exceed the digest video setting time of 10 minutes. Judgment is made (No in step S260). As described above, FIG. 6 shows the state at this point, that is, the processing of the tags F1 and F2. Then, the process returns to step S210.
  • the digest processing unit 52 similarly calculates the integrated value 400 in the heart rate in the time range t5 to t6 that is the tag range of the tag F3 (steps S210 to S230). Then, the tag F2 and tag F1 in the candidate list are compared with the vital data integrated value (step S240), and the tag F in the candidate list is sorted in descending order of the vital data integrated value, that is, the tag F2, tag F3, and tag F1. They are arranged in order (step S250).
  • the tag time of the tag F3 is 4 minutes (240 seconds), the tag times of the tag F2 and the tag F1 are 4 minutes and 3 minutes, respectively, and the total time is 11 minutes. It is determined that it exceeds 10 minutes (Yes in step S260). Then, the tag ID having a small vital data integrated value is deleted from the candidate list until the set time is reached (step S270). Here, first, the tag F1 having a small vital data integrated value is deleted. As a result, the total tag time of the tags F2 and F3 becomes 8 minutes and falls within the set time, and the process returns to step S210.
  • the digest processing unit 52 similarly calculates the integrated value 140 in the heart rate in the time range t7 to t8, which is the tag time of the tag F4 (steps S210 to S230), and sets the tag ID of the candidate list as the vital data
  • the integrated values are arranged in descending order, tag F2, tag F3, and tag F4 in this order (steps S240 and S250).
  • the tag time of tag F4 is 2 minutes and 20 seconds (140 seconds), and the total tag time of tag F2 and tag F3 is 10 minutes and 20 seconds, so it is determined that the digest video set time has been exceeded.
  • the tag F4 having a small vital data integrated value is deleted, and the total tag time is set within the set time (steps S260 and S270), and the process returns to step S210.
  • the digest processing unit 52 determines that there is no next tag F (No in step S210)
  • the tag ID of the tag F remaining in the digest candidate list is recorded in the created digest, and the process ends.
  • FIG. 7 shows the time point, that is, the state where the processing is completed.
  • the tags F2 and F3 remaining in the digest candidate list are recorded as they are in the created digest.
  • the deleted tag F1 and tag F4 are also shown with a strikethrough (double line) for reference.
  • FIG. 8 is a diagram for explaining digest video data according to the present embodiment.
  • the original image data is shown on the upper side, and the digest video data is shown on the lower side.
  • the digest video setting time is infinite.
  • the tag times of the tags F1 to F4 are different, and it can be seen that a digest video is created by accurately extracting a range important for the user.
  • the digest creation system 1 can accurately extract a range important for a user from video data and create a digest video. Also, for the extracted range, By determining their importance, a digest video can be created within a set time.
  • the tag range processing unit 50 selects time t11 to time t22 as the time range in which the heart rate exceeds the threshold, and sets this time range as the tag range. It is also possible to select time t12 to time t21 corresponding to the inner sampling time as a range and set this time range as a tag range. Of course, it is possible to select time t11 to time t21 and time t12 to time t22 as the time range, and it is also possible to select an intersection to an intersection where the heart rate exceeds the threshold value. In that case, the intersection may be calculated, and the number of moving image samplings and the number of vital data samplings may be the same.
  • the tag range processing unit 50 fixes the heart rate threshold value for setting the tag range. However, depending on the situation, for example, for each user or each scene. You may be able to set. Further, the threshold value may be changed at any time so that the tag range can be adjusted even after moving image data is recorded.
  • the tag range processing unit 50 when the tag range processing unit 50 is in a time range in which the heart rate is equal to or greater than a predetermined value and the user inputs a tag within the time range,
  • the time range is set as the tag range
  • a predetermined time before and after the tag input by the user For example, three seconds before and after the tag may be set as the tag range.
  • the user may be able to select a time range in which the heart rate is equal to or greater than a predetermined value or a predetermined time before and after the tag.
  • the heart rate is used as vital data.
  • data other than the heart rate for example, data indicating the degree of excitement of the user may be used as vital data.
  • the vital data is a time range such as the predetermined value or less or less than the predetermined value
  • the user inputs the tag F within the time range the time range is set as the tag F tag range. May be set.
  • the digest processing unit 52 determines the importance of the tag F using the integrated value of the heart rate (vital data), but the heart rate above the threshold value.
  • the importance of the tag F may be determined using the integral value of the number, that is, the integral value of “the value obtained by subtracting the threshold value from the heart rate”.
  • the magnitude of the absolute value of the peak of vital data the sharpness of the peak of vital data (the magnitude of change rate)
  • the number of tags F per unit time (tag density)
  • the importance of the tag F may be determined using the length of the tag range (length of tag time) or the like.
  • the threshold value of the heart rate for setting the tag range of the tag F is fixed, but the threshold value is set according to the situation such as for each user or for each scene. It may be settable. Further, the threshold value may be changed at any time so that the tag range of the tag F can be adjusted even after moving image data is recorded.
  • the digest production system 1 which concerns on this Embodiment was set as the structure provided with the sensor apparatus 2, the tag input device 3, the imaging device 4, etc., the structure by which an imaging device serves as a sensor apparatus and a tag input device, or imaging The device may be configured to serve as either a sensor device or a tag input device. That is, the digest creation system may be configured as a digest creation device or a tagging device.
  • the digest creation system 1 is configured so that the user's vital data and input tag when the user is shooting using the imaging device 4, that is, when the user is recording moving image data.
  • the digest range was created by setting the tag range based on the data, but when the user is viewing or editing the video using an image processing device or the like, that is, the user is playing back the video data
  • a digest range may be created by setting a tag range based on the user's vital data and input tag data.
  • the digest creation apparatus according to the present embodiment is not limited to the imaging apparatus, and may be an image processing apparatus or the like.
  • the tagging device 4 continuously receives the imaging unit 42 that captures a subject and outputs moving image data, and the user's vital data that records or reproduces the moving image data.
  • the time corresponding to the timing data is included in the time range in which the vital data received by the data communication unit 47 is greater than or equal to a preset value, the time range tm ⁇ and a tag range processing unit 50 for setting tn to the tag ranges tm to tn.
  • the tagging device 4 includes a tag recording unit 51 that assigns a tag within a tag range and records the assigned tag data.
  • the tagging system 1 includes a sensor device 2 that measures user vital data and outputs the data to the data communication unit 47, a tag input device 3 that outputs timing data to the data communication unit 47, and a tagging device. 4.
  • the digest creation device 4 includes a data communication unit 47 that continuously receives vital data of a user who performs recording or reproduction of moving image data and receives timing data of tag input of the user, and data communication.
  • a tag range processing unit 50 for setting the time ranges tm to tn to the tag ranges tm to tn when the time range corresponding to the timing data is included in the time range in which the vital data received by the unit 47 is equal to or greater than a preset value.
  • a digest processing unit 52 that creates a digest video of the moving image data based on the tag range set by the tag range processing unit 50.
  • the digest processing unit 52 includes a tag range when there are a plurality of tag ranges. Create digest video from multiple tag ranges based on the importance of vital data in It is to select a tag range order.
  • the digest creation device 4 calculates the importance of vital data in the digest processing unit 52 by integrating vital data values within the tag range.
  • the digest creation system 1 according to the present embodiment also includes a sensor device 2 that measures user vital data and outputs it to the data communication unit 47, and a tag that outputs timing data of tag input by the user to the data communication unit 47.
  • An input device 3 and a digest creation device 4 are provided.
  • the digest creation system 1 uses the user's vital data and the tag timing data input by the user to set the tag range with high accuracy in the important range of the shooting data, and displays the digest video. Created and has industrial applicability.
  • Digest processing unit 1 Digest creation system (tagging system) 2 Sensor device 3 Tag input device 4 Imaging device (digest creation device, tagging device) 42 Imaging unit 47 Data communication unit 50 Tag range processing unit 51 Tag recording unit 52 Digest processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　タギング装置（４）は、被写体を撮像し動画データを出力する撮像部（４２）と、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともにユーザのタグ入力のタイミングデータを受け付けるデータ通信部（４７）と、データ通信部（４７）で受け付けたバイタルデータが予め設定された値以上である時間範囲にタイミングデータに対応する時間が含まれる場合に、時間範囲ｔｍ～ｔｎをタグ範囲ｔｍ～ｔｎに設定するタグ範囲処理部（５０）とを備える。

Description

タギング装置、タギングシステム、タギング方法、ダイジェスト作成装置及びダイジェスト作成システム
　本発明はタギング装置、タギングシステム、タギング方法、ダイジェスト作成装置及びダイジェスト作成システムに関する。
　動画データにタギング（tagging、タグ付け）をして、当該動画データを後で編集したり、また、当該動画データ中のタギングしたフレームだけを記録したりすることが行われている。例えば、特許文献１には、画像記録装置において、生体情報に基づいてフラグＦ１を立てたフレーム、すなわち、生体情報に基づいてタギングしたフレームだけを記録部に記録することが記載されている。
　また、動画データからダイジェスト映像を作成することが行われている。例えば、特許文献２には、ハイライト静止画生成・配信装置において、カメラで撮影した映像からハイライトシーン動画像を切り出し、当該動画像から重要なシーンをハイライト静止画像として抽出することが記載されている。
特開２０１４－１９２７５５号公報 特開２００５－１９１７７０号公報
　背景技術に係る画像記録装置では、タギングにより動画データの重要性を明らかにすることができるが、そのフレーム数は固定されており、重要なフレームがもれることがあった。
　タギング方法には、録画中又は視聴中に、ユーザがボタンなどを押してタグを付ける方法もあるが、このような方法では、どこからどこまでが重要な場面なのか、その範囲を明らかにすることができなかった。
　また、背景技術に係るハイライト静止画生成・配信装置により、重要なシーンを抽出することができる。しかしながら、当該装置は撮影中の動画においてハイライトとして抽出する箇所をセンサ信号や人手によって指定するものであり、動画データからユーザにとって重要な範囲を必ずしも精度良く抽出することができていなかった。
　本発明は、このような問題を解決するためになされたものであり、動画データの重要な場面に精度良くタグ範囲を設定し、タグ付与することができるタギング装置、タギングシステム及びタギング方法を提供することを目的とする。
　また、本発明は、動画データからユーザにとって重要な範囲を精度良く抽出してダイジェスト映像を作成することができるダイジェスト作成装置及びダイジェスト作成システムを提供することを目的とする。
　そこで、本実施の形態は、被写体を撮像し動画データを出力する撮像部と、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信部と、データ通信部で受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理部とを備えるタギング装置を提供する。
　また、本実施の形態は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信ステップと、データ通信ステップで受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理ステップとを有するタギング方法を提供する。
　また、本実施の形態は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信部と、データ通信部で受け付けたバイタルデータが予め設定された値以上である時間範囲にタイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理部と、タグ範囲処理部で設定されたタグ範囲に基づいて、動画データのダイジェスト映像を作成するダイジェスト処理部とを備え、ダイジェスト処理部は、タグ範囲が複数存在する際に、タグ範囲におけるバイタルデータの重要度に基づいて、複数のタグ範囲からダイジェスト映像を作成するためのタグ範囲を選択するダイジェスト作成装置を提供する。
　本実施の形態は、動画データの重要な場面に精度良くタグ範囲を設定し、タグ付与するタギング装置、タギングシステム及びタギング方法を提供することができる。
　また、本実施の形態は、動画データからユーザにとって重要な範囲を精度良く抽出してダイジェスト映像を作成するダイジェスト作成装置及びダイジェスト作成システムを提供することができる。
実施の形態に係るダイジェスト作成システム１の概略構成を示すブロック図である。 実施の形態に係る心拍数の時間変化と、バイタルデータ（心拍数）及びユーザが入力したタグデータを用いて設定されたタグ範囲との関係を示す図である。 本実施の形態に係る心拍数の時間変化と、タグ範囲との詳細な関係を示す図である。 実施の形態に係るタグ範囲処理部５０の詳細な処理手順を示すフローチャートである。 実施の形態に係るダイジェスト処理部５２の処理手順を示すフローチャートである。 実施の形態に係るダイジェスト処理部５２の処理内容を説明するための図である。 実施の形態に係るダイジェスト処理部５２の処理内容を説明するための図である。 実施の形態に係るダイジェスト映像データを説明するための図である。
　以下、図面を参照して本実施の形態に係るダイジェスト作成システムについて説明する。
　本実施の形態に係るダイジェスト作成システムは、ユーザがスポーツの試合などを撮影しているときに、当該ユーザのバイタルデータ（生体情報）と、当該ユーザが重要なシーンで入力したタグのタイミングデータとを用いて、撮影データの重要な範囲に精度良くタグ範囲を設定して、ダイジェスト映像を作成するものである。
　まず、本実施の形態に係るダイジェスト作成システムの構成について説明する。
　図１は本実施の形態に係るダイジェスト作成システム１の概略構成を示すブロック図である。
　ダイジェスト作成システム（又は、タギングシステム）１は、センサ装置２、タグ入力装置３、撮像装置４などを備える。センサ装置２と撮像装置４との間、及び、タグ入力装置３と撮像装置４との間は、無線又は有線により通信を行うことができる。
　センサ装置２は、ユーザ（図示せず）が撮像装置４で撮影しているときに、当該ユーザのバイタルデータである心拍数を測定するものである。センサ装置２は、センサ本体２１、センサ制御部２２、センサデータ処理部２３、ＣＰＵ２４などの一般的なセンサ装置が備える構成に加えて、測定した心拍数をリアルタイムで撮像装置４に送信するデータ通信部２５を備えている。
　タグ入力装置３は、ユーザが撮像装置４で撮影して、撮影データにタグを付けた方が良いと思うとき、例えば、サッカーの試合であればゴールの瞬間などに、ボタンなどを押してタグを入力するものである。タグ入力装置３は、ボタン、画面などのキー入力部３１、キー制御部３２、入力タグデータ処理部３３、ＣＰＵ３４などの一般的なタグ入力装置が備える構成に加えて、ユーザが入力したタグのデータである入力タグデータをリアルタイムで撮像装置４に送信するデータ通信部３５を備えている。
　撮像装置（ダイジェスト作成装置、又は、タギング装置）４は、ビデオカメラ、デジタルカメラなどのような動画像を撮影できるものである。撮像装置４は、イメージセンサ４１、撮像部４２、画像データ処理部４３、データ出力部４４、記録媒体４５、ＣＰＵ４６などの一般的な撮像装置が備える構成に加えて、データ通信部４７、センサデータ記録部４８、タグ制御部４９、タグ範囲処理部５０、タグ記録部５１、ダイジェスト処理部５２、ダイジェスト記録部５３などを備えている。
　データ通信部４７は、センサ装置２のデータ通信部２５が送信したセンサデータ、タグ入力装置３のデータ通信部３５が送信した入力タグデータなどを受信する。また、データ通信部４７は、センサ装置２、タグ入力装置３などに対して、動作開始のタイミングを制御する信号などを送信しても良い。つまり、センサ装置２のデータ通信部２５、及びタグ入力装置３のデータ通信部３５は、撮像装置４のデータ通信部４７と一方向又は双方向で制御信号、ステータス通知信号などの通信を行っても良い。
　センサデータ記録部４８は、センサ装置２から受信したセンサデータを記録する。
　タグ制御部４９は、撮像装置４におけるタグ付与動作（タギング方法）の全体を制御する。
　タグ範囲処理部５０は、受信したセンサデータ及び入力タグデータを用いて、撮像装置４が撮影した動画データの適切な範囲、例えば、タグが記録されたタイミングで、バイタルデータが予め設定した閾値以上である場合、その閾値以上である期間をタグ範囲に設定する。タグ範囲処理部５０は、このようなタグ範囲の設定を撮影中に行うことができる。さらに、動画再生時にタグ範囲の設定を行っても良い。
　タグ記録部５１は、受信したセンサデータ、入力タグデータ、設定したタグ範囲を動画データに関連付けて撮影中または動画再生中に記録する。また、タグ記録部５１は設定したタグ範囲内にタグ付与してそのタイミングデータを記録する。
　入力タグデータには、例えば、ユーザがタグを入力した時刻や、撮像装置４がタグ入力を受信した時刻が含まれる。時刻でなくても、センサ装置２、タグ入力装置３及び撮像装置４が録画開始などの何らかの同期するタイミングを共有できれば、その時点からの経過時間の情報でも代用が可能である。
　なお、センサ装置２、タグ入力装置３及び撮像装置４が時計を内蔵しているのであれば、センサ装置２、タグ入力装置３は測定した心拍数、入力タグデータをリアルタイムで撮像装置４に送信する必要はない。後で、それぞれの時計情報に基づいて、動画データ、バイタルデータ及び入力タグデータのタイミングを合わせることが可能である。
　受信したセンサデータ、入力タグデータ、設定したタグの範囲のデータ、及び、これらと関連付けられた動画データなどは記録媒体４５に記録されることもある。
　ダイジェスト処理部５２は、タグ範囲処理部５０が設定したタグの範囲に基づいて、ダイジェスト映像を作成する。
　ダイジェスト記録部５３は、ダイジェスト処理部５２が作成したダイジェスト映像に関するデータなどを動画データに関連付けて記憶する。
　なお、撮像装置４が実現する各構成要素は、ＣＰＵ４６の制御によって、プログラムを実行させることによって実現できる。より具体的には、撮像装置４は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、ＣＰＵ４６の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。
　上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、撮像装置４に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
　また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって撮像装置４に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを撮像装置４に供給できる。
　続いて、本実施の形態に係るダイジェスト作成システム１の動作、すなわち、ダイジェスト作成方法について説明する。
　まず、タグ範囲処理部５０のタグ範囲設定動作の概要について説明する。タグ範囲処理部５０は、上述したように、受信したセンサデータ及び入力タグデータを用いて、撮像装置４が撮影した動画データの適切な範囲にタグを設定するものである。
　図２は本実施の形態に係る心拍数の時間変化と、バイタルデータ（心拍数）及びユーザが入力したタグデータを用いて設定されたタグ範囲との関係を示す図である。
　心拍数のグラフ及び入力タグデータであるタグＦ（本実施形態ではタグＦ１～タグＦ４）を示したものを上部に、入力タグデータから設定したタグＦの範囲を動画データに関連付けたもの（タグ範囲）を下部に示している。心拍数のグラフの横軸は時刻、縦軸は心拍数を示す。また、心拍数７５付近の横線はタグＦのタグ範囲を設定するための閾値を示す。また、心拍数４０付近に記入している横方向の矢印及び「平常」「緊張」等の文字は、そのときのユーザの状態を説明するためのものである。
　図２に示した心拍数の例では、ユーザの状態はゲーム開始からゲーム終了までの間に心拍数の変化から、平常状態、緊張状態もしくは興奮状態、そして平常（緩和）状態へと変化する。緊張状態又は興奮状態のときに、心拍数の４つのピーク（１～４）が生じ、それぞれのピークにおいてユーザはタグＦ１～タグＦ４を入力している。
　タグ範囲処理部５０は、心拍数が所定値（ここでは、閾値の７５）以上の時間範囲であって、当該時間範囲内でユーザがタグＦを入力している場合に、当該時間範囲をユーザが入力したタグＦのタグ範囲として設定する。当該時間範囲のフレームに対してタグを付与しても良い。
　例えば、第１のピークについては、時間範囲ｔ１～ｔ２において、心拍数が所定値を超え、かつ、ユーザがタグＦ１を入力しているので、時間範囲ｔ１～ｔ２をタグＦ１のタグ範囲に設定する。また、第２のピークについては、時間範囲ｔ３～ｔ４において、心拍数が所定値を超え、かつ、ユーザがタグＦ２を入力しているので、時間範囲ｔ３～ｔ４をタグＦ２のタグ範囲に設定する。第３、４のピークについても同様である。
　そして、タグ範囲処理部５０は、タグＦと当該タグＦのタグ範囲とその時間範囲（タグ時間）とを記録タグリストとして、タグ記録部５１に記録する。
　なお、タグ範囲処理部５０は、心拍数が所定値以上の時間範囲があっても、当該時間範囲内でユーザがタグＦを入力していない場合には、タグ範囲を設定しない。
　また、タグ範囲処理部５０は、ユーザがタグＦを入力していても、心拍数が所定値以上でない場合には、デフォルト、又はユーザが設定した時間やフレーム数でタグ範囲を設定する。
　次に、タグ範囲処理部５０の詳細な処理手順について説明する。
　図３は本実施の形態に係る心拍数の時間変化と、タグ範囲との詳細な関係を示す図である。心拍数のグラフを上に、タグ範囲を下に示している。グラフ中の横点線は閾値を示し、横点線上の等間隔の点は心拍数のサンプリング点、すなわち、サンプリング時間を示している。なお、心拍数のサンプリングは例えば１秒間隔で行う。
　図４は本実施の形態に係るタグ範囲処理部５０の詳細な処理手順を示すフローチャートである。
　図３及び図４を参照しながら、タグ範囲処理部５０の詳細な処理手順について説明する。
　まず、処理を開始すると、まずバイタルデータの状態を示すステータスを「閾値未満」に設定し（ステップＳ１０）、「前バイタルデータ時間値」を記録開始時間ｔ０に初期化する（ステップＳ２０）。
　サンプリング時間ｔ０において、ステータスが「閾値以上」か判断する（ステップＳ３０）。時間ｔ０では、ステータスはステップＳ１０で設定した「閾値未満」のままなので（ステップＳ３０のＮｏ）、時間ｔ０の受信したバイタルデータがあるか判断する（ステップＳ４０）。
　時間ｔ０では受信したバイタルデータがあるので（ステップＳ４０のＹｅｓ）、時間ｔ０のバイタルデータの値が閾値以上か判断する（ステップＳ５０）。図３に示すように、時間ｔ０のバイタルデータの値は閾値未満なので（ステップＳ５０のＮｏ）、現在のバイタルデータ時間ｔ０を「前バイタルデータ時間値」として保存する（ステップＳ８０）。そして、ステップＳ３０に戻る。ｔ１１までは平常状態つまりバイタルデータが閾値未満のため、同様な処理を繰り返すことになる。
　サンプリング時間ｔ１２になると、ステータスが「閾値未満」で、ｔ１２のバイタルデータがあるので（ステップＳ３０のＮｏ、ステップＳ４０のＹｅｓ）、時間ｔ１２のバイタルデータの値が閾値以上か判断する（ステップＳ５０）。図３に示すように、時間ｔ１２のバイタルデータの値は閾値以上なので（ステップＳ５０のＹｅｓ）、「前バイタルデータ時間値」、ここでは、ステップＳ８０で保存した時間ｔ１１を「タグ範囲開始時間値」として保存し（ステップＳ６０）、ステータスを「閾値以上」に設定し（ステップＳ７０）、現在のバイタルデータ時間ｔ１２を「前バイタルデータ時間値」として保存して（ステップＳ８０）、ステップＳ３０に戻る。
　次に、サンプリング時間ｔ１３になると、ステップＳ７０で設定したようにステータスが「閾値以上」であるので（ステップＳ３０のＹｅｓ）、時間ｔ１３のバイタルデータがあるか判断する（ステップＳ９０）。
　時間ｔ１３では受信したバイタルデータがあるので（ステップＳ９０のＹｅｓ）、時間ｔ１３のバイタルデータの値が閾値以上か判断する（ステップＳ１００）。図３に示すように、時間ｔ１３のバイタルデータの値は閾値以上なので（ステップＳ１００のＹｅｓ）、現在のバイタルデータ時間ｔ１３を「前バイタルデータ時間値」として保存し（ステップＳ８０）、ステップＳ３０に戻る。
　そして、サンプリング時間ｔ２１までは、時間ｔ１３のときの処理と同じ処理が継続する。
　次に、サンプリング時間ｔ２２になると、ステータスが「閾値以上」で、時間ｔ２２の受信したバイタルデータがあるので（ステップＳ３０のＹｅｓ、ステップＳ９０のＹｅｓ）、時間ｔ２２のバイタルデータの値が閾値以上か判断する（ステップＳ１００）。図３に示すように、時間ｔ２２のバイタルデータの値は閾値未満なので（ステップＳ１００のＮｏ）、現在のバイタルデータ時間ｔ２２を「タグ範囲終了時間値」として保存し（ステップＳ１１０）、タグ記録要求はあるか、すなわち、バイタルデータの値が閾値以上のときにタグを入力しているか判断する（ステップＳ１２０）。図３に示すように、時間ｔ１６と時間ｔ１７との間にユーザがタグＦを入力しているので（ステップＳ１２０のＹｅｓ）、ステップＳ６０、Ｓ１１０で得られたタグ範囲の「タグ範囲開始時間値」ｔ１１～「タグ範囲終了時間値」ｔ２２でタグＦを記録し（ステップＳ１３０）、ステータスを「閾値未満」に設定し（ステップＳ１４０）、現在のバイタルデータ時間ｔ２２を「前バイタルデータ時間値」として保存し（ステップＳ８０）、ステップＳ３０に戻る。
　次に、サンプリング時間ｔ２５になると、ステータスが「閾値未満」で、時間ｔ２５のバイタルデータもないので（ステップＳ３０のＮｏ、ステップＳ４０のＮｏ）、処理を終了する。
　なお、現在のバイタルデータ時間ｔを「タグ範囲終了時間値」として保存し（ステップＳ１１０）、タグ記録要求がないとき、すなわち、ユーザがタグを入力していないときは（ステップＳ１２０のＮｏ）、ステータスを「閾値未満」に設定する（ステップＳ１４０）。つまり、上述したように、心拍数が所定値以上の時間範囲があっても、当該時間範囲内でユーザがタグを入力していない場合には、当該時間範囲をタグ範囲に設定しない。
　また、ステータスが「閾値以上」で、その時間ｔのバイタルデータがないときは（ステップＳ３０のＹｅｓ、ステップＳ９０のＮｏ）、記録終了時間を「タグ範囲終了時間値」として保存し（ステップＳ１５０）、ステップＳ１２０、Ｓ１３０と同様に、タグ記録要求があるときは、得られたタグ範囲でタグＦを記録して処理を終了し、タグ記録要求がないときは、そのまま処理を終了する。
　このようにして、タグ範囲処理部５０は動画データの重要範囲に精度良くタグ範囲を設定することができる。
　次に、ダイジェスト処理部５２の動作について説明する。
　図５は本実施の形態に係るダイジェスト処理部５２の処理手順を示すフローチャートである。
　図６、７は本実施の形態に係るダイジェスト処理部５２の処理内容を説明するための図である。図６、７ではそれぞれその左側から記録タグリスト、ダイジェスト候補リスト、作成ダイジェストを示す。
　記録タグリストは、上述のようにタグ範囲処理部５０が作成してタグ記録部５１に記録するもので、タグ範囲処理部５０が設定したタグのタグＩＤ、タグ開始時間、タグ時間などの情報を含む。ダイジェスト候補リストは、ダイジェスト処理部５２が作成し、ダイジェスト処理部５２の内部にある記憶部又はダイジェスト記録部５３に記録するもので、ダイジェスト映像で用いる可能性があるタグのタグＩＤ、各タグのバイタルデータ積算値、各タグのタグ時間などの情報を含む。
　作成ダイジェストは、ダイジェスト処理部５２が作成し、ダイジェスト記録部５３に記録するもので、ダイジェスト映像で用いるタグのタグＩＤの情報を含む。
　なお、図６は、次に説明する処理手順において、タグＦ１、タグＦ２の処理が終わった状態を示している。図７は、同処理手順において、処理が終了した状態を示している。
　また、記憶タグリスト、ダイジェスト候補リスト及び作成ダイジェストは動画データと一緒に記録媒体４５に記録することもできる。
　図５～図７を参照しながら、ダイジェスト処理部５２の処理手順について説明する。ダイジェスト処理部５２は、ダイジェスト映像設定時間の設定を参照して１０分以内のダイジェスト映像を作成するものとする。ダイジェスト映像設定時間は、作成したいダイジェスト映像の長さをユーザがあらかじめ設定するものである。
　まず、処理を開始すると、ダイジェスト処理部５２は記録タグリストに追加するタグＦがあるか判断する（ステップＳ２１０）。ダイジェスト処理部５２は記録タグリストをその上から順番に参照し、タグＦ１があると判断する（ステップＳ２１０のＹｅｓ）。
　そして、当該タグＦがバイタルデータとユーザが入力したタグデータとを用いて設定されたタグであるかを判断する（ステップＳ２２０）。タグＦ１はバイタルデータとユーザが入力したタグデータとを利用したタグであると判断する（ステップＳ２２０のＹｅｓ）。
　そして、タグ範囲内のバイタルデータ値を積算する（ステップＳ２３０）。ここでは、タグＦ１のタグ範囲である時間範囲ｔ１～ｔ２の心拍数を積算し、積算値３００を算出する。バイタルデータの積算値はタグＦの重要度の指標である。
　そして、候補リストにあるタグＩＤとバイタルデータ積算値を比較する（ステップＳ２４０）。タグＦ１のときには、候補リストに他のタグＩＤが記録されていないので次に進む。
　そして、候補リストのタグＩＤに対応するタグＦをバイタルデータの積算値の大きい順に並べる（ステップＳ２５０）。タグＦ１のときには、候補リストに他のタグＦが記録されていないので、タグＦ１を記録して次に進む。
　そして、ダイジェスト映像設定時間を超えたか判断する（ステップＳ２６０）。タグＦ１のタグ時間は３分（１８０秒）であり、上述したダイジェスト映像設定時間の１０分を超えていないと判断し（ステップＳ２６０のＮｏ）、ステップＳ２１０に戻る。
　次に、ダイジェスト処理部５２は、同様に、タグＦ２があると判断し（ステップＳ２１０のＹｅｓ）、タグＦ２はバイタルデータを利用したタグであると判断し（ステップＳ２２０のＹｅｓ）、タグＦ２のタグ範囲である時間範囲ｔ３～ｔ４における心拍数の積算値５００を算出する（ステップＳ２３０）。
　そして、候補リストにあるタグＦ１とバイタルデータ積算値を比較し（ステップＳ２４０）、候補リストのタグＩＤをバイタルデータの積算値の大きい順に並べる（ステップＳ２５０）。ここでは、タグＦ１の積算値が３００であり、タグＦ２の積算値が５００であり、タグＦ２がタグＦ１よりも上に来るように並べる。
　そして、タグＦ２のタグ時間は４分（２４０秒）であり、タグＦ１のタグ時間は３分であり、合計しても７分であって、ダイジェスト映像設定時間の１０分を超えていないと判断する（ステップＳ２６０のＮｏ）。上述したように、図６は、この時点、つまり、タグＦ１、タグＦ２の処理が終わった状態を示している。そして、ステップＳ２１０に戻る。
　次に、ダイジェスト処理部５２は、同様に、タグＦ３のタグ範囲である時間範囲ｔ５～ｔ６の心拍数における積算値４００を算出する（ステップＳ２１０～Ｓ２３０）。
　そして、候補リストにあるタグＦ２、タグＦ１とバイタルデータ積算値を比較し（ステップＳ２４０）、候補リストのタグＦをバイタルデータの積算値の大きい順、つまり、タグＦ２、タグＦ３、タグＦ１の順に並べる（ステップＳ２５０）。
　そして、タグＦ３のタグ時間は、４分（２４０秒）であり、タグＦ２、タグＦ１のタグ時間はそれぞれ４分、３分であり、合計して１１分になるので、ダイジェスト映像設定時間の１０分を超えていると判断する（ステップＳ２６０のＹｅｓ）。
　そして、設定時間に収まるまでバイタルデータ積算値の小さいタグＩＤを候補リストから削除する（ステップＳ２７０）。ここでは、まずバイタルデータ積算値の小さいタグＦ１を削除する。これにより、タグＦ２、タグＦ３のタグ時間の合計が８分となって設定時間に収まるので、ステップＳ２１０に戻る。
　次に、ダイジェスト処理部５２は、同様に、タグＦ４のタグ時間である時間範囲ｔ７～ｔ８の心拍数における積算値１４０を算出し（ステップＳ２１０～Ｓ２３０）、候補リストのタグＩＤをバイタルデータの積算値の大きい順、タグＦ２、タグＦ３、タグＦ４の順に並べる（ステップＳ２４０、Ｓ２５０）。
　そして、タグＦ４のタグ時間は２分２０秒（１４０秒）であり、タグＦ２、タグＦ３のタグ時間と合計して１０分２０秒になるので、ダイジェスト映像設定時間を超えていると判断し、バイタルデータ積算値の小さいタグＦ４を削除してタグ時間の合計を設定時間に収め（ステップＳ２６０、Ｓ２７０）、ステップＳ２１０に戻る。
　そして、ダイジェスト処理部５２は、次のタグＦがないと判断すると（ステップＳ２１０のＮｏ）、ダイジェスト候補リストに残っているタグＦのタグＩＤを作成ダイジェストに記録して処理を終了する。図７は、この時点、つまり、処理が終了した状態を示している。ダイジェスト候補リストに残っているタグＦ２、タグＦ３が、そのまま作成ダイジェストに記録されている。なお、図５では参考のために、削除したタグＦ１、タグＦ４も取り消し線（二重線）を付けて示している。
　また、ダイジェスト処理部５２は、タグＦがバイタルデータを利用したタグではないと判断したときは（ステップＳ２２０のＮｏ）、ステップＳ１０に戻るようにしている。
　図８は本実施の形態に係るダイジェスト映像データを説明するための図である。上側に元の撮影データを示し、下側にダイジェスト映像データを示す。ここではダイジェスト映像設定時間を無限大としている。
　ダイジェスト映像データでは、タグＦ１～タグＦ４のタグ時間が異なっており、ユーザにとって重要な範囲を精度良く抽出してダイジェスト映像を作成していることが分かる。
　本実施の形態に係るダイジェスト作成システム１は、このように、動画データからユーザにとって重要な範囲を精度良く抽出してダイジェスト映像を作成することができるものであり、また、抽出した範囲についても、それらの重要度を判別して、設定された時間内でダイジェスト映像を作成することができるものである。
　なお、本実施の形態に係るダイジェスト作成システム１では、タグ範囲処理部５０が心拍数が閾値を超える時間範囲として時間ｔ１１～時間ｔ２２を選択し、この時間範囲をタグ範囲として設定したが、時間範囲としてそれぞれ一つ内側のサンプリング時間に対応する時間ｔ１２～時間ｔ２１を選択し、この時間範囲をタグ範囲として設定しても良い。もちろん、時間範囲として時間ｔ１１～時間ｔ２１、時間ｔ１２～時間ｔ２２を選択することも可能であり、さらに、心拍数が閾値を超える交点～交点を選択することも可能である。その際は交点を算出しても良く、動画のサンプリング数とバイタルデータのサンプリング数を同じにしても良い。
　また、本実施の形態に係るダイジェスト作成システム１では、タグ範囲処理部５０がタグ範囲を設定するための心拍数の閾値を固定にしていたが、ユーザ毎、シーン毎などのように状況に応じて設定できるようにしても良い。また、この閾値をいつでも変更できるようにして、動画データを記録した後でもタグ範囲を調整できるようにしても良い。
　また、本実施の形態に係るダイジェスト作成システム１では、タグ範囲処理部５０が心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定したが、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、ユーザが入力したタグの前後の所定時間、例えば、当該タグの前後それぞれ３秒間をタグ範囲として設定して良い。もちろん、心拍数が所定値以上の時間範囲又はタグの前後の所定時間をユーザが選択できるようにしても良い。
　また、本実施の形態に係るダイジェスト作成システム１では、バイタルデータとして心拍数を用いたが、バイタルデータとして心拍数以外のデータ、例えば、ユーザの興奮の度合いを示すようなデータを用いても良く、このときは、バイタルデータが所定値以下又は所定値未満などの時間範囲であって、当該時間範囲内にユーザがタグＦを入力している場合に、当該時間範囲をタグＦのタグ範囲として設定しても良い。
　また、本実施の形態に係るダイジェスト作成システム１では、ダイジェスト処理部５２が、心拍数（バイタルデータ）の積分値を用いてタグＦの重要度を判断していたが、閾値より上にある心拍数の積分値、つまり、「心拍数から閾値を差し引いた値」の積分値を用いてタグＦの重要度を判断しても良い。また、バイタルデータの積分値以外にも、バイタルデータのピークの絶対値の大きさ、バイタルデータのピークの急峻性（変化率の大きさ）、単位時間当たりのタグＦの数（タグ密度）、タグ範囲の長さ（タグ時間の長さ）などを用いて、タグＦの重要度を判断しても良い。
　また、本実施の形態に係るダイジェスト作成システム１では、タグＦのタグ範囲を設定するための心拍数の閾値を固定にしていたが、ユーザ毎、シーン毎などのように状況に応じて閾値を設定できるようにしても良い。また、この閾値をいつでも変更できるようにして、動画データを記録した後でもタグＦのタグ範囲を調整できるようにしても良い。
　また、本実施の形態に係るダイジェスト作成システム１は、センサ装置２、タグ入力装置３、撮像装置４などを備える構成としたが、撮像装置がセンサ装置及びタグ入力装置を兼ねる構成、又は、撮像装置がセンサ装置、タグ入力装置の一方を兼ねる構成としても良い。すなわち、ダイジェスト作成システムをダイジェスト作成装置又はタギング装置として構成するようにしても良い。
　また、本実施の形態に係るダイジェスト作成システム１は、ユーザが撮像装置４を用いて撮影しているときの、すなわち、ユーザが動画データを記録しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定しダイジェスト映像を作成していたが、ユーザが画像処理装置などを用いて動画を視聴又は編集しているときなどの、すなわち、ユーザが動画データを再生しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定しダイジェスト映像を作成しても良い。このため、本実施の形態に係るダイジェスト作成装置も撮像装置に限るものではなく、画像処理装置などであっても良い。
　上述したように、本実施の形態に係るタギング装置４は、被写体を撮像し動画データを出力する撮像部４２と、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともにユーザのタグ入力のタイミングデータを受け付けるデータ通信部４７と、データ通信部４７で受け付けたバイタルデータが予め設定された値以上である時間範囲にタイミングデータに対応する時間が含まれる場合に、時間範囲ｔｍ～ｔｎをタグ範囲ｔｍ～ｔｎに設定するタグ範囲処理部５０とを備えるものである。
　また、本実施の形態に係るタギング装置４は、タグ範囲内にタグ付与し、付与したタグデータを記録するタグ記録部５１を備えるものである。
　また、本実施の形態に係るタギングシステム１は、ユーザのバイタルデータを計測しデータ通信部４７に出力するセンサ装置２と、タイミングデータをデータ通信部４７に出力するタグ入力装置３と、タギング装置４とを備えるものである。
　また、本実施の形態に係るダイジェスト作成装置４は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信部４７と、データ通信部４７で受け付けたバイタルデータが予め設定された値以上である時間範囲にタイミングデータに対応する時間が含まれる場合に、時間範囲ｔｍ～ｔｎをタグ範囲ｔｍ～ｔｎに設定するタグ範囲処理部５０と、タグ範囲処理部５０で設定されたタグ範囲に基づいて、動画データのダイジェスト映像を作成するダイジェスト処理部５２とを備え、ダイジェスト処理部５２は、タグ範囲が複数存在する際に、タグ範囲におけるバイタルデータの重要度に基づいて複数のタグ範囲からダイジェスト映像を作成するためのタグ範囲を選択するものである。
　また、本実施の形態に係るダイジェスト作成装置４は、ダイジェスト処理部５２におけるバイタルデータの重要度をタグ範囲内のバイタルデータ値の積算により算出するものである。
　また、本実施の形態に係るダイジェスト作成システム１は、ユーザのバイタルデータを計測しデータ通信部４７に出力するセンサ装置２と、当該ユーザによるタグ入力のタイミングデータをデータ通信部４７に出力するタグ入力装置３と、ダイジェスト作成装置４とを備えるものである。
　この出願は、２０１５年６月１２日に出願された日本出願特願２０１５－１１８８５８及び日本出願特願２０１５－１１８８５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　実施の形態に係るダイジェスト作成システム１は、ユーザのバイタルデータと、当該ユーザが入力したタグのタイミングデータとを用いて、撮影データの重要な範囲に精度良くタグ範囲を設定して、ダイジェスト映像を作成するもので、産業上の利用可能性を有する。
１　　ダイジェスト作成システム（タギングシステム）
２　　センサ装置
３　　タグ入力装置
４　　撮像装置（ダイジェスト作成装置、タギング装置）
４２　　撮像部
４７　　データ通信部
５０　　タグ範囲処理部
５１　　タグ記録部
５２　　ダイジェスト処理部

Claims (7)

  1. 　被写体を撮像し動画データを出力する撮像部と、
    　動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに前記ユーザのタグ入力のタイミングデータを受け付けるデータ通信部と、
    　前記データ通信部で受け付けた前記バイタルデータが予め設定された値以上である時間範囲に前記タイミングデータに対応する時間が含まれる場合に、前記時間範囲をタグ範囲に設定するタグ範囲処理部と、
    　を備えるタギング装置。
  2. 　前記タグ範囲内にタグ付与し、前記付与したタグデータを記録するタグ記録部
    　を備える請求項１に記載のタギング装置。
  3. 　前記ユーザの前記バイタルデータを計測し前記データ通信部に出力するセンサ装置と、
    　前記タイミングデータを前記データ通信部に出力するタグ入力装置と、
    　請求項１または請求項２に記載のタギング装置と、
    　を備えるタギングシステム。
  4. 　動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに前記ユーザのタグ入力のタイミングデータを受け付けるデータ通信ステップと、
    　前記データ通信ステップで受け付けた前記バイタルデータが予め設定された値以上である時間範囲に前記タイミングデータに対応する時間が含まれる場合に、前記時間範囲をタグ範囲に設定するタグ範囲処理ステップと、
    　を有するタギング方法。
  5. 　動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに前記ユーザのタグ入力のタイミングデータを受け付けるデータ通信部と、
    　前記データ通信部で受け付けた前記バイタルデータが予め設定された値以上である時間範囲に前記タイミングデータに対応する時間が含まれる場合に、前記時間範囲をタグ範囲に設定するタグ範囲処理部と、
    　前記タグ範囲処理部で設定された前記タグ範囲に基づいて、前記動画データのダイジェスト映像を作成するダイジェスト処理部とを備え、
    　前記ダイジェスト処理部は、前記タグ範囲が複数存在する際に、前記タグ範囲における前記バイタルデータの重要度に基づいて、複数の前記タグ範囲から前記ダイジェスト映像を作成するための前記タグ範囲を選択する
    　ことを特徴とするダイジェスト作成装置。
  6. 　前記ダイジェスト処理部における前記バイタルデータの重要度は前記タグ範囲内のバイタルデータ値の積算により算出する
    　ことを特徴とする請求項５記載のダイジェスト作成装置。
  7. 　前記ユーザの前記バイタルデータを計測し前記データ通信部に出力するセンサ装置と、
    　前記ユーザによる前記タグ入力の前記タイミングデータを前記データ通信部に出力するタグ入力装置と、
    　請求項５又は請求項６記載のダイジェスト作成装置と
    　を備えることを特徴とするダイジェスト作成システム。
PCT/JP2016/001889 2015-06-12 2016-04-04 タギング装置、タギングシステム、タギング方法、ダイジェスト作成装置及びダイジェスト作成システム Ceased WO2016199335A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/831,842 US20180096214A1 (en) 2015-06-12 2017-12-05 Tagging apparatus, tagging system, tagging method, digest creation apparatus, and digest creation system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-118859 2015-06-12
JP2015118858A JP6451521B2 (ja) 2015-06-12 2015-06-12 ダイジェスト作成装置、ダイジェスト作成システム、ダイジェスト作成方法及びプログラム
JP2015118859A JP6485238B2 (ja) 2015-06-12 2015-06-12 タギング装置、タギングシステム、タギング方法及びプログラム
JP2015-118858 2015-06-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/831,842 Continuation US20180096214A1 (en) 2015-06-12 2017-12-05 Tagging apparatus, tagging system, tagging method, digest creation apparatus, and digest creation system

Publications (1)

Publication Number Publication Date
WO2016199335A1 true WO2016199335A1 (ja) 2016-12-15

Family

ID=57503773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001889 Ceased WO2016199335A1 (ja) 2015-06-12 2016-04-04 タギング装置、タギングシステム、タギング方法、ダイジェスト作成装置及びダイジェスト作成システム

Country Status (2)

Country Link
US (1) US20180096214A1 (ja)
WO (1) WO2016199335A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287395B (zh) * 2020-12-16 2023-10-20 北京信安世纪科技股份有限公司 印模与签章原文进行绑定的方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010158046A (ja) * 2010-02-19 2010-07-15 Casio Computer Co Ltd 撮像装置、動画生成方法及びプログラム
JP2012074773A (ja) * 2010-09-27 2012-04-12 Nec Personal Computers Ltd 編集装置、制御方法及びプログラム
JP2015082692A (ja) * 2013-10-21 2015-04-27 日本電信電話株式会社 映像編集装置、映像編集方法、および、映像編集プログラム
JP2015088203A (ja) * 2013-10-30 2015-05-07 日本電信電話株式会社 コンテンツ作成方法、コンテンツ作成装置及びコンテンツ作成プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010158046A (ja) * 2010-02-19 2010-07-15 Casio Computer Co Ltd 撮像装置、動画生成方法及びプログラム
JP2012074773A (ja) * 2010-09-27 2012-04-12 Nec Personal Computers Ltd 編集装置、制御方法及びプログラム
JP2015082692A (ja) * 2013-10-21 2015-04-27 日本電信電話株式会社 映像編集装置、映像編集方法、および、映像編集プログラム
JP2015088203A (ja) * 2013-10-30 2015-05-07 日本電信電話株式会社 コンテンツ作成方法、コンテンツ作成装置及びコンテンツ作成プログラム

Also Published As

Publication number Publication date
US20180096214A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
KR101475427B1 (ko) 다수의 촬영 조건을 가지는 간격 촬영 방법 및 이를 적용한촬영 장치
US9100565B2 (en) Image processing apparatus, image capture device, and computer program
US10148861B2 (en) Image pickup apparatus generating focus changeable image, control method for image pickup apparatus, and storage medium
CN103026704A (zh) 信息处理装置、信息处理方法、程序、存储介质以及集成电路
CN102630003B (zh) 图像数据记录设备及其控制方法
JP2014183511A (ja) 撮像装置、映像コンテンツ生成方法、及び、プログラム
JP5655668B2 (ja) 撮像装置、画像処理方法及びプログラム
JP6468086B2 (ja) 再生装置、再生方法及び再生プログラム
JP5600405B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2016199335A1 (ja) タギング装置、タギングシステム、タギング方法、ダイジェスト作成装置及びダイジェスト作成システム
JP6451521B2 (ja) ダイジェスト作成装置、ダイジェスト作成システム、ダイジェスト作成方法及びプログラム
JP6485238B2 (ja) タギング装置、タギングシステム、タギング方法及びプログラム
US11696025B2 (en) Image processing apparatus capable of classifying an image, image processing method, and storage medium
JP2015084504A (ja) 信号記録装置、カメラレコーダおよび信号処理装置
JP6464925B2 (ja) タギング装置、タギングシステム、タギング方法及びタギングプログラム
JP2019054547A (ja) ダイジェスト作成装置、ダイジェスト作成システム、ダイジェスト作成方法及びプログラム
CN105765969B (zh) 影像处理方法、装置和设备及影像拍摄系统
JP6628670B2 (ja) 画像処理装置及び画像処理方法
US10410674B2 (en) Imaging apparatus and control method for combining related video images with different frame rates
JP6146108B2 (ja) 情報処理装置、画像表示システム、画像表示方法及びプログラム
JP2006092681A (ja) 画像管理方法、画像管理装置及び画像管理システム
JP6631680B2 (ja) 動画データ処理装置、動画データ処理方法及び動画データ処理プログラム
JP6620863B2 (ja) 動画データ処理装置、動画データ処理方法及び動画データ処理プログラム
JP2015130594A (ja) 放送受信装置、番組内容確認用データ作成処理装置、及び番組録画装置
JP2012253692A (ja) 撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807055

Country of ref document: EP

Kind code of ref document: A1