WO2007135905A1 - データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 - Google Patents

データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2007135905A1
WO2007135905A1 PCT/JP2007/060006 JP2007060006W WO2007135905A1 WO 2007135905 A1 WO2007135905 A1 WO 2007135905A1 JP 2007060006 W JP2007060006 W JP 2007060006W WO 2007135905 A1 WO2007135905 A1 WO 2007135905A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
data
unnecessary
characteristic
data processing
Prior art date
Application number
PCT/JP2007/060006
Other languages
English (en)
French (fr)
Inventor
Motooki Sugihara
Hiroshi Iwamura
Hiroshi Yamazaki
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to US12/301,107 priority Critical patent/US20100003005A1/en
Priority to JP2008516617A priority patent/JP4764924B2/ja
Publication of WO2007135905A1 publication Critical patent/WO2007135905A1/ja

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Definitions

  • the present invention relates to a data processing device that processes video data of a captured video, a method thereof, a program thereof, and a recording medium on which the program is recorded.
  • Patent Document 1 extracts a video data sequence force video structure and metadata. Then, based on this metadata, etc., a configuration can be adopted in which a video summary is generated by removing low-quality frame sequences having poor color entropy, abnormal motion analysis results, and the like.
  • Patent Document 2 classifies a use program in a broadcast program for each similar image. For example, it is classified into an announcer appearance scene and a news video scene.
  • the classification, time, and playback position are displayed, and the part with a high classification frequency in the similar image scene is displayed in red, for example, and the other part is displayed.
  • a configuration for displaying in blue is adopted.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-159331 (page 18)
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2002-344852 (Left column on page 4, left column on page 11)
  • Patent Document 1 when the configuration as in Patent Document 1 is used, it is necessary to remove low-quality images. Therefore, even if the quality is low, an image necessary for the user, for example, an image necessary for the user even if the image is shaken, may be deleted against the user's will. An example of this is the problem.
  • Patent Document 2 when the configuration as in Patent Document 2 is used, even if there is an image that the user feels unnecessary among similar images, for example, a shaken image, other images that are not shaken. As an example, there is a problem that it may be troublesome to select an unnecessary image from the similar images.
  • an object of the present invention is to provide a data processing device that facilitates editing of appropriate video data, a method thereof, a program thereof, and a recording medium on which the program is recorded. That is.
  • a data processing device of the present invention is a data processing device for processing video data for displaying a video shot by a shooting device, the video data acquiring means for acquiring the video data, and the acquired data Characteristic analysis means for analyzing the video characteristics of the obtained video data, identification means for identifying a scene in which the characteristics obtained by this analysis deviate from a preset standard value range as unnecessary scenes, and the video data A selection means for selecting unnecessary scene data for displaying the unnecessary scene; and a display control means for controlling the display of the unnecessary scene based on the selected unnecessary scene data! It is characterized by having.
  • the data processing method of the present invention is a data processing method for processing video data for displaying a video shot by a photographing device with a calculation means, wherein the calculation means processes the video data.
  • the video characteristics of the acquired video data are analyzed, and scenes whose characteristics obtained by this analysis deviate from the preset standard value range are identified as unnecessary scenes. It is characterized in that unnecessary scene data for displaying a scene is selected, and control is performed to display the unnecessary scene by a display means based on the selected unnecessary scene data.
  • a data processing program of the present invention is characterized by causing an arithmetic means to execute the above-described data processing method of the present invention.
  • a recording medium on which a data processing program of the present invention is recorded is characterized in that the above-described data processing program of the present invention is recorded so as to be readable by an arithmetic means.
  • FIG. 1 is a block diagram showing a schematic configuration of an editing apparatus according to first and fourth embodiments of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of scene classification means in the first embodiment and a modification of the first embodiment.
  • FIG. 3 is a conceptual diagram schematically showing a table structure of data in the characteristic standard value information table in the first, fourth, second, and third embodiments.
  • FIG. 4 is a conceptual diagram schematically showing a table structure of scene attribute information for unnecessary scenes in the first to fourth embodiments.
  • FIG. 5 is a block diagram showing a schematic configuration of scene selection means in the first and second embodiments.
  • FIG. 6 is a conceptual diagram schematically showing a table structure of data in the icon related information table in the first to fourth embodiments.
  • FIG. 7 is a timing chart showing operations during normal playback processing and summary playback processing of unnecessary scenes in the first, second, and fourth embodiments, where (A) shows operations during normal playback processing; Part (B) shows the operation during the digest playback process.
  • FIG. 8 is a schematic diagram showing a schematic configuration of a deletion selection screen in the first, second, and fourth embodiments.
  • FIG. 9 is a flowchart showing edit data generation processing in the first embodiment.
  • FIG. 10 is a flowchart showing a first scene classification process in the edit data generation process.
  • FIG. 11 is a flowchart showing a first scene selection process in the editing data generation process.
  • FIG. 12 is a block diagram showing a schematic configuration of an editing apparatus in the second embodiment.
  • FIG. 13 Scene classification means in the second embodiment and a modification of the second embodiment It is a block diagram which shows schematic structure of these.
  • FIG. 14 is a flowchart showing edit data generation processing in the second embodiment.
  • FIG. 15 is a flowchart showing a second scene classification process in the editing data generation process.
  • FIG. 16 is a block diagram showing a schematic configuration of the editing apparatus in the third embodiment.
  • FIG. 17 is a block diagram showing a schematic configuration of scene classification means in the third embodiment and a modification of the third embodiment.
  • FIG. 18 is a block diagram showing a schematic configuration of the scene selection means in the third embodiment.
  • ⁇ 19] is a timing chart showing operations during normal playback processing and summary playback processing of unnecessary scenes and correction scenes in the third embodiment, and (A) is an operation during normal playback processing of unnecessary scenes, (Part B) shows the operation during the summary playback processing of the unnecessary scene, (C) shows the operation during the summary playback processing of the correction scene, and (D) shows the operation during the normal playback processing of the correction scene.
  • FIG. 20 is a schematic diagram showing a schematic configuration of a deletion selection screen in the third embodiment.
  • FIG. 21 is a flowchart showing edit data generation processing in the third embodiment.
  • FIG. 22 is a flowchart showing a second scene selection process in the editing data generation process.
  • FIG. 23 is a block diagram showing a schematic configuration of scene classification means in the fourth embodiment.
  • FIG. 24 is a block diagram showing a schematic configuration of the scene selection means in the fourth embodiment.
  • FIG. 25 is a flowchart showing edit data generation processing in the fourth embodiment.
  • FIG. 26 is a flowchart showing a third scene selection process in the editing data generation process.
  • FIG. 27 is a flowchart showing update processing of characteristic standard value information in the editing data generation processing.
  • FIG. 28 is a block diagram showing a schematic configuration of an editing apparatus according to a modification of the first embodiment.
  • FIG. 29 is a schematic diagram showing a schematic configuration of a deletion selection screen in a modification of the first and second embodiments.
  • FIG. 30 is a block diagram showing a schematic configuration of an editing apparatus according to a modification of the second embodiment.
  • FIG. 31 is a block diagram showing a schematic configuration of an editing apparatus according to a variation of the third embodiment respect.
  • FIG. 32 is a schematic diagram showing a schematic configuration of a deletion selection screen in a modification of the third embodiment.
  • FIG. 33 is a timing chart showing operations during normal playback processing and summary playback processing of an unnecessary scene and a correction scene according to another modification of the present invention, and (A) is a portion during normal playback processing of an unnecessary scene. Operation, (B) shows the operation during summary playback processing of the unnecessary scene, (C) shows the operation during summary playback processing of the correction scene, and (D) shows the operation during normal playback processing of the correction scene.
  • Video data acquisition means 142 .
  • Classification and distribution means as selection means
  • GUI Graphic User Interface
  • unnecessary scene data that can be determined to be unnecessary by the user is selected from the video data to display the unnecessary scene, and the user is not required.
  • a configuration for generating edit data from which unnecessary scene data determined to have been deleted will be described as an example.
  • Unnecessary scenes include scenes with large shaking, so-called panning and zooming scenes, scenes shot in backlight, out-of-focus scenes, scenes where unintended objects were shot, and images with little change. Examples include scenes that last for a certain period.
  • a scene other than an unnecessary scene in the video of the video data, that is, a scene that can be determined to be necessary by the user will be referred to as a necessary scene.
  • FIG. 1 is a block diagram showing a schematic configuration of an editing apparatus according to the first and fourth embodiments of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of scene classification means in the first embodiment and a modification of the first embodiment to be described later.
  • FIG. 3 is a conceptual diagram schematically showing a table structure of data in the characteristic standard value information table in the first to fourth embodiments.
  • FIG. 4 is a conceptual diagram schematically showing a table structure of scene attribute information for unnecessary scenes in the first to fourth embodiments.
  • FIG. 5 shows the first and second embodiments. It is a block diagram which shows schematic structure of a scene selection means.
  • FIG. 6 is a conceptual diagram schematically showing a table structure of data in the icon related information table in the first to fourth embodiments.
  • FIG. 7 is a timing chart showing the operation during normal playback processing and summary playback processing of unnecessary scenes in the first, second, and fourth embodiments.
  • (A) is the operation during normal playback processing.
  • Part B) shows the operation during summary playback processing.
  • FIG. 8 is a schematic diagram showing a schematic configuration of the deletion selection screen in the first, second, and fourth embodiments.
  • reference numeral 100A denotes an editing device as a data processing device.
  • This editing device 1 OOA selects unnecessary scene data from video data and displays unnecessary scenes, and generates editing data by deleting unnecessary scene data from video data based on the user's judgment. .
  • the editing apparatus 100A includes a display unit 110, an input unit 120, an editing processing unit 130, and the like.
  • Display means 110 is controlled by edit processing unit 130 to display an image signal As for displaying a predetermined image from edit processing unit 130 on the screen.
  • Examples of the display means 110 include a liquid crystal panel, an organic EL (Electro Luminescence) panel, a PDP (Plasma Display Panel), a CRT (Cathode-Ray Tube), an FED (Field Emission Display), and an electrophoretic display panel. .
  • an unnecessary scene and a deletion selection screen 700 for allowing the user to select whether or not to delete the unnecessary scene can be exemplified.
  • the input means 120 includes various operation buttons and operation knobs (not shown) that are input and operated by, for example, a keyboard and a mouse. These input operations such as operation buttons and control knobs are input for setting the operation content of the editing apparatus 100A, input for setting whether or not to delete unnecessary scenes, and the like.
  • the input unit 120 appropriately outputs the input signal At corresponding to the setting item to the editing processing unit 130 by the setting item input operation to input the setting.
  • the input operation is not limited to the operation of the operation buttons and operation knobs, but is provided in the display means 110, for example.
  • Various setting items can be set and input by touch panel input operation or voice input operation.
  • the editing processing unit 130 is connected to the video data output unit 10 and the storage 20.
  • the editing processing unit 130 is output from the video data output unit 10 as a video signal Ed. Acquire video data captured by the device. Further, the video data creator also generates edit data from which unnecessary scene data is appropriately deleted, and outputs the edited data to the storage 20 as an edit signal Sz.
  • the edit data is accumulated in the storage 20. Examples of the storage 20 include a drive and a driver that are readable and stored in a recording medium such as an HD (Hard Disc), a DVD (Digital Versatile Disc), an optical disc, and a memory card.
  • the editing processing unit 130 includes a scene classification unit 140, a scene selection unit 150, a scene alignment unit 160, and the like.
  • the scene classification unit 140 is connected to the video data output unit 10, the scene selection unit 150, and the scene alignment unit 160 as an editing data generation unit.
  • the scene classification means 140 classifies the video data of the video signal Ed into unnecessary scene data and necessary scene data and outputs them.
  • the scene classification unit 140 includes a characteristic standard value holding unit 141 as a standard information storage unit, a video data acquisition unit 142, a delay unit 143, a characteristic analysis unit 144, and a characteristic integration.
  • a characteristic comparison unit 146 as an identification unit
  • a classification distribution unit 147 as a selection unit, and the like.
  • the characteristic standard value holding unit 141 is connected to the characteristic comparison unit 146.
  • the characteristic standard value holding means 141 stores a characteristic standard value information table 30 as shown in FIG.
  • the characteristic standard value information table 30 includes at least one characteristic standard value information 31.
  • This characteristic standard value information 31 is information relating to a standard of a predetermined characteristic when a predetermined scene is identified as an unnecessary scene.
  • the characteristic standard value information 31 is composed of one piece of data in which characteristic information 32, characteristic parameter standard information 33, and the like are associated! RU [0022]
  • the characteristic information 32 is composed of various video characteristic data output by the characteristic analysis means 144. Specifically, the characteristic information 32 includes “brightness distribution” and “chromaticity distribution” output from the color characteristic analysis unit 144A, which will be described later, and “camera work” and “motion region” output from the motion characteristic analysis unit 144B. ”,“ Low frequency region ”output by the spatial frequency characteristic analyzing means 144C, and the like.
  • the characteristic parameter standard information 33 various parameters serving as a standard for identifying an unnecessary scene are recorded. That is, the parameter force in a predetermined scene is identified as a necessary scene when it is within the standard range recorded in this characteristic parameter standard information 33, and is identified as an unnecessary scene when it is outside the standard range.
  • the video data acquisition unit 142 is connected to the delay unit 143 and the characteristic analysis unit 144.
  • the video data acquisition unit 142 acquires the video signal Ed from the video data output unit 10, and outputs the video data of the video signal Ed to the delay unit 143 and the characteristic analysis unit 144.
  • the delay unit 143 is connected to the classification distribution unit 147.
  • the delay unit 143 acquires video data from the video data acquisition unit 142. Then, this video data is converted into characteristic analysis means 144, characteristic integration means 145, and characteristic comparison means.
  • the time is delayed by a time substantially equal to the time required for the unnecessary scene identification processing in 146, and is output to the classification distribution means 147.
  • the characteristic analysis means 144 analyzes the video characteristics of the video data.
  • the characteristic analysis means 144 is connected to the video data acquisition means 142 and the characteristic integration means 145, respectively, and is connected to the color characteristic analysis means 144A, the motion characteristic analysis means 144B, and the spatial frequency characteristic analysis means 144C. It is equipped with.
  • the color characteristic analyzing means 144A analyzes the color characteristic of the video resulting from the environment at the time of shooting.
  • the color characteristic analysis unit 144A analyzes a histogram of color brightness, tone, and saturation as color characteristics in each scene.
  • color characteristic values such as a variance value, a maximum value, and a minimum value regarding each component of the color are output to the characteristic integration unit 145 in association with the frame sequence information.
  • the motion characteristic analyzing means 144B analyzes the motion characteristics of the video, and recognizes the area that moves independently of the camera work or the camera work from the result.
  • the recognition results for camerawork type information such as pan, zoom, and fixture, and speed information
  • the recognition results for motion areas number of areas, position, size, speed, etc. of each area
  • Corresponding information is output to the characteristic integration means 145.
  • the spatial frequency characteristic analyzing means 144C analyzes the spatial frequency characteristic of the video.
  • the spatial frequency characteristic analyzing means 144C calculates the FFT (Fast Fourier Transform) and DCT (Discrete and osine Transform coefficients) of the divided regions in each video frame, and calculates the local spatial frequency. Analyze the characteristics.
  • FFT Fast Fourier Transform
  • DCT Discrete and osine Transform coefficients
  • information relating to regions whose characteristics are extremely biased toward low frequencies is output to the characteristic integration means 145 in association with the frame sequence information.
  • characteristic analysis information when expressing at least two of color characteristic information related to color characteristics, motion characteristic information related to camera work, and spatial frequency characteristic information related to spatial frequency characteristics, they are referred to as characteristic analysis information. explain.
  • the characteristic integration means 145 is connected to the characteristic comparison means 146.
  • the characteristic integration unit 145 acquires frame sequence information and individual characteristic analysis information associated with the frame sequence information from the characteristic analysis unit 144. Furthermore, based on the frame sequence information, individually acquired characteristic analysis information is integrated into characteristic analysis information corresponding to the same frame sequence. Then, the frame sequence information and the integrated characteristic analysis information are output to the characteristic comparison means 146 as appropriate.
  • the characteristic comparison unit 146 is connected to the classification distribution unit 147 and the scene selection unit 150.
  • the characteristic comparison unit 146 acquires the frame sequence information and the characteristic analysis information from the characteristic integration unit 145. Further, the characteristic standard value information table 30 is acquired from the characteristic standard value holding means 141. Then, it is determined whether or not the characteristic indicated by the characteristic analysis information associated with the predetermined frame sequence information is within the standard range of the characteristic parameter standard information 33 of the characteristic standard value information table 30. [0033] For example, when the camera work type information of the motion characteristic information corresponding to the predetermined frame sequence information is pan, the camera work speed recorded in the motion characteristic information is the characteristic when the camera work is pan. Judge whether it is within the standard range of camera work speed recorded in parameter standard information 33.
  • the characteristic comparison means 146 determines that the characteristic parameter standard information 33 is within the standard range, the characteristic comparison means 146 determines that the scene attribute of this frame sequence is normal pan. Further, when a plurality of pieces of characteristic analysis information are associated with one frame sequence information, it is determined whether or not the characteristic parameter standard information 33 is within the standard range for the characteristic indicated by each piece of characteristic analysis information. If it is determined that all characteristics are within the standard range, the scene corresponding to this frame sequence information is identified as a necessary scene. Further, the frame sequence information is associated with identification information recorded as a necessary scene, and is output to the classification distribution means 147.
  • the characteristic comparison unit 146 has a characteristic indicated by at least one characteristic analysis information out of the standard range of the characteristic parameter standard information 33 among all the characteristic analysis information associated with the frame sequence information. If it is determined that the frame sequence information scene is unnecessary, it is identified as an unnecessary scene. Then, the identification information in which it is recorded that the scene is unnecessary is associated with the frame sequence information, and is output to the classification distribution means 147.
  • the characteristic comparison means 146 generates scene attribute information 50 as characteristic content information as shown in FIG. 4 in association with the scene identified as an unnecessary scene. For example, if the camera work is a pan and its speed is greater than the standard range of the characteristic parameter standard information 33, attribute information 51 indicating that it is a high-speed pan and parameter information 52 indicating the speed are included. Scene attribute information 50 is generated. Then, the scene attribute information 50 is associated with the frame sequence information, converted into a scene attribute signal Tn and output to the scene selection means 150 as shown in FIGS.
  • the classification distribution unit 147 is connected to the scene selection unit 150 and the scene arrangement unit 160.
  • Classification distribution means 147 receives frame sequence information and identification from characteristic comparison means 146. Get information. Furthermore, video data is acquired from the delay means 143. When it is determined that the necessary scene is described in the identification information corresponding to the frame sequence information of the predetermined video frame data, the video frame data is converted into the necessary scene signal Sk as necessary scene data. And output to the scene alignment means 160.
  • the video frame data is converted into unnecessary scene signal St as unnecessary scene data and output to scene selection means 150.
  • the scene selection unit 150 is connected to the display unit 110, the input unit 120, and the scene alignment unit 160.
  • Scene screening unit 15 0 is displayed on the display means 110 unnecessary scene data is output to the scene alignment means 16 0 unnecessary scene data selected as data that is not more delete the user as the selected scene data.
  • the scene selection unit 150 includes an icon holding unit 151, a storage unit 152, a summary reproduction unit 153 as a display control unit, a GUI (Graphical as a display control unit and a necessity determination unit). User Interface) 154 and sorting and sorting means 155.
  • the icon holding unit 151 is connected to the summary reproduction unit 153.
  • the icon holding means 151 stores an icon related information table 40 as shown in FIG. 6 so that it can be read as appropriate.
  • the icon related information table 40 includes the same number of icon related information 41 as the attribute information 51 of the scene attribute information 50.
  • the icon related information 41 is information related to an icon indicating an attribute of an unnecessary scene on the deletion selection screen 700.
  • the icon related information 41 includes attribute information 42 in which the same contents as the attribute information 51 of the scene attribute information 50 are recorded, icon data 43 used when displaying an icon,
  • Etc. are organized into one associated data.
  • the storage unit 152 is connected to the summary reproduction unit 153 and the sorting and distribution unit 155.
  • the scene classification unit 140 is connected to the characteristic comparison unit 146 and the classification distribution unit 147.
  • the storage unit 152 acquires the scene attribute signal Tn from the characteristic comparison unit 146, and stores the scene attribute information 50 of the scene attribute signal ⁇ . Then, the scene attribute information 50 is appropriately output to the summary reproduction means 153.
  • the storage unit 152 acquires the unnecessary scene signal St from the classification distribution unit 147 and stores the unnecessary scene data of the unnecessary scene signal St. Then, the unnecessary scene data is appropriately output to the summary reproduction means 153 and the sorting distribution means 155.
  • the summary playback means 153 is connected to the GUI 154.
  • the summary playback means 153 obtains a playback status signal indicating that an unnecessary scene is normally played back or summary playback from the GUI 154, and performs playback processing based on this playback status signal.
  • the summary playback means 153 controls to display all unnecessary scene data in the display order and to play back all unnecessary scenes as moving images.
  • scene 1 reproduced in an unnecessary scene data group 70 having a plurality of unnecessary scene data is a backlight scene, and is reproduced in another unnecessary scene data group 70.
  • scene 2 is a camera shake scene, all unnecessary scenes are played back as movies based on all these unnecessary scene data groups 70, and output to the GUI 154 as playback information.
  • the scene attribute information 50 is acquired from the storage unit 152 and the icon data 43 corresponding to the attribute of the unnecessary scene is extracted from the icon holding unit 151. These are converted into a state for displaying the deletion selection screen 700, processed, and output to the GUI 154.
  • the summary playback means 153 selectively extracts unnecessary scene data from the unnecessary scene data group 70 as appropriate, and a part of the unnecessary scene is converted into a moving image or a still image. Control playback.
  • the attribute of the unnecessary scene is at least one of backlight, color cast, obstacle, and defocus
  • a static image displayed every predetermined time from the data group 70 Image unnecessary scene data, that is, unnecessary scene data whose display order is not substantially continuous is extracted as still image summary scene data 71.
  • the summary playback means 153 recognizes that the attribute of the unnecessary scene is at least one of high-speed panning and camera shake, a plurality of unnecessary scene data are generated based on the scene attribute information 50. Therefore, it recognizes unnecessary scenes whose characteristics of the attributes are remarkable, for example, unnecessary scenes with severe camera shake. Then, unnecessary scene data for displaying the unnecessary scene as a moving image, that is, a plurality of unnecessary scene data whose display order is substantially continuous, is extracted as moving image summary scene data 72.
  • still image summary scene data 71 is extracted from the unnecessary scene data group 70 of the backlight scene
  • video summary scene data 72 is extracted from the unnecessary scene data group 70 of the camera shake scene.
  • the summary reproduction means 153 reproduces the backlight scene based on these as a still image, reproduces the camera shake scene as a moving image, and outputs it to the GUI 154 as reproduction information. Further, the scene attribute information 50 and the icon data 43 corresponding to the unnecessary scene data to be summarized and reproduced are extracted, converted, processed, and output to the GUI 154.
  • the GUI 154 is connected to the display means 110, the input means 120, and the sorting and distribution means 155.
  • the GUI 154 When the GUI 154 acquires the input signal At from the input unit 120, the GUI 154 recognizes a setting input for normal playback or summary playback of the unnecessary scene based on the input signal At. Then, a reproduction state signal corresponding to the recognized content is output to the summary reproduction means 153. Further, when the GUI 154 acquires the reproduction information, the scene attribute information 50, and the icon data 43 from the summary reproduction means 153, the GUI 154 generates an image signal As for displaying a deletion selection screen 700 as shown in FIG. To display means 110.
  • the deletion selection screen 700 includes a reproduction video area 710, a scene attribute area 720, and a selection operation area 730.
  • the reproduction video area 710 is provided with the substantially central force on the deletion selection screen 700 also applied to the vicinity of the upper left edge.
  • this playback video area 710 based on the playback information, a normal playback video as shown in FIG. 7A or a summary playback unnecessary scene as shown in FIG. Videos and still images are displayed.
  • the scene attribute area 720 is provided on the right side of the playback video area 710.
  • This scene attribute area 720 includes scene number information 721 relating to the number of an unnecessary scene being reproduced, an icon 722 based on the icon data 43, and characteristic graph information 723 representing the characteristic value indicated by the scene attribute information 50 in a draft.
  • the characteristic character string information 724 representing the attribute and characteristic value indicated by the scene attribute information 50 as a character string.
  • the content displayed in the scene attribute area 720 is appropriately updated corresponding to the unnecessary scene displayed in the reproduction video area 710.
  • the selection operation area 730 is provided below the reproduction video area 710 and the scene attribute area 720.
  • selection message information 731 for prompting the user to input whether or not to delete an unnecessary scene being played back, deletion information 732 selected when deleting, and selection without deletion are selected.
  • the non-deletion information 733 selected when making a scene, and the deletion information 732 selected by the user or the cursor 734 surrounding the non-deletion information 733 are displayed.
  • a region R1 from the alternate long and short dash line Q1 to the left corner portion in the reproduction video region 710 means a region affected by backlight.
  • the region R2 surrounded by the two-dot chain line Q2 means an image that exists due to the effects of camera shake.
  • the GUI 154 recognizes a setting input indicating that the selected scene is selected or deleted. Then, the selection determination result information corresponding to the recognized content is output to the sorting distribution unit 155 in association with the unnecessary scene to be selected.
  • the GUI 154 when the GUI 154 recognizes that the selected scene is selected during playback of the backlight scene during normal playback as shown in FIG. 7A, the GUI 154 selects the entire backlight scene as the selection scene.
  • the selection determination result information is output.
  • Fig. 7 (B) if it recognizes that it will be deleted during playback of a still scene of a backlight scene or a movie of a camera shake scene, it will select that the entire backlight scene or camera shake scene will be deleted. Judgment result information is output.
  • the sorting and distribution means 155 is connected to the scene alignment means 160 as shown in FIGS. It is.
  • the sorting and distributing unit 155 acquires unnecessary scene data from the storage unit 152 and also acquires selection determination result information associated with the unnecessary scene from the G UI 154.
  • the unnecessary scene data of the selected unnecessary scene is converted into the selected scene signal Ss as the selected scene data and output to the scene aligning means 160. To do.
  • the scene aligning means 160 is connected to the storage 20, as shown in FIG. Further, it is connected to the classification distribution means 147 of the scene classification means 140 and the selection distribution means 155 of the scene selection means 150.
  • the scene alignment unit 160 appropriately acquires the necessary scene signal Sk from the classification distribution unit 147 and the selected scene signal Ss from the selection distribution unit 155. Then, the necessary scene data of the necessary scene signal Sk and the selected scene data of the selected scene signal Ss are arranged in the display order, and edit data for reproducing the necessary scene and the selected scene is generated. Then, the edit data is converted into an edit signal Sz and output to the storage 20.
  • FIG. 9 is a flowchart showing editing data generation processing in the first embodiment.
  • FIG. 10 is a flowchart showing the first scene classification process.
  • FIG. 11 is a flowchart showing the first scene selection process.
  • editing apparatus 100A obtains video data from video data output means 10 using scene classification means 140 (step Sl). Then, the first scene classification process is performed (step S2), and the necessary scene data is output to the scene aligning means 160 and the unnecessary scene data is output to the scene selecting means 150.
  • the scene selection unit 150 performs a first scene selection process (step S3), and outputs the selected scene data to the scene alignment unit 160.
  • scene alignment means 16 At 0, edit data having necessary scene data and selected scene data is generated (step S4) and stored in the storage 20.
  • the scene classification unit 140 outputs video data to the delay unit 143 and the characteristic analysis unit 144 as shown in FIG. 10 (step Sl 1). Then, the characteristic analysis means 144 analyzes the characteristics of each scene in the video data video (step S12). Then, a characteristic is associated with the frame sequence of each scene (step S13), and the result is output to the characteristic integration means 145.
  • the characteristic integration means 145 reintegrates the characteristic correspondence results in the characteristic analysis means 144 (step S14), and outputs the result to the characteristic comparison means 146.
  • the characteristic comparison unit 146 When the characteristic comparison unit 146 obtains the result of the reintegration processing from the characteristic integration unit 145, the characteristic comparison unit 146 identifies whether or not each scene is an unnecessary scene based on the characteristic standard value information 31 (Step S 15) Generate identification information. Further, scene attribute information 50 of the scene identified as the unnecessary scene is generated (step S16), and is output to the classification distribution means 147 together with the identification information.
  • the classification distribution unit 147 determines whether the video frame of the video frame data acquired from the delay unit 143 is an unnecessary scene based on the identification information (step S 17).
  • step S17 when the scene classification means 140 determines that it is an unnecessary scene, it outputs the video frame data as unnecessary scene data to the scene selection means 150 together with the scene attribute information 50 (step S18).
  • step S17 if it is determined in step S17 that the scene is not an unnecessary scene, the video frame data is output as necessary scene data to the scene aligning means 160 (step S19).
  • the scene selection means 150 stores unnecessary scene data and scene attribute information 50 in the storage means 152 as shown in FIG. 11 (step S31). Then, the unnecessary scene data is output to the sorting and distribution unit 155 and the summary reproduction unit 153 (step S32), and the scene attribute information 50 is output to the summary reproduction unit 153 (step S33).
  • the summary playback means 153 determines whether or not to execute summary playback based on the playback state signal from the GUI 154 (step S34). If it is determined in step S34 that summary playback is to be performed, processing for extracting still image summary scene data 71 and moving image summary scene data 72 is performed as summary playback scene data extraction processing (step S35). Further, the scene attribute information 50 is converted and processed (step S36). Then, the scene selection means 150 performs a summary reproduction process (step S37) and displays a deletion selection screen 700 (step S38).
  • step S34 determines whether normal playback is to be performed instead of summary playback. If it is determined in step S34 that normal playback is to be performed instead of summary playback, normal playback processing is performed (step S39), and processing in step S38 is performed.
  • the GUI 154 recognizes the setting input (step S40), and determines whether or not the unnecessary scene being reproduced is selected as the selected scene (step S41).
  • step S41 If it is determined in step S41 that the selected scene has been selected, the sorting / distributing means 155 outputs the unnecessary scene data of the unnecessary scene as selected scene data to the scene aligning means 160 (step S42).
  • step S43 unnecessary scene data is discarded.
  • the editing apparatus 100A uses a scene having different characteristics from the necessary scene that can be determined necessary by the user from the video data, for example, a backlight scene or a camera shake scene as an unnecessary scene. Sort out. Then, unnecessary scene data corresponding to the unnecessary scene is selected as video data power, and an unnecessary scene based on the unnecessary scene data is reproduced on the display means 110.
  • the editing apparatus 100A can allow the user to select what is necessary and what is not necessary even in a backlit scene. Also, for example, if there is a camera shake scene in a similar video shot at an approximately equal place, it should be confirmed that the user does not perform the task of selecting a hand pressine. It can be recognized.
  • the editing apparatus 100A allows the user to easily perform appropriate video data editing.
  • a defocused scene is selected as an unnecessary scene based on the spatial frequency characteristics in each scene.
  • the user can recognize a defocused unnecessary scene that is generally likely to occur, and the convenience can be further improved.
  • the attribute of the unnecessary scene is at least one of backlight, color cast, obstacle, and defocus, a part of the unnecessary scene is summarized and reproduced as a still image.
  • the scene classification unit 140 of the editing apparatus 100A outputs the necessary scene data to the scene alignment unit 160. Further, the scene selection unit 150 outputs the unnecessary scene data selected by the user to the scene arrangement unit 160 as selected scene data. Then, the scene aligning means 160 generates edit data having necessary scene data and selected scene data.
  • the editing apparatus 100A can generate editing data obtained by editing video data according to the user's preference, and can further improve convenience.
  • the attribute of the unnecessary scene is displayed as an icon, and the characteristic value is displayed as a graph.
  • the user can more easily recognize the attributes and degree of unnecessary scenes, and the workload during editing can be reduced.
  • an unnecessary scene that can be corrected will be referred to as a correctable scene.
  • the same reference numerals and the same names are given to the same configurations as those in the first embodiment, and the description is omitted or omitted. Is simplified.
  • FIG. 12 is a block diagram illustrating a schematic configuration of the editing apparatus according to the second embodiment.
  • FIG. 13 is a block diagram showing a schematic configuration of the scene classification means in the second embodiment and a modification of the second embodiment.
  • reference numeral 100B denotes an editing device as a data processing device.
  • the editing device 100B includes a display unit 110, an input unit 120, and an editing processing unit 200.
  • the editing processing unit 200 includes a scene classification unit 210, a scene correction unit 220, a scene selection unit 150, a scene alignment unit 230 as an editing data generation unit, and the like.
  • the scene classification unit 210 is connected to the video data output unit 10, the scene selection unit 150, the scene correction unit 220, and the scene alignment unit 230.
  • the scene classification unit 210 classifies the video data into unnecessary scene data and necessary scene data. Further, unnecessary scene data corresponding to correctable scenes is classified as correctable scene data. Unnecessary scene data is output to the scene selection means 150, correctable scene data is output to the scene correction means 220, and necessary scene data is output to the scene alignment means 230.
  • the ability of correctable scene data corresponds to the unnecessary scene data of the correctable scene in the present invention
  • the unnecessary scene data corresponds to the unnecessary scene data of the uncorrectable scene in the present invention
  • the scene classification unit 210 has the same configuration as the scene classification unit 140 of the first embodiment, and instead of the characteristic comparison unit 146 and the classification distribution unit 147, an identification is performed. Characteristic comparison means 211 as means and classification distribution means 212 as selection means.
  • the characteristic standard value holding means 141 stores a characteristic standard value information table 35 as shown in FIG.
  • the characteristic standard value information table 35 includes at least one characteristic standard value information 36.
  • This characteristic standard value information 36 identifies a predetermined scene as an unnecessary scene and a correctable scene. This is information about a standard of a predetermined attribute when separating.
  • the characteristic standard value information 36 is composed of one piece of data in which characteristic information 37, characteristic parameter standard information 38, and the like are associated! RU
  • the characteristic parameter standard information 38 various parameters serving as a standard for identifying as an unnecessary scene and a correctable scene are recorded. That is, when a parameter in a predetermined scene is within the first standard range recorded in the characteristic parameter standard information 38, it is identified as a necessary scene. A scene that is outside the first standard range and within a second standard range wider than the first standard range is identified as a correctable scene. Furthermore, if it is outside the second standard range, it is identified as an unnecessary scene.
  • the characteristic comparison unit 211 is connected to the classification distribution unit 212, the scene correction unit 220, and the scene selection unit 150, as shown in FIG. 12 and FIG.
  • the characteristic comparison unit 211 acquires frame sequence information and characteristic analysis information from the characteristic integration unit 145. Further, when it is determined that the characteristics of all the characteristic analysis information corresponding to the predetermined frame sequence information are within the first standard range in the characteristic parameter standard information 38, this scene is identified as a necessary scene. Then, identification information to that effect is associated with the frame sequence information and output to the classification distribution means 212.
  • the characteristic comparison unit 211 has at least one of the characteristics of the characteristic analysis information corresponding to the frame sequence information outside the first standard range and all within the second standard range. If it is determined that there is, this scene is identified as a correctable scene. Then, identification information to that effect is output to the classification distribution means 212. Further, the scene attribute information 50 generated based on all the characteristic analysis information determined to be out of the first standard range is converted to the scene attribute signal Tn in association with the frame sequence information, and the scene correction information is sent to the scene correction unit 220. Output.
  • the characteristic comparison unit 211 determines that at least one of the characteristics of the characteristic analysis information corresponding to the frame sequence information is outside the second standard range, it is determined that this scene is an unnecessary scene. Identification is performed, and identification information to that effect is output to the classification distribution means 212. Further, the scene selection information 50 generated based on all the characteristic analysis information determined to be out of the second standard range is converted into a scene attribute signal ⁇ , and the scene selection unit 150 Output to.
  • the classification distribution unit 212 is connected to the scene correction unit 220 and the scene selection unit 150.
  • the classification distribution unit 212 obtains the frame sequence information and the identification information from the characteristic comparison unit 211, and when it is determined that the predetermined scene is a necessary scene, the video frame data is converted into the necessary scene signal Sk as necessary scene data. The image is converted and output to the scene alignment means 230.
  • the video frame data is converted into an unnecessary scene signal St as unnecessary scene data and output to the scene selection means 150.
  • the video frame data is converted into a correctable scene signal Sc as correctable scene data and output to the scene correction means 220.
  • the scene correction unit 220 is connected to the scene alignment unit 230.
  • the scene correction unit 220 acquires the scene attribute signal Tn from the characteristic comparison unit 211 and also acquires the correctable scene signal Sc from the classification distribution unit 212. Then, the correctable scene data of the correctable scene signal Sc is corrected based on the scene attribute information 50 of the scene attribute signal Tn.
  • the scene correction unit 220 performs correction processing on the characteristics determined to be out of the first standard range in the correctable scene. For example, if the correctable scene is a backlight scene, that is, the color characteristic is outside the first standard range, the color characteristic is corrected. Then, corrected scene data for displaying the corrected scene as a corrected scene is generated and output to the scene alignment unit 230 as a corrected scene signal Sh.
  • the scene aligning means 230 appropriately receives the necessary scene signal Sk from the classification distribution means 212, the selected scene signal Ss from the sorting distribution means 155, and the corrected scene signal Sh from the scene correction means 220. get. Then, the necessary scene data, the selected scene data, and the correction scene data are arranged in the display order, and edit data for reproducing the necessary scene, the selected scene, and the correction scene is generated. Then, this edit data is converted into an edit signal Sz and output to the storage 20. [0081] [Operation of Editing Apparatus]
  • FIG. 14 is a flowchart showing edit data generation processing in the second embodiment.
  • FIG. 15 is a flowchart showing the second scene classification process.
  • step S1 when the editing apparatus 100B performs the process of step S1, the editing apparatus 100B performs the second scene classification process (step S51), and sends the necessary scene data to the scene alignment means 230. Unnecessary scene data is output to the scene selection means 150, and correctable scene data is output to the scene correction means 220.
  • step S3 the editing apparatus 100B executes step S3, and the scene correction unit 220 corrects the correctable scene data from the scene classification unit 210 (step S52), and the corrected scene data is converted into the scene alignment unit. Output to 230. Then, the scene alignment means 230 generates edit data having necessary scene data, selected scene data, and a correction scene (step S53), and accumulates them in the storage 20.
  • step S51 the scene classification unit 210 performs the steps S11 to S14 as shown in FIG. Whether or not is identified (step S61 ), identification information is generated. further
  • step S62 it is identified whether the scene identified as not being an unnecessary scene is a correctable scene (step S62), and identification information is generated. Then, scene attribute information 50 of the scene identified as an unnecessary scene or a correctable scene is generated (step S63), and is output to the classification distribution unit 212 together with the identification information.
  • the classification distribution unit 212 determines whether or not the video frame is an unnecessary scene cover (step S64).
  • step S64 when the scene classification means 140 determines that the scene is an unnecessary scene, it executes the process of step S18, that is, the process of outputting the unnecessary scene data and the like to the scene selection means 150.
  • step S65 if it is determined in step S64 that the scene is not unnecessary, the scene that can be corrected (Step S65).
  • step S65 it is output to the scene correcting means 220 together with the scene attribute information 50 as correctable scene data (step S66).
  • step S65 If it is determined in step S65 that the scene is not a correctable scene, the process of step S20 is performed.
  • the editing apparatus 100B selects unnecessary scene data, correctable scene data, and necessary scene data from the video data. Further, correctable scene data is corrected to generate corrected scene data. Then, edit data including necessary scene data, selected scene data, and corrected scene data is generated.
  • the backlight scene state when the backlight scene state is at a level that can be corrected, it can be processed as a corrected scene in which the backlight state is corrected without being reproduced as an unnecessary scene. Therefore, the number of scenes displayed as unnecessary scenes can be reduced, and the user workload can be reduced.
  • the process is performed based on the scene attribute information 50 corresponding to the corrected scene data.
  • FIG. 16 is a block diagram illustrating a schematic configuration of the editing apparatus according to the third embodiment.
  • FIG. 17 is a block diagram showing a schematic configuration of the scene classification means in the third embodiment and a modification of the third embodiment.
  • Figure 18 shows an overview of the scene selection means in the third embodiment. It is a block diagram which shows a schematic structure.
  • FIG. 19 is a timing chart showing operations during normal playback processing and summary playback processing of unnecessary scenes and correction scenes according to the third embodiment.
  • (A) is an operation during normal playback processing of unnecessary scenes.
  • Part (B) shows the operation during summary scene replay processing of the unnecessary scene
  • part (C) shows the operation during summary scene replay processing of the correction scene
  • part (D) shows the operation during normal replay processing of the correction scene.
  • FIG. 20 is a schematic diagram showing a schematic configuration of a deletion selection screen in the third embodiment.
  • 100C is an editing device as a data processing device.
  • the editing apparatus 100C includes a display unit 110, an input unit 120, an editing processing unit 250, and the like.
  • the edit processing unit 250 includes a scene classification unit 260, a scene correction unit 270, a scene selection unit 280, a scene alignment unit 160, and the like.
  • the scene classification unit 260 is connected to the video data output unit 10, the scene correction unit 270, the scene selection unit 280, and the scene alignment unit 160.
  • the scene classification means 260 classifies the video data into unnecessary scene data and necessary scene data, and outputs them.
  • the scene classification unit 260 has the same configuration as the scene classification unit 140 of the first embodiment.
  • a characteristic comparison unit 261 as an identification unit, a classification distribution unit 262 as a selection unit, and the like are provided.
  • the characteristic standard value holding means 141 stores a characteristic standard value information table 30 as shown in FIG. 3 so that it can be read out appropriately.
  • the characteristic comparison unit 261 is connected to the classification distribution unit 262, the scene correction unit 270, and the scene selection unit 280.
  • the characteristic comparison unit 261 acquires frame sequence information and characteristic analysis information from the characteristic integration unit 145. Further, when it is determined that the characteristics of all the characteristic analysis information corresponding to the predetermined frame sequence information are within the standard range of the characteristic parameter standard information 33, this scene is identified as a necessary scene. Then, the identification information to that effect is associated with the frame sequence information and output to the classification distribution means 262. [0093] Also, if the characteristic comparison unit 261 determines that at least one of the characteristics of the characteristic analysis information corresponding to the frame sequence information is out of the standard range, it identifies that this scene is an unnecessary scene. The identification information to that effect is output to the classification distribution means 262. Further, the scene attribute information 50 corresponding to the unnecessary scene is converted into a scene attribute signal Tn and output to the scene correction unit 270 and the scene selection unit 280.
  • the classification distribution unit 262 is connected to the scene alignment unit 160, the scene correction unit 270, and the scene selection unit 280.
  • the classification distribution unit 262 acquires the frame sequence information and the identification information from the characteristic comparison unit 261 and, when determining that the predetermined scene is the necessary scene, the video frame data is converted into the necessary scene signal Sk as the necessary scene data. The image is converted and output to the scene alignment means 160.
  • the video frame data is converted into an unnecessary scene signal St as unnecessary scene data and output to the scene correction means 270 and the scene selection means 280.
  • the scene correction unit 270 is connected to the scene selection unit 280.
  • the scene correction unit 270 acquires the scene attribute signal Tn from the characteristic comparison unit 261 and also acquires the unnecessary scene signal St from the classification distribution unit 262. Further, based on the scene attribute information 50 of the scene attribute signal Tn, the unnecessary scene data of the unnecessary scene signal St is corrected to generate corrected scene data. Then, this corrected scene data is output to the scene selection means 280 as a corrected scene signal Sh.
  • the scene correction unit 270 generates corrected scene attribute information in which the contents of the scene attribute information 50 are updated to the corrected state, and outputs the corrected scene attribute information Ta to the scene selection unit 280 as a corrected scene attribute signal Ta.
  • the scene selection unit 280 displays the unnecessary scene data and the corrected scene data on the display unit 110, and uses the unnecessary scene data or the corrected scene data selected as data not to be deleted by the user as the selected scene data. Output to the aligning means 160. Then, as shown in FIG. 18, the scene selection unit 280 includes an icon holding unit 151, a storage unit 281, a summary reproduction unit 282 as a display control unit, a display control unit, and a necessary unit. A GUI 283 as sex determination means and a sorting and sorting means 284 are provided.
  • Accumulation means 281 is connected to summary reproduction means 282, selection distribution means 284, characteristic comparison means 261 of scene classification means 260, classification distribution means 262, and scene correction means 270. Yes.
  • the storage means 281 accumulates the scene attribute information 50 of the scene attribute signal Tn from the characteristic comparison means 261 and the corrected scene attribute information of the corrected scene attribute signal Ta from the scene correction means 270 and sends them to the summary reproduction means 282. Output as appropriate.
  • the storage means 281 stores the unnecessary scene data from the classification distribution means 262 and the correction scene data of the correction scene signal Sh from the scene correction means 270, so that the summary reproduction means 282 and the sorting distribution means are stored. Output to 284 as appropriate.
  • the summary reproduction means 282 acquires a reproduction state signal and performs reproduction processing based on this reproduction state signal.
  • the summary playback means 282 controls to play back all unnecessary scenes and correction scenes as moving images when performing normal playback processing.
  • FIG. 19 (A) the same processing as in the first embodiment as shown in FIG. 7 (A) is performed, and reproduction information obtained by reproducing all unnecessary scenes as moving images is output to the GUI 283.
  • FIG. 19 (D) based on the two corrected scene data groups 75 corresponding to the videos in which scene 1 and scene 2 in FIG. Playback and output as playback information.
  • the scene attribute information 50 and the corrected scene attribute information are acquired from the storage unit 281 and the icon data 43 is extracted from the icon holding unit 151 and converted into a state for displaying the deletion selection screen 750. Process and output to GUI283. At this time, the display form of the icon data 43 is set to a different form between the unnecessary scene and the correction scene, for example, a form having different color tone and brightness.
  • the summary playback means 282 controls playback of a part of the unnecessary scene and the correction scene as a moving image or a still image when performing the summary playback processing.
  • reproduction information is output in which a backlight scene is reproduced as a still image based on the still image summary scene data 71 and a handbrake scene is reproduced as a movie based on the movie summary scene data 72.
  • the corrected scene data obtained by correcting the still image summary scene data 71 is used as the corrected still image summary scene data 76
  • the corrected scene data obtained by correcting the movie summary scene data 72 is used as the corrected movie summary.
  • the scene data 77 is extracted from the corrected scene data group 75. Then, the reproduction information that reproduces the backlight scene and the camera shake scene as a still image and a moving image based on them is output.
  • scene attribute information 50, corrected scene attribute information, and icon data 43 corresponding to unnecessary scene data and corrected scene data to be summarized and reproduced are extracted, converted, processed, and output.
  • the GUI 283 recognizes a setting input for normal playback or summary playback of the unnecessary scene and the correction scene, and outputs a playback state signal to the summary playback means 282.
  • the deletion selection screen 750 includes an unnecessary scene area 760, a correction scene area 770, and a selection operation area 780.
  • the unnecessary scene area 760 is provided on the left side of the deletion selection screen 750. In this unnecessary scene area 760 , various videos and information relating to unnecessary scenes are displayed.
  • the unnecessary scene area 760 is provided at the lower side of the playback display area 761, the playback display area 761 provided substantially at the center in the vertical direction, the scene identification area 762 provided above the playback display area 761, and the playback display area 761.
  • a scene attribute area 763 is provided at the lower side of the playback display area 761, the playback display area 761 provided substantially at the center in the vertical direction, the scene identification area 762 provided above the playback display area 761, and the playback display area 761.
  • the playback display area 761 scenes that do not require normal playback or summary playback as shown in FIGS. 19A and 19B are displayed.
  • scene identification area 762 scene number information 721, correction status information 762A regarding whether or not the moving image in the reproduction display area 761 is corrected, and the like are displayed.
  • scene attribute area 763 an icon 722, characteristic graph information 723, and characteristic character string information 724 are displayed.
  • the corrected scene area 770 is provided on the right side of the unnecessary scene area 760. This correction scene area 770 is provided in the same manner as the reproduction display area 761, the scene identification area 762, and the scene attribute area 763 of the unnecessary scene area 760, and the reproduction display area 771 in which similar information is displayed.
  • a scene identification area 772 and a scene attribute area 773 are displayed in the same manner as the reproduction display area 761, the scene identification area 762, and the scene attribute area 763 of the unnecessary scene area 760, and the reproduction display area 771 in which similar information is displayed.
  • the unnecessary scene area 760 for example, an image in which the area R1 affected by the backlight exists is displayed, and in the corrected scene area 770, the area R1 is displayed by correcting the influence of the backlight. Does not exist!
  • the selection operation area 780 is provided below the unnecessary scene area 760 and the correction scene area 770.
  • This selection operation area 780 includes selection message information 781 for prompting setting input such as selecting an unnecessary scene or a correction scene being played back as a selection scene, and an original selected when an unnecessary scene is selected as a selection scene.
  • manually Manual correction selection information 785 to be selected at the time of selection, and a cursor 786 surrounding any one of these selected by the user are displayed.
  • the GUI 283 recognizes the setting input based on the input signal At from the input unit 120, and associates the selection determination result information corresponding to the content of the setting input with the unnecessary scene, the correction scene, and the like to be selected. And output to the sorting means 284.
  • the GUI 283 outputs selection determination result information indicating that an unnecessary scene or a correction scene is selected as a selected scene, deleting all of these scenes, and correcting manually.
  • the sorting / sorting means 284 is connected to the scene aligning means 160.
  • the sorting and distributing unit 284 acquires unnecessary scene data and corrected scene data from the storage unit 281, and acquires selection determination result information associated with unnecessary scenes and corrected scenes from the GUI 283. When it is recognized that a predetermined unnecessary scene or correction scene has been selected as the selection scene, the unnecessary scene corresponding to the selected scene is selected. The data and the corrected scene data are converted as selected scene data into a selected scene signal Ss and output to the scene aligning means 160.
  • the unnecessary scene data and the correction scene data corresponding to them are discarded.
  • FIG. 21 is a flowchart showing edit data generation processing in the third embodiment.
  • FIG. 22 is a flowchart showing the second scene selection process.
  • editing apparatus 100C obtains video data at step S1, and executes a first scene classification process at step S2.
  • the editing apparatus 100C corrects the unnecessary scene data from the scene classification unit 260 by the scene correction unit 270 (step S71), and outputs the corrected scene data to the scene selection unit 280. Further, the scene selection unit 280 performs the second scene selection process (step S72), and outputs the selected scene data to the scene alignment unit 160. Then, the scene alignment means 160 generates edit data (step S73) and stores it in the storage 20.
  • the scene selection means 280 accumulates unnecessary scene data, scene attribute information 50, corrected scene data, and corrected scene attribute information as shown in FIG. Step S81). Unnecessary scene data and correction scene data are output to the sorting and distribution means 284 and the summary playback means 282 (step S82), and the scene attribute information 50 and the corrected scene attribute information are output to the summary playback means 282 (step S82). S 83).
  • the summary playback means 282 determines whether or not to execute summary playback based on the playback state signal from the GUI 283 (step S84). [0111] If it is determined in step S84 that summary playback is to be performed, summary playback scene data extraction processing is performed (step S85), and scene attribute information 50 and correction scene attribute information are converted and processed (step S85). Step S86). Then, the scene selection means 280 performs a summary reproduction process (step S87) and displays a deletion selection screen 750 (step S88).
  • step S84 determines whether normal playback is performed instead of summary playback. If it is determined in step S84 that normal playback is performed instead of summary playback, normal playback processing is performed (step S89), and processing in step S88 is performed.
  • the GUI 283 recognizes the setting input (step S90) and determines whether or not the unnecessary scene is selected as the selection scene (step S91).
  • step S91 If it is determined in step S91 that selection has been made, the processing in step S42, that is, unnecessary scene data is output as selected scene data to the scene alignment means 160, while in step S91 it is determined that it has not been selected. If so, it is determined whether or not the correction scene is selected as the selected scene (step S92).
  • step S92 If it is determined in step S92 that the scene has been selected, the corrected scene data is output as selected scene data (step S93).
  • step S92 if it is determined that it is not selected, it is determined whether or not manual correction is performed (step S94).
  • step S94 If it is determined in step S94 that manual correction is to be performed, unnecessary scene data that has been manually corrected is output as selected scene data (step S95).
  • step S94 determines whether manual correction is performed. If it is determined in step S94 that manual correction is not performed, unnecessary scene data and corrected scene data are discarded (step S96).
  • the editing apparatus 100C selects scene data that does not require the image power of the image data and necessary scene data. Further, unnecessary scene data is corrected to generate corrected scene data. Then, summary playback of unnecessary scenes and corrected scenes corrected for these unnecessary scenes is performed. Or normal playback.
  • the correction scene can be selected, and when the correction does not match the user's preference because of the reverse effect, an unnecessary scene can be selected as appropriate.
  • the scene classification means 260 selects unnecessary scene data and necessary scene data from the video data. Then, edit data having necessary scene data and selected scene data that is unnecessary scene data or correction scene data is generated.
  • the processing load on the scene classification unit 260 can be reduced and the configuration of the scene classification unit 260 can be simplified as compared with the second embodiment in which the scene is classified into an unnecessary scene, a correctable scene, and a necessary scene. it can.
  • FIG. 23 is a block diagram showing a schematic configuration of the scene classification means in the fourth embodiment.
  • FIG. 24 is a block diagram showing a schematic configuration of the scene selection means in the fourth embodiment.
  • 100D is an editing device as a data processing device.
  • the device 100D includes a display unit 110, an input unit 120, an edit processing unit 300, and the like.
  • the editing processing unit 300 includes a scene classification unit 310, a scene selection unit 320, a scene alignment unit 160, and the like.
  • the scene classification means 310 classifies the video data into unnecessary scene data and necessary scene data, and outputs them. Furthermore, the identification standard for unnecessary scenes is appropriately changed according to the selection result of unnecessary scene data by the user.
  • the scene classification unit 310 includes a characteristic standard value update unit 311 as a standard information update unit in addition to the same configuration as the scene classification unit 140 of the first embodiment.
  • the characteristic standard value update unit 311 is connected to the scene selection unit 320 and the characteristic standard value holding unit 141 as shown in FIGS.
  • This characteristic standard value updating means 311 includes a non-selection counter and a selection counter, not shown. These non-selection counter and selection counter are provided corresponding to the characteristics of the characteristic information 32 shown in FIG.
  • the characteristic standard value update unit 311 performs the update process of the characteristic standard value information 31 of the characteristic standard value holding unit 141.
  • the characteristic standard value updating unit 311 includes the scene attribute information 50 output as the scene attribute signal Tn from the scene selection unit 320, and the selection determination result information output as the selection determination result signal Hk. , Get.
  • the selection determination result information records that the unnecessary scene data is not selected as the selected scene, that is, that it is discarded
  • the characteristics corresponding to the unnecessary scene data are recognized based on the scene attribute information 50. To do.
  • the selection counter corresponding to this recognized characteristic is incremented by one.
  • the non-selection counter for motion characteristics such as color characteristics such as luminance dispersion and camera work amplitude information that are linked to the backlight attribute and camera shake attribute is counted up. To do.
  • the non-selection count value when it is recognized that the count value of the non-selection counter (hereinafter referred to as the non-selection count value) is equal to or greater than a predetermined value, for example, 5 or greater, a characteristic corresponding to the non-selection count value (this In this case, the characteristic parameter standard information 33 of luminance dispersion and camera work amplitude information) is updated to a state where the standard range is narrowed.
  • the characteristic standard value updating unit 31 when the fact that the unnecessary scene data has been selected as the selected scene is recorded in the selection determination result information, displays a selection counter corresponding to the characteristic of the unnecessary scene data. Count up by one. Furthermore, when it is recognized that the count value of the selection counter (hereinafter referred to as the selection count value) is a predetermined value or more, for example, 5 or more, the characteristic parameter standard information 33 of the characteristic corresponding to this selection count value is Update to a wider range.
  • the scene selection unit 320 displays unnecessary scene data, and appropriately outputs the unnecessary scene data as selection scene data to the scene alignment unit 160, and the selection determination result information corresponding to the unnecessary scene data to the scene classification unit 310. Output.
  • the scene selection unit 320 includes an icon holding unit 151, a storage unit 321, a summary reproduction unit 153, a display control unit and a necessity determination unit G.
  • a UI 322, a sorting and sorting unit 155, and a multiplexing unit 323 are provided.
  • the storage unit 321 is connected to the summary reproduction unit 153, the sorting and distribution unit 155, and the multiplexing unit 323. In addition to the same processing as the storage unit 152 of the first embodiment, the storage unit 321 stores the scene attribute information 50. Processing to output to the multiplexing means 323.
  • the GUI 322 includes a display unit 110, an input unit 120, a sorting and sorting unit 155, and a multiplexing unit 3
  • processing for outputting selection determination result information to the multiplexing means 323 is performed.
  • Multiplexing means 323 is connected to characteristic standard value updating means 311 of scene classification means 310.
  • the multiplexing unit 323 acquires the scene attribute information 50 from the storage unit 321 and the selection determination result information from the GUI 322. Then, the scene attribute signal Tn of the scene attribute information 50 and the selection determination result signal Hk of the selection determination result information are multiplexed and output to the characteristic standard value update means 311.
  • FIG. 25 is a flowchart showing edit data generation processing in the fourth embodiment.
  • FIG. 26 is a flowchart showing the third scene selection process.
  • FIG. 27 is a flowchart showing the update process of characteristic standard value information.
  • the editing apparatus 100D performs the third scene selection process after performing the processes of steps SI and S2 (step S101).
  • the editing apparatus 100D generates editing data including the selected scene data selected by the third scene selection means (step S102), and performs the update process of the characteristic standard value information 31 (step S102). S 103).
  • step S101 In the third scene selection process in step S101, as shown in FIG. 26, when the processes in steps S31 and S32 are performed, the scene attribute information 50 is output to the summary reproduction means 153 and the multiplexing means 323 ( Steps S111) and S34 to S43 are appropriately performed. Then, when the process of step S42 or step S43 is performed, the scene attribute information 50 and the selection determination result information corresponding to the execution result are output (step S112).
  • the characteristic standard value update unit 311 acquires the scene attribute information 50 and the selection determination result information (step S121). Then, it is determined whether or not the unnecessary scene data is discarded (step S122).
  • step S122 If it is determined in this step S122 that it has been discarded, the non-selection counter for all characteristics corresponding to unnecessary scene data is counted up (step S123), and there is a characteristic whose non-selection count value is equal to or greater than a predetermined value. It is determined whether or not it is correct (step S124).
  • step S124 If it is determined in step S124 that the parameter exists for the corresponding characteristic, the characteristic parameter standard information 33 is updated so that the standard range is narrowed (step S125), and the process is terminated. On the other hand, if it is determined in step S124 that it does not exist, the process ends.
  • step S122 If it is determined in step S122 that the product has not been disposed of, all applicable characteristics
  • the selection counter is counted up (step SI 26), and it is determined whether or not there is a characteristic whose selection count value is equal to or larger than a predetermined value (step S 127).
  • step S127 If it is determined in step S127 that it exists, the characteristic parameter standard information 33 is updated to widen the standard range for the parameter of the corresponding characteristic (step S128), and the process is terminated. On the other hand, if it is determined in step S127 that it does not exist, the process ends.
  • the editing apparatus 100D appropriately updates the characteristic standard value information 31 according to the selection result of unnecessary scene data by the user.
  • the standard range of the characteristics corresponding to the discarded unnecessary scene is narrowed, that is, the standard for identifying as an unnecessary scene is updated to a state where it is sweetened.
  • the standard range of the characteristics corresponding to the unnecessary scene selected as the selection scene is widened, that is, the standard for identifying the unnecessary scene is updated. Then, based on the updated characteristic standard value information 31, the video data is identified as unnecessary scene data and necessary scene data.
  • an editing device 100E as a data processing device in a modification of the first embodiment includes a display unit 110, an input unit 120, an edit processing unit 350, and the like.
  • the editing processing unit 350 includes a scene classification unit 140, a storage 20, a scene selection unit 360, and the like as shown in FIG.
  • the characteristic comparison unit 146 and the classification distribution unit 147 of the scene classification unit 140 are connected to the storage 20 and accumulate the scene attribute information 50, unnecessary scene data, and necessary scene data in the storage 20.
  • the scene selection unit 360 has a configuration that does not include the storage unit 152 in the configuration of the scene selection unit 150 as shown in FIG.
  • the summary reproduction means 153 and the sorting and distribution means 155 are connected to the storage 20.
  • the scene selection means 360 appropriately acquires the scene attribute information 50 and unnecessary scene data from the storage 20, and accumulates the selected scene data selected in the scene selection processing in the storage 20.
  • the GUI 154 of the scene selection means 360 displays a deletion selection screen 800 as shown in FIG. 29 during the scene identification process.
  • This deletion selection screen 800 includes a playback video area 710 provided with a substantially central force near the upper left edge, a scene attribute area 810 provided below the playback video area 710, and a playback video area 710.
  • a storage-unnecessary scene area 820 provided on the right side and a selection operation area 730 provided on the lower side of the reproduction video area 710 are provided.
  • an icon 722, characteristic graph information 723, and characteristic character string information 724 are displayed.
  • the accumulation unnecessary scene areas 820 are provided in the vertical direction, and are provided with individual unnecessary scene areas 821 related to one unnecessary scene.
  • a thumbnail 821A of unnecessary scenes, scene number information 721, and reproduction time information 821B of unnecessary scenes are displayed.
  • a scroll button 822 used when scrolling the contents of the individual unnecessary scene area 821 is displayed above and below the accumulation unnecessary scene area 820.
  • a cursor 823 is placed around the individual unnecessary scene area 821 selected by the user. Is displayed. Then, it is displayed in the content power reproduction video area 710 and the scene attribute area 810 corresponding to the individual unnecessary scene area 821 surrounded by the cursor 823.
  • an editing device 100F as a data processing device in a modification of the second embodiment includes a display unit 110, an input unit 120, an editing processing unit 400, and the like.
  • the edit processing unit 400 includes a scene classification unit 210, a scene correction unit 220, a storage 20, a scene selection unit 360, and the like as shown in FIG.
  • the characteristic comparison unit 211 and the classification distribution unit 212 of the scene classification unit 210 are connected to the storage 20 and accumulate the scene attribute information 50, unnecessary scene data, and necessary scene data in the storage 20, and the scene attribute information 50 and The correctable scene data is output to the scene correction means 220.
  • an editing device 100G as a data processing device in a modification of the third embodiment includes a display unit 110, an input unit 120, an edit processing unit 450, and the like.
  • the editing processing unit 450 includes a scene classification unit 260, a scene correction unit 270, a storage 20, a scene selection unit 460, and the like as shown in FIG.
  • the characteristic comparison unit 261 and the classification distribution unit 262 of the scene classification unit 260 are connected to the storage 20 and accumulate the scene attribute information 50, unnecessary scene data, and necessary scene data in the storage 20.
  • the scene correction unit 270 is connected to the storage 20 and the scene selection unit 460, and appropriately acquires the scene attribute information 50 and unnecessary scene data from the storage 20 to correct the unnecessary scene data. Then, the corrected scene data and the corrected scene attribute information are output to the scene selecting means 460.
  • the scene selection means 460 has a configuration that does not include the storage means 281 in the configuration of the scene selection means 280 as shown in FIG.
  • the summary reproducing means 282 and the sorting / sorting means 284 are connected to the storage 20.
  • the scene selection means 460 appropriately acquires the scene attribute information 50, unnecessary scene data, correction scene attribute information, and correction scene data from the storage 20, and accumulates the selected scene data selected in the scene selection processing in the storage 20.
  • GUI 283 of the scene selection means 460 is shown in FIG. 32 during the scene identification process.
  • the delete selection screen 850 is displayed.
  • This deletion selection screen 850 includes an unnecessary scene area 860 provided on the left side, a correction scene area 870 provided on the right side of the unnecessary scene area 860, and a storage unnecessary provided below them.
  • a correction scene area 880 and a selection operation area 780 provided below the accumulation unnecessary correction scene area 880 are provided.
  • the unnecessary scene area 860 includes a reproduction display area 761 and a scene identification area 762 provided above the reproduction display area 761.
  • an icon 861 is displayed in addition to an unnecessary scene image.
  • the correction scene area 870 is provided in the same manner as the reproduction display area 761 and the scene identification area 762 of the unnecessary scene area 860, and the reproduction display area 771 and the scene identification area 772 in which similar information is displayed. It is equipped with.
  • the accumulation unnecessary correction scene areas 880 are provided side by side in the left-right direction, and include a thumbnail area 881 in which a thumbnail 881A of one unnecessary scene is displayed. On the right side and the left side of the accumulation unnecessary correction scene area 880, scroll buttons 882 used when scrolling the contents of the thumbnail area 881 are displayed.
  • a cursor 883 is displayed at the periphery of the thumbnail area 881 selected by the user. Then, it is displayed in the content force unnecessary scene area 860 and the correction scene area 870 corresponding to the thumbnail area 881 surrounded by the cursor 883.
  • the storage devices 20 are provided in the editing devices 100E, 100F, and 100G, and the scene classification process and the scene selection process can be performed independently.
  • the storage means 152, 281 in the scene selection means 360, 460 it is not necessary to provide the storage means 152, 281 in the scene selection means 360, 460, and the configuration of the scene selection means 360, 460 can be simplified.
  • the user can be made to select unnecessary scenes at an appropriate timing, and convenience can be further improved.
  • the time required for the selection operation can be shortened.
  • a process as shown in Fig. 33 may be performed. That is, as shown in FIGS. 33A and 33D, during normal playback processing, the same as in the third embodiment. To play. On the other hand, as shown in FIGS. 33 (B) and 33 (C), the unnecessary scene and the correction scene are alternately reproduced during the summary reproduction process. If you want to play back alternately, you can, for example, pause one while playing the other.
  • the characteristic analysis means 144 is provided with three color characteristic analysis means 144A, motion characteristic analysis means 144B, and spatial frequency characteristic analysis means 144C, but at least one of them is provided. Also good. Or it is good also as a structure which newly provides another analysis means.
  • the color characteristic analysis means 144A analyzes a plurality of characteristics such as color brightness, tone, and saturation histograms, but it is assumed that at least one of the characteristics is analyzed.
  • the motion characteristic analysis means 144B recognizes a plurality of characteristics such as a camera work at the time of shooting and a motion area independent of the camera work from the result of the motion analysis. However, it is assumed that at least one of the characteristics is recognized. Also good.
  • the spatial frequency characteristic analysis unit 144C recognizes the low frequency region from the local frequency characteristic analysis result, but may recognize the high frequency region.
  • the summary playback means 153, 282 may be provided with only one of the normal scene playback function and the summary playback function for unnecessary scenes!
  • summary playback function only one of the summary playback function for still images and the summary playback function for moving images may be provided.
  • a scene that has been set in advance such as a scene after a lapse of a predetermined time from the beginning of the unnecessary scene, is extracted without extracting an unnecessary scene with a noticeable high-speed pan, for example. It is good.
  • the scene correction means 220, 270 has exemplified the configuration for correcting the correctable scene data and the unnecessary scene data based on the scene attribute information 50, the following configuration may be used.
  • the scene correction means 220 and 270 may have a function of analyzing the characteristics of correctable scene data and unnecessary scene data and not having a function of acquiring the scene attribute information 50.
  • the amount of information displayed on the deletion selection screen 700, 750, 800, 850 can be reduced, and the visibility of unnecessary scenes can be improved.
  • Each function described above is built as a program, but it can be used in any form, for example, configured by hardware such as a circuit board or a single IC (Integrated Circuit). .
  • a computer as a calculation means is read from a program or a separate recording medium, handling is easy, and usage can be easily expanded.
  • the editing apparatus 100A selects a scene having different characteristics from the necessary scene, such as a video scene of the video data, for example, a backlight scene or a camera shake scene as an unnecessary scene. Then, this unnecessary scene is reproduced on the display means 110.
  • a scene having different characteristics from the necessary scene such as a video scene of the video data, for example, a backlight scene or a camera shake scene as an unnecessary scene. Then, this unnecessary scene is reproduced on the display means 110.
  • the editing apparatus 100A can allow the user to select what is necessary and what is not necessary even in a backlit scene. Also, for example, if there is a camera shake scene in a similar video shot at an approximately equal place, it should be confirmed that the user does not perform the task of selecting a hand pressine. It can be recognized.
  • the present invention can be used for a data processing apparatus that processes video data of a captured video, a method thereof, a program thereof, and a recording medium on which the program is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　編集装置１００Ａは、映像データの映像から必要シーンと異なる特性のシーン、例えば逆光シーンや手ブレシーンを不要シーンとして選別して、表示手段１１０で再生する。このため、編集装置１００Ａは、利用者に、手ブレや逆光のシーンであっても必要なものと、不要なものと、を選別させることができる。また、例えば略等しい場所が撮影された類似する映像の中に、手ブレシーンが存在している場合、利用者に手ブレシーンを選択する作業を実施させることなく、それが存在していることを認識させることができる。

Description

明 細 書
データ処理装置、その方法、そのプログラム、および、そのプログラムを記 録した記録媒体
技術分野
[0001] 本発明は、撮影された映像の映像データを処理するデータ処理装置、その方法、 そのプログラム、および、そのプログラムを記録した記録媒体に関する。
背景技術
[0002] 従来、映像データを処理する構成が知られて!/ヽる（例えば、特許文献 1および特許 文献 2参照)。
[0003] 特許文献 1に記載のものは、ビデオデータシーケンス力 ビデオ構造およびメタデ ータを抽出する。そして、このメタデータなどに基づいて、劣悪な色エントロピー、異 常な動き解析結果などを有する低品質なフレームシーケンスを取り除くことにより、ビ デォ要約を生成する構成が採られて ヽる。
[0004] 特許文献 2に記載のものは、放送番組における-ユース番組を、類似画像ごとに分 類する。例えば、アナウンサーの登場シーンと、ニュース映像のシーンと、などに分類 する。そして、分類結果を表示系で表示させる際には、分類、時間、および、再生位 置を表示するとともに、類似画像シーンで分類頻度が大きい部分を例えば赤色で表 示して、それ以外の部分を例えば青色で表示する構成が採られて 、る。
[0005] 特許文献 1 :特開 2004— 159331号公報 (第 18頁）
特許文献 2：特開 2002— 344852号公報 (第 4頁左欄—第 11頁左欄）
発明の開示
発明が解決しょうとする課題
[0006] ところで、近年、携帯可能な撮影装置の普及により、利用者が自ら風景などを撮影 して、この撮影した映像の品質を高めるために編集することがある。そして、このような 編集に、上述したような特許文献 1および特許文献 2に記載のような構成を適用する ことが考えられる。
しかしながら、特許文献 1のような構成を用いた場合、低品質な画像を取り除いた要 約が生成されてしまうため、低品質であっても利用者にとって必要な画像、例えば画 像が揺れていても利用者にとって必要な画像が、利用者の意志に反して削除されて しまうおそれがあるという問題点が一例として挙げられる。
また、特許文献 2のような構成を用いた場合、類似する画像の中に利用者が不必要 と感じる画像、例えば揺れた画像が存在している場合であっても、揺れていない他の 画像と類似していると分類されてしまい、この類似する画像の中から不必要な画像を 選択する作業が煩わしいおそれがあるという問題点が一例として挙げられる。
[0007] 本発明の目的は、このような実情などに鑑みて、適切な映像データの編集を容易に するデータ処理装置、その方法、そのプログラム、および、そのプログラムを記録した 記録媒体を提供することである。
課題を解決するための手段
[0008] 本発明のデータ処理装置は、撮影装置で撮影された映像を表示させるための映像 データを処理するデータ処理装置であって、前記映像データを取得する映像データ 取得手段と、この取得された映像データの映像の特性を分析する特性分析手段と、 この分析で得られた特性が予め設定された標準値の範囲から外れるシーンを不要シ ーンとして識別する識別手段と、前記映像データから前記不要シーンを表示させる ための不要シーンデータを選出する選出手段と、この選出された不要シーンデータ に基づ!/、て前記不要シーンを表示手段で表示させる制御をする表示制御手段と、を 具備したことを特徴とする。
[0009] 本発明のデータ処理方法は、演算手段にて、撮影装置で撮影された映像を表示さ せるための映像データを処理するデータ処理方法であって、前記演算手段は、前記 映像データを取得し、この取得された映像データの映像の特性を分析し、この分析 で得られた特性が予め設定された標準値の範囲力 外れるシーンを不要シーンとし て識別し、前記映像データ力 前記不要シーンを表示させるための不要シーンデー タを選出し、この選出された不要シーンデータに基づいて前記不要シーンを表示手 段で表示させる制御をすることを特徴とする。
[0010] 本発明のデータ処理プログラムは、前述した本発明のデータ処理方法を演算手段 に実行させることを特徴とする。 [0011] 本発明のデータ処理プログラムを記録した記録媒体は、前述した本発明のデータ 処理プログラムが演算手段にて読取可能に記録されたことを特徴とする。 図面の簡単な説明
[0012] [図 1]本発明の第 1,第 4実施形態における編集装置の概略構成を示すブロック図で ある。
[図 2]前記第 1実施形態および第 1実施形態の変形形態におけるシーン分類手段の 概略構成を示すブロック図である。
[図 3]前記第 1,第 4実施形態、第 2,第 3実施形態における特性標準値情報テープ ルにおけるデータのテーブル構造を模式的に示す概念図である。
[図 4]第 1〜第 4実施形態における不要シーンに対するシーン属性情報のテーブル 構造を模式的に示す概念図である。
[図 5]前記第 1,第 2実施形態におけるシーン選別手段の概略構成を示すブロック図 である。
[図 6]前記第 1〜第 4実施形態におけるアイコン関連情報テーブルにおけるデータの テーブル構造を模式的に示す概念図である。
[図 7]前記第 1,第 2,第 4実施形態における不要シーンの通常再生処理時および要 約再生処理時の動作を示すタイミングチャートであり、 (A)部分は通常再生処理時の 動作、（B)部分は要約再生処理時の動作を示す。
[図 8]前記第 1,第 2,第 4実施形態における削除選択画面の概略構成を示す模式図 である。
[図 9]前記第 1実施形態における編集データの生成処理を示すフローチャートである
[図 10]前記編集データの生成処理における第 1のシーン分類処理を示すフローチヤ ートである。
[図 11]前記編集データの生成処理における第 1のシーン選別処理を示すフローチヤ ートである。
[図 12]前記第 2実施形態における編集装置の概略構成を示すブロック図である。
[図 13]前記第 2実施形態および第 2実施形態の変形形態におけるシーン分類手段 の概略構成を示すブロック図である。
[図 14]前記第 2実施形態における編集データの生成処理を示すフローチャートであ る。
[図 15]前記編集データの生成処理における第 2のシーン分類処理を示すフローチヤ ートである。
圆 16]前記第 3実施形態における編集装置の概略構成を示すブロック図である。
[図 17]前記第 3実施形態および第 3実施形態の変形形態におけるシーン分類手段 の概略構成を示すブロック図である。
圆 18]前記第 3実施形態におけるシーン選別手段の概略構成を示すブロック図であ る。
圆 19]前記第 3実施形態における不要シーンおよび補正シーンの通常再生処理時 および要約再生処理時の動作を示すタイミングチャートであり、 (A)部分は不要シー ンの通常再生処理時の動作、（B)部分は不要シーンの要約再生処理時の動作、 (C )部分は補正シーンの要約再生処理時の動作、 (D)部分は補正シーンの通常再生 処理時の動作を示す。
圆 20]前記第 3実施形態における削除選択画面の概略構成を示す模式図である。
[図 21]前記第 3実施形態における編集データの生成処理を示すフローチャートであ る。
[図 22]前記編集データの生成処理における第 2のシーン選別処理を示すフローチヤ ートである。
[図 23]前記第 4実施形態におけるシーン分類手段の概略構成を示すブロック図であ る。
圆 24]前記第 4実施形態におけるシーン選別手段の概略構成を示すブロック図であ る。
[図 25]前記第 4実施形態における編集データの生成処理を示すフローチャートであ る。
[図 26]前記編集データの生成処理における第 3のシーン選別処理を示すフローチヤ ートである。 [図 27]前記編集データの生成処理における特性標準値情報の更新処理を示すフロ 一チャートである。
[図 28]前記第 1実施形態の変形形態における編集装置の概略構成を示すブロック図 である。
[図 29]前記第 1,第 2実施形態の変形形態における削除選択画面の概略構成を示 す模式図である。
[図 30]前記第 2実施形態の変形形態における編集装置の概略構成を示すブロック図 である。
[図 31]前記第 3実施敬愛の変形形態における編集装置の概略構成を示すブロック図 である。
[図 32]前記第 3実施形態の変形形態における削除選択画面の概略構成を示す模式 図である。
[図 33]本発明の他の変形形態における不要シーンおよび補正シーンの通常再生処 理時および要約再生処理時の動作を示すタイミングチャートであり、 (A)部分は不要 シーンの通常再生処理時の動作、 (B)部分は不要シーンの要約再生処理時の動作 、（C)部分は補正シーンの要約再生処理時の動作、（D)部分は補正シーンの通常 再生処理時の動作を示す。
符号の説明
33, 38…特性パラメータ標準情報
50…特性内容情報としてのシーン属性情報
100A, 100B, 100C, 100D, 100E, 100F, 100G…データ処理装置としての 編集装置
110…表示手段
120…入力手段
141· · '標準情報記憶手段としての特性標準値保持手段
142…映像データ取得手段
144…特性分析手段
144A…色特性分析手段 144Β· · ·動き特性分析手段
144C- ··空間周波数特性分析手段
146, 211, 261…識別手段としての特性比較手段
147, 212, 262…選出手段としての分類振分手段
153, 282…表示制御手段としての要約再生手段
154, 283, 322· · ·表示制御手段および必要性判断手段としての GUI (Graphical User Interface;
160, 230…編集データ生成手段としてのシーン整列手段
220, 270· · ·シーン補正手段
311 · · ·標準情報更新手段としての特性標準値更新手段
発明を実施するための最良の形態
[0014] [第 1実施形態]
以下に、本発明の第 1実施形態を図面に基づいて説明する。この第 1実施形態、お よび、後述する第 2〜第 4実施形態では、映像データから利用者により不要と判断さ れうる不要シーンデータを選出して不要シーンを表示させるとともに、利用者が不要 と判断した不要シーンデータを削除した編集データを生成する構成を例示して説明 する。
この不要シーンとしては、揺れが大きいシーン、いわゆるパンやズームが速いシー ン、逆光で撮影されたシーン、フォーカスが合っていないシーン、意図しない物体な どが撮影されたシーン、変化の少ない映像が一定以上続くシーンなどが例示できる。 なお、映像データの映像における不要シーン以外のシーン、すなわち利用者により 必要と判断されうるシーンを必要シーンと称して説明する。
[0015] 図 1は、本発明の第 1,第 4実施形態における編集装置の概略構成を示すブロック 図である。図 2は、第 1実施形態および後述する第 1実施形態の変形形態におけるシ ーン分類手段の概略構成を示すブロック図である。図 3は、第 1〜第 4実施形態にお ける特性標準値情報テーブルにおけるデータのテーブル構造を模式的に示す概念 図である。図 4は、第 1〜第 4実施形態における不要シーンに対するシーン属性情報 のテーブル構造を模式的に示す概念図である。図 5は、第 1,第 2実施形態における シーン選別手段の概略構成を示すブロック図である。図 6は、第 1〜第 4実施形態に おけるアイコン関連情報テーブルにおけるデータのテーブル構造を模式的に示す概 念図である。図 7は、第 1,第 2,第 4実施形態における不要シーンの通常再生処理 時および要約再生処理時の動作を示すタイミングチャートであり、 (A)部分は通常再 生処理時の動作、（B)部分は要約再生処理時の動作を示す。図 8は、第 1,第 2,第 4実施形態における削除選択画面の概略構成を示す模式図である。
[0016] 〔編集装置の構成〕
図 1において、 100Aは、データ処理装置としての編集装置である。この編集装置 1 OOAは、映像データ力 不要シーンデータを選出して不要シーンを表示させるととも に、利用者の判断に基づいて、映像データから不要シーンデータを削除した編集デ ータを生成する。
そして、編集装置 100Aは、表示手段 110と、入力手段 120と、編集処理部 130と、 などを備えている。
[0017] 表示手段 110は、編集処理部 130にて制御され編集処理部 130からの所定の画 像を表示させるための画像信号 Asを画面表示させる。この表示手段 110としては、 例えば液晶パネルや有機 EL (Electro Luminescence)パネル、 PDP (Plasma Display Panel)、 CRT (Cathode-Ray Tube)、 FED (Field Emission Display)、電気泳動デイス プレイパネルなどが例示できる。
この表示手段 110に表示させる画像としては、不要シーンや、この不要シーンを削 除する力否かを利用者に選択させるための削除選択画面 700 (図 8参照)などが例 示できる。
[0018] 入力手段 120は、例えばキーボードやマウスなどで、入力操作される図示しない各 種操作ボタンや操作つまみなどを有して 、る。これら操作ボタンや操作つまみなどの 入力操作は、編集装置 100Aの動作内容の設定入力や、不要シーンを削除するか 否かの設定入力などである。
そして、入力手段 120は、設定事項の入力操作により、設定事項に対応する入力 信号 Atを編集処理部 130へ適宜出力して設定入力させる。なお、入力操作としては 、操作ボタンや操作つまみなどの操作に限らず、例えば表示手段 110に設けられた タツチパネルによる入力操作や、音声による入力操作などにより、各種設定事項を設 定入力する構成としてもできる。
[0019] 編集処理部 130は、映像データ出力手段 10と、ストレージ 20と、に接続されている 編集処理部 130は、映像データ出力手段 10から、映像信号 Edとして出力される例 えば図示しない撮影装置で撮影された映像データを取得する。さらに、この映像デ 一タカも不要シーンデータを適宜削除した編集データを生成して、編集信号 Szとし てストレージ 20へ出力し、編集データをストレージ 20に蓄積させる。なお、ストレージ 20としては、 HD (Hard Disc)、 DVD (Digital Versatile Disc)、光ディスク、メモリカー ドなどの記録媒体に読み出し可能に記憶するドライブやドライバなどが例示できる。 そして、編集処理部 130は、シーン分類手段 140と、シーン選別手段 150と、シー ン整列手段 160と、などを備えている。
[0020] シーン分類手段 140は、映像データ出力手段 10と、シーン選別手段 150と、編集 データ生成手段としてのシーン整列手段 160と、に接続されて!、る。
シーン分類手段 140は、映像信号 Edの映像データを、不要シーンデータと、必要 シーンデータと、に分類して出力する。
そして、シーン分類手段 140は、図 2に示すように、標準情報記憶手段としての特 性標準値保持手段 141と、映像データ取得手段 142と、遅延手段 143と、特性分析 手段 144と、特性統合化手段 145と、識別手段としての特性比較手段 146と、選出 手段としての分類振分手段 147と、などを備えている。
[0021] 特性標準値保持手段 141は、特性比較手段 146に接続されている。
特性標準値保持手段 141は、図 3に示すような特性標準値情報テーブル 30を適宜 読み出し可能に記憶して 、る。
特性標準値情報テーブル 30は、少なくとも 1つの特性標準値情報 31を備えている 。この特性標準値情報 31は、所定のシーンを不要シーンとして識別する際の所定の 特性の標準に関する情報である。
そして、特性標準値情報 31は、特性情報 32と、特性パラメータ標準情報 33と、な どが関連付けられた 1つのデータに構成されて！、る。 [0022] 特性情報 32は、特性分析手段 144が出力する種々の映像特性カゝら構成されてい る。具体的には、特性情報 32には、後述する色特性分析手段 144Aが出力する「輝 度分布」、「色度分布」、動き特性分析手段 144Bが出力する「カメラワーク」、「動き領 域」、空間周波数特性分析手段 144Cが出力する「低周波領域」、などが含まれる。
[0023] 特性パラメータ標準情報 33には、不要シーンとして識別する際の標準となる各種パ ラメータが記録されている。すなわち、所定のシーンにおけるパラメータ力 この特性 パラメータ標準情報 33に記録された標準範囲内の場合に、必要シーンとして識別さ れ、標準範囲外の場合に、不要シーンとして識別される。
[0024] 映像データ取得手段 142は、遅延手段 143と、特性分析手段 144と、に接続され ている。
映像データ取得手段 142は、映像データ出力手段 10から映像信号 Edを取得して 、この映像信号 Edの映像データを遅延手段 143および特性分析手段 144へ出力す る。
[0025] 遅延手段 143は、分類振分手段 147に接続されている。
遅延手段 143は、映像データ取得手段 142から映像データを取得する。そして、こ の映像データを、特性分析手段 144、特性統合化手段 145、および、特性比較手段
146における不要シーンの識別処理に要する時間と略等しい時間だけ遅延させて、 分類振分手段 147へ出力する。
[0026] 特性分析手段 144は、映像データの映像の特性を分析する。そして、この特性分 析手段 144は、それぞれ映像データ取得手段 142および特性統合ィ匕手段 145に接 続された、色特性分析手段 144Aと、動き特性分析手段 144Bと、空間周波数特性 分析手段 144Cと、を備えている。
[0027] 色特性分析手段 144Aは、撮影時の環境などに起因する映像の色特性を分析す る。
具体的には、色特性分析手段 144Aは、各シーンにおける色特性として、色の明度 、色調、および、彩度のヒストグラムを分析する。
そして、色の各成分に関する分散値、最大値、最小値、などの色特性値を、フレー ムシーケンス情報に対応付けて、特性統合ィ匕手段 145へ出力する。 [0028] 動き特性分析手段 144Bは、映像の動き特性を分析し、その結果から、撮影時の力 メラワークや、カメラワークと独立して動 、て 、る領域などを認識する。
そして、カメラワークに関する認識結果 (パン、ズーム、フィクスなどの種別情報や、 速度情報など)、動き領域に関する認識結果 (領域数、各領域の位置，大きさ，速度 など)を、フレームシーケンス情報に対応付けて、特性統合ィ匕手段 145へ出力する。
[0029] 空間周波数特性分析手段 144Cは、映像の空間周波数特性を分析する。
具体的には、空間周波数特性分析手段 144Cは、各映像フレームにおける分割領 域ことの FFT(Fast Fourier Transform)保 や DCT (Discreteし osine Transformノ係 数などを算出して、局所的な空間周波数特性を分析する。
そして、極端に特性が低周波に偏った領域に関する情報 (領域数、各領域の位置 、大きさなど)を、フレームシーケンス情報に対応付けて、特性統合ィ匕手段 145へ出 力する。
[0030] なお、以下において、色特性に関する色特性情報、カメラワークに関する動き特性 情報、空間周波数特性に関する空間周波数特性情報のうち少なくとも 2つをまとめて 表現する際には、特性分析情報と称して説明する。
[0031] 特性統合ィ匕手段 145は、特性比較手段 146に接続されている。
特性統合ィ匕手段 145は、特性分析手段 144からフレームシーケンス情報と、このフ レームシーケンス情報に対応付けられた個々の特性分析情報を取得する。さらに、フ レームシーケンス情報に基づいて、個別に取得した特性分析情報を、同一のフレー ムシーケンスに対応した特性分析情報に統合する。そして、適宜フレームシーケンス 情報と、統合化された特性分析情報と、を特性比較手段 146へ出力する。
[0032] 特性比較手段 146は、分類振分手段 147と、シーン選別手段 150と、に接続され ている。
特性比較手段 146は、特性統合ィ匕手段 145からのフレームシーケンス情報および 特性分析情報を取得する。また、特性標準値保持手段 141から特性標準値情報テ 一ブル 30を取得する。そして、所定のフレームシーケンス情報に対応付けられた特 性分析情報で示される特性が、特性標準値情報テーブル 30の特性パラメータ標準 情報 33の標準範囲内力ゝ否かを判断する。 [0033] 例えば、所定のフレームシーケンス情報に対応する動き特性情報のカメラワーク種 別情報がパンである場合、動き特性情報に記録されたカメラワーク速度が、カメラヮ ークがパンである場合の特性パラメータ標準情報 33に記録されたカメラワーク速度の 標準範囲内か否かを判断する。
[0034] そして、特性比較手段 146は、特性パラメータ標準情報 33の標準範囲内であると 判断した場合、このフレームシーケンスのシーンの属性は通常のパンであると判断す る。さらに、 1つのフレームシーケンス情報に複数の特性分析情報が対応付けられて いる場合、それぞれの特性分析情報で示される特性について、特性パラメータ標準 情報 33の標準範囲内力否かを判断する。そして、全ての特性について、標準範囲 内であると判断した場合、このフレームシーケンス情報に対応するシーンが必要シー ンであると識別する。さらに、このフレームシーケンス情報に、必要シーンである旨が 記録された識別情報を対応付けて、分類振分手段 147へ出力する。
[0035] また、特性比較手段 146は、フレームシーケンス情報に対応付けられた全ての特性 分析情報のうち、少なくともいずれか 1つの特性分析情報で示される特性が特性パラ メータ標準情報 33の標準範囲外であると判断した場合、このフレームシーケンス情 報のシーンが不要シーンであると識別する。そして、フレームシーケンス情報に、不 要シーンである旨が記録された識別情報を対応付けて、分類振分手段 147へ出力 する。
さらに、特性比較手段 146は、不要シーンであると識別したシーンに対応付けて、 図 4に示すような特性内容情報としてのシーン属性情報 50を生成する。例えば、カメ ラワークがパンであり、その速度が特性パラメータ標準情報 33の標準範囲を超えて 大きい場合は、高速パンであることを示す属性情報 51と、その速度を表すパラメータ 情報 52と、を有するシーン属性情報 50を生成する。そして、このシーン属性情報 50 をフレームシーケンス情報に関連付けて、図 1および図 2に示すように、シーン属性 信号 Tnに変換してシーン選別手段 150へ出力する。
[0036] 分類振分手段 147は、図 1および図 2に示すように、シーン選別手段 150と、シーン 整列手段 160と、に接続されている。
分類振分手段 147は、特性比較手段 146からフレームシーケンス情報および識別 情報を取得する。さらに、遅延手段 143から映像データを取得する。そして、所定の 映像フレームデータのフレームシーケンス情報に対応する識別情報に、必要シーン である旨が記載されて 、ると判断した場合、この映像フレームデータを必要シーンデ ータとして必要シーン信号 Skに変換して、シーン整列手段 160へ出力する。
一方、識別情報に、不要シーンである旨が記載されていると判断した場合、映像フ レームデータを不要シーンデータとして不要シーン信号 Stに変換して、シーン選別 手段 150へ出力する。
[0037] シーン選別手段 150は、表示手段 110と、入力手段 120と、シーン整列手段 160と 、に接続されている。
シーン選別手段 150は、不要シーンデータを表示手段 110で表示させ、利用者に より削除しないデータとして選択された不要シーンデータを選択シーンデータとして シーン整列手段 160へ出力する。
そして、シーン選別手段 150は、図 5に示すように、アイコン保持手段 151と、蓄積 手段 152と、表示制御手段としての要約再生手段 153と、表示制御手段および必要 性判断手段としての GUI (Graphical User Interface) 154と、選別振分手段 155と、を 備えている。
[0038] アイコン保持手段 151は、要約再生手段 153に接続されている。
アイコン保持手段 151は、図 6に示すようなアイコン関連情報テーブル 40を適宜読 み出し可能に記憶している。
アイコン関連情報テーブル 40は、シーン属性情報 50の属性情報 51と同数のアイ コン関連情報 41を備えている。このアイコン関連情報 41は、削除選択画面 700に、 不要シーンの属性を示すアイコンに関する情報である。
そして、アイコン関連情報 41は、シーン属性情報 50の属性情報 51と同様の内容が 記録された属性情報 42と、アイコンを表示させる際に利用されるアイコンデータ 43と
、などが関連付けられた 1つのデータに構成されている。
[0039] 蓄積手段 152は、要約再生手段 153と、選別振分手段 155と、に接続されている。
また、シーン分類手段 140の特性比較手段 146と、分類振分手段 147と、に接続さ れている。 蓄積手段 152は、特性比較手段 146からのシーン属性信号 Tnを取得して、このシ ーン属性信号 Τηのシーン属性情報 50を蓄積する。そして、このシーン属性情報 50 を、要約再生手段 153へ適宜出力する。
また、蓄積手段 152は、分類振分手段 147からの不要シーン信号 Stを取得して、こ の不要シーン信号 Stの不要シーンデータを蓄積する。そして、この不要シーンデー タを、要約再生手段 153および選別振分手段 155へ適宜出力する。
[0040] 要約再生手段 153は、 GUI 154に接続されている。
要約再生手段 153は、 GUI154から不要シーンを通常再生する旨、または、要約 再生する旨の再生状態信号を取得して、この再生状態信号に基づく再生処理を実 施する。
具体的には、要約再生手段 153は、通常再生処理を実施する場合、全ての不要シ ーンデータを表示順序通りに表示させ、全ての不要シーンを動画として再生する制 御をする。
例えば、図 7 (A)に示すように、図示しない複数の不要シーンデータを有する不要 シーンデータグループ 70で再生されるシーン 1が逆光シーンであり、かつ、他の不要 シーンデータグループ 70で再生されるシーン 2が手ブレシーンの場合、これら全ての 不要シーンデータグループ 70に基づき全ての不要シーンを動画として再生して、再 生情報として GUI154へ出力する。
さらに、蓄積手段 152からシーン属性情報 50を取得するとともに、アイコン保持手 段 151から不要シーンの属性に対応するアイコンデータ 43を抽出する。そして、これ らを、削除選択画面 700を表示させるための状態に変換、加工して、 GUI154へ出 力する。
[0041] 一方、要約再生手段 153は、要約再生処理を実施する場合、不要シーンデータグ ループ 70から不要シーンデータを適宜選択的に抽出して、不要シーンの一部を動 画または静止画として再生する制御をする。
具体的には、シーン属性情報 50の属性情報 51に基づいて、不要シーンの属性が 逆光、色かぶり、障害物、デフォーカスのうちの少なくともいずれか 1つであることを認 識すると、不要シーンデータグループ 70から例えば所定時間ごとに表示される静止 画の不要シーンデータ、すなわち表示順序が略連続しない不要シーンデータを、静 止画要約シーンデータ 71として抽出する。
[0042] また、要約再生手段 153は、不要シーンの属性が高速パン、手ブレのうち少なくと もいずれか一方であることを認識すると、シーン属性情報 50に基づいて、複数の不 要シーンデータから、その属性の特性が顕著な不要シーン、例えば手ブレの状態が 激しい不要シーンを認識する。そして、その不要シーンを動画として表示させるため の不要シーンデータ、すなわち表示順序が略連続する複数の不要シーンデータを、 動画要約シーンデータ 72として抽出する。
例えば、図 7 (B)に示すように、逆光シーンの不要シーンデータグループ 70から静 止画要約シーンデータ 71を抽出するとともに、手ブレシーンの不要シーンデータグ ループ 70から動画要約シーンデータ 72を抽出する。
そして、要約再生手段 153は、これらに基づく逆光シーンを静止画として再生する とともに、手ブレシーンを動画として再生して、再生情報として GUI154へ出力する。 さらに、要約再生される不要シーンデータに対応するシーン属性情報 50およびァ イコンデータ 43を抽出、変換、加工して、 GUI154へ出力する。
[0043] GUI154は、表示手段 110と、入力手段 120と、選別振分手段 155と、に接続され ている。
GUI154は、入力手段 120から入力信号 Atを取得すると、この入力信号 Atに基づ いて、不要シーンを通常再生または要約再生する旨の設定入力を認識する。そして 、この認識した内容に対応する再生状態信号を要約再生手段 153へ出力する。 また、 GUI154は、要約再生手段 153から再生情報、シーン属性情報 50、アイコン データ 43を取得すると、これらに基づいて、図 8に示すような削除選択画面 700を表 示させるための画像信号 Asを、表示手段 110へ出力する。
[0044] ここで、削除選択画面 700は、再生映像領域 710と、シーン属性領域 720と、選択 操作領域 730と、を備えている。
[0045] 再生映像領域 710は、削除選択画面 700における略中央力も左上縁近傍にかけ て設けられている。この再生映像領域 710には、再生情報に基づいて、図 7 (A)に示 すような通常再生の動画、または、図 7 (B)に示すような要約再生された不要シーン の動画や静止画が表示される。
[0046] シーン属性領域 720は、再生映像領域 710の右側に設けられている。このシーン 属性領域 720には、再生中の不要シーンの番号に関するシーン番号情報 721と、ァ イコンデータ 43に基づくアイコン 722と、シーン属性情報 50で示される特性値をダラ フで表す特性グラフ情報 723と、シーン属性情報 50で示される属性および特性値を 文字列で表す特性文字列情報 724と、が表示される。
このシーン属性領域 720に表示される内容は、再生映像領域 710で表示される不 要シーンに対応して適宜更新される。
[0047] 選択操作領域 730は、再生映像領域 710およびシーン属性領域 720の下側に設 けられている。この選択操作領域 730には、再生中の不要シーンを削除するか否か の設定入力を促す旨の選択メッセージ情報 731と、削除する際に選択される削除情 報 732と、削除せずに選択シーンとする際に選択される非削除情報 733と、利用者 により選択された削除情報 732または非削除情報 733を囲むカーソル 734と、が表 示される。
ここで、再生映像領域 710における 1点鎖線 Q1から左隅部分にかけての領域 R1 は、逆光の影響を受けている領域を意味する。また、 2点鎖線 Q2で囲まれた領域 R2 は、手ブレの影響により存在する像を意味する。
[0048] そして、 GUI154は、入力手段 120からの入力信号 Atに基づいて、選択シーンとし て選択された旨または削除する旨の設定入力を認識する。そして、この認識した内容 に対応する選択判定結果情報を、選択対象の不要シーンと対応付けて選別振分手 段 155へ出力する。
例えば、 GUI154は、図 7 (A)に示すような通常再生時において、逆光シーンの再 生中に選択シーンとして選択された旨を認識すると、この逆光シーン全体を選択シ ーンとして選択する旨の選択判定結果情報を出力する。また、図 7 (B)に示すような 要約再生時において、逆光シーンの静止画や手ブレシーンの動画の再生中に削除 する旨を認識すると、逆光シーン全体や手ブレシーン全体を削除する旨の選択判定 結果情報を出力する。
[0049] 選別振分手段 155は、図 1および図 5に示すように、シーン整列手段 160に接続さ れている。
選別振分手段 155は、蓄積手段 152から不要シーンデータを取得するとともに、 G UI154から不要シーンと対応付けられた選択判定結果情報を取得する。そして、所 定の不要シーンが選択シーンとして選択されたことを認識すると、この選択された不 要シーンの不要シーンデータを選択シーンデータとして選択シーン信号 Ssに変換し て、シーン整列手段 160へ出力する。
また、不要シーンが削除するものとして選択されたことを認識すると、この不要シー ンの不要シーンデータを廃棄する処理をする。
[0050] シーン整列手段 160は、図 1に示すように、ストレージ 20に接続されている。また、 シーン分類手段 140の分類振分手段 147と、シーン選別手段 150の選別振分手段 155と、に接続されている。
シーン整列手段 160は、分類振分手段 147からの必要シーン信号 Skと、選別振分 手段 155からの選択シーン信号 Ssと、を適宜取得する。そして、必要シーン信号 Sk の必要シーンデータと、選択シーン信号 Ssの選択シーンデータと、を表示順序に整 列し、必要シーンおよび選択シーンを再生するための編集データを生成する。そして 、この編集データを編集信号 Szに変換して、ストレージ 20へ出力する。
[0051] 〔編集装置の動作〕
次に、編集装置 100Aの動作として、編集データの生成処理について、図面を参 照して説明する。
図 9は、第 1実施形態における編集データの生成処理を示すフローチャートである 。図 10は、第 1のシーン分類処理を示すフローチャートである。図 11は、第 1のシー ン選別処理を示すフローチャートである。
[0052] まず、編集装置 100Aは、図 9に示すように、シーン分類手段 140にて、映像デー タ出力手段 10から映像データを取得する (ステップ Sl)。そして、第 1のシーン分類 処理を実施して (ステップ S2)、必要シーンデータをシーン整列手段 160へ、不要シ ーンデータをシーン選別手段 150へ、それぞれ出力する。
この後、シーン選別手段 150にて、第 1のシーン選別処理を実施して (ステップ S3) 、選択シーンデータをシーン整列手段 160へ出力する。そして、シーン整列手段 16 0にて、必要シーンデータおよび選択シーンデータを有する編集データを生成して（ ステップ S4)、ストレージ 20に蓄積させる。
[0053] ステップ S2における第 1のシーン分類処理では、シーン分類手段 140は、図 10に 示すように、映像データを遅延手段 143および特性分析手段 144へ出力する (ステツ プ Sl l)。そして、特性分析手段 144は、映像データの映像における各シーンの特性 を分析する（ステップ S 12)。そして、各シーンのフレームシーケンスに、特性を対応 付けて (ステップ S13)、特性統合ィ匕手段 145へ出力する。
特性統合ィ匕手段 145は、特性分析手段 144における特性の対応付け結果を再統 合して (ステップ S14)、その結果を特性比較手段 146へ出力する。
特性比較手段 146は、特性統合化手段 145から再統合処理の結果を取得すると、 特性標準値情報 31に基づ 、て、各シーンが不要シーンである力否かを識別して (ス テツプ S 15)、識別情報を生成する。さらに、この不要シーンと識別したシーンのシー ン属性情報 50を生成して (ステップ S16)、識別情報とともに分類振分手段 147へ出 力する。
[0054] 分類振分手段 147は、識別情報に基づいて、遅延手段 143から取得した映像フレ ームデータの映像フレームが不要シーンか否かを判断する（ステップ S 17)。
このステップ S17において、シーン分類手段 140は、不要シーンであると判断した 場合、映像フレームデータを不要シーンデータとして、シーン属性情報 50とともにシ ーン選別手段 150へ出力する (ステップ S18)。
一方、ステップ S17において、不要シーンでないと判断した場合、映像フレームデ ータを必要シーンデータとして、シーン整列手段 160へ出力する（ステップ S19)。
[0055] ステップ S3における第 1のシーン選別処理では、シーン選別手段 150は、図 11に 示すように、蓄積手段 152にて、不要シーンデータおよびシーン属性情報 50を蓄積 する (ステップ S31)。そして、不要シーンデータを選別振分手段 155および要約再 生手段 153へ出力するとともに (ステップ S32)、シーン属性情報 50を要約再生手段 153へ出力する (ステップ S33)。
この後、要約再生手段 153は、 GUI154からの再生状態信号に基づいて、要約再 生を実施するカゝ否かを判断する (ステップ S34)。 [0056] このステップ S34において、要約再生を実施すると判断した場合、静止画要約シー ンデータ 71や動画要約シーンデータ 72を抽出する処理を、要約再生シーンデータ の抽出処理として実施する (ステップ S35)。さらに、シーン属性情報 50を変換、加工 する (ステップ S36)。そして、シーン選別手段 150は、要約再生処理を実施して (ス テツプ S37)、削除選択画面 700を表示させる (ステップ S38)。
一方、ステップ S34において、要約再生ではなく通常再生を実施すると判断した場 合、通常再生処理を実施して (ステップ S39)、ステップ S38の処理を実施する。
[0057] この後、 GUI154にて、設定入力を認識して (ステップ S40)、再生中の不要シーン が選択シーンとして選択されたか否かを判断する (ステップ S41)。
このステップ S41において、選択シーンとして選択されたと判断した場合、選別振 分手段 155にて、この不要シーンの不要シーンデータを選択シーンデータとして、シ ーン整列手段 160へ出力する (ステップ S42)。
一方、ステップ S41において、削除すると判断した場合、不要シーンデータを廃棄 する（ステップ S43)。
[0058] 〔第 1実施形態の作用効果〕
上述したように、上記第 1実施形態では、編集装置 100Aは、映像データの映像か ら、利用者により必要と判断されうる必要シーンと異なる特性のシーン、例えば逆光 シーンや手ブレシーンを不要シーンとして選別する。そして、この不要シーンに対応 する不要シーンデータを映像データ力 選出して、この不要シーンデータに基づく不 要シーンを表示手段 110で再生する。
このため、編集装置 100Aは、利用者に、手ブレゃ逆光のシーンであっても必要な ものと、不要なものと、を選別させることができる。また、例えば略等しい場所が撮影さ れた類似する映像の中に、手ブレシーンが存在している場合、利用者に手プレシー ンを選択する作業を実施させることなぐそれが存在していることを認識させることが できる。
したがって、編集装置 100Aは、利用者に適切な映像データの編集を容易に実施 させることがでさる。
[0059] そして、各シーンの動き特性に基づ 、て、カメラワークに起因する高速パン、手ブレ のシーンを不要シーンとして選出する。
このため、利用者に、一般的にカメラワークに起因して起きやすい高速パンや手ブ レの不要シーンを認識させることができ、利便性を向上させることができる。
[0060] さらに、各シーンの色特性に基づいて、逆光、色かぶりのシーンを不要シーンとして 選出する。
このため、利用者に、一般的に環境に起因して起きやすい逆光や色かぶりの不要 シーンを認識させることができ、利便性をより向上させることができる。
[0061] そして、各シーンにおける動きや空間周波数の特性に基づいて、障害物がカメラの 前を横切ったシーン、障害物が映像の周縁に存在するシーンを不要シーンとして選 出する。
このため、利用者に、意図しない障害物が存在する不要シーンを認識させることが でき、利便性をさらに向上させることができる。
[0062] さらに、各シーンにおける空間周波数特性に基づいて、デフォーカスなシーンを不 要シーンとして選出する。
このため、利用者に、一般的に起きやすいデフォーカスな不要シーンを認識させる ことができ、利便性をさらに向上させることができる。
[0063] そして、不要シーンの属性が高速パン、手ブレのうち少なくともいずれか一方である ことを認識すると、不要シーンの一部を動画として要約再生する。
このため、静止画でなく動画で再生しないと利用者にその属性を認識させることが できない高速パン、手ブレの不要シーンの一部を、動画として要約再生するので、短 時間で多くの不要シーンを利用者に認識させることができる。
[0064] また、不要シーンの属性が逆光、色かぶり、障害物、デフォーカスのうち少なくとも いずれか 1つであることを認識すると、不要シーンの一部を静止画として要約再生す る。
このため、動画でなく静止画で再生しても利用者にその属性を認識させることがで きる逆光、色かぶり、障害物、デフォーカスなどの不要シーンの一部を、静止画として 要約再生するので、短時間でさらに多くの不要シーンを利用者に認識させることがで きる。 [0065] そして、利用者の設定入力に基づ!/、て、不要シーンの全てを再生する通常再生、 または、上述した要約再生を実施する。
このため、利用者の嗜好に応じた状態で不要シーンを再生でき、利便性をより向上 できる。
[0066] さらに、編集装置 100Aのシーン分類手段 140は、必要シーンデータをシーン整列 手段 160へ出力する。また、シーン選別手段 150は、利用者により選択された不要シ ーンデータを選択シーンデータとして、シーン整列手段 160へ出力する。そして、シ ーン整列手段 160は、必要シーンデータおよび選択シーンデータを有する編集デー タを生成する。
このため、編集装置 100Aは、映像データを利用者の嗜好に応じて編集した編集 データを生成でき、利便性を更に向上できる。
[0067] また、特性標準値保持手段 141の特性標準値情報 31に基づいて、所定のシーン が不要シーン力否かを識別する。
このため、特性分析情報および特性標準値情報 31を比較するだけの簡単な処理 で、不要シーンを識別できる。したがって、不要シーン識別処理時の処理負荷を低 減できる。
[0068] そして、不要シーンを再生する際に、その属性、特性値をあわせて表示させる。
このため、利用者に、不要シーンの手ブレゃ逆光などの属性や度合いを認識させ ることができ、適切に取捨選択させることができる。
[0069] さらに、不要シーンの属性をアイコンで表示させるとともに、特性値をグラフで表示 させる。
このため、利用者に、不要シーンの属性や度合いをより容易に認識させることがで き、編集時の作業負荷を低減させることができる。
[0070] [第 2実施形態]
次に、本発明の第 2実施形態を図面に基づいて説明する。
なお、この第 2実施形態において、上記第 1実施形態における不要シーンのうち、 補正可能な不要シーンを補正可能シーンと称して説明する。また、上記第 1実施形 態と同様の構成については、同一符号、同一名称を適宜付し、その説明を省略また は簡略化する。
図 12は、第 2実施形態における編集装置の概略構成を示すブロック図である。図 1 3は、第 2実施形態および第 2実施形態の変形形態におけるシーン分類手段の概略 構成を示すブロック図である。
[0071] 〔編集装置の構成〕
図 12において、 100Bは、データ処理装置としての編集装置である。そして、編集 装置 100Bは、表示手段 110と、入力手段 120と、編集処理部 200と、を備えている 。また、編集処理部 200は、シーン分類手段 210と、シーン補正手段 220と、シーン 選別手段 150と、編集データ生成手段としてのシーン整列手段 230と、などを備えて いる。
[0072] シーン分類手段 210は、映像データ出力手段 10と、シーン選別手段 150と、シー ン補正手段 220と、シーン整列手段 230と、に接続されている。
シーン分類手段 210は、映像データを、不要シーンデータと、必要シーンデータと 、に分類する。さらに、不要シーンデータのうち、補正可能シーンに対応するものを補 正可能シーンデータとして分類する。そして、不要シーンデータをシーン選別手段 1 50へ、補正可能シーンデータをシーン補正手段 220へ、必要シーンデータをシーン 整列手段 230へ、それぞれ出力する。
ここで、補正可能シーンデータ力 本発明における補正可能シーンの不要シーン データに対応し、不要シーンデータが、本発明における補正不可能シーンの不要シ ーンデータに対応する。
このシーン分類手段 210は、図 13に示すように、上記第 1実施形態のシーン分類 手段 140と同様の構成を有し、特性比較手段 146と、分類振分手段 147と、の代わり に、識別手段としての特性比較手段 211と、選出手段としての分類振分手段 212と、 を備えている。
[0073] 特性標準値保持手段 141は、図 3に示すような特性標準値情報テーブル 35を適宜 読み出し可能に記憶して 、る。
特性標準値情報テーブル 35は、少なくとも 1つの特性標準値情報 36を備えている 。この特性標準値情報 36は、所定のシーンを不要シーン、補正可能シーンとして識 別する際の所定の属性の標準に関する情報である。
そして、特性標準値情報 36は、特性情報 37と、特性パラメータ標準情報 38と、な どが関連付けられた 1つのデータに構成されて！、る。
[0074] 特性パラメータ標準情報 38には、不要シーン、補正可能シーンとして識別する際 の標準となる各種パラメータが記録されている。すなわち、所定のシーンにおけるパ ラメータが、この特性パラメータ標準情報 38に記録された第 1の標準範囲内の場合 に、必要シーンとして識別される。また、第 1の標準範囲外であり、かつ、この第 1の標 準範囲よりも広い第 2の標準範囲内の場合に、補正可能シーンとして識別される。さ らに、第 2の標準範囲外の場合に、不要シーンとして識別される。
[0075] 特性比較手段 211は、図 12および図 13に示すように、分類振分手段 212と、シー ン補正手段 220と、シーン選別手段 150と、に接続されている。
特性比較手段 211は、特性統合ィ匕手段 145からフレームシーケンス情報および特 性分析情報を取得する。さらに、所定のフレームシーケンス情報に対応する全ての 特性分析情報の特性が、特性パラメータ標準情報 38における第 1の標準範囲内で あると判断した場合、このシーンが必要シーンであると識別する。そして、その旨の識 別情報をフレームシーケンス情報に対応付けて、分類振分手段 212へ出力する。
[0076] また、特性比較手段 211は、フレームシーケンス情報に対応する特性分析情報の 特性のうち少なくともいずれか 1つが第 1の標準範囲外であり、かつ、全てが第 2の標 準範囲内であると判断した場合、このシーンが補正可能シーンであると識別する。そ して、その旨の識別情報を分類振分手段 212へ出力する。さらに、第 1の標準範囲 外であると判断した全ての特性分析情報に基づいて生成したシーン属性情報 50を、 フレームシーケンス情報に関連付けて、シーン属性信号 Tnに変換してシーン補正手 段 220へ出力する。
[0077] さらに、特性比較手段 211は、フレームシーケンス情報に対応する特性分析情報 の特性のうち少なくともいずれ力 1つが第 2の標準範囲外であると判断した場合、この シーンが不要シーンであると識別して、その旨の識別情報を分類振分手段 212へ出 力する。さらに、第 2の標準範囲外であると判断した全ての特性分析情報に基づいて 生成したシーン属性情報 50を、シーン属性信号 Τηに変換してシーン選別手段 150 へ出力する。
[0078] 分類振分手段 212は、シーン補正手段 220と、シーン選別手段 150と、に接続され ている。
分類振分手段 212は、特性比較手段 211からフレームシーケンス情報および識別 情報を取得して、所定のシーンが必要シーンであると判断した場合、この映像フレー ムデータを必要シーンデータとして必要シーン信号 Skに変換して、シーン整列手段 230へ出力する。
また、不要シーンであると判断した場合、映像フレームデータを不要シーンデータと して不要シーン信号 Stに変換して、シーン選別手段 150へ出力する。
さらに、補正可能シーンであると判断した場合、映像フレームデータを補正可能シ ーンデータとして補正可能シーン信号 Scに変換して、シーン補正手段 220へ出力す る。
[0079] シーン補正手段 220は、シーン整列手段 230に接続されている。
シーン補正手段 220は、特性比較手段 211からのシーン属性信号 Tnを取得すると ともに、分類振分手段 212からの補正可能シーン信号 Scを取得する。そして、シーン 属性信号 Tnのシーン属性情報 50に基づ 、て、補正可能シーン信号 Scの補正可能 シーンデータを補正する。
具体的には、シーン補正手段 220は、補正可能シーンにおける第 1の標準範囲外 と判断された特性について、補正処理を実施する。例えば、補正可能シーンが逆光 のシーンである、すなわち色特性が第 1の標準範囲外である場合、色特性を補正す る。そして、この補正したシーンを補正シーンとして表示させるための補正シーンデ ータを生成して、補正シーン信号 Shとして、シーン整列手段 230へ出力する。
[0080] シーン整列手段 230は、分類振分手段 212からの必要シーン信号 Skと、選別振分 手段 155からの選択シーン信号 Ssと、シーン補正手段 220からの補正シーン信号 S hと、を適宜取得する。そして、必要シーンデータと、選択シーンデータと、補正シー ンデータと、を表示順序に整列し、必要シーン、選択シーン、補正シーンを再生する ための編集データを生成する。そして、この編集データを編集信号 Szに変換して、ス トレージ 20へ出力する。 [0081] 〔編集装置の動作〕
次に、編集装置 100Bの動作として、編集データの生成処理について、図面を参照 して説明する。
図 14は、第 2実施形態における編集データの生成処理を示すフローチャートであ る。図 15は、第 2のシーン分類処理を示すフローチャートである。
なお、上記第 1実施形態と同様の動作については、同一符号を付し、その説明を省 略する。
[0082] まず、編集装置 100Bは、図 14に示すように、ステップ S1の処理を実施すると、第 2 のシーン分類処理を実施して (ステップ S51)、必要シーンデータをシーン整列手段 230へ、不要シーンデータをシーン選別手段 150へ、補正可能シーンデータをシー ン補正手段 220へ、それぞれ出力する。
この後、編集装置 100Bは、ステップ S3を実施して、シーン補正手段 220にて、シ ーン分類手段 210からの補正可能シーンデータを補正して (ステップ S52)、補正シ ーンデータをシーン整列手段 230へ出力する。そして、シーン整列手段 230にて、 必要シーンデータ、選択シーンデータ、補正シーンを有する編集データを生成して（ ステップ S53)、ストレージ 20に蓄積させる。
[0083] ステップ S51における第 2のシーン分類処理では、シーン分類手段 210は、図 15 に示すように、ステップ S11〜S14を実施すると、特性比較手段 211にて、各シーン が不要シーンである力否かを識別して (ステップ S61)、識別情報を生成する。さらに
、不要シーンでな 、と識別したシーンが補正可能シーンである力否かを識別して (ス テツプ S62)、識別情報を生成する。そして、不要シーンまたは補正可能シーンと識 別したシーンのシーン属性情報 50を生成して (ステップ S63)、識別情報とともに分 類振分手段 212へ出力する。
[0084] 分類振分手段 212は、映像フレームが不要シーンカゝ否かを判断する (ステップ S64
) oこのステップ S64において、シーン分類手段 140は、不要シーンであると判断した 場合、ステップ S 18の処理、すなわち不要シーンデータなどをシーン選別手段 150 へ出力する処理を実施する。
一方、ステップ S64において、不要シーンでないと判断した場合、補正可能シーン か否かを判断する (ステップ S65)。そして、ステップ S65において、補正可能シーン であると判断した場合、補正可能シーンデータとして、シーン属性情報 50とともにシ ーン補正手段 220へ出力する (ステップ S66)。
また、ステップ S65において、補正可能シーンでないと判断した場合、ステップ S20 の処理を実施する。
[0085] 〔第 2実施形態の作用効果〕
上述したように、上記第 2実施の形態では、第 1実施形態と同様の作用効果に加え 、以下のような作用効果を奏することができる。
[0086] 編集装置 100Bは、映像データの映像から不要シーンデータと、補正可能シーン データと、必要シーンデータと、を選出する。さらに、補正可能シーンデータを補正し て、補正シーンデータを生成する。そして、必要シーンデータと、選択シーンデータと 、補正シーンデータと、を有する編集データを生成する。
このため、例えば、逆光のシーンの状態が補正可能なレベルの場合、不要シーンと して再生せずに、逆光の状態を補正した補正シーンとして処理することができる。し たがって、不要シーンとして表示されるシーン数を減らすことができ、利用者の作業 負荷を減らすことができる。
[0087] そして、シーン補正手段 220にて、補正可能シーンデータを補正する際に、この補 正シーンデータに対応するシーン属性情報 50に基づいて、処理を実施する。
このため、シーン属性情報 50に記録されている内容、すなわち実際のシーンの逆 光などの状態に対応させた適切な補正処理を実施できる。したがって、適切に補正 した補正シーンを有する編集データを生成できる。
[0088] [第 3実施形態]
次に、本発明の第 3実施形態を図面に基づいて説明する。
なお、上記第 1,第 2実施形態と同様の構成については、同一符号、同一名称を適 宜付し、その説明を省略または簡略化する。
図 16は、第 3実施形態における編集装置の概略構成を示すブロック図である。図 1 7は、第 3実施形態および第 3実施形態の変形形態におけるシーン分類手段の概略 構成を示すブロック図である。図 18は、第 3実施形態におけるシーン選別手段の概 略構成を示すブロック図である。図 19は、第 3実施形態における不要シーンおよび 補正シーンの通常再生処理時および要約再生処理時の動作を示すタイミングチヤ ートであり、（A)部分は不要シーンの通常再生処理時の動作、（B)部分は不要シー ンの要約再生処理時の動作、（C)部分は補正シーンの要約再生処理時の動作、 (D )部分は補正シーンの通常再生処理時の動作を示す。図 20は、第 3実施形態にお ける削除選択画面の概略構成を示す模式図である。
[0089] 〔編集装置の構成〕
図 16において、 100Cは、データ処理装置としての編集装置である。そして、編集 装置 100Cは、表示手段 110と、入力手段 120と、編集処理部 250と、などを備えて いる。また、編集処理部 250は、シーン分類手段 260と、シーン補正手段 270と、シ ーン選別手段 280と、シーン整列手段 160と、などを備えている。
[0090] シーン分類手段 260は、映像データ出力手段 10と、シーン補正手段 270と、シー ン選別手段 280と、シーン整列手段 160と、に接続されている。
シーン分類手段 260は、映像データを、不要シーンデータと、必要シーンデータと 、に分類して出力する。
そして、シーン分類手段 260は、図 17に示すように、第 1実施形態のシーン分類手 段 140と同様の構成を有し、特性比較手段 146と、分類振分手段 147と、の代わりに 、識別手段としての特性比較手段 261と、選出手段としての分類振分手段 262と、な どを備えている。
[0091] 特性標準値保持手段 141は、図 3に示すような特性標準値情報テーブル 30を適宜 読み出し可能に記憶して 、る。
[0092] 特性比較手段 261は、図 16および図 17に示すように、分類振分手段 262と、シー ン補正手段 270と、シーン選別手段 280と、に接続されている。
特性比較手段 261は、特性統合ィ匕手段 145からフレームシーケンス情報および特 性分析情報を取得する。さらに、所定のフレームシーケンス情報に対応する全ての 特性分析情報の特性が、特性パラメータ標準情報 33の標準範囲内であると判断した 場合、このシーンが必要シーンであると識別する。そして、その旨の識別情報をフレ ームシーケンス情報に対応付けて、分類振分手段 262へ出力する。 [0093] また、特性比較手段 261は、フレームシーケンス情報に対応する特性分析情報の 特性のうち少なくともいずれか 1つが標準範囲外であると判断した場合、このシーン が不要シーンであると識別して、その旨の識別情報を分類振分手段 262へ出力する 。さらに、この不要シーンに対応するシーン属性情報 50を、シーン属性信号 Tnに変 換してシーン補正手段 270およびシーン選別手段 280へ出力する。
[0094] 分類振分手段 262は、シーン整列手段 160と、シーン補正手段 270と、シーン選別 手段 280と、に接続されている。
分類振分手段 262は、特性比較手段 261からフレームシーケンス情報および識別 情報を取得して、所定のシーンが必要シーンであると判断した場合、この映像フレー ムデータを必要シーンデータとして必要シーン信号 Skに変換して、シーン整列手段 160へ出力する。
また、不要シーンであると判断した場合、映像フレームデータを不要シーンデータと して不要シーン信号 Stに変換して、シーン補正手段 270およびシーン選別手段 280 へ出力する。
[0095] シーン補正手段 270は、シーン選別手段 280に接続されている。
シーン補正手段 270は、特性比較手段 261からのシーン属性信号 Tnを取得すると ともに、分類振分手段 262からの不要シーン信号 Stを取得する。さらに、シーン属性 信号 Tnのシーン属性情報 50に基づき、不要シーン信号 Stの不要シーンデータを補 正して、補正シーンデータを生成する。そして、この補正シーンデータを、補正シー ン信号 Shとして、シーン選別手段 280へ出力する。
さらに、シーン補正手段 270は、シーン属性情報 50の内容を補正後の状態に更新 した補正シーン属性情報を生成して、補正シーン属性信号 Taとして、シーン選別手 段 280へ出力する。
[0096] シーン選別手段 280は、不要シーンデータおよび補正シーンデータを表示手段 11 0で表示させ、利用者により削除しないデータとして選択された不要シーンデータま たは補正シーンデータを選択シーンデータとしてシーン整列手段 160へ出力する。 そして、シーン選別手段 280は、図 18に示すように、アイコン保持手段 151と、蓄積 手段 281と、表示制御手段としての要約再生手段 282と、表示制御手段および必要 性判断手段としての GUI283と、選別振分手段 284と、を備えている。
[0097] 蓄積手段 281は、要約再生手段 282と、選別振分手段 284と、シーン分類手段 26 0の特性比較手段 261と、分類振分手段 262と、シーン補正手段 270と、に接続され ている。
蓄積手段 281は、特性比較手段 261からのシーン属性信号 Tnのシーン属性情報 50と、シーン補正手段 270からの補正シーン属性信号 Taの補正シーン属性情報と 、を蓄積して、要約再生手段 282へ適宜出力する。
また、蓄積手段 281は、分類振分手段 262からの不要シーンデータと、シーン補正 手段 270からの補正シーン信号 Shの補正シーンデータと、を蓄積して、要約再生手 段 282および選別振分手段 284へ適宜出力する。
[0098] 要約再生手段 282は、再生状態信号を取得して、この再生状態信号に基づく再生 処理を実施する。
具体的には、要約再生手段 282は、通常再生処理を実施する場合、全ての不要シ ーンおよび補正シーンを動画として再生する制御をする。
例えば、図 19 (A)に示すように、図 7 (A)に示すような第 1実施形態と同様の処理 をして、全ての不要シーンを動画として再生した再生情報を GUI283へ出力する。 また、図 19 (D)に示すように、図 19 (A)のシーン 1およびシーン 2が補正された動 画に対応する 2つの補正シーンデータグループ 75に基づき、全ての補正シーンを動 画として再生して、再生情報として出力する。
さらに、蓄積手段 281からシーン属性情報 50および補正シーン属性情報を取得す るとともに、アイコン保持手段 151からアイコンデータ 43を抽出して、これらを、削除 選択画面 750を表示させるための状態に変換、加工して、 GUI283へ出力する。こ のとき、アイコンデータ 43の表示形態を、不要シーンおよび補正シーンで異なる形態 、例えば色調や明るさが異なる形態に設定する。
[0099] 一方、要約再生手段 282は、要約再生処理を実施する場合、不要シーンおよび補 正シーンの一部を動画または静止画として再生する制御をする。
具体的には、図 19 (B)に示すように、シーン属性情報 50の属性情報 51に基づく不 要シーンの属性に基づいて、図 7 (B)に示すような第 1実施形態と同様の処理をして 、例えば逆光シーンを静止画要約シーンデータ 71に基づく静止画として、手ブレシ ーンを動画要約シーンデータ 72に基づく動画として再生した再生情報を出力する。 また、図 19 (C)に示すように、静止画要約シーンデータ 71を補正した補正シーン データを補正静止画要約シーンデータ 76として、動画要約シーンデータ 72を補正し た補正シーンデータを補正動画要約シーンデータ 77として、補正シーンデータグル ープ 75から抽出する。そして、逆光シーンおよび手ブレシーンを、これらに基づく静 止画および動画として再生した再生情報を出力する。
さらに、要約再生される不要シーンデータおよび補正シーンデータに対応するシー ン属性情報 50、補正シーン属性情報、アイコンデータ 43を抽出、変換、加工して出 力する。
[0100] GUI283は、不要シーンおよび補正シーンを通常再生または要約再生する旨の設 定入力を認識して、再生状態信号を要約再生手段 282へ出力する。
また、 GUI283は、要約再生手段 282から再生情報、シーン属性情報 50、補正シ ーン属性情報、アイコンデータ 43を取得すると、これらに基づいて、図 20に示すよう な削除選択画面 750を表示させるための画像信号 Asを、表示手段 110へ出力する
[0101] ここで、削除選択画面 750は、不要シーン領域 760と、補正シーン領域 770と、選 択操作領域 780と、を備えている。
[0102] 不要シーン領域 760は、削除選択画面 750における左側に設けられている。この 不要シーン領域 760には、不要シーンに関する各種映像および情報が表示される。 そして、不要シーン領域 760は、上下方向略中央に設けられた再生表示領域 761 と、この再生表示領域 761の上側に設けられたシーン識別領域 762と、再生表示領 域 761の下側に設けられたシーン属性領域 763と、を備えている。
再生表示領域 761には、図 19 (A) , (B)に示すような通常再生または要約再生の 不要シーンが表示される。シーン識別領域 762には、シーン番号情報 721と、再生 表示領域 761の動画などが補正されている力否かに関する補正状態情報 762Aと、 が表示される。シーン属性領域 763には、アイコン 722と、特性グラフ情報 723と、特 性文字列情報 724と、が表示される。 [0103] 補正シーン領域 770は、不要シーン領域 760の右側に設けられている。この補正 シーン領域 770は、不要シーン領域 760の再生表示領域 761、シーン識別領域 76 2、シーン属性領域 763のそれぞれと同様に設けられ、かつ、同様の情報などが表示 される、再生表示領域 771と、シーン識別領域 772と、シーン属性領域 773と、を備 えている。
[0104] ここで、不要シーン領域 760には、例えば逆光の影響を受けている領域 R1が存在 する画像が表示され、補正シーン領域 770には、逆光の影響が補正されたことにより 領域 R1が存在しな!ヽ画像が表示される。
[0105] 選択操作領域 780は、不要シーン領域 760および補正シーン領域 770の下側に 設けられている。この選択操作領域 780には、再生中の不要シーンや補正シーンを 選択シーンとして選択するなどの設定入力を促す旨の選択メッセージ情報 781と、不 要シーンを選択シーンとする際に選択されるオリジナル選択情報 782と、補正シーン を選択シーンとする際に選択される自動補正選択情報 783と、不要シーンおよび補 正シーンを削除する際に選択される削除情報 784と、不要シーンなどを手動で補正 する際に選択される手動補正選択情報 785と、これらのうち利用者により選択された いずれか 1つを囲むカーソル 786と、が表示される。
[0106] そして、 GUI283は、入力手段 120からの入力信号 Atに基づき設定入力を認識し て、この設定入力の内容に対応する選択判定結果情報を選択対象の不要シーン、 補正シーンなどと対応付けて選別振分手段 284へ出力する。
例えば、 GUI283は、不要シーンまたは補正シーンが選択シーンとして選択された 旨、これらのシーンをいずれも削除する旨、手動で補正する旨の選択判定結果情報 を出力する。
[0107] 選別振分手段 284は、図 16および図 18に示すように、シーン整列手段 160に接 続されている。
選別振分手段 284は、蓄積手段 281から不要シーンデータおよび補正シーンデー タを取得するとともに、 GUI283から不要シーンや補正シーンなどと対応付けられた 選択判定結果情報を取得する。そして、所定の不要シーンや補正シーンが選択シー ンとして選択されたことを認識すると、この選択されたシーンに対応する不要シーン データや補正シーンデータを選択シーンデータとして選択シーン信号 Ssに変換して 、シーン整列手段 160へ出力する。
また、不要シーンおよび補正シーンが削除するものとして選択されたことを認識する と、これらに対応する不要シーンデータおよび補正シーンデータを廃棄する処理を する。
[0108] 〔編集装置の動作〕
次に、編集装置 100Cの動作として、編集データの生成処理について、図面を参照 して説明する。
図 21は、第 3実施形態における編集データの生成処理を示すフローチャートであ る。図 22は、第 2のシーン選別処理を示すフローチャートである。
なお、上述した各実施形態と同様の動作については、同一符号を付し、その説明 を省略する。
[0109] まず、編集装置 100Cは、図 21に示すように、ステップ S1で映像データを取得して 、ステップ S2で第 1のシーン分類処理を実施する。
この後、編集装置 100Cは、シーン補正手段 270にて、シーン分類手段 260からの 不要シーンデータを補正して（ステップ S71)、補正シーンデータなどをシーン選別 手段 280へ出力する。さらに、シーン選別手段 280にて、第 2のシーン選別処理を実 施して (ステップ S72)、選択シーンデータをシーン整列手段 160へ出力する。そして 、シーン整列手段 160にて、編集データを生成して (ステップ S73)、ストレージ 20に 蓄積させる。
[0110] ステップ S72における第 2のシーン選別処理では、シーン選別手段 280は、図 22 に示すように、不要シーンデータ、シーン属性情報 50、補正シーンデータ、および、 補正シーン属性情報を蓄積する (ステップ S81)。そして、不要シーンデータ、補正シ ーンデータを選別振分手段 284および要約再生手段 282へ出力するとともに (ステツ プ S82)、シーン属性情報 50、補正シーン属性情報を要約再生手段 282へ出力す る（ステップ S 83)。
この後、要約再生手段 282は、 GUI283からの再生状態信号に基づいて、要約再 生を実施するカゝ否かを判断する (ステップ S84)。 [0111] このステップ S84において、要約再生を実施すると判断した場合、要約再生シーン データの抽出処理を実施するとともに (ステップ S85)、シーン属性情報 50、補正シ ーン属性情報を変換、加工する (ステップ S86)。そして、シーン選別手段 280は、要 約再生処理を実施して (ステップ S87)、削除選択画面 750を表示させる (ステップ S 88)。
一方、ステップ S84において、要約再生ではなく通常再生を実施すると判断した場 合、通常再生処理を実施して (ステップ S89)、ステップ S88の処理を実施する。
[0112] この後、 GUI283にて、設定入力を認識して (ステップ S 90)、不要シーンが選択シ ーンとして選択された力否かを判断する (ステップ S91)。
このステップ S91において、選択されたと判断した場合、ステップ S42の処理、すな わち、不要シーンデータを選択シーンデータとして、シーン整列手段 160へ出力する 一方、ステップ S91において、選択されていないと判断した場合、補正シーンが選 択シーンとして選択された力否かを判断する (ステップ S92)。
[0113] そして、ステップ S92において、選択されたと判断した場合、補正シーンデータを選 択シーンデータとして出力する (ステップ S93)。
また、ステップ S92において、選択されていないと判断した場合、手動補正するか 否かを判断する (ステップ S94)。
このステップ S94において、手動補正すると判断した場合、手動補正された不要シ ーンデータを選択シーンデータとして出力する（ステップ S95)。
一方、ステップ S94において、手動補正しないと判断した場合、不要シーンデータ および補正シーンデータを廃棄する (ステップ S96)。
[0114] 〔第 3実施形態の作用効果〕
上述したように、上記第 3実施形態では、第 1,第 2実施形態と同様の作用効果に 加え、以下のような作用効果を奏することができる。
[0115] 編集装置 100Cは、映像データの映像力も不要シーンデータと、必要シーンデータ と、を選出する。さらに、不要シーンデータを補正して、補正シーンデータを生成する 。そして、不要シーン、および、この不要シーンを補正した補正シーンを要約再生、ま たは、通常再生する。
このため、利用者に不要シーンおよび補正シーンを比較させて、いずれかを適切 に取捨選択させることができる。
すなわち、補正効果が利用者の嗜好に合う場合に、補正シーンを選択させ、補正 が逆効果で利用者の嗜好に合わな 、場合に、不要シーンを適宜選択させることがで きる。
したがって、不要シーンのみを要約再生する第 1,第 2実施形態の構成と比べて、 より適切に取捨選択させることができる。
また、不要シーンおよび補正シーンの比較により、手ブレゃ逆光などの属性や、そ れらの度合 ヽを直感的に把握させることができる。
さらに、削除選択画面 750に表示されるアイコン 722の意味などを、把握させること ができる。
[0116] また、シーン分類手段 260にて、映像データから不要シーンデータと、必要シーン データと、を選出する。そして、必要シーンデータと、不要シーンデータまたは補正シ ーンデータである選択シーンデータと、を有する編集データを生成する。
このため、補正シーンデータを有する編集データを生成可能な第 2実施形態と同様 の作用効果を奏することができる。また、不要シーン、補正可能シーン、および、必要 シーンに分類する第 2実施形態と比べて、シーン分類手段 260における処理負荷を 低減できるとともに、シーン分類手段 260の構成の簡略ィ匕を図ることができる。
[0117] [第 4実施形態]
次に、本発明の第 4実施形態を図面に基づいて説明する。
なお、上記第 1〜第 3実施形態と同様の構成については、同一符号、同一名称を 適宜付し、その説明を省略または簡略化する。
図 23は、第 4実施形態におけるシーン分類手段の概略構成を示すブロック図であ る。図 24は、第 4実施形態におけるシーン選別手段の概略構成を示すブロック図で ある。
[0118] 〔編集装置の構成〕
図 1において、 100Dは、データ処理装置としての編集装置である。そして、編集装 置 100Dは、表示手段 110と、入力手段 120と、編集処理部 300と、などを備えてい る。また、編集処理部 300は、シーン分類手段 310と、シーン選別手段 320と、シー ン整列手段 160と、などを備えている。
[0119] シーン分類手段 310は、映像データを、不要シーンデータと、必要シーンデータと 、に分類して出力する。さらに、利用者による不要シーンデータの選択結果により、不 要シーンの識別標準を適宜変更する。
そして、シーン分類手段 310は、図 23に示すように、第 1実施形態のシーン分類手 段 140と同様の構成に加え、標準情報更新手段としての特性標準値更新手段 311 を備えている。
[0120] 特性標準値更新手段 311は、図 1および図 23に示すように、シーン選別手段 320 と、特性標準値保持手段 141と、に接続されている。
この特性標準値更新手段 311は、図示しない、非選択カウンタと、選択カウンタと、 を備えている。これら非選択カウンタおよび選択カウンタは、図 3に示す特性情報 32 の特性にそれぞれ対応して設けられて!/ヽる。
特性標準値更新手段 311は、特性標準値保持手段 141の特性標準値情報 31の 更新処理を実施する。
[0121] 具体的には、特性標準値更新手段 311は、シーン選別手段 320からシーン属性信 号 Tnとして出力されるシーン属性情報 50と、選択判定結果信号 Hkとして出力される 選択判定結果情報と、を取得する。
そして、選択判定結果情報に、不要シーンデータが選択シーンとして選択されてい ない、すなわち廃棄された旨が記録されている場合、シーン属性情報 50に基づいて 、この不要シーンデータに対応する特性を認識する。さら〖こ、この認識した特性に対 応する 選択カウンタを 1だけカウントアップする。
例えば、属性が逆光、かつ、手ブレの不要シーンデータが廃棄された場合、逆光 属性および手ブレ属性に結びつく輝度分散などの色特性やカメラワーク振幅情報な どの動き特性の非選択カウンタをカウントアップする。
さらに、非選択カウンタのカウント値 (以下、非選択カウント値と称す)が所定値以上 、例えば 5以上であることを認識すると、この非選択カウント値に対応する特性 (この 場合、輝度分散とカメラワーク振幅情報)の特性パラメータ標準情報 33を、標準範囲 を狭くする状態に更新する。
[0122] また、特性標準値更新手段 311は、選択判定結果情報に、不要シーンデータが選 択シーンとして選択された旨が記録されている場合、この不要シーンデータの特性に 対応する選択カウンタを 1だけカウントアップする。さら〖こ、選択カウンタのカウント値（ 以下、選択カウント値と称す)が所定値以上、例えば 5以上であることを認識すると、 この選択カウント値に対応する特性の特性パラメータ標準情報 33を、標準範囲を広 くする状態に更新する。
[0123] シーン選別手段 320は、不要シーンデータを表示させ、不要シーンデータを選択 シーンデータとしてシーン整列手段 160へ適宜出力するとともに、不要シーンデータ に対応する選択判定結果情報をシーン分類手段 310へ出力する。
そして、シーン選別手段 320は、図 24に示すように、アイコン保持手段 151と、蓄積 手段 321と、要約再生手段 153と、表示制御手段および必要性判断手段としての G
UI322と、選別振分手段 155と、多重手段 323と、を備えている。
[0124] 蓄積手段 321は、要約再生手段 153と、選別振分手段 155と、多重手段 323と、に 接続され、第 1実施形態の蓄積手段 152と同様の処理に加え、シーン属性情報 50を 多重手段 323へ出力する処理をする。
GUI322は、表示手段 110と、入力手段 120と、選別振分手段 155と、多重手段 3
23と、に接続され、第 1実施形態の GUI154と同様の処理に加え、選択判定結果情 報を多重手段 323へ出力する処理をする。
[0125] 多重手段 323は、シーン分類手段 310の特性標準値更新手段 311に接続されて いる。
この多重手段 323は、蓄積手段 321からシーン属性情報 50と、 GUI322から選択 判定結果情報と、を取得する。そして、このシーン属性情報 50のシーン属性信号 Tn と、選択判定結果情報の選択判定結果信号 Hkと、を多重化して、特性標準値更新 手段 311へ出力する。
[0126] 〔編集装置の動作〕
次に、編集装置 100Dの動作として、編集データの生成処理について、図面を参 照して説明する。
図 25は、第 4実施形態における編集データの生成処理を示すフローチャートであ る。図 26は、第 3のシーン選別処理を示すフローチャートである。図 27は、特性標準 値情報の更新処理を示すフローチャートである。
なお、上述した各実施形態と同様の動作については、同一符号を付し、その説明 を省略する。
[0127] まず、編集装置 100Dは、図 25に示すように、ステップ SI, S2の処理を実施すると 、第 3のシーン選別処理を実施する (ステップ S101)。
この後、編集装置 100Dは、第 3のシーン選別手段で選別された選択シーンデータ などを有する編集データを生成して (ステップ S 102)、特性標準値情報 31の更新処 理を実施する (ステップ S 103)。
[0128] ステップ S101における第 3のシーン選別処理では、図 26に示すように、ステップ S 31, S32の処理を実施すると、シーン属性情報 50を要約再生手段 153および多重 手段 323へ出力して（ステップ S111)、ステップ S34〜S43の処理を適宜実施する。 そして、ステップ S42またはステップ S43の処理を実施すると、この実施結果に対応 したシーン属性情報 50、選択判定結果情報を出力する (ステップ S112)。
[0129] また、ステップ S103における特性標準値情報 31の更新処理では、図 27に示すよ うに、特性標準値更新手段 311は、シーン属性情報 50、選択判定結果情報を取得 して (ステップ S121)、不要シーンデータが廃棄された力否かを判断する (ステップ S 122)。
このステップ S122において、廃棄されたと判断した場合、不要シーンデータに該 当する全特性の非選択カウンタをカウントアップして (ステップ S 123)、非選択カウン ト値が所定値以上の特性が存在するカゝ否かを判断する (ステップ S124)。
そして、このステップ S124において、存在すると判断した場合、該当する特性のパ ラメータについて標準範囲を狭くする状態に特性パラメータ標準情報 33を更新して（ ステップ S125)、処理を終了する。一方、ステップ S124において、存在しないと判断 した場合、処理を終了する。
[0130] また、ステップ S122において、廃棄されていないと判断した場合、該当する全特性 の選択カウンタをカウントアップして (ステップ SI 26)、選択カウント値が所定値以上 の特性が存在するか否かを判断する (ステップ S 127)。
そして、このステップ S127において、存在すると判断した場合、該当する特性のパ ラメータについて標準範囲を広くする状態に特性パラメータ標準情報 33を更新して（ ステップ S128)、処理を終了する。一方、ステップ S127において、存在しないと判断 した場合、処理を終了する。
[0131] 〔第 4実施形態の作用効果〕
上述したように、上記第 4実施形態では、第 1〜第 3実施形態と同様の作用効果に 加え、以下のような作用効果を奏することができる。
[0132] 編集装置 100Dは、利用者による不要シーンデータの選択結果により、特性標準 値情報 31を適宜更新する。
具体的には、廃棄された不要シーンに対応する特性の標準範囲を狭くする状態に 、すなわち不要シーンとして識別する標準を甘くする状態に更新する。また、選択シ ーンとして選択された不要シーンに対応する特性の標準範囲を広くする状態に、す なわち不要シーンとして識別する標準を辛くする状態に更新する。そして、この更新 された特性標準値情報 31に基づいて、映像データを、不要シーンデータと、必要シ ーンデータと、に識別する。
このため、利用者の嗜好を不要シーンの識別標準に反映させることにより、利用者 の嗜好により合う状態に不要シーンを識別できる。したがって、利用者の取捨選択作 業に、効率性と安心感とをもたらすことができる。
[0133] [実施形態の変形]
なお、本発明は、上述した実施形態に限定されるものではなぐ本発明の目的を達 成できる範囲で以下に示される変形をも含むものである。
[0134] 例えば、第 1,第 2,第 3実施形態の編集装置 100A, 100B, 100Cと同様の構成 を用いて、図 28および図 29に示すような第 1実施形態の変形形態、図 30に示すよう な第 2実施形態の変形形態、図 31および図 32に示すような第 3実施形態の変形形 態としてもよい。なお、第 1〜第 3実施形態と同様の構成については、同一符号、同 一名称を適宜付し、その説明を省略または簡略化する。 [0135] 図 28に示すように、第 1実施形態の変形形態におけるデータ処理装置としての編 集装置 100Eは、表示手段 110と、入力手段 120と、編集処理部 350と、などを備え ている。また、編集処理部 350は、図 2に示すようなシーン分類手段 140と、ストレー ジ 20と、シーン選別手段 360と、などを備えている。
シーン分類手段 140の特性比較手段 146および分類振分手段 147は、ストレージ 20に接続され、シーン属性情報 50、不要シーンデータ、必要シーンデータをストレ ージ 20に蓄積させる。
シーン選別手段 360は、ここでは図示しないが、図 5に示すようなシーン選別手段 1 50の構成において、蓄積手段 152を備えていない構成を有している。そして、要約 再生手段 153および選別振分手段 155は、ストレージ 20に接続されている。シーン 選別手段 360は、ストレージ 20からシーン属性情報 50および不要シーンデータを適 宜取得し、シーン選別処理で選別された選択シーンデータをストレージ 20に蓄積さ せる。
また、シーン選別手段 360の GUI154は、シーン識別処理の際に、図 29に示すよ うな削除選択画面 800を表示させる。
[0136] この削除選択画面 800は、略中央力も左上縁近傍にかけて設けられた再生映像領 域 710と、この再生映像領域 710の下側に設けられたシーン属性領域 810と、再生 映像領域 710の右側に設けられた蓄積不要シーン領域 820と、再生映像領域 710 の下側に設けられた選択操作領域 730と、を備えている。
シーン属性領域 810には、アイコン 722と、特性グラフ情報 723と、特性文字列情 報 724と、が表示される。
蓄積不要シーン領域 820は、上下方向に 3個並んで設けられ、 1つの不要シーン に関する個別不要シーン領域 821を備えている。この個別不要シーン領域 821には 、不要シーンのサムネイル 821Aと、シーン番号情報 721と、不要シーンの再生時間 情報 821Bと、が表示される。さらに、蓄積不要シーン領域 820の上側、および、下側 には、個別不要シーン領域 821の内容をスクロールする際に利用されるスクロールボ タン 822が表示されている。
また、利用者により選択された個別不要シーン領域 821の周縁には、カーソル 823 が表示される。そして、このカーソル 823で囲まれた個別不要シーン領域 821に対応 する内容力 再生映像領域 710およびシーン属性領域 810に表示される。
[0137] 図 30に示すように、第 2実施形態の変形形態におけるデータ処理装置としての編 集装置 100Fは、表示手段 110と、入力手段 120と、編集処理部 400と、などを備え ている。また、編集処理部 400は、図 13に示すようなシーン分類手段 210と、シーン 補正手段 220と、ストレージ 20と、シーン選別手段 360と、などを備えている。
シーン分類手段 210の特性比較手段 211および分類振分手段 212は、ストレージ 20に接続され、シーン属性情報 50、不要シーンデータ、必要シーンデータをストレ ージ 20に蓄積させるとともに、シーン属性情報 50および補正可能シーンデータをシ ーン補正手段 220へ出力する。
[0138] 図 31に示すように、第 3実施形態の変形形態におけるデータ処理装置としての編 集装置 100Gは、表示手段 110と、入力手段 120と、編集処理部 450と、などを備え ている。また、編集処理部 450は、図 17に示すようなシーン分類手段 260と、シーン 補正手段 270と、ストレージ 20と、シーン選別手段 460と、などを備えている。
シーン分類手段 260の特性比較手段 261および分類振分手段 262は、ストレージ 20に接続され、シーン属性情報 50、不要シーンデータ、必要シーンデータをストレ ージ 20に蓄積させる。
シーン補正手段 270は、ストレージ 20と、シーン選別手段 460と、に接続され、スト レージ 20からシーン属性情報 50および不要シーンデータを適宜取得して、不要シ ーンデータを補正する。そして、補正シーンデータおよび補正シーン属性情報を、シ ーン選別手段 460へ出力する。
シーン選別手段 460は、ここでは図示しないが、図 18に示すようなシーン選別手段 280の構成において、蓄積手段 281を備えていない構成を有している。そして、要約 再生手段 282および選別振分手段 284は、ストレージ 20に接続されている。シーン 選別手段 460は、ストレージ 20からシーン属性情報 50、不要シーンデータ、補正シ ーン属性情報、補正シーンデータを適宜取得し、シーン選別処理で選別された選択 シーンデータをストレージ 20に蓄積させる。
また、シーン選別手段 460の GUI283は、シーン識別処理の際に、図 32に示すよ うな削除選択画面 850を表示させる。
[0139] この削除選択画面 850は、左側に設けられた不要シーン領域 860と、この不要シ ーン領域 860の右側に設けられた補正シーン領域 870と、これらの下側に設けられ た蓄積不要補正シーン領域 880と、この蓄積不要補正シーン領域 880の下側に設 けられた選択操作領域 780と、を備えている。
不要シーン領域 860は、再生表示領域 761と、この再生表示領域 761の上側に設 けられたシーン識別領域 762と、を備えている。再生表示領域 761には、不要シーン の映像に加え、アイコン 861が表示される。
補正シーン領域 870は、不要シーン領域 860の再生表示領域 761、シーン識別領 域 762それぞれと同様に設けられ、かつ、同様の情報などが表示される、再生表示 領域 771と、シーン識別領域 772と、を備えている。
[0140] 蓄積不要補正シーン領域 880は、左右方向に 5個並んで設けられ、 1つの不要シ ーンのサムネイル 881Aが表示されるサムネイル領域 881を備えている。この蓄積不 要補正シーン領域 880の右側、および、左側には、サムネイル領域 881の内容をス クロールする際に利用されるスクロールボタン 882が表示されている。
また、利用者により選択されたサムネイル領域 881の周縁には、カーソル 883が表 示される。そして、このカーソル 883で囲まれたサムネイル領域 881に対応する内容 力 不要シーン領域 860および補正シーン領域 870に表示される。
[0141] これら第 1〜第 3実施形態の変形形態では、編集装置 100E, 100F, 100Gにスト レージ 20を設け、シーン分類処理およびシーン選別処理を独立的に実施可能な構 成としている。
このため、シーン選別手段 360, 460に蓄積手段 152, 281を設ける必要がなくな り、シーン選別手段 360, 460の構成を簡略にできる。また、利用者に、適宜好みの タイミングで不要シーンの取捨選択作業を実施させることができ、利便性を更に向上 できる。また、取捨選択作業に要する時間を短縮できる。
[0142] そして、第 3実施形態における不要シーンおよび補正シーンの通常再生処理およ び要約再生処理において、図 33に示すような処理を実施する構成としてもよい。 すなわち、図 33 (A) , (D)に示すように、通常再生処理時には、第 3実施形態と同 様に再生する。一方、図 33 (B) , (C)に示すように、要約再生処理時には、不要シー ンと、補正シーンと、を交互に再生する。ここで、交互に再生する場合、一方の再生 中に他方を静止させるなどすればょ 、。
このような構成にすれば、不要シーンおよび補正シーンを同時に視認することによ る注視点の分散を防止でき、より適切に取捨選択させることができる。
[0143] また、特性分析手段 144に、色特性分析手段 144A、動き特性分析手段 144B、空 間周波数特性分析手段 144Cの 3つを設けたが、このうち、少なくともいずれか 1つを 設ける構成としてもよい。あるいは、新たに別の分析手段を設ける構成としてもよい。 そして、色特性分析手段 144Aは、色の明度、色調、および、彩度のヒストグラムな ど、複数の特性を分析するとしたが、少なくともいずれか 1つの特性を分析するとして ちょい。
さらに、動き特性分析手段 144Bは、動きの分析結果から、撮影時のカメラワーク、 カメラワークとは独立した動き領域など、複数の特性を認識するとしたが、少なくとも いずれか 1つの特性を認識するとしてもよい。
また、空間周波数特性分析手段 144Cは、局所的な周波数特性分析結果から、低 周波領域を認識するとしたが、高周波領域を認識するとしてもよい。
[0144] また、要約再生手段 153, 282に、不要シーンの通常再生機能および要約再生機 能のうち 、ずれか一方のみを設ける構成としてもよ!、。
さらに、要約再生機能として、静止画での要約再生機能および動画での要約再生 機能のうち 、ずれか一方のみを設ける構成としてもょ 、。
そして、動画での要約再生時に、例えば高速パンが顕著な不要シーンを抽出せず に、例えば不要シーンの先頭から所定時間経過後のシーンなど、あら力じめ設定さ れたシーンを抽出する構成としてもよい。
これらのような構成にすれば、要約再生手段 153, 282の構成を簡略にできるととも に、不要シーンの再生処理時の処理負荷を低減できる。
[0145] さらに、シーン補正手段 220, 270にて、シーン属性情報 50に基づいて、補正可能 シーンデータや不要シーンデータを補正する構成について例示したが、以下のよう な構成としてもよい。 すなわち、シーン補正手段 220, 270に、補正可能シーンデータや不要シーンデ ータの特性を解析する機能を設けるとともに、シーン属性情報 50を取得する機能を 設けない構成としてもよい。
[0146] また、不要シーンを再生する際に、その属性、特性値をあわせて表示させる構成に ついて例示したが、これらを表示させない構成、あるいは、いずれか一方のみを表示 させる構成としてもよい。
このような構成にすれば、削除選択画面 700, 750, 800, 850に表示させる情報 量を少なくでき、不要シーンの視認性を向上できる。
[0147] 上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェア あるいは 1つの IC (Integrated Circuit)などの素子にて構成するなどしてもよぐいず れの形態としても利用できる。なお、プログラムや別途記録媒体から演算手段として のコンピュータで読み取らせる構成とすることにより、取扱が容易で、利用の拡大が 容易に図れる。
[0148] その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成 できる範囲で他の構造などに適宜変更できる。
[0149] [実施形態の作用効果]
上述したように、上記実施形態では、編集装置 100Aは、映像データの映像力ゝら必 要シーンと異なる特性のシーン、例えば逆光シーンや手ブレシーンを不要シーンとし て選別する。そして、この不要シーンを表示手段 110で再生する。
このため、編集装置 100Aは、利用者に、手ブレゃ逆光のシーンであっても必要な ものと、不要なものと、を選別させることができる。また、例えば略等しい場所が撮影さ れた類似する映像の中に、手ブレシーンが存在している場合、利用者に手プレシー ンを選択する作業を実施させることなぐそれが存在していることを認識させることが できる。
産業上の利用可能性
[0150] 本発明は、撮影された映像の映像データを処理するデータ処理装置、その方法、 そのプログラム、および、そのプログラムを記録した記録媒体に利用できる。

Claims

請求の範囲
[1] 撮影装置で撮影された映像を表示させるための映像データを処理するデータ処理 装置であって、
前記映像データを取得する映像データ取得手段と、
この取得された映像データの映像の特性を分析する特性分析手段と、 この分析で得られた特性が予め設定された標準値の範囲から外れるシーンを不要 シーンとして識別する識別手段と、
前記映像データ力 前記不要シーンを表示させるための不要シーンデータを選出 する選出手段と、
この選出された不要シーンデータに基づいて前記不要シーンを表示手段で表示さ せる制御をする表示制御手段と、
を具備したことを特徴としたデータ処理装置。
[2] 請求項 1に記載のデータ処理装置であって、
前記特性分析手段は、前記映像が持つ情報において、動きに関する特性を分析 する動き特性分析手段、輝度と色度のうち一方あるいは両方の強度分布に関する特 性を分析する色特性分析手段、および、空間周波数に関する分布特性を分析する 空間周波数特性分析手段のうち、少なくともいずれか 1つの分析手段を備え、 前記識別手段は、前記少なくともいずれ力 1つの分析手段が分析した結果として得 られる特性のうち少なくとも 1つの特性が、その特性に対応する予め設定された標準 値の範囲力 外れることを検出することにより、その特性を有するシーンを前記不要 シーンとして識別する
ことを特徴としたデータ処理装置。
[3] 請求項 2に記載のデータ処理装置であって、
前記映像データは、所定の画像を表示させるための複数の画像データが表示順序 で関連付けられた構成を有し、
前記表示制御手段は、前記不要シーンを表示させる場合、前記識別手段が不要 シーンとして識別した際の特性に、前記動き特性分析手段が分析した特性が含まれ る場合、前記不要シーンデータが有する前記表示順序が略連続する複数の前記画 像データに基づいて、前記不要シーンの少なくとも一部を動画として表示させる制御 をする
ことを特徴としたデータ処理装置。
[4] 請求項 3に記載のデータ処理装置であって、
前記表示制御手段は、前記不要シーンの動き特性が前記標準値の範囲から外れ る度合 、の大き 、シーンを前記動画として表示させる制御をする
ことを特徴としたデータ処理装置。
[5] 請求項 2な 、し請求項 4の 、ずれかに記載のデータ処理装置であって、
前記表示制御手段は、前記色特性分析手段、および、前記空間周波数特性分析 手段のうち、少なくともいずれか 1つの分析手段による分析結果として得られた特性 力 その特性に対応する予め設定された標準値の範囲力 外れる前記不要シーンを 表示させる場合、前記不要シーンデータが有する所定の前記画像データに基づ 、 て、前記不要シーンの少なくとも一部を静止画として表示させる制御をする
ことを特徴としたデータ処理装置。
[6] 請求項 1な!、し請求項 5の 、ずれかに記載のデータ処理装置であって、
入力手段の入力操作に基づいて、所定の前記不要シーンデータが必要力否かを 判断する必要性判断手段と、
この必要性判断手段で不要であると判断された前記不要シーンデータを有さない 前記映像データを編集データとして生成する編集データ生成手段と、
を具備した
ことを特徴としたデータ処理装置。
[7] 請求項 1な!、し請求項 5の 、ずれかに記載のデータ処理装置であって、
前記不要シーンは、前記特性が前記標準値の範囲から外れる度合 、が一定の度 合 、よりも大き 、補正不可能シーンと、前記一定の度合 、よりも小さ 、補正可能シー ンと、を備え、
前記表示制御手段は、前記補正不可能シーンの不要シーンデータに基づ!、て、 前記補正不可能シーンを表示させる制御をし、
入力手段の入力操作に基づいて、所定の前記補正不可能シーンの前記不要シー ンデータが必要か否かを判断する必要性判断手段と、
前記補正可能シーンの前記不要シーンデータに基づ!、て、前記補正可能シーン の前記特性を補正した補正シーンデータを生成する補正手段と、
前記必要性判断手段で不要であると判断された前記不要シーンデータを有さない とともに、前記補正シーンデータを有する前記映像データを編集データとして生成す る編集データ生成手段と、
を具備した
ことを特徴としたデータ処理装置。
[8] 請求項 1な!、し請求項 5の 、ずれかに記載のデータ処理装置であって、
前記不要シーンデータに基づ!、て、前記不要シーンの前記特性を補正した補正シ ーンを表示させるための補正シーンデータを生成する補正手段を具備し、
前記表示制御手段は、前記不要シーンデータに基づく不要シーン、および、この 不要シーンデータに対応する前記補正シーンデータに基づく補正シーンを表示させ る制御をする
ことを特徴としたデータ処理装置。
[9] 請求項 8に記載のデータ処理装置であって、
入力手段の入力操作に基づ 、て、前記不要シーンデータおよび前記対応する前 記補正シーンデータのうちいずれか一方のデータが必要である旨、または、前記不 要シーンデータおよび前記対応する補正シーンデータが不要である旨を判断する必 要性判断手段と、
この必要性判断手段で必要であると判断された前記いずれか一方のデータを有す るとともに、不要であると判断された前記データを有さない前記映像データを編集デ ータとして生成する編集データ生成手段と、
を具備した
ことを特徴としたデータ処理装置。
[10] 請求項 7な 、し請求項 9の 、ずれかに記載のデータ処理装置であって、
前記補正手段は、前記不要シーンにおける前記標準値の範囲力 外れる特性の 内容を認識し、この認識した内容に応じて補正した前記補正シーンを表示させるた めの前記補正シーンデータを生成する
ことを特徴としたデータ処理装置。
[11] 請求項 1ないし請求項 10のいずれかに記載のデータ処理装置であって、
前記不要シーンとして識別する際の前記特性の標準値範囲に関する標準情報を 記憶する標準情報記憶手段を具備し、
前記識別手段は、前記標準情報記憶手段から前記標準情報を取得して、この標準 情報に基づ 、て前記不要シーンを識別する
ことを特徴としたデータ処理装置。
[12] 請求項 6、請求項 7、および、請求項 9の 、ずれかに記載のデータ処理装置であつ て、
前記不要シーンとして識別する際の前記特性の標準値範囲に関する標準情報を 記憶する標準情報記憶手段と、
所定の前記不要シーンデータに対する前記必要性判断手段での判断結果に基づ いて、前記所定の不要シーンデータを不要シーンと識別する元になつた特性につい て前記標準情報の前記標準値範囲を変更する標準情報更新手段と、
を具備し、
前記識別手段は、前記標準情報記憶手段から前記標準情報を取得して、この標準 情報に基づ 、て前記不要シーンを識別する
ことを特徴としたデータ処理装置。
[13] 請求項 1ないし請求項 12のいずれかに記載のデータ処理装置であって、
前記表示制御手段は、前記不要シーンにおける前記標準値の範囲力 外れる特 性の内容に関する特性内容情報を前記表示手段で表示させる制御をする
ことを特徴としたデータ処理装置。
[14] 演算手段にて、撮影装置で撮影された映像を表示させるための映像データを処理 するデータ処理方法であって、
前記演算手段は、
前記映像データを取得し、
この取得された映像データの映像の特性を分析し、 この分析で得られた特性が予め設定された標準値の範囲から外れるシーンを不要 シーンとして識另 IJし、
前記映像データ力 前記不要シーンを表示させるための不要シーンデータを選出 し、
この選出された不要シーンデータに基づいて前記不要シーンを表示手段で表示さ せる制御をする
ことを特徴とするデータ処理方法。
[15] 請求項 14に記載のデータ処理方法を演算手段に実行させる
ことを特徴としたデータ処理プログラム。
[16] 請求項 15に記載のデータ処理プログラムが演算手段にて読取可能に記録された ことを特徴としたデータ処理プログラムを記録した記録媒体。
PCT/JP2007/060006 2006-05-18 2007-05-16 データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 WO2007135905A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/301,107 US20100003005A1 (en) 2006-05-18 2007-05-16 Data processing device, data processing method, data processing program and recording medium including program recorded therein
JP2008516617A JP4764924B2 (ja) 2006-05-18 2007-05-16 データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-139557 2006-05-18
JP2006139557 2006-05-18

Publications (1)

Publication Number Publication Date
WO2007135905A1 true WO2007135905A1 (ja) 2007-11-29

Family

ID=38723219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/060006 WO2007135905A1 (ja) 2006-05-18 2007-05-16 データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US20100003005A1 (ja)
JP (1) JP4764924B2 (ja)
WO (1) WO2007135905A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028199A (ja) * 2008-07-15 2010-02-04 Nikon Corp 撮像装置、画像編集装置及び画像編集プログラム
JP2014501466A (ja) * 2010-12-14 2014-01-20 クゥアルコム・インコーポレイテッド 失敗したフレームを削除するためのビデオ編集デバイス

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285118B2 (en) * 2007-07-16 2012-10-09 Michael Bronstein Methods and systems for media content control
JP2009177271A (ja) * 2008-01-22 2009-08-06 Sony Corp 撮像装置、その制御方法およびプログラム
US20090303332A1 (en) * 2008-06-05 2009-12-10 Kim Heuiwook System and method for obtaining image of maximum clarity
US10456060B2 (en) * 2012-02-22 2019-10-29 Ghassan S. Kassab Devices for detecting organ contents using impedance and methods of using the same to provide various therapies
US8860931B2 (en) * 2012-02-24 2014-10-14 Mitutoyo Corporation Chromatic range sensor including measurement reliability characterization
US8928874B2 (en) 2012-02-24 2015-01-06 Mitutoyo Corporation Method for identifying abnormal spectral profiles measured by a chromatic confocal range sensor
US10456030B2 (en) * 2013-07-29 2019-10-29 Bioptigen, Inc. Procedural optical coherence tomography (OCT) for surgery and related methods
GB201615899D0 (en) * 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
US10887542B1 (en) 2018-12-27 2021-01-05 Snap Inc. Video reformatting system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09270992A (ja) * 1996-04-01 1997-10-14 Olympus Optical Co Ltd 画像編集装置
JP2002344852A (ja) * 2001-05-14 2002-11-29 Sony Corp 情報信号処理装置および情報信号処理方法
JP2003110990A (ja) * 2001-09-27 2003-04-11 Matsushita Electric Ind Co Ltd 再生表示装置、撮像装置、再生表示方法、撮像方法、プログラム、および媒体
JP2004159331A (ja) * 2002-11-01 2004-06-03 Microsoft Corp ビデオを自動的に編集するためのシステムおよび方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532781B2 (ja) * 1999-02-12 2004-05-31 株式会社メガチップス 画像入力装置の画像処理回路
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
JP4352260B2 (ja) * 2005-01-17 2009-10-28 ソニー株式会社 撮像装置、撮影画像データの記録方法、撮影画像データ処理装置および撮影画像データ処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09270992A (ja) * 1996-04-01 1997-10-14 Olympus Optical Co Ltd 画像編集装置
JP2002344852A (ja) * 2001-05-14 2002-11-29 Sony Corp 情報信号処理装置および情報信号処理方法
JP2003110990A (ja) * 2001-09-27 2003-04-11 Matsushita Electric Ind Co Ltd 再生表示装置、撮像装置、再生表示方法、撮像方法、プログラム、および媒体
JP2004159331A (ja) * 2002-11-01 2004-06-03 Microsoft Corp ビデオを自動的に編集するためのシステムおよび方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028199A (ja) * 2008-07-15 2010-02-04 Nikon Corp 撮像装置、画像編集装置及び画像編集プログラム
JP2014501466A (ja) * 2010-12-14 2014-01-20 クゥアルコム・インコーポレイテッド 失敗したフレームを削除するためのビデオ編集デバイス

Also Published As

Publication number Publication date
JP4764924B2 (ja) 2011-09-07
US20100003005A1 (en) 2010-01-07
JPWO2007135905A1 (ja) 2009-10-01

Similar Documents

Publication Publication Date Title
JP4764924B2 (ja) データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
KR100678910B1 (ko) 입력 장치들과 복수의 설정 정보 항목을 표시하는디스플레이를 갖는 통합 디지털 장치
JP5552769B2 (ja) 画像編集装置、画像編集方法及びプログラム
JP4924618B2 (ja) 表示制御装置、表示制御方法及びプログラム
EP3185539B1 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
US8666223B2 (en) Electronic apparatus and image data management method
JP5305557B2 (ja) 受信器で視聴覚的記録を見る方法及びそのような記録を見るための受信器
US8909023B2 (en) Apparatus and method for adjustment of video settings
JP2010103765A (ja) 電子機器および映像処理方法
CN106935235B (zh) 电子设备以及乐音控制方法
US8199241B2 (en) Data reproducing apparatus, data reproducing method, and storage medium
US20200082148A1 (en) Display apparatus and display control method for displaying images
KR20120081516A (ko) 디지털 촬영 장치 및 이의 제어 방법
KR20120083085A (ko) 디지털 촬영 장치 및 이의 제어 방법
KR20140146592A (ko) 컬러 그레이딩 미리 보기 방법 및 장치
JP5004140B2 (ja) 動画編集装置及び方法、並びにコンピュータプログラム
JP2006157324A (ja) 画像再生装置およびプログラム
KR20080080198A (ko) 화상재생시스템, 화상재생방법 및 화상재생프로그램
JP2008147862A (ja) 撮像装置、設定方法、およびプログラム
US8627400B2 (en) Moving image reproducing apparatus and control method of moving image reproducing apparatus
JP5828251B2 (ja) 画像処理装置およびデジタルカメラ
US8471926B2 (en) Imaging apparatus, information processing apparatus and information processing method
US11330140B2 (en) Image processing apparatus and image processing method
JP6198428B2 (ja) 撮像装置
JP2005027021A (ja) 画像処理プログラム、装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07743441

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008516617

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12301107

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 07743441

Country of ref document: EP

Kind code of ref document: A1