WO2013042766A1 - 画像処理装置、画像処理システム、及び画像読出し装置 - Google Patents

画像処理装置、画像処理システム、及び画像読出し装置 Download PDF

Info

Publication number
WO2013042766A1
WO2013042766A1 PCT/JP2012/074227 JP2012074227W WO2013042766A1 WO 2013042766 A1 WO2013042766 A1 WO 2013042766A1 JP 2012074227 W JP2012074227 W JP 2012074227W WO 2013042766 A1 WO2013042766 A1 WO 2013042766A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
data
unit
necessity determination
image frame
Prior art date
Application number
PCT/JP2012/074227
Other languages
English (en)
French (fr)
Inventor
三由　貴史
小坂　明生
岩城　秀和
新 篠崎
久保　允則
高之 中富
渡辺　伸之
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011207818A external-priority patent/JP5809905B2/ja
Priority claimed from JP2011207819A external-priority patent/JP5809906B2/ja
Priority claimed from JP2012002581A external-priority patent/JP6027745B2/ja
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2013042766A1 publication Critical patent/WO2013042766A1/ja
Priority to US14/213,714 priority Critical patent/US9300904B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Definitions

  • the present invention relates to a technology for automatically determining whether or not each moving image frame of a moving image is necessary.
  • a moving image frame with a small gradation change is determined to be an unnecessary moving image frame, and the moving image frame is automatically selected.
  • the technology that automatically deletes video frames can reduce the load on the user when determining whether or not a video frame is necessary, the video can be added to an editing program or playback program that includes the video frame automatic deletion function. Since there is still a need to load the image file, if there are many unnecessary moving image frames in the moving image file, the efficiency of the editing operation and the reproduction operation is lowered.
  • An object of the present invention is to improve the efficiency of editing and playback of moving images.
  • the image processing apparatus of the present invention generates necessity / unnecessity determination that generates necessity / unnecessity determination data used to determine whether or not an unnecessary moving image frame corresponds to each moving image frame of the input moving image.
  • a data generation means and a recording means for encoding the input moving image and dividing each moving image frame of the encoded moving image into a plurality of pieces of data and adding identification information to the respective data;
  • the identification information recorded in the recording means and the information in the recording means associated with the information indicating the data state at the recording position of the recording means corresponding to the identification information.
  • the recording unit includes a restoration table having the same contents as the table in the recording unit, and the moving image file management unit uses the restoration table to restore a restoration target.
  • Information indicating the data state at the recording position of the recording means corresponding to the data identification information may be returned to the original information.
  • the image encoding means encodes the input moving image in the MPEG2 format, and converts each moving image frame of the encoded moving image into a plurality of TS packets. It is also possible to configure such that the TS packet is recorded with the PID as identification information while being divided.
  • the necessity determination means data may be assigned in the unit GOP for encoding in the Mpeg2 format.
  • the necessity determination data generation unit generates the position and size of a subject in the moving image frame as the necessity determination data
  • the necessity determination unit includes the recording unit.
  • the subject size indicated by the necessity determination data in the metadata read from is smaller than a predetermined size
  • the subject position indicated by the necessity determination data in the metadata read from the recording unit is a predetermined value.
  • the moving image frame corresponding to the identification information in the metadata may be determined not to be a necessary moving image frame.
  • the necessity determination data generation unit generates the necessity determination data based on the image feature amount in the moving image frame
  • the necessity determination unit includes the recording An image feature amount indicated by the necessity determination data in the metadata read from the means, and an image feature amount indicated by the necessity determination data in the metadata of the moving image frame adjacent to the moving image frame corresponding to the metadata.
  • the difference is equal to or smaller than a predetermined value, the moving image frame corresponding to the identification information in the metadata may be determined not to be a necessary moving image frame.
  • the image feature amount may be a composition index indicating the composition of the subject.
  • the image feature amount may be a statistic of an image brightness value.
  • the necessity determination data generation unit generates focus information at the time of shooting the moving image frame as the necessity determination data
  • the necessity determination unit includes the recording unit. If it is determined from the focus information indicated by the necessity determination data in the read metadata that the moving image frame corresponding to the metadata is out of focus or the focus is not stable, You may comprise so that it may determine with the moving image frame corresponding to identification information not being a required moving image frame.
  • the necessity determination data generation unit generates zoom information at the time of shooting the moving image frame as the necessity determination data
  • the necessity determination unit includes the recording unit. Zoom from the zoom information indicated by the necessity determination data in the read metadata and the zoom information indicated by the necessity determination data in the metadata of the moving image frame immediately before the moving image frame corresponding to the metadata.
  • the lens position of the lens is not stable, it may be determined that the moving image frame corresponding to the identification information in the metadata is not a necessary moving image frame.
  • the image processing apparatus of the present invention further includes a wireless antenna that receives a signal from the subject side, and the necessity determination data generation unit determines the received signal strength of the signal received by the wireless antenna as the necessity determination data. And when the received signal strength indicated by the necessity determination data in the metadata read from the recording means is lower than a predetermined value, the moving image corresponding to the identification information in the metadata is generated as You may comprise so that it may determine with a frame not being a required moving image frame.
  • the necessity determination unit may be configured to describe a flag indicating that the unnecessary moving image frame is at the beginning or end of the unnecessary moving image frame in the identification information.
  • the moving image file management means includes both a flag indicating the beginning of the unnecessary moving image frame and a flag indicating the end of the unnecessary moving image frame.
  • Information indicating the state of data at the recording position of the recording means corresponding to the identification information of the moving image frame between the beginning of the unnecessary moving image frame and the end of the unnecessary moving image frame May be rewritten with information indicating that there is no data.
  • reduced image generating means for generating a reduced image of each input moving image frame, and identification given to each data after division of the encoded moving image frame
  • Metadata generation means for generating metadata by integrating one identification information of the information and the reduced image of the encoded moving image frame
  • the necessity determination data generation means includes: Based on the reduced image in the metadata, the necessity determination data used to determine whether or not the moving image frame corresponding to the identification information in the metadata is an unnecessary moving image frame is generated. May be.
  • the recording unit includes a restoration table having the same contents as the table in the recording unit, and the moving image file management unit uses the restoration table to restore a restoration target.
  • Information indicating the data state at the recording position of the recording means corresponding to the data identification information may be returned to the original information.
  • the image encoding means encodes the input moving image in the MPEG2 format, and converts each moving image frame of the encoded moving image into a plurality of TS packets. It is also possible to configure such that the TS packet is recorded with the PID as identification information while being divided.
  • the image processing system of the present invention is an image processing system in which an image processing apparatus and a server transmit and receive data via a network, and the image processing apparatus encodes the input moving image.
  • An image encoding unit that divides each moving image frame of the encoded moving image into a plurality of pieces of data, adds identification information to each piece of data and records the data in a recording unit, and a determination transmitted from the server.
  • the first receiving means for receiving the result and the identification information, the identification information recorded in the recording means, and the information indicating the data state at the recording position of the recording means corresponding to the identification information are associated with each other In the table in the recording means, the recording position of the recording means corresponding to the identification information received together with the determination result that it is an unnecessary moving image frame
  • Moving image file management means for rewriting information indicating the data state in the information indicating that there is no data
  • the server has a moving image frame corresponding to the necessity determination data based on the necessity determination data.
  • a necessity determination unit that determines whether the frame is an unnecessary moving image frame, and a second transmission unit that transmits the determination result of the necessity determination unit together with identification information corresponding to the determination result to the image processing apparatus. And either one of the image processing device and the server determines whether the moving image frame is an unnecessary moving image frame corresponding to each moving image frame of the input moving image.
  • a necessity determination data generation means for generating necessity determination data to be used is provided.
  • the necessity determination data generation means is provided in the image processing device, and the image processing device is assigned to each data after division of the encoded moving image frame.
  • Metadata generating means for generating metadata by integrating one of the identification information and the necessity determination data corresponding to the encoded moving image frame, and sending the metadata to the server First transmission means for transmitting, the server further includes second reception means for receiving metadata transmitted from the image processing apparatus, and the necessity determination means includes the received Based on the necessity determination data in the metadata, it is determined whether or not the moving image frame corresponding to the identification information in the metadata is an unnecessary moving image frame. Configuration may be.
  • the image processing apparatus when the necessity determination unit included in the server is defined as a second necessity determination unit, the image processing apparatus is based on the necessity determination data in the generated metadata.
  • the first necessity determination unit for determining whether or not the moving image frame corresponding to the identification information in the metadata is an unnecessary moving image frame, and the image processing apparatus may be loaded.
  • Detection means for detecting information for determining whether or not, and when it is determined from the information detected by the detection means that a load can be applied to the image processing apparatus, the metadata generation means The destination of the metadata generated by the above is switched to the first necessity determination unit, and the load on the image processing apparatus is determined based on the information detected by the detection unit.
  • And switching means for switching the destination of metadata generated by the metadata generation means to the first transmission means when it is determined that the second transmission means
  • the determination result of the second necessity determination means is transmitted to the image processing apparatus together with the identification information corresponding to the determination result, and the moving image file management means identifies the identification information recorded in the recording means and the identification Identification information received together with the determination result that it is an unnecessary moving image frame in the table in the recording means associated with the information indicating the data state at the recording position of the recording means corresponding to the information, or , At the recording position of the recording unit corresponding to the identification information of the moving image frame determined as an unnecessary moving image frame by the first necessity determination unit. It may be configured to rewrite the information indicating the state of over data to information that the data is not.
  • the detection unit is a load state measurement unit that measures a load applied to a resource of the image processing apparatus, and the switching unit is based on a measurement result of the load state measurement unit.
  • the destination of the metadata generated by the metadata generation unit is determined as the first necessity determination unit.
  • the meta data generated by the metadata generation means You may comprise so that the transmission destination of data may be switched to the said 1st transmission means.
  • the detection unit is a power mode detection unit that detects whether a power mode of the image processing apparatus is a mode related to power saving, and the switching unit is the power mode.
  • the detection unit detects that the mode is not related to power saving, the destination of the metadata generated by the metadata generation unit is switched to the first necessity determination unit, and the power mode detection unit saves power.
  • the transmission destination of the metadata generated by the metadata generation unit may be switched to the first transmission unit.
  • the necessity determination data generation means is in the server, and the image processing apparatus generates a reduced image for generating a reduced image of each moving image frame of the input moving image.
  • Metadata generation means for generating data; and first transmission means for transmitting the metadata to the server, wherein the server receives second metadata transmitted from the image processing apparatus.
  • the moving image corresponding to the identification information in the metadata is further provided based on the reduced image in the received metadata.
  • Necessary / unnecessary determination data used for determining whether or not the frame is an unnecessary moving image frame is generated, and the necessary / unnecessary determination means generates the necessary / unnecessary determination data based on the generated unnecessary / unnecessary determination data. It may be configured to determine whether or not the moving image frame of the identification information corresponding to is an unnecessary moving image frame.
  • the image reading apparatus of the present invention also includes necessity determination data used for determining whether or not a necessary moving image frame corresponds to each moving image frame of the moving image, and identification information for each.
  • necessity determination data used for determining whether or not a necessary moving image frame corresponds to each moving image frame of the moving image, and identification information for each.
  • the metadata is read from the recorded recording means, and based on the necessity determination data in the metadata, it is determined whether or not the moving image frame corresponding to the identification information in the metadata is a necessary moving image frame.
  • the necessity determination means, the identification information recorded in the recording means, and information indicating the recording position of the recording means corresponding to the identification information are associated with each other. Read out from the recording means only the moving image frame recorded at the recording position of the recording means corresponding to the identification information of the moving image frame determined as the necessary moving image frame by the
  • the recording unit records the moving image encoded in the MPEG2 format, and each moving image frame of the encoded moving image includes a plurality of TSs.
  • the TS packet is divided and recorded with PID as identification information, and the read control means determines the PID of the moving picture frame determined as the necessary moving picture frame by the necessity determination means. Only the data recorded at the recording position of the recording means corresponding to the above may be read out from the recording means.
  • the necessity determination data generating means for generating the necessity determination data corresponding to each moving image frame of the input moving image and the input moving image are encoded.
  • image encoding means for assigning identification information to each moving image frame of the encoded moving image and recording it in the recording means, identification information given to the moving image frame, and the moving image It may be configured to further include metadata generation means for generating metadata by integrating the necessity determination data corresponding to the frame and recording the metadata in the recording means.
  • the image processing system of the present invention is an image processing system including an image processing device that records a moving image in a recording unit, and an image reading device that reads out the moving image from the recording unit, and the image processing device includes: Necessary / unnecessary determination data generating means for generating necessary / unnecessary determination data used for determining whether or not the frame is a necessary moving image frame corresponding to each moving image frame of the input moving image; A video encoding unit that encodes each video frame of the encoded video, adds identification information to each video frame of the encoded video, and records the video in the recording unit; and an identification assigned to the video frame Metadata generating means for integrating the information and necessity determination data corresponding to the moving image frame to generate metadata and recording it in the recording means, The image reading device reads the metadata from the recording means, and determines whether or not the moving image frame corresponding to the identification information in the metadata is a necessary moving image frame based on the necessity determination data in the metadata.
  • the necessity / unnecessity determination means using a table in which determination necessity / unnecessity determination means, identification information recorded on the recording means, and information indicating the recording position of the recording means corresponding to the identification information are associated with each other.
  • a reading control means for reading out only the moving image frame recorded at the recording position of the recording means corresponding to the identification information of the moving image frame determined as the necessary moving image frame from the recording means.
  • the image encoding means encodes the input moving image in the MPEG2 format, and converts each moving image frame of the encoded moving image into a plurality of TS packets. It is also possible to configure such that the TS packet is recorded with the PID as identification information while being divided.
  • the necessity determination data generation unit generates the position and size of a subject in the moving image frame as the necessity determination data
  • the necessity determination unit includes the recording unit.
  • the subject size indicated by the necessity determination data in the metadata read from is smaller than a predetermined size
  • the subject position indicated by the necessity determination data in the metadata read from the recording unit is out of the predetermined range. If it is located at the position, the moving image frame corresponding to the identification information in the metadata may be determined not to be a necessary moving image frame.
  • the necessity determination data generation unit generates the necessity determination data based on an image feature amount in the moving image frame
  • the necessity determination unit includes the recording The difference between the image feature amount indicated by the necessity determination data in the metadata read from the means and the image feature amount indicated by the necessity determination data in the metadata of the moving image frame adjacent to the moving image frame corresponding to the metadata If is less than or equal to a predetermined value, the moving image frame corresponding to the identification information in the metadata may be determined not to be a necessary moving image frame.
  • the image feature amount may be a composition index indicating the composition of the subject.
  • the image feature amount may be a statistic of an image brightness value.
  • the necessity determination data generation unit generates focus information at the time of shooting the moving image frame as the necessity determination data
  • the necessity determination unit includes the recording unit.
  • the necessity determination data generation unit generates zoom information at the time of shooting the moving image frame as the necessity determination data
  • the necessity determination unit includes the recording unit. From the zoom information indicated by the necessity determination data in the read metadata and the zoom information indicated by the necessity determination data in the metadata of the moving image frame immediately before the moving image frame corresponding to the metadata, the zoom lens If it is determined that the lens position is not stable, it may be determined that the moving image frame corresponding to the identification information in the metadata is not a necessary moving image frame.
  • the image processing system of the present invention further includes a wireless antenna that receives a signal from the subject side, and the necessity determination data generation unit determines the received signal strength of the signal received by the wireless antenna as the necessity determination data. And when the received signal strength indicated by the necessity determination data in the metadata read from the recording means is lower than a predetermined value, the moving image frame corresponding to the identification information in the metadata May be determined not to be a necessary moving image frame.
  • the image processing apparatus of the present invention includes a feature data acquisition unit that acquires feature data corresponding to image data, a reference feature data acquisition unit that acquires reference feature data, and the feature data based on the reference feature data.
  • a feature data evaluation unit that performs evaluation
  • a necessity determination unit that determines whether image data corresponding to the feature data is necessary based on the evaluation performed by the feature data evaluation unit
  • a control processing unit that performs control based on the control unit.
  • the image processing apparatus may further include an evaluation policy generation unit that generates an evaluation policy and a reference feature data generation unit that generates the reference feature data based on the evaluation policy. .
  • the image processing apparatus of the present invention further includes a state detection unit, and the reference feature data generation unit is configured to generate the reference feature data based on the evaluation policy and the detection result of the state detection unit. May be.
  • the image processing apparatus of the present invention may further include a state detection unit, and the evaluation policy generation unit may be configured to generate an evaluation policy based on the detection result of the state detection unit.
  • the state detection unit may be a power state detection unit that detects at least one of a power type and a power state of the image processing apparatus.
  • the reference feature data generation unit may be generated based on the evaluation policy so that the amount of data of an acquired image is smaller than that in a non-low energy state.
  • the state detection unit may be a connection state determination unit that determines a connection state with a network.
  • the feature data evaluation unit may be configured to evaluate by combining a plurality of types of the reference feature data.
  • the reference feature data generation unit may be generated from the detection result and the evaluation policy such that the total data amount of the acquired image is smaller than that in the non-low speed state.
  • the image processing apparatus further includes a display unit for inputting an evaluation policy indicating a policy for preferentially evaluating at least one of the display speed, resolution, and data amount of the image data, and the reference feature data
  • the generation unit may be configured to generate the reference feature data based on the evaluation policy input to the display unit.
  • the image processing apparatus of the present invention may further include a feature data extraction unit that extracts the feature data from the image data.
  • the feature data extraction unit extracts at least one of a position and a size of a subject in the image data as the feature data
  • the necessity determination unit includes the feature data extraction unit. It is determined whether at least one of the position and the size of the subject in the image data extracted by the step is less than or equal to a threshold value as the reference feature data, and the necessity of the image data is determined based on the determination result
  • the necessity determination unit may determine that the image data includes at least one of a position and a size of a subject in the image data extracted by the feature data extraction unit that is equal to or less than the threshold value. Alternatively, it may be configured to make an unnecessary determination.
  • the feature data extraction unit extracts a composition of a plurality of the image data continuous as the feature data, and the necessity determination unit is extracted by the feature data extraction unit. It may be configured to determine whether or not the amount of change in composition of a plurality of image data is less than or equal to a threshold value as the reference feature data, and determine whether the image data is necessary or not based on the determination result.
  • the necessity determination unit may determine that the plurality of image data is unnecessary if the composition change amount of the plurality of image data is equal to or less than the threshold. It may be configured.
  • the necessity determination unit may be configured to perform the evaluation of the feature data by classifying into multiple stages or digitizing.
  • the necessity determination unit includes a blur condition, blur condition, brightness / darkness, hue, sharpness, field angle deviation, asymmetry, and subject fogging of the image data corresponding to the feature data. You may comprise so that evaluation may be performed about at least one of these.
  • the feature data extraction unit extracts feature data from the reduced image of the image data, an image having a lower resolution than the image data, or the feature data that is a part of the image data. You may comprise so that it may extract.
  • the image processing apparatus of the present invention may further include a feature data storage unit that stores the feature data, and the necessity determination unit may store feature data stored by the feature data storage unit based on the reference feature data. You may comprise so that evaluation may be performed.
  • the image processing apparatus of the present invention further includes a communication unit that communicates the feature data or the image data with an external device, and the necessity determination unit requests the external device for the image data that has been determined to be necessary.
  • the image data may be requested from the external device to the external device.
  • the image processing apparatus of the present invention may be configured to include an imaging unit and an input unit that acquires from the imaging unit the image data determined to be necessary by the necessity determination unit.
  • the image processing apparatus of the present invention may further include a processing unit that processes image data, and the processing unit may be configured to perform processing on the image data determined to be necessary by the necessity determination unit. Good.
  • the program according to the present invention includes a feature data that evaluates the feature data based on reference feature data acquired by a feature data acquisition unit that acquires feature data corresponding to image data and a reference feature data acquisition unit.
  • An evaluation unit a necessity determination unit for determining whether image data corresponding to the feature data is necessary based on the evaluation performed by the feature data evaluation unit, and a control process for performing control based on the necessity determination Function as a part.
  • the feature data acquisition unit acquires feature data corresponding to the image data
  • the feature data evaluation unit acquires the feature based on the reference feature data acquired by the reference feature data acquisition unit.
  • the data is evaluated, the necessity determination unit determines whether the image data corresponding to the feature data is necessary based on the evaluation, and the control processing unit performs control based on the necessity determination.
  • FIG. 1 is a diagram illustrating an imaging apparatus according to a first embodiment.
  • FIG. 6 is a diagram illustrating a modification (No. 1) of the imaging device according to the first embodiment.
  • FIG. 1 is a diagram illustrating an imaging apparatus according to a first embodiment.
  • FIG. 6 is a diagram illustrating a modification (No. 1) of the imaging device according to the first embodiment.
  • FIG. 6 is a diagram illustrating a second modification of the imaging device according to the first embodiment.
  • 3 is a flowchart illustrating an operation of a necessity determination unit according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a moving image frame for determination necessary and a moving image frame for unnecessary determination according to the first embodiment.
  • FIG. 10 is a diagram illustrating another example of a moving image frame for which determination is required and a moving image frame for which determination is not required in the first embodiment.
  • FIG. 6 is a diagram illustrating an imaging apparatus according to a second embodiment. It is a flowchart which shows operation
  • FIG. FIG. 6 is a diagram illustrating an imaging apparatus according to a third embodiment.
  • FIG. 12 is a flowchart illustrating an operation of a necessity determination unit according to the third embodiment.
  • FIG. 6 is a diagram illustrating an imaging apparatus according to a fourth embodiment. It is a flowchart which shows operation
  • FIG. 10 is a diagram illustrating an example of a moving image frame for which determination is required and a moving image frame for which determination is not required in the fourth embodiment.
  • FIG. 10 is a diagram illustrating an imaging apparatus according to a fifth embodiment. It is a figure which shows the image processing system of embodiment of this invention. It is a figure which shows the image processing system of other embodiment of this invention. It is a figure which shows the image processing system of other embodiment of this invention. It is a figure which shows the image processing system of other embodiment of this invention.
  • FIG. 1 It is a figure which shows the image processing system of other embodiment of this invention. It is a figure which shows an example of metadata, a moving image frame, the sector in a recording part, and the cluster in a recording part. It is a figure which shows an example of a directory. It is a figure which shows an example of FAT. It is a flowchart which shows an example of operation
  • FIG. 43 is a flowchart illustrating an example of an operation of a reference feature data generation unit illustrated in FIG. It is a figure which shows an example of the data acquired by the reference
  • FIG. 1 is a diagram showing an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 100 in FIG. 1 includes a necessity determination data generation unit 103, an image encoding unit 104, a metadata generation unit 105, a recording unit 106, a necessity determination unit 107, and a moving image file management unit 108. And a control processing unit 109. Note that the control processing unit 109 controls the operation of each unit in the image processing apparatus 100.
  • the necessity determination data generation unit 103 is an unnecessary moving image frame corresponding to each moving image frame of the moving image file input to the image processing apparatus 100 from the outside (for example, an imaging device or an external recording unit). Necessary / unnecessary determination data used to determine whether or not is generated.
  • the image encoding unit 104 encodes a moving image input to the image processing apparatus 100 from the outside, and divides each moving image frame of the encoded moving image into a plurality of pieces of data, respectively. Identification information is added and recorded in the recording unit 106.
  • the image encoding unit 104 performs encoding in the MPEG2 (Moving Picture Experts Group phases2) format on the input moving image, and each moving image of the encoded moving image.
  • Each of the image frames is divided into a plurality of TS (Transport Stream) packets, and each TS packet is assigned “identification information PID (Packet IDentification)” (K, K + 1,...) And recorded in the recording unit 106. .
  • a CD-R an external recording unit
  • a recording unit for example, a hard disk or a RAM (Random Access Memory)
  • a recording unit for example, a hard disk or a RAM (Random Access Memory)
  • a recording unit for example, a hard disk or a RAM (Random Access Memory)
  • a recording unit for example, a hard disk or a RAM (Random Access Memory)
  • a recording unit for example, a hard disk or a RAM (Random Access Memory)
  • the non-volatile memory or the flash memory may be used.
  • the recording unit 106 includes an identification information / recording position table that indicates the correspondence between the identification information assigned to each data in the image encoding unit 104 and the information indicating the recording position in the recording unit 106.
  • the recording unit 106 includes a directory as an identification information / recording position table indicating the correspondence between the identification information PID and the cluster number indicating the cluster position in the recording unit 106.
  • the recording unit 106 also includes information indicating the recording position in the recording unit 106 and information indicating the state of data at each recording position (for example, information and data indicating the recording position when data continues to other recording positions) Includes a recording position / data state information table indicating a correspondence relationship with information indicating that the recording ends at the recording position or information indicating that there is no data at the recording position.
  • the recording unit 106 includes a cluster number indicating the position of the cluster in the recording unit 106 and information indicating the data state in each cluster number (for example, when data continues to other clusters).
  • a FAT Fe Allocation Table
  • the necessity determination unit 107 determines whether the moving image frame corresponding to the identification information in the metadata is an unnecessary moving image frame based on the necessity determination data in the metadata.
  • the moving image file management unit 108 uses the identification information / recording position table in the recording unit 106 to record the recording unit 106 corresponding to the identification information of the moving image frame determined as an unnecessary moving image frame by the necessity determination unit 107.
  • the recording position in is specified.
  • the moving image file management unit 108 uses the recording position / data state information table in the recording unit 106 to identify information indicating the state of the data corresponding to the identified recording position, and displays the state of the identified data.
  • the information shown is rewritten with information indicating that there is no data.
  • the moving image file management unit 108 rewrites the information “0004” indicating the data state in the identified cluster number “0003” to “0000”, and further changes to another cluster.
  • the information “FFFF” indicating the data state in the cluster number “0004” indicating the position of the cluster when the moving image frame f2 is recorded is rewritten to “0000”.
  • the recording unit 106 includes a table in which all pieces of identification information recorded in the recording unit 106 are associated with information indicating data states at the recording positions of the recording unit 106 corresponding to the identification information. May be. Also, in this case, the moving image file management unit 108 uses this table at the recording position of the recording unit 106 corresponding to the identification information of the moving image frame determined as an unnecessary moving image frame by the necessity determination unit 107. The information indicating the data state may be rewritten to information indicating that there is no data.
  • the image processing apparatus 100 includes a recording unit 106 that corresponds to a moving image frame determined as an unnecessary moving image frame among moving image frames of the moving image before the editing work or the reproduction work. Since the information indicating the data state at the recording position is rewritten with information indicating that there is no data, an unnecessary moving image frame is used when the moving image is read from the recording unit 106 during editing or reproduction of the moving image. Is read out. In this way, unnecessary moving image frames can be substantially deleted from the moving image file at the previous stage of editing and playback work, so that the moving image file can be used for editing during editing work and playback work. The time for loading the program and the playback program can be shortened, and a reduction in the efficiency of editing and playback can be suppressed.
  • the image processing apparatus 100 only rewrites information indicating the data state at the recording position of the recording unit 106 in order to read out other than the unnecessary moving image frame from the recording unit 106.
  • the amount of processing can be reduced, and the load on the image processing apparatus 100 can be suppressed.
  • the image processing apparatus 100 assigns each piece of encoded video frame data to each piece of data in order to specify a recording position in the recording unit 106 corresponding to an unnecessary video frame. Since the identification information to be used is used, the amount of data processing can be reduced, and the load on the image processing apparatus 100 can be suppressed.
  • the necessity determination unit 107 includes head information Ki indicating that it is the first moving image frame among a plurality of consecutive unnecessary moving image frames, and tail information Kj indicating that it is the last moving image frame. May be sent to the moving image file management unit 108. That is, a flag indicating that it is the head of a moving image determined to be unnecessary and a flag indicating that it is at the end may be described on the identification information PID. In this case, the moving image file management unit 108 rewrites the information indicating the data state at the recording position of the recording unit 106 corresponding to the head information Ki and the tail information Kj, respectively, to information indicating that there is no data, and the head information Ki.
  • the information indicating the data state at the recording position of the recording unit 106 corresponding to the moving image frame between the moving image frames respectively corresponding to the end information Kj is rewritten to information indicating that there is no data.
  • the moving image file management unit 108 sets the unnecessary moving image frame when both the flag indicating the beginning of the unnecessary moving image frame and the flag indicating the end of the unnecessary moving image frame are provided.
  • the information indicating the data state at the recording position of the recording unit 106 corresponding to the identification information of the moving image frame between the head of the moving image frame and the end of the unnecessary moving image frame may be rewritten with information indicating that there is no data. good.
  • the data may be rewritten when a pair of a flag indicating the start of unnecessary determination and a flag indicating the end is received. .
  • the moving image file management unit 108 stores the data at the recording position of the recording unit 106 corresponding to the range from the GOP including the first unnecessary moving image frame to the GOP including the last unnecessary moving image frame. All the information indicating the state is rewritten with information indicating that there is no data.
  • SH Sequence Header
  • GOP Group Of Picture
  • the recording unit 106 may include a return table having the same contents as the FAT.
  • the moving image file management unit 108 uses the restoration table to return the information indicating the data state at the recording position of the recording unit 106 corresponding to the identification information of the data to be restored to the original information. be able to.
  • the frame is an unnecessary moving image frame, and the information indicating the data state at the recording position in the recording unit 106 corresponding to the identification information of the moving image frame is rewritten to information indicating that there is no data. Even after this, the moving image frame can be returned to a readable state.
  • FIG. 5A is a diagram illustrating an imaging apparatus 500 that is Embodiment 1 of the image processing apparatus 100 illustrated in FIG.
  • symbol is attached
  • An imaging apparatus 500 illustrated in FIG. 5A includes an imaging unit 101, an image processing unit 102, a necessity determination data generation unit 103, an image encoding unit 104, a metadata generation unit 105, and a recording unit 106.
  • the determination unit 107 includes a moving image file management unit 108 and a control processing unit 109.
  • the imaging unit 101 converts, for example, a subject image formed on an imaging element such as a CCD (Charge Coupled Device) by a lens into an electrical signal in the imaging element, and converts a moving image including a still image frame or a plurality of moving image frames. obtain.
  • an imaging element such as a CCD (Charge Coupled Device)
  • CCD Charge Coupled Device
  • the image processing unit 102 performs various image processing such as sharpness correction, contrast correction, luminance / color difference signal generation, and white balance correction on each moving image frame of the still image or moving image obtained by the imaging unit 101.
  • the image encoding unit 104 encodes a still image frame after image processing in a JPEG (Joint Photographic Experts Group) format or the like.
  • the image encoding unit 104 encodes the moving image after the image processing in the MPEG format or the like.
  • a feature of the imaging apparatus 500 shown in FIG. 5A is that a subject detection processing unit 501 is provided as the necessity determination data generation unit 103, and the subject detection processing unit 501 uses each subject image processing image 501 in each moving image frame of a moving image.
  • the “subject position” and the “subject size” as the necessity determination data are detected, respectively, and the metadata generation unit 105 detects the detected “subject position” and “subject size” and the identification information PID. are integrated and output to the necessity determination unit 107 as metadata.
  • FIG. 6 is a flowchart illustrating an example of the operation of the necessity determination unit 107 in the imaging apparatus 500 illustrated in FIG. 5A.
  • the necessity / unnecessity determination unit 107 starts to output “subject position” and “subject position” indicated in the metadata.
  • "Size” is input (S11).
  • the subject detection processing unit 501 detects a subject in a moving image frame after image processing, and then sets a rectangular range surrounding the detected subject as a subject area, and a pixel position (x0, y0) at the upper left of the subject area Is the “subject position”.
  • the subject detection processing unit 501 sets the number of pixels in the horizontal direction of the subject area as W and the number of pixels in the vertical direction of the subject area as “subject size”.
  • the subject detection processing unit 501 sets x0 to a value smaller than 0 when no subject is detected from the moving image frame. Further, the pixel position at the upper left of the moving image frame is assumed to be (1, 1).
  • the necessity determination unit 107 determines whether or not x0 is smaller than 0, that is, whether or not a subject is detected (S12).
  • the necessity determination unit 107 determines whether W is smaller than the threshold Thr_W or whether H is smaller than the threshold Thr_H, that is, the subject is predetermined. It is determined whether it is smaller than the size (S13). Note that the threshold Thr_W and the threshold Thr_H may be set in advance by a user or the like.
  • the necessity determination unit 107 determines whether x0 + W / 2 is smaller than the threshold Thr_L_x, that is, the subject area is outside the left end of the moving image frame. It is determined whether or not it is off (S14). Note that the threshold Thr_L_x may be set in advance by a user or the like.
  • the necessity determination unit 107 determines whether x0 + W / 2 is larger than the threshold value Thr_R_x, that is, the right edge of the subject area. Is determined to be outside the right end of the moving image frame (S15). Note that the threshold Thr_R_x may be set in advance by a user or the like.
  • the necessity determination unit 107 determines whether y0 + H / 2 is larger than the threshold Thr_U_y, that is, the subject area It is determined whether or not the upper end of the image is outside the upper end of the moving image frame (S16).
  • the threshold Thr_U_y may be set in advance by a user or the like.
  • the necessity determination unit 107 determines whether y0 + H / 2 is smaller than the threshold value Thr_D_y, that is, the subject area It is determined whether or not the lower end of the image is outside the lower end of the moving image frame (S17).
  • the threshold Thr_D_y may be set in advance by a user or the like.
  • the necessity determination unit 107 is a moving image frame necessary for editing or playing the moving image frame.
  • the necessity determination unit 107 reads the necessity / unnecessity determination flag FLG_n of the moving image frame acquired this time and the necessity / unnecessity determination flag FLG_n ⁇ 1 of the previously acquired moving image frame from the storage unit (S20). Whether or not the multiplication result of the unnecessary determination flag FLG_n and the unnecessary determination flag FLG_n ⁇ 1 is smaller than zero, that is, of the one or more moving image frames that are unnecessary at the time of editing or reproduction of the previously acquired moving image frame It is determined whether it is the last moving image frame (S21).
  • the necessity determination unit 107 determines that the unnecessary 1 Of the above moving image frames, the end information Kj indicating that it is the last moving image frame and the identification information PID corresponding to the previously acquired moving image frame are integrated (S22), and the moving image file management unit 108 is informed. Output (S23). For example, as shown in FIG.
  • the necessity determination unit 107 receives a moving image shooting end instruction from the user and determines that the moving image shooting has ended (Yes in S24), the unnecessary moving image frame determination process ends, and the moving image shooting is still ended. If it is determined that it is not (No in S24), the process returns to S11, and metadata corresponding to the moving image frame to be acquired next is input.
  • the necessity determination unit 107 does not perform S22 and S23 and does not perform moving image shooting. It is determined whether or not the processing has been completed (S24).
  • the necessity determination unit 107 determines that “the subject is not detected (S12 is Yes)”, “the subject is smaller than a predetermined size (S13 is Yes)”, “the subject area is outside the left end of the moving image frame. “Excluded (Yes in S14)”, “Subject area is out of the right edge of the moving image frame (Yes in S15)”, “Subject area is out of the upper end of the moving image frame (S16 is Yes ”and“ Subject area is outside the lower end of the moving image frame (Yes in S17) ”, the moving image frame is determined as an unnecessary moving image frame during editing or playback.
  • the necessity determination unit 107 reads out the necessity determination flag FLG_n of the moving image frame acquired this time and the necessity determination flag FLG_n ⁇ 1 of the moving image frame acquired the previous time from the storage unit (S27). Whether or not the multiplication result of the unnecessary determination flag FLG_n and the unnecessary determination flag FLG_n ⁇ 1 is smaller than zero, that is, of the one or more moving image frames unnecessary at the time of editing or playback of the moving image frame acquired this time It is determined whether or not it is the first moving image frame (S28).
  • the necessity determination unit 107 determines that the unnecessary 1 Of the above-described moving image frames, the leading information Ki indicating that it is the leading moving image frame and the identification information PID corresponding to the moving image frame acquired this time are integrated (S29), and the moving image file management unit 108 is informed. It is output (S30), and it is determined whether or not the moving image shooting is finished (S24). For example, as shown in FIG.
  • the necessity determination unit 107 does not perform S29 and S30, and the moving image shooting is performed. It is determined whether or not the processing has been completed (S24).
  • the moving image file management unit 108 When the start information Ki and the end information Kj are output from the necessity determination unit 107, the moving image file management unit 108 outputs the identification information PID output together with the start information Kj from the identification information PID output together with the start information Ki.
  • the image capturing apparatus 500 shown in FIG. 5A determines whether or not a moving image frame is necessary according to the position and size of the subject. Therefore, moving image data acquired when the subject moves violently, such as during a sporting event or a race. It is effective in reducing the amount.
  • the composition index described in the metadata is based on the position and size of the subject and is configured to determine whether the moving image frame is necessary. As shown in FIG. 8, when moving image frames having the same composition are continuously acquired, the moving image frames may be determined as unnecessary moving image frames at the time of editing or reproduction. .
  • the difference between frames may be obtained based on the statistics of the image in addition to the difference in detection of the composition index, that is, the position of the subject as shown in FIG.
  • the total value of the difference in level difference between frames is less than or equal to a predetermined value
  • the case where the total value of the amount of change in the histogram of the compared frame is less than or equal to a predetermined value may be used.
  • a difference calculation unit 5011 that integrates the difference between frames is provided instead of the subject detection processing unit 501.
  • a histogram difference calculation unit 5012 is provided instead of the subject detection processing unit 501 to calculate a histogram and calculate a histogram difference between frames or an integral thereof.
  • FIG. 9 is a diagram illustrating an imaging apparatus 900 that is Embodiment 2 of the image processing apparatus 100 illustrated in FIG.
  • symbol is attached
  • a feature of the imaging apparatus 900 shown in FIG. 9 is that a focus information processing unit 901 is provided as the necessity determination data generation unit 103, and the focus information processing unit 901 applies each of the moving image frames of the moving image after image processing.
  • “focus information” is set as the necessity determination data, respectively, and the “focus information” and the identification information PID are integrated by the metadata generation unit 105 and output to the necessity determination unit 107 as metadata. It is a point.
  • FIG. 10 is a flowchart illustrating an example of the operation of the necessity determination unit 107 in the imaging apparatus 900 illustrated in FIG.
  • the necessity determination unit 107 inputs “focus information” indicated by the metadata (S31). ).
  • the focus information processing unit 901 obtains the contrast evaluation value C0 corresponding to the moving image frame from the image processing unit 102 and captures the lens position L0 of the focus lens every time the imaging unit 101 acquires the moving image frame. Obtained from the unit 101 and output to the metadata generation unit 105. Further, when the contrast evaluation value C0 is smaller than 0, it is assumed that the focus is not achieved, that is, the focus lens is not focused.
  • the necessity determination unit 107 determines that C0 is equal to or greater than 0, that is, the focus lens is in focus (S32: No), the lens position L0_n corresponding to the moving image frame acquired this time. Is stored in the storage unit inside or outside the necessity determination unit 107 (S33).
  • the necessity determination unit 107 reads out the lens position L0_n corresponding to the moving image frame acquired this time and the lens position L0_n-1 corresponding to the previously acquired moving image frame from the storage unit (S34), It is determined whether or not the absolute value of the difference between the lens position L0_n and the lens position L0_n ⁇ 1 is larger than the threshold value Thr_L, that is, whether or not the focus is stable (S35).
  • the necessity determination unit 107 reads the necessity determination flag FLG_n of the moving image frame acquired this time and the necessity determination flag FLG_n ⁇ 1 of the moving image frame acquired last time from the storage unit (S38), Whether or not the multiplication result of the necessity determination flag FLG_n and the necessity determination flag FLG_n ⁇ 1 is smaller than zero, that is, one or more moving image frames that are unnecessary at the time of editing or playback of the previously acquired moving image frame It is determined whether or not it is the last moving image frame (S39).
  • the necessity determination unit 107 determines that the unnecessary 1 Of the above moving image frames, the end information Kj indicating the last moving image frame and the identification information PID corresponding to the previously acquired moving image frame are integrated (S40), and the moving image file management unit 108 is integrated. (S41).
  • the necessity determination unit 107 receives a moving image shooting end instruction from the user and determines that the moving image shooting has ended (Yes in S42), the determination process of unnecessary moving image frames ends, and the moving image shooting is not yet performed. If it is determined that the process has not been completed (No in S42), the process returns to S31, and metadata corresponding to the moving image frame to be acquired next is input.
  • the necessity determination unit 107 does not perform S40 and S41, but captures a moving image. It is determined whether or not (S42).
  • the necessity determination unit 107 determines that the focus is not achieved (S32 is Yes) or determines that the focus is not stable (S35 is Yes)
  • the data is stored in the storage unit (S44).
  • the necessity determination unit 107 reads out the necessity determination flag FLG_n of the moving image frame acquired this time and the necessity determination flag FLG_n ⁇ 1 of the moving image frame acquired last time from the storage unit (S45), Whether or not the multiplication result of the necessity determination flag FLG_n and the necessity determination flag FLG_n ⁇ 1 is smaller than zero, that is, one or more moving image frames which are unnecessary at the time of editing or playback of the moving image frame acquired this time It is determined whether or not it is the first moving image frame (S46).
  • the necessity determination unit 107 does not need to First information Ki indicating that it is the first moving image frame among one or more moving image frames and identification information PID corresponding to the moving image frame acquired this time are integrated (S47), and the moving image file management unit 108 is integrated. (S48), it is determined whether or not the moving image shooting is completed (S42).
  • the necessity determination unit 107 determines whether or not the moving image shooting is completed without executing S47 and S48. Judgment is made (S42).
  • the moving image file management unit 108 When the start information Ki and the end information Kj are output from the necessity determination unit 107, the moving image file management unit 108 outputs the identification information PID output together with the start information Kj from the identification information PID output together with the start information Ki.
  • the imaging apparatus 900 shown in FIG. 9 since it is determined whether or not a moving image frame is necessary depending on whether focus is not achieved or whether focus is not stable, for example, not only the subject but also shooting is performed. This is effective in reducing the data amount of the moving image file acquired when the user is also moving.
  • FIG. 11 is a diagram illustrating an imaging apparatus 1100 that is Embodiment 3 of the image processing apparatus 100 illustrated in FIG.
  • symbol is attached
  • a feature of the imaging apparatus 1100 shown in FIG. 11 is that a zoom information processing unit 1101 is provided as the necessity determination data generation unit 103, and the zoom information processing unit 1101 applies each of the moving image frames of the moving image after image processing.
  • “zoom information” is set as the necessity determination data, respectively, and “zoom information” and identification information PID are integrated by the metadata generation unit 105 and output to the necessity determination unit 107 as metadata. It is a point.
  • FIG. 12 is a flowchart illustrating an example of the operation of the necessity determination unit 107 in the imaging apparatus 1100 illustrated in FIG.
  • the necessity determination unit 107 receives “zoom information” indicated by the metadata when the imaging unit 101 starts acquiring moving image frames and the metadata generation unit 105 starts outputting metadata (S51). ). Note that each time the image capturing unit 101 acquires a moving image frame, the zoom information processing unit 1101 displays zoom information Z0 (for example, the lens position of the zoom lens and the lens movement amount) corresponding to the moving image frame. And output to the metadata generation unit 105.
  • zoom information processing unit 1101 displays zoom information Z0 (for example, the lens position of the zoom lens and the lens movement amount) corresponding to the moving image frame.
  • zoom information Z0 for example, the lens position of the zoom lens and the lens movement amount
  • the necessity determination unit 107 holds the input zoom information Z0 in a storage unit inside or outside the necessity determination unit 107 (S52).
  • the necessity determination unit 107 reads out the zoom information Z0_n corresponding to the currently acquired moving image frame and the zoom information Z0_n ⁇ 1 corresponding to the previously acquired moving image frame from the storage unit (S53), It is determined whether or not the absolute value of the difference between the zoom information Z0_n and the zoom information Z0_n-1 is larger than the threshold Thr_Z, that is, whether or not the lens position of the zoom lens is stable (S54).
  • the necessity determination unit 107 determines that the moving image frame acquired this time is a moving image frame necessary for editing or playback.
  • the necessity determination unit 107 reads the necessity determination flag FLG_n of the moving image frame acquired this time and the necessity determination flag FLG_n ⁇ 1 of the moving image frame acquired last time from the storage unit (S57), Whether or not the multiplication result of the necessity determination flag FLG_n and the necessity determination flag FLG_n ⁇ 1 is smaller than zero, that is, one or more moving image frames that are unnecessary at the time of editing or playback of the previously acquired moving image frame It is determined whether or not it is the last moving image frame (S58).
  • the necessity determination unit 107 determines that the unnecessary 1 Of the above moving image frames, the end information Kj indicating the last moving image frame and the identification information PID corresponding to the previously acquired moving image frame are integrated (S59), and the moving image file management unit 108 is integrated. (S60).
  • the necessity determination unit 107 receives a moving image shooting end instruction from the user and determines that the moving image shooting has ended (Yes in S61), the unnecessary moving image frame determination process is ended, and the moving image shooting is still performed. If it is determined that the process has not been completed (No in S61), the process returns to S51, and metadata corresponding to the moving image frame to be acquired next is input.
  • the necessity determination unit 107 does not perform S59 and S60, and takes a moving image. It is determined whether or not (S61).
  • the necessity determination unit 107 reads out the necessity determination flag FLG_n of the moving image frame acquired this time and the necessity determination flag FLG_n ⁇ 1 of the moving image frame acquired last time from the storage unit (S64), Whether or not the multiplication result of the necessity determination flag FLG_n and the necessity determination flag FLG_n ⁇ 1 is smaller than zero, that is, one or more moving image frames which are unnecessary at the time of editing or playback of the moving image frame acquired this time It is determined whether or not it is the first moving image frame (S65).
  • the necessity determination unit 107 does not need to First information Ki indicating that it is the first moving image frame of one or more moving image frames and identification information PID corresponding to the moving image frame acquired this time are integrated (S66), and the moving image file management unit 108 is integrated. (S67), it is determined whether or not the moving image shooting is completed (S61).
  • the necessity determination unit 107 does not perform S66 and S67, and the moving image shooting is performed. It is determined whether or not the processing has been completed (S61).
  • the moving image file management unit 108 When the start information Ki and the end information Kj are output from the necessity determination unit 107, the moving image file management unit 108 outputs the identification information PID output together with the start information Kj from the identification information PID output together with the start information Ki.
  • whether or not the moving image frame is necessary is determined depending on whether or not the lens position of the zoom lens is stable. This is effective for reducing the data amount of a moving image file acquired when moving.
  • the information used for the necessity determination process for unnecessary moving image frames is not limited to the position and size of the subject, focus information, or zoom information as in the first to third embodiments.
  • a histogram of luminance gradation of each moving image frame after image processing may be used.
  • two or more pieces of information among the above-described subject position and size, focus information, zoom information, and luminance gradation histogram may be combined and used for the unnecessary / unnecessary determination process of the moving image frame.
  • FIG. 13 is a diagram illustrating an imaging apparatus 1300 that is Embodiment 4 of the image processing apparatus 100 illustrated in FIG.
  • symbol is attached
  • the imaging apparatus 1300 shown in FIG. 13 includes a wireless antenna 1301 and a received signal strength detector 1302 as the necessity determination data generation unit 103, and the received signal strength detector 1302 uses the received signal strength detector 1302 to process a moving image after image processing. For each moving image frame, received signal strength information (RSSI: Received Signal Strength Indication) R0 as unnecessary / necessary determination data is detected, and the metadata generation unit 105 receives received signal strength information R0, identification information PID, Are integrated and output to the necessity determination unit 107 as metadata.
  • the wireless antenna 1301 receives a signal transmitted from a transmitter provided in the subject or a signal transmitted from the imaging device 1300 and reflected by the subject.
  • FIG. 14 is a flowchart illustrating an example of the operation of the necessity determination unit 107 in the imaging apparatus 1300 illustrated in FIG.
  • the necessity determination unit 107 receives “received signal strength information” indicated in the metadata when the imaging unit 101 starts acquiring the moving image frame and the metadata generation unit 105 starts outputting the metadata. (S71).
  • the received signal strength detection unit 1302 uses the level of the received signal received by the wireless antenna 1301 as the received signal strength information R0 corresponding to the moving image frame every time the imaging unit 101 acquires the moving image frame. Output to the metadata generation unit 105.
  • the necessity determination unit 107 determines whether the input received signal strength information R0 is larger than the threshold value Thr_R, that is, whether the subject is at a position far from the imaging device 1300 (S72). ).
  • the necessity determination unit 107 determines that the moving image frame acquired this time is a moving image frame necessary for editing or playback, and is not necessary.
  • the necessity determination unit 107 reads the necessity determination flag FLG_n of the moving image frame acquired this time and the necessity determination flag FLG_n ⁇ 1 of the moving image frame acquired last time from the storage unit (S75), Whether or not the multiplication result of the necessity determination flag FLG_n and the necessity determination flag FLG_n ⁇ 1 is smaller than zero, that is, one or more moving image frames that are unnecessary at the time of editing or playback of the previously acquired moving image frame It is determined whether or not it is the last moving image frame (S76).
  • the necessity determination unit 107 determines that the unnecessary 1 Of the above moving image frames, the end information Kj indicating the last moving image frame and the identification information PID corresponding to the previously acquired moving image frame are integrated (S77), and the moving image file management unit 108 is integrated. (S78). For example, as shown in FIG.
  • the necessity determination unit 107 receives a moving image shooting end instruction from the user and determines that the moving image shooting is ended (Yes in S79), the determination process of unnecessary moving image frames is ended, and the moving image shooting is still performed. If it is determined that the process has not been completed (No in S79), the process returns to S71, and metadata corresponding to the moving image frame to be acquired next is input.
  • the necessity determination unit 107 does not execute S77 and S78, and takes a moving image. It is determined whether or not (S79).
  • the necessity determination unit 107 determines that the subject is at a far position (Yes in S72), the necessity determination unit 107 determines that the moving image frame acquired this time is an unnecessary moving image frame at the time of editing or reproduction,
  • the necessity determination unit 107 reads the necessity determination flag FLG_n of the moving image frame acquired this time and the necessity determination flag FLG_n ⁇ 1 of the moving image frame acquired last time from the storage unit (S82), Whether or not the multiplication result of the necessity determination flag FLG_n and the necessity determination flag FLG_n ⁇ 1 is smaller than zero, that is, one or more moving image frames which are unnecessary at the time of editing or playback of the moving image frame acquired this time It is determined whether or not it is the first moving image frame (S83).
  • the necessity determination unit 107 does not need to First information Ki indicating that it is the first moving image frame of one or more moving image frames and identification information PID corresponding to the moving image frame acquired this time are integrated (S84), and the moving image file management unit 108 is integrated. (S85), it is determined whether or not the moving image shooting is completed (S79). For example, as shown in FIG.
  • the necessity determination unit 107 does not execute S84 and S85 and ends the video shooting. It is determined whether or not (S79).
  • the moving image file management unit 108 When the start information Ki and the end information Kj are output from the necessity determination unit 107, the moving image file management unit 108 outputs the identification information PID output together with the start information Kj from the identification information PID output together with the start information Ki.
  • the necessity of the moving image frame is determined according to the received signal strength information R0, for example, it is acquired when the subject is moving back and forth with respect to the imaging apparatus 1300. This is effective in reducing the data amount of moving image files.
  • the above-described imaging apparatus 1300 has a configuration in which the necessity determination unit 107 performs the necessity determination process for moving image frames based on whether or not the received signal strength information R0 is larger than the threshold Thr_R.
  • the signal strength detection unit 1302 may be configured to perform the necessity determination process for moving image frames based on whether or not the received signal strength information R0 is larger than the threshold value Thr_R.
  • the metadata generation unit 105 integrates a flag indicating an unnecessary moving image frame and identification information corresponding to the moving image frame to generate metadata.
  • the moving image file management unit 108 rewrites information indicating the data state at the recording position of the recording unit 106 corresponding to the identification information in the metadata to information indicating that there is no data. Further, the necessity determination unit 107 can be omitted.
  • FIG. 16 is a diagram illustrating an imaging apparatus 1600 that is Embodiment 5 of the image processing apparatus 100 illustrated in FIG.
  • symbol is attached
  • a feature of the imaging apparatus 1600 shown in FIG. 16 is that a reduced image generation unit 1601 is provided in place of the necessity determination data generation unit 103, and each moving image of the moving image after image processing is provided by the reduced image generation unit 1601.
  • the image frames are reduced, and the reduced images and the identification information PID are integrated and output to the necessity determination data generation unit 103 as metadata.
  • the necessity determination data generation unit 103 shown in FIG. 16 determines whether or not the moving image frame corresponding to the identification information in the metadata is an unnecessary moving image frame based on the reduced image in the input metadata. Necessary / unnecessary determination data used for the generation is generated.
  • the necessity determination data generated by the necessity determination data generation unit 103 illustrated in FIG. 16 is, for example, the above-described subject position, size, or luminance gradation histogram.
  • the operations of the necessity determination unit 107 and the moving image file management unit 108 shown in FIG. 16 are the same as the operations of the necessity determination unit 107 and the moving image file management unit 108 in the first to fourth embodiments. Further, the necessity determination data generation unit 103 illustrated in FIG. 16 may be provided inside the necessity determination unit 107.
  • the imaging apparatus 1600 shown in FIG. 16 uses a reduced image when generating the necessity determination data, the load on the imaging apparatus 1600 when generating the necessity determination data can be suppressed.
  • FIG. 17 is a diagram showing an image processing system according to the embodiment of the present invention.
  • symbol is attached
  • the image processing system shown in FIG. 17 includes an image processing apparatus 100 and a server 1700, and the image processing apparatus 100 and the server 1700 transmit and receive data to and from each other via a network 1701.
  • the image processing apparatus 100 shown in FIG. 17 is different from the image processing apparatus 100 shown in FIG. 1 in that an unnecessary moving image frame determination process is performed by a server 1700 outside the image processing apparatus 100.
  • the transmission unit 1702 of the image processing apparatus 100 illustrated in FIG. 17 transmits the metadata generated by the metadata generation unit 105 to the server 1700.
  • the necessity determination unit 1703 of the server 1700 illustrated in FIG. 17 is based on the necessity determination data in the metadata received by the reception unit 1704, and a moving image that does not require a moving image frame corresponding to the identification information in the metadata. It is determined whether the frame is an image frame, and the determination result is transmitted to the image processing apparatus 100 by the transmission unit 1705.
  • the moving image file management unit 108 of the image processing apparatus 100 illustrated in FIG. 17 uses the identification information / recording position table in the recording unit 106 to determine an unnecessary moving image frame based on the determination result received by the receiving unit 1706.
  • the recording position in the recording unit 106 corresponding to the identification information of the moving image frame determined as is specified.
  • the moving image file management unit 108 uses the recording position / data state information table in the recording unit 106 to identify information indicating the state of the data corresponding to the identified recording position, and displays the state of the identified data.
  • the information shown is rewritten to information that there is no data.
  • all pieces of identification information recorded in the recording unit 106 are associated with information indicating the data state at the recording position of the recording unit 106 corresponding to the identification information.
  • a table may be provided. Further, in this case, the moving image file management unit 108 shown in FIG. 17 uses this table to record the recording unit corresponding to the identification information of the moving image frame determined to be an unnecessary moving image frame transmitted from the server 1700.
  • the information indicating the data state at the recording position 106 may be rewritten to information indicating that there is no data.
  • image processing apparatus 100 shown in FIG. 17 can be replaced with any of the imaging apparatuses of the first to fifth embodiments described above.
  • the image processing system shown in FIG. 17 is configured to perform the necessity determination process for moving image frames on the server 1700 side outside the image processing apparatus 100, the load on the image processing apparatus 100 can be suppressed. it can.
  • FIG. 18 is a diagram showing an image processing system according to another embodiment of the present invention. Note that the same components as those of the image processing system illustrated in FIG. 17 are denoted by the same reference numerals, and description of the components is omitted.
  • the image processing system shown in FIG. 18 differs from the image processing system shown in FIG. 17 in that a reduced image generation unit 1601 shown in FIG. 16 is provided in the image processing apparatus 100 instead of the necessity determination data generation unit 103.
  • the server 1700 is provided with a necessity determination data generation unit 1800.
  • the reduced image generation unit 1601 of the image processing apparatus 100 generates a reduced image of each moving image frame of the processed moving image
  • the metadata generation unit 105 integrates the reduced image and the identification information PID.
  • the metadata is transmitted from the image processing apparatus 100 to the server 1700 via the network 1701.
  • the moving image frame corresponding to the identification information in the metadata is an unnecessary moving image frame based on the reduced image in the received metadata by the necessity determination data generation unit 1800 of the server 1700. Necessary / unnecessary determination data used for determination is generated.
  • the necessity determination data generated by the necessity determination data generation unit 1800 is, for example, a histogram of the position, size, or luminance gradation of the subject described above.
  • the necessity determination unit 1703 of the server 1700 does not require a moving image frame corresponding to the identification information in the received metadata based on the necessity determination data generated by the necessity determination data generation unit 1800 during editing. It is determined whether the frame is a moving image frame, and the determination result is transmitted to the image processing apparatus 100 by the transmission unit 1705.
  • the moving image file management unit 108 of the image processing apparatus 100 uses the identification information / recording position table in the recording unit 106 to receive a moving image frame that is received by the receiving unit 1706 and determined as an unnecessary moving image frame.
  • the recording position in the recording unit 106 corresponding to the identification information is specified.
  • the moving image file management unit 108 uses the recording position / data state information table in the recording unit 106 to identify information indicating the state of the data corresponding to the identified recording position, and displays the state of the identified data.
  • the information shown is rewritten with information indicating that there is no data.
  • all pieces of identification information recorded in the recording unit 106 are associated with information indicating data states at the recording positions of the recording unit 106 corresponding to the identification information.
  • a table may be provided.
  • the moving image file management unit 108 shown in FIG. 18 uses this table to record the recording unit corresponding to the identification information of the moving image frame determined to be an unnecessary moving image frame transmitted from the server 1700.
  • the information indicating the data state at the recording position 106 may be rewritten to information indicating that there is no data.
  • the server 1700 includes the necessity determination data generation unit 1800 in the image processing system illustrated in FIG. 18, the load on the image processing apparatus 100 can be suppressed. Further, since the image processing system shown in FIG. 18 uses a reduced image when generating the necessity determination data, the load on the server 1700 can be suppressed when the necessity determination data is generated.
  • FIG. 19 is a diagram showing an image processing system according to another embodiment of the present invention. The same components as those of the image processing apparatus 100 shown in FIG. 1 and the image processing system shown in FIG.
  • the image processing system shown in FIG. 19 is different from the image processing system shown in FIG. 17 in that the image processing apparatus 100 further includes a necessity determination unit 107, a load state measurement unit 1900, and a distribution switching unit 1901. is there.
  • the load state measurement unit 1900 is an example of a detection unit that detects information for determining whether or not the image processing apparatus 100 is ready to be loaded. Note that the detection means in the claims is, for example, the load state measurement unit 1900.
  • the load state measurement unit 1900 measures the load state of resources (for example, a CPU and a memory) of the image processing apparatus 100.
  • the distribution switching unit 1901 uses the necessity determination unit 1703 of the server 1700 and the image processing apparatus 100 as a destination of the metadata generated by the metadata generation unit 105 according to the load state measured by the load state measurement unit 1900. Switch to either one of the necessity determination units 107. For example, the distribution switching unit 1901 sends metadata to the necessity determination unit 1703 of the server 1700 when the load on the resource of the image processing apparatus 100 is high, and the load on the resource of the image processing apparatus 100 is high. If not, the metadata is sent to the necessity determination unit 107 of the image processing apparatus 100.
  • the resources of the image processing apparatus 100 should be sufficiently used when the necessity determination process for moving image frames is performed. Therefore, since it is determined that the moving image frame necessity determination process is performed by the server 1700 outside the image processing apparatus 100, the efficiency of the moving image frame necessity determination process can be improved.
  • FIG. 20 is a diagram showing an image processing system according to another embodiment of the present invention. Note that the same components as those of the image processing system illustrated in FIG. 17 are denoted by the same reference numerals, and description of the components is omitted.
  • the image processing system shown in FIG. 20 is different from the image processing system shown in FIG. 17 in that the image processing apparatus 100 further includes a necessity determination unit 107, a power mode detection unit 2000, and a distribution switching unit 2001. is there.
  • the power supply mode detection unit 2000 is an example of a detection unit that detects information for determining whether or not the image processing apparatus 100 is ready to be loaded. Note that the detection means in the claims is, for example, the power mode detector 2000.
  • the power mode detection unit 2000 is a power mode of the image processing apparatus 100 (for example, a startup mode in which power is supplied to all parts of the image processing apparatus 100 or power saving in which power is supplied to some parts of the image processing apparatus 100. (Standby mode).
  • the distribution switching unit 2001 sets the transmission destination of the metadata generated by the metadata generation unit 105 according to the power supply mode detected by the power supply mode detection unit 2000, the necessity determination unit 1703 of the server 1700, and the image processing apparatus 100. Switch to either one of the necessity determination units 107. For example, when the power mode of the image processing apparatus 100 is “power saving (standby) mode”, the distribution switching unit 2001 sends metadata to the necessity determination unit 1703 of the server 1700, and the power mode of the image processing apparatus 100 is “ In the case of “activation mode”, the metadata is sent to the necessity determination unit 107 of the image processing apparatus 100.
  • the power mode of the image processing apparatus 100 is the “power saving (standby) mode”
  • the image processing system shown in FIG. Since the server 1700 outside the image processing apparatus 100 performs the necessity determination process for the moving image frame by determining that the image cannot be sufficiently used, the efficiency of the necessity determination process for the moving image frame is improved. Can be improved.
  • FIG. 21 is a diagram showing an image processing system according to another embodiment of the present invention.
  • the image processing system shown in FIG. 21 includes an image processing device 100a that records an input moving image in the recording unit 106a, and an image reading device 108a that reads the moving image from the recording unit 106a.
  • the recording unit 106a shown in FIG. 21 is an external recording unit (for example, CD (Compact Disc)) that can be attached to and detached from the image processing apparatus 100 even with a recording unit (for example, hard disk, RAM (Random Access Memory), etc.) built in the image processing apparatus 100a. ), A DVD (Digital Versatile Disc) or the like, a memory card, or a USB memory, and the like, for example, a ROM (Read Only Memory), a nonvolatile memory, or a flash memory.
  • the recording unit 106a illustrated in FIG. 21 is assumed to be an external recording unit. When the recording unit 106a is built in the image processing apparatus 100a, the image processing apparatus 100a and the image reading apparatus 108a are connected to each other through a communication line or the like.
  • the image processing apparatus 100a includes a necessity determination data generation unit 103a, an image encoding unit 104a, a metadata generation unit 105a, and a control processing unit 109a. Note that the control processing unit 109a controls the operation of each unit of the image processing apparatus 100a.
  • the necessity determination data generation unit 103a is an unnecessary moving image frame corresponding to each moving image frame of the moving image input from the outside (for example, an imaging device or an external recording unit) to the image processing device 100a. Necessary / unnecessary determination data used to determine whether or not is generated.
  • the image encoding unit 104a encodes a moving image input from the outside to the image processing apparatus 100a, and divides each moving image frame of the encoded moving image into a plurality of pieces of data. Each is provided with identification information and recorded in the recording unit 106a.
  • the image encoding unit 104a performs encoding in the MPEG2 (Moving Picture Experts Group phase 2) format on the input moving image and each moving image of the encoded moving image.
  • Each image frame is divided into a plurality of TS (Transport Stream) packets, and identification information PID (Packet IDentification) (K, K + 1,...) Is assigned to the TS packets and recorded in the recording unit 106a.
  • TS Transport Stream
  • PID Packet IDentification
  • the recording unit 106a includes an identification information / recording position table indicating the correspondence between the identification information assigned to each data in the image encoding unit 104a and the information indicating the recording position in the recording unit 106a.
  • the recording unit 106a includes a directory as an identification information / recording position table indicating the correspondence between the identification information PID and the cluster number indicating the cluster position in the recording unit 106a.
  • the recording unit 106a includes information indicating recording positions in the recording unit 106a and information indicating data states at the recording positions (for example, information indicating the recording position when data continues to other recording positions, A recording position / data state information table indicating a correspondence relationship with information indicating that data ends at this recording position or information indicating that there is no data at this recording position is provided.
  • the recording unit 106 a has a cluster number indicating the position of the cluster in the recording unit 106 a and information indicating the data state in each cluster number (for example, when data continues to other clusters).
  • a FAT Fe Allocation Table
  • the metadata generation unit 105a integrates one piece of identification information assigned to each piece of data after the division of the encoded moving image frame and the necessity determination data corresponding to the moving image frame. Then, metadata is generated, and the generated metadata is recorded in the recording unit 106a.
  • the metadata corresponding to the moving image frame f1 is generated by integrating the necessity determination data corresponding to, and recorded in the recording unit 106a.
  • the identification information PID integrated with the necessity determination data is not limited to the identification information PID of the first TS packet among the TS packets after the division of the encoded moving image frame.
  • the image encoding unit 104a encodes a moving image input to the image processing apparatus 100a from the outside, and assigns identification information to each moving image frame of the encoded moving image, thereby recording the recording unit 106a. You may comprise so that it may record on.
  • the recording unit 106a includes an identification information / recording position table indicating the correspondence between the identification information assigned to each moving image frame in the image encoding unit 104a and the information indicating the recording position in the recording unit 106a. It is done.
  • the metadata generation unit 105a generates metadata by integrating the identification information given to the encoded moving image frame and the necessity determination data corresponding to the moving image frame, and generates the generated metadata. The recorded metadata is recorded in the recording unit 106a.
  • the necessity determination unit 107a controls the operation of each unit in the image reading device 108a.
  • the necessity determination unit 107a, the read control unit 11a2, the read unit 113a, the control processing unit 114a, and the like are configured by, for example, a microcomputer.
  • the necessity determination unit 107a determines whether the moving image frame corresponding to the identification information in the metadata is an unnecessary moving image frame based on the necessity determination data in the metadata read from the recording unit 106a. .
  • the read identification information / recording position table 110a is a table having the same contents as the identification information / recording position table in the recording unit 106a, and is the same as the directory shown in FIG. 23A, for example.
  • the read recording position / data state information table 111a is a table having the same contents as the recording position / data state information table in the recording unit 106a, and is similar to the FAT shown in FIG. 23B, for example.
  • the reading control unit 112a does not need to be used among the moving image frames of the moving image file recorded in the recording unit 106a using the reading identification information / recording position table 110a and the reading recording position / data state information table 111a. Only the moving image frame determined to be a necessary moving image frame by the determination unit 107a is read from the recording unit 106a.
  • the reading unit 113a reads the moving image file read from the recording unit 106a by the reading control unit 112a, the moving image editing program or the reproduction program executed inside or outside the image reading device 108a, or the image reading device 108a. Output to a display device provided inside or outside.
  • FIG. 24 is a flowchart showing an example of the operation of the image reading device 108a.
  • the necessity determination unit 107a receives a request for reading a moving image file in the recording unit 106a from a moving image editing program or a reproduction program inside or outside the image reading device 108a (S11a is Yes)
  • Metadata corresponding to one or more moving image frames of the moving image frames of the moving image file indicated in the read request or the like is read from the recording unit 106a (S12a).
  • the necessity determination unit 107a determines whether or not the moving image frame corresponding to the identification information in the metadata is a necessary moving image frame based on the necessity determination data in the read metadata ( S13a).
  • the necessity determination unit 107a records all necessary moving image frames among the moving image frames of the moving image file indicated in the read request or the like. It is determined whether or not the data has been read from 106a (S14a).
  • the moving image file reading process ends, and all the necessary moving image frames have not been read. If it is determined (No in S14a), the process returns to S12a, and metadata corresponding to the next one or more moving image frames is read from the recording unit 106a.
  • the reading control unit 112a Referring to the identification information / recording position table 110a and the reading recording position / data state information table 111a (S15a), the necessary moving image frame is read from the recording unit 106a (S16a), and all necessary moving image frames are read. It is determined whether it has been issued (S14a).
  • the necessity of moving image frames is determined for each metadata, that is, for each moving image frame.
  • the necessity of moving image frames is determined for each predetermined number of moving image frames. You may comprise so that an unnecessary determination may be performed.
  • the predetermined number of moving image frames may be set in advance by a user or the like based on the amount of moving image frames required when editing or reproducing a moving image. With this configuration, it is possible to reduce the calculation amount of the necessity determination unit 107a.
  • the image reading device 108a may include a table in which all identification information recorded in the recording unit 106a is associated with information indicating the recording position of the recording unit 106a corresponding to the identification information. .
  • the read control unit 112a uses this table to record data recorded at the recording position of the recording unit 106a corresponding to the identification information of the moving image frame determined as the necessary moving image frame by the necessity determination unit 107a. Alternatively, only the information may be read from the recording unit 106a.
  • the image processing system shown in FIG. 21 is configured to read, from the recording unit 106a, a moving image frame determined as a necessary moving image frame out of each moving image frame of the moving image file in the previous stage of editing work or reproduction work. For this reason, when a moving image file is read from the recording unit 106a, an unnecessary moving image frame is read. As described above, since a moving image file from which unnecessary moving image frames are removed can be read out from the recording unit 106a in the previous stage of editing or playback, the moving image file can be edited during editing or playback. The time for loading the program and the reproduction program can be shortened, and the efficiency of editing and reproduction can be suppressed.
  • the image processing system shown in FIG. 21 identifies each data after dividing the moving image frame and identification given to each moving image frame in order to specify the recording position of the recording unit 106a corresponding to the necessary moving image frame. Since the information is used, the amount of data processing when generating metadata or reading metadata can be reduced, and the load on the image processing apparatus 100a and the image reading apparatus 108a can be suppressed.
  • the image encoding unit 104a performs MPEG format encoding on an input moving image, for example, as shown in FIG. 25, compression of SH (Sequence Header) and GOP (Group Of Picture) is performed. Encoding is performed in units (for example, I frame (Intra Picture), B1 frame to B3 frame (Bidirectionally Predictive Picture), and P frame (Predictive Picture)).
  • the read control unit 112a reads a GOP including a necessary moving image frame from the recording unit 106a.
  • data recorded in the cluster number “0002” corresponding to the GOP including the first frame B1 of the necessary moving image is read from the recording unit 106a, and the last frame B2 ′ of the necessary moving image is included.
  • the data recorded in the cluster number “0014” corresponding to the GOP is read from the recording unit 106a.
  • FIG. 26A is a diagram illustrating an image processing system including the imaging device 600a as the first embodiment of the image processing device 100a.
  • the same components as those shown in FIG. 21 are denoted by the same reference numerals, and description of the components is omitted.
  • An imaging apparatus 600a illustrated in FIG. 26A is, for example, a digital camera or the like, and includes an imaging unit 101a, an image processing unit 102a, a necessity determination data generation unit 103a, an image encoding unit 104a, and a metadata generation unit 105a. And a control processing unit 109a.
  • the imaging unit 101a converts, for example, a subject image formed on an imaging element such as a CCD (Charge Coupled Device) by a lens into an electrical signal in the imaging element, and converts a moving image including a still image frame or a plurality of moving image frames. obtain.
  • an imaging element such as a CCD (Charge Coupled Device)
  • CCD Charge Coupled Device
  • the image processing unit 102a performs various types of image processing such as sharpness correction, contrast correction, luminance / color difference signal generation, and white balance correction on each moving image frame of the still image or moving image obtained by the imaging unit 101a.
  • the image encoding unit 104a encodes a still image frame after image processing in a JPEG (Joint Photographic Experts Group) format or the like. In addition, the image encoding unit 104a performs encoding in the MPEG format or the like on the moving image after image processing.
  • JPEG Joint Photographic Experts Group
  • the characteristic feature of the imaging apparatus 600a shown in FIG. 26A is that a subject detection processing unit 601a is provided as the necessity determination data generation unit 103a, and the subject detection processing unit 601a uses the subject detection processing unit 601a in each moving image frame of the moving image after image processing.
  • the “subject position” and “subject size” as the necessity determination data are detected, respectively, and the detected “subject position” and “subject size” and the identification information PID are detected in the metadata generation unit 105a.
  • FIG. 27 is a flowchart showing an example of the operation of the necessity determination unit 107a shown in FIG. 26A.
  • the necessity determination unit 107a inputs “subject position” and “subject size” indicated in the metadata read from the recording unit 106a (S21a).
  • the subject detection processing unit 601a detects a subject in a moving image frame after image processing, and then sets a rectangular area surrounding the detected subject as a subject area, and a pixel position (x0, y0) at the upper left of the subject area Is the “subject position”.
  • the subject detection processing unit 601a sets the number of pixels in the horizontal direction of the subject area as W and the number of pixels in the vertical direction of the subject area as “subject size”.
  • the subject detection processing unit 601a sets x0 to a value smaller than 0 when no subject is detected from the moving image frame. Further, the pixel position at the upper left of the moving image frame is assumed to be (1, 1).
  • the necessity determination unit 107a determines whether or not x0 is smaller than 0, that is, whether or not a subject is detected (S22a).
  • the necessity determination unit 107a determines whether W is smaller than the threshold Thr_W or whether H is smaller than the threshold Thr_H, that is, the subject is predetermined. It is determined whether or not it is smaller than the size (S23a). Note that the threshold Thr_W and the threshold Thr_H may be set in advance by a user or the like.
  • the necessity determination unit 107 determines whether x0 + W / 2 is smaller than the threshold Thr_L_x, that is, the subject area is outside the left end of the moving image frame. It is determined whether or not it is off (S24a). Note that the threshold Thr_L_x may be set in advance by a user or the like.
  • the necessity determination unit 107a determines whether x0 + W / 2 is larger than the threshold Thr_R_x, that is, the right end of the subject area. Is determined to be outside the right end of the moving image frame (S25a). Note that the threshold Thr_R_x may be set in advance by a user or the like.
  • the necessity determination unit 107a determines whether y0 + H / 2 is larger than the threshold Thr_U_y, that is, the subject area It is determined whether or not the upper end of the moving image frame is outside the upper end of the moving image frame (S26a).
  • the threshold Thr_U_y may be set in advance by a user or the like.
  • the necessity determination unit 107a determines whether y0 + H / 2 is smaller than the threshold Thr_D_y, that is, the subject area It is determined whether or not the lower end of the frame is outside the lower end of the moving image frame (S27a).
  • the threshold Thr_U_y may be set in advance by a user or the like.
  • the necessity determination unit 107a determines that “the subject has not been detected (S22a is Yes)”, “the subject is smaller than a predetermined size (S23a is Yes)”, “the subject area is outside the left end of the moving image frame. Is out (S24a is Yes) "," the subject area is outside the right edge of the video frame (S25a is Yes) "," the subject area is outside the top edge of the video frame (S26a is Yes ”and“ Subject area is outside the lower end of the moving image frame (S27a is Yes) ”, it is determined that the moving image frame is an unnecessary moving image frame during editing or playback. It is determined that there is a moving image frame corresponding to the identification information in the metadata read from the recording unit 106a.
  • the frame is determined as an unnecessary moving image frame (NG) during editing or playback.
  • the image reading device 108a shown in FIG. 26A determines whether or not a moving image frame is necessary according to the position and size of the subject, a moving image file acquired when the subject moves violently during sports or race watching. This is effective in reducing the amount of data when reading.
  • the composition index described in the metadata is based on the position and size of the subject, and is configured to determine whether the moving image frame is necessary. As shown in FIG. 29, when moving image frames having the same composition are continuously acquired, the moving image frames may be determined as unnecessary moving image frames at the time of editing or reproduction. .
  • the reading control unit 112a does not read a moving image frame of identification information corresponding to a part of the continuous frames from the recording unit 106a. To do.
  • the difference between frames may be obtained based on the statistical amount of the image in addition to the difference in detection of the composition index, that is, the position of the subject as shown in FIG.
  • the total value of the difference in level difference between frames is less than or equal to a predetermined value
  • the case where the total value of the amount of change in the histogram of the compared frame is less than or equal to a predetermined value may be used.
  • a difference calculation unit 1031a means for integrating the difference between frames is provided instead of the subject detection processing unit 103a.
  • a histogram difference calculation unit 1032a that calculates a histogram difference between frames and an integral thereof is calculated instead of the subject detection processing unit 103a.
  • FIG. 30 is a diagram illustrating an image processing system including an imaging apparatus 1000a as the second embodiment of the image processing apparatus 100a.
  • the same components as those shown in FIG. 26 are denoted by the same reference numerals, and description of the components is omitted.
  • the characteristic feature of the imaging apparatus 1000a shown in FIG. 30 is that a focus information processing unit 1001a is provided as the necessity determination data generation unit 103a, and the focus information processing unit 1001a applies to each moving image frame of the moving image after image processing.
  • “focus information” as necessity determination data is set, respectively, and “focus information” and identification information PID are integrated and recorded as metadata in the recording unit 106a by the metadata generation unit 105a. It is.
  • FIG. 31 is a flowchart showing an example of the operation of the necessity determination unit 107a shown in FIG.
  • the necessity determination unit 107a inputs “focus information” indicated in the metadata read from the recording unit 106a (S31a).
  • the focus information processing unit 1001a obtains the contrast evaluation value C0 corresponding to the moving image frame from the image processing unit 102a and captures the lens position L0 of the focus lens every time the imaging unit 101a acquires the moving image frame. Obtained from the unit 101a and output to the metadata generation unit 105a.
  • the image processing unit 102a sets the contrast evaluation value C0 to a value smaller than 0 when the focus is not achieved, that is, when the focus lens is not focused.
  • the necessity determination unit 107a determines that C0 is equal to or greater than 0, that is, the focus lens is in focus (No in S32a)
  • the lens position L0_n corresponding to the moving image frame acquired this time Is stored in a storage unit inside or outside the necessity determination unit 107a (S33a).
  • the necessity determination unit 107a reads out the lens position L0_n corresponding to the moving image frame acquired this time and the lens position L0_n-1 corresponding to the previously acquired moving image frame from the storage unit (S34a), It is determined whether or not the absolute value of the difference between the lens position L0_n and the lens position L0_n ⁇ 1 is larger than the threshold value Thr_L, that is, whether or not the focus is stable (S35a).
  • the threshold Thr_L may be set in advance by a user or the like.
  • FIG. 32 is a diagram illustrating an image processing system including an imaging apparatus 1200a as the third embodiment of the image processing apparatus 100a.
  • the same components as those shown in FIG. 26 are denoted by the same reference numerals, and description of the components is omitted.
  • the characteristic feature of the imaging apparatus 1200a shown in FIG. 32 is that a zoom information processing unit 1201a is provided as the necessity determination data generation unit 103a, and each moving image frame of the moving image after image processing is provided by the zoom information processing unit 1201a.
  • “zoom information” as necessity determination data is set, respectively, and “zoom information” and identification information PID are integrated by the metadata generation unit 105a and recorded as metadata in the recording unit 106a. It is.
  • FIG. 33 is a flowchart showing an example of the operation of the necessity determination unit 107a shown in FIG.
  • the necessity determination unit 107a inputs “zoom information” indicated in the metadata read from the recording unit 106a (S41a). Note that each time the imaging unit 101a acquires a moving image frame, the zoom information processing unit 1201a displays zoom information Z0 (for example, the lens position of the zoom lens and the lens movement amount) corresponding to the moving image frame. And output to the metadata generation unit 105a.
  • zoom information Z0 for example, the lens position of the zoom lens and the lens movement amount
  • the necessity determination unit 107a holds the input zoom information Z0 in a storage unit inside or outside the necessity determination unit 107a (S42a).
  • the necessity determination unit 107a reads out the zoom information Z0_n corresponding to the currently acquired moving image frame and the zoom information Z0_n-1 corresponding to the previously acquired moving image frame from the storage unit (S43a), It is determined whether or not the absolute value of the difference between the zoom information Z0_n and the zoom information Z0_n-1 is larger than the threshold Thr_Z, that is, whether the lens position of the zoom lens is not stable (S44a).
  • the threshold Thr_Z may be set in advance by a user or the like.
  • the determination unit 107a determines that the lens position of the zoom lens is not stable (Yes in S44a)
  • the determination unit 107a determines that the moving image frame is an unnecessary moving image frame during editing or playback.
  • the necessity determination flag FLG ⁇ 1 indicating that the moving image frame corresponding to the identification information in the metadata read from the recording unit 106a is an unnecessary moving image frame at the time of editing or reproduction, the identification information is read and controlled.
  • the data is output to the unit 112a (S46a).
  • the necessity of the moving image frame is determined depending on whether or not the lens position of the zoom lens is stable. This is effective in reducing the amount of data when reading a moving image file acquired when moving to.
  • the information used for the necessity determination process of the moving image frame necessary when editing or reproducing the moving image is not limited to the position and size of the subject, the focus information, or the zoom information as described above.
  • a histogram of luminance gradation of each moving image frame after image processing may be used.
  • FIG. 34 is a diagram illustrating an image processing system including an imaging apparatus 1400a as Example 4 of the image processing apparatus 100a.
  • the same components as those shown in FIG. 26 are denoted by the same reference numerals, and description of the components is omitted.
  • the characteristic feature of the imaging apparatus 1400a shown in FIG. 34 is that the necessity determination data generation unit 103a includes a wireless antenna 1401a and a reception signal strength detection unit 1402a, and the reception signal strength detection unit 1402a performs the processing of the moving image after image processing.
  • received signal strength information RSSI: Received Signal Strength Indication
  • RSSI Received Signal Strength Indication
  • the wireless antenna 1401a receives a signal transmitted from a transmitter provided in the subject and a signal transmitted from the imaging device 1400a and reflected by the subject.
  • FIG. 35 is a flowchart showing an example of the operation of the necessity determination unit 107a shown in FIG.
  • the necessity determination unit 107a inputs the received signal strength information R0 indicated in the metadata read from the recording unit 106a (S51a).
  • the received signal strength detection unit 1402a uses the level of the received signal received by the wireless antenna 1401a as received signal strength information R0 in correspondence with the moving image frame every time the imaging unit 101a acquires the moving image frame.
  • the data is output to the metadata generation unit 105a.
  • the necessity determination unit 107a determines whether the input received signal strength information R0 is larger than the threshold Thr_R, that is, whether the subject is far from the imaging device 1400a (S52a).
  • the threshold Thr_R may be set in advance by a user or the like.
  • the necessity determination unit 107a determines that the subject is far from the imaging device 1400a (Yes in S52a)
  • the data is output to 112a (S54a).
  • the necessity of the moving image frame is determined according to the received signal strength information R0, for example, it is acquired when the subject is moving back and forth with respect to the imaging device 1400a. This is effective in reducing the amount of data when reading a moving image file.
  • the necessity determination unit 107a is configured to determine whether or not a moving image frame is necessary based on whether or not the received signal strength information R0 is greater than the threshold Thr_R.
  • the received signal strength detection unit 1402a of the imaging device 1400a may be configured to determine whether or not a moving image frame is necessary based on whether or not the received signal strength information R0 is greater than a threshold value Thr_R.
  • the necessity determination unit 107a can be omitted.
  • the image processing device 100a and the image reading device 108a are configured as independent devices. However, as shown in FIG. The device 100a may include a single device. The operation of each unit of the image processing apparatus 100a shown in FIG. 37 is the same as the above-described operation, and thus description thereof is omitted.
  • a read operation may be performed only when it is received.
  • FIG. 38 is a diagram showing an image processing apparatus according to another embodiment of the present invention. Note that the image processing apparatus 10 illustrated in FIG. 38 is intended to improve the efficiency of editing and reproducing work on a plurality of image data, for example.
  • the image processing apparatus 10 illustrated in FIG. 38 includes an input unit 11, a processing unit 12, an output unit 13, a feature data acquisition unit 14, a reference feature data acquisition unit 15, a feature data evaluation unit 16, and a control processing unit. 17.
  • the input unit 11 and the feature data acquisition unit 14 may be configured integrally.
  • the image processing apparatus in the present application is not limited to image data processing, but means processing of data related to an image, such as evaluation of an image used for image processing using image feature data and determination of necessity / unnecessity. And
  • the input unit 11 acquires image data (for example, a moving image or a plurality of still images) from the outside (for example, an external server or an imaging device).
  • image data for example, a moving image or a plurality of still images
  • the processing unit 12 performs, for example, sharpness correction, contrast correction, luminance / color difference signal generation, white balance correction, on the image data determined to be necessary by the control processing unit 17 among the image data acquired by the input unit 11.
  • Various image processing (control) such as adding metadata and trimming is performed.
  • the output unit 13 outputs the image data subjected to various types of image processing by the processing unit 12 to the outside (for example, a display device or a recording device).
  • the feature data acquisition unit 14 corresponds to feature data corresponding to image data (for example, metadata corresponding to a plurality of still images arranged in time series, moving image header data, or time code corresponding to moving image frames and packets). Data) from outside.
  • image data for example, metadata corresponding to a plurality of still images arranged in time series, moving image header data, or time code corresponding to moving image frames and packets. Data
  • the reference feature data acquisition unit 15 acquires reference feature data.
  • the reference feature data acquisition unit 15 may acquire the reference feature data from the outside or may store it in advance.
  • the reference feature data acquisition unit 15 includes, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, a flash memory, or the like, and a storage medium built in the image processing apparatus 10 such as a hard disk. It may be a storage medium that can be attached to and detached from the image processing apparatus 10 such as a CD (Compact Disc), a DVD (Digital Versatile Disc), a memory card, or a USB memory.
  • CD Compact Disc
  • DVD Digital Versatile Disc
  • memory card or a USB memory.
  • the feature data evaluation unit 16 evaluates feature data based on the reference feature data.
  • the reference feature data is, for example, a value evaluated by an evaluation item that indicates the degree of satisfaction or dissatisfaction of the user with respect to the image data.
  • the reference feature data is a value evaluated by evaluation items such as blurring, blurring, darkness, hue, sharpness, field angle deviation, asymmetry, and subject fogging of image data corresponding to the feature data.
  • the reference feature data includes evaluation items such as opening / closing of the subject's eyes, facial expression, face orientation, eye color (red eyes during flash photography, etc.)
  • the value evaluated by the feature data evaluation unit 16 evaluates blurring, blurring, sharpness, and the like based on the outline and the focus state in the image data corresponding to the feature data.
  • the image processing apparatus 10 includes an angular velocity sensor, a vibration sensor, or the like, output values of the sensors at the shutter timing can be stored and used for blur evaluation.
  • the feature data evaluation unit 16 evaluates the brightness of the image data corresponding to the feature data by calculating the luminance of the entire image data.
  • the feature data evaluation unit 16 evaluates the hue of the image data corresponding to the feature data by analyzing the color tendency of the entire image data. Further, for example, the feature data evaluation unit 16 detects the occurrence of extreme defocusing in a certain range in the image data corresponding to the feature data, so that the subject fogging such as a finger or a strap covering the imaging lens is detected. Evaluate. Further, for example, the feature data evaluation unit 16 evaluates the angle of view by analyzing the verticality and horizontality of buildings, natural objects, people, and the like in the image data corresponding to the feature data. Further, for example, the feature data evaluation unit 16 evaluates eye opening / closing by analyzing the eye portion in the image data corresponding to the feature data.
  • the feature data evaluation unit 16 evaluates facial expressions by comparing image data corresponding to the feature data with various facial expression patterns or estimating the shape of the eyes or mouth. In addition, for example, the feature data evaluation unit 16 evaluates the orientation of the face by estimating the positional relationship between the eyes, nose, mouth, and ears, the face outline, and the like in the image data corresponding to the feature data. Do. Further, for example, the feature data evaluation unit 16 may compare the feature data with a plurality of reference feature data, and classify and evaluate the feature data step by step. In addition, for example, the feature data evaluation unit 16 may score and evaluate the feature data. Further, for example, the feature data evaluation unit 16 compares the feature data with the reference feature data corresponding to each item, evaluates the feature data for each item, and based on the evaluation result for each item. A comprehensive evaluation of the feature data may be performed.
  • the control processing unit 17 controls the operations of the input unit 11, processing unit 12, output unit 13, feature data acquisition unit 14, reference feature data acquisition unit 15, and feature data evaluation unit 16.
  • the control processing unit 17 includes a necessity determination unit 17-1.
  • the necessity determination unit 17-1 performs necessity determination of the image data corresponding to the feature data based on the evaluation result of the feature data evaluation unit 16.
  • the feature data acquisition unit 14, the necessity determination unit 17-1, and the processing unit 12 may be realized, for example, by executing a program recorded on a recording medium by a DSP (Digital Signal Processor) as a computer. Alternatively, it may be realized by executing a program incorporated in an FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit) as a computer.
  • the recording medium may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but is, for example, a CD-ROM.
  • FIG. 39 is a flowchart showing an example of the operation of the control processing unit 17 shown in FIG.
  • the control processing unit 17 acquires the feature data.
  • the reference feature data is extracted from the data (S22b), and the feature data evaluation unit 16 evaluates the feature data based on the reference feature data (S23b).
  • the necessity determination unit 17-1 of the control processing unit 17 performs necessity determination of image data corresponding to the feature data acquired based on the evaluation result of the feature data evaluation unit 16 (S24b).
  • control processing unit 17 causes the feature data acquisition unit 14 to acquire feature data corresponding to the next image data (S25b), and the feature data evaluation unit 16 based on the reference feature data.
  • the feature data is evaluated (S23b).
  • control processing unit 17 causes the input unit 11 to acquire image data corresponding to the feature data (S26b), and then the processing unit 12 applies the determination to the image data that needs determination.
  • Various image processing is performed (S27b), and the image data after the image processing is output by the output unit 13 (S28b).
  • control processing unit 17 uses the feature data acquisition unit 14 to Feature data corresponding to the image data is acquired (S25b), and the feature data evaluation unit 16 evaluates the feature data based on the reference feature data (S23b).
  • control processing unit 17 performs image processing on the plurality of image data. Exit.
  • the control processing unit 17 uses the data table acquired by the reference feature data acquisition unit 15 illustrated in FIG. “Peak position range 10 to 245” is extracted as reference feature data corresponding to “luminance histogram”.
  • the characteristic data evaluation unit 16 outputs an evaluation result indicating that the luminance peak position is smaller than the “peak position range 10 to 245”
  • the necessity determination unit 17-1 indicates that the image data is too dark. It is determined that the image data is unnecessary, and control data indicating that the image data is unnecessary is sent to the input unit 11.
  • the necessity determination unit 17-1 When the characteristic data evaluation unit 16 outputs an evaluation result indicating that the luminance peak position is larger than the “peak position range 10 to 245”, the necessity determination unit 17-1 requires that the image data is too bright. It is determined that there is no image data, and control data indicating that the image data is unnecessary is sent to the input unit 11. On the other hand, when the evaluation result indicating that the luminance peak position is within the “peak position range 10 to 245” is output from the feature data evaluation unit 16, the necessity determination unit 17-1 determines that the image data is not too bright and dark. It is determined that the image data is only desired image data, and control data indicating that the image data is necessary determination is sent to the input unit 11.
  • the control processing unit 17 is acquired by the reference feature data acquisition unit 15 illustrated in FIG. 40. “1 or more” is extracted from the data table as reference feature data corresponding to “number of detected faces”.
  • the necessity determination unit 17-1 inputs control data indicating that the image data is unnecessary determination Send to part 11.
  • the necessity determination unit 17-1 inputs control data indicating that the image data is determination necessary Send to part 11.
  • the input unit 11 acquires only the image data that needs to be determined, the load on the output destination of the processing unit 12 and the output unit 13 can be reduced.
  • editing processing and reproduction work are performed by the processing unit 12, but editing work and reproduction are performed using the processing unit of the external image processing device. Work may be performed.
  • the image processing apparatus 10 shown in FIG. 38 has a configuration in which various image processing is performed only on image data based on the evaluation result of the feature data evaluation unit 16 among a plurality of image data and output to the outside. Therefore, it is possible to reduce the load of the editing work and reproduction work of the output destination, and it is possible to improve the efficiency of the editing work and the reproduction work.
  • various image processes are performed only on the image data based on the evaluation result of the feature data evaluation unit 16 among the plurality of image data. Can be reduced.
  • the image processing apparatus 10 may acquire feature data from the imaging device 43 (imaging unit) via the communication devices 41 and 42 as illustrated in FIG. 41A.
  • the communication device 42 and the imaging device 43 are configured by a digital camera with a communication function, a mobile phone with a camera, a smartphone, or an imaging device via an adapter having a communication function.
  • the image processing apparatus 10 determines whether or not the image data corresponding to the feature data is necessary based on the feature data, and if the determination is necessary, requests the image data from the imaging device 43.
  • the image processing apparatus 10 receives the requested image data, the image processing apparatus 10 performs various image processing on the image data, and sends the image data after the image processing to the display device 44.
  • the necessity determination unit 17-1 requests the image device 43, which is an external device, for the image data that has been determined to be necessary.
  • the necessity determination unit 17-1 may cause the image data that has been determined to be necessary to be requested from another external device to the imaging device 43 that is an external device.
  • the imaging device 43 may be connected to a network 45.
  • the image processing apparatus 10 transmits / receives data of the imaging apparatus 43 via the communication apparatus 42 and the network 45.
  • the image processing apparatus 10 may include an imaging device 46 (imaging unit).
  • the image processing apparatus 10 determines whether or not the image data corresponding to the feature data is necessary based on the feature data sent from the imaging device 46, and if the determination is necessary, captures the image data. Request to device 46.
  • the image processing apparatus 10 receives the requested image data, the image processing apparatus 10 performs various image processing on the image data, and sends the image data after the image processing to the display device 44.
  • the feature data evaluation unit 16 may review the reference feature data to be extracted from the data acquired by the reference feature data acquisition unit 15 according to an external situation.
  • FIG. 42 is a diagram showing an image processing apparatus according to another embodiment of the present invention. Note that the same components as those shown in FIG. Further, the image processing apparatus 50 shown in FIG. 42 is intended to improve the efficiency of editing and reproducing work for a plurality of image data, for example.
  • the image processing apparatus 50 shown in FIG. 42 differs from the image processing apparatus 10 shown in FIG. 38 in that a power supply state detection unit 51 (state detection unit), an evaluation policy generation unit 52, a reference feature data generation unit 53, The transmission unit 54 and the reception unit 55 are further provided.
  • a power supply state detection unit 51 state detection unit
  • an evaluation policy generation unit 52 evaluation policy generation unit
  • a reference feature data generation unit 53 reference feature data generation unit
  • the transmission unit 54 and the reception unit 55 are further provided.
  • the power supply state detection unit 51 sequentially detects the power supply type and the power supply state of the image processing apparatus 50. For example, the power supply state detection unit 51 detects “AC power supply” or “DC power supply” as the power supply type of the image processing apparatus 50, or detects “DC power remaining capacity” as the power supply state. Note that the power supply state detection unit 51 detects the power supply state such as the expected remaining time, current, and voltage value of the DC power supply as an instantaneous value and an average value within a certain past period. Or you may detect all the past power supply states with a time stamp.
  • the AC power source is a power source with no limitation on the supply amount such as a commercial power source, and the DC power source indicates a power source with a limited remaining amount or usage amount such as a battery (storage battery).
  • the evaluation policy generation unit 52 generates an evaluation policy related to the power supply when detecting that the power supply state detection unit 51 is operating. For example, if the power type of the image processing apparatus 50 is “DC power” and the power state is “DC power remaining capacity: less than 20%”, the evaluation policy generation unit 52 “resolution is VGA (640 ⁇ 480). ) Generate an evaluation policy of “acquire the following images”. For example, when the power type of the image processing apparatus 50 is “DC power” and the power state is “DC power remaining capacity: less than 20%”, the evaluation policy generation unit 52 “X direction, Y direction” An evaluation policy of “selecting an image whose total number of pixels in the image area is 640 ⁇ 480 or less regardless of the resolution of the image” may be generated.
  • the reference feature data generation unit 53 generates reference feature data based on the evaluation policy generated by the evaluation policy generation unit 52 and the detection result of the power supply state detection unit 51.
  • the necessity determination unit 17-1 shown in FIG. 42 sends an image acquisition request including the necessity determination result of image data corresponding to the feature data and the identification information of the image data to the transmission unit 54.
  • the transmission unit 54 transmits the image acquisition request sent from the necessity determination unit 17-1 to the server 56 via the network.
  • the network may be, for example, the Internet, a LAN, an on-chip network, or an interface such as USB or PCI.
  • the necessity determination unit 17-1 requests the image data determined to be necessary from the server 56 that is an external device.
  • the necessity determination unit 17-1 may cause the server 56 to request the image data from other external devices for the image data determined to be necessary.
  • the server 56 includes a reception unit 57, a selection unit 58, a storage unit 59, and a transmission unit 60.
  • the receiving unit 57 receives an image acquisition request transmitted from the image processing apparatus 50.
  • the selection unit 58 extracts image data corresponding to the identification information indicated in the received image acquisition request from the plurality of image data stored in the storage unit 59.
  • the transmission unit 60 transmits the image data extracted by the selection unit 58 to the image processing apparatus 50 via the network.
  • the receiving unit 55 of the image processing apparatus 50 receives image data transmitted from the server 56.
  • the input unit 11 of the second embodiment sends the image data received by the receiving unit 55 to the processing unit 12.
  • FIG. 43 is a flowchart showing an example of the operation of the reference feature data generation unit 53.
  • the reference feature data generation unit 53 generates reference feature data based on the evaluation policy generated by the evaluation policy generation unit 52 and the detection result of the power supply state detection unit 51 (S61b), and then generates the generated reference feature data. It stores in the reference feature data acquisition unit 15 (S62b).
  • a data table shown in FIG. 44 is stored in advance in a storage unit (not shown).
  • the reference feature data generation unit 53 “Resolution: 640 ⁇ 480 or less” is extracted as reference feature data corresponding to the power type “DC power” and the power state “DC power remaining capacity: 20% or less” from the data table shown in FIG. Save to 15.
  • the reference feature data generation unit 53 has a case where the power type of the image processing apparatus 50 detected by the power state detection unit 51 is “DC power” and the power state is “remaining capacity of DC power: 34%”.
  • “Resolution: 1280 ⁇ 960 or less” is extracted as reference feature data corresponding to the power type “DC power” and the power status “DC power remaining capacity: 20% or more” from the data table shown in FIG. Save in the acquisition unit 15.
  • the reference feature data generation unit 53 sets the power type to “AC power” from the data table shown in FIG. “Resolution: Unrestricted” is extracted as corresponding reference feature data and stored in the reference feature data acquisition unit 15.
  • the reference feature data generation unit 53 is configured such that when the usable power supply capacity is in a low energy state that is equal to or less than a specified value, the data amount of image data to be acquired is reduced compared to the non-low energy state. Generate reference feature data.
  • FIG. 45 is a flowchart showing an example of the operation of the control processing unit 17 shown in FIG.
  • the control processing unit 17 starts from the data acquired by the reference feature data acquisition unit 15.
  • the reference feature data is extracted (S82b), and the feature data evaluation unit 16 evaluates the feature data based on the reference feature data (S83b).
  • the necessity determination unit 17-1 of the control processing unit 17 performs necessity determination of image data corresponding to the feature data acquired based on the evaluation result of the feature data evaluation unit 16 (S84b).
  • control processing unit 17 causes the feature data acquisition unit 14 to acquire feature data corresponding to the next image data (S85b), and the feature data evaluation unit 16 based on the reference feature data.
  • the feature data is evaluated (S83b).
  • control processing unit 17 causes the transmission unit 54 to transmit the image acquisition request to the server 56 (S86b), and the reception unit 55 receives the image data corresponding to the image acquisition request.
  • the processing unit 12 performs various image processing on the image data (S88b), and the output unit 13 outputs the image data after the image processing (S89b).
  • control processing unit 17 uses the feature data acquisition unit 14 to The feature data corresponding to the image data is acquired (S85b), and the feature data evaluation unit 16 evaluates the feature data based on the reference feature data (S83b).
  • control processing unit 17 performs image processing on the plurality of image data. Exit.
  • the control processing unit 17 “Resolution: 640 ⁇ 480 or less” is extracted from the data acquired by the feature data acquisition unit 15 as reference feature data.
  • the feature data evaluation unit 16 outputs an evaluation result indicating that the resolution of the image data corresponding to the feature data is “640 ⁇ 480” or less, the necessity determination unit 17-1 requires the image data. Judgment.
  • the necessity determination unit 17-1 determines that the image data is unnecessary.
  • FIG. 46 is a diagram showing an image processing apparatus according to another embodiment of the present invention.
  • the same components as those illustrated in FIG. 42 are denoted by the same reference numerals and description thereof is omitted.
  • the image processing apparatus 90 illustrated in FIG. 46 is intended to improve the efficiency of editing and reproducing work on a plurality of image data, for example.
  • connection state determination unit 91 state detection unit
  • connection state determination unit 91 is connected to the network (connection or disconnection, etc.), network type (wired or wireless, etc.), network standard (IEEE802.3ab) from the transmission unit 54 or the reception unit 55 of the image processing apparatus 90. And IEEE802.11n), information on network traffic, and the like are acquired as network information and output to the evaluation policy generation unit 52 and the reference feature data generation unit 53, respectively.
  • the evaluation policy generation unit 52 of the third embodiment generates an evaluation policy related to network information when detecting that the connection state determination unit 91 is operating. For example, when the network type is “wired” and the network occupation rate (the ratio of the current network traffic volume to the upper limit of the network traffic volume) is “50% or more”, the evaluation policy generation unit 52 of the third embodiment , An evaluation policy of “acquiring an image having a resolution of VGA (640 ⁇ 480) or less” is generated. Further, the evaluation policy generation unit 52 may combine a plurality of reference feature data.
  • the evaluation policy generation unit 52 “the resolution is VGA (640 ⁇ 480) or less and the data size is An evaluation policy of “acquiring an image of 20 KB or less” may be generated.
  • the evaluation policy generation unit 52 may use an evaluation formula when combining the reference feature data.
  • FIG. 47 is a flowchart showing an example of the operation of the reference feature data generation unit 53 shown in FIG.
  • the reference feature data generation unit 53 generates reference feature data based on the evaluation policy generated by the evaluation policy generation unit 52 and the determination result (network information) of the connection state determination unit 91 (S101), and then generates the reference feature data.
  • the reference feature data is stored in the reference feature data acquisition unit 15 (S102).
  • the connection state determination unit 91 determines that the network type is “Net information indicating that it is “wireless” and the network occupation ratio is “86.4%” is output.
  • the reference feature data generation unit 53 performs the data shown in FIG.
  • “2 ⁇ 3” is extracted as an evaluation formula corresponding to the network type “wireless” and the network occupation ratio “80% or more” from the table, and “resolution” is used as the reference feature data corresponding to the feature ID “2”.
  • “640 ⁇ 480 or less ” “ image size: 20 KB or less ”is extracted as reference feature data corresponding to the feature ID“ 3 ”, and the reference feature data and the evaluation formula are stored in the reference feature data acquisition unit 15. That is, the reference feature data generation unit 53 has a total data amount of image data to be acquired when compared with the non-low-speed state when the data transfer amount per unit time of the usable network is equal to or less than a specified value.
  • the reference feature data is generated so that the
  • the necessity determination unit 17-1 illustrated in FIG. 46 evaluates when the network type determined by the connection state determination unit 91 is “wireless” and the network occupation ratio is “86.4%”. “2 ⁇ 3” and reference feature data corresponding to the feature IDs “2” and “3” from the data acquired by the reference feature data acquisition unit 15 are “resolution: 640 ⁇ 480 or less” and “image size: 20 KB or less. "Is taken out. At this time, the feature data evaluation unit 16 outputs an evaluation result that the resolution of the image data corresponding to the feature data is “640 ⁇ 480” or less and the image size of the image data is “20 KB” or less.
  • the necessity determination unit 17-1 sends an image acquisition request indicating that the image data is a necessity determination to the server 56 by the transmission unit 54.
  • the necessity determination unit 17-1 requests the image data determined to be necessary from the server 56 that is an external device.
  • the necessity determination unit 17-1 may cause the server 56 to request the image data from other external devices for the image data determined to be necessary.
  • the necessity determination unit 17-1 transmits an image acquisition request to the server 56 by the transmission unit 54 indicating that the image data is unnecessary determination.
  • the evaluation formula used in the third embodiment is determined based on a previously stored evaluation policy, but may be determined by inputting the evaluation policy or the evaluation formula itself from the display unit 141 described later. Then, the evaluation formula or the evaluation policy may be changed or determined to be a predetermined one depending on the result detected by the connection state determination unit 91 (state detection unit).
  • the feature data is evaluated based on the reference feature data related to the power supply capacity detected by the power supply state detection unit 51.
  • the reference related to the connection state with the network determined by the connection state determination unit 91 is evaluated by the feature data.
  • the feature data may be evaluated by reference feature data in which a plurality of types of reference feature data such as the reference feature data are combined. In this way, by evaluating feature data by combining multiple types of reference feature data, it is possible to appropriately determine more necessary data in accordance with the status of devices and networks used for editing and playback work. it can.
  • FIG. 49 is a diagram showing an image processing apparatus according to another embodiment of the present invention.
  • the same components as those shown in FIG. 46 are denoted by the same reference numerals and description thereof is omitted.
  • the image processing apparatus 120 illustrated in FIG. 49 is intended to improve the efficiency of editing and reproducing work on a plurality of image data, for example.
  • the image processing apparatus 120 further includes an internal server 121 and a distribution switching unit 122.
  • the internal server 121 has the same configuration as the server 56 and functions as a cache for image data acquired from the server 56. For example, the image data transmitted from the server 56 to the receiving unit 55 of the image processing apparatus 120 is stored. The image data in the internal server 121 may be updated when the image data is input, periodically, or when a specific event occurs. Further, when the capacity is smaller than that of the server 56, the internal server 121 determines image data to be saved by preferentially saving image data having a high access frequency or image data having a previous access time close to the current time.
  • the distribution switching unit 122 switches the transmission destination of the image acquisition request to either the transmission unit 54 of the image processing apparatus 120 or the internal server 121 according to the network information output from the connection state determination unit 91. That is, for example, if the image processing apparatus 120 is connected to a network, the distribution switching unit 122 performs an operation of transmitting an image acquisition request to the server 56 via the network and extracting desired image data from a plurality of image data. This is performed outside the image processing apparatus 120. On the other hand, if the image processing apparatus 120 is not connected to the network, the distribution switching unit 122 sends an image acquisition request to the internal server 121 and performs a task of extracting desired image data from a plurality of image data. To do. For example, even if the image processing apparatus 120 is connected to a network, the distribution switching unit 122 may be configured to send an image acquisition request to the internal server 121 when the network occupation ratio is higher than a threshold.
  • FIG. 50 is a flowchart showing an example of the operation of the control processing unit 17 shown in FIG.
  • the control feature unit 17 acquires the feature data.
  • the reference feature data is extracted from the data (S132), and the feature data evaluation unit 16 evaluates the feature data based on the reference feature data (S133).
  • the necessity determination unit 17-1 of the control processing unit 17 performs the necessity determination of image data corresponding to the feature data acquired based on the evaluation result of the feature data evaluation unit 16 (S134).
  • control processing unit 17 causes the feature data acquisition unit 14 to acquire feature data corresponding to the next image data (S135), and the feature data evaluation unit 16 based on the reference feature data.
  • the feature data is evaluated (S133).
  • control processing unit 17 determines whether the determination is necessary (Yes in S134)
  • the control processing unit 17 generates an image acquisition request (S136), and the distribution switching unit 122 uses either the external server 56 or the internal server 121 as the transmission destination of the image acquisition request. One of them is switched (S137).
  • the control processing unit 17 causes the transmission unit 54 to transmit the image acquisition request to the server 56 (S138), and the reception unit 55 causes the image to be transmitted.
  • the image data corresponding to the acquisition request is received (S139). That is, the control processing unit 17 requests the server 56 that is an external device for the image data that has been determined to be necessary.
  • the control processing unit 17 may cause the server 56 to request the image data from other external devices for the image data that has been determined to be necessary.
  • the control processing unit 17 sends the image acquisition request to the internal server 121 (S140), and the image sent from the internal server 121 Image data corresponding to the acquisition request is received by the input unit 11 (S141).
  • the internal server 121 extracts image data corresponding to the identification information indicated in the image acquisition request from a plurality of image data stored in a storage unit (not illustrated), and extracts the image data.
  • the received image data is sent to the input unit 11.
  • control processing unit 17 causes the processing unit 12 to perform various image processing on the image data (S142), and causes the output unit 13 to output the image data after the image processing (S143).
  • control processing unit 17 uses the feature data acquisition unit 14 to The feature data corresponding to the image data is acquired (S135), and the feature data evaluation unit 16 evaluates the feature data based on the reference feature data (S133).
  • control processing unit 17 performs image processing on the plurality of image data. Exit.
  • control processing unit 17 may be configured to send the received image data to the processing unit 12 and cache it in the internal server 121.
  • the control processing unit 17 may send image data sent from the internal server 121 to the input unit 11 to the processing unit 12.
  • FIG. 51 is a diagram showing an image processing apparatus according to another embodiment of the present invention.
  • the same components as those illustrated in FIG. 42 are denoted by the same reference numerals and description thereof is omitted.
  • the image processing apparatus 140 illustrated in FIG. 51 is intended to improve the efficiency of editing and reproducing work for a plurality of image data, for example.
  • the image processing apparatus 140 shown in FIG. 51 differs from the image processing apparatus 50 shown in FIG. 42 in that a display unit 141 is provided instead of the power supply state detection unit 51.
  • the display unit 141 is a user interface such as a touch panel display, for example, and a user intention regarding the evaluation policy is input by a user operation.
  • the input user intention is sent to the reference feature data generation unit 53.
  • the evaluation policy generation unit 52 shown in FIG. 51 is configured to prioritize a plurality of evaluation policies based on the input user intention, and then to send the evaluation policies to the reference feature data generation unit 53. May be.
  • the reference feature data generation unit 53 uses the evaluation policy according to the priority order.
  • the user intention at this time indicates, for example, a policy of preferentially evaluating at least one of display speed, resolution, and data amount of image data.
  • FIG. 52 is a flowchart showing an example of the operation of the reference feature data generation unit 53 shown in FIG.
  • the reference feature data generation unit 53 generates reference feature data based on the evaluation policy generated by the evaluation policy generation unit 52 and the user intention input by the display unit 141 (S151), and then the generated reference feature data Is stored in the reference feature data acquisition unit 15 (S152).
  • the display unit 141 includes a background priority mode button and a subject priority mode button, and when one of the buttons is pressed by the user, the mode corresponding to the pressed button is set as the user's intention to the reference feature data generation unit 53. Send to.
  • the background priority mode button is pressed, the reference feature data generation unit 53 sets lower upper limits of acceleration and speed of a camera (not shown) so that the background can be enjoyed.
  • the reference feature data generation unit 53 sets the upper limit value of the camera acceleration as the reference feature data to “1G or less” corresponding to the “background priority mode”, and the reference feature data as the reference feature data.
  • the upper limit value of the camera speed is set to “1 cm / s or less” corresponding to the “background priority mode”.
  • the reference feature data generation unit 53 sets the upper limit values of the acceleration and speed of a camera (not shown) to be high so that the movement of the subject can be enjoyed. For example, as shown in FIG. 53A, the reference feature data generation unit 53 sets the upper limit value of the camera acceleration as the reference feature data to “5G or less” corresponding to the “subject priority mode” and the camera as the reference feature data.
  • the upper limit value of the speed is set to “5 cm / s or less” corresponding to the “subject priority mode”.
  • These combinations may be stored in the evaluation policy generation unit 52 in advance, or may be provided with a user interface that can be edited by the user.
  • the type of parameter to be set is not limited. Further, the mode selection may be an analog setting using a slide bar instead of the two options using the buttons as described above.
  • the display unit 141 includes a professional mode button and an amateur mode button, and when one of the buttons is pressed by the user, the mode corresponding to the pressed button is set as a user intent to the reference feature data generation unit 53.
  • the professional mode button is pressed, the reference feature data generation unit 53 uses five image data before and after the image data from which the subject is detected as an extraction reference so that the variation of editing is rich, or not shown. Set the upper limit of the acceleration / speed of the camera to higher. For example, as shown in FIG. 53B, the reference feature data generation unit 53 sets the image extraction reference as the reference feature data to “5 frames before and after the subject detection frame” corresponding to the “professional mode” and the camera as the reference feature data.
  • the upper limit value of acceleration is set to “5 G or less” corresponding to “Pro mode”, and the upper limit value of the camera speed as reference feature data is set to “5 cm / s or less” corresponding to “Pro mode”.
  • the reference feature data generation unit 53 uses only the image data in which the subject is detected as an extraction reference or the acceleration of a camera (not shown) in order to realize editing without trouble. ⁇ Set a lower upper speed limit. For example, as shown in FIG. 53B, the reference feature data generation unit 53 sets the image extraction reference as the reference feature data to “only subject detection frame” corresponding to “amateur mode”, and sets the upper limit of the camera acceleration as the reference feature data.
  • the value is set to “1 G or less” corresponding to “Amateur mode”, and the upper limit value of the camera speed as reference feature data is set to “1 cm / s or less” corresponding to “Amateur mode”.
  • These combinations may be stored in the evaluation policy generation unit 52 in advance, or may be provided with a user interface that can be edited by the user.
  • the type of parameter to be set is not limited. Further, the mode selection may be an analog setting using a slide bar instead of the two options using the buttons as described above.
  • the mode switching timing may be set before shooting according to the purpose of the day, or may be set before previewing image data every time.
  • the display unit 141 includes a priority recognition unit, and a sign (such as a choke formed by a user's hand or a thumb of a gripped hand standing in an upward direction) reflected in a captured image of a camera (not shown). ), The user may intentionally increase the priority for each scene based on the rating information that is shaken by a camera (not shown) or previously provided by the user at the time of shooting.
  • the reference feature data is obtained from the data acquired by the reference feature data acquisition unit 15.
  • the heel feature data evaluating unit 16 evaluates the feature data based on the reference feature data.
  • the necessity determination unit 17-1 of the control processing unit 17 performs necessity determination of image data corresponding to the feature data based on the evaluation result of the feature data evaluation unit 16.
  • control processing unit 17 causes the feature data acquisition unit 14 to acquire feature data corresponding to the next image data, and causes the feature data evaluation unit 16 to evaluate the feature data based on the reference feature data. .
  • control processing unit 17 causes the transmission unit 54 to transmit an image acquisition request to the server 56 and causes the reception unit 55 to receive image data corresponding to the image acquisition request.
  • Various image processing is performed on the image data, and the output unit 13 outputs the image data after the image processing.
  • control processing unit 17 causes the feature data acquisition unit 14 to execute the next image data.
  • the feature data corresponding to the data is acquired, and the feature data evaluation unit 16 evaluates the feature data based on the reference feature data.
  • control processing unit 17 performs image processing on the plurality of image data. finish.
  • the control processing unit 17 uses “five frames before and after the subject detection frame” as the image extraction reference from the data acquired by the reference feature data acquisition unit 15, the camera “5 G or less” is extracted as the upper limit value of acceleration, and “5 cm / s or less” is extracted as the upper limit value of the camera speed.
  • the feature data evaluation unit 16 evaluates that the image data corresponding to the feature data is within “5 frames before and after the subject detection frame”, and the camera acceleration at the time of shooting the image data corresponding to the feature data is “5G”.
  • the necessity determination unit 17-1 determines that the image is not necessary. Data is judged necessary.
  • the image data corresponding to the feature data is not within “5 frames before and after the subject detection frame”, the camera acceleration of the image data corresponding to the feature data is not “5G” or less, and the feature data is supported.
  • the necessity determination unit 17-1 determines that the image data is unnecessary. .
  • FIG. 54 is a diagram showing an image processing apparatus according to another embodiment of the present invention. Note that the same components as those shown in FIG. Also, the image processing apparatus 170 shown in FIG. 54 aims to improve the efficiency of editing and reproducing work for a plurality of image data.
  • a feature data extraction unit 171 is further provided.
  • the feature data extraction unit 171 extracts feature data from the image data acquired by the input unit 11.
  • the feature data extracted at this time is, for example, an object such as a human face or body, a car, a flower, an animal, the sky, a mountain, the sea, a road, or a building, a marker, or a color or luminance as a specific subject.
  • the feature data extraction unit 171 includes a subject detection unit, and the subject detection unit extracts “subject position” and “subject size” from the image data.
  • the feature data evaluation unit 16 of the sixth embodiment acquires “the width in the X direction and the Y direction of the image data” and “predetermined size” as the reference feature data by the reference feature data acquisition unit 15.
  • the determination result is sent to the necessity determination unit 17-1.
  • the necessity determination unit 17-1 determines whether the image data acquired by the input unit 11 is necessary based on the determination result sent from the feature data evaluation unit 16. For example, as shown in FIG.
  • the necessity determination unit 17-1 determines that “the subject size is smaller than a predetermined size” of the image data P1 among the moving images composed of the plurality of image data P1 to P6. Then, it is determined that the image data P1 is unnecessary. If the necessity determination unit 17-1 determines that the subject position is outside the left end of the image data in the image data P6, the image data P6 is determined as unnecessary image data. Then, the necessity determination unit 17-1 controls the operation of the input unit 11 so that the image data P6 is not output from the input unit 11 to the processing unit 12. Thereby, the load of the processing unit 12 can be reduced.
  • the feature data extraction unit 171 extracts the composition of the image data.
  • the feature data evaluation unit 16 of the sixth embodiment extracts “predetermined value” and “predetermined number” as reference feature data from the data acquired by the reference feature data acquisition unit 15, If it is determined that “a predetermined number or more of image data in which the compositional difference of the image data is equal to or less than a predetermined value is continued”, the determination result is sent to the necessity determination unit 17-1.
  • the necessity determination unit 17-1 determines whether the image data acquired by the input unit 11 is necessary based on the determination result sent from the feature data evaluation unit 16. For example, as shown in FIG. 56, the necessity determination unit 17-1 determines that “the image data whose composition difference between the image data P7 and P8 is equal to or less than a predetermined value among the moving images including the plurality of image data P7 to P11”. If it is determined that “two or more continuous”, the image data P9 to P11 after the image data P7 and P8 are determined as unnecessary image data. Then, the necessity determination unit 17-1 controls the operation of the input unit 11 so that the image data P9 to P11 are not output from the input unit 11 to the processing unit 12. Thereby, the load of the processing unit 12 can be reduced.
  • the feature data extraction unit 171 acquires a thumbnail image (a reduced image of the image data), a reduced resolution (an image having a lower resolution than the image data), and partial imaged image data (image data) acquired by the input unit 11.
  • the feature data may be extracted from (a part of).
  • FIG. 57 is a diagram showing an image processing apparatus according to another embodiment of the present invention. Note that the same components as those shown in FIG. Note that the image processing apparatus 200 shown in FIG. 57 aims to improve the efficiency of editing and reproducing operations for a plurality of image data.
  • the image processing apparatus 200 shown in FIG. 57 is different from the image processing apparatus 10 of the first embodiment shown in FIG. 38 in that a feature data storage unit 201 is further provided.
  • the feature data acquisition unit 14 shown in FIG. 57 periodically acquires feature data from the outside and stores it in the feature data storage unit 201.
  • the feature data cannot be periodically acquired from the outside because the imaging apparatus is removed from the image processing apparatus 200, the network is disconnected, or the network occupation ratio is high.
  • the necessity determination of the image data can be continuously performed using the feature data stored in the feature data storage unit 201.
  • the image data for which the necessity determination is performed at that time can be acquired when an imaging apparatus is attached to the image processing apparatus 200 or when the network connection is restored. In this way, it is possible to realize offline necessity determination.
  • the feature data storage unit 201 may be provided outside the image processing apparatus 200 (for example, on a network or a removable memory).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　要不要判定データを生成する要不要判定データ生成部１０３と、符号化後の動画像の各動画像フレームの分割後の各データにそれぞれ識別情報を付して記録部１０６に記録する画像符号化部１０４と、要不要判定データに基づいて、不要な動画像フレームを判定する要不要判定部１０７と、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームに対応する記録部１０６内の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理部１０８とを備えて画像処理装置１００を構成する。

Description

画像処理装置、画像処理システム、及び画像読出し装置
　本発明は、動画像の各動画像フレームの要不要を自動的に判定する技術に関する。
　近年、撮像装置の高解像度化や高速化、フラッシュメモリの大容量化、及び撮像装置内の画像処理回路の高速化や低電力化が進み、高解像度による長時間動画撮影や長時間動画再生が可能になってきている。
　しかしながら、動画撮影時にユーザが意図をもって撮影していない場合や、とりあえず撮り逃しの無いように長時間、動画の撮影を行っている場合などでは、撮影後の動画像に不要な動画像フレームが多く含まれてしまう。すると、後工程としての動画の編集作業や再生作業に大きな負荷がかかり、動画の編集作業や再生作業の効率を下げてしまうおそれがある。例えば、動画像ファイルに不要な動画像フレームが多く含まれていると、目的の動画像フレームを探すために多くの手間や時間がかかったり、動画像ファイルを編集用プログラムや再生用プログラムにロードする際に多くの時間がかかったりしてしまう。
　例えば、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術がある（例えば、特許文献１～３参照）。
特開２００８－１８２５４４号公報 特開２００５－２９５２８５号公報 特開２０００－２０９４８３号公報
　上述のように、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術は、動画像フレームの要不要を判定する際にユーザにかかる負荷を軽減することができるが、その動画像フレーム自動削除機能を含む編集用プログラムや再生用プログラムに動画像ファイルをロードする必要がやはりあるため、動画像ファイル内に不要な動画像フレームが多いと、編集作業や再生作業の効率を低下させてしまう。
　本発明は、動画の編集作業や再生作業の効率を向上させることを目的とする。
　本発明の画像処理装置は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、前記要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段とを備える。
　また、本発明の画像処理装置において、前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻すように構成してもよい。
　また、本発明の画像処理装置において、前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録するように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定手段データは、前記Ｍｐｅｇ２形式の符号化の単位ＧＯＰで付与されてもよい。
　また、本発明の画像処理装置において、前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段を更に有し、前記要不要判定手段は、前記メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定データ生成手段は、前記動画像フレーム中の被写体の位置及びサイズを前記要不要判定データとして生成し、前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体のサイズが所定のサイズよりも小さい場合であって、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体の位置が所定の範囲外に位置する場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定データ生成手段は、前記動画像フレーム中の画像特徴量に基づいて、前記要不要判定データを生成し、前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す画像特徴量と、そのメタデータに対応する動画像フレームに近接する動画像フレームのメタデータにおける要不要判定データが示す画像特徴量と、の差異が所定値以下の場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理装置において、前記画像特徴量が、被写体の構図を示す構図指標であってもよい。
　また、本発明の画像処理装置において、前記画像特徴量が、画像の輝度値の統計量であってもよい。
　また、本発明の画像処理装置において、前記要不要判定データ生成手段は、前記動画像フレームの撮影時のフォーカス情報を前記要不要判定データとして生成し、前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すフォーカス情報から、そのメタデータに対応する動画像フレームのフォーカスが合っていない、又は、フォーカスが安定していない、と判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定データ生成手段は、前記動画像フレームの撮影時のズーム情報を前記要不要判定データとして生成し、前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すズーム情報と、そのメタデータに対応する動画像フレームの一つ前の動画像フレームのメタデータにおける要不要判定データが示すズーム情報と、から、ズームレンズのレンズ位置が安定していないと判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理装置において、被写体側からの信号を受信する無線アンテナを備え、前記要不要判定データ生成手段は、前記無線アンテナにより受信される信号の受信信号強度を前記要不要判定データとして生成し、前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す受信信号強度が、所定の値より低い場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定手段は、前記不要な動画像フレームの先頭、あるいは末尾で有ることを示すフラグを前記識別情報に記述するように構成してもよい。
　また、本発明の画像処理装置において、前記動画像ファイル管理手段は、前記不要な動画像フレームの先頭であることを示すフラグおよび前記不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、前記不要な動画像フレームの先頭と前記不要な動画像フレームの末尾との間にある前記動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータがない旨の情報に書き換えるように構成してもよい。
　また、本発明の画像処理装置において、入力される各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段とを更に有し、前記要不要判定データ生成手段は、前記メタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成するように構成してもよい。
　また、本発明の画像処理装置において、前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻すように構成してもよい。
　また、本発明の画像処理装置において、前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録するように構成してもよい。
　また、本発明の画像処理システムは、画像処理装置とサーバとがネットワークを介してデータの送受信を行う画像処理システムであって、前記画像処理装置は、前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、前記サーバから送信される判定結果及び識別情報を受信する第１の受信手段と、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段とを備え、前記サーバは、前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、前記要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信する第２の送信手段とを備え、前記画像処理装置と前記サーバとのうち、いずれか一方は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段を備える。
　また、本発明の画像処理システムにおいて、前記要不要判定データ生成手段は、前記画像処理装置にあり、前記画像処理装置は、前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段と、前記メタデータを前記サーバへ送信する第１の送信手段とを更に有し、前記サーバは、前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、前記要不要判定手段は、前記受信したメタデータにおける前記要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するように構成してもよい。
　また、前記画像処理システムにおいて、前記サーバが有する前記要不要判定手段を、第２の要不要判定手段と定義するとき、前記画像処理装置は、前記生成されたメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する第１の要不要判定手段と、前記画像処理装置に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出手段と、前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態であると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態でないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える切替手段とを更に備え、前記第２の送信手段は、前記第２の要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信し、前記動画像ファイル管理手段は、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報、又は、前記第１の要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
　また、本発明の画像処理システムにおいて、前記検出手段は、前記画像処理装置のリソースにかかっている負荷を測定する負荷状態測定手段であり、前記切替手段は、前記負荷状態測定手段の測定結果から、所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記負荷状態測定手段の測定結果から、前記所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替えるように構成してもよい。
　また、本発明の画像処理システムにおいて、前記検出手段は、前記画像処理装置の電源モードが節電に係るモードであるか否かを検知する電源モード検知手段であり、前記切替手段は、前記電源モード検知手段により、節電に係るモードでないと検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記電源モード検知手段により、節電に係るモードであると検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替えるように構成してもよい。
　また、本発明の画像処理システムにおいて、前記要不要判定データ生成手段は、前記サーバにあり、前記画像処理装置は、入力される動画像の各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、前記メタデータを前記サーバへ送信する第１の送信手段とを更に有し、前記サーバは、前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、前記要不要判定データ生成手段は、前記受信したメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成し、前記要不要判定手段は、前記生成した要不要判定データに基づいて、その要不要判定データに対応する識別情報の動画像フレームが不要な動画像フレームであるか否かを判定するように構成してもよい。
　また、本発明の画像読出し装置は、動画像の各動画像フレームにそれぞれ対応する、必要な動画像フレームであるか否かを判定するために用いられる要不要判定データと、それぞれに識別情報が付与された、符号化後の前記動画像の各動画像フレームと、前記動画像フレームに付与された識別情報と、その動画像フレームに対応する要不要判定データとが統合されたメタデータとが記録された記録手段から前記メタデータを読み出し、そのメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームであるか否かを判定する要不要判定手段と、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置を示す情報とが対応付けられたテーブルを用いて、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置に記録される動画像フレームのみを前記記録手段から読み出す読出し制御手段とを備える。
　また、本発明の画像読出し装置において、前記記録手段には、ＭＰＥＧ２形式で符号化された前記動画像を記録されているとともに、符号化後の動画像の各動画像フレームは、それぞれ複数のＴＳパケットに分割され、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤが付与されて記録されており、前記読出し制御手段は、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームのＰＩＤに対応する前記記録手段の記録位置に記録されるデータのみを前記記録手段から読み出す読出すように構成してもよい。
　また、本発明の画像読出し装置において、入力される動画像の各動画像フレームにそれぞれ対応する、前記要不要判定データを生成する要不要判定データ生成手段と、前記入力される動画像を符号化するとともに、その符号化後の動画像の各動画像フレームにそれぞれ識別情報を付与して前記記録手段に記録する画像符号化手段と、前記動画像フレームに付与された識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成して前記記録手段に記録するメタデータ生成手段とを更に備えるように構成してもよい。
　また、本発明の画像処理システムは、動画像を記録手段に記録する画像処理装置と、前記記録手段から動画像を読み出す画像読出し装置とを備える画像処理システムであって、前記画像処理装置は、入力される動画像の各動画像フレームにそれぞれ対応する、必要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、前記入力される動画像を符号化するとともに、その符号化後の動画像の各動画像フレームにそれぞれ識別情報を付与して前記記録手段に記録する画像符号化手段と、前記動画像フレームに付与された識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成して前記記録手段に記録するメタデータ生成手段とを備え、前記画像読出し装置は、前記記録手段からメタデータを読み出し、そのメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームであるか否かを判定する要不要判定手段と、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置を示す情報とが対応付けられたテーブルを用いて、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置に記録される動画像フレームのみを前記記録手段から読み出す読出し制御手段とを備える。
　また、本発明の画像処理システムにおいて、前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録するように構成してもよい。
　また、本発明の画像処理システムにおいて、前記要不要判定データ生成手段は、前記動画像フレーム中の被写体の位置及びサイズを前記要不要判定データとして生成し、前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す被写体のサイズが所定のサイズよりも小さい場合であって、前記記録手段から読み出したメタデータにおける要不要判定データが示す被写体の位置が所定の範囲外に位置する場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理システムにおいて、前記要不要判定データ生成手段は、前記動画像フレーム中の画像特徴量に基づいて、前記要不要判定データを生成し、前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す画像特徴量と、そのメタデータに対応する動画像フレームに近接する動画像フレームのメタデータにおける要不要判定データが示す画像特徴量と、の差異が所定値以下の場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理システムにおいて、前記画像特徴量が、被写体の構図を示す構図指標であってもよい。
　また、本発明の画像処理システムにおいて、前記画像特徴量が、画像の輝度値の統計量であってもよい。
　また、本発明の画像処理システムにおいて、前記要不要判定データ生成手段は、前記動画像フレームの撮影時のフォーカス情報を前記要不要判定データとして生成し、前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示すフォーカス情報から、そのメタデータに対応する動画像フレームのフォーカスが合っていない、又は、フォーカスが安定していない、と判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理システムにおいて、前記要不要判定データ生成手段は、前記動画像フレームの撮影時のズーム情報を前記要不要判定データとして生成し、前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示すズーム情報と、そのメタデータに対応する動画像フレームの一つ前の動画像フレームのメタデータにおける要不要判定データが示すズーム情報と、から、ズームレンズのレンズ位置が安定していないと判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理システムにおいて、被写体側からの信号を受信する無線アンテナを備え、前記要不要判定データ生成手段は、前記無線アンテナにより受信される信号の受信信号強度を前記要不要判定データとして生成し、前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す受信信号強度が、所定の値より低い場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定するように構成してもよい。
　また、本発明の画像処理装置は、画像データに対応した特徴データを取得する特徴データ取得部と、基準特徴データを取得する基準特徴データ取得部と、前記基準特徴データに基づいて前記特徴データの評価を行う特徴データ評価部と、前記特徴データ評価部によって行われた前記評価に基づいて前記特徴データに対応した画像データの要不要の判定を行なう要不要判定部と、前記要不要の判定に基づいて制御を行なう制御処理部とを備える。
　また、本発明の画像処理装置において、評価方針を生成する評価方針生成部と、前記評価方針に基づいて前記基準特徴データを生成する基準特徴データ生成部とをさらに備えるように構成してもよい。
　また、本発明の画像処理装置において、状態検知部を更に備え、前記基準特徴データ生成部は、前記評価方針及び前記状態検知部の検知結果に基づいて前記基準特徴データを生成するように構成してもよい。
　また、本発明の画像処理装置において、状態検知部を更に備え、評価方針生成部は、前記状態検知部の検知結果に基づいて評価方針を生成するように構成してもよい。
　また、本発明の画像処理装置において、前記状態検知部は、当該画像処理装置の電源種別及び電源状態の少なくとも１つを検知する電源状態検知部であってもよい。
　また、本発明の画像処理装置において、前記電源状態検知部の検知結果が、使用可能な電源容量が規定値以下である低エネルギー状態であるとき、前記基準特徴データ生成部は、前記検知結果と前記評価方針から、非低エネルギー状態と比較して、取得する画像のデータ量が少なくなるように、前記基準特徴データを生成するように構成してもよい。
　また、本発明の画像処理装置において、前記状態検知部は、ネットワークとの接続状態を判定する接続状態判定部であってもよい。
　また、本発明の画像処理装置において、前記特徴データ評価部は、複数種類の前記基準特徴データを組み合わせて評価するように構成してもよい。
　また、本発明の画像処理装置において、前記接続状態判定部の判定結果が、使用可能なネットワークの単位時間あたりのデータ転送量が規定値以下である低速状態であるとき、前記基準特徴データ生成部は、前記検知結果と前記評価方針から、非低速状態と比較して、取得する画像の総データ量が少なくなるように、前記基準特徴データを生成するように構成してもよい。
　また、本発明の画像処理装置において、前記画像データの表示速度、解像度、及びデータ量の少なくとも何れかを優先して評価する方針を示す評価方針を入力する表示部をさらに備え、前記基準特徴データ生成部は、前記表示部に入力された前記評価方針に基づいて前記基準特徴データを生成するように構成してもよい。
　また、本発明の画像処理装置において、前記画像データから前記特徴データを抽出する特徴データ抽出部をさらに備えるように構成してもよい。
　また、本発明の画像処理装置において、前記特徴データ抽出部は、前記特徴データとして前記画像データ内の被写体の位置及びサイズの少なくとも一方を抽出し、前記要不要判定部は、前記特徴データ抽出部により抽出された前記画像データ内の被写体の位置及びサイズの少なくとも一方が前記基準特徴データとしての閾値以下であるか否かを判断し、該判断結果に基づいて前記画像データの要不要を判定するように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定部は、前記特徴データ抽出手段により抽出された前記画像データ内の被写体の位置及びサイズの少なくとも一方が前記閾値以下であると、前記画像データに対して不要の判定を行うように構成してもよい。
　また、本発明の画像処理装置において、前記特徴データ抽出部は、前記特徴データとして連続する複数の前記画像データの構図を抽出し、前記要不要判定部は、前記特徴データ抽出部により抽出された複数の画像データの構図の変化量が前記基準特徴データとしての閾値以下であるか否かを判断し、該判断結果に基づいて前記画像データの要不要を判定するように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定部は、前記複数の画像データの構図の変化量が前記閾値以下であると、前記複数の画像データに対して不要の判定を行うように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定部は、多段階に分類して、又は、数値化して前記特徴データの評価を行うように構成してもよい。
　また、本発明の画像処理装置において、前記要不要判定部は、前記特徴データに対応する画像データのボケ具合、ブレ具合、明暗、色合い、鮮明度、画角ずれ、非対称、被写体のかぶりのうちの少なくとも１つについて評価を行うように構成してもよい。
　また、本発明の画像処理装置において、前記特徴データ抽出手段は、前記画像データの縮小画像、前記画像データよりも解像度が低い画像、又は前記画像データの一部である前記特徴データから特徴データを抽出するように構成してもよい。
　また、本発明の画像処理装置において、前記特徴データを保存する特徴データ保存部をさらに備え、前記要不要判定部は、前記基準特徴データに基づいて前記特徴データ保存部により保存される特徴データの評価を行うように構成してもよい。
　また、本発明の画像処理装置において、外部装置と前記特徴データまたは前記画像データの通信を行う通信部をさらに備え、前記要不要判定部は、要判定となった画像データを前記外部装置に要求するまたは他の外部装置から前記外部装置に前記画像データを要求させるように構成してもよい。
　また、本発明の画像処理装置において、撮像部と、前記要不要判定部により要判定された画像データを前記撮像部から取得する入力部とを備えるように構成してもよい。
　また、本発明の画像処理装置において、画像データを処理する処理部をさらに備え、前記処理部は、前記要不要判定部により要判定された画像データに対して処理を行なうように構成してもよい。
　また、本発明のプラグラムは、コンピュータを、画像データに対応した特徴データを取得する特徴データ取得部、基準特徴データ取得部により取得される基準特徴データに基づいて前記特徴データの評価を行う特徴データ評価部、前記特徴データ評価部によって行われた前記評価に基づいて前記特徴データに対応した画像データの要不要の判定を行なう要不要判定部、前記要不要の判定に基づいて制御を行なう制御処理部として機能させる。
　また、本発明の画像処理方法は、特徴データ取得部により、画像データに対応した特徴データを取得し、特徴データ評価部により、基準特徴データ取得部により取得される基準特徴データに基づいて前記特徴データの評価を行ない、要不要判定部により、該評価に基づいて前記特徴データに対応した画像データの要不要の判定を行ない、制御処理部により、前記要不要の判定に基づいて制御を行なう。
　本発明によれば、動画の編集作業や再生作業の効率を向上させることができる。
本発明の実施形態の画像処理装置を示す図である。 メタデータ、動画像フレーム、記録部内のセクタ、及び記録部内のクラスタの一例を示す図である。 ディレクトリの一例を示す図である。 ＦＡＴの一例を示す図である。 データの状態を示す情報を書き換えた後のＦＡＴの一例を示す図である。 ＭＰＥＧ形式の符号化時における動画像フレーム、圧縮単位、及び記録部内のクラスタの一例を示す図である。 実施例１の撮像装置を示す図である。 実施例１の撮像装置の変形例（その１）を示す図である。 実施例１の撮像装置の変形例（その２）を示す図である。 実施例１の要不要判定部の動作を示すフローチャートである。 実施例１における要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。 実施例１における要判定の動画像フレームと不要判定の動画像フレームの他の例を示す図である。 実施例２の撮像装置を示す図である。 実施例２の要不要判定部の動作を示すフローチャートである。 実施例３の撮像装置を示す図である。 実施例３の要不要判定部の動作を示すフローチャートである。 実施例４の撮像装置を示す図である。 実施例４の要不要判定部の動作を示すフローチャートである。 実施例４における要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。 実施例５の撮像装置を示す図である。 本発明の実施形態の画像処理システムを示す図である。 本発明の他の実施形態の画像処理システムを示す図である。 本発明の他の実施形態の画像処理システムを示す図である。 本発明の他の実施形態の画像処理システムを示す図である。 本発明の他の実施形態の画像処理システムを示す図である。 メタデータ、動画像フレーム、記録部内のセクタ、及び記録部内のクラスタの一例を示す図である。 ディレクトリの一例を示す図である。 ＦＡＴの一例を示す図である。 画像読出し装置の動作の一例を示すフローチャートである。 ＭＰＥＧ形式の符号化時における動画像フレーム、圧縮単位、及び記録部内のクラスタの一例を示す図である。 図２１に示す画像処理装置の実施例１としての撮像装置を備える画像処理システムを示す図である。 図２１に示す画像処理装置の実施例１としての撮像装置を備える画像処理システムの変形例（その１）を示す図である。 図２１に示す画像処理装置の実施例１としての撮像装置を備える画像処理システムの変形例（その２）を示す図である。 図２１に示す画像処理装置の実施例２としての撮像装置を備える画像処理システムにおける要不要判定部の動作を示すフローチャートである。 図２１に示す画像処理装置の実施例２としての撮像装置を備える画像処理システムにおける要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。 図２１に示す画像処理装置の実施例２としての撮像装置を備える画像処理システムにおける要判定の動画像フレームと不要判定の動画像フレームの他の例を示す図である。 図２１に示す画像処理装置の実施例３としての撮像装置を備える画像処理システムを示す図である。 図２１に示す画像処理装置の実施例３としての撮像装置を備える画像処理システムにおける要不要判定部の動作を示すフローチャートである。 図２１に示す画像処理装置の実施例４としての撮像装置を備える画像処理システムを示す図である。 図２１に示す画像処理装置の実施例４としての撮像装置を備える画像処理システムにおける要不要判定部の動作を示すフローチャートである。 図２１に示す画像処理装置の実施例５としての撮像装置を備える画像処理システムを示す図である。 図２１に示す画像処理装置の実施例５としての撮像装置を備える画像処理システムにおける要不要判定部の動作を示すフローチャートである。 図２１に示す画像処理装置の実施例６としての撮像装置を備える画像処理システムにおける要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。 本発明の他の実施形態の画像処理装置を示す図である。 本発明の他の実施形態の画像処理装置を示す図である。 図３８に示す制御処理部の動作の一例を示すフローチャートである。 基準特徴データ取得部に取得されるデータの一例を示す図である。 画像処理装置の周辺装置の一例を示す図である。 画像処理装置の周辺装置の一例を示す図である。 画像処理装置の周辺装置の一例を示す図である。 本発明の他の画像処理装置を示す図である。 図４２に示す基準特徴データ生成部の動作の一例を示すフローチャートである。 基準特徴データ取得部に取得されるデータの一例を示す図である。 図４２に示す制御処理部の動作の一例を示すフローチャートである。 本発明の他の実施形態の画像処理装置を示す図である。 図４６に示す基準特徴データ生成部の動作の一例を示すフローチャートである。 基準特徴データ取得部に取得されるデータの一例を示す図である。 本発明の他の実施形態の画像処理装置を示す図である。 図４９に示す制御処理部の動作の一例を示すフローチャートである。 本発明の他の実施形態の画像処理装置の一例を示す図である。 図５１に示す基準特徴データ生成部の動作の一例を示すフローチャートである。 基準特徴データ取得部に取得されるデータの一例を示す図である。 基準特徴データ取得部に取得されるデータの一例を示す図である。 本発明の他の実施形態の画像処理装置を示す図である。 要不要判定された画像データの一例を示す図である。 要不要判定された画像データの一例を示す図である。 本発明の他の実施形態の画像処理装置を示す図である。
　図１は、本発明の実施形態の画像処理装置を示す図である。
　図１の画像処理装置１００は、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、記録部１０６と、要不要判定部１０７と、動画像ファイル管理部１０８と、制御処理部１０９とを備える。なお、制御処理部１０９は、画像処理装置１００内の各部の動作を制御するものとする。
　要不要判定データ生成部１０３は、外部（例えば、撮像装置や外部記録部など）から画像処理装置１００に入力される動画像ファイルの各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。
　画像符号化部１０４は、外部から画像処理装置１００に入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録部１０６に記録する。例えば、画像符号化部１０４は、図２に示すように、入力される動画像に対してＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ ｐｈａｓｅ ２）形式の符号化を行うとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳ（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）パケットに分割しつつ、それらＴＳパケットにそれぞれ「識別情報ＰＩＤ（Ｐａｃｋｅｔ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）」（Ｋ、Ｋ＋１、・・・）を付与して記録部１０６に記録する。
　また、図１に示す記録部１０６は、画像処理装置１００に内蔵の記録部（例えば、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））でも画像処理装置１００に着脱可能な外部記録部（例えば、ＣＤ－Ｒ（Ｒｅｗｒｉｔａｂｌｅ　Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ－Ｒ（Ｒｅｗｒｉｔｂｌｅ　Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の媒体、メモリカード、又はＵＳＢメモリなど）でもよく、例えば、不揮発性メモリ、又はフラッシュメモリなどにより構成される。
　また、記録部１０６は、画像符号化部１０４において各データにそれぞれ付与された識別情報と、記録部１０６内の記録位置を示す情報との対応関係を示す識別情報／記録位置テーブルを備える。例えば、記録部１０６は、図３Ａに示すように、識別情報ＰＩＤと、記録部１０６内のクラスタの位置を示すクラスタ番号との対応関係を示す識別情報／記録位置テーブルとしてのディレクトリを備える。
　また、記録部１０６は、記録部１０６内の記録位置を示す情報と、各記録位置におけるデータの状態を示す情報（例えば、他の記録位置にデータが続く際のその記録位置を示す情報、データがこの記録位置で終わることを示す情報、又はこの記録位置にデータが無いことを示す情報）との対応関係を示す記録位置／データ状態情報テーブルを備える。例えば、記録部１０６は、図３Ｂに示すように、記録部１０６内のクラスタの位置を示すクラスタ番号と、各クラスタ番号におけるデータの状態を示す情報（例えば、他のクラスタにデータが続く際のそのクラスタの位置を示すクラスタ番号、データがこのクラスタで終わることを示す情報：「ＦＦＦＦ」、又はこのクラスタにデータが無いことを示す情報：「００００」）との対応関係を示す記録位置／データ状態情報テーブルとしてのＦＡＴ（Ｆｉｌｅ　Ａｌｌｏｃａｔｉｏｎ　Ｔａｂｌｅ）を備える。
　メタデータ生成部１０５は、符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成する。例えば、メタデータ生成部１０５は、図２に示すように、符号化後の動画像フレームｆ１の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋと、動画像フレームｆ１に対応する要不要判定データとを統合して動画像フレームｆ１に対応するメタデータを生成する。また、メタデータ生成部１０５は、符号化後の動画像フレームｆ２の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋ＋ｎ＋１と、動画像フレームｆ２に対応する要不要判定データとを統合して動画像フレームｆ２に対応するメタデータを生成する。なお、要不要判定データと統合される識別情報ＰＩＤは、符号化後の動画像フレームの分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤに限定されない。
　要不要判定部１０７は、メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する。
　動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報をデータが無い旨の情報に書き換える。
　例えば、図２に示す動画像フレームｆ２が不要と判定された場合、動画像ファイル管理部１０８は、図３Ａに示すディレクトリを用いて、動画像フレームｆ２の識別情報ＰＩＤ＝Ｋ＋ｎ＋１に対応する記録部１０６内のクラスタの位置を示すクラスタ番号として「０００３」を特定する。次に、動画像ファイル管理部１０８は、図３Ｂに示すＦＡＴを用いて、特定したクラスタ番号「０００３」におけるデータの状態を示す情報「０００４」を「００００」に書き換えるとともに、さらに他のクラスタにも動画像フレームｆ２が記録される際のそのクラスタの位置を示すクラスタ番号「０００４」におけるデータの状態を示す情報「ＦＦＦＦ」を「００００」に書き換える。
　なお、記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、動画像ファイル管理部１０８は、このテーブルを用いて、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
　本発明の実施形態の画像処理装置１００は、編集作業や再生作業の前段階において、動画像の各動画像フレームのうち、不要な動画像フレームと判定された動画像フレームに対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える構成であるため、その動画像の編集時や再生時において、動画像を記録部１０６から読み出す際、不要な動画像フレーム以外が読み出される。このように、編集作業や再生作業の前段階において不要な動画像フレームを動画像ファイルから実質的に削除しておくことができるため、編集作業時や再生作業時において、動画像ファイルを編集用プログラムや再生用プログラムにロードする時間を短縮することができ、編集作業や再生作業の効率低下を抑えることができる。
　また、本発明の実施形態の画像処理装置１００は、記録部１０６から不要な動画像フレーム以外を読み出すために、記録部１０６の記録位置におけるデータの状態を示す情報を書き換えるだけであるため、データ処理量を少なくすることができ、画像処理装置１００にかかる負荷を抑えることができる。
　また、本発明の実施形態の画像処理装置１００は、不要な動画像フレームに対応する記録部１０６内の記録位置を特定するために、符号化後の動画像フレームの分割後の各データに付与される識別情報を使用しているため、データ処理量を少なくすることができ、画像処理装置１００にかかる負荷を抑えることができる。
　なお、要不要判定部１０７は、連続する複数の不要な動画像フレームのうち、先頭の動画像フレームであることを示す先頭情報Ｋｉと、末尾の動画像フレームであることを示す末尾情報Ｋｊとを動画像ファイル管理部１０８に送るように構成してもよい。すなわち、識別情報ＰＩＤ上に不要判定された動画像の先頭である事を示すフラグと、末尾で有ることを示すフラグを記述する様にしても良い。この場合、動画像ファイル管理部１０８は、先頭情報Ｋｉ及び末尾情報Ｋｊにそれぞれ対応する、記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるとともに、先頭情報Ｋｉ及び末尾情報Ｋｊにそれぞれ対応する各動画像フレームの間の動画像フレームに対応する、記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える。また、動画像ファイル管理部１０８は、不要な動画像フレームの先頭であることを示すフラグおよび不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、不要な動画像フレームの先頭と不要な動画像フレームの末尾との間にある動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるようにしても良い。
　また、上記記録部１０６のデータの書き換えのタイミングに関しては不要判定の先頭である事を示すフラグと、末尾で有ることを示すフラグの対が受信されたところでデータの書き換えを行うようにしても良い。
　また、画像符号化部１０４において、入力される動画像に対して、ＭＰＥＧ形式の符号化が行われる場合、例えば、図４に示すように、ＳＨ（Ｓｅｑｕｅｎｃｅ　Ｈｅａｄｅｒ）及びＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）の圧縮単位（例えば、Ｉフレーム（Ｉｎｔｒａ　Ｐｉｃｔｕｒｅ）、Ｂ１フレーム～Ｂ３フレーム（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　Ｐｒｅｄｉｃｔｉｖｅ　Ｐｉｃｔｕｒｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｉｖｅ　Ｐｉｃｔｕｒｅ））で符号化が行われる。このような場合、動画像ファイル管理部１０８は、先頭の不要動画像フレームが含まれるＧＯＰから末尾の不要動画像フレームが含まれるＧＯＰまでの範囲に対応する、記録部１０６の記録位置におけるデータの状態を示す情報を全てデータが無い旨の情報に書き換える。図４の例では、先頭の不要動画像フレームＢ１が含まれるＧＯＰに対応するクラスタ番号「０００２」から末尾の不要動画像フレームＢ２’が含まれるＧＯＰに対応するクラスタ番号「００１４」までの範囲に対応する、記録部１０６の記録位置におけるデータの状態を示す情報を全て「００００」に書き換える。
　また、記録部１０６は、ＦＡＴと同じ内容の復帰用テーブルを備えていてもよい。この場合、動画像ファイル管理部１０８は、その復帰用テーブルを用いて、復帰対象であるデータの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報を、元の情報に戻すことができる。これにより、不要な動画像フレームであると判定されて、その動画像フレームの識別情報に対応する記録部１０６内の記録位置におけるデータの状態を示す情報が、データが無い旨の情報に書き換えられた後でも、その動画像フレームを読み出し可能な状態に戻すことができる。
　図５Ａは、図１に示す画像処理装置１００の実施例１である撮像装置５００を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図５Ａに示す撮像装置５００は、撮像部１０１と、画像処理部１０２と、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、記録部１０６と、要不要判定部１０７と、動画像ファイル管理部１０８と、制御処理部１０９とを備える。
　撮像部１０１は、例えば、レンズによってＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し静止画像フレーム又は複数の動画像フレームからなる動画像を得る。
　画像処理部１０２は、撮像部１０１により得られる静止画像又は動画像の各動画像フレームに対して、シャープネス補正、コントラスト補正、輝度・色差信号生成、及びホワイトバランス補正などの各種画像処理を行う。
　画像符号化部１０４は、画像処理後の静止画像フレームに対してＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式などの符号化を行う。また、画像符号化部１０４は、画像処理後の動画像に対してＭＰＥＧ形式などの符号化を行う。
　図５Ａに示す撮像装置５００の特徴とする点は、要不要判定データ生成部１０３として被写体検出処理部５０１を備え、その被写体検出処理部５０１により、画像処理後の動画像の各動画像フレームにおいて、それぞれ、要不要判定データとしての「被写体の位置」及び「被写体のサイズ」が検出され、メタデータ生成部１０５において、検出された「被写体の位置」及び「被写体のサイズ」と、識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
　図６は、図５Ａに示す撮像装置５００における要不要判定部１０７の動作の一例を示すフローチャートである。
　まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「被写体の位置」及び「被写体のサイズ」を入力する（Ｓ１１）。なお、被写体検出処理部５０１は、画像処理後の動画像フレーム内において被写体を検出した後、その検出した被写体を囲む矩形範囲を被写体エリアとし、その被写体エリアの左上の画素位置（ｘ０，ｙ０）を「被写体の位置」とする。また、被写体検出処理部５０１は、「被写体のサイズ」として被写体エリアの横方向の画素数をＷとするとともに被写体エリアの縦方向の画素数をＨとする。また、被写体検出処理部５０１は、動画像フレームから被写体が検出されない場合、ｘ０を０よりも小さい値にする。また、動画像フレームの左上の画素位置を（１，１）とする。
　次に、要不要判定部１０７は、ｘ０が０よりも小さいか否か、すなわち、被写体が検出されていないか否かを判断する（Ｓ１２）。
　被写体が検出されていると判断した場合（Ｓ１２がＮｏ）、要不要判定部１０７は、Ｗが閾値Ｔｈｒ＿Ｗよりも小さいか否か又はＨが閾値Ｔｈｒ＿Ｈよりも小さいか否か、すなわち、被写体が所定サイズよりも小さいか否かを判断する（Ｓ１３）。なお、閾値Ｔｈｒ＿Ｗや閾値Ｔｈｒ＿Ｈは、ユーザなどにより予め設定されていてもよい。
　被写体が所定サイズよりも大きいと判断した場合（Ｓ１３がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｌ＿ｘよりも小さいか否か、すなわち、被写体エリアが動画像フレームの左端より外側に外れているか否かを判断する（Ｓ１４）。なお、閾値Ｔｈｒ＿Ｌ＿ｘは、ユーザなどにより予め設定されていてもよい。
　被写体エリアが動画像フレームの左端より外側に外れていないと判断した場合（Ｓ１４がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｒ＿ｘよりも大きいか否か、すなわち、被写体エリアの右端が動画像フレームの右端より外側に外れているか否かを判断する（Ｓ１５）。なお、閾値Ｔｈｒ＿Ｒ＿ｘは、ユーザなどにより予め設定されていてもよい。
　被写体エリアの右端が動画像フレームの右端より外側に外れていないと判断した場合（Ｓ１５がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｕ＿ｙよりも大きいか否か、すなわち、被写体エリアの上端が動画像フレームの上端より外側に外れているか否かを判断する（Ｓ１６）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。
　被写体エリアの上端が動画像フレームの上端より外側に外れていないと判断した場合（Ｓ１６がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｄ＿ｙよりも小さいか否か、すなわち、被写体エリアの下端が動画像フレームの下端より外側に外れているか否かを判断する（Ｓ１７）。なお、閾値Ｔｈｒ＿Ｄ＿ｙは、ユーザなどにより予め設定されていてもよい。
　被写体エリアの下端が動画像フレームの下端より外側に外れていないと判断した場合（Ｓ１７がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ１８）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ１９）。
　次に、要不要判定部１０７は、今回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎ－１とを上記記憶部から読み出し（Ｓ２０）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ－１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ２１）。
　前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ２１がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ２２）、動画像ファイル管理部１０８に出力する（Ｓ２３）。例えば、図７に示すように、識別情報ＰＩＤ＝７～１２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝７に対応する要不要判定フラグＦＬＧ＿ｎが「－１」で、かつ、識別情報ＰＩＤ＝８に対応する要不要判定フラグＦＬＧ＿ｎ－１が「１」のとき、要不要判定部１０７は、末尾情報Ｋｊと識別情報ＰＩＤ＝７とを統合して動画像ファイル管理部１０８に出力する。
　次に、要不要判定部１０７は、ユーザから動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ２４がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ２４がＮｏ）、Ｓ１１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
　一方、前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ２１がＮｏ）、要不要判定部１０７は、Ｓ２２及びＳ２３を実行せずに、動画撮影が終了したか否かを判断する（Ｓ２４）。
　また、要不要判定部１０７は、「被写体が検出されていない（Ｓ１２がＹｅｓ）」、「被写体が所定サイズよりも小さい（Ｓ１３がＹｅｓ）」、「被写体エリアが動画像フレームの左端より外側に外れている（Ｓ１４がＹｅｓ）」、「被写体エリアが動画像フレームの右端より外側に外れている（Ｓ１５がＹｅｓ）」、「被写体エリアが動画像フレームの上端より外側に外れている（Ｓ１６がＹｅｓ）」、及び「被写体エリアが動画像フレームの下端より外側に外れている（Ｓ１７がＹｅｓ）」の少なくとも１つを判断すると、その動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝－１を設定し（Ｓ２５）、その要不要判定フラグＦＬＧ＿ｎ＝－１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ２６）。
　次に、要不要判定部１０７は、今回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎ－１とを上記記憶部から読み出し（Ｓ２７）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ－１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ２８）。
　今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ２８がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ２９）、動画像ファイル管理部１０８に出力し（Ｓ３０）、動画撮影が終了したか否かを判断する（Ｓ２４）。例えば、図７に示すように、識別情報ＰＩＤ＝７～１２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝１２に対応する要不要判定フラグＦＬＧ＿ｎが「－１」で、かつ、識別情報ＰＩＤ＝１１に対応する要不要判定フラグＦＬＧ＿ｎ－１が「１」のとき、要不要判定部１０７は、先頭情報Ｋｉと識別情報ＰＩＤ＝１２とを統合して動画像ファイル管理部１０８に出力する。
　一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ２８がＮｏ）、要不要判定部１０７は、Ｓ２９及びＳ３０を実行せずに、動画撮影が終了したか否かを判断する（Ｓ２４）。
　そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
　図５Ａに示す撮像装置５００は、被写体の位置やサイズに応じて、動画像フレームの要不要が判定されるため、スポーツやレースの観戦時など被写体が激しく動く場合において取得される動画像のデータ量の削減に有効である。
　なお、図６に示す要不要判定部１０７の動作例では、メタデータに記述されている構図指標は被写体の位置やサイズに基づいており、動画像フレームの要不要判定を行う構成であるが、図８に示すように、同じような構図の動画像フレームを連続して取得されるとき、それらの動画像フレームを編集時や再生時に不要な動画像フレームと判定するように構成してもよい。例えば、要不要判定部１０７は、図８に示す識別情報ＰＩＤ＝７に対応する動画像フレームの構図と、識別情報ＰＩＤ＝８、９に対応する動画像フレームの構図との差異が所定値以下であると判断されるとき、識別情報ＰＩＤ＝９に対応する動画像フレームに対して先頭情報Ｋｉを設定する。また、構図の差異が所定値以下のフレームが所定数以上連続する場合に、読出し制御部１１２は、連続するフレームの後部に相当する識別情報の動画像フレームに対して先頭情報Ｋｉを設定する。
　なお、上記フレーム間の差異の測定方法としては、図８に示した、構図指標すなわち被写体の位置サイズの検出の差異の他に、画像の統計量に基づきフレーム間の差異を求めとも良い。フレーム間のレベル差の差分の合計値が所定値以下の場合、比較するフレームのヒストグラムの変化量の合計値が所定値以下の場合を不要とする等を使っても良い。フレーム間の差分を用いる場合、例えば、図５Ｂに示すように、被写体検出処理部５０１の代わりにフレーム間差分を積分する差分演算部５０１１を備える。また、ヒストグラムを用いる場合には、例えば、図５Ｃに示すように、被写体検出処理部５０１の代わりにヒストグラムを算出しフレーム間のヒストグラムの差分またはその積分を計算するヒストグラム差分演算部５０１２を備える。
　図９は、図１に示す画像処理装置１００の実施例２である撮像装置９００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図９に示す撮像装置９００の特徴とする点は、要不要判定データ生成部１０３としてフォーカス情報処理部９０１を備え、そのフォーカス情報処理部９０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「フォーカス情報」が設定され、メタデータ生成部１０５により、「フォーカス情報」と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
　図１０は、図９に示す撮像装置９００における要不要判定部１０７の動作の一例を示すフローチャートである。
　まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「フォーカス情報」を入力する（Ｓ３１）。なお、フォーカス情報処理部９０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するコントラスト評価値Ｃ０を画像処理部１０２から得るとともに、フォーカスレンズのレンズ位置Ｌ０を撮像部１０１から得てメタデータ生成部１０５へ出力する。また、コントラスト評価値Ｃ０が０よりも小さいとき、フォーカスができていない、すなわち、フォーカスレンズの焦点が合っていないものとする。
　次に、要不要判定部１０７は、Ｃ０が０以上である、すなわち、フォーカスレンズの焦点が合っていると判断した場合（Ｓ３２がＮｏ）、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎを要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３３）。
　次に、要不要判定部１０７は、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎと前回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎ－１とを上記記憶部から読み出し（Ｓ３４）、それらレンズ位置Ｌ０＿ｎとレンズ位置Ｌ０＿ｎ－１との差分の絶対値が閾値Ｔｈｒ＿Ｌよりも大きいか否か、すなわち、フォーカスが安定していないか否かを判断する（Ｓ３５）。
　フォーカスが安定していると判断した場合（Ｓ３５がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ３６）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３７）。
　次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ－１とを上記記憶部から読み出し（Ｓ３８）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ－１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ３９）。
　前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ３９がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ４０）、動画像ファイル管理部１０８に出力する（Ｓ４１）。
　次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ４２がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ４２がＮｏ）、Ｓ３１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
　一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ３９がＮｏ）、要不要判定部１０７は、Ｓ４０及びＳ４１を実行せずに、動画撮影が終了したか否かを判断する（Ｓ４２）。
　また、要不要判定部１０７は、フォーカスができていないと判断した場合（Ｓ３２がＹｅｓ）又はフォーカスが安定していないと判断した場合（Ｓ３５がＹｅｓ）、そのときの動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝－１を設定し（Ｓ４３）、その要不要判定フラグＦＬＧ＿ｎ＝－１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ４４）。
　次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ－１とを上記記憶部から読み出し（Ｓ４５）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ－１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ４６）。
　今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ４６がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ４７）、動画像ファイル管理部１０８に出力し（Ｓ４８）、動画撮影が終了したか否かを判断する（Ｓ４２）。
　一方、今回取得した動画像フレームが編集時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ４６がＮｏ）、要不要判定部１０７は、Ｓ４７及びＳ４８を実行せずに、動画撮影が終了したか否かを判断する（Ｓ４２）。
　そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
　図９に示す撮像装置９００では、フォーカスができていないか否か又はフォーカスが安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体だけでなく撮影者も移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
　図１１は、図１に示す画像処理装置１００の実施例３である撮像装置１１００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図１１に示す撮像装置１１００の特徴とする点は、要不要判定データ生成部１０３としてズーム情報処理部１１０１を備え、そのズーム情報処理部１１０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「ズーム情報」が設定され、メタデータ生成部１０５により、「ズーム情報」と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
　図１２は、図１１に示す撮像装置１１００における要不要判定部１０７の動作の一例を示すフローチャートである。
　まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「ズーム情報」を入力する（Ｓ５１）。なお、ズーム情報処理部１１０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するズーム情報Ｚ０（例えば、ズームレンズのレンズ位置やレンズ移動量など）を撮像部１０１から得てメタデータ生成部１０５へ出力する。
　次に、要不要判定部１０７は、入力されるズーム情報Ｚ０を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ５２）。
　次に、要不要判定部１０７は、今回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎと前回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎ－１とを上記記憶部から読み出し（Ｓ５３）、それらズーム情報Ｚ０＿ｎとズーム情報Ｚ０＿ｎ－１との差分の絶対値が閾値Ｔｈｒ＿Ｚよりも大きいか否か、すなわち、ズームレンズのレンズ位置が安定していないか否かを判断する（Ｓ５４）。
　ズームレンズのレンズ位置が安定していると判断した場合（Ｓ５４がＮｏ）、要不要判定部１０７は、今回取得された動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ５５）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ５６）。
　次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ－１とを上記記憶部から読み出し（Ｓ５７）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ－１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ５８）。
　前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ５８がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ５９）、動画像ファイル管理部１０８に出力する（Ｓ６０）。
　次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ６１がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ６１がＮｏ）、Ｓ５１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
　一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ５８がＮｏ）、要不要判定部１０７は、Ｓ５９及びＳ６０を実行せずに、動画撮影が終了したか否かを判断する（Ｓ６１）。
　また、要不要判定部１０７は、ズームレンズのレンズ位置が安定していないと判断した場合（Ｓ５４がＹｅｓ）、今回取得された動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝－１を設定し（Ｓ６２）、その要不要判定フラグＦＬＧ＿ｎ＝－１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ６３）。
　次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ－１とを上記記憶部から読み出し（Ｓ６４）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ－１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ６５）。
　今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ６５がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ６６）、動画像ファイル管理部１０８に出力し（Ｓ６７）、動画撮影が終了したか否かを判断する（Ｓ６１）。
　一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ６５がＮｏ）、要不要判定部１０７は、Ｓ６６及びＳ６７を実行せずに、動画撮影が終了したか否かを判断する（Ｓ６１）。
　そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
　図１１に示す撮像装置１１００では、ズームレンズのレンズ位置が安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体が撮影者に対して前後方向に移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
　なお、不要な動画像フレームの要不要判定処理に使用される情報は、上述した実施例１～３のように、被写体の位置やサイズ、フォーカス情報、又はズーム情報に限定されない。例えば、画像処理後の各動画像フレームの輝度階調のヒストグラムを使用してもよい。
　また、上述した被写体の位置やサイズ、フォーカス情報、ズーム情報、及び輝度階調のヒストグラムのうち、２つ以上の情報を組み合わせて、不要な動画像フレームの要不要判定処理に使用してもよい。
　図１３は、図１に示す画像処理装置１００の実施例４である撮像装置１３００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図１３に示す撮像装置１３００の特徴とする点は、要不要判定データ生成部１０３として無線アンテナ１３０１及び受信信号強度検出部１３０２を備え、受信信号強度検出部１３０２により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての受信信号強度情報（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ　Ｓｉｇｎａｌ　Ｓｔｒｅｎｇｔｈ　Ｉｎｄｉｃａｔｉｏｎ）Ｒ０が検出され、メタデータ生成部１０５により、受信信号強度情報Ｒ０と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。なお、無線アンテナ１３０１は、被写体に備えられる送信機から送信される信号や撮像装置１３００から送信され被写体に反射した信号を受信するものとする。
　図１４は、図１３に示す撮像装置１３００における要不要判定部１０７の動作の一例を示すフローチャートである。
　まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「受信信号強度情報」を入力する（Ｓ７１）。なお、受信信号強度検出部１３０２は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応させて、無線アンテナ１３０１により受信される受信信号のレベルを受信信号強度情報Ｒ０としてメタデータ生成部１０５へ出力する。
　次に、要不要判定部１０７は、入力される受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否か、すなわち、撮像装置１３００に対して被写体が遠い位置にあるか否かを判断する（Ｓ７２）。
　被写体が遠い位置にないと判断した場合（Ｓ７２がＮｏ）、要不要判定部１０７は、今回取得された動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ７３）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ７４）。
　次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ－１とを上記記憶部から読み出し（Ｓ７５）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ－１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ７６）。
　前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ７６がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ７７）、動画像ファイル管理部１０８に出力する（Ｓ７８）。例えば、図１５に示すように、識別情報ＰＩＤ＝１５～２２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝２２に対応する要不要判定フラグＦＬＧ＿ｎが「１」で、かつ、識別情報ＰＩＤ＝２１に対応する要不要判定フラグＦＬＧ＿ｎ－１が「－１」のとき、要不要判定部１０７は、末尾情報Ｋｊと識別情報ＰＩＤ＝２１とを統合して動画像ファイル管理部１０８に出力する。
　次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ７９がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ７９がＮｏ）、Ｓ７１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
　一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ７６がＮｏ）、要不要判定部１０７は、Ｓ７７及びＳ７８を実行せずに、動画撮影が終了したか否かを判断する（Ｓ７９）。
　また、要不要判定部１０７は、被写体が遠い位置にあると判断した場合（Ｓ７２がＹｅｓ）、今回取得された動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝－１を設定し（Ｓ８０）、その要不要判定フラグＦＬＧ＿ｎ＝－１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ８１）。
　次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ－１とを上記記憶部から読み出し（Ｓ８２）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ－１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ８３）。
　今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ８４がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ８４）、動画像ファイル管理部１０８に出力し（Ｓ８５）、動画撮影が終了したか否かを判断する（Ｓ７９）。例えば、図１５に示すように、識別情報ＰＩＤ＝１５～２２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝１６に対応する要不要判定フラグＦＬＧ＿ｎが「－１」で、かつ、識別情報ＰＩＤ＝１５に対応する要不要判定フラグＦＬＧ＿ｎ－１が「１」のとき、要不要判定部１０７は、先頭情報Ｋｉと識別情報ＰＩＤ＝１６とを統合して動画像ファイル管理部１０８に出力する。
　一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを続けて取得していると判断した場合（Ｓ８３がＮｏ）、要不要判定部１０７は、Ｓ８４及びＳ８５を実行せずに、動画撮影が終了したか否かを判断する（Ｓ７９）。
　そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
　図１３に示す撮像装置１３００では、受信信号強度情報Ｒ０に応じて、動画像フレームの要不要が判定されるため、例えば、撮像装置１３００に対して被写体が前後に移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
　なお、上述の撮像装置１３００では、要不要判定部１０７において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要判定処理を行う構成であるが、受信信号強度検出部１３０２において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要判定処理を行うように構成してもよい。このように構成する場合、メタデータ生成部１０５において、不要な動画像フレームであることを示すフラグと、その動画像フレームに対応する識別情報とが統合されてメタデータが生成される。また、動画像ファイル管理部１０８は、そのメタデータにおける識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。また、要不要判定部１０７を省略することができる。
　図１６は、図１に示す画像処理装置１００の実施例５である撮像装置１６００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図１６に示す撮像装置１６００の特徴とする点は、要不要判定データ生成部１０３の代わりに、縮小画像生成部１６０１を備え、その縮小画像生成部１６０１により、画像処理後の動画像の各動画像フレームがそれぞれ縮小され、それら縮小画像と識別情報ＰＩＤとが統合されてメタデータとして要不要判定データ生成部１０３へ出力される点である。
　図１６に示す要不要判定データ生成部１０３は、入力されるメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。図１６に示す要不要判定データ生成部１０３で生成される要不要判定データとしては、例えば、上述した被写体の位置やサイズ又は輝度階調のヒストグラムなどとする。
　なお、図１６に示す要不要判定部１０７や動画像ファイル管理部１０８の動作は、上述した実施例１～４における要不要判定部１０７や動画像ファイル管理部１０８の動作と同様とする。また、図１６に示す要不要判定データ生成部１０３は、要不要判定部１０７の内部に設けられてもよい。
　このように、図１６に示す撮像装置１６００は、要不要判定データを生成する際、縮小画像を用いるため、要不要判定データを生成する際に撮像装置１６００にかかる負荷を抑えることができる。
　図１７は、本発明の実施形態の画像処理システムを示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図１７に示す画像処理システムは、画像処理装置１００と、サーバ１７００とを有し、画像処理装置１００とサーバ１７００とが互いにネットワーク１７０１を介してデータを送受信する。
　図１７に示す画像処理装置１００において、図１に示す画像処理装置１００と異なる点は、不要な動画像フレームの判定処理を画像処理装置１００の外部のサーバ１７００で行わせている点である。
　すなわち、図１７に示す画像処理装置１００の送信部１７０２は、メタデータ生成部１０５で生成されるメタデータをサーバ１７００へ送信する。
　また、図１７に示すサーバ１７００の要不要判定部１７０３は、受信部１７０４で受信されるメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定し、その判定結果を送信部１７０５により画像処理装置１００へ送信する。
　そして、図１７に示す画像処理装置１００の動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、受信部１７０６で受信される判定結果により、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報を、データが無い旨の情報に書き換える。
　なお、図１７に示す記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、図１７に示す動画像ファイル管理部１０８は、このテーブルを用いて、サーバ１７００から送信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
　また、図１７に示す画像処理装置１００は、上述した実施例１～５の何れかの撮像装置に置き換えることができる。
　このように、図１７に示す画像処理システムは、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００側で行う構成であるため、画像処理装置１００にかかる負荷を抑えることができる。
　図１８は、本発明の他の実施形態の画像処理システムを示す図である。なお、図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図１８に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、要不要判定データ生成部１０３の代わりに、図１６に示す縮小画像生成部１６０１が画像処理装置１００に備えられているとともに、サーバ１７００に要不要判定データ生成部１８００が備えられている点である。
　すなわち、画像処理装置１００の縮小画像生成部１６０１により、画像処理後の動画像の各動画像フレームそれぞれの縮小画像が生成され、メタデータ生成部１０５により縮小画像と識別情報ＰＩＤとが統合されてメタデータとしてネットワーク１７０１を介して画像処理装置１００からサーバ１７００へ送信される。
　また、サーバ１７００の要不要判定データ生成部１８００により、受信されるメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データが生成される。なお、要不要判定データ生成部１８００で生成される要不要判定データは、例えば、上述した被写体の位置やサイズ又は輝度階調のヒストグラムなどとする。
　また、サーバ１７００の要不要判定部１７０３は、要不要判定データ生成部１８００で生成された要不要判定データに基づいて、受信されるメタデータにおける識別情報に対応する動画像フレームが編集時に不要な動画像フレームであるか否かを判定し、その判定結果を送信部１７０５により画像処理装置１００へ送信する。
　そして、画像処理装置１００の動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、受信部１７０６で受信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報をデータが無い旨の情報に書き換える。
　なお、図１８に示す記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、図１８に示す動画像ファイル管理部１０８は、このテーブルを用いて、サーバ１７００から送信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
　このように、図１８に示す画像処理システムは、要不要判定データ生成部１８００をサーバ１７００に備えているため、画像処理装置１００にかかる負荷を抑えることができる。また、図１８に示す画像処理システムは、要不要判定データを生成する際、縮小画像を用いるため、要不要判定データを生成する際にサーバ１７００にかかる負荷を抑えることができる。
　図１９は、本発明の他の実施形態の画像処理システムを示す図である。なお、図１に示す画像処理装置１００の構成や図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図１９に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、画像処理装置１００が要不要判定部１０７、負荷状態測定部１９００、及び分配切替部１９０１をさらに備えている点である。
　この負荷状態測定部１９００は、画像処理装置１００に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出部の一例である。なお、特許請求の範囲における検出手段は、例えば、負荷状態測定部１９００とする。
　負荷状態測定部１９００は、画像処理装置１００のリソース（例えば、ＣＰＵやメモリなど）の負荷状態を測定する。
　分配切替部１９０１は、負荷状態測定部１９００で測定される負荷状態に応じて、メタデータ生成部１０５で生成されるメタデータの送り先として、サーバ１７００の要不要判定部１７０３及び画像処理装置１００の要不要判定部１０７のどちらか一方に切り替える。例えば、分配切替部１９０１は、画像処理装置１００のリソースにかかっている負荷が高い場合、メタデータをサーバ１７００の要不要判定部１７０３へ送り、画像処理装置１００のリソースにかかっている負荷が高くない場合、メタデータを画像処理装置１００の要不要判定部１０７に送る。
　このように、図１９に示す画像処理システムは、画像処理装置１００のリソースにかかる負荷が高い場合、動画像フレームの要不要判定処理を行う際に画像処理装置１００のリソースを十分に利用することができないと判断して、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００で行わせる構成であるため、動画像フレームの要不要判定処理の効率を向上させることができる。
　図２０は、本発明の他の実施形態の画像処理システムを示す図である。なお、図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図２０に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、画像処理装置１００が要不要判定部１０７、電源モード検知部２０００、及び分配切替部２００１をさらに備えている点である。
　この電源モード検知部２０００は、画像処理装置１００に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出部の一例である。なお、特許請求の範囲における検出手段は、例えば、電源モード検知部２０００とする。
　電源モード検知部２０００は、画像処理装置１００の電源モード（例えば、画像処理装置１００の各部の全てに電力が供給される起動モードや画像処理装置１００の各部の一部に電力が供給される節電（待機）モード）を検知する。
　分配切替部２００１は、電源モード検知部２０００で検知される電源モードに応じて、メタデータ生成部１０５で生成されるメタデータの送り先を、サーバ１７００の要不要判定部１７０３及び画像処理装置１００の要不要判定部１０７のどちらか一方に切り替える。例えば、分配切替部２００１は、画像処理装置１００の電源モードが「節電（待機）モード」である場合、メタデータをサーバ１７００の要不要判定部１７０３へ送り、画像処理装置１００の電源モードが「起動モード」である場合、メタデータを画像処理装置１００の要不要判定部１０７に送る。
　このように、図２０に示す画像処理システムは、画像処理装置１００の電源モードが「節電（待機）モード」である場合、動画像フレームの要不要判定処理を行う際に画像処理装置１００のリソースを十分に利用することができないと判断して、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００で行わせる構成であるため、動画像フレームの要不要判定処理の効率を向上させることができる。
　図２１は、本発明の他の実施形態の画像処理システムを示す図である。
　図２１に示す画像処理システムは、入力される動画像を記録部１０６ａに記録する画像処理装置１００ａと、記録部１０６ａから動画像を読み出す画像読出し装置１０８ａとを備える。
　図２１に示す記録部１０６ａは、画像処理装置１００ａに内蔵の記録部（例えば、ハードディスク、ＲＡＭ(Ｒａｎｄｏｍ　Ａｃｅｓｓ　Ｍｅｍｏｒｙ)など）でも画像処理装置１００に着脱可能な外部記録部（例えば、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の媒体、メモリカード、又はＵＳＢメモリなど）でもよく、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、不揮発性メモリ、又はフラッシュメモリなどにより構成される。図２１に示す記録部１０６ａは、外部記録部を想定している。なお、記録部１０６ａが画像処理装置１００ａに内蔵される場合は、画像処理装置１００ａと画像読出し装置１０８ａとが互いに通信線などで接続されるものとする。
　画像処理装置１００ａは、要不要判定データ生成部１０３ａと、画像符号化部１０４ａと、メタデータ生成部１０５ａと、制御処理部１０９ａとを備える。なお、制御処理部１０９ａは、画像処理装置１００ａの各部の動作を制御するものとする。
　要不要判定データ生成部１０３ａは、外部（例えば、撮像装置や外部記録部など）から画像処理装置１００ａに入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。
　画像符号化部１０４ａは、外部から画像処理装置１００ａに入力される動画像を符号化するとともに、その符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録部１０６ａに記録する。例えば、画像符号化部１０４ａは、図２２に示すように、入力される動画像に対してＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ ｐｈａｓｅ ２）形式の符号化を行うとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳ（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）パケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報ＰＩＤ（Ｐａｃｋｅｔ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）（Ｋ、Ｋ＋１、・・・）を付与して記録部１０６ａに記録する。
　なお、記録部１０６ａは、画像符号化部１０４ａにおいて各データにそれぞれ付与された識別情報と、記録部１０６ａ内の記録位置を示す情報との対応関係を示す識別情報／記録位置テーブルを備える。例えば、記録部１０６ａは、図２３Ａに示すように、識別情報ＰＩＤと、記録部１０６ａ内のクラスタの位置を示すクラスタ番号との対応関係を示す識別情報／記録位置テーブルとしてのディレクトリを備える。
　また、記録部１０６ａは、記録部１０６ａ内の記録位置を示す情報と、それらの記録位置におけるデータの状態を示す情報（例えば、他の記録位置にデータが続く際のその記録位置を示す情報、データがこの記録位置で終わることを示す情報、又はこの記録位置にデータが無いことを示す情報）との対応関係を示す記録位置／データ状態情報テーブルを備える。例えば、記録部１０６ａは、図２３Ｂに示すように、記録部１０６ａ内のクラスタの位置を示すクラスタ番号と、各クラスタ番号におけるデータの状態を示す情報（例えば、他のクラスタにデータが続く際のそのクラスタの位置を示すクラスタ番号、データがこのクラスタで終わることを示す情報：「ＦＦＦＦ」、又はこのクラスタにデータが無いことを示す情報：「００００」）との対応関係を示す記録位置／データ状態情報テーブルとしてのＦＡＴ（Ｆｉｌｅ　Ａｌｌｏｃａｔｉｏｎ　Ｔａｂｌｅ）を備える。
　メタデータ生成部１０５ａは、符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成して、その生成したメタデータを記録部１０６ａに記録する。例えば、メタデータ生成部１０５ａは、図２２に示すように、符号化後の動画像フレームｆ１の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋと、動画像フレームｆ１に対応する要不要判定データとを統合することにより動画像フレームｆ１に対応するメタデータを生成して記録部１０６ａに記録する。また、メタデータ生成部１０５ａは、符号化後の動画像フレームｆ２の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋ＋ｎ＋１と、動画像フレームｆ２に対応する要不要判定データとを統合することにより動画像フレームｆ２に対応するメタデータを生成して記録部１０６ａに記録する。なお、要不要判定データと統合される識別情報ＰＩＤは、符号化後の動画像フレームの分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤに限定されない。
　なお、画像符号化部１０４ａは、外部から画像処理装置１００ａに入力される動画像を符号化するとともに、その符号化後の動画像の各動画像フレームにそれぞれ識別情報を付与して記録部１０６ａに記録するように構成してもよい。この場合、画像符号化部１０４ａにおいて各動画像フレームにそれぞれ付与された識別情報と、記録部１０６ａ内の記録位置を示す情報との対応関係を示す識別情報／記録位置テーブルが記録部１０６ａに備えられる。また、メタデータ生成部１０５ａは、符号化後の動画像フレームに付与された識別情報と、その動画像フレームに対応する要不要判定データとを統合することによりメタデータを生成して、その生成したメタデータを記録部１０６ａに記録する。
　また、図２１に示す画像読出し装置１０８ａは、例えば、パーソナルコンピュータなどであり、要不要判定部１０７ａと、読出し用識別情報／記録位置テーブル１１０ａと、読出し用記録位置／データ状態情報テーブル１１１ａと、読出し制御部１１２ａと、読出し部１１３ａと、制御処理部１１４ａとを備える。なお、制御処理部１１４ａは、画像読出し装置１０８ａ内の各部の動作を制御するものとする。また、要不要判定部１０７ａ、読出し制御部１１ａ２、読出し部１１３ａ、及び制御処理部１１４ａなどは、例えば、マイクロコンピュータなどにより構成されるものとする。
　要不要判定部１０７ａは、記録部１０６ａから読み出したメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する。
　読出し用識別情報／記録位置テーブル１１０ａは、記録部１０６ａ内の識別情報／記録位置テーブルと同じ内容のテーブルであり、例えば、図２３Ａに示すディレクトリと同様とする。
　読出し用記録位置／データ状態情報テーブル１１１ａは、記録部１０６ａ内の記録位置／データ状態情報テーブルと同じ内容のテーブルであり、例えば、図２３Ｂに示すＦＡＴと同様とする。
　読出し制御部１１２ａは、読出し用識別情報／記録位置テーブル１１０ａや読出し用記録位置／データ状態情報テーブル１１１ａを用いて、記録部１０６ａに記録される動画像ファイルの各動画像フレームのうち、要不要判定部１０７ａにより必要な動画像フレームであると判定された動画像フレームのみを記録部１０６ａから読み出す。
　読出し部１１３ａは、読出し制御部１１２ａにより記録部１０６ａから読み出された動画像ファイルを、画像読出し装置１０８ａの内部若しくは外部で実行される動画像の編集プログラムや再生プログラム、又は、画像読出し装置１０８ａの内部若しくは外部に設けられる表示装置に出力する。
　図２４は、画像読出し装置１０８ａの動作の一例を示すフローチャートである。
　まず、要不要判定部１０７ａは、画像読出し装置１０８ａの内部又は外部の動画像の編集プログラムや再生プログラムなどから記録部１０６ａ内の動画像ファイルの読出し要求などがあると（Ｓ１１ａがＹｅｓ）、その読出し要求などに示される動画像ファイルの各動画像フレームのうちの１以上の動画像フレームに対応するメタデータを記録部１０６ａから読み出す（Ｓ１２ａ）。
　次に、要不要判定部１０７ａは、読み出したメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームであるか否かを判定する（Ｓ１３ａ）。
　必要な動画像フレームではないと判定した場合（Ｓ１３ａがＮｏ）、要不要判定部１０７ａは、読出し要求などに示される動画像ファイルの各動画像フレームのうち、必要な動画像フレームが全て記録部１０６ａから読み出されたか否かを判断する（Ｓ１４ａ）。
　要不要判定部１０７ａは、必要な動画像フレームが全て読み出されたと判断した場合（Ｓ１４ａがＹｅｓ）、動画像ファイルの読出し処理を終了し、必要な動画像フレームが全て読み出されていないと判断した場合（Ｓ１４ａがＮｏ）、Ｓ１２ａに戻り、次の１以上の動画像フレームに対応するメタデータを記録部１０６ａから読み出す。
　また、上記Ｓ１３ａにおいて、記録部１０６ａから読み出したメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームであると判定された場合（Ｓ１３ａがＹｅｓ）、読出し制御部１１２ａは、読出し用識別情報／記録位置テーブル１１０ａ及び読出し用記録位置／データ状態情報テーブル１１１ａを参照して（Ｓ１５ａ）、その必要な動画像フレームを記録部１０６ａから読み出し（Ｓ１６ａ）、必要な動画像フレームが全て読み出されたか否かを判断する（Ｓ１４ａ）。
　例えば、図２２に示す動画像フレームｆ２が必要と判定された場合、読出し制御部１１２ａは、図２３Ａに示すディレクトリを用いて、動画像フレームｆ２の識別情報ＰＩＤ＝Ｋ＋ｎ＋１に対応する記録部１０６ａ内のクラスタの位置を示すクラスタ番号として「０００３」を特定する。次に、読出し制御部１１２ａは、図２３Ｂに示すＦＡＴを用いて、特定したクラスタ番号「０００３」に記録されるデータを読み出すとともに、次のクラスタ番号「０００４」に記録されるデータを読み出す。
　なお、図２４に示すフローチャートでは、メタデータ毎に、すなわち、動画像フレーム毎に、動画像フレームの要不要判定を行う構成であるが、所定の動画像フレーム数毎に、動画像フレームの要不要判定を行うように構成してもよい。なお、上記所定の動画像フレーム数は、動画像の編集時や再生時に必要な動画像フレームの量に基づいて、ユーザなどにより予め設定されていてもよい。このように構成することにより、要不要判定部１０７ａの演算量を低減することができる。
　また、画像読出し装置１０８ａは、記録部１０６ａに記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６ａの記録位置を示す情報とが対応付けられたテーブルを備えていてもよい。この場合、読出し制御部１１２ａは、このテーブルを用いて、要不要判定部１０７ａにより必要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６ａの記録位置に記録されるデータのみを記録部１０６ａから読み出すように構成してもよい。
　図２１に示す画像処理システムは、編集作業や再生作業の前段階において、動画像ファイルの各動画像フレームのうち、必要な動画像フレームと判定された動画像フレームを記録部１０６ａから読み出す構成であるため、動画像ファイルを記録部１０６ａから読み出す際、不要な動画像フレーム以外が読み出される。このように、編集作業や再生作業の前段階において不要な動画像フレームが除かれた動画像ファイルを記録部１０６ａから読み出すことができるため、編集作業時や再生作業時において、動画像ファイルを編集用プログラムや再生用プログラムにロードする時間を短縮することができ、編集作業や再生作業の効率低下を抑えることができる。
　また、図２１に示す画像処理システムは、必要な動画像フレームに対応する記録部１０６ａの記録位置を特定するために、動画像フレームの分割後の各データや各動画像フレームに付与される識別情報を使用する構成であるため、メタデータを生成する際やメタデータを読み出す際のデータ処理量を少なくすることができ、画像処理装置１００ａや画像読出し装置１０８ａにかかる負荷を抑えることができる。
　また、画像符号化部１０４ａは、入力される動画像に対して、ＭＰＥＧ形式の符号化を行う場合、例えば、図２５に示すように、ＳＨ（Ｓｅｑｕｅｎｃｅ　Ｈｅａｄｅｒ）及びＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）の圧縮単位（例えば、Ｉフレーム（Ｉｎｔｒａ　Ｐｉｃｔｕｒｅ）、Ｂ１フレーム～Ｂ３フレーム（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　Ｐｒｅｄｉｃｔｉｖｅ　Ｐｉｃｔｕｒｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｉｖｅ　Ｐｉｃｔｕｒｅ））で符号化を行う。この場合、読出し制御部１１２ａは、必要な動画像フレームが含まれるＧＯＰを記録部１０６ａから読み出す。図２５の例では、必要な動画像の先頭フレームＢ１が含まれるＧＯＰに対応するクラスタ番号「０００２」に記録されるデータを記録部１０６ａから読み出すとともに、必要な動画像の末尾フレームＢ２’が含まれるＧＯＰに対応するクラスタ番号「００１４」に記録されるデータを記録部１０６ａから読み出す。
　図２６Ａは、画像処理装置１００ａの実施例１としての撮像装置６００ａを備える画像処理システムを示す図である。なお、図２１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図２６Ａに示す撮像装置６００ａは、例えば、デジタルカメラなどであり、撮像部１０１ａと、画像処理部１０２ａと、要不要判定データ生成部１０３ａと、画像符号化部１０４ａと、メタデータ生成部１０５ａと、制御処理部１０９ａとを備える。
　撮像部１０１ａは、例えば、レンズによってＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し静止画像フレーム又は複数の動画像フレームからなる動画像を得る。
　画像処理部１０２ａは、撮像部１０１ａにより得られる静止画像又は動画像の各動画像フレームに対して、シャープネス補正、コントラスト補正、輝度・色差信号生成、及びホワイトバランス補正などの各種画像処理を行う。
　画像符号化部１０４ａは、画像処理後の静止画像フレームに対してＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式などの符号化を行う。また、画像符号化部１０４ａは、画像処理後の動画像に対してＭＰＥＧ形式などの符号化を行う。
　図２６Ａに示す撮像装置６００ａの特徴とする点は、要不要判定データ生成部１０３ａとして被写体検出処理部６０１ａを備え、その被写体検出処理部６０１ａにより、画像処理後の動画像の各動画像フレームにおいて、それぞれ、要不要判定データとしての「被写体の位置」及び「被写体のサイズ」が検出され、メタデータ生成部１０５ａにおいて、検出された「被写体の位置」及び「被写体のサイズ」と、識別情報ＰＩＤとが統合されてメタデータとして記録部１０６ａに記録される点である。
　図２７は、図２６Ａに示す要不要判定部１０７ａの動作の一例を示すフローチャートである。
　まず、要不要判定部１０７ａは、記録部１０６ａから読み出したメタデータに示される「被写体の位置」及び「被写体のサイズ」を入力する（Ｓ２１ａ）。なお、被写体検出処理部６０１ａは、画像処理後の動画像フレーム内において被写体を検出した後、その検出した被写体を囲む矩形範囲を被写体エリアとし、その被写体エリアの左上の画素位置（ｘ０，ｙ０）を「被写体の位置」とする。また、被写体検出処理部６０１ａは、「被写体のサイズ」として被写体エリアの横方向の画素数をＷとするとともに被写体エリアの縦方向の画素数をＨとする。また、被写体検出処理部６０１ａは、動画像フレームから被写体が検出されない場合、ｘ０を０よりも小さい値にする。また、動画像フレームの左上の画素位置を（１，１）とする。
　次に、要不要判定部１０７ａは、ｘ０が０よりも小さいか否か、すなわち、被写体が検出されていないか否かを判断する（Ｓ２２ａ）。
　被写体が検出されていると判断した場合（Ｓ２２ａがＮｏ）、要不要判定部１０７ａは、Ｗが閾値Ｔｈｒ＿Ｗよりも小さいか否か又はＨが閾値Ｔｈｒ＿Ｈよりも小さいか否か、すなわち、被写体が所定サイズよりも小さいか否かを判断する（Ｓ２３ａ）。なお、閾値Ｔｈｒ＿Ｗや閾値Ｔｈｒ＿Ｈは、ユーザなどにより予め設定されていてもよい。
　被写体が所定サイズよりも大きいと判断した場合（Ｓ２３ａがＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｌ＿ｘよりも小さいか否か、すなわち、被写体エリアが動画像フレームの左端より外側に外れているか否かを判断する（Ｓ２４ａ）。なお、閾値Ｔｈｒ＿Ｌ＿ｘは、ユーザなどにより予め設定されていてもよい。
　被写体エリアが動画像フレームの左端より外側に外れていないと判断した場合（Ｓ２４ａがＮｏ）、要不要判定部１０７ａは、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｒ＿ｘよりも大きいか否か、すなわち、被写体エリアの右端が動画像フレームの右端より外側に外れているか否かを判断する（Ｓ２５ａ）。なお、閾値Ｔｈｒ＿Ｒ＿ｘは、ユーザなどにより予め設定されていてもよい。
　被写体エリアの右端が動画像フレームの右端より外側に外れていないと判断した場合（Ｓ２５ａがＮｏ）、要不要判定部１０７ａは、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｕ＿ｙよりも大きいか否か、すなわち、被写体エリアの上端が動画像フレームの上端より外側に外れているか否かを判断する（Ｓ２６ａ）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。
　被写体エリアの上端が動画像フレームの上端より外側に外れていないと判断した場合（Ｓ２６ａがＮｏ）、要不要判定部１０７ａは、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｄ＿ｙよりも小さいか否か、すなわち、被写体エリアの下端が動画像フレームの下端より外側に外れているか否かを判断する（Ｓ２７ａ）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。
　被写体エリアの下端が動画像フレームの下端より外側に外れていないと判断した場合（Ｓ２７ａがＮｏ）、要不要判定部１０７ａは、その動画像フレームを編集時や再生時に必要な動画像フレームであると判定して、記録部１０６ａから読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に必要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝１とともに、その識別情報を読出し制御部１１２ａに出力する（Ｓ２８ａ）。例えば、要不要判定部１０７ａは、図２８に示すように、被写体が所定サイズよりも大きく、かつ、被写体が動画像フレームの中央付近に存在している識別情報ＰＩＤ＝８～１１の各動画像フレームを編集時や再生時に必要な動画像フレーム（ＯＫ）として判定する。
　また、要不要判定部１０７ａは、「被写体が検出されていない（Ｓ２２ａがＹｅｓ）」、「被写体が所定サイズよりも小さい（Ｓ２３ａがＹｅｓ）」、「被写体エリアが動画像フレームの左端より外側に外れている（Ｓ２４ａがＹｅｓ）」、「被写体エリアが動画像フレームの右端より外側に外れている（Ｓ２５ａがＹｅｓ）」、「被写体エリアが動画像フレームの上端より外側に外れている（Ｓ２６ａがＹｅｓ）」、及び「被写体エリアが動画像フレームの下端より外側に外れている（Ｓ２７ａがＹｅｓ）」の少なくとも１つを判断すると、その動画像フレームを編集時や再生時に不要な動画像フレームであると判定して、記録部１０６ａから読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に不要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝－１とともに、その識別情報を読出し制御部１１２ａに出力する（Ｓ２８ａ）。例えば、要不要判定部１０７ａは、図２８に示すように、被写体が所定サイズよりも小さい識別情報ＰＩＤ＝７の動画像フレームや被写体が動画像フレームから外れている識別情報ＰＩＤ＝１２の動画像フレームを編集時や再生時に不要な動画像フレーム（ＮＧ）として判定する。
　そして、読出し制御部１１２ａは、要不要判定部１０７ａから要不要判定フラグＦＬＧ＝１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６ａから読み出し、要不要判定部１０７ａから要不要判定フラグＦＬＧ＝－１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６ａから読み出さない。
　図２６Ａに示す画像読出し装置１０８ａは、被写体の位置やサイズに応じて、動画像フレームの要不要が判定されるため、スポーツやレースの観戦時など被写体が激しく動く場合において取得される動画像ファイルの読出し時のデータ量の削減に有効である。
　なお、図２７に示す要不要判定部１０７ａの動作例では、メタデータに記述されている構図指標は被写体の位置やサイズに基づいており、動画像フレームの要不要判定を行う構成であるが、図２９に示すように、同じような構図の動画像フレームを連続して取得されるとき、それらの動画像フレームを編集時や再生時に不要な動画像フレームと判定するように構成してもよい。例えば、要不要判定部１０７ａにおいて、図２９に示す識別情報ＰＩＤ＝７に対応する動画像フレームの構図と、識別情報ＰＩＤ＝８、９に対応する動画像フレームの構図との差異が所定値以下であると判断されるとき、読出し制御部１１２ａは、識別情報ＰＩＤ＝９以降の動画像フレームを記録部１０６ａから読み出さないようにする。また、構図の差異が所定値以下のフレームが所定数以上連続する場合に、読出し制御部１１２ａは、連続するフレームの一部に相当する識別情報の動画像フレームを記録部１０６ａから読み出さないようにする。
　なお、上記フレーム間の差異の測定方法としては、図２９に示した、構図指標すなわち被写体の位置サイズの検出の差異の他に、画像の統計量に基づきフレーム間の差異を求めとも良い。フレーム間のレベル差の差分の合計値が所定値以下の場合、比較するフレームのヒストグラムの変化量の合計値が所定値以下の場合を不要とする等を使っても良い。フレーム間の差分を用いる場合、例えば、図２６Ｂに示すように、被写体検出処理部１０３ａの代わりにフレーム間差分を積分する差分演算部１０３１ａ手段を備える。また、ヒストグラムを用いる場合には、例えば、図２６Ｃに示すように、被写体検出処理部１０３ａの代わりにヒストグラムを算出しフレーム間のヒストグラムの差分またはその積分を計算するヒストグラム差分演算部１０３２ａを備える。
　図３０は、画像処理装置１００ａの実施例２としての撮像装置１０００ａを備える画像処理システムを示す図である。なお、図２６に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図３０に示す撮像装置１０００ａの特徴とする点は、要不要判定データ生成部１０３ａとしてフォーカス情報処理部１００１ａを備え、そのフォーカス情報処理部１００１ａにより、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「フォーカス情報」が設定され、メタデータ生成部１０５ａにより、「フォーカス情報」と識別情報ＰＩＤとが統合されてメタデータとして記録部１０６ａに記録される点である。
　図３１は、図３０に示す要不要判定部１０７ａの動作の一例を示すフローチャートである。
　まず、要不要判定部１０７ａは、記録部１０６ａから読み出したメタデータに示される「フォーカス情報」を入力する（Ｓ３１ａ）。なお、フォーカス情報処理部１００１ａは、撮像部１０１ａが動画像フレームを取得する度に、その動画像フレームに対応するコントラスト評価値Ｃ０を画像処理部１０２ａから得るとともに、フォーカスレンズのレンズ位置Ｌ０を撮像部１０１ａから得てメタデータ生成部１０５ａへ出力する。また、画像処理部１０２ａは、フォーカスができていないとき、すなわち、フォーカスレンズの焦点が合っていないとき、コントラスト評価値Ｃ０を０よりも小さい値にする。
　次に、要不要判定部１０７ａは、Ｃ０が０以上である、すなわち、フォーカスレンズの焦点が合っていると判断した場合（Ｓ３２ａがＮｏ）、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎを要不要判定部１０７ａの内部又は外部にある記憶部に保持する（Ｓ３３ａ）。
　次に、要不要判定部１０７ａは、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎと前回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎ－１とを上記記憶部から読み出し（Ｓ３４ａ）、それらレンズ位置Ｌ０＿ｎとレンズ位置Ｌ０＿ｎ－１との差分の絶対値が閾値Ｔｈｒ＿Ｌよりも大きいか否か、すなわち、フォーカスが安定していないか否かを判断する（Ｓ３５ａ）。なお、閾値Ｔｈｒ＿Ｌは、ユーザなどにより予め設定されていてもよい。
　フォーカスが安定していると判断した場合（Ｓ３５ａがＮｏ）、要不要判定部１０７ａは、その動画像フレームを編集時や再生時に必要な動画像フレームであると判定して、記録部１０６ａから読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に必要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝１とともに、その識別情報を読出し制御部１１２ａに出力する（Ｓ３６ａ）。
　また、要不要判定部１０７は、フォーカスができていないと判断した場合（Ｓ３２ａがＹｅｓ）又はフォーカスが安定していないと判断した場合（Ｓ３５ａがＹｅｓ）、その動画像フレームを編集時や再生時に不要な動画像フレームであると判定して、記録部１０６から読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に不要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝－１とともに、その識別情報を読出し制御部１１２ａに出力する（Ｓ３７ａ）。
　そして、読出し制御部１１２ａは、要不要判定部１０７ａから要不要判定フラグＦＬＧ＝１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６ａから読み出し、要不要判定部１０７ａから要不要判定フラグＦＬＧ＝－１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６ａから読み出さない。
　図３０に示す画像読出し装置１０８ａでは、フォーカスができていないか否か又はフォーカスが安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体だけでなく撮影者も移動している場合において取得される動画像ファイルの読出し時のデータ量の削減に有効である。
　図３２は、画像処理装置１００ａの実施例３としての撮像装置１２００ａを備える画像処理システムを示す図である。なお、図２６に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図３２に示す撮像装置１２００ａの特徴とする点は、要不要判定データ生成部１０３ａとしてズーム情報処理部１２０１ａを備え、そのズーム情報処理部１２０１ａにより、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「ズーム情報」が設定され、メタデータ生成部１０５ａにより、「ズーム情報」と識別情報ＰＩＤとが統合されてメタデータとして記録部１０６ａに記録される点である。
　図３３は、図３２に示す要不要判定部１０７ａの動作の一例を示すフローチャートである。
　まず、要不要判定部１０７ａは、記録部１０６ａから読み出したメタデータに示される「ズーム情報」を入力する（Ｓ４１ａ）。なお、ズーム情報処理部１２０１ａは、撮像部１０１ａが動画像フレームを取得する度に、その動画像フレームに対応するズーム情報Ｚ０（例えば、ズームレンズのレンズ位置やレンズ移動量など）を撮像部１０１ａから得てメタデータ生成部１０５ａへ出力する。
　次に、要不要判定部１０７ａは、入力されるズーム情報Ｚ０を要不要判定部１０７ａの内部又は外部にある記憶部に保持する（Ｓ４２ａ）。
　次に、要不要判定部１０７ａは、今回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎと前回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎ－１とを上記記憶部から読み出し（Ｓ４３ａ）、それらズーム情報Ｚ０＿ｎとズーム情報Ｚ０＿ｎ－１との差分の絶対値が閾値Ｔｈｒ＿Ｚよりも大きいか否か、すなわち、ズームレンズのレンズ位置が安定していないか否かを判断する（Ｓ４４ａ）。なお、閾値Ｔｈｒ＿Ｚは、ユーザなどにより予め設定されていてもよい。
　ズームレンズのレンズ位置が安定していると判断した場合（Ｓ４４ａがＮｏ）、要不要判定部１０７ａは、その動画像フレームを編集時や再生時に必要な動画像フレームであると判定して、記録部１０６ａから読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に必要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝１とともに、その識別情報を読出し制御部１１２ａに出力する（Ｓ４５ａ）。
　また、要不要判定部１０７ａは、ズームレンズのレンズ位置が安定していないと判断した場合（Ｓ４４ａがＹｅｓ）、その動画像フレームを編集時や再生時に不要な動画像フレームであると判定して、記録部１０６ａから読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に不要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝－１とともに、その識別情報を読出し制御部１１２ａに出力する（Ｓ４６ａ）。
　そして、読出し制御部１１２ａは、要不要判定部１０７ａから要不要判定フラグＦＬＧ＝１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６ａから読み出し、要不要判定部１０７ａから要不要判定フラグＦＬＧ＝－１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６ａから読み出さない。
　図３２に示す画像読出し装置１０８ａでは、ズームレンズのレンズ位置が安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体が撮影者に対して前後方向に移動している場合において取得される動画像ファイルの読出し時のデータ量の削減に有効である。
　なお、動画像の編集時や再生時に必要な動画像フレームの要不要判定処理に使用される情報は、上述したような被写体の位置やサイズ、フォーカス情報、又はズーム情報に限定されない。例えば、画像処理後の各動画像フレームの輝度階調のヒストグラムを使用してもよい。
　また、上述した被写体の位置やサイズ、フォーカス情報、ズーム情報、及び輝度階調のヒストグラムのうち、２つ以上の情報を組み合わせて、動画像の編集時や再生時に必要な動画像フレームの要不要判定処理に使用してもよい。
　図３４は、画像処理装置１００ａの実施例４としての撮像装置１４００ａを備える画像処理システムを示す図である。なお、図２６に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
　図３４に示す撮像装置１４００ａの特徴とする点は、要不要判定データ生成部１０３ａとして無線アンテナ１４０１ａ及び受信信号強度検出部１４０２ａを備え、受信信号強度検出部１４０２ａにより、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての受信信号強度情報（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ　Ｓｉｇｎａｌ　Ｓｔｒｅｎｇｔｈ　Ｉｎｄｉｃａｔｉｏｎ）Ｒ０が検出され、メタデータ生成部１０５ａにより、受信信号強度情報Ｒ０と識別情報ＰＩＤとが統合されてメタデータとして記録部１０６ａに記録される点である。なお、無線アンテナ１４０１ａは、被写体に備えられる送信機から送信される信号や撮像装置１４００ａから送信され被写体に反射した信号を受信するものとする。
　図３５は、図３４に示す要不要判定部１０７ａの動作の一例を示すフローチャートである。
　まず、要不要判定部１０７ａは、記録部１０６ａから読み出したメタデータに示される受信信号強度情報Ｒ０を入力する（Ｓ５１ａ）。なお、受信信号強度検出部１４０２ａは、撮像部１０１ａが動画像フレームを取得する度に、その動画像フレームに対応させて、無線アンテナ１４０１ａにより受信される受信信号のレベルを受信信号強度情報Ｒ０としてメタデータ生成部１０５ａへ出力する。
　次に、要不要判定部１０７ａは、入力される受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否か、すなわち、撮像装置１４００ａに対して被写体が遠いか否かを判断する（Ｓ５２ａ）。なお、閾値Ｔｈｒ＿Ｒは、ユーザなどにより予め設定されていてもよい。
　撮像装置１４００ａに対して被写体が遠くないと判断した場合（Ｓ５２ａがＮｏ）、要不要判定部１０７ａは、その動画像フレームを編集時や再生時に必要な動画像フレームであると判定して、記録部１０６ａから読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に必要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝１とともに、その識別情報を読出し制御部１１２ａに出力する（Ｓ５３ａ）。例えば、要不要判定部１０７ａは、図３６に示すように、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きい識別情報ＰＩＤ＝１５、２２の各動画像フレームを編集時や再生時に必要な動画像フレーム（ＯＫ）として判定する。
　また、要不要判定部１０７ａは、撮像装置１４００ａに対して被写体が遠いと判断した場合（Ｓ５２ａがＹｅｓ）、その動画像フレームを編集時や再生時に不要な動画像フレームであると判定して、記録部１０６ａから読み出したメタデータにおける識別情報に対応する動画像フレームが編集時や再生時に不要な動画像フレームである旨を示す要不要判定フラグＦＬＧ＝－１とともに、その識別情報を読出し制御部１１２ａに出力する（Ｓ５４ａ）。例えば、要不要判定部１０７ａは、図３６に示すように、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも小さい識別情報ＰＩＤ＝１６～２１の各動画像フレームを編集時や再生時に不要な動画像フレーム（ＮＧ）として判定する。
　そして、読出し制御部１１２ａは、要不要判定部１０７ａから要不要判定フラグＦＬＧ＝１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６ａから読み出し、要不要判定部１０７ａから要不要判定フラグＦＬＧ＝－１及び識別情報が出力されると、その識別情報に対応する動画像フレームを記録部１０６ａから読み出さない。
　図３４に示す画像読出し装置１０８ａでは、受信信号強度情報Ｒ０に応じて、動画像フレームの要不要が判定されるため、例えば、撮像装置１４００ａに対して被写体が前後に移動している場合において取得される動画像ファイルの読出し時のデータ量の削減に有効である。
　また、上述の撮像装置１４００ａでは、要不要判定部１０７ａにおいて、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要の判定が行われる構成であるが、撮像装置１４００ａの受信信号強度検出部１４０２ａにおいて、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要の判定が行われるように構成してもよい。このように構成する場合、メタデータ生成部１０５ａにおいて、必要な動画像フレームであることを示す要不要判定フラグＦＬＧ＝１と、その動画像フレームに対応する識別情報とが統合されてメタデータが生成される。また、読出し制御部１１２ａは、要不要判定フラグＦＬＧ＝１を含むメタデータにおける識別情報に対応する動画像フレームのみを記録部１０６ａから読み出す。このように構成される画像読出し装置１０８ａでは、要不要判定部１０７ａを省略することができる。
　なお、図２１に示す画像処理システムでは、画像処理装置１００ａと、画像読出し装置１０８ａとがそれぞれ独立した装置で構成されているが、図３７に示すように、画像読出し装置１０８ａの機能を画像処理装置１００ａに含めて一体の装置で構成してもよい。図３７に示す画像処理装置１００ａの各部の動作は上述した動作と同様であるため説明を省略する。
　また、上記各実施形態において、要不要判定部１０７ａが識別情報とともに要不要判定フラグＦＬＧ＝１のみを読出し制御部１１２ａに出力し、読出し制御部１１２ａが要不要判定フラグＦＬＧ＝１及び識別情報を受け取ったときだけ読出し動作を行うように構成してもよい。
　図３８は、本発明の他の実施形態の画像処理装置を示す図である。なお、図３８に示す画像処理装置１０は、例えば、複数の画像データの編集作業や再生作業の効率を向上させることを目的とする。
　図３８に示す画像処理装置１０は、入力部１１と、処理部１２と、出力部１３と、特徴データ取得部１４と、基準特徴データ取得部１５と、特徴データ評価部１６と、制御処理部１７とを備える。なお、入力部１１と特徴データ取得部１４とを一体に構成してもよい。また、本願における画像処理装置とは、画像データの処理に限定されず、画像の特徴データを用いた画像処理に用いる画像の評価や要不要判定など、画像に関連するデータの処理を意味するものとする。
　入力部１１は、画像データ（例えば、動画や複数の静止画）を外部（例えば、外部サーバや撮像装置など）から取得する。
　処理部１２は、入力部１１により取得される画像データのうち、制御処理部１７により要判定された画像データに対して、例えば、シャープネス補正、コントラスト補正、輝度・色差信号生成、ホワイトバランス補正、メタデータ付与、トリミング処理などの各種画像処理（制御）を行う。
　出力部１３は、処理部１２により各種画像処理された画像データを外部（例えば、表示装置や記録装置など）に出力する。
　特徴データ取得部１４は、画像データに対応する特徴データ（例えば、時系列に並ぶ複数の静止画にそれぞれ対応するメタデータ、動画のヘッダデータ、又は、タイムコードで動画のフレームやパケットに対応するデータ）を外部から取得する。
　基準特徴データ取得部１５は、基準特徴データを取得する。なお、基準特徴データ取得部１５は、基準特徴データを外部から取得しても良いし、予め保存しておいても良い。なお、基準特徴データ取得部１５は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ、又はフラッシュメモリなどにより構成され、ハードディスクなど画像処理装置１０に内蔵される記憶媒体であってもよいし、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、又はＵＳＢメモリなど画像処理装置１０に着脱可能な記憶媒体であってもよい。
　特徴データ評価部１６は、基準特徴データに基づいて特徴データの評価を行う。なお、基準特徴データは、例えば、画像データに対するユーザの満足度又は不満度を示すような評価項目によって評価した値とする。例えば、基準特徴データは、特徴データに対応する画像データのボケ、ブレ、暗明、色合い、鮮明度、画角ずれ、非対称、被写体のかぶりなどの評価項目によって評価した値とする。また、画像データに示される被写体が人や動物である場合、基準特徴データは、被写体の眼の開閉、顔の表情、顔の向き、眼の色（ストロボ撮影時の赤目など）などの評価項目によって評価した値とする。例えば、特徴データ評価部１６は、特徴データに対応する画像データ内の輪郭線や焦点の状態により、ブレやボケ、鮮明度などを評価する。また、画像処理装置１０に角速度センサや振動センサなどを備えている場合、シャッタタイミングにおけるそれらセンサの出力値を保存しておき、ブレの評価に用いることができる。また、例えば、特徴データ評価部１６は、画像データ全体の輝度を演算することにより、特徴データに対応する画像データの暗明の評価を行う。また、例えば、特徴データ評価部１６は、画像データ全体の色の傾向を解析することにより、特徴データに対応する画像データの色合いの評価を行う。また、例えば、特徴データ評価部１６は、特徴データに対応する画像データ内のある範囲で極端な焦点ボケの発生を検知することにより、指やストラップなどが撮像レンズにかぶるなどの被写体のかぶりの評価を行う。また、例えば、特徴データ評価部１６は、特徴データに対応する画像データ内の建造物、自然物、人などの垂直性や水平性を解析することにより、画角ずれの評価を行う。また、例えば、特徴データ評価部１６は、特徴データに対応する画像データ内の眼の部分の解析により、眼の開閉の評価を行う。また、例えば、特徴データ評価部１６は、特徴データに対応する画像データと各種表情パターンとの比較を行ったり、眼や口の形状の推定を行うことにより、顔の表情の評価を行う。また、例えば、特徴データ評価部１６は、特徴データに対応する画像データにおいて眼、鼻、口、耳の互いの位置関係や顔の輪郭線などの推定を行うことにより、顔の向きの評価を行う。また、例えば、特徴データ評価部１６は、特徴データと複数の基準特徴データとを比較して、その特徴データを段階的に分類して評価してもよい。また、例えば、特徴データ評価部１６は、特徴データを点数化して評価してもよい。また、例えば、特徴データ評価部１６は、特徴データと各項目にそれぞれ対応する基準特徴データとを比較して、特徴データの評価を各項目毎に行い、それら各項目毎の評価結果に基づいて、特徴データの総合的な評価を行うようにしてもよい。
　制御処理部１７は、入力部１１、処理部１２、出力部１３、特徴データ取得部１４、基準特徴データ取得部１５、及び特徴データ評価部１６のそれぞれの動作を制御する。また、制御処理部１７は、要不要判定部１７－１を備える。要不要判定部１７－１は、特徴データ評価部１６の評価結果に基づいて特徴データに対応する画像データの要不要判定を行なう。なお、特徴データ取得部１４、要不要判定部１７－１、及び処理部１２は、例えば、コンピュータとしてのＤＳＰ（Digital Signal Processor）が記録媒体に記録されるプログラムを実行することにより実現されてもよいし、コンピュータとしてのＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などに組み込まれるプログラムが実行されることにより実現されてもよい。また、上記記録媒体は、非一過性の記録媒体であってもよい。その非一過性の記録媒体は、特に限定されないが、例えば ＣＤ－ＲＯＭ等とする。
　図３９は、図３８に示す制御処理部１７の動作の一例を示すフローチャートである。
　まず、制御処理部１７は、特徴データ取得部１４により複数の画像データのうちの最初の画像データに対応する特徴データを取得させると（Ｓ２１ｂがＹｅｓ）、基準特徴データ取得部１５により取得されるデータから基準特徴データを取り出し（Ｓ２２ｂ）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ２３ｂ）。
　次に、制御処理部１７の要不要判定部１７－１は、特徴データ評価部１６の評価結果に基づいて取得した特徴データに対応する画像データの要不要判定を行う（Ｓ２４ｂ）。
　不要判定の場合（Ｓ２４ｂがＮｏ）、制御処理部１７は、特徴データ取得部１４により次の画像データに対応する特徴データを取得させ（Ｓ２５ｂ）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ２３ｂ）。
　一方、要判定の場合（Ｓ２４ｂがＹｅｓ）、制御処理部１７は、入力部１１により特徴データに対応する画像データを取得させた後（Ｓ２６ｂ）、処理部１２により要判定の画像データに対して各種画像処理を行なわせて（Ｓ２７ｂ）、出力部１３によりその画像処理後の画像データを出力させる（Ｓ２８ｂ）。
　そして、Ｓ２３で評価した特徴データに対応する画像データが複数の画像データのうちの最後の画像データでないと判断した場合（Ｓ２９ｂがＮｏ）、制御処理部１７は、特徴データ取得部１４により次の画像データに対応する特徴データを取得させて（Ｓ２５ｂ）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ２３ｂ）。
　一方、Ｓ２３で評価した特徴データに対応する画像データが複数の画像データのうちの最後の画像データであると判断した場合（Ｓ２９ｂがＹｅｓ）、制御処理部１７は、複数の画像データに対する画像処理を終了する。
　例えば、制御処理部１７は、特徴データ取得部１４により取得された特徴データに示される特徴種別が「輝度ヒストグラム」である場合、図４０に示す基準特徴データ取得部１５により取得されるデータテーブルから「輝度ヒストグラム」に対応する基準特徴データとして「ピーク位置範囲１０～２４５」を取り出す。このとき、特徴データ評価部１６において輝度のピーク位置が「ピーク位置範囲１０～２４５」よりも小さいという評価結果が出力されたとき、要不要判定部１７－１は、その画像データが暗すぎて必要ない画像データであると判断して、その画像データが不要判定である旨の制御データを入力部１１に送る。また、特徴データ評価部１６において輝度のピーク位置が「ピーク位置範囲１０～２４５」よりも大きいという評価結果が出力されたとき、要不要判定部１７－１は、その画像データが明るすぎて必要ない画像データであると判断して、その画像データが不要判定である旨の制御データを入力部１１に送る。一方、特徴データ評価部１６において輝度のピーク位置が「ピーク位置範囲１０～２４５」内にあるという評価結果が出力されたとき、要不要判定部１７－１は、その画像データが明るすぎず暗すぎない所望な画像データであると判断して、その画像データが要判定である旨の制御データを入力部１１に送る。
　また、例えば、制御処理部１７は、特徴データ取得部１４により取得された特徴データに示される特徴種別が「顔検出数」である場合、図４０に示す基準特徴データ取得部１５により取得されるデータテーブルから「顔検出数」に対応する基準特徴データとして「１以上」を取り出す。このとき、特徴データ評価部１６において顔検出数が「１以上」でないと評価結果が出力されたとき、要不要判定部１７－１は、その画像データが不要判定である旨の制御データを入力部１１に送る。一方、特徴データ評価部１６において顔検出数が「１以上」であると評価結果が出力されたとき、要不要判定部１７－１は、その画像データが要判定である旨の制御データを入力部１１に送る。
　これにより、入力部１１は、要判定の画像データのみを取得するため、処理部１２や出力部１３の出力先の負荷を低減することができる。なお、図３８に示す画像処理装置１０や後述する画像処理装置１０では、処理部１２により編集作業や再生作業を行わせているが、外部の画像処理装置の処理部を用いて編集作業や再生作業を行なわせてもよい。
　このように図３８に示す画像処理装置１０によれば、複数の画像データのうち、特徴データ評価部１６の評価結果に基づく画像データのみに対して各種画像処理を行い外部に出力する構成であるため、出力先の編集作業や再生作業の負荷を低減することができ、それら編集作業や再生作業の効率を向上させることができる。
　また、図３８に示す画像処理装置１０によれば、複数の画像データのうち、特徴データ評価部１６の評価結果に基づく画像データのみに対して各種画像処理を行う構成であるため、処理部１２の負荷を低減することができる。
　なお、画像処理装置１０は、図４１Ａに示すように、通信装置４１、４２を介して撮像装置４３（撮像部）から特徴データを取得してもよい。なお、通信装置４２及び撮像装置４３は、通信機能付きデジタルカメラ、カメラ付き携帯電話、スマートフォン、又は通信機能を有するアダプタを介した撮像装置などにより構成される。この場合、画像処理装置１０は、その特徴データに基づいて、その特徴データに対応する画像データの要不要判定を行い、要判定であった場合、その画像データを撮像装置４３に要求する。そして、画像処理装置１０は、要求した画像データを受信すると、その画像データ対して各種画像処理を行い、画像処理後の画像データを表示装置４４に送る。すなわち、要不要判定部１７－１は、要判定となった画像データを外部装置である撮像装置４３に要求する。なお、要不要判定部１７－１は、要判定となった画像データを他の外部装置から外部装置である撮像装置４３に画像データを要求させるようにしてもよい。
　また、図４１Ｂに示すように、撮像装置４３がネットワーク４５に接続されていてもよい。この場合、画像処理装置１０は、通信装置４２及びネットワーク４５を介して撮像装置４３のデータの送受信を行う。
　また、図４１Ｃに示すように、画像処理装置１０は、撮像装置４６（撮像部）を備えてもよい。この場合、画像処理装置１０は、撮像装置４６から送られてくる特徴データに基づいて、その特徴データに対応する画像データの要不要判定を行い、要判定であった場合、その画像データを撮像装置４６に要求する。そして、画像処理装置１０は、要求した画像データを受信すると、その画像データ対して各種画像処理を行い、画像処理後の画像データを表示装置４４に送る。また、この場合、特徴データ評価部１６は、外部の状況によって基準特徴データ取得部１５により取得されるデータから取り出すべき基準特徴データの見直しを行なってもよい。
　図４２は、本発明の他の実施形態の画像処理装置を示す図である。なお、図３８に示す構成と同じ構成には同じ符号を付しその説明を省略する。また、図４２に示す画像処理装置５０は、例えば、複数の画像データの編集作業や再生作業の効率を向上させることを目的とする。
　図４２に示す画像処理装置５０において、図３８に示す画像処理装置１０と異なる点は、電源状態検知部５１（状態検知部）と、評価方針生成部５２と、基準特徴データ生成部５３と、送信部５４と、受信部５５とをさらに備えている点である。
　電源状態検知部５１は、画像処理装置５０の電源種別や電源状態を逐次検知する。例えば、電源状態検知部５１は、画像処理装置５０の電源種別として「ＡＣ電源」又は「ＤＣ電源」を検知したり、電源状態として「ＤＣ電源の残容量」を検知したりする。なお、電源状態検知部５１は、ＤＣ電源の予想残時間、電流、電圧値などの電源状態について、瞬間値、過去の一定期間内の平均値として検知する。又は、過去の電源状態すべてをタイムスタンプとともに検知してもよい。ＡＣ電源は商用電源などの供給量に制限が無い電源であり、ＤＣ電源はバッテリー（蓄電池）などの残量や使用量に制限のある電源などを示す。
　評価方針生成部５２は、電源状態検知部５１が動作していることを検知すると、電源に関する評価方針を生成する。例えば、評価方針生成部５２は、画像処理装置５０の電源種別が「ＤＣ電源」であり、電源状態が「ＤＣ電源の残容量：２０％未満」である場合、「解像度がＶＧＡ（６４０×４８０）以下の画像を取得する」という評価方針を生成する。また、例えば、評価方針生成部５２は、画像処理装置５０の電源種別が「ＤＣ電源」であり、電源状態が「ＤＣ電源の残容量：２０％未満」である場合、「Ｘ方向、Ｙ方向の解像度に関わらず、画像領域内の総ピクセル数が６４０×４８０以下となる画像を選択する」という評価方針を生成してもよい。
　基準特徴データ生成部５３は、評価方針生成部５２により生成された評価方針及び電源状態検知部５１の検知結果に基づいて基準特徴データを生成する。
　図４２に示す要不要判定部１７－１は、特徴データに対応する画像データの要不要判定結果や画像データの識別情報を含む画像取得要求を送信部５４に送る。送信部５４は、要不要判定部１７－１から送られてくる画像取得要求をネットワークを介してサーバ５６に送信する。なお、ネットワークは、例えば、インターネット、ＬＡＮ、オンチップネットワークのほか、ＵＳＢやＰＣＩなどのインタフェースでもよい。すなわち、要不要判定部１７－１は、要判定となった画像データを外部装置であるサーバ５６に要求する。なお、要不要判定部１７－１は、要判定となった画像データを他の外部装置からサーバ５６に画像データを要求させるようにしてもよい。
　サーバ５６は、受信部５７と、選択部５８と、保存部５９と、送信部６０とを備える。
　受信部５７は、画像処理装置５０から送信される画像取得要求を受信する。
　選択部５８は、受信した画像取得要求に示される識別情報に対応する画像データを保存部５９に保存される複数の画像データの中から取り出す。
　送信部６０は、選択部５８により取り出された画像データをネットワークを介して画像処理装置５０に送信する。
　画像処理装置５０の受信部５５は、サーバ５６から送信される画像データを受信する。
　第２実施形態の入力部１１は、受信部５５により受信される画像データを処理部１２に送る。
　図４３は、基準特徴データ生成部５３の動作の一例を示すフローチャートである。
　基準特徴データ生成部５３は、評価方針生成部５２により生成された評価方針及び電源状態検知部５１の検知結果に基づいて、基準特徴データを生成した後（Ｓ６１ｂ）、その生成した基準特徴データを基準特徴データ取得部１５に保存する（Ｓ６２ｂ）。
　例えば、評価方針生成部５２などにより生成される評価方針として、図４４に示すデータテーブルを不図示の記憶部に予め記憶しておく。基準特徴データ生成部５３は、電源状態検知部５１により検知された画像処理装置５０の電源種別が「ＤＣ電源」であり、電源状態が「ＤＣ電源の残容量：１８％」である場合、図４４に示すデータテーブルから電源種別が「ＤＣ電源」、電源状態が「ＤＣ電源の残容量：２０％以下」に対応する基準特徴データとして「解像度：６４０×４８０以下」を取り出し基準特徴データ取得部１５に保存する。また、基準特徴データ生成部５３は、電源状態検知部５１により検知された画像処理装置５０の電源種別が「ＤＣ電源」であり、電源状態が「ＤＣ電源の残容量：３４％」である場合、図４４に示すデータテーブルから電源種別が「ＤＣ電源」、電源状態が「ＤＣ電源の残容量：２０％以上」に対応する基準特徴データとして「解像度：１２８０×９６０以下」を取り出し基準特徴データ取得部１５に保存する。また、基準特徴データ生成部５３は、電源状態検知部５１により検知された画像処理装置５０の電源種別が「ＡＣ電源」である場合、図４３に示すデータテーブルから電源種別が「ＡＣ電源」に対応する基準特徴データとして「解像度：無制限」を取り出し基準特徴データ取得部１５に保存する。すなわち、基準特徴データ生成部５３は、使用可能な電源容量が規定値以下である低エネルギー状態であるとき、非低エネルギー状態と比較して、取得する画像データのデータ量が少なくなるように、基準特徴データを生成する。
　図４５は、図４２に示す制御処理部１７の動作の一例を示すフローチャートである。
　まず、制御処理部１７は、特徴データ取得部１４により複数の画像データのうちの最初の画像データに対応する特徴データを取得させると（Ｓ８１ｂ）、基準特徴データ取得部１５により取得されるデータから基準特徴データを取り出し（Ｓ８２ｂ）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ８３ｂ）。
　次に、制御処理部１７の要不要判定部１７－１は、特徴データ評価部１６の評価結果に基づいて取得した特徴データに対応する画像データの要不要判定を行う（Ｓ８４ｂ）。
　不要判定の場合（Ｓ８４ｂがＮｏ）、制御処理部１７は、特徴データ取得部１４により次の画像データに対応する特徴データを取得させて（Ｓ８５ｂ）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ８３ｂ）。
　一方、要判定の場合（Ｓ８４ｂがＹｅｓ）、制御処理部１７は、送信部５４により画像取得要求をサーバ５６に送信させるとともに（Ｓ８６ｂ）、受信部５５により画像取得要求に対応する画像データを受信させた後（Ｓ８７ｂ）、処理部１２によりその画像データに対して各種画像処理を行なわせて（Ｓ８８ｂ）、出力部１３によりその画像処理後の画像データを出力させる（Ｓ８９ｂ）。
　そして、Ｓ８３で評価した特徴データに対応する画像データが複数の画像データのうちの最後の画像データでないと判断した場合（Ｓ９０ｂがＮｏ）、制御処理部１７は、特徴データ取得部１４により次の画像データに対応する特徴データを取得させて（Ｓ８５ｂ）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ８３ｂ）。
　一方、Ｓ８３ｂで評価した特徴データに対応する画像データが複数の画像データのうちの最後の画像データであると判断した場合（Ｓ９０ｂがＹｅｓ）、制御処理部１７は、複数の画像データに対する画像処理を終了する。
　例えば、制御処理部１７は、電源状態検知部５１により検知された画像処理装置５０の電源種別が「ＤＣ電源」であり、電源状態が「ＤＣ電源の残容量：１８％」である場合、基準特徴データ取得部１５により取得されるデータから基準特徴データとして「解像度：６４０×４８０以下」を取り出す。このとき、特徴データ評価部１６において特徴データに対応する画像データの解像度が「６４０×４８０」以下であるという評価結果が出力されると、要不要判定部１７－１は、その画像データを要判定とする。
　一方、特徴データ評価部１６において特徴データに対応する画像データの解像度が「６４０×４８０」よりも大きいという評価結果が出力されたとき、要不要判定部１７－１は、その画像データを不要判定とする。
　これにより、複数の画像データのうち、特徴データ評価部１６の評価結果に基づく画像データのみを処理部１２や出力部１３の出力先に送ることができるため、処理部１２や出力部１３の出力先の負荷を低減することができる。
　図４６は、本発明の他の実施形態の画像処理装置を示す図である。なお、図４２に示す構成と同じ構成には同じ符号を付しその説明を省略する。また、図４６に示す画像処理装置９０は、例えば、複数の画像データの編集作業や再生作業の効率を向上させることを目的とする。
　図４６に示す画像処理装置９０において、図４２に示す画像処理装置５０と異なる点は、電源状態検知部５１の代わりに接続状態判定部９１（状態検知部）を備えている点である。
　接続状態判定部９１は、画像処理装置９０の送信部５４や受信部５５から、ネットワークへの接続状態（接続又切断など）、ネットワークの種別（有線又は無線など)、ネットワークの規格（IEEE802.3abやIEEE802.11nなど）、ネットワークトラフィックに関する情報などをネットワーク情報として取得し、評価方針生成部５２及び基準特徴データ生成部５３にそれぞれ出力する。
　第３実施形態の評価方針生成部５２は、接続状態判定部９１が動作していることを検知すると、ネットワーク情報に関する評価方針を生成する。例えば、第３実施形態の評価方針生成部５２は、ネットワーク種別が「有線」であり、ネットワーク占有率（ネットワークトラフィック量の上限に対する現在のネットワークトラフィック量の割合）が「５０％以上」である場合、「解像度がＶＧＡ（６４０×４８０）以下の画像を取得する」という評価方針を生成する。また、評価方針生成部５２は、複数の基準特徴データを組み合わせてもよい。すなわち、例えば、評価方針生成部５２は、ネットワーク種別が「無線」であり、ネットワーク占有率が「８０％以上」である場合、「解像度がＶＧＡ（６４０×４８０）以下で、かつ、データサイズが２０ＫＢ以下の画像を取得する」という評価方針を生成してもよい。また、評価方針生成部５２は、基準特徴データを組み合わせる際、評価式を用いてもよい。
　図４７は、図４６に示す基準特徴データ生成部５３の動作の一例を示すフローチャートである。
　基準特徴データ生成部５３は、評価方針生成部５２により生成された評価方針及び接続状態判定部９１の判定結果（ネットワーク情報）に基づいて、基準特徴データを生成した後（Ｓ１０１）、その生成した基準特徴データを基準特徴データ取得部１５に保存する（Ｓ１０２）。
　例えば、評価方針生成部５２などにより生成される評価方針として、図４８に示すデータテーブルを不図示の記憶部に予め記憶しておく。このような場合において、ネットワークの種別が「無線」であり、ネットワークスループットの上限「５０Ｍｂｐｓ」に対する現在のネットワークスループットが「４３．２Ｍｂｐｓ」である場合、接続状態判定部９１は、ネットワークの種別が「無線」であること、及び、ネットワーク占有率が「８６．４％」であることを示すネットワーク情報を出力する。基準特徴データ生成部５３は、接続状態判定部９１から出力されるネットワーク情報が示すネットワークの種別が「無線」であり、ネットワーク占有率が「８６．４％」である場合、図４８に示すデータテーブルからネットワークの種別が「無線」であって、ネットワーク占有率が「８０％以上」に対応する評価式として「２×３」を取り出し、特徴ＩＤ「２」に対応する基準特徴データとして「解像度：６４０×４８０以下」を取り出すとともに、特徴ＩＤ「３」に対応する基準特徴データとして「画像サイズ：２０ＫＢ以下」を取り出し、それら基準特徴データと評価式を基準特徴データ取得部１５に保存する。すなわち、基準特徴データ生成部５３は、使用可能なネットワークの単位時間あたりのデータ転送量が規定値以下である低速状態であるとき、非低速状態と比較して、取得する画像データの総データ量が少なくなるように、基準特徴データを生成する。
　例えば、図４６に示す要不要判定部１７－１は、接続状態判定部９１により判定されたネットワークの種別が「無線」であり、ネットワーク占有率が「８６．４％」である場合、評価式「２×３」と、基準特徴データ取得部１５により取得されるデータから特徴ＩＤ「２」と「３」に対応した基準特徴データとして「解像度：６４０×４８０以下」及び「画像サイズ：２０ＫＢ以下」を取り出す。このとき、特徴データ評価部１６において特徴データに対応する画像データの解像度が「６４０×４８０」以下であり、かつ、その画像データの画像サイズが「２０ＫＢ」以下であるという評価結果が出力されると、要不要判定部１７－１は、その画像データが要判定である旨の画像取得要求を送信部５４によりサーバ５６に送る。すなわち、要不要判定部１７－１は、要判定となった画像データを外部装置であるサーバ５６に要求する。なお、要不要判定部１７－１は、要判定となった画像データを他の外部装置からサーバ５６に画像データを要求させるようにしてもよい。
　一方、特徴データ評価部１６において、特徴データに対応する画像データの解像度が「６４０×４８０」よりも大きい、あるいは、その画像データの画像サイズが「２０ＫＢ」よりも大きい、という２つの評価結果の少なくとも１つが出力されたとき、要不要判定部１７－１は、その画像データが不要判定である旨の画像取得要求を送信部５４によりサーバ５６に送る。
　これにより、複数の画像データのうち、特徴データ評価部１６の評価結果に基づく画像データのみを処理部１２や出力部１３の出力先に送ることができるため、処理部１２や出力部１３の出力先の負荷を低減することができる。なお、第３実施形態で用いられる評価式は、予め記憶された評価方針によって定められているものとしたが、後述する表示部１４１から評価方針や評価式自体を入力することによって定めても良いし、接続状態判定部９１（状態検知部）が検知した結果によって評価式または評価方針を変更したり、所定のものに定めたりしても良い。また、第２実施形態では電源状態検知部５１によって検知された電源容量に関する基準特徴データにより特徴データが評価され、第３実施形態では接続状態判定部９１によって判定されたネットワークとの接続状態に関する基準特徴データにより特徴データが評価される構成であるが、これら基準特徴データなど複数種類の基準特徴データが組み合わされた基準特徴データにより特徴データが評価されるように構成してもよい。このように、複数種類の基準特徴データを組み合わせて特徴データを評価することによって、編集作業や再生作業に用いられる機器やネットワークの状況に合わせて、より必要なデータの判別が適切に行なうことができる。
　図４９は、本発明の他の実施形態の画像処理装置を示す図である。なお、図４６に示す構成と同じ構成には同じ符号を付しその説明を省略する。また、図４９に示す画像処理装置１２０は、例えば、複数の画像データの編集作業や再生作業の効率を向上させることを目的とする。
　図４９に示す画像処理装置１２０において、図４６に示す第２実施形態の画像処理装置９０と異なる点は、内部サーバ１２１と、分配切替部１２２とをさらに備えている点である。
　内部サーバ１２１は、サーバ５６と同様の構成をとり、サーバ５６から取得される画像データのキャッシュとして機能する。例えば、サーバ５６から画像処理装置１２０の受信部５５に送信される画像データを保存する。内部サーバ１２１内の画像データの更新は、画像データの入力時、定期的、又は特定のイベント発生時などに行ってもよい。また、内部サーバ１２１は、サーバ５６より容量が小さい場合、アクセス頻度の高い画像データや直前のアクセス時刻が現在時刻に近い画像データを優先的に保存するなどして保存する画像データを決定する。
　分配切替部１２２は、接続状態判定部９１から出力されるネットワーク情報に応じて、画像取得要求の送信先を画像処理装置１２０の送信部５４か内部サーバ１２１の何れか一方に切り替える。すなわち、例えば、画像処理装置１２０がネットワークに接続されていれば、分配切替部１２２は、画像取得要求をネットワークを介してサーバ５６に送信し複数の画像データから所望な画像データを抽出する作業を画像処理装置１２０の外部に行わせる。一方、画像処理装置１２０がネットワークに接続されていなければ、分配切替部１２２は、画像取得要求を内部サーバ１２１に送り複数の画像データから所望な画像データを抽出する作業を画像処理装置１２０の内部に行わせる。また、例えば、画像処理装置１２０がネットワークに接続されていても、ネットワーク占有率が閾値よりも高い場合、分配切替部１２２は、画像取得要求を内部サーバ１２１に送るように構成してもよい。
　図５０は、図４９に示す制御処理部１７の動作の一例を示すフローチャートである。
　まず、制御処理部１７は、特徴データ取得部１４により複数の画像データのうちの最初の画像データに対応する特徴データを取得させると（Ｓ１３１がＹｅｓ）、基準特徴データ取得部１５により取得されるデータから基準特徴データを取り出し（Ｓ１３２）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ１３３）。
　次に、制御処理部１７の要不要判定部１７－１は、特徴データ評価部１６の評価結果に基づいて取得した特徴データに対応する画像データの要不要判定を行う（Ｓ１３４）。
　不要判定の場合（Ｓ１３４がＮｏ）、制御処理部１７は、特徴データ取得部１４により次の画像データに対応する特徴データを取得させて（Ｓ１３５）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ１３３）。
　一方、要判定の場合（Ｓ１３４がＹｅｓ）、制御処理部１７は、画像取得要求を生成し（Ｓ１３６）、分配切替部１２２により画像取得要求の送信先として外部のサーバ５６及び内部サーバ１２１のどちらか一方に切り替える（Ｓ１３７）。
　画像取得要求の送信先として外部のサーバ５６に切り替えた場合（Ｓ１３７がＮｏ）、制御処理部１７は、送信部５４により画像取得要求をサーバ５６に送信させるとともに（Ｓ１３８）、受信部５５により画像取得要求に対応する画像データを受信させる（Ｓ１３９）。すなわち、制御処理部１７は、要判定となった画像データを外部装置であるサーバ５６に要求する。なお、制御処理部１７は、要判定となった画像データを他の外部装置からサーバ５６に画像データを要求させるようにしてもよい。
　一方、画像取得要求の送信先として内部サーバ１２１に切り替えた場合（Ｓ１３７がＹｅｓ）、制御処理部１７は、画像取得要求を内部サーバ１２１に送り（Ｓ１４０）、内部サーバ１２１から送られてくる画像取得要求に対応する画像データを入力部１１により受け取る（Ｓ１４１）。例えば、内部サーバ１２１は、画像取得要求を受け取ると、その画像取得要求に示される識別情報に対応する画像データを、不図示の保存部に記憶される複数の画像データの中から取り出し、その取り出した画像データを入力部１１へ送る。
　次に、制御処理部１７は、処理部１２により画像データに対して各種画像処理を行なわせて（Ｓ１４２）、出力部１３によりその画像処理後の画像データを出力させる（Ｓ１４３）。
　そして、Ｓ１３３で評価した特徴データに対応する画像データが複数の画像データのうちの最後の画像データでないと判断した場合（Ｓ１４４がＮｏ）、制御処理部１７は、特徴データ取得部１４により次の画像データに対応する特徴データを取得させて（Ｓ１３５）、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行なわせる（Ｓ１３３）。
　一方、Ｓ１３３で評価した特徴データに対応する画像データが複数の画像データのうちの最後の画像データであると判断した場合（Ｓ１４４がＹｅｓ）、制御処理部１７は、複数の画像データに対する画像処理を終了する。
　なお、画像取得要求をサーバ５６に送信した場合、制御処理部１７は、受信した画像データを処理部１２に送るとともに、内部サーバ１２１にキャッシュするように構成してもよい。また、画像取得要求を内部サーバ１２１に送った場合、制御処理部１７は、内部サーバ１２１から入力部１１へ送られる画像データを処理部１２に送ってもよい。
　図５１は、本発明の他の実施形態の画像処理装置を示す図である。なお、図４２に示す構成と同じ構成には同じ符号を付しその説明を省略する。また、図５１に示す画像処理装置１４０は、例えば、複数の画像データの編集作業や再生作業の効率を向上させることを目的とする。
　図５１に示す画像処理装置１４０において、図４２に示す画像処理装置５０と異なる点は、電源状態検知部５１の代わりに表示部１４１を備えている点である。
　表示部１４１は、例えば、タッチパネルディスプレイなどのユーザインタフェースであって、ユーザの操作により評価方針に関するユーザ意図が入力される。入力されたユーザ意図は、基準特徴データ生成部５３へ送られる。
　また、図５１に示す評価方針生成部５２は、入力されるユーザ意図に基づいて、複数の評価方針に優先順位をつけた後、それら評価方針を基準特徴データ生成部５３に送るように構成してもよい。この場合、基準特徴データ生成部５３は、優先順位に従って評価方針を使用する。このときのユーザ意図は、例えば、画像データの表示速度、解像度、データ量の少なくとも何れかを優先して評価する方針を示す。
　図５２は、図５１に示す基準特徴データ生成部５３の動作の一例を示すフローチャートである。
　基準特徴データ生成部５３は、評価方針生成部５２により生成された評価方針及び表示部１４１により入力されたユーザ意図に基づいて、基準特徴データを生成した後（Ｓ１５１）、その生成した基準特徴データを基準特徴データ取得部１５に保存する（Ｓ１５２）。
　例えば、表示部１４１は、背景優先モードボタン及び被写体優先モードボタンを備え、ユーザによりどちらか一方のボタンが押されると、その押されたボタンに対応するモードをユーザ意図として基準特徴データ生成部５３へ送る。背景優先モードボタンが押された場合、基準特徴データ生成部５３は、背景を楽しめるように、不図示のカメラの加速度や速度の上限値を低めに設定する。例えば、基準特徴データ生成部５３は、図５３Ａに示すように、基準特徴データとしてのカメラ加速度の上限値を「背景優先モード」に対応する「１Ｇ以下」に設定するとともに、基準特徴データとしてのカメラ速度の上限値を「背景優先モード」に対応する「１ｃｍ／ｓ以下」に設定する。一方、被写体優先モードボタンが押された場合、基準特徴データ生成部５３は、被写体の動きを楽しめるように、不図示のカメラの加速度や速度の上限値を高めに設定する。例えば、基準特徴データ生成部５３、図５３Ａに示すように、基準特徴データとしてのカメラ加速度の上限値を「被写体優先モード」に対応する「５Ｇ以下」に設定するとともに、基準特徴データとしてのカメラ速度の上限値を「被写体優先モード」に対応する「５ｃｍ／ｓ以下」に設定する。これらの組み合わせは、予め評価方針生成部５２に保存されていてもよいし、ユーザが編集できるようなユーザインタフェースを備えてもよい。また、設定するパラメータの種類は限定されない。また、モードの選択は、上記のようなボタンによる二者択一ではなく、スライドバーによるアナログな設定でもよい。
　また、例えば、表示部１４１は、プロモードボタン及びアマチュアモードボタンを備え、ユーザによりどちらか一方のボタンが押されると、その押されたボタンに対応するモードをユーザ意図として基準特徴データ生成部５３へ送る。プロモードボタンが押された場合、基準特徴データ生成部５３は、編集のバリエーションが豊かになるように、被写体が検出された画像データからさらに前後５枚の画像データを抽出基準としたり、不図示のカメラの加速度・速度の上限値を高めに設定する。例えば、基準特徴データ生成部５３は、図５３Ｂに示すように、基準特徴データとしての画像抽出基準を「プロモード」に対応する「被写体検出フレームの前後５フレーム」に、基準特徴データとしてのカメラ加速度の上限値を「プロモード」に対応する「５Ｇ以下」に、基準特徴データとしてのカメラ速度の上限値を「プロモード」に対応する「５ｃｍ／ｓ以下」に設定する。一方、アマチュアモードボタンが押された場合、基準特徴データ生成部５３は、手間いらずの編集を実現するために、被写体が検出された画像データのみを抽出基準としたり、不図示のカメラの加速度・速度の上限値を低めに設定する。例えば、基準特徴データ生成部５３は、図５３Ｂに示すように、基準特徴データとしての画像抽出基準を「アマチュアモード」に対応する「被写体検出フレームのみ」に、基準特徴データとしてのカメラ加速度の上限値を「アマチュアモード」に対応する「１Ｇ以下」に、基準特徴データとしてのカメラ速度の上限値を「アマチュアモード」に対応する「１ｃｍ／ｓ以下」に設定する。これらの組み合わせは、予め評価方針生成部５２に保存されていてもよいし、ユーザが編集できるようなユーザインタフェースを備えてもよい。また、設定するパラメータの種類は限定されない。また、モードの選択は、上記のようなボタンによる二者択一ではなく、スライドバーによるアナログな設定でもよい。
　なお、これらのユーザ意図、評価方針の種類は、上述の構成に限定されない。また、モードの切り替えのタイミングは、例えば、その日の目的に合わせて撮影前に設定してもよいし、毎回画像データのプレビュー前に設定してもよい。さらに、表示部１４１に、優先度認識部を備え、不図示のカメラの撮像画像に映り込んだサイン（ユーザの手で形作られたチョキや握った手の親指を上の方向に立てたものなど）、不図示のカメラを振る、あるいは予めユーザによって撮影時に付与されたレーティング情報をもとに、シーンごとにユーザが意図的に優先度を上げてもよい。
　次に、図５１に示す制御処理部１７の動作の一例を説明する。
　まず、制御処理部１７は、特徴データ取得部１４により複数の画像データのうちの最初の画像データに対応する特徴データを取得させると、基準特徴データ取得部１５により取得されるデータから基準特徴データを取り出し、 特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行わせる。
　次に、制御処理部１７の要不要判定部１７－１は、特徴データ評価部１６の評価結果に基づいて特徴データに対応する画像データの要不要判定を行う。
　不要判定の場合、制御処理部１７は、特徴データ取得部１４により次の画像データに対応する特徴データを取得させて、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行わせる。
　一方、要判定の場合、制御処理部１７は、送信部５４により画像取得要求をサーバ５６に送信させるとともに、受信部５５により画像取得要求に対応する画像データを受信させた後、処理部１２によりその画像データに対して各種画像処理を行わせて、出力部１３によりその画像処理後の画像データを出力させる。
　そして、特徴データ評価部１６で評価した特徴データに対応する画像データが複数の画像データのうちの最後の画像データでないと判断した場合、制御処理部１７は、特徴データ取得部１４により次の画像データに対応する特徴データを取得させて、特徴データ評価部１６により基準特徴データに基づいて特徴データの評価を行わせる。
　一方、特徴データ評価部１６で評価した特徴データに対応する画像データが複数の画像データのうちの最後の画像データであると判断した場合、制御処理部１７は、複数の画像データに対する画像処理を終了する。
　例えば、制御処理部１７は、表示部１４１においてユーザによりプロモードボタンが押された場合、基準特徴データ取得部１５により取得されるデータから画像抽出基準として「被写体検出フレームの前後５フレーム」、カメラ加速度の上限値として「５Ｇ以下」、及びカメラ速度の上限値として「５ｃｍ／ｓ以下」を取り出す。このとき、特徴データ評価部１６において特徴データに対応する画像データが「被写体検出フレームの前後５フレーム」以内であるという評価結果、特徴データに対応する画像データの撮影時のカメラ加速度が「５Ｇ」以下であるという評価結果、及び特徴データに対応する画像データの撮影時のカメラ速度が「５ｃｍ／ｓ」以下であるという評価結果が出力されると、要不要判定部１７－１は、その画像データを要判定とする。
　一方、特徴データ評価部１６において特徴データに対応する画像データが「被写体検出フレームの前後５フレーム」以内でない、特徴データに対応する画像データのカメラ加速度が「５Ｇ」以下でない、及び特徴データに対応する画像データのカメラ速度の上限値が「５ｃｍ／ｓ」以下でないという評価結果のうち少なくとも１つの評価結果が出力されると、要不要判定部１７－１は、その画像データを不要判定とする。
　これにより、複数の画像データのうち、特徴データ評価部１６の評価結果に基づく画像データのみを処理部１２や出力部１３の出力先に送ることができるため、処理部１２や出力部１３の出力先の負荷を低減することができる。
　図５４は、本発明の他の実施形態の画像処理装置を示す図である。なお、図３８に示す構成と同じ構成には同じ符号を付しその説明を省略する。また、図５４に示す画像処理装置１７０は、複数の画像データの編集作業や再生作業の効率を向上させることを目的とする。
　図５４に示す画像処理装置１７０において、図３８に示す画像処理装置１０と異なる点は、特徴データ抽出部１７１をさらに備えている点である。
　特徴データ抽出部１７１は、入力部１１により取得される画像データから特徴データを抽出する。このとき抽出される特徴データは、例えば、人物の顔や体、自動車、花、動物、空、山、海、道路、建物などのオブジェクト、マーカー、又は、色や輝度などを特定被写体とする。
　例えば、特徴データ抽出部１７１は、被写体検出部を備え、その被写体検出部により画像データから「被写体の位置」及び「被写体のサイズ」を抽出する。この場合、第６実施形態の特徴データ評価部１６は、基準特徴データとしての「画像データのＸ方向の幅及びＹ方向の幅」や「所定サイズ」を基準特徴データ取得部１５により取得されるデータから取り出し、「被写体が検出されていない」、「被写体のサイズが所定サイズよりも小さい」、「被写体の位置が画像データの左端より外側に外れている」、「被写体の位置が画像データの右端より外側に外れている」、「被写体の位置が画像データの上端より外側に外れている」、及び「被写体の位置が画像データの下端より外側に外れている」の少なくとも１つを判断すると、その判断結果を要不要判定部１７－１に送る。要不要判定部１７－１は、特徴データ評価部１６から送られてくる判断結果に基づいて、入力部１１により取得される画像データの要不要判定を行う。例えば、要不要判定部１７－１は、図５５に示すように、複数の画像データＰ１～Ｐ６からなる動画のうち、画像データＰ１の「被写体のサイズが所定サイズよりも小さい」と判断されると、その画像データＰ１を不要であると判定する。また、要不要判定部１７－１は、画像データＰ６の「被写体の位置が画像データの左端より外側に外れている」と判断されると、その画像データＰ６を不要な画像データと判定する。そして、要不要判定部１７－１は、画像データＰ６を入力部１１から処理部１２へ出力されないように入力部１１の動作を制御する。これにより、処理部１２の負荷を低減することができる。
　また、特徴データ抽出部１７１は、画像データの構図を抽出する。この場合、第６実施形態の特徴データ評価部１６は、基準特徴データとしての「所定値」や「所定数」を基準特徴データ取得部１５により取得されるデータから取り出し、「連続する２枚の画像データの構図の差異が所定値以下になる画像データが所定数以上連続する」を判断すると、その判断結果を要不要判定部１７－１に送る。
　要不要判定部１７－１は、特徴データ評価部１６から送られてくる判断結果に基づいて、入力部１１により取得される画像データの要不要判定を行う。例えば、要不要判定部１７－１は、図５６に示すように、複数の画像データＰ７～Ｐ１１からなる動画のうち、「画像データＰ７、Ｐ８の構図の差異が所定値以下になる画像データが２以上連続する」と判断されると、それらの画像データＰ７、Ｐ８以降の画像データＰ９～Ｐ１１を不要な画像データと判定する。そして、要不要判定部１７－１は、画像データＰ９～Ｐ１１を入力部１１から処理部１２へ出力されないように入力部１１の動作を制御する。これにより、処理部１２の負荷を低減することができる。
　また、特徴データ抽出部１７１は、入力部１１により取得される、サムネイル画像（画像データの縮小画像）、低解像度化（画像データよりも解像度が低い画像）、部分画像化した画像データ（画像データの一部）から特徴データを抽出するように構成してもよい。
　図５７は、本発明の他の実施形態の画像処理装置を示す図である。なお、図３８に示す構成と同じ構成には同じ符号を付しその説明を省略する。なお、図５７に示す画像処理装置２００は、複数の画像データの編集作業や再生作業の効率を向上させることを目的とする。
　図５７に示す画像処理装置２００において、図３８に示す第１実施形態の画像処理装置１０と異なる点は、特徴データ保存部２０１をさらに備えている点である。
　図５７に示す特徴データ取得部１４は、外部から定期的に特徴データを取得して特徴データ保存部２０１に保存する。
　図５７に示す画像処理装置２００によれば、画像処理装置２００から撮像装置が取り外されたり、ネットワークが切断されたり、ネットワーク占有率が高かったりして、外部から定期的に特徴データを取得できなくなっても、特徴データ保存部２０１に保存されている特徴データを用いて画像データの要不要判定を継続して行うことができる。そのときに要不要判定が行われた画像データは、画像処理装置２００に撮像装置が取り付けられたり、ネットワークの接続が回復した際などに取得することができる。このように、オフラインでの要不要判定も実現することができる。
　なお、特徴データ保存部２０１は、画像処理装置２００の外部（例えば、ネットワーク上やリムーバブルメモリ上など）に設けられてもよい。

Claims (59)

  1. 　入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、
    　前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、
    　前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、
    　前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、前記要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、
    　前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻す
    　ことを特徴とする画像処理装置。
  3. 　請求項１、２の何れか１項に記載の画像処理装置であって、
    　前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
    　ことを特徴とする画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記要不要判定手段データが、前記Ｍｐｅｇ２形式の符号化の単位ＧＯＰで付与される
    　ことを特徴とすることを特徴とする画像処理装置。
  5. 　請求項１に記載の画像処理装置であって、
    　前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段を更に有し、
    　前記要不要判定手段は、前記メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する
    　ことを特徴とする画像処理装置。
  6. 　請求項５に記載の画像処理装置であって、
    　前記要不要判定データ生成手段は、前記動画像フレーム中の被写体の位置及びサイズを前記要不要判定データとして生成し、
    　前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体のサイズが所定のサイズよりも小さい場合であって、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体の位置が所定の範囲外に位置する場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    　ことを特徴とする画像処理装置。
  7. 　請求項５に記載の画像処理装置であって、
    　前記要不要判定データ生成手段は、前記動画像フレーム中の画像特徴量に基づいて、前記要不要判定データを生成し、
    　前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す画像特徴量と、そのメタデータに対応する動画像フレームに近接する動画像フレームのメタデータにおける要不要判定データが示す画像特徴量と、の差異が所定値以下の場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    　ことを特徴とする画像処理装置。
  8. 　請求項７に記載の画像処理装置であって、
    　前記画像特徴量が、被写体の構図を示す構図指標である
    　ことを特徴とする画像処理装置。
  9. 　請求項７に記載の画像処理装置であって、
    　前記画像特徴量が、画像の輝度値の統計量である
    　ことを特徴とする画像処理装置。
  10. 　請求項５に記載の画像処理装置であって、
    　前記要不要判定データ生成手段は、前記動画像フレームの撮影時のフォーカス情報を前記要不要判定データとして生成し、
    　前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すフォーカス情報から、そのメタデータに対応する動画像フレームのフォーカスが合っていない、又は、フォーカスが安定していない、と判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    　ことを特徴とする画像処理装置。
  11. 　請求項４に記載の画像処理装置であって、
    　前記要不要判定データ生成手段は、前記動画像フレームの撮影時のズーム情報を前記要不要判定データとして生成し、
    　前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すズーム情報と、そのメタデータに対応する動画像フレームの一つ前の動画像フレームのメタデータにおける要不要判定データが示すズーム情報と、から、ズームレンズのレンズ位置が安定していないと判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    する
    　ことを特徴とする画像処理装置。
  12. 　請求項５に記載の画像処理装置であって、
    　被写体側からの信号を受信する無線アンテナを備え、
    　前記要不要判定データ生成手段は、前記無線アンテナにより受信される信号の受信信号強度を前記要不要判定データとして生成し、
    　前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す受信信号強度が、所定の値より低い場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    　ことを特徴とする画像処理装置。
  13. 　請求項１に記載の画像処理装置であって、
    　前記要不要判定手段は、前記不要な動画像フレームの先頭、あるいは末尾で有ることを示すフラグを前記識別情報に記述する
    　ことを特徴とする画像処理装置。
  14. 　請求項１３に記載の画像処理装置であって、
    　前記動画像ファイル管理手段は、前記不要な動画像フレームの先頭であることを示すフラグおよび前記不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、前記不要な動画像フレームの先頭と前記不要な動画像フレームの末尾との間にある前記動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータがない旨の情報に書き換える
    　ことを特徴とする画像処理装置。
  15. 　請求項１に記載の画像処理装置であって、
    　入力される各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、
    　前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、
    　を更に有し、
    　前記要不要判定データ生成手段は、前記メタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する
    　ことを特徴とする画像処理装置。
  16. 　請求項１５に記載の画像処理装置であって、
    　前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、
    　前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻す
    　ことを特徴とする画像処理装置。
  17. 　請求項１５、１６の何れか１項に記載の画像処理装置であって、
    　前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
    　ことを特徴とする画像処理装置。
  18. 　画像処理装置とサーバとがネットワークを介してデータの送受信を行う画像処理システムであって、
    　前記画像処理装置は、
    　　前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、
    　　前記サーバから送信される判定結果及び識別情報を受信する第１の受信手段と、
    　　前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段と、
    　を備え、
    　前記サーバは、
    　　前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、
    　　前記要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信する第２の送信手段と、
    　を備え、
    　前記画像処理装置と前記サーバとのうち、いずれか一方は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段、
    　を備えることを特徴とする画像処理システム。
  19. 　請求項１８に記載の画像処理システムであって、
    　前記要不要判定データ生成手段は、前記画像処理装置にあり、
    　前記画像処理装置は、
    　前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段と、
    　前記メタデータを前記サーバへ送信する第１の送信手段と、
    　を更に有し、
    　前記サーバは、
    　前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、
    　前記要不要判定手段は、前記受信したメタデータにおける前記要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する、
    　ことを特徴とする画像処理システム。
  20. 　請求項１９に記載の画像処理システムであって、
    　前記サーバが有する前記要不要判定手段を、第２の要不要判定手段と定義するとき、
    　前記画像処理装置は、
    　　前記生成されたメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する第１の要不要判定手段と、
    　　前記画像処理装置に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出手段と、
    　　前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態であると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態でないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える切替手段と、
    　を更に備え、
    　前記第２の送信手段は、前記第２の要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信し、
    　前記動画像ファイル管理手段は、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報、又は、前記第１の要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える、
    　ことを特徴とする画像処理システム。
  21. 　請求項２０に記載の画像処理システムであって、
    　前記検出手段は、前記画像処理装置のリソースにかかっている負荷を測定する負荷状態測定手段であり、
    　前記切替手段は、前記負荷状態測定手段の測定結果から、所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記負荷状態測定手段の測定結果から、前記所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える
    　ことを特徴とする画像処理システム。
  22. 　請求項２０に記載の画像処理システムであって、
    　前記検出手段は、前記画像処理装置の電源モードが節電に係るモードであるか否かを検知する電源モード検知手段であり、
    　前記切替手段は、前記電源モード検知手段により、節電に係るモードでないと検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記電源モード検知手段により、節電に係るモードであると検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える
    　ことを特徴とする画像処理システム。
  23. 　請求項１８に記載の画像処理システムであって、
    　前記要不要判定データ生成手段は、前記サーバにあり、
    　前記画像処理装置は、
    　　入力される動画像の各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、
    　　前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、
    　　前記メタデータを前記サーバへ送信する第１の送信手段と、
    　を更に有し、
    　前記サーバは、
    　　前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、
    　　前記要不要判定データ生成手段は、前記受信したメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成し、
    　　前記要不要判定手段は、前記生成した要不要判定データに基づいて、その要不要判定データに対応する識別情報の動画像フレームが不要な動画像フレームであるか否かを判定する
    　ことを特徴とする画像処理システム。
  24. 　動画像の各動画像フレームにそれぞれ対応する、必要な動画像フレームであるか否かを判定するために用いられる要不要判定データと、
    　それぞれに識別情報が付与された、符号化後の前記動画像の各動画像フレームと、
    　前記動画像フレームに付与された識別情報と、その動画像フレームに対応する要不要判定データとが統合されたメタデータと、
    　が記録された
    　記録手段から前記メタデータを読み出し、そのメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームであるか否かを判定する要不要判定手段と、
    　前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置を示す情報とが対応付けられたテーブルを用いて、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置に記録される動画像フレームのみを前記記録手段から読み出す読出し制御手段と、
    　を備えることを特徴とする画像読出し装置。
  25. 　請求項２４に記載の画像読出し装置であって、
    　前記記録手段には、ＭＰＥＧ２形式で符号化された前記動画像を記録されているとともに、符号化後の動画像の各動画像フレームは、それぞれ複数のＴＳパケットに分割され、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤが付与されて記録されており、
    　前記読出し制御手段は、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームのＰＩＤに対応する前記記録手段の記録位置に記録されるデータのみを前記記録手段から読み出す読出す
    　ことを特徴とする画像読み出し装置。
  26. 　請求項２４に記載の画像読出し装置であって、
    　入力される動画像の各動画像フレームにそれぞれ対応する、前記要不要判定データを生成する要不要判定データ生成手段と、
    　前記入力される動画像を符号化するとともに、その符号化後の動画像の各動画像フレームにそれぞれ識別情報を付与して前記記録手段に記録する画像符号化手段と、
    　前記動画像フレームに付与された識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成して前記記録手段に記録するメタデータ生成手段と、
    　を更に備えることを特徴とする画像読出し装置。
  27. 　動画像を記録手段に記録する画像処理装置と、前記記録手段から動画像を読み出す画像読出し装置とを備える画像処理システムであって、
    　前記画像処理装置は、
    　　入力される動画像の各動画像フレームにそれぞれ対応する、必要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、
    　　前記入力される動画像を符号化するとともに、その符号化後の動画像の各動画像フレームにそれぞれ識別情報を付与して前記記録手段に記録する画像符号化手段と、
    　　前記動画像フレームに付与された識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成して前記記録手段に記録するメタデータ生成手段と、
    　を備え、
    　前記画像読出し装置は、
    　　前記記録手段からメタデータを読み出し、そのメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームであるか否かを判定する要不要判定手段と、
    　　前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置を示す情報とが対応付けられたテーブルを用いて、前記要不要判定手段により必要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置に記録される動画像フレームのみを前記記録手段から読み出す読出し制御手段と、
    　を備えることを特徴とする画像処理システム。
  28. 　請求項２７に記載の画像処理システムであって、
    　前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
    　ことを特徴とする画像処理システム。
  29. 　請求項２７に記載の画像処理システムであって、
    　前記要不要判定データ生成手段は、前記動画像フレーム中の被写体の位置及びサイズを前記要不要判定データとして生成し、
    　前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す被写体のサイズが所定のサイズよりも小さい場合であって、前記記録手段から読み出したメタデータにおける要不要判定データが示す被写体の位置が所定の範囲外に位置する場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    　ことを特徴とする画像処理システム。
  30. 　請求項２７に記載の画像処理システムであって、
    　前記要不要判定データ生成手段は、前記動画像フレーム中の画像特徴量に基づいて、前記要不要判定データを生成し、
    　前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す画像特徴量と、そのメタデータに対応する動画像フレームに近接する動画像フレームのメタデータにおける要不要判定データが示す画像特徴量と、の差異が所定値以下の場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    　ことを特徴とする画像処理システム。
  31. 　請求項３０に記載の画像処理システムであって、
    　前記画像特徴量が、被写体の構図を示す構図指標である
    　ことを特徴とする画像処理システム。
  32. 　請求項３０に記載の画像処理システムであって、
    　前記画像特徴量が、画像の輝度値の統計量である
    　ことを特徴とする画像処理システム。
  33. 　請求項２７に記載の画像処理システムであって、
    　前記要不要判定データ生成手段は、前記動画像フレームの撮影時のフォーカス情報を前記要不要判定データとして生成し、
    　前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示すフォーカス情報から、そのメタデータに対応する動画像フレームのフォーカスが合っていない、又は、フォーカスが安定していない、と判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    　ことを特徴とする画像処理システム。
  34. 　請求項２７に記載の画像処理システムであって、
    　前記要不要判定データ生成手段は、前記動画像フレームの撮影時のズーム情報を前記要不要判定データとして生成し、
    　前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示すズーム情報と、そのメタデータに対応する動画像フレームの一つ前の動画像フレームのメタデータにおける要不要判定データが示すズーム情報と、から、ズームレンズのレンズ位置が安定していないと判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    する
    　ことを特徴とする画像処理システム。
  35. 　請求項２７に記載の画像処理システムであって、
    　被写体側からの信号を受信する無線アンテナを備え、
    　前記要不要判定データ生成手段は、前記無線アンテナにより受信される信号の受信信号強度を前記要不要判定データとして生成し、
    　前記要不要判定手段は、前記記録手段から読み出したメタデータにおける要不要判定データが示す受信信号強度が、所定の値より低い場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
    　ことを特徴とする画像処理システム。
  36. 　画像データに対応した特徴データを取得する特徴データ取得部と、
    　基準特徴データを取得する基準特徴データ取得部と、
    　前記基準特徴データに基づいて前記特徴データの評価を行う特徴データ評価部と、
    　前記特徴データ評価部によって行われた前記評価に基づいて前記特徴データに対応した画像データの要不要の判定を行なう要不要判定部と、
    　前記要不要の判定に基づいて制御を行なう制御処理部と、
    　を備える画像処理装置。
  37. 　評価方針を生成する評価方針生成部と、
    　前記評価方針に基づいて前記基準特徴データを生成する基準特徴データ生成部と、
    　をさらに備えることを特徴とする請求項３６に記載の画像処理装置。
  38. 　状態検知部を更に備え、
    　前記基準特徴データ生成部は、前記評価方針及び前記状態検知部の検知結果に基づいて前記基準特徴データを生成することを特徴とする請求項３７に記載の画像処理装置。
  39. 　状態検知部を更に備え、
    　評価方針生成部は、前記状態検知部の検知結果に基づいて評価方針を生成する
    　ことを特徴とする請求項３７に記載の画像処理装置。
  40. 　前記状態検知部は、当該画像処理装置の電源種別及び電源状態の少なくとも１つを検知する電源状態検知部である
    　ことを特徴とする請求項３８または３９に記載の画像処理装置。
  41. 　前記電源状態検知部の検知結果が、使用可能な電源容量が規定値以下である低エネルギー状態であるとき、
    　前記基準特徴データ生成部は、前記検知結果と前記評価方針から、非低エネルギー状態と比較して、取得する画像のデータ量が少なくなるように、前記基準特徴データを生成する
    　ことを特徴とする請求項４０に記載の画像処理装置。
  42. 　前記状態検知部は、ネットワークとの接続状態を判定する接続状態判定部である
    　ことを特徴とする請求項３８または３９に記載の画像処理装置。
  43. 　前記特徴データ評価部は、複数種類の前記基準特徴データを組み合わせて評価することを特徴とする
    　ことを特徴とする請求項３７～４２のいずれか１項に記載の画像処理装置。
  44. 　前記接続状態判定部の判定結果が、使用可能なネットワークの単位時間あたりのデータ転送量が規定値以下である低速状態であるとき、前記基準特徴データ生成部は、前記検知結果と前記評価方針から、非低速状態と比較して、取得する画像の総データ量が少なくなるように、前記基準特徴データを生成する
    　ことを特徴とする請求項４２に記載の画像処理装置。
  45. 　前記画像データの表示速度、解像度、及びデータ量の少なくとも何れかを優先して評価する方針を示す評価方針を入力する表示部をさらに備え、
    　前記基準特徴データ生成部は、前記表示部に入力された前記評価方針に基づいて前記基準特徴データを生成する
    　ことを特徴とする請求項３７に記載の画像処理装置。
  46. 　前記画像データから前記特徴データを抽出する特徴データ抽出部をさらに備える
    　ことを特徴とする請求項３６または３７に記載の画像処理装置。
  47. 　前記特徴データ抽出部は、前記特徴データとして前記画像データ内の被写体の位置及びサイズの少なくとも一方を抽出し、
    　前記要不要判定部は、前記特徴データ抽出部により抽出された前記画像データ内の被写体の位置及びサイズの少なくとも一方が前記基準特徴データとしての閾値以下であるか否かを判断し、該判断結果に基づいて前記画像データの要不要を判定する
    　ことを特徴とする請求項４６に記載の画像処理装置。
  48. 　前記要不要判定部は、前記特徴データ抽出手段により抽出された前記画像データ内の被写体の位置及びサイズの少なくとも一方が前記閾値以下であると、前記画像データに対して不要の判定を行う
    　ことを特徴とする請求項４７に記載の画像処理装置。
  49. 　前記特徴データ抽出部は、前記特徴データとして連続する複数の前記画像データの構図を抽出し、
    　前記要不要判定部は、前記特徴データ抽出部により抽出された複数の画像データの構図の変化量が前記基準特徴データとしての閾値以下であるか否かを判断し、該判断結果に基づいて前記画像データの要不要を判定する
    　ことを特徴とする請求項４６に記載の画像処理装置。
  50. 　前記要不要判定部は、前記複数の画像データの構図の変化量が前記閾値以下であると、前記複数の画像データに対して不要の判定を行う
    　ことを特徴とする請求項４９に記載の画像処理装置。
  51. 　前記要不要判定部は、多段階に分類して、又は、数値化して前記特徴データの評価を行う
    　ことを特徴とする請求項３６～５０の何れか１項に記載の画像処理装置。
  52. 　前記要不要判定部は、前記特徴データに対応する画像データのボケ具合、ブレ具合、明暗、色合い、鮮明度、画角ずれ、非対称、被写体のかぶりのうちの少なくとも１つについて評価を行う
    　ことを特徴とする請求項３６～５１の何れか１項に記載の画像処理装置。
  53. 　前記特徴データ抽出手段は、前記画像データの縮小画像、前記画像データよりも解像度が低い画像、又は前記画像データの一部である前記特徴データから特徴データを抽出する
    　ことを特徴とする請求項４６に記載の画像処理装置。
  54. 　前記特徴データを保存する特徴データ保存部をさらに備え、
    　前記要不要判定部は、前記基準特徴データに基づいて前記特徴データ保存部により保存される特徴データの評価を行う
    　ことを特徴とする請求項３６～５３の何れか１項に記載の画像処理装置。
  55. 　外部装置と前記特徴データまたは前記画像データの通信を行う通信部をさらに備え、
    　前記要不要判定部は、要判定となった画像データを前記外部装置に要求するまたは他の外部装置から前記外部装置に前記画像データを要求させる
    　ことを特徴とする請求項３６～５４の何れか１項に記載の画像処理装置。
  56. 　撮像部と、
    　前記要不要判定部により要判定された画像データを前記撮像部から取得する入力部と、
    　を備えることを特徴とする請求項３６～５４の何れか１項に記載の画像処理装置。
  57. 　画像データを処理する処理部をさらに備え、
    　前記処理部は、前記要不要判定部により要判定された画像データに対して処理を行なう
    　ことを特徴とする請求項３６～５６のいずれか1項に記載の画像処理装置。
  58. 　コンピュータを、
    　画像データに対応した特徴データを取得する特徴データ取得部、
    　基準特徴データ取得部に取得される基準特徴データに基づいて前記特徴データの評価を行う特徴データ評価部、
    　前記特徴データ評価部によって行われた前記評価に基づいて前記特徴データに対応した画像データの要不要の判定を行なう要不要判定部、
    　前記要不要の判定に基づいて制御を行なう制御処理部、
    　として機能させるプログラム。
  59. 　特徴データ取得部により、画像データに対応した特徴データを取得し、
    　特徴データ評価部により、基準特徴データ取得部に取得される基準特徴データに基づいて前記特徴データの評価を行ない、
    　要不要判定部により、該評価に基づいて前記特徴データに対応した画像データの要不要の判定を行ない、
    　制御処理部により、前記要不要の判定に基づいて制御を行なう、
    　ことを特徴とする画像処理方法。
     
PCT/JP2012/074227 2011-09-22 2012-09-21 画像処理装置、画像処理システム、及び画像読出し装置 WO2013042766A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/213,714 US9300904B2 (en) 2011-09-22 2014-03-14 Image processing apparatus, image processing system, and image reading apparatus

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011-207818 2011-09-22
JP2011207818A JP5809905B2 (ja) 2011-09-22 2011-09-22 画像処理装置及び画像処理システム
JP2011-207819 2011-09-22
JP2011207819A JP5809906B2 (ja) 2011-09-22 2011-09-22 画像読出し装置及び画像処理システム
JP2012-002581 2012-01-10
JP2012002581A JP6027745B2 (ja) 2012-01-10 2012-01-10 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/213,714 Continuation US9300904B2 (en) 2011-09-22 2014-03-14 Image processing apparatus, image processing system, and image reading apparatus

Publications (1)

Publication Number Publication Date
WO2013042766A1 true WO2013042766A1 (ja) 2013-03-28

Family

ID=47914526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/074227 WO2013042766A1 (ja) 2011-09-22 2012-09-21 画像処理装置、画像処理システム、及び画像読出し装置

Country Status (2)

Country Link
US (1) US9300904B2 (ja)
WO (1) WO2013042766A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888838A (zh) * 2016-09-30 2018-04-06 三星电子株式会社 用于处理图像的方法及支持该方法的电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013224962A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Anordnung zum Erstellen eines Bildes einer Szene
GB2539461B (en) 2015-06-16 2020-01-08 Canon Kk Image data encapsulation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530498A (ja) * 1991-07-24 1993-02-05 Seiko Epson Corp 動画像データ圧縮装置
JPH07121789A (ja) * 1993-10-22 1995-05-12 Canon Inc 遠隔監視装置
JPH09214879A (ja) * 1996-02-07 1997-08-15 Toshiba Corp 動画像処理方法
JP2009253542A (ja) * 2008-04-03 2009-10-29 Casio Comput Co Ltd 撮影装置、画像記録方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209483A (ja) 1999-01-18 2000-07-28 Nikon Corp 画像選別機能を有する電子カメラ、およびプログラムを記録した記録媒体
US7088865B2 (en) 1998-11-20 2006-08-08 Nikon Corporation Image processing apparatus having image selection function, and recording medium having image selection function program
JP2002010179A (ja) 2000-06-19 2002-01-11 Olympus Optical Co Ltd プリント画像選択装置、自動選択機能付き写真プリンタ装置及び自動選択プリントシステム並びに記録媒体
US20020154833A1 (en) * 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
JP2005020196A (ja) 2003-06-24 2005-01-20 Casio Comput Co Ltd 画像撮影装置、及び画像整理装置
JP4273852B2 (ja) 2003-06-26 2009-06-03 カシオ計算機株式会社 画像撮影装置、プログラム
JP2005295285A (ja) 2004-03-31 2005-10-20 Japan Aviation Electronics Industry Ltd 動画像データ生成方法
JP4720685B2 (ja) 2006-09-01 2011-07-13 株式会社セガ 自動写真館
JP4826485B2 (ja) 2007-01-25 2011-11-30 ソニー株式会社 画像保存装置、画像保存方法
JP2008306334A (ja) 2007-06-06 2008-12-18 Fujifilm Corp 動画ファイル生成方法およびこれを用いた動画撮影装置
JP4973729B2 (ja) * 2007-06-07 2012-07-11 富士通株式会社 動画像類似判定装置、および動画像類似判定方法
JP2009004950A (ja) 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 撮像装置および編集装置
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5359247B2 (ja) 2008-12-17 2013-12-04 株式会社ニコン 電子カメラ
JP5268787B2 (ja) * 2009-06-04 2013-08-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530498A (ja) * 1991-07-24 1993-02-05 Seiko Epson Corp 動画像データ圧縮装置
JPH07121789A (ja) * 1993-10-22 1995-05-12 Canon Inc 遠隔監視装置
JPH09214879A (ja) * 1996-02-07 1997-08-15 Toshiba Corp 動画像処理方法
JP2009253542A (ja) * 2008-04-03 2009-10-29 Casio Comput Co Ltd 撮影装置、画像記録方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888838A (zh) * 2016-09-30 2018-04-06 三星电子株式会社 用于处理图像的方法及支持该方法的电子设备
CN107888838B (zh) * 2016-09-30 2021-08-27 三星电子株式会社 用于处理图像的方法及支持该方法的电子设备

Also Published As

Publication number Publication date
US9300904B2 (en) 2016-03-29
US20140218565A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
CN101419666B (zh) 图像处理装置、图像捕获装置、图像处理方法及记录媒介
US9013604B2 (en) Video summary including a particular person
US8199213B2 (en) Method for selecting desirable images from among a plurality of images and apparatus thereof
JP4973098B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20120082389A1 (en) Image processing device and computer-program product of image evaluation
US20130195419A1 (en) Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
JP5456023B2 (ja) 画像撮影装置、画像撮影方法、プログラム、及び集積回路
WO2008035688A1 (fr) Dispositif et procédé d'enregistrement, programme, et dispositif et procédé de lecture
JP2014516222A (ja) 興味の特徴を含むビデオサマリー
JP5888614B2 (ja) 撮像装置、映像コンテンツ生成方法、及び、プログラム
CN101287089B (zh) 摄像设备、图像处理设备及其控制方法
TWI508548B (zh) 攝像裝置及攝像方法
CN102630003B (zh) 图像数据记录设备及其控制方法
JP2004056397A (ja) 画像処理装置および方法
JP2012105205A (ja) キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置
US8928768B2 (en) Image processing device and computer-readable computer program product containing image processing program
WO2013042766A1 (ja) 画像処理装置、画像処理システム、及び画像読出し装置
JP2003032600A (ja) 画像処理装置、インデックス作成システム、インデックス作成方法、記録媒体及びプログラム
JP4948014B2 (ja) 電子カメラ
JP4857254B2 (ja) 撮像装置及びその画像自動選択方法
AU2016277643A1 (en) Using face detection metadata to select video segments
JP5809906B2 (ja) 画像読出し装置及び画像処理システム
JP2011119934A (ja) 画像撮影装置及び画像撮影方法
WO2006016461A1 (ja) 撮像装置
JP5809905B2 (ja) 画像処理装置及び画像処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12834409

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12834409

Country of ref document: EP

Kind code of ref document: A1