WO2009122760A1 - 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体 - Google Patents

画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体 Download PDF

Info

Publication number
WO2009122760A1
WO2009122760A1 PCT/JP2009/001577 JP2009001577W WO2009122760A1 WO 2009122760 A1 WO2009122760 A1 WO 2009122760A1 JP 2009001577 W JP2009001577 W JP 2009001577W WO 2009122760 A1 WO2009122760 A1 WO 2009122760A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
model
feature
captured
Prior art date
Application number
PCT/JP2009/001577
Other languages
English (en)
French (fr)
Inventor
亀山祐和
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2009122760A1 publication Critical patent/WO2009122760A1/ja
Priority to US12/896,051 priority Critical patent/US20110052045A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a computer-readable medium.
  • This application is related to the following Japanese application and claims priority from the following Japanese application. For designated countries where incorporation by reference of documents is permitted, the contents described in the following application are incorporated into this application by reference and made a part of this application. 1. Japanese Patent Application No. 2008-098761 Application date April 4, 20082. Japanese Patent Application No. 2008-099748 Application Date April 7, 2008
  • a moving picture coding apparatus for coding a moving picture based on the overall movement of each segment constituting the moving picture and the fine movement of each feature point with respect to the result of moving each segment based on the movement Is known (for example, see Patent Document 1).
  • a system that searches and collates people using a database is known (see, for example, Patent Document 2).
  • a method for encoding and decoding a face image using a three-dimensional face model and eigenface decomposition is known (see, for example, Patent Document 3).
  • the main image and a plurality of sub-images representing changes in the mouth portion in the main image are transmitted in advance, and then the main image is selected by selecting any of the plurality of sub-images in order to reproduce a moving image.
  • an image encoding device that transmits a code word that specifies whether or not to be combined with each other (see, for example, Patent Document 4).
  • an image processing apparatus includes a model storage unit that stores a reference model that is a three-dimensional model that represents an object, and a plurality of images in which the object is captured.
  • a model generation unit that generates an object model that is a three-dimensional model that conforms to an object captured in a plurality of captured images based on the image content of the captured image, and an object captured in each of the plurality of captured images
  • an output unit that outputs the position and orientation of the first and second positions in correspondence with the difference information between the reference model and the object model.
  • the model storage unit stores a three-dimensional model in which an object is expressed by a feature parameter
  • the image processing apparatus includes a feature region detection unit that detects a feature region from a captured image and a feature region image in the captured image.
  • a parameter value calculation unit that calculates a value of a feature parameter in the three-dimensional model that represents an object included in the image of the feature region by adapting the image of the object to be stored to the three-dimensional model stored in the model storage unit;
  • the output unit may output the feature parameter value calculated by the parameter value calculation unit and an image of a region other than the feature region.
  • an image processing method based on a model storing step of storing a reference model, which is a three-dimensional model representing an object, and image contents of a plurality of captured images obtained by capturing the object.
  • a model generation stage for generating an object model that is a three-dimensional model that matches an object captured in a plurality of captured images, and the position and orientation of the object captured in each of the plurality of captured images,
  • an output stage for outputting in correspondence with the difference information between the object model and the object model.
  • a computer-readable medium storing a program for an image processing apparatus, wherein the program stores a reference model which is a three-dimensional model representing an object.
  • a storage unit a model generation unit that generates an object model that is a three-dimensional model that conforms to an object captured in a plurality of captured images based on image contents of a plurality of captured images in which the object is captured, and a plurality of captured images
  • the position and the direction of the object imaged in each of these are functioned as an output unit that outputs in correspondence with the difference information between the reference model and the object model.
  • FIG. 1 is a diagram illustrating an example of an image processing system 10 according to an embodiment.
  • 2 is a diagram illustrating an example of a block configuration of an image processing apparatus 120.
  • FIG. 3 is a diagram illustrating an example of a block configuration of a compression unit 230.
  • FIG. 2 is a diagram illustrating an example of a block configuration of an image processing apparatus 170.
  • FIG. It is a figure which shows an example of the other block structure of the compression part 230.
  • FIG. FIG. 3 is a diagram illustrating an example of processing contents in the image processing apparatus 120. It is a figure which shows an example of the data which the model storage part 270 and the allowable amount storage part 275 store in a table format.
  • FIG. 1 is a diagram illustrating an example of an image processing system 2010 according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of a block configuration of an image processing apparatus 2120.
  • 3 is a diagram illustrating an example of a block configuration of a compression unit 2230.
  • FIG. FIG. 20 is a diagram illustrating an example of a block configuration of an image processing apparatus 2170. It is a figure which shows an example of the other block structure of the compression part 2230.
  • FIG. It is a figure which shows an example of the feature point in a human face.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a computer 1500 that functions as the image processing apparatus 120, the image processing apparatus 170, the image processing apparatus 2120, and the image processing apparatus 2170.
  • FIG. 1 shows typically an example of the change of the face shape at the time of changing the weighting coefficient b.
  • FIG. 2 shows an example of the image obtained by converting a sample image into an average face shape.
  • FIG. 2 shows an example of the image obtained by converting a sample image into an average face shape.
  • 2 is a diagram illustrating an example of a hardware configuration of a computer 1500 that functions as the image processing apparatus 120, the image processing apparatus 170
  • FIG. 1 shows an example of an image processing system 10 according to an embodiment.
  • the image processing system 10 can function as a monitoring system as described below.
  • the image processing system 10 includes a plurality of imaging devices 100a to 100d (hereinafter collectively referred to as the imaging device 100) that images the monitoring target space 150, an image processing device 120 that processes captured images captured by the imaging device 100, and communication. It includes a network 110, an image processing device 170, an image DB 175, and a plurality of display devices 180a-d (hereinafter collectively referred to as display devices 180). The image processing device 170 and the display device 180 are provided in a space 160 different from the monitoring target space 150.
  • the imaging apparatus 100a includes an imaging unit 102a and a captured image compression unit 104a.
  • the imaging unit 102a captures a plurality of captured images by continuously capturing the monitoring target space 150.
  • the captured image obtained by the imaging unit 102a may be a RAW format captured image.
  • the captured image compression unit 104a synchronizes the RAW format captured image captured by the imaging unit 102a, compresses the captured moving image including a plurality of captured images obtained by the synchronization by MPEG encoding, and the like. Generate data.
  • the imaging device 100a encodes the captured moving image obtained by capturing the monitoring target space 150 to generate captured moving image data.
  • the imaging device 100a outputs the captured moving image data to the image processing device 120.
  • the imaging device 100b, the imaging device 100c, and the imaging device 100d have the same configuration as that of the imaging device 100a, and thus description of each component of the imaging device 100b, the imaging device 100c, and the imaging device 100d is omitted.
  • the image processing device 120 acquires the captured moving image data generated by each of the plurality of imaging devices 100 from each of the plurality of imaging devices 100.
  • the image processing device 120 decodes the captured moving image data acquired from the imaging device 100 to acquire the captured moving image.
  • the image processing apparatus 120 has different types of features such as an area where a person 130 is imaged, an area where a moving body 140 such as a vehicle is imaged, etc., from each of a plurality of captured images included in the acquired captured video. A plurality of feature regions are detected. Then, the image processing apparatus 120 compresses the image of the feature area with an intensity according to the type of the feature, and compresses the image of the area other than the feature area with an intensity stronger than the compression intensity for compressing the image of each feature area You can do it. Note that the image processing apparatus 120 stores a model of a three-dimensional object. Then, the image processing apparatus 120 generates a three-dimensional model representing the object from the image of the object in the feature area in the captured moving image.
  • the image processing device 120 generates feature region information including information specifying the feature region detected from the captured image and model information including information specifying the three-dimensional model. Then, the image processing device 120 attaches the model information and the feature area information to the compressed moving image data, and transmits the compressed moving image data to the image processing device 170 through the communication network 110.
  • the image processing device 170 receives the compressed moving image data associated with the model information and the feature area information from the image processing device 120. Then, the image processing apparatus 170 expands the received compressed moving image data using the associated feature area information. At this time, the image processing apparatus 170 generates an image of the object in the feature area using the model information. The display moving image generated in this way is supplied to the display device 180. The display device 180 displays the moving image for display supplied from the image processing device 170.
  • the image processing apparatus 170 may record the compressed moving image data and the model information in the image DB 175 in association with the feature area information associated with the compressed moving image data. Then, in response to a request from the display device 180, the image processing device 170 reads the compressed moving image data, the feature area information, and the model information from the image DB 175, generates the display moving image as described above, and displays the display device. 180 may be supplied.
  • the feature area information is text data including the position of the feature area, the size of the feature area, the number of feature areas, identification information for identifying the captured image in which the feature area is detected, or the like, or compressed or encrypted into the text data. It may be data that has been processed. Then, the image processing apparatus 170 identifies captured images that satisfy various search conditions based on the position of the feature region, the size of the feature region, the number of feature regions, and the like included in the feature region information. Then, the image processing device 170 may decode the identified captured image and provide the decoded captured image to the display device 180.
  • the image processing system 10 since the feature region is recorded in association with the moving image, it is possible to quickly search and cue a captured image group that meets a predetermined condition in the moving image. Also, according to the image processing system 10, only a captured image group that meets a predetermined condition can be decoded, so that a partial moving image that meets the predetermined condition can be displayed promptly in response to a reproduction instruction.
  • FIG. 2 shows an example of a block configuration of the image processing apparatus 120.
  • the image processing apparatus 120 includes an image acquisition unit 250, a feature region detection unit 203, a model storage unit 270, an object model storage unit 280, an allowable amount storage unit 275, a model generation unit 260, an imaging information specifying unit 290, and a parameter value calculation unit 2260.
  • the image acquisition unit 250 includes a compressed moving image acquisition unit 201 and a compressed moving image expansion unit 202.
  • the compressed video acquisition unit 201 acquires a compressed video. Specifically, the compressed moving image acquisition unit 201 acquires encoded captured moving image data generated by the imaging device 100.
  • the compressed moving image expansion unit 202 expands the captured moving image data acquired by the compressed moving image acquisition unit 201 and generates a plurality of captured images included in the captured moving image.
  • the compressed moving image decompression unit 202 decodes the encoded captured moving image data acquired by the compressed moving image acquisition unit 201, and generates a plurality of captured images included in the captured moving image.
  • the captured image included in the captured moving image may be a frame image and a field image.
  • the captured image in the present embodiment may be an example of a moving image constituent image in the present invention. In this way, the image acquisition unit 250 acquires a plurality of moving images captured by each of the plurality of imaging devices 100.
  • the plurality of captured images obtained by the compressed moving image decompression unit 202 are supplied to the feature region detection unit 203 and the compression unit 230.
  • the feature region detection unit 203 detects a feature region from a moving image including a plurality of captured images. Specifically, the feature region detection unit 203 detects a feature region from each of the plurality of captured images. Note that the captured moving image described above may be an example of a moving image in the following description.
  • the feature region detection unit 203 detects an image region whose image content changes in a moving image as a feature region. Specifically, the feature region detection unit 203 may detect an image region including a moving object as a feature region. Note that the feature region detection unit 203 may detect a plurality of feature regions having different types of features from each of the plurality of captured images. Note that the type of feature may be an index of the type of object such as a person and a moving object. The type of the object may be determined based on the degree of matching of the shape of the object or the color of the object. As described above, the feature region detection unit 203 may detect a plurality of feature regions having different types of included objects from a plurality of captured images.
  • the feature region detection unit 203 extracts an object that matches a predetermined shape pattern with a matching degree equal to or higher than a predetermined matching degree from each of the plurality of picked-up images, and in the picked-up image including the extracted object.
  • the region may be detected as a feature region having the same feature type.
  • a plurality of shape patterns may be determined for each type of feature.
  • a shape pattern of a human face can be exemplified. Different face patterns may be determined for each of a plurality of persons.
  • the feature region detection unit 203 can detect different regions each including a different person as different feature regions.
  • the feature region detection unit 203 includes, in addition to the person's face, a part of the human body such as the head of the person or the hand of the person, or at least a part of a living body other than the human body. Can be detected as a feature region.
  • the living body includes a specific tissue existing inside the living body such as a tumor tissue or a blood vessel inside the living body.
  • the feature region detection unit 203 may detect, as the feature region, a region in which a card such as money, a cash card, a vehicle, or a license plate of the vehicle is captured.
  • the feature region detection unit 203 detects feature regions based on learning results based on machine learning (for example, Adaboost) described in, for example, Japanese Patent Application Laid-Open No. 2007-188419. It can also be detected. For example, an image feature amount extracted from a predetermined subject image and an image feature amount extracted from a subject image other than the predetermined subject are extracted from the predetermined subject image. Learn the features of the image features. Then, the feature region detection unit 203 may detect a region from which an image feature amount having a feature that matches the learned feature is extracted as a feature region. Thereby, the feature region detection unit 203 can detect a region where a predetermined subject is imaged as a feature region.
  • machine learning for example, Adaboost
  • the feature region detection unit 203 detects a plurality of feature regions from a plurality of captured images included in each of a plurality of moving images. Then, the feature region detection unit 203 supplies information indicating the detected feature region to the compression control unit 210.
  • the information indicating the feature region includes coordinate information of the feature region indicating the position of the feature region, type information indicating the type of the feature region, and information for identifying the captured moving image in which the feature region is detected. As described above, the feature region detection unit 203 detects the feature region in the moving image.
  • the compression control unit 210 controls the moving image compression processing by the compression unit 230 according to the feature area based on the information indicating the feature area acquired from the feature area detection unit 203.
  • the compression unit 230 may compress the captured image by compressing the feature region in the captured image and the region other than the feature region in the captured image with different intensities.
  • the compression unit 230 compresses the captured image by reducing the resolution of the region other than the feature region in the captured image included in the moving image.
  • the compression unit 230 compresses the image in the region other than the feature region by reducing the image quality of the image in the region other than the feature region.
  • the compression unit 230 compresses each image region in the captured image with an intensity corresponding to the importance. A more specific internal compression operation of the compression unit 230 will be described later.
  • the model storage unit 270 stores a reference model that is a three-dimensional model representing an object.
  • generation part 260 produces
  • the output unit 207 outputs the position and orientation of the object captured in each of the plurality of captured images in association with difference information between the reference model and the object model.
  • the model generation unit 260 generates an object model by changing the reference model.
  • the output unit 207 outputs the position and orientation of the imaged object in association with the difference information indicating the change amount changed from the reference model when the model generation unit 260 generates the object model.
  • the model storage unit 270 may store a plurality of reference models.
  • generation part 260 may produce
  • the model storage unit 270 stores a plurality of reference models for each part of the object, and the model generation unit 260 selects the reference model for each part and changes the selected reference model for each part. By doing so, an object model may be generated for each part.
  • the output unit 207 may output the position and orientation of the object being imaged in association with the information for identifying the selected reference model and the difference information.
  • the allowable amount storage unit 275 stores an allowable range of the change amount that is allowed to be changed with respect to the reference model. Then, the model generation unit 260 may generate the object model by changing the reference model within the allowable range of the change amount stored in the allowable amount storage unit 275. Further, the imaging information specifying unit 290 specifies an illumination condition in which the object imaged in the captured image is illuminated based on the object model and the image content of the captured image. Illumination conditions may include illumination type and illumination direction. In this case, the output unit 207 may output the position and orientation of the imaged object in association with the difference information and the illumination condition.
  • the model generation unit 260 may generate an object model based on the image contents of a plurality of captured images in which an object imaged in the feature region is imaged. Then, the output unit 207 may output the position and orientation of the object imaged in the feature area detected from each of the plurality of captured images in association with the difference information.
  • the object model storage unit 280 stores the object model generated by the model generation unit 260.
  • the feature region detection unit 203 detects, as a feature region, a region in which an object conforming to the object model is captured from a newly captured image.
  • the association processing unit 206 associates the information specifying the feature area detected from the captured image and the model information with the captured image. Specifically, the association processing unit 206 associates information for specifying a feature area detected from a captured image and model information with a compressed moving image including the captured image as a moving image constituent image. Then, the output unit 207 outputs the compressed moving image in which the information for specifying the feature region and the model information are associated with each other by the association processing unit 206 to the image processing apparatus 170.
  • the output unit 207 outputs model information and an image of an area other than the feature area. More specifically, the output unit 207 outputs model information for identifying an object model and an image of a region other than the feature region whose image quality has been reduced by the compression unit 230.
  • the object image included in the feature region is represented by the model information, thereby reconstructing the object image later while sufficiently reducing the data amount.
  • the amount of data can be significantly reduced by reducing the image quality.
  • model storage unit 270 may store a three-dimensional model in which an object is expressed by a feature parameter. Specifically, the model storage unit 270 may store a three-dimensional model in which an object is expressed by statistical feature parameters. More specifically, the model storage unit 2270 may store a model in which the shape of an object is expressed using principal components based on principal component analysis. A specific example of the feature parameter will be described with reference to FIG.
  • the parameter value calculation unit 2260 represents the object included in the feature region image by adapting the image of the object included in the feature region image in the captured image to the three-dimensional model stored in the model storage unit 270. The value of the characteristic parameter in the three-dimensional model is calculated. Then, the output unit 207 outputs the feature parameter value calculated by the parameter value calculation unit 2260 and an image of a region other than the feature region. At this time, the output unit 207 may output the feature parameter value calculated by the parameter value calculation unit 2260 and an image of a region other than the feature region whose image quality has been reduced by the compression unit 230. Note that specific examples of functions and operations of the parameter value calculation unit 2260, the parameter quantization unit 2280, and the output unit 207 will be described with reference to FIGS.
  • FIG. 3 shows an example of the block configuration of the compression unit 230.
  • the compression unit 230 includes an image dividing unit 232, a plurality of fixed value conversion units 234a-c (hereinafter, sometimes collectively referred to as a fixed value conversion unit 234), and a plurality of image quality conversion units 241a-d (hereinafter referred to as image quality conversion units). And a plurality of compression processing units 236a-d (hereinafter may be collectively referred to as compression processing units 236).
  • the image dividing unit 232 acquires a plurality of captured images from the image acquisition unit 250. Then, the image dividing unit 232 divides the plurality of captured images into a feature region and a background region other than the feature region. Specifically, the image dividing unit 232 divides the plurality of captured images into each of a plurality of feature areas and a background area other than the feature areas. As described above, the image dividing unit 232 divides each of the plurality of captured images into the feature region and the background region.
  • the compression processing unit 236 compresses the feature region image, which is the feature region image, and the background region image, which is the background region image, with different strengths. Specifically, the compression processing unit 236 compresses a feature area moving image including a plurality of feature area images and a background area moving image including a plurality of background area images with different strengths.
  • the image dividing unit 232 generates a feature area moving image for each of a plurality of feature types by dividing a plurality of captured images. Then, the fixed value unit 234 fixes the pixel values of the regions other than the feature regions of the respective feature types for each of the feature region images included in the plurality of feature region moving images generated for each feature type. To do. Specifically, the fixed value converting unit 234 sets pixel values in regions other than the feature region to predetermined pixel values.
  • the image quality conversion unit 241 converts the image quality of the feature area image and the background area image. For example, the image quality conversion unit 241 converts at least one of the resolution, the number of gradations, the dynamic range, and the number of included colors for each of the divided feature region image and background region image. Then, the compression processing unit 236 compresses a plurality of feature area moving images for each feature type. For example, the compression processing unit 236 performs MPEG compression on a plurality of feature area moving images for each feature type.
  • the fixed value unit 234a, the fixed value unit 234b, and the fixed value unit 234c are a feature region moving image of the first feature type, a feature region moving image of the second feature type, and a third feature, respectively.
  • the type of feature area animation is fixed.
  • the image quality conversion unit 241a, the image quality conversion unit 241b, the image quality conversion unit 241c, and the image quality conversion unit 241d respectively include a feature area moving image of the first feature type, a feature area moving image of the second feature type, and a third The image quality of the feature region moving image of the feature type and the background region moving image is converted.
  • the compression processing unit 236a, the compression processing unit 236b, the compression processing unit 236c, and the compression processing unit 236d are a feature region moving image of the first feature type, a feature region moving image of the second feature type, and a third feature. Types of feature area animation and background area animation are compressed.
  • the compression processing units 236a-c compress the feature region moving image with a predetermined strength according to the feature type.
  • the compression processing unit 236 may convert the feature area moving image to a different resolution determined in advance according to the type of the feature, and compress the converted feature area moving image.
  • the compression processing unit 236 may compress the feature region moving image with different quantization parameters determined in advance according to the feature type.
  • the compression processing unit 236d compresses the background area moving image. Note that the compression processing unit 236d may compress the background area moving image with a strength higher than the strength of any of the compression processing units 236a-c.
  • the feature area moving image and the background area moving image compressed by the compression processing unit 236 are supplied to the association processing unit 206.
  • regions other than the feature region have been fixed values by the fixed value unit 234, when the compression processing unit 236 performs predictive encoding by MPEG encoding or the like, the region other than the feature region may be connected to the predicted image. The amount of difference between the images can be significantly reduced. Therefore, the compression rate of the feature area moving image can be significantly increased.
  • the compression unit 230 generates an image to be an input image to the image processing apparatus 170 by reducing the image quality of the captured image. Specifically, the compression unit 230 generates an image to be an input image to the image processing apparatus 170 by reducing the resolution, the number of gradations, and the number of colors used in the captured image. For example, the compression unit 230 may generate an image to be an input image to the image processing device 170 by further reducing higher spatial frequency components in the captured image.
  • each of the plurality of compression processing units 236 included in the compression unit 230 compresses a plurality of feature region images and a background region image.
  • the compression unit 230 performs one compression process.
  • a single compression processing unit 236 may compress a plurality of feature region images and background region images with different intensities. For example, a plurality of feature region images and a background region image are sequentially supplied to one compression processing unit 236 in a time-sharing manner, and the one compression processing unit 236 differs from the plurality of feature region images and the background region image. You may compress sequentially by intensity.
  • the one compression processing unit 236 quantizes the image information of the plurality of feature regions and the image information of the background region with different quantization coefficients, respectively, thereby converting the images of the plurality of feature regions and the images of the background region. They may be compressed with different strengths. Also, an image obtained by converting a plurality of feature region images and a background region image into images of different image quality is supplied to one compression processing unit 236, and the one compression processing unit 236 includes a plurality of feature region images and Each image in the background area may be compressed. The image quality conversion process may be performed by one image quality conversion unit 240.
  • one compression processing unit 236 quantizes with a different quantization coefficient for each region, or one compression processing unit 236 compresses an image converted into a different image quality for each region.
  • the compression processing unit 236 may compress one image, or may compress each of the images divided by the image dividing unit 232 as described with reference to FIG.
  • the image dividing unit 232 does not need to perform the dividing process and the fixed value converting unit 234 does not perform the fixing process.
  • the dividing unit 232 and the fixed value unit 234 may not be provided.
  • FIG. 4 shows an example of a block configuration of the image processing apparatus 170.
  • the image processing apparatus 170 includes an image acquisition unit 301, an association analysis unit 302, an expansion control unit 310, an expansion unit 320, an image selection unit 390, an image generation unit 380, a feature region information acquisition unit 360, a model storage unit 350, and a threshold acquisition. Part 370 and output part 340.
  • the image generation unit 380 includes an enlargement unit 332 and a synthesis unit 330.
  • the image selection unit 390 includes a matching degree calculation unit 392 and an image extraction unit 394.
  • the image acquisition unit 301 acquires the compressed moving image compressed by the compression unit 230. Specifically, the image acquisition unit 301 acquires a compressed moving image including a plurality of feature area moving images and a background area moving image. More specifically, the image acquisition unit 301 acquires a compressed moving image with feature area information, model information, and information indicating the position and direction of an object.
  • the association analysis unit 302 separates the moving image data acquired by the image acquisition unit 301 into a plurality of feature region moving images and background region moving images, feature region information, and model information, and a plurality of feature region moving images and backgrounds.
  • the area moving image is supplied to the decompression unit 320.
  • the association analysis unit 302 supplies the position of the feature region and the feature type to the extension control unit 310 and the feature region information acquisition unit 360. Further, the association analysis unit 302 supplies model information and information indicating the position and direction of the object to the feature region information acquisition unit 360.
  • the feature area information acquisition unit 360 acquires information indicating the feature area in each of the plurality of captured images (for example, information indicating the position of the feature area), model information, and information indicating the position and direction of the object. can do.
  • the feature region information acquisition unit 360 supplies the image generation unit 380 with information indicating the position of the acquired feature region, model information, and information indicating the position and direction of the object.
  • the extension control unit 310 controls the extension process by the extension unit 320 according to the position of the feature region and the feature type acquired from the association analysis unit 302. For example, the decompression control unit 310 decompresses each region of the moving image indicated by the compressed moving image to the decompressing unit 320 according to the compression method in which the compression unit 230 compresses each region of the moving image according to the position of the feature region and the type of feature.
  • the decompression unit 320 includes a plurality of decoders 322a-d (hereinafter collectively referred to as decoders 322).
  • the decoder 322 decodes one of the plurality of encoded characteristic area moving images and background area moving images. Specifically, the decoder 322a, the decoder 322b, the decoder 322c, and the decoder 322d decode the first feature region moving image, the second feature region moving image, the third feature region moving image, and the background region moving image, respectively.
  • the decompressing unit 320 supplies the first feature region moving image, the second feature region moving image, the third feature region moving image, and the background region moving image obtained by decoding to the image generating unit 380.
  • the image generation unit 380 generates one display moving image based on the first feature region moving image, the second feature region moving image, the third feature region motion, the background region moving image, and the feature region information. Then, the output unit 340 outputs the feature area information and the display moving image acquired from the association analysis unit 302 to the display device 180 or the image DB 175.
  • the image DB 175 associates the position of the feature region indicated by the feature region information, the feature type of the feature region, and the number of feature regions with the information for identifying the captured image included in the display moving image, and the non-volatile memory such as a hard disk. May be recorded on the recording medium.
  • the model storage unit 350 stores the same model as the model stored in the model storage unit 270. Then, the image generation unit 380 displays the two-dimensional image of the object included in the feature region, the model stored in the model storage unit 350, the difference information output from the output unit 207, the position of the object, and the direction of the object It is generated by projecting a three-dimensional object model generated by using the two-dimensional space.
  • the feature region information acquisition unit 360 may acquire the type of object, the direction of the object, and the illumination condition output from the output unit 207 in association with the compressed moving image. Then, the image generation unit 380 generates a two-dimensional image of the object by projecting the generated three-dimensional object model onto the two-dimensional space according to the type of object, the direction of the object, and the illumination condition. Good.
  • the image enlargement unit 332 enlarges an image in a region other than the feature region. Then, the synthesis unit 330 synthesizes the two-dimensional image and the image of the area other than the enlarged feature area. Then, the output unit 340 outputs an image including the two-dimensional image and an image other than the feature region. Note that the output unit 340 may record the image obtained by the synthesis in the image DB 175 in association with the difference information between the object model and the reference model. As described above, the image DB 175 stores a plurality of captured images in association with difference information between an object model that matches each of the objects captured in the plurality of captured images and the reference model. Specifically, the image DB 175 stores a plurality of captured images in association with difference information indicating a change amount changed from the reference model when the model generation unit 260 generates an object model.
  • the image DB 175 may store a plurality of captured images in association with model identification information and difference information that is information for identifying the selected reference model. Then, the image selection unit 390 generates model identification information indicating the same model as the model identification information for identifying the reference model selected when generating the object model that matches the object included in the new captured image, and the new imaging
  • the captured image stored in the image DB 175 is selected in association with the difference information that matches the difference information between the object model that matches the object included in the image and the reference model with a degree of coincidence higher than a predetermined value.
  • the threshold acquisition unit 370 acquires the threshold of the degree of coincidence between the difference information from outside the image processing apparatus 170.
  • the image selection unit corresponds to the difference information that matches the difference information between the object model that matches the object included in the new captured image and the reference model with a higher matching degree than the threshold acquired by the threshold acquisition unit 370.
  • a captured image stored in the image DB 175 may be selected.
  • the degree-of-match calculation unit 392 calculates, for each part, the difference between the difference information stored in the image DB 175 and the object model that matches the object included in the new captured image and the reference model. The degree of coincidence with the information is calculated. Then, the image extraction unit 394 extracts the captured image stored in the image DB 175 in association with the combination of the difference information in which the total value of the matching level calculated by the matching level calculation unit 392 is higher than a predetermined value.
  • the image selection unit 390 corresponds to the difference information that matches the difference information between the object model that matches the object included in the new captured image and the reference model with a degree of matching higher than a predetermined value. Then, the captured image stored in the image DB 175 is selected. For this reason, according to the image processing system 10, since it can search based on difference information, an image can be searched at high speed.
  • FIG. 5 shows an example of another block configuration of the compression unit 230.
  • the compression unit 230 in this configuration compresses a plurality of captured images by a spatial scalable encoding process corresponding to the type of feature.
  • the compression unit 230 in this configuration includes an image quality conversion unit 510, a difference processing unit 520, and an encoding unit 530.
  • the difference processing unit 520 includes a plurality of inter-layer difference processing units 522a-d (hereinafter collectively referred to as inter-layer difference processing units 522).
  • Encoding section 530 includes a plurality of encoders 532a-d (hereinafter collectively referred to as encoders 532).
  • the image quality conversion unit 510 acquires a plurality of captured images from the image acquisition unit 250. In addition, the image quality conversion unit 510 acquires information specifying the feature region detected by the feature region detection unit 203 and information specifying the type of feature in the feature region. Then, the image quality conversion unit 510 duplicates the captured image, and generates captured images of the number of types of features in the feature area. Then, the image quality conversion unit 510 converts the generated captured image into an image having a resolution corresponding to the type of feature.
  • the image quality conversion unit 510 has a captured image converted to a resolution corresponding to the background area (hereinafter referred to as a low resolution image), and a captured image converted to the first resolution corresponding to the type of the first feature ( Called a first resolution image), a captured image converted to a second resolution corresponding to the second feature type (referred to as a second resolution image), and a third resolution corresponding to the third feature type.
  • a captured image (referred to as a third resolution image) converted to is generated.
  • the first resolution image has a higher resolution than the low resolution image
  • the second resolution image has a higher resolution than the first resolution image
  • the third resolution image has a higher resolution than the second resolution image.
  • the image quality conversion unit 510 converts the low resolution image, the first resolution image, the second resolution image, and the third resolution image into the inter-layer difference processing unit 522d, the inter-layer difference processing unit 522a, and the inter-layer difference processing unit 522b, respectively. And to the inter-layer difference processing unit 522c.
  • the image quality conversion unit 510 supplies a moving image to each of the inter-layer difference processing units 522 by performing the above-described image quality conversion processing on each of the plurality of captured images.
  • the image quality conversion unit 510 may convert the frame rate of the moving image supplied to each of the inter-layer difference processing unit 522 in accordance with the feature type of the feature region. For example, the image quality conversion unit 510 may supply, to the inter-layer difference processing unit 522d, a moving image having a lower frame rate than the moving image supplied to the inter-layer difference processing unit 522a. In addition, the image quality conversion unit 510 may supply a moving image having a lower frame rate than the moving image supplied to the inter-layer difference processing unit 522b to the inter-layer difference processing unit 522a, and a frame lower than the moving image supplied to the inter-layer difference processing unit 522c. The rate movie may be supplied to the inter-tier difference processing unit 522b.
  • the image quality conversion unit 510 may convert the frame rate of the moving image supplied to the inter-layer difference processing unit 522 by thinning out the captured image according to the feature type of the feature region. Note that the image quality conversion unit 510 can perform the same image quality conversion processing as the image quality conversion unit 241 described with reference to FIG.
  • the inter-layer difference processing unit 522d and the encoder 532d predictively encode a background area moving image including a plurality of low-resolution images. Specifically, the inter-layer difference processing unit 522 generates a difference image from a predicted image generated from another low-resolution image. Then, the encoder 532d quantizes the transform coefficient obtained by converting the difference image into a spatial frequency component, and encodes the quantized transform coefficient by entropy coding or the like. Note that such predictive encoding processing may be performed for each partial region of the low-resolution image.
  • the inter-layer difference processing unit 522a predictively encodes the first feature region moving image including the plurality of first resolution images supplied from the image quality conversion unit 510.
  • the inter-layer difference processing unit 522b and the inter-layer difference processing unit 522c each predictively encode a second feature area moving image including a plurality of second resolution images and a third feature area moving image including a plurality of third resolution images. To do.
  • specific operations of the inter-layer difference processing unit 522a and the encoder 532a will be described.
  • the inter-layer difference processing unit 522a decodes the first resolution image encoded by the encoder 532d, and expands the decoded image to an image having the same resolution as the first resolution. Then, the inter-layer difference processing unit 522a generates a difference image between the enlarged image and the low resolution image. At this time, the inter-layer difference processing unit 522a sets the difference value in the background area to zero. Then, the encoder 532a encodes the difference image in the same manner as the encoder 532d. Note that the encoding processing by the inter-layer difference processing unit 522a and the encoder 532a may be performed for each partial region of the first resolution image.
  • the inter-layer difference processing unit 522a calculates the code amount predicted when the difference image with the low resolution image is encoded, and the other first resolution image. The amount of code predicted when the difference image between the generated prediction image and the prediction image is encoded is compared. In the case where the latter code amount is smaller, the inter-layer difference processing unit 522a generates a difference image from the predicted image generated from the other first resolution image. In addition, the inter-layer difference processing unit 522a, when it is predicted that the code amount is smaller when encoded without taking the difference from the low-resolution image or the predicted image, It is not necessary to take a difference between them.
  • the inter-layer difference processing unit 522a may not set the difference value in the background area to zero.
  • the encoder 532a may set the encoded data for difference information in an area other than the feature area to zero.
  • the encoder 532a may set the conversion coefficient after conversion to a frequency component to zero.
  • the motion vector information when the inter-layer difference processing unit 522d performs predictive encoding is supplied to the inter-layer difference processing unit 522a.
  • the inter-layer difference processing unit 522a may calculate a motion vector for a predicted image using the motion vector information supplied from the inter-layer difference processing unit 522d.
  • the operations of the inter-layer difference processing unit 522b and the encoder 532b are that the second resolution image is encoded, and the first resolution after encoding by the encoder 532a when the second resolution image is encoded.
  • the operations of the inter-layer difference processing unit 522b and the encoder 532b are substantially the same as the operations of the inter-layer difference processing unit 522a and the encoder 532a, except that the difference from the image may be taken. To do.
  • the operations of the inter-layer difference processing unit 522c and the encoder 532c are that the third resolution image is encoded, and when the third resolution image is encoded, after the encoding by the encoder 532b. Except for the fact that a difference from the second resolution image may be obtained, the operation is substantially the same as the operation of the inter-layer difference processing unit 522a and the encoder 532a, and thus the description thereof is omitted.
  • the image quality conversion unit 510 generates, from each of the plurality of captured images, a low-quality image having a low image quality and a feature region image having higher image quality than the low-quality image at least in the feature region. Then, the difference processing unit 520 generates a feature region difference image indicating a difference image between the feature region image in the feature region image and the feature region image in the low-quality image. Then, the encoding unit 530 encodes the feature region difference image and the low quality image.
  • the image quality conversion unit 510 generates a low-quality image with reduced resolution from a plurality of captured images
  • the difference processing unit 520 includes a feature region image in the feature region image and a feature region image in the low-quality image.
  • a feature region difference image between the image and the image enlarged is generated.
  • the difference processing unit 520 has a spatial frequency component in which the difference between the feature region image and the enlarged image in the feature region is converted into the spatial frequency region, and the data amount of the spatial frequency component is in the region other than the feature region.
  • a reduced feature area difference image is generated.
  • the compression unit 230 encodes hierarchically by encoding image differences between a plurality of layers having different resolutions.
  • a part of the compression method by the compression unit 230 of this configuration is H.264.
  • a compression scheme according to H.264 / SVC is included. Note that when the image processing apparatus 170 decompresses such a layered compressed moving image, the moving image data of each layer is decoded, and the difference is taken for the region encoded by the inter-layer difference.
  • the captured image having the original resolution can be generated by the addition process with the captured image decoded in the hierarchy.
  • FIG. 6 shows an example of processing contents in the image processing apparatus 120.
  • the feature region detection unit 203 detects head regions 610-1 to 610-1 to 610-3 as examples of feature regions, respectively, from the captured images 600-1 to 600-3 (hereinafter collectively referred to as the captured image 600). Then, the model generation unit 260 selects the head regions 610-1 to 610-3 captured from different directions, and generates a three-dimensional object model 650 based on the image content of the selected head region 610.
  • the model generation unit 260 generates the object model 650 by correcting the reference model stored in the model storage unit 270. Note that an example of a method in which the model generation unit 260 generates the object model by changing the reference model will be described later with reference to FIG.
  • the output unit 207 transmits difference information between the generated object model and the reference model to the image processing apparatus 170.
  • the output unit 207 transmits the position and direction of the object as information for generating a two-dimensional image of the object from the object model in association with each of the captured images 600.
  • the viewpoint may be a viewpoint capable of obtaining a two-dimensional image of the object (for example, an image of the head region 610) when the object model is projected onto the two-dimensional space.
  • the output unit 207 may transmit one difference information to the image processing apparatus 170 in association with the plurality of captured images 600. Thereby, the amount of data transmitted from the image processing apparatus 120 to the image processing apparatus 170 can be reduced.
  • difference information the change amount from a reference
  • FIG. 7 shows an example of data stored in the model storage unit 270 and the allowable amount storage unit 275 in a table format.
  • the model storage unit 270 stores a reference model for each part.
  • the model storage unit 270 stores a plurality of reference models EM701, EM702... Representing eyes, a plurality of reference models NM701, NM702.
  • the allowable amount storage unit 275 stores a change allowable range for the reference model in association with a plurality of reference models including the reference models EM701, EM702, NM701, and NM702.
  • the change allowable range includes an aspect ratio range as an example of a change allowable range related to a shape, and a color difference range and a luminance range as an example of a change allowable range related to color information. Can do.
  • the model generation unit 260 selects the reference model stored in the model storage unit 270 for each part based on the image content of the head region 610. For example, the model generation unit 260 selects, for each of the images of each part included in the head region 610, a reference model whose shape matches the image of each part with a degree of matching higher than a predetermined value.
  • the model generation unit 260 compares the image obtained by changing the aspect ratio of the reference model within the range of the aspect ratio stored in the allowable amount storage unit 275 with the image of each part, The aspect ratio having the highest degree of coincidence with the image of the image is specified.
  • the model generation unit 260 compares the image obtained by changing the color difference and the luminance with respect to the reference model and the image of each part, and the color matching degree between the image of each part is the highest.
  • the aspect ratio, color difference information, and luminance information can be exemplified. In this way, the model generation unit 260 generates an object model represented by the reference model and difference information (for example, change amount).
  • FIG. 8 shows an example of data stored in the image DB 175 in association with the captured image 600 in a table format.
  • the image processing apparatus 170 stores information identifying the model acquired from the image processing apparatus 120, aspect ratio, color difference information, and luminance information in the image DB 175 in association with the plurality of captured images 600 including the head region 610. . Note that the image processing apparatus 170 stores a set of information for identifying a model, aspect ratio, color difference information, and luminance information in the image DB 175 for each part.
  • the degree-of-match calculation unit 392 reads a set of aspect ratio, color difference information, and luminance information stored in the image DB 175 in association with information for identifying the model.
  • the coincidence calculation unit 392 compares the read aspect ratio, color difference information, and luminance information set with the set of difference information in the new captured image, and calculates the coincidence therebetween. .
  • the image extraction unit 394 adds up the degree of coincidence calculated by the degree of coincidence calculation unit 392 for each part, and the image DB 175 associates the obtained total value with a set of difference information higher than a predetermined value.
  • the stored captured image is extracted.
  • the image selection unit 390 can select a captured image in which a similar object is captured based on numerical values such as model identification information, aspect ratio, color difference information, and luminance information. For this reason, according to the image processing system 10, it is possible to select an image at a higher speed than when selecting an image based on the image content.
  • FIG. 9 shows an example of an image processing system 20 according to another embodiment.
  • the configuration of the image processing system 20 according to the present embodiment is the same as the image processing apparatus 20 described above with reference to FIG. 1 except that the imaging devices 100a-d have image processing units 804a-d (hereinafter collectively referred to as image processing units 804).
  • the configuration of the processing system 10 is the same.
  • the image processing unit 804 has components other than the image acquisition unit 250 among the components included in the image processing device 120.
  • the functions and operations of the constituent elements included in the image processing unit 804 are replaced with that the constituent elements included in the image processing device 120 process the captured moving image obtained by the decompression processing by the compressed moving image decompression unit 202.
  • the functions and operations of the components included in the image processing apparatus 120 may be substantially the same except that the captured moving image captured by the imaging unit 102 is processed. Also in the image processing system 20 having such a configuration, substantially the same effect as that described in relation to the image processing system 10 in FIGS. 1 to 8 can be obtained.
  • the image processing unit 804 acquires a captured moving image including a plurality of captured images expressed in the RAW format from the imaging unit 102, and RAWs the captured images expressed in the RAW format included in the acquired captured moving image. You can compress it as it is. For example, the image processing unit 804 may compress an image of a region to be compressed without using the three-dimensional model described in relation to FIGS. 1 to 8 in the captured image in the RAW format. Note that the image processing unit 804 may detect one or more feature regions from a plurality of captured images expressed in the RAW format. The image processing unit 804 may compress a captured moving image including a plurality of compressed captured images in the RAW format.
  • the image processing unit 804 can perform compression by the compression method described as the operation of the image processing apparatus 120 in relation to FIGS. Further, the image processing apparatus 170 can acquire a plurality of captured images expressed in the RAW format by expanding the moving image acquired from the image processing unit 804. The image processing apparatus 170 enlarges each of the plurality of captured images expressed in the RAW format acquired by decompression for each region, and performs synchronization processing for each region. At this time, the image processing apparatus 170 may perform synchronization processing with higher accuracy in the feature region than in the region other than the feature region.
  • the image processing apparatus 170 may perform super-resolution processing on the captured image obtained by the synchronization processing.
  • Super-resolution processing in the image processing apparatus 170 includes super-resolution processing based on principal component analysis as described in JP-A-2006-350498, or subject as described in JP-A-2004-88615. The super-resolution processing based on the movement of the can be illustrated.
  • the image processing apparatus 170 may perform super-resolution processing for each object included in the feature region.
  • the image processing apparatus 170 performs super-resolution processing for each face part (for example, eyes, nose, mouth, etc.) as an example of information for identifying the type of object. Apply.
  • the image processing apparatus 170 stores learning data such as a model as described in JP-A-2006-350498 for each face part (for example, eyes, nose, mouth). Then, the image processing apparatus 170 may perform super-resolution processing on the image of each face part using the learning data selected for each face part included in the feature region.
  • the image processing apparatus 170 can reconstruct the image of the feature region using the principal component analysis (PCA).
  • PCA principal component analysis
  • LDP local preserving projection
  • LDA Linear discriminant analysis
  • ICA independent component analysis
  • MDS multidimensional scaling
  • support vector machine support vector regression
  • neural network hidden Markov model
  • Bay Inference maximum posterior probability estimation
  • wavelet transform local linear embedding (locally li ear embedding: LLE), Markov random field (Markov random field: MRF) technique or the like
  • MRF Markov random field
  • the learning data includes low frequency components and high frequency components of the object image respectively extracted from a large number of sample images of the object. Good.
  • the low frequency components of the object image for each of the plurality of object types are clustered into a plurality of clusters. May have been.
  • a typical low frequency component for example, centroid value
  • the image processing device 170 extracts a low frequency component from the image of the object included in the feature region in the captured image. Then, the image processing apparatus 170 determines, as a representative low-frequency component, a value that matches the extracted low-frequency component among the low-frequency component clusters extracted from the sample image of the extracted object type object. Identify the cluster. Then, the image processing apparatus 170 identifies a cluster of high frequency components associated with the low frequency component included in the identified cluster. In this way, the image processing apparatus 170 can specify a cluster of high-frequency components that are correlated with the low-frequency components extracted from the objects included in the captured image.
  • the image processing apparatus 170 may convert the image of the object into a high-quality image with higher image quality using high-frequency components that represent the specified cluster of high-frequency components. For example, the image processing apparatus 170 may add the high-frequency component selected for each object with a weight according to the distance from the center of each object to the processing target position on the face to the object image. Note that the representative high-frequency component may be generated by closed-loop learning. As described above, the image processing apparatus 170 selects and uses desired learning data for each object from learning data generated by learning for each object. There are cases where image quality can be improved.
  • an object image is represented by a principal component vector and a weighting coefficient.
  • the data amounts of these weighting coefficients and principal component vectors are significantly smaller than the data amount of pixel data included in the object image itself. Therefore, the image processing unit 804 is included in the feature region in the compression processing for compressing a plurality of captured images acquired from the imaging unit 102 without using the three-dimensional model described with reference to FIGS.
  • the weighting coefficient may be calculated from the image of the object. That is, the image processing unit 804 can compress the image of the object included in the feature region by representing the principal component vector and the weighting coefficient.
  • the image processing unit 804 may transmit the principal component vector and the weighting coefficient to the image processing apparatus 170.
  • the image processing apparatus 170 an image of an object included in the feature region can be reconstructed using the principal component vector and the weighting coefficient acquired from the image processing unit 804.
  • the image processing unit 804 is included in the feature region using a model that represents an object with various feature parameters in addition to a model based on principal component analysis as described in JP-A-2006-350498.
  • the image of the object can be compressed. Note that, also in the configuration of the image processing system 10 described with reference to FIGS. 1 to 8, the image processing apparatus 170 can perform the above-described super-resolution processing on the image of the feature region.
  • FIG. 10 shows an example of an image processing system 2010 according to an embodiment.
  • the image processing system 2010 can function as a monitoring system as described below.
  • the image processing system 2010 includes a plurality of imaging devices 2100a-d (hereinafter collectively referred to as imaging devices 2100) that capture the monitoring target space 2150, an image processing device 2120 that processes captured images captured by the imaging device 2100, and communication.
  • a network 2110, an image processing device 2170, an image DB 2175, and a plurality of display devices 2180a-d (hereinafter collectively referred to as display devices 2180) are provided.
  • the image processing device 2170 and the display device 2180 are provided in a space 2160 different from the monitoring target space 2150.
  • the imaging device 2100a has an imaging unit 2102a and a captured image compression unit 2104a.
  • the imaging unit 2102a captures a plurality of captured images by continuously capturing the monitoring target space 2150.
  • the captured image obtained by the imaging unit 2102a may be a RAW format captured image.
  • the captured image compression unit 2104a synchronizes the RAW format captured images captured by the imaging unit 2102a, compresses a captured moving image including a plurality of captured images obtained by the synchronization by MPEG encoding, and the like. Generate data.
  • the imaging device 2100a encodes the captured moving image obtained by imaging the monitoring target space 2150 to generate captured moving image data.
  • the imaging device 2100a outputs the captured moving image data to the image processing device 2120.
  • the imaging device 2100b, the imaging device 2100c, and the imaging device 2100d have the same configuration as the imaging device 2100a, respectively, and thus description of each component of the imaging device 2100b, the imaging device 2100c, and the imaging device 2100d is omitted.
  • the image processing device 2120 acquires the captured moving image data generated by each of the plurality of imaging devices 2100 from each of the plurality of imaging devices 2100.
  • the image processing device 2120 decodes the captured moving image data acquired from the imaging device 2100 to acquire the captured moving image.
  • the image processing device 2120 has different types of features such as an area where a person 2130 is imaged, an area where a moving body 2140 such as a vehicle is imaged, etc., from each of a plurality of captured images included in the acquired captured video. A plurality of feature regions are detected. Then, the image processing apparatus 2120 compresses the image of the feature area with an intensity corresponding to the type of the feature, and compresses the image of the area other than the feature area with an intensity stronger than the compression intensity for compressing the image of each feature area. You can do it.
  • the image processing apparatus 2120 stores a mathematical model in which an object is represented by a feature parameter. Then, the image processing apparatus 2120 calculates the value of the feature parameter representing the image of the object by fitting the image of the object included in the feature region to the mathematical model.
  • the image processing apparatus 2120 generates feature area information including information for specifying the feature area detected from the captured image. Then, the image processing apparatus 2120 attaches the characteristic parameter value and the characteristic area information to the compressed moving image data, and transmits the compressed moving picture data to the image processing apparatus 2170 through the communication network 2110.
  • the image processing device 2170 receives from the image processing device 2120 the compressed moving image data in which the value of the feature parameter and the feature area information are associated with each other. Then, the image processing device 2170 expands the received compressed moving image data using the associated feature area information. At this time, the image processing apparatus 2170 generates an image of an object included in the feature region by changing the model with the value of the feature parameter using the decompressed image of the feature region. The display moving image generated in this way is supplied to the display device 2180. The display device 2180 displays the moving image for display supplied from the image processing device 2170.
  • the image processing device 2170 may record the compressed moving image data and the characteristic parameters in the image DB 2175 in association with the feature area information associated with the compressed moving image data. Then, in response to a request from the display device 2180, the image processing device 2170 reads the compressed moving image data, feature area information, and feature parameter values from the image DB 2175, and generates a display moving image as described above. You may supply to the display apparatus 2180.
  • FIG. 1
  • the feature area information is text data including the position of the feature area, the size of the feature area, the number of feature areas, identification information for identifying the captured image in which the feature area is detected, or the like, or compressed or encrypted into the text data. It may be data that has been processed. Then, the image processing device 2170 specifies a captured image that satisfies various search conditions based on the position of the feature region included in the feature region information, the size of the feature region, the number of feature regions, and the like. Then, the image processing device 2170 may decode the identified captured image and provide the decoded captured image to the display device 2180.
  • the image processing system 2010 since the feature region is recorded in association with the moving image, it is possible to quickly search and cue a captured image group that meets a predetermined condition in the moving image. Further, according to the image processing system 2010, only a captured image group that meets a predetermined condition can be decoded, so that a partial moving image that meets the predetermined condition can be displayed promptly in response to a reproduction instruction.
  • FIG. 11 shows an example of a block configuration of the image processing apparatus 2120.
  • the image processing device 2120 includes an image acquisition unit 2250, a feature region detection unit 2203, a model storage unit 2270, a parameter value calculation unit 2260, a parameter quantization unit 2280, a compression control unit 2210, a compression unit 2230, an association processing unit 2206, and An output unit 2207 is provided.
  • the image acquisition unit 2250 includes a compressed moving image acquisition unit 2201 and a compressed moving image expansion unit 2202.
  • Compressed video acquisition unit 2201 acquires a compressed video. Specifically, the compressed moving image acquisition unit 2201 acquires encoded captured moving image data generated by the imaging device 2100.
  • the compressed video decompression unit 2202 decompresses the captured video data acquired by the compressed video acquisition unit 2201 and generates a plurality of captured images included in the captured video.
  • the compressed video decompression unit 2202 decodes the encoded captured video data acquired by the compressed video acquisition unit 2201 and generates a plurality of captured images included in the captured video.
  • the captured image included in the captured moving image may be a frame image and a field image.
  • the captured image in the present embodiment may be an example of a moving image constituent image in the present invention.
  • the image acquisition unit 2250 acquires a plurality of moving images captured by each of the plurality of imaging devices 2100.
  • the plurality of captured images obtained by the compressed moving image decompression unit 2202 are supplied to the feature region detection unit 2203 and the compression unit 2230.
  • the feature area detection unit 2203 detects a feature area from a moving image including a plurality of captured images. Specifically, the feature region detection unit 2203 detects a feature region from each of the plurality of captured images. Note that the captured moving image described above may be an example of a moving image in the following description.
  • the feature region detection unit 2203 detects an image region whose image content changes in the moving image as the feature region. Specifically, the feature region detection unit 2203 may detect an image region including a moving object as a feature region. Note that the feature region detection unit 2203 may detect a plurality of feature regions having different types of features from each of the plurality of captured images. Note that the type of feature may be an index of the type of object such as a person and a moving object. The type of the object may be determined based on the degree of matching of the shape of the object or the color of the object. As described above, the feature region detection unit 2203 may detect a plurality of feature regions having different types of included objects from a plurality of captured images.
  • the feature region detection unit 2203 extracts an object that matches a predetermined shape pattern with a matching degree equal to or higher than a predetermined matching level from each of the plurality of captured images, and in the captured image including the extracted object.
  • the region may be detected as a feature region having the same feature type.
  • a plurality of shape patterns may be determined for each type of feature.
  • a shape pattern of a human face can be exemplified. Different face patterns may be determined for each of a plurality of persons.
  • the feature region detection unit 2203 can detect different regions each including a different person as different feature regions.
  • the feature region detection unit 2203 includes, in addition to the person's face, a part of the human body such as the person's head or the person's hand, or at least a part of a living body other than the human body. Can be detected as a feature region.
  • the living body includes a specific tissue existing inside the living body such as a tumor tissue or a blood vessel inside the living body.
  • the feature region detection unit 2203 may detect a region where a card such as money, a cash card, a vehicle, or a license plate of the vehicle is captured as a feature region.
  • the feature region detection unit 2203 can also detect feature regions based on learning results by machine learning (for example, Adaboost) described in, for example, Japanese Patent Application Laid-Open No. 2007-188419. It can also be detected. For example, an image feature amount extracted from a predetermined subject image and an image feature amount extracted from a subject image other than the predetermined subject are extracted from the predetermined subject image. Learn the features of the image features. Then, the feature region detection unit 2203 may detect, as a feature region, a region from which an image feature amount having a feature that matches the learned feature is extracted. Thereby, the feature region detection unit 2203 can detect a region where a predetermined subject is imaged as a feature region.
  • machine learning for example, Adaboost
  • the feature region detection unit 2203 detects a plurality of feature regions from a plurality of captured images included in each of a plurality of moving images. Then, the feature region detection unit 2203 supplies information indicating the detected feature region to the compression control unit 2210.
  • the information indicating the feature region includes coordinate information of the feature region indicating the position of the feature region, type information indicating the type of the feature region, and information for identifying the captured moving image in which the feature region is detected. As described above, the feature region detection unit 2203 detects the feature region in the moving image.
  • the compression control unit 2210 controls the compression processing of the moving image by the compression unit 2230 according to the feature area based on the information indicating the feature area acquired from the feature area detection unit 2203.
  • the compression unit 2230 may compress the captured image by compressing the feature region in the captured image and the region other than the feature region in the captured image with different intensities.
  • the compression unit 2230 compresses the captured image by reducing the resolution of the region other than the feature region in the captured image included in the moving image.
  • the compression unit 2230 compresses the image in the region other than the feature region by reducing the image quality of the image in the region other than the feature region.
  • the compression unit 2230 compresses each image area in the captured image with an intensity corresponding to the importance. A more specific internal compression operation of the compression unit 2230 will be described later.
  • the model storage unit 2270 stores a model in which an object is expressed by a feature parameter.
  • the model storage unit 2270 may store a model in which an object is expressed by statistical feature parameters. More specifically, the model storage unit 2270 may store a model in which an object is expressed with principal components based on principal component analysis. Note that the model storage unit 2270 may store a model in which the shape of an object is expressed using principal components based on principal component analysis. In addition, the model storage unit 2270 may store a model in which the color of an object is expressed by a principal component based on principal component analysis.
  • the parameter value calculation unit 2260 adapts the image of the object included in the feature region image in the captured image to the model stored in the model storage unit 2270, thereby representing the object included in the feature region image.
  • the value of the feature parameter at is calculated.
  • the parameter value calculation unit 2260 calculates the weight of the principal component in the model.
  • the feature parameter is a principal component vector obtained by principal component analysis
  • a weighting coefficient for the principal component vector can be exemplified as the value of the feature parameter.
  • the parameter quantization unit 2280 selects the feature parameter for which the value of the feature parameter is to be output from the output unit 2207. Specifically, parameter quantization section 2280 determines to what level of principal components extracted from the principal component analysis should be output a weighting coefficient. For example, the parameter quantization unit 2280 determines that the weighting coefficient of the principal component should be output to a predetermined level according to the feature type of the feature region. The weighting coefficient for the principal component at the level determined by the parameter quantization unit 2280 is supplied to the association processing unit 2206.
  • the association processing unit 2206 associates the information specifying the feature region detected from the captured image and the weighting coefficient with the captured image. Specifically, the association processing unit 2206 associates information specifying a feature region detected from a captured image and a weighting coefficient with a compressed moving image including the captured image as a moving image constituent image. Then, the output unit 2207 outputs, to the image processing device 2170, the compressed moving image in which the information specifying the feature region and the weighting coefficient are associated by the association processing unit 2206.
  • the output unit 2207 outputs the feature parameter value calculated by the parameter value calculation unit 2260 and an image of a region other than the feature region. More specifically, the output unit 2207 outputs the value of the feature parameter selected by the parameter quantization unit 2280 and the image of the region other than the feature region whose image quality has been reduced by the compression unit 2230.
  • the compressed moving image output from the output unit 2207 does not need to include pixel information for the feature region.
  • the output unit 2207 outputs the image of the region other than the principal component weight and the feature region calculated by the parameter value calculation unit 2260. More specifically, the output unit 2207 outputs the feature parameter value calculated by the parameter value calculation unit 2260 and an image of a region other than the feature region whose image quality has been reduced by the compression unit 2230.
  • the object image included in the feature region is represented by the feature parameter value, thereby reconstructing the object image later while sufficiently reducing the data amount. You can leave information that you can. In addition, for the background area that is less important than the feature area, the amount of data can be significantly reduced by reducing the image quality.
  • the model storage unit 2270 may store models of different types of objects in association with the types. Then, the parameter value calculation unit 2260 adapts the image of the object included in the feature region image in the captured image to the model stored in the model storage unit 2270 in association with the type of the object captured in the feature region. By doing so, the value of the characteristic parameter may be calculated.
  • the output unit 2207 displays the values of the feature parameters calculated by the parameter value calculation unit 2260, the types of objects imaged in the feature regions, and images of regions other than the feature regions whose image quality has been reduced by the compression unit 2230. It is desirable to output. Accordingly, an appropriate type of model can be selected and reconfigured on the image processing apparatus 2170 side.
  • the model storage unit 2270 may store an object model viewed from a different direction in association with the direction.
  • the parameter value calculation unit 2260 stores the image of the object included in the image of the feature area in the captured image in the model storage unit 2270 in association with the direction in which the object imaged in the feature area is captured. By adapting to the model, the value of the feature parameter may be calculated.
  • the output unit 2207 displays the value of the feature parameter calculated by the parameter value calculation unit 2260, the direction in which the object imaged in the feature region is captured, and the region other than the feature region in which the image quality is reduced by the compression unit 2230 It is desirable to output the image.
  • the model storage unit 2270 may store models of objects illuminated under different illumination conditions in association with the illumination conditions.
  • the parameter value calculation unit 2260 stores the image of the object included in the image of the feature area in the captured image in association with the illumination condition in which the object imaged in the feature area is illuminated.
  • the value of the feature parameter may be calculated by adapting to the model.
  • the output unit 2207 outputs the feature parameter value calculated by the parameter value calculation unit 2260, the illumination condition in which the object imaged in the feature region is illuminated, and the feature region whose image quality is reduced by the compression unit 2230. It is desirable to output an image of the area.
  • the model storage unit 2270 stores a plurality of models in association with the type of object, the direction of the object, the illumination conditions, and the like. For this reason, since the image of the object in the feature region can be expressed using a more appropriate model, the amount of data can be reduced while maintaining the image quality of the feature region.
  • the functions and operations of the parameter value calculation unit 2260 and the parameter quantization unit 2280 of the image processing apparatus 120 are briefly described in relation to FIG. 2, but the image processing described in relation to FIGS.
  • the parameter value calculation unit 2260 and the parameter quantization unit 2280 included in the apparatus 120 have substantially the same functions and operations as those of the parameter value calculation unit 2260 and the parameter quantization unit 2280 described with reference to the subsequent drawings. Can have action.
  • FIG. 12 shows an example of a block configuration of the compression unit 2230.
  • the compression unit 2230 includes an image dividing unit 2232, a plurality of fixed value conversion units 2234a-c (hereinafter, may be collectively referred to as a fixed value conversion unit 2234), and a plurality of image quality conversion units 2241a-d (hereinafter referred to as image quality conversion units). 2) and a plurality of compression processing units 2236a-d (hereinafter may be collectively referred to as compression processing units 2236).
  • the image dividing unit 2232 acquires a plurality of captured images from the image acquisition unit 2250. Then, the image dividing unit 2232 divides the plurality of captured images into a feature region and a background region other than the feature region. Specifically, the image dividing unit 2232 divides the plurality of captured images into each of a plurality of feature areas and a background area other than the feature areas. As described above, the image dividing unit 2232 divides each of the plurality of captured images into the feature region and the background region.
  • the compression processing unit 2236 compresses the feature area image that is the image of the feature area and the background area image that is the image of the background area with different strengths. Specifically, the compression processing unit 2236 compresses a feature area moving image including a plurality of characteristic area images and a background area moving image including a plurality of background area images with different strengths.
  • the image dividing unit 2232 generates a feature region moving image for each of a plurality of feature types by dividing a plurality of captured images. Then, the fixed value converting unit 2234 converts the pixel values of regions other than the feature regions of the respective feature types into fixed values for each of the feature region images included in the plurality of feature region moving images generated for each feature type. To do. Specifically, the fixed value converting unit 2234 sets the pixel value of the area other than the feature area to a predetermined pixel value.
  • the image quality conversion unit 2241 converts the image quality of the feature area image and the background area image. For example, the image quality conversion unit 2241 converts at least one of the resolution, the number of gradations, the dynamic range, and the number of colors included for each of the divided image of the feature region and the image of the background region. Then, the compression processing unit 2236 compresses a plurality of feature area moving images for each feature type. For example, the compression processing unit 2236 performs MPEG compression on a plurality of feature area moving images for each feature type.
  • the fixed value unit 2234a, the fixed value unit 2234b, and the fixed value unit 2234c are a feature region moving image of the first feature type, a feature region moving image of the second feature type, and a third feature, respectively.
  • the type of feature area animation is fixed.
  • the image quality conversion unit 2241a, the image quality conversion unit 2241b, the image quality conversion unit 2241c, and the image quality conversion unit 2241d are respectively a feature area moving image of the first feature type, a feature area moving image of the second feature type, and a third
  • the image quality of the feature region moving image of the feature type and the background region moving image is converted.
  • the compression processing unit 2236a, the compression processing unit 2236b, the compression processing unit 2236c, and the compression processing unit 2236d are a feature region moving image of the first feature type, a feature region moving image of the second feature type, and a third feature. Types of feature area animation and background area animation are compressed.
  • the compression processing units 2236a-c compress the feature region moving image with a predetermined strength according to the feature type.
  • the compression processing unit 2236 may convert the feature area moving image to a different resolution determined in advance according to the type of feature, and compress the converted feature area moving image.
  • the compression processing unit 2236 may compress the feature region moving image with different quantization parameters determined in advance according to the feature type.
  • the compression processing unit 2236d compresses the background area moving image. Note that the compression processing unit 2236d may compress the background area moving image with a strength higher than the strength of any of the compression processing units 2236a-c.
  • the feature area moving image and the background area moving image compressed by the compression processing unit 2236 are supplied to the association processing unit 2206.
  • regions other than the feature region have been fixed values by the fixed value unit 2234, when the compression processing unit 2236 performs predictive encoding using MPEG encoding or the like, the region other than the feature region may be connected to the predicted image. The amount of difference between the images can be significantly reduced. Therefore, the compression rate of the feature area moving image can be significantly increased.
  • the compression unit 2230 generates an image to be an input image to the image processing device 2170 by reducing the image quality of the captured image. Specifically, the compression unit 2230 generates an image to be an input image to the image processing apparatus 2170 by reducing the resolution, the number of gradations, and the number of colors used in the captured image. For example, the compression unit 2230 may generate an image that is an input image to the image processing device 2170 by further reducing higher spatial frequency components in the captured image.
  • each of the plurality of compression processing units 2236 included in the compression unit 2230 compresses the images of the plurality of characteristic regions and the images of the background region.
  • the compression unit 2230 performs one compression process.
  • a single compression processing unit 2236 may compress a plurality of feature region images and background region images with different intensities. For example, a plurality of feature region images and a background region image are sequentially supplied to one compression processing unit 2236 in a time-sharing manner, and the one compression processing unit 2236 differs from the plurality of feature region images and the background region image. You may compress sequentially by intensity.
  • the one compression processing unit 2236 quantizes the image information of the plurality of feature regions and the image information of the background region with different quantization coefficients, respectively, thereby converting the images of the plurality of feature regions and the images of the background region. They may be compressed with different strengths. Also, an image obtained by converting a plurality of feature region images and a background region image into images of different image quality is supplied to one compression processing unit 2236, and the one compression processing unit 2236 includes a plurality of feature region images and Each image in the background area may be compressed. The image quality conversion process may be performed by one image quality conversion unit 2240.
  • one compression processing unit 2236 quantizes with a different quantization coefficient for each region, or one compression processing unit 2236 compresses an image converted into a different image quality for each region.
  • the compression processing unit 2236 may compress one image, or may compress each of the images divided by the image dividing unit 2232 as described with reference to FIG.
  • the dividing process by the image dividing unit 2232 and the fixed value processing by the fixed value converting unit 2234 do not have to be performed.
  • the dividing unit 2232 and the fixed value unit 2234 may not be provided.
  • FIG. 13 shows an example of a block configuration of the image processing apparatus 2170.
  • the image processing apparatus 2170 includes an image acquisition unit 2301, an association analysis unit 2302, an expansion control unit 2310, an expansion unit 2320, an image generation unit 2380, a feature area information acquisition unit 2360, a model storage unit 2350, and an output unit 2340.
  • the image generation unit 2380 includes an enlargement unit 2332 and a composition unit 2330.
  • the image acquisition unit 2301 acquires the compressed moving image compressed by the compression unit 2230. Specifically, the image acquisition unit 2301 acquires a compressed moving image including a plurality of feature area moving images and a background area moving image. More specifically, the image acquisition unit 2301 acquires a compressed moving image with feature area information and feature parameters. In this way, the image acquisition unit 2301 acquires a captured image with reduced feature parameter values and image quality output from the output unit 2207. In particular, the image acquisition unit 2301 acquires a captured image with reduced image quality and feature parameter values in a region other than the feature region.
  • the association analysis unit 2302 separates the moving image data acquired by the image acquisition unit 2301 into a plurality of feature region moving images and background region moving images, feature region information, and feature region parameter values, and a plurality of feature region moving images.
  • the background area moving image is supplied to the decompression unit 2320.
  • the association analysis unit 2302 supplies the position of the feature region and the feature type to the extension control unit 2310 and the feature region information acquisition unit 2360.
  • the association analysis unit 2302 supplies the feature parameter value to the feature region information acquisition unit 2360.
  • the feature region information acquisition unit 2360 can acquire information indicating the feature region (eg, information indicating the position of the feature region) and the feature parameter value in each of the plurality of captured images.
  • the feature area information acquisition unit 2360 supplies the image generation unit 2380 with information indicating the position of the acquired feature area and the feature parameter value.
  • the expansion control unit 2310 controls the expansion processing by the expansion unit 2320 according to the position of the feature region and the feature type acquired from the association analysis unit 2302. For example, the expansion control unit 2310 expands each area of the moving image indicated by the compressed moving image to the expansion unit 2320 according to the compression method in which the compression unit 2230 compresses each area of the moving image according to the position of the feature region and the type of the feature.
  • the decompression unit 2320 includes a plurality of decoders 2322a-d (hereinafter collectively referred to as decoders 2322).
  • the decoder 2322 decodes one of the plurality of encoded feature area moving images and background area moving images. Specifically, the decoder 2322a, the decoder 2322b, the decoder 2322c, and the decoder 2322d decode the first feature region moving image, the second feature region moving image, the third feature region moving image, and the background region moving image, respectively.
  • the decompression unit 2320 supplies the first feature region moving image, the second feature region moving image, the third feature region moving image, and the background region moving image obtained by decoding to the image generation unit 2380.
  • the image generation unit 2380 generates one display moving image based on the first feature region moving image, the second feature region moving image, the third feature region motion, the background region moving image, and the feature region information. Then, the output unit 2340 outputs the feature area information and the display moving image acquired from the association analysis unit 2302 to the display device 2180 or the image DB 2175. Note that the image DB 2175 associates the position of the feature region indicated by the feature region information, the feature type of the feature region, and the number of feature regions with the information for identifying the captured image included in the display moving image, and stores the non-volatile information such as a hard disk. May be recorded on the recording medium.
  • the output unit 2340 can function as an image output unit in the present invention.
  • the model storage unit 2350 stores the same model as the model stored in the model storage unit 2270. Then, the image generation unit 2380 may generate a high-quality image of the object included in the feature region by adapting the image of the object included in the feature region to the model stored in the model storage unit 2350. Specifically, the image generation unit 2380 generates a high-quality image of the object by weighting the principal component vector stored in the model storage unit 2350 with a weighting coefficient as an example of the feature parameter value. It's okay. As described above, the image generation unit 2380 generates an image of an object included in the image of the feature region from the model based on the value of the feature parameter.
  • the parameter value calculation unit 2260 adapts the image of the object included in the feature region image in the captured image to the model stored in the model storage unit 2270, so that the object captured in the feature region image is displayed.
  • the value of the feature parameter in the model that represents the shape of the model may be calculated.
  • the compression unit 2230 may compress the captured image by reducing the image quality of the feature region and the region other than the feature region in the captured image.
  • the output unit 2207 may output the characteristic parameter value calculated by the parameter value calculation unit 2260 and the captured image whose image quality has been reduced by the compression unit 2230.
  • the image generation unit 2380 generates the shape of the object captured in the image of the feature region from the model based on the value of the feature parameter, and the generated object shape and the captured image acquired by the image acquisition unit 2250 An image of an object captured in the feature region image is generated using the pixel value of the feature region image. Specifically, the image generation unit 2380 generates the shape of the object captured in the image of the feature region from the model based on the value of the feature parameter, and the generated object shape and the feature expanded by the expansion unit 2320. An image of the object captured in the feature region image is generated using the pixel value of the region image.
  • the feature area information acquisition unit 2360 may acquire the type of object, the direction of the object, and the illumination condition output from the output unit 2207 in association with the compressed moving image. Then, the image generation unit 2380 uses the weighting coefficient acquired by the feature region information acquisition unit 2360 for the principal component vector stored in the model storage unit 2350 in association with the object type, the object direction, and the illumination condition. A high quality image of the object may be generated by weighting.
  • the image enlargement unit 2332 enlarges an image in an area other than the feature area. Then, the synthesis unit 2330 synthesizes the high-quality image of the object in the feature area and the image of the area other than the enlarged feature area.
  • the output unit 2340 outputs an image including a high-quality image and an image other than the feature region. Specifically, the output unit 2340 outputs a display moving image including the captured image obtained by the combining unit 2330 as a moving image constituent image as described above.
  • the model storage unit 350 and the image generation unit 380 described with reference to FIGS. 2 to 9 are respectively the functions of the model storage unit 2350 and the image generation unit 2380 described with reference to the subsequent drawings. It can have substantially the same function and operation as the operation.
  • FIG. 14 shows an example of another block configuration of the compression unit 2230.
  • the compression unit 2230 in this configuration compresses a plurality of captured images by a spatial scalable encoding process corresponding to the type of feature.
  • the compression unit 2230 in this configuration includes an image quality conversion unit 2510, a difference processing unit 2520, and an encoding unit 2530.
  • Difference processing unit 2520 includes a plurality of inter-layer difference processing units 2522a-d (hereinafter collectively referred to as inter-layer difference processing unit 2522).
  • Encoding unit 2530 includes a plurality of encoders 2532a-d (hereinafter collectively referred to as encoders 2532).
  • the image quality conversion unit 2510 acquires a plurality of captured images from the image acquisition unit 2250. Further, the image quality conversion unit 2510 acquires information specifying the feature region detected by the feature region detection unit 2203 and information specifying the type of feature of the feature region. Then, the image quality conversion unit 2510 duplicates the captured image to generate captured images of the number of types of features in the feature area. Then, the image quality conversion unit 2510 converts the generated captured image into an image having a resolution corresponding to the type of feature.
  • the image quality conversion unit 2510 captures an image (hereinafter referred to as a low-resolution image) converted to a resolution corresponding to the background area, and a captured image converted to a first resolution corresponding to the type of the first feature ( Called a first resolution image), a captured image converted to a second resolution corresponding to the second feature type (referred to as a second resolution image), and a third resolution corresponding to the third feature type.
  • a captured image (referred to as a third resolution image) converted to is generated.
  • the first resolution image has a higher resolution than the low resolution image
  • the second resolution image has a higher resolution than the first resolution image
  • the third resolution image has a higher resolution than the second resolution image.
  • the image quality conversion unit 2510 converts the low resolution image, the first resolution image, the second resolution image, and the third resolution image, respectively, into an inter-layer difference processing unit 2522d, an inter-layer difference processing unit 2522a, and an inter-layer difference processing unit 2522b. , And the inter-tier difference processing unit 2522c.
  • the image quality conversion unit 2510 supplies the moving image to each of the inter-layer difference processing units 2522 by performing the above-described image quality conversion processing for each of the plurality of captured images.
  • the image quality conversion unit 2510 may convert the frame rate of the moving image supplied to each of the inter-layer difference processing unit 2522 according to the feature type of the feature region. For example, the image quality conversion unit 2510 may supply a moving image having a lower frame rate to the inter-layer difference processing unit 2522d than a moving image supplied to the inter-layer difference processing unit 2522a. Also, the image quality conversion unit 2510 may supply a moving image having a lower frame rate than the moving image supplied to the inter-layer difference processing unit 2522b to the inter-layer difference processing unit 2522a, and a frame lower than the moving image supplied to the inter-layer difference processing unit 2522c. The rate movie may be supplied to the inter-tier difference processing unit 2522b.
  • the image quality conversion unit 2510 may convert the frame rate of the moving image supplied to the inter-layer difference processing unit 2522 by thinning out the captured image according to the feature type of the feature region. Note that the image quality conversion unit 2510 can perform image quality conversion processing similar to the image quality conversion unit 2241 described with reference to FIG.
  • the inter-layer difference processing unit 2522d and the encoder 2532d predictively encode a background area moving image including a plurality of low-resolution images. Specifically, the inter-layer difference processing unit 2522 generates a difference image from a predicted image generated from another low-resolution image. Then, the encoder 2532d quantizes the transform coefficient obtained by transforming the difference image into a spatial frequency component, and encodes the quantized transform coefficient by entropy coding or the like. Note that such predictive encoding processing may be performed for each partial region of the low-resolution image.
  • the inter-layer difference processing unit 2522a predictively encodes the first feature region moving image including the plurality of first resolution images supplied from the image quality conversion unit 2510.
  • the inter-layer difference processing unit 2522b and the inter-layer difference processing unit 2522c predictively encode the second feature region moving image including a plurality of second resolution images and the third feature region moving image including a plurality of third resolution images, respectively. To do.
  • specific operations of the inter-layer difference processing unit 2522a and the encoder 2532a will be described.
  • the inter-layer difference processing unit 2522a decodes the first resolution image encoded by the encoder 2532d, and expands the decoded image to an image having the same resolution as the first resolution. Then, the inter-layer difference processing unit 2522a generates a difference image between the enlarged image and the low resolution image. At this time, the inter-layer difference processing unit 2522a sets the difference value in the background area to zero. Then, the encoder 2532a encodes the difference image in the same manner as the encoder 2532d. Note that the encoding processing by the inter-layer difference processing unit 2522a and the encoder 2532a may be performed for each partial region of the first resolution image.
  • the inter-layer difference processing unit 2522a calculates the code amount predicted when the difference image between the low resolution image and the other first resolution image is encoded. The amount of code predicted when the difference image between the generated prediction image and the prediction image is encoded is compared. When the latter code amount is smaller, the inter-layer difference processing unit 2522a generates a difference image between the predicted image generated from the other first resolution image. Note that the inter-layer difference processing unit 2522a, when it is predicted that the code amount is smaller when encoding without taking the difference from the low-resolution image or the predicted image, It is not necessary to take a difference between them.
  • the inter-layer difference processing unit 2522a does not have to set the difference value in the background area to zero.
  • the encoder 2532a may set the encoded data for the difference information in an area other than the feature area to 0.
  • the encoder 2532a may set the conversion coefficient after conversion to a frequency component to zero.
  • the motion vector information when the inter-layer difference processing unit 2522d performs predictive encoding is supplied to the inter-layer difference processing unit 2522a.
  • the inter-layer difference processing unit 2522a may calculate a motion vector for a predicted image using the motion vector information supplied from the inter-layer difference processing unit 2522d.
  • the operations of the inter-layer difference processing unit 2522b and the encoder 2532b are that the second resolution image is encoded, and the first resolution after encoding by the encoder 2532a when the second resolution image is encoded.
  • the operations of the inter-layer difference processing unit 2522b and the encoder 2532b are substantially the same as the operations of the inter-layer difference processing unit 2522a and the encoder 2532a, except that the difference from the image may be obtained, and thus the description thereof is omitted. To do.
  • the operations of the inter-layer difference processing unit 2522c and the encoder 2532c are that the third resolution image is encoded, and when the third resolution image is encoded, after the encoding by the encoder 2532b.
  • the difference between the second resolution image and the second resolution image is the same as the operations of the inter-layer difference processing unit 2522a and the encoder 2532a.
  • the image quality conversion unit 2510 generates, from each of the plurality of captured images, a low-quality image having a low image quality and a feature region image having a higher image quality than the low-quality image at least in the feature region. Then, the difference processing unit 2520 generates a feature region difference image indicating a difference image between the feature region image in the feature region image and the feature region image in the low-quality image. Then, the encoding unit 2530 encodes the feature area difference image and the low quality image, respectively.
  • the image quality conversion unit 2510 generates a low-quality image with reduced resolution from a plurality of captured images
  • the difference processing unit 2520 includes a feature region image in the feature region image and a feature region image in the low-quality image.
  • a feature region difference image between the image and the image enlarged is generated.
  • the difference processing unit 2520 has a spatial frequency component in which the difference between the feature region image and the enlarged image in the feature region is converted into the spatial frequency region, and the data amount of the spatial frequency component is in the region other than the feature region.
  • a reduced feature area difference image is generated.
  • the compression unit 2230 performs hierarchical encoding by encoding image differences between a plurality of layers having different resolutions.
  • a part of the compression method by the compression unit 2230 of this configuration is H.264.
  • a compression scheme according to H.264 / SVC is included. Note that when the image processing apparatus 2170 decompresses such a hierarchized compressed moving image, the moving image data of each layer is decoded, and the difference is taken for the region encoded by the inter-layer difference.
  • the captured image having the original resolution can be generated by the addition process with the captured image decoded in the hierarchy.
  • FIG. 15 shows an example of feature points on a human face.
  • the model storage unit 2270 and the model storage unit 2350 store models that express objects with feature parameters.
  • a generation method for generating models stored in the model storage unit 2270 and the model storage unit 2350 a case where a model of a human face, which is an example of an object, is generated using an AAM method will be described.
  • n feature points representing the face shape are set for each of a plurality of face images (hereinafter referred to as sample images) representing a human face portion as a sample.
  • sample images a plurality of face images
  • the number of feature points is smaller than the number of pixels of the face image.
  • the first feature point is the left end of the left eye and the eleventh feature point is the center between the eyebrows.
  • Each feature point may be set manually or automatically by a recognition process.
  • S is the shape vector is represented by arranging the position coordinates of each feature point of the face shape (x1, y1, ⁇ , x n, y n) is, S 0 is of the feature points in the average face shape the average face shape vectors represented side by side position coordinates, p i is the eigenvector representing the i-th principal component of the face shape obtained by the principal component analysis, b i represents a weighting factor for each eigenvector p i.
  • FIG. 16 schematically shows an example of a change in face shape when the weighting coefficient b is changed.
  • how the face shape changes when the values of the weighting coefficients b 1 and b 2 for the eigenvectors p 1 and p 2 of the top two principal components obtained by the principal component analysis are changed.
  • the central one of the three face shapes for each principal component shows an average face shape.
  • a component contributing to the contour shape of the face is extracted as the first principal component.
  • the weighting coefficient b 1 a) from the elongated face shown at the left end a
  • the face shape has changed to the round face shown at the right end.
  • the second principal component are extracted component contributing to the length of the open and closed states and jaw of the mouth, by varying the weighting factor b 2, b) mouth, as shown at the left end open
  • the face shape changes from a face with a long chin in the state to a face with a short chin with the mouth closed as shown at the right end.
  • what shape element each component contributes to depends on human interpretation.
  • a sample representing a larger shape difference in each used sample image is extracted as a lower-order principal component.
  • FIG. 17 shows an example of an image obtained by converting a sample image into an average face shape.
  • Each sample image is converted (warped) into an average face shape.
  • the shift amount between each sample image and the average face shape is calculated for each feature point.
  • the shift amount to the average face shape for each pixel of each sample image is calculated, and each sample image is warped to the average face shape for each pixel.
  • A is a vector (r1, g1, b1, r2, g2, b2,..., Which is expressed by arranging the pixel values of the R, G, and B color components of each pixel under the average face shape.
  • rm, gm, bm are pixel values of R, G, and B color components
  • 1 to m are subscripts for identifying each pixel
  • m is the total number of pixels in the average face shape.
  • the arrangement order of the vector components is not limited to the above order.
  • a 0 is an average vector expressed by arranging average values of pixel values of R, G, and B color components for each pixel of each sample image in the average face shape
  • q i is a face obtained by principal component analysis.
  • the eigenvector representing the i-th principal component for the pixel values of the R, G, B color components, ⁇ i represents a weighting coefficient for each eigenvector q i .
  • FIG. 18 schematically shows an example of a change in pixel value when the weighting coefficient q is changed.
  • This figure schematically shows how the face pixel values change when the values of the weighting coefficients ⁇ 1 and ⁇ 2 for the eigenvectors q 1 and q 2 of the top two principal components obtained by principal component analysis are changed. It expresses. a) shows the change of the pixel value when the weighting coefficient ⁇ 1 is changed, and b) shows the change of the pixel value when the weighting coefficient ⁇ 2 is changed. In both a) and b), the center of the three face shapes for each principal component indicates an average pixel value.
  • the results of principal component analysis are extracted component contributing to the presence or absence of beard, by varying the weighting factor lambda 1, from the face without beard shown in a) left a) It can be seen that the face changes to the dark face shown at the right end.
  • the second principal component a component contributing to the darkness of the eyebrows is extracted, and by changing the weighting coefficient ⁇ 2 , b) the face with a thin eyebrow as shown at the left end, and b) the face shown at the right end. It can be seen that the navel changes to a dark face.
  • the face model is generated by the processing described with reference to FIGS.
  • This model represents a face by a plurality of eigenvectors p i representing the face shape and eigenvectors q i representing the pixel values of the face under the average face shape.
  • the total number of eigenvectors of the model is significantly smaller than the number of pixels forming the face image.
  • the shape and pixel value are expressed by separate weighting coefficients b i and ⁇ i for the face shape and the pixel values of the R, G, and B color components. Since there is a correlation between pixel value variations of color components and color components, it is possible to perform principal component analysis on feature parameters including both feature points and pixel values.
  • the parameter value calculation unit 2260 normalizes the input face image included in the feature region, and calculates pixel values of R, G, and B color components in the average face shaping.
  • the input face image may not necessarily be an image from the front, or the illumination condition may be different from the illumination condition when a sample image is captured. Therefore, normalization here refers not only to the process of aligning the feature points of the front face described above, but also to converting the orientation of the input face image obtained by imaging from the diagonal to the face image captured from the front. And conversion processing into a face image captured in a shooting environment equivalent to that of the sample image, such as shadow removal processing for removing the influence of shadows due to illumination.
  • the parameter value calculation unit 2260 calculates the weighting coefficient ⁇ i by projecting the difference from the pixel value for the average face onto the principal component vector q i . Specifically, the parameter value calculation unit 2260 can calculate the weighting coefficient ⁇ i by the inner product with the principal component vector q i . Also, the parameter value calculation unit 2260 calculates the facial feature point S by the same process as the pixel value A calculation process described above. Specifically, the parameter value calculation unit 2260 calculates the weighting coefficient b i by projecting the difference in the position of the feature point with respect to the average face onto the principal component vector p i .
  • the parameter value calculation unit 2260 can calculate the weighting coefficients b i and ⁇ i as the characteristic parameter values. Next, high-quality image generation processing by the image generation unit 2380 will be described.
  • the image generation unit 2380 calculates the pixel value A under the average face shape using the obtained weighting coefficient ⁇ i , average face pixel value A 0 , and principal component vector q i . In addition, the image generation unit 2380 calculates the feature point A using the acquired weighting coefficient b i , the average face feature point S 0 , and the principal component vector p i . Then, the image generation unit 2380 performs an inverse transform process on the image represented by the pixel value A and the feature point A except for the process of aligning the feature points in the normalization process. The contents of the normalization process may be transmitted from the image processing apparatus 2120 to the image processing apparatus 2170 and used when the image generation unit 2380 performs the inverse conversion process.
  • the image generation unit 2380 generates a high-quality image with higher image quality than the captured image from the image of the feature region in the captured image output from the output unit 2207. Specifically, the image generation unit 2380 has a higher resolution image, a sharper image, an image with less noise, and a greater number of gradations than the image of the feature region in the captured image output from the output unit 2207. It is possible to generate an image with a large number of images or an image with a larger number of colors.
  • FIG. 19 shows an example of a model stored in the model storage unit 2270 and the model storage unit 2350 in a table format.
  • the model storage unit 2270 and the model storage unit 2350 store models for each combination of a plurality of facial expressions and a plurality of directions. Expressions include faces and true faces in each state of emotions, and directions include front, upper, lower, right, left, and rear.
  • the parameter value calculation unit 2260 identifies the facial expression and the facial direction based on the image content of the facial image included in the feature region, and the model storage unit 2270 stores the facial expression and the direction in association with the identified facial expression and direction.
  • the above-described weighting coefficient can be calculated using the model that is used.
  • the output unit 2207 may transmit information for identifying the used model to the image processing apparatus 2170. Then, the image generation unit 2380 can perform the above-described reconstruction process using the model identified by the information.
  • the image generation unit 2380 can specify a facial expression from the shape of the mouth and / or eyes, and can specify the direction of the face from the positional relationship of the eyes, mouth, nose, and ears.
  • the image processing apparatus 2120 may specify the facial expression and the face direction
  • the output unit 2207 may output the facial expression and the face direction in association with the captured image.
  • model storage unit 2270 and the model storage unit 2350 may store models in association with the lighting conditions as described above, in addition to facial expressions and orientations.
  • the model storage unit 2270 and the model storage unit 2350 may store models in association with the illumination intensity and the illumination direction.
  • the parameter value calculation unit 2260 may specify the illumination condition for the face based on the image content of the face image included in the feature region.
  • the parameter value calculation unit 2260 identifies the illumination intensity and the illumination direction based on the position and size of the shadow, and stores the model stored in the model storage unit 2270 in association with the identified illumination intensity and illumination direction. Can be used to calculate the weighting factor.
  • the image processing system 2010 can use a model for each part of the face.
  • the image processing system 2010 can use a gender and / or racial face (or face part) model.
  • the image processing system 2010 can store a model for each type of object to be monitored by the image processing system 2010, such as a vehicle and a ship, in addition to a human model.
  • the image generation unit 2380 can also select and reconfigure a model according to the type. Such a type may be detected by the image processing apparatus 2120 and transmitted to the image processing apparatus 2170 in association with the captured image.
  • the model storage unit 2270 and the model storage unit 2350 can store models of different types of objects in association with the types.
  • the feature area information acquisition unit 2360 acquires information indicating the type of object imaged in the feature area in the input image.
  • the image generation unit 2380 stores the image of the object included in the feature region in the captured image in association with the type of the object captured in the feature region acquired by the feature region information acquisition unit 2360, and is stored in the model storage unit 2350.
  • the image is converted into a high-quality image by adapting to the model.
  • the model storage unit 2270 and the model storage unit 2350 convert a model as an example of learning data into a facial part (eg, eyes, nose, mouth, etc.) as an example of information for identifying the type of object. ) Can be stored every time.
  • the learning data may include a low frequency component and a high frequency component of the image of the object respectively extracted from a large number of sample images of the object in addition to the model.
  • a typical low frequency component (for example, centroid value) may be determined for each cluster.
  • the model storage unit 2270 may store information for specifying the high frequency component in association with the low frequency component of the image of the object.
  • the model storage unit 2350 may store the high frequency component in association with information specifying the high frequency component.
  • the parameter value calculation unit 2260 extracts a low frequency component from the image of the object included in the captured image. Then, the parameter value calculation unit 2260 determines, as a representative low frequency component, a value that matches the extracted low frequency component among the low frequency component clusters extracted from the sample image of the object type object. Identify the cluster. Then, the parameter value calculation unit 2260 identifies information identifying the high frequency component cluster stored in the model storage unit 2270 in association with the low frequency component included in the identified cluster. In this way, the parameter value calculation unit 2260 can identify a cluster of high frequency components correlated with the low frequency components extracted from the objects included in the captured image. Information specifying the high frequency component cluster specified by the parameter value calculation unit 2260 is output from the output unit 2207 in association with the information specifying the feature region.
  • Information identifying the high-frequency component cluster output from the output unit 2207 and acquired by the image acquisition unit 2301 is extracted by the association analysis unit 2302 and supplied to the image generation unit 2380 through the feature region information acquisition unit 2360.
  • the image generation unit 2380 uses the high-frequency component representing the high-frequency component cluster stored in the model storage unit 2350 in association with the information for specifying the high-frequency component cluster, to thereby generate an image of the object with higher image quality. May be converted to For example, the image generation unit 2380 may add the high-frequency component selected for each object with a weight corresponding to the distance from the center of each object to the processing target position on the face to the object image.
  • the representative high-frequency component may be generated by closed-loop learning.
  • the parameter value calculation unit 2260 can select desired learning data for each object from learning data generated by learning for each object. For this reason, since the image generation unit 2380 can use the desired learning data selected for each object, the image of the object may be improved in image quality with higher accuracy.
  • the information specifying the high frequency component cluster is output from the output unit 2207.
  • the information specifying the low frequency component cluster may be output from the output unit 2207.
  • the model storage unit 2350 stores high-frequency clusters in association with information specifying the low-frequency component clusters.
  • the image generation unit 2380 associates the high-frequency component representing the high-frequency component cluster stored in the model storage unit 2350 in association with the information specifying the low-frequency component cluster output from the output unit 2207 with the image of the object. By adding to, the image quality of the object can be improved.
  • the image of the feature region can be reconstructed based on the principal component analysis (PCA).
  • PCA principal component analysis
  • image reconstruction methods related to the image processing device 2120 and the image processing device 2170, and learning methods for the image reconstruction include local preservation projection (learning by principal component analysis (PCA) and image reconstruction).
  • LLP locality prediction project
  • LDA linear discriminant analysis
  • ICA independent component analysis
  • MDS multidimensional scaling vector support
  • MDS network support MDS
  • Hidden Markov model Bayesian inference
  • maximum posterior probability estimation iterative backprojection
  • Wavelet transform Wavelet transform
  • LLE locality prediction project
  • MRF Markov random field
  • the function and operation of each component of the image processing system 2010 are described by taking the case of using a two-dimensional model as an example.
  • the image processing system 2010 uses a three-dimensional model. May be. That is, the model storage unit 2270 and the model storage unit 2350 may store a three-dimensional model.
  • it can implement
  • the vector A is (r1, g1, b1, z1, r2, g2, b2, z1,..., Rm, gm, bm, zm)
  • a three-dimensional model can be realized.
  • the three-dimensional models stored in the model storage unit 2270 and the model storage unit 2350 can be generated using a three-dimensional image generated from a plurality of sample images obtained by imaging an object from different directions.
  • a three-dimensional model can be generated for each three-dimensional image of a plurality of objects by the same method as that for generating the above-described two-dimensional model.
  • the parameter value calculation unit 2260 identifies a feature region including images in which the same object is captured from different directions among the feature regions in each of the plurality of captured images, and the object value included in the identified feature region.
  • the value of the feature parameter is calculated by adapting the 3D image of the object based on the image to the 3D model.
  • the parameter value calculation unit 2260 can generate a three-dimensional image of the object based on disparity information in the same object image captured from different directions. Further, based on the parallax information, the direction in which the image of the object included in each feature region is captured is specified.
  • the output unit 2207 may output the shooting direction in association with the image of the region other than the feature region and the value of the feature parameter.
  • the image generation unit 2380 generates a three-dimensional image of the object included in the image of the feature region including the image in which the same object is captured from different directions from the three-dimensional model based on the feature parameter value, and generates Based on the obtained three-dimensional image, a two-dimensional image of the object included in the feature region image is generated.
  • the feature area information acquisition unit 2360 acquires the shooting direction output from the output unit 2207 and acquired by the image acquisition unit 2301, and supplies the acquired shooting direction to the image generation unit 2380.
  • the image generation unit 2380 can generate a two-dimensional image of the object by projecting it onto a two-dimensional space based on the shooting direction and the three-dimensional image.
  • the output unit 2340 outputs an image obtained by combining the two-dimensional image generated by the image generation unit 2380 and the image of the region other than the feature region acquired by the image acquisition unit 2301.
  • the shooting direction is an example of direction information used when generating a two-dimensional image from a three-dimensional image, and the direction information may be a projection angle at which the three-dimensional data is projected onto a two-dimensional space.
  • the compression unit 2230 compresses the feature region image. You can do it. Thereby, when the image of the object included in the feature region is greatly deviated from the average image, it is possible to prevent the reconstruction accuracy from being significantly lowered.
  • the difference between the reference model output by the output unit 207 and the object model may be a difference value between a feature parameter value representing the reference model and a feature parameter value representing the object model.
  • the output unit 207 can also select whether to output difference information between the reference model and the object model or to output a characteristic parameter value.
  • the output unit 207 when the image quality vs. compression rate of the image obtained by outputting the difference information between the reference model and the object model is higher than the image quality vs. compression rate obtained by outputting the characteristic parameter value, Difference information between the model and the object model may be output. Conversely, when the image quality versus compression ratio of the image obtained by outputting the difference information between the reference model and the object model is lower than the image quality versus compression ratio obtained by outputting the characteristic parameter value, the output unit 207 May output feature parameter values.
  • the output unit 207 can select whether to output the difference information between the reference model and the object model or to output the characteristic parameter value based on the type of the object. For example, for an object image suitable for outputting difference information, the difference information may be output, and for an object image suitable for outputting a characteristic parameter value, the characteristic parameter value may be output. Whether it is appropriate to output the difference information or the characteristic parameter value may be determined in advance for each object. Specifically, for an image of an object in which the image quality vs. compression rate of the image obtained by outputting the difference information is higher than the image quality vs. compression rate obtained by outputting the characteristic parameter value, the output unit 207 uses the reference Difference information between the model and the object model may be output.
  • the output unit 207 may output the characteristic parameter value.
  • the process of selecting whether to output the difference information or the characteristic parameter value using the image quality vs. compression rate as an index has been described. However, instead of the image quality vs. compression rate, either the compression rate or the image quality is used as an index. You can also. Examples of the image quality index include PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity), and the like. Further, based on the calculation accuracy of the object model, it is possible to select which of the difference information and the characteristic parameter value is output.
  • the output unit 207 outputs difference information when the object model is calculated with higher accuracy than a predetermined value, and when the object model is calculated with accuracy equal to or lower than the predetermined value, The parameter value may be output.
  • the output unit 207 outputs difference information for an object image in which the number of images taken from different directions is larger than a predetermined number, and the number of images taken from different directions is predetermined.
  • the feature parameter value may be output for an image of a few objects or less.
  • FIG. 20 shows an example of an image processing system 2020 according to another embodiment.
  • the configuration of the image processing system 2020 in the present embodiment is the same as the image processing apparatus described in FIG. 10 except that the imaging devices 2100a-d have image processing units 2804a-d (hereinafter collectively referred to as image processing units 2804).
  • the configuration of the processing system 2010 is the same.
  • the image processing unit 2804 has components excluding the image acquisition unit 2250 among the components included in the image processing device 2120.
  • the functions and operations of the constituent elements included in the image processing unit 2804 are changed to that the constituent elements included in the image processing device 2120 process the captured moving image obtained by the decompression processing by the compressed moving image decompression unit 2202.
  • the functions and operations of the components included in the image processing apparatus 2120 may be substantially the same except that the captured moving image captured by the imaging unit 2102 is processed. Also in the image processing system 2020 having such a configuration, substantially the same effect as that described in relation to the image processing system 2010 from FIGS. 10 to 19 can be obtained.
  • the image processing unit 2804 acquires a captured moving image including a plurality of captured images represented in the RAW format from the imaging unit 2102, and a plurality of captured images represented in the RAW format included in the acquired captured moving image (for example, , An image of an area other than the feature area) may be compressed in the RAW format.
  • the image processing unit 2804 may detect one or more feature regions from a plurality of captured images expressed in the RAW format. Further, the image processing unit 2804 may compress a captured moving image including a plurality of compressed captured images in the RAW format. Note that the image processing unit 2804 can compress the captured moving image by the compression method described as the operation of the image processing apparatus 2120 with reference to FIGS.
  • the image processing device 2170 can acquire a plurality of captured images (for example, images of regions other than the feature region) expressed in the RAW format by expanding the moving image acquired from the image processing unit 2804.
  • the image processing device 2170 enlarges each of the plurality of captured images expressed in the RAW format acquired by decompression for each region, and performs synchronization processing for each region.
  • the image processing apparatus 2170 may perform synchronization processing with higher accuracy in the feature region than in the region other than the feature region.
  • the image processing system 2020 may be able to solve these problems.
  • FIG. 21 illustrates an example of a hardware configuration of a computer 1500 that functions as at least one of the image processing device 120, the image processing device 170, the image processing device 2120, and the image processing device 2170.
  • the computer 1500 includes a CPU peripheral part, an input / output part, and a legacy input / output part.
  • the CPU peripheral section includes a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 that are connected to each other by a host controller 1582.
  • the input / output unit includes a communication interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560 that are connected to the host controller 1582 by the input / output controller 1584.
  • the legacy input / output unit includes a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584.
  • the host controller 1582 connects the RAM 1520, the CPU 1505 that accesses the RAM 1520 at a higher transfer rate, and the graphic controller 1575.
  • the CPU 1505 operates according to the contents of the programs stored in the ROM 1510 and the RAM 1520 and controls each unit.
  • the graphic controller 1575 acquires image data generated by the CPU 1505 or the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580.
  • the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.
  • the input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices.
  • the hard disk drive 1540 stores programs and data used by the CPU 1505.
  • the communication interface 1530 is connected to the network communication device 1598 to transmit / receive programs or data.
  • the CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.
  • the input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570.
  • the ROM 1510 stores a boot program that is executed when the computer 1500 starts up, a program that depends on the hardware of the computer 1500, and the like.
  • the flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.
  • the input / output chip 1570 connects various input / output devices via the flexible disk drive 1550 or a parallel port, serial port, keyboard port, mouse port, and the like.
  • the program executed by the CPU 1505 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user.
  • the program stored in the recording medium may be compressed or uncompressed.
  • the program is installed in the hard disk drive 1540 from the recording medium, read into the RAM 1520, and executed by the CPU 1505.
  • the program executed by the CPU 1505 causes the computer 1500 to function as each component included in the image processing apparatus 120 described with reference to FIGS. Further, the program executed by the CPU 1505 causes the computer 1500 to function as each component included in the image processing apparatus 170 described with reference to FIGS.
  • the program executed by the CPU 1505 causes the computer 1500 to function as each component included in the image processing apparatus 2120 described with reference to FIGS. 10 to 20. Further, the program executed by the CPU 1505 causes the computer 1500 to function as each component included in the image processing apparatus 2170 described with reference to FIGS.
  • the programs shown above may be stored in an external storage medium.
  • an optical recording medium such as DVD or PD, a magneto-optical recording medium such as MD, a tape medium, a semiconductor memory such as an IC card, and the like can be used.
  • a storage device such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet is used as a recording medium, and the image processing device 120, the image processing device 170, and the image processing are executed as programs via the network.
  • the computer 2120 and the computer 1500 functioning as the image processing device 2170 may be provided.
  • the computer 1500 controlled by the program functions as the image processing apparatus 120, the image processing apparatus 170, the image processing apparatus 2120, and the image processing apparatus 2170.

Abstract

　多方向から撮像された被写体の画像を高い圧縮で圧縮することができるシステムを提供する。画像処理装置は、物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、基準モデルと物体モデルとの間の差分情報に対応づけて出力する出力部とを備える。

Description

画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体
　本発明は、画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体に関する。本出願は、下記の日本出願に関連し、下記の日本出願からの優先権を主張する出願である。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の一部とする。
　１．特願２００８－０９８７６１　　出願日　２００８年４月４日
　２．特願２００８－０９９７４８　　出願日　２００８年４月７日
　動画像を、その動画像を構成する各セグメントの全体的な動きと、その動きに基づいて各セグメントを移動させた結果に対する各特徴点の細かな動きに基づいて符号化する動画像符号化装置が知られている（例えば、特許文献１参照。）。また、データベースを用いて人物を検索・照合するシステムが知られている（例えば、特許文献２参照。）。また、三次元の顔モデルと固有顔の分解とを用いて顔の影像を符号化および復号する方法が知られている（例えば、特許文献３参照。）。また、主画像と主画像における口の部分の変化を表す複数の副画像とをあらかじめ送信して、その後に、動画像を再生するために上記複数の副画像のいずれを選択して上記主画像に組み合わせるかを指定する符号語を送信する画像符号化装置が知られている（例えば、特許文献４参照。）。
特開平８－１５３２１０号公報 特開２００１－２７３４９６号公報 特開平１０－２２８５４４号公報 特許第２７５３５９９号明細書
　しかしながら、画像の全領域を符号化すると、演算量が増大してしまう。また、異なる方向から撮像された同一物体を効率的に取り扱うことができない。
　上記課題を解決するために、本発明の第１の形態によると、画像処理装置であって、物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、基準モデルと物体モデルとの間の差分情報に対応づけて出力する出力部とを備える。
　モデル格納部は、物体が特徴パラメータで表現された３次元モデルを格納しており、画像処理装置は、撮像画像から特徴領域を検出する特徴領域検出部と、撮像画像における特徴領域の画像に含まれる物体の画像を、モデル格納部が格納している３次元モデルに適応させることによって、特徴領域の画像に含まれる物体を表す、３次元モデルにおける特徴パラメータの値を算出するパラメータ値算出部とをさらに備え、出力部は、パラメータ値算出部が算出した特徴パラメータの値および特徴領域以外の領域の画像を出力してよい。
　本発明の第２の形態によると、画像処理方法であって、物体を表現する３次元モデルである基準モデルを格納するモデル格納段階と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成段階と、複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、基準モデルと物体モデルとの間の差分情報に対応づけて出力する出力段階とを備える。
　本発明の第３の形態によると、画像処理装置用のプログラムを記憶するコンピュータ読取可能な媒体であって、該プログラムは、コンピュータを、物体を表現する３次元モデルである基準モデルを格納するモデル格納部、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部、複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、基準モデルと物体モデルとの間の差分情報に対応づけて出力する出力部として機能させる。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
一実施形態に係わる画像処理システム１０の一例を示す図である。 画像処理装置１２０のブロック構成の一例を示す図である。 圧縮部２３０のブロック構成の一例を示す図である。 画像処理装置１７０のブロック構成の一例を示す図である。 圧縮部２３０の他のブロック構成の一例を示す図である。 画像処理装置１２０における処理内容の一例を示す図である。 モデル格納部２７０および許容量格納部２７５が格納しているデータの一例をテーブル形式で示す図である。 画像ＤＢ１７５が撮像画像６００に対応づけて記憶するデータの一例を、テーブル形式で示す図である。 他の実施形態に係る画像処理システム２０の一例を示す図である。 一実施形態に係わる画像処理システム２０１０の一例を示す図である。 画像処理装置２１２０のブロック構成の一例を示す図である。 圧縮部２２３０のブロック構成の一例を示す図である。 画像処理装置２１７０のブロック構成の一例を示す図である。 圧縮部２２３０の他のブロック構成の一例を示す図である。 人間の顔における特徴点の一例を示す図である。 重みづけ係数ｂを変化させた場合の顔形状の変化の一例を模式的に示す図である。 サンプル画像を平均顔形状に変換して得られた画像の一例を示す図である。 重みづけ係数ｑを変化させた場合の画素値の変化の一例を模式的に示す図である。 モデル格納部２２７０およびモデル格納部２３５０が格納しているモデルの一例をテーブル形式で示す図である。 他の実施形態に係る画像処理システム２０２０の一例を示す図である。 画像処理装置１２０、画像処理装置１７０、画像処理装置２１２０、画像処理装置２１７０として機能するコンピュータ１５００のハードウェア構成の一例を示す図である。
１０　画像処理システム、２０　画像処理システム、１００　撮像装置、１０２　撮像部、１０４　撮像画像圧縮部、１１０　通信ネットワーク、１２０　画像処理装置、１３０　人物、１４０　移動体、１５０　監視対象空間、１６０　空間、１７０　画像処理装置、１７５　画像ＤＢ、１８０　表示装置、２０１　圧縮動画取得部、２０２　圧縮動画伸張部、２０３　特徴領域検出部、２０６　対応付け処理部、２０７　出力部、２１０　圧縮制御部、２３０　圧縮部、２３２　画像分割部、２３４　固定値化部、２３６　圧縮処理部、２４０　画質変換ユニット、２４１　画質変換部、２５０　画像取得部、２６０　モデル生成部、２７０　モデル格納部、２７５　許容量格納部、２８０　物体モデル記憶部、２９０　撮像情報特定部、２０３　特徴領域検出部、３０１　画像取得部、３０２　対応付け解析部、３１０　伸張制御部、３２０　伸張部、３２２　復号器、３３０　合成部、３３２　拡大部、３４０　出力部、３５０　モデル格納部、３９０　画像選択部、３９２　一致度算出部、３９４　画像抽出部、３６０　特徴領域情報取得部、３７０　閾値取得部、３８０　画像生成部、５１０　画質変換部、５２０　差分処理部、５２２　階層間差分処理部、５３０　符号化部、５３２　符号器、６００　撮像画像、６１０　頭部領域、６５０　物体モデル、８０４　画像処理部、２０１０　画像処理システム、２０２０　画像処理システム、２１００　撮像装置、２１０２　撮像部、２１０４　撮像画像圧縮部、２１１０　通信ネットワーク、２１２０　画像処理装置、２１３０　人物、２１４０　移動体、２１５０　監視対象空間、２１６０　空間、２１７０　画像処理装置、２１７５　画像ＤＢ、２１８０　表示装置、２２０１　圧縮動画取得部、２２０２　圧縮動画伸張部、２２０３　特徴領域検出部、２２０６　対応付け処理部、２２０７　出力部、２２１０　圧縮制御部、２２３０　圧縮部、２２３２　画像分割部、２２３４　固定値化部、２２３６　圧縮処理部、２２４０　画質変換ユニット、２２４１　画質変換部、２２５０　画像取得部、２２６０　パラメータ値算出部、２２７０　モデル格納部、２２８０　パラメータ量子化部、２３０１　画像取得部、２３０２　対応付け解析部、２３１０　伸張制御部、２３２０　伸張部、２３２２　復号器、２３３０　合成部、２３３２　拡大部、２３４０　出力部、２３５０　モデル格納部、２３６０　特徴領域情報取得部、２３８０　画像生成部、２５１０　画質変換部、２５２０　差分処理部、２５２２　階層間差分処理部、２５３０　符号化部、２５３２　符号器、２８０４　画像処理部、１５０５　ＣＰＵ、１５１０　ＲＯＭ、１５２０　ＲＡＭ、１５３０　通信インターフェイス、１５４０　ハードディスクドライブ、１５５０　フレキシブルディスク・ドライブ、１５６０　ＣＤ－ＲＯＭドライブ、１５７０　入出力チップ、１５７５　グラフィック・コントローラ、１５８０　表示デバイス、１５８２　ホスト・コントローラ、１５８４　入出力コントローラ、１５９０　フレキシブルディスク、１５９５　ＣＤ－ＲＯＭ、１５９８　ネットワーク通信装置
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。
　画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ－ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された撮像画像を処理する画像処理装置１２０、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ－ｄ（以下、表示装置１８０と総称する。）を備える。画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
　撮像装置１００ａは、撮像部１０２ａおよび撮像画像圧縮部１０４ａを有している。撮像部１０２ａは、連続して監視対象空間１５０を撮像することによって複数の撮像画像を撮像する。なお、撮像部１０２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部１０４ａは、撮像部１０２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを画像処理装置１２０に出力する。
　なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置１２０は、複数の撮像装置１００のそれぞれにより生成された撮像動画データを、複数の撮像装置１００のそれぞれから取得する。
　そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮してよい。なお、画像処理装置１２０は、３次元物体のモデルを記憶している。そして、画像処理装置１２０は、撮像動画における特徴領域の物体の画像から、当該物体を表す３次元モデルを生成する。
　そして、画像処理装置１２０は、撮像画像から検出された特徴領域を特定する情報および当該３次元モデルを特定する情報を含むモデル情報を含む特徴領域情報を生成する。そして、画像処理装置１２０は、モデル情報および特徴領域情報を圧縮動画データに付帯して、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
　画像処理装置１７０は、モデル情報および特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張する。このとき、画像処理装置１７０は、特徴領域の物体の画像をモデル情報を用いて生成する。このようにして生成された表示用動画は、表示装置１８０に供給される。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。
　また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データおよびモデル情報を画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データ、特徴領域情報、およびモデル情報を読み出して、上記のようにして表示用動画を生成して表示装置１８０に供給してもよい。
　なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供してよい。
　このように、画像処理システム１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
　図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、画像取得部２５０、特徴領域検出部２０３、モデル格納部２７０、物体モデル記憶部２８０、許容量格納部２７５、モデル生成部２６０、撮像情報特定部２９０、パラメータ値算出部２２６０、パラメータ量子化部２２８０、圧縮制御部２１０、圧縮部２３０、対応付け処理部２０６、および出力部２０７を備える。画像取得部２５０は、圧縮動画取得部２０１および圧縮動画伸張部２０２を有する。
　圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であってよい。このように、画像取得部２５０は、複数の撮像装置１００のそれぞれにより撮像された複数の動画を取得する。
　圧縮動画伸張部２０２によって得られた複数の撮像画像は、特徴領域検出部２０３および圧縮部２３０に供給される。特徴領域検出部２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。
　例えば、特徴領域検出部２０３は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域検出部２０３は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
　例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。なお、特徴領域検出部２０３は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
　また、特徴領域検出部２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７－１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部２０３は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。
　このように、特徴領域検出部２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部２０３は、検出した特徴領域を示す情報を、圧縮制御部２１０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。このように、特徴領域検出部２０３は、動画における特徴領域を検出する。
　圧縮制御部２１０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。なお、圧縮部２３０は、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で圧縮することにより、撮像画像を圧縮してよい。例えば、圧縮部２３０は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部２３０は、特徴領域以外の領域の画像の画質を低減することにより、特徴領域以外の領域の画像を圧縮する。また、圧縮部２３０は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。なお、圧縮部２３０のより具体的な内部の圧縮動作については、後に説明する。
　なお、モデル格納部２７０は、物体を表現する３次元モデルである基準モデルを格納する。そして、モデル生成部２６０は、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成する。そして、出力部２０７は、後に説明するように、複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、基準モデルと物体モデルとの間の差分情報に対応づけて出力する。具体的には、モデル生成部２６０は、基準モデルを変更することにより、物体モデルを生成する。そして、出力部２０７は、モデル生成部２６０が物体モデルを生成する場合に基準モデルから変更した変更量を示す差分情報に対応づけて、撮像されている物体の位置および向きを出力する。
　なお、モデル格納部２７０は、複数の基準モデルを格納してよい。そして、モデル生成部２６０は、複数の基準モデルの中から選択された基準モデルを変更することにより、物体モデルを生成してよい。例えば、モデル格納部２７０は、物体の部位毎にそれぞれ複数の基準モデルを格納しており、モデル生成部２６０は、部位毎に基準モデルを選択して、部位毎に選択された基準モデルを変更することによって、部位毎に物体モデルを生成してよい。そして、出力部２０７は、選択された基準モデルを識別する情報および差分情報に対応づけて、撮像されている物体の位置および向きを出力してよい。
　なお、許容量格納部２７５は、基準モデルに対して変更することが許容される変更量の許容範囲を格納している。そして、モデル生成部２６０は、許容量格納部２７５が格納している変更量の許容範囲内で基準モデルを変更することにより、物体モデルを生成してよい。また、撮像情報特定部２９０は、物体モデルおよび撮像画像の画像内容に基づいて、撮像画像に撮像されている物体が照明された照明条件を特定する。照明条件としては、照明種別、照明方向を例示することができる。この場合、出力部２０７は、撮像されている物体の位置および向きを、差分情報および照明条件に対応づけて出力してよい。
　なお、モデル生成部２６０は、特徴領域に撮像されている物体が撮像された複数の撮像画像の画像内容に基づいて、物体モデルを生成してよい。そして、出力部２０７は、複数の撮像画像のそれぞれから検出された特徴領域に撮像されている物体の位置および向きを、差分情報に対応づけて出力してよい。また、物体モデル記憶部２８０は、モデル生成部２６０により生成された物体モデルを記憶する。特徴領域検出部２０３は、新たに撮像された撮像画像の中から、物体モデルに適合する物体が撮像された領域を特徴領域として検出する。
　対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報およびモデル情報を、撮像画像に対応づける。具体的には、対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報およびモデル情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域を特定する情報およびモデル情報が対応付けされた圧縮動画を、画像処理装置１７０に出力する。
　このように、出力部２０７は、モデル情報および特徴領域以外の領域の画像を出力する。より具体的には、出力部２０７は、物体モデルを識別するモデル情報および圧縮部２３０により画質が低減された特徴領域以外の領域の画像を出力する。
　以上説明したように、画像処理装置１２０によると、特徴領域に含まれる物体の画像についてはモデル情報で表現することによって、十分にデータ量を削減しつつ、後で物体の画像を再構成することができる情報を残すことができる。また、特徴領域に比べて重要度が低い背景領域については、画質を低減することでデータ量を著しく削減することができる。
　なお、モデル格納部２７０は、物体が特徴パラメータで表現された３次元モデルを格納してよい。具体的には、モデル格納部２７０は、物体が統計的な特徴パラメータにより表現された３次元モデルを格納してよい。より具体的には、モデル格納部２２７０は、主成分分析に基づく主成分で物体の形状が表現されたモデルを格納してよい。なお、特徴パラメータの具体例については、図１０以降の図に関連して説明するので、ここでは説明を省略する。
　パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、モデル格納部２７０が格納している３次元モデルに適応させることによって、特徴領域の画像に含まれる物体を表す、３次元モデルにおける特徴パラメータの値を算出する。そして、出力部２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値および特徴領域以外の領域の画像を出力する。このとき、出力部２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値および圧縮部２３０により画質が低減された特徴領域以外の領域の画像を出力してよい。なお、パラメータ値算出部２２６０、パラメータ量子化部２２８０、および出力部２０７の機能および動作の具体例については、図１０以降の図に関連して説明するので、ここでは説明を省略する。
　図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、複数の固定値化部２３４ａ－ｃ（以下、固定値化部２３４と総称する場合がある。）、複数の画質変換部２４１ａ－ｄ（以下、画質変換部２４１と総称する。）を含む画質変換ユニット２４０、および複数の圧縮処理部２３６ａ－ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。
　画像分割部２３２は、画像取得部２５０から複数の撮像画像を取得する。そして、画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。
　そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
　具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。
　画質変換部２４１は、特徴領域の画像および背景領域の画像の画質を変換する。例えば、画質変換部２４１は、分割された特徴領域の画像および背景領域の画像のそれぞれについて、解像度、階調数、ダイナミックレンジ、または含まれる色数の少なくともいずれかを変換する。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。
　なお、固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。また、画質変換部２４１ａ、画質変換部２４１ｂ、画質変換部２４１ｃ、および画質変換部２４１ｄは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画の画質を変換する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、圧縮処理部２３６ｃ、および圧縮処理部２３６ｄは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画を圧縮する。
　なお、圧縮処理部２３６ａ－ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
　なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ－ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。
　なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
　このように、圧縮部２３０は、撮像画像の画質を低減することにより、画像処理装置１７０への入力画像となる画像を生成する。具体的には、圧縮部２３０は、撮像画像の解像度、階調数、用いられる色の数を低減したりすることにより、画像処理装置１７０への入力画像となる画像を生成する。また、圧縮部２３０は、一例として、撮像画像におけるより高い空間周波数成分をより低減することにより、画像処理装置１７０への入力画像となる画像を生成してよい。
　なお、本図では、圧縮部２３０が有する複数の圧縮処理部２３６のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２３０は一の圧縮処理部２３６を有してよく、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部２３６に時分割で順次供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
　他にも、一の圧縮処理部２３６は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２３６に供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画質変換ユニット２４０でなされてよい。また、上記のように一の圧縮処理部２３６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２３６が圧縮する形態では、一の圧縮処理部２３６は、一の画像を圧縮してもよく、本図で説明したように画像分割部２３２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２３６が一の画像を圧縮する場合には、画像分割部２３２による分割処理および固定値化部２３４による固定値化処理はなされなくてよいので、圧縮部２３０は、画像分割部２３２および固定値化部２３４を有しなくてよい。
　図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、画像選択部３９０、画像生成部３８０、特徴領域情報取得部３６０、モデル格納部３５０、閾値取得部３７０、および出力部３４０を有する。画像生成部３８０は、拡大部３３２および合成部３３０を有する。また、画像選択部３９０は、一致度算出部３９２および画像抽出部３９４を有する。
　画像取得部３０１は、圧縮部２３０により圧縮された圧縮動画を取得する。具体的には、画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部３０１は、特徴領域情報、モデル情報、物体の位置および方向を示す情報が付帯された圧縮動画を取得する。
　そして、対応付け解析部３０２は、画像取得部３０１が取得した動画データを複数の特徴領域動画および背景領域動画と、特徴領域情報と、モデル情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域の位置および特徴の種類を伸張制御部３１０および特徴領域情報取得部３６０に供給する。また、対応付け解析部３０２は、モデル情報、物体の位置および方向を示す情報を特徴領域情報取得部３６０に供給する。このようにして、特徴領域情報取得部３６０は、複数の撮像画像のそれぞれにおける特徴領域を示す情報（例えば特徴領域の位置を示す情報）、およびモデル情報、物体の位置および方向を示す情報を取得することができる。特徴領域情報取得部３６０は、取得した特徴領域の位置を示す情報、ならびにモデル情報、物体の位置および方向を示す情報を、画像生成部３８０に供給する。
　伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
　以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、複数の復号器３２２ａ－ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。伸張部３２０は、復号して得られた第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を、画像生成部３８０に供給する。
　画像生成部３８０は、第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画、特徴領域情報に基づいて一の表示動画を生成する。そして、出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。
　モデル格納部３５０は、モデル格納部２７０が格納しているモデルと同じモデルを格納している。そして、画像生成部３８０は、特徴領域に含まれる物体の２次元画像を、モデル格納部３５０が格納しているモデル、ならびに出力部２０７から出力された差分情報、物体の位置、および物体の方向を用いて生成される３次元の物体モデルを２次元空間に投影することによって生成する。
　なお、特徴領域情報取得部３６０は、出力部２０７から圧縮動画に対応づけて出力された物体の種類、物体の方向、および照明条件を取得してよい。そして、画像生成部３８０は、物体の種類、物体の方向、および照明条件に応じて、生成される３次元の物体モデルを２次元空間に投影することによって、物体の２次元画像を生成してよい。
　画像拡大部３３２は、特徴領域以外の領域の画像を拡大する。そして、合成部３３０は、２次元画像と、当該拡大された特徴領域以外の領域の画像とを合成する。そして、出力部３４０は、上記２次元画像および特徴領域以外の画像を含む画像を出力する。なお、出力部３４０は、合成して得られた画像を、物体モデルと基準モデルとの間の差分情報に対応づけて画像ＤＢ１７５に記録してよい。このように、画像ＤＢ１７５は、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する。具体的には、画像ＤＢ１７５は、モデル生成部２６０が物体モデルを生成する場合に基準モデルから変更した変更量を示す差分情報に対応づけて、複数の撮像画像を格納する。
　なお、画像ＤＢ１７５は、選択された基準モデルを識別する情報であるモデル識別情報および差分情報に対応づけて、複数の撮像画像を格納してよい。そして、画像選択部３９０は、新たな撮像画像に含まれる物体に適合する物体モデルを生成する場合に選択された基準モデルを識別するモデル識別情報と同じモデルを示すモデル識別情報、および新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択する。なお、閾値取得部３７０は、差分情報の間の一致度の閾値を、画像処理装置１７０の外部から取得する。そして、画像選択部は、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に、閾値取得部３７０が取得した閾値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択してよい。
　具体的には、一致度算出部３９２は、部位毎に、画像ＤＢ１７５が格納している差分情報のそれぞれと、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報との間の一致度をそれぞれ算出する。そして、画像抽出部３９４は、一致度算出部３９２が算出した一致度の合計値が予め定められた値より高い差分情報の組み合わせに対応づけて画像ＤＢ１７５が格納している撮像画像を抽出する。
　このようにして、画像選択部３９０は、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択する。このため、画像処理システム１０によると、差分情報に基づいて検索することができるので、画像を高速に検索することができる。
　図５は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
　本構成における圧縮部２３０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ－ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ－ｄ（以下、符号器５３２と総称する。）を含む。
　画質変換部５１０は、画像取得部２５０から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
　例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
　そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
　なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。なお、画質変換部５１０は、図３に関連して説明した画質変換部２４１と同様の画質変換処理を行うことができる。
　階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
　また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。
　階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。
　なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
　なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
　なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。
　以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
　また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
　以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
　図６は、画像処理装置１２０における処理内容の一例を示す。特徴領域検出部２０３は、撮像画像６００－１～３（以下、撮像画像６００と総称する。）から、それぞれ特徴領域の一例としての頭部領域６１０－１～３を検出する。そして、モデル生成部２６０は、異なる方向から撮像されている頭部領域６１０－１～３を選択して、選択した頭部領域６１０の画像内容に基づいて３次元の物体モデル６５０を生成する。
　このとき、モデル生成部２６０は、モデル格納部２７０が格納している基準モデルを修正することによって、物体モデル６５０を生成する。なお、モデル生成部２６０が基準モデルを変更することによって物体モデルを生成する方法の一例については、図７に関連して後述する。
　出力部２０７は、生成した物体モデルと基準モデルの差分情報を、画像処理装置１７０に送信する。一方で、出力部２０７は、撮像画像６００のそれぞれに対応づけて、物体の２次元画像を物体モデルから生成するための情報として、物体の位置および方向を送信する。物体の位置および方向としては、物体モデルと視点との間の位置関係を例示することができる。なお、ここでいう視点とは、物体モデルを２次元空間に投影した場合に、物体の２次元画像（例えば、頭部領域６１０の画像）を得ることができる視点であってよい。
　なお、出力部２０７は、複数の撮像画像６００に対応づけて一の差分情報を画像処理装置１７０に送信してよい。これにより、画像処理装置１２０から画像処理装置１７０へと送信されるデータ量を削減することができる。なお、差分情報としては、上述したように、基準モデルからの変更量を例示することができる。
　図７は、モデル格納部２７０および許容量格納部２７５が格納しているデータの一例をテーブル形式で示す。モデル格納部２７０は、部位毎に基準モデルを格納している。例えば、モデル格納部２７０は、目を表す複数の基準モデルＥＭ７０１、ＥＭ７０２・・・、鼻を表す複数の基準モデルＮＭ７０１、ＮＭ７０２・・・、等を格納している。
　また、許容量格納部２７５は、基準モデルＥＭ７０１、ＥＭ７０２、ＮＭ７０１、ＮＭ７０２を含む複数の基準モデルに対応づけて、基準モデルに対する変更許容範囲を格納している。なお、変更許容範囲としては、本図に示されるように、形状に関する変更許容範囲の一例としてのアスペクト比の範囲、および色情報に関する変更許容範囲の一例としての色差範囲および輝度範囲を例示することができる。
　そして、モデル生成部２６０は、頭部領域６１０の画像内容に基づいて、モデル格納部２７０が格納している基準モデルを部位毎に選択する。例えば、モデル生成部２６０は、頭部領域６１０に含まれる各部位の画像のそれぞれについて、各部位の画像と予め定められた値より高い一致度で形状が一致する基準モデルを選択する。
　そして、モデル生成部２６０は、許容量格納部２７５が格納しているアスペクト比の範囲内で基準モデルのアスペクト比を変化させて得られた画像と各部位の画像とを比較して、各部位の画像との間における形状の一致度が最も高いアスペクト比を特定する。また、モデル生成部２６０は、基準モデルに対して色差および輝度を変化させて得られた画像と各部位の画像とを比較して、各部位の画像との間における色の一致度が最も高い色差情報および輝度情報を特定する。なお、変更量の一例としては、上記アスペクト比、色差情報、および輝度情報を例示することができる。このようにして、モデル生成部２６０は、基準モデルおよび差分情報（例えば、変更量）によって表される物体モデルを生成する。
　図８は、画像ＤＢ１７５が撮像画像６００に対応づけて記憶するデータの一例を、テーブル形式で示す。画像処理装置１７０は、頭部領域６１０を含む複数の撮像画像６００に対応づけて、画像処理装置１２０から取得したモデルを識別する情報、アスペクト比、色差情報、および輝度情報を画像ＤＢ１７５に格納させる。なお、画像処理装置１７０は、モデルを識別する情報、アスペクト比、色差情報、および輝度情報の組を、各部位毎に画像ＤＢ１７５に格納させる。
　そして、画像取得部３０１が取得した新たな撮像画像から検出された特徴領域の物体を表すモデルを識別する情報、ならびに当該モデルに対する差分情報の組であるアスペクト比、色差情報、および輝度情報の組を取得した場合に、一致度算出部３９２は、当該モデルを識別する情報に対応づけて画像ＤＢ１７５が記憶しているアスペクト比、色差情報、および輝度情報の組を読み出す。そして、一致度算出部３９２は、当該読み出したアスペクト比、色差情報、および輝度情報の組と、新たな撮像画像における上記差分情報の組とを比較して、それらの間の一致度を算出する。
　そして、画像抽出部３９４は、一致度算出部３９２が算出した一致度を部位毎に合計して、得られた合計値が予め定められた値より高い差分情報の組に対応づけて画像ＤＢ１７５が格納している撮像画像を抽出する。このように、画像選択部３９０は、モデルを識別する情報、アスペクト比、色差情報、および輝度情報等の数値に基づいて、類似する物体が撮像されている撮像画像を選択することができる。このため、画像処理システム１０によると、画像内容に基づいて画像を選択する場合に比べて高速に画像を選択することができる。
　図９は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ－ｄがそれぞれ画像処理部８０４ａ－ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。
　画像処理部８０４は、画像処理装置１２０に含まれる構成要素のうち、画像取得部２５０を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理装置１２０に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図８にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。
　なお、画像処理部８０４は、撮像部１０２からＲＡＷ形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。例えば、画像処理部８０４は、撮像画像において図１～図８に関連して説明した３次元モデルを利用せずに圧縮する領域の画像を、ＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む撮像動画を圧縮してよい。また、画像処理部８０４は、図１～図８に関連して画像処理装置１２０の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置１７０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
　なお、画像処理装置１７０は、同時化処理によって得られた撮像画像に、超解像処理を施してよい。画像処理装置１７０における超解像処理としては、特開２００６－３５０４９８号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開２００４－８８６１５号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。
　なお、画像処理装置１７０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置１７０は、オブジェクトの種類を識別する情報の一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施す。この場合、画像処理装置１７０は、特開２００６－３５０４９８号公報に記載されたようなモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置１７０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
　このように、画像処理装置１７０は、主成分分析（ＰＣＡ）を用いて特徴領域の画像を再構成することができる。なお、画像処理装置１７０による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ　ｐｒｅｓｅｒｖｉｎｇ　ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ　ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ　ｌｉｎｅａｒ　ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ　ｒａｎｄｏｍ　ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。
　また、学習データとしては、特開２００６－３５０４９８号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。なお、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をＫ－ｍｅａｎｓ法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分は複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。
　そして、画像処理装置１７０は、撮像画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置１７０は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置１７０は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置１７０は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像処理装置１７０は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置１７０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置１７０は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。
　なお、特開２００６－３５０４９８号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像を表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部８０４は、撮像部１０２から取得した複数の撮像画像において、図１～図８に関連して説明した３次元モデルを使用せずに圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部８０４は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部８０４は、主成分ベクトルおよび重みづけ係数を画像処理装置１７０に送信してよい。画像処理装置１７０においては、画像処理部８０４から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部８０４は、特開２００６－３５０４９８号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができる。なお、図１～図８に関連して説明した画像処理システム１０の構成においても、画像処理装置１７０は、特徴領域の画像に上述した超解像処理を施すことができる。
　図１０は、一実施形態に係わる画像処理システム２０１０の一例を示す。画像処理システム２０１０は、以下に説明するように、監視システムとして機能することができる。
　画像処理システム２０１０は、監視対象空間２１５０を撮像する複数の撮像装置２１００ａ－ｄ（以下、撮像装置２１００と総称する。）、撮像装置２１００により撮像された撮像画像を処理する画像処理装置２１２０、通信ネットワーク２１１０、画像処理装置２１７０、画像ＤＢ２１７５、および複数の表示装置２１８０ａ－ｄ（以下、表示装置２１８０と総称する。）を備える。画像処理装置２１７０および表示装置２１８０は、監視対象空間２１５０と異なる空間２１６０に設けられている。
　撮像装置２１００ａは、撮像部２１０２ａおよび撮像画像圧縮部２１０４ａを有している。撮像部２１０２ａは、連続して監視対象空間２１５０を撮像することによって複数の撮像画像を撮像する。なお、撮像部２１０２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部２１０４ａは、撮像部２１０２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置２１００ａは、監視対象空間２１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置２１００ａは、当該撮像動画データを画像処理装置２１２０に出力する。
　なお、撮像装置２１００ｂ、撮像装置２１００ｃ、および撮像装置２１００ｄは、それぞれ撮像装置２１００ａと同様の構成を有するので、撮像装置２１００ｂ、撮像装置２１００ｃ、および撮像装置２１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置２１２０は、複数の撮像装置２１００のそれぞれにより生成された撮像動画データを、複数の撮像装置２１００のそれぞれから取得する。
　そして、画像処理装置２１２０は、撮像装置２１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置２１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物２１３０が撮像された領域、車輌等の移動体２１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置２１２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮してよい。
　なお、画像処理装置２１２０は、特徴パラメータで物体が表現される数学モデルを記憶している。そして、画像処理装置２１２０は、特徴領域に含まれる物体の画像を、当該数学モデルに適合させることによって、物体の画像を表す特徴パラメータの値を算出する。
　そして、画像処理装置２１２０は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置２１２０は、特徴パラメータの値および特徴領域情報を圧縮動画データに付帯して、通信ネットワーク２１１０を通じて画像処理装置２１７０に送信する。
　画像処理装置２１７０は、特徴パラメータの値および特徴領域情報が対応づけられた圧縮動画データを画像処理装置２１２０から受信する。そして、画像処理装置２１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張する。このとき、画像処理装置２１７０は、伸張された得られた特徴領域の画像を用いて、特徴パラメータの値でモデルを変更することによって特徴領域に含まれる物体の画像を生成する。このようにして生成された表示用動画は、表示装置２１８０に供給される。表示装置２１８０は、画像処理装置２１７０から供給された表示用動画を表示する。
　また、画像処理装置２１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データおよび特徴パラメータを画像ＤＢ２１７５に記録してもよい。そして、画像処理装置２１７０は、表示装置２１８０からの要求に応じて、画像ＤＢ２１７５から圧縮動画データ、特徴領域情報、および特徴パラメータの値を読み出して、上記のようにして表示用動画を生成して表示装置２１８０に供給してもよい。
　なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置２１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置２１７０は、特定した撮像画像を復号して、表示装置２１８０に提供してよい。
　このように、画像処理システム２０１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム２０１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
　図１１は、画像処理装置２１２０のブロック構成の一例を示す。画像処理装置２１２０は、画像取得部２２５０、特徴領域検出部２２０３、モデル格納部２２７０、パラメータ値算出部２２６０、パラメータ量子化部２２８０、圧縮制御部２２１０、圧縮部２２３０、対応付け処理部２２０６、および出力部２２０７を備える。画像取得部２２５０は、圧縮動画取得部２２０１および圧縮動画伸張部２２０２を有する。
　圧縮動画取得部２２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２２０１は、撮像装置２１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２２０２は、圧縮動画取得部２２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２２０２は、圧縮動画取得部２２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であってよい。このように、画像取得部２２５０は、複数の撮像装置２１００のそれぞれにより撮像された複数の動画を取得する。
　圧縮動画伸張部２２０２によって得られた複数の撮像画像は、特徴領域検出部２２０３および圧縮部２２３０に供給される。特徴領域検出部２２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。
　例えば、特徴領域検出部２２０３は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域検出部２２０３は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部２２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
　例えば、特徴領域検出部２２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。なお、特徴領域検出部２２０３は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
　また、特徴領域検出部２２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７－１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部２２０３は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。
　このように、特徴領域検出部２２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部２２０３は、検出した特徴領域を示す情報を、圧縮制御部２２１０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。このように、特徴領域検出部２２０３は、動画における特徴領域を検出する。
　圧縮制御部２２１０は、特徴領域検出部２２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２２３０による動画の圧縮処理を制御する。なお、圧縮部２２３０は、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で圧縮することにより、撮像画像を圧縮してよい。例えば、圧縮部２２３０は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部２２３０は、特徴領域以外の領域の画像の画質を低減することにより、特徴領域以外の領域の画像を圧縮する。また、圧縮部２２３０は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。なお、圧縮部２２３０のより具体的な内部の圧縮動作については、後に説明する。
　モデル格納部２２７０は、物体が特徴パラメータで表現されたモデルを格納する。例えば、モデル格納部２２７０は、物体が統計的な特徴パラメータにより表現されたモデルを格納してよい。より具体的には、モデル格納部２２７０は、主成分分析に基づく主成分で物体が表現されたモデルを格納してよい。なお、モデル格納部２２７０は、主成分分析に基づく主成分で物体の形状が表現されたモデルを格納してよい。また、モデル格納部２２７０は、主成分分析に基づく主成分で物体の色が表現されたモデルを格納してよい。
　パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、モデル格納部２２７０が格納しているモデルに適応させることによって、特徴領域の画像に含まれる物体を表す、モデルにおける特徴パラメータの値を算出する。具体的には、パラメータ値算出部２２６０は、モデルにおける主成分の重みを算出する。特徴パラメータが主成分分析により得られた主成分ベクトルである場合、特徴パラメータの値としては、主成分ベクトルへの重みづけ係数を例示することができる。
　パラメータ量子化部２２８０は、出力部２２０７から特徴パラメータの値が出力されるべき特徴パラメータを選択する。具体的には、パラメータ量子化部２２８０は、主成分分析によって抽出されている主成分のうち、どのレベルの主成分まで重みづけ係数を出力するべきか決定する。例えば、パラメータ量子化部２２８０は、特徴領域の特徴の種類に応じて予め定められたレベルまで主成分の重みづけ係数を出力されるべき旨を決定する。パラメータ量子化部２２８０が決定したレベルの主成分に対する重みづけ係数は、対応付け処理部２２０６に供給される。
　対応付け処理部２２０６は、撮像画像から検出された特徴領域を特定する情報および重みづけ係数を、撮像画像に対応づける。具体的には、対応付け処理部２２０６は、撮像画像から検出された特徴領域を特定する情報および重みづけ係数を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２２０７は、対応付け処理部２２０６によって特徴領域を特定する情報および重みづけ係数が対応付けされた圧縮動画を、画像処理装置２１７０に出力する。
　このように、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値および特徴領域以外の領域の画像を出力する。より具体的には、出力部２２０７は、パラメータ量子化部２２８０が選択した特徴パラメータの値および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力する。
　なお、出力部２２０７から出力される圧縮動画は、特徴領域については画素情報を含まなくてよい。このように、出力部２２０７は、パラメータ値算出部２２６０が算出した主成分の重みおよび特徴領域以外の領域の画像を出力する。より具体的には、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力する。
　以上説明したように、画像処理装置２１２０によると、特徴領域に含まれる物体の画像については特徴パラメータ値で表現することによって、十分にデータ量を削減しつつ、後で物体の画像を再構成することができる情報を残すことができる。また、特徴領域に比べて重要度が低い背景領域については、画質を低減することでデータ量を著しく削減することができる。
　なお、モデル格納部２２７０は、異なる種類の物体のモデルを、当該種類に対応づけて格納してよい。そして、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、特徴領域に撮像されている物体の種類に対応づけてモデル格納部２２７０が格納しているモデルに適応させることによって、特徴パラメータの値を算出してよい。この場合、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値、特徴領域に撮像されている物体の種類、および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力することが望ましい。これにより、画像処理装置２１７０側で適切な種類のモデルを選択して再構成することができる。
　また、モデル格納部２２７０は、異なる方向から見た物体のモデルを、当該方向に対応づけて格納してよい。そして、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、特徴領域に撮像されている物体が撮像された方向に対応づけてモデル格納部２２７０が格納しているモデルに適応させることによって、特徴パラメータの値を算出してよい。この場合、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値、特徴領域に撮像されている物体が撮像された方向、および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力すること画望ましい。
　また、モデル格納部２２７０は、異なる照明条件で照明された物体のモデルを、当該照明条件に対応づけて格納してよい。そして、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、特徴領域に撮像されている物体が照明された照明条件に対応づけてモデル格納部２２７０が格納しているモデルに適応させることによって、特徴パラメータの値を算出してよい。この場合、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値、特徴領域に撮像されている物体が照明された照明条件、および圧縮部２２３０により画質が低減された特徴領域以外の領域の画像を出力することが望ましい。
　このように、モデル格納部２２７０は、物体の種類、物体の方向、および照明条件等に対応づけて複数のモデルを格納している。このため、特徴領域の物体の画像を、より適切なモデルを用いて表現することができるので、特徴領域の画質を維持しつつデータ量を削減することができる。
　なお、図２に関連して、画像処理装置１２０が有するパラメータ値算出部２２６０およびパラメータ量子化部２２８０の機能および動作について簡単に説明したが、図１から図９に関連して説明した画像処理装置１２０が有するパラメータ値算出部２２６０およびパラメータ量子化部２２８０は、本図以降の図に関連して説明されるパラメータ値算出部２２６０およびパラメータ量子化部２２８０の機能および動作と略同一の機能および動作を有することができる。
　また、図２から図９に関連して説明されたモデル格納部２７０、特徴領域検出部２０３、圧縮制御部２１０、圧縮部２３０、対応付け処理部２０６、および出力部２０７は、本図以降の図に関連して説明されるモデル格納部２２７０、特徴領域検出部２２０３、圧縮制御部２２１０、圧縮部２２３０、対応付け処理部２２０６、および出力部２２０７の機能および動作と略同一の機能および動作を有することができる。
　図１２は、圧縮部２２３０のブロック構成の一例を示す。圧縮部２２３０は、画像分割部２２３２、複数の固定値化部２２３４ａ－ｃ（以下、固定値化部２２３４と総称する場合がある。）、複数の画質変換部２２４１ａ－ｄ（以下、画質変換部２２４１と総称する。）を含む画質変換ユニット２２４０、および複数の圧縮処理部２２３６ａ－ｄ（以下、圧縮処理部２２３６と総称する場合がある。）を有する。
　画像分割部２２３２は、画像取得部２２５０から複数の撮像画像を取得する。そして、画像分割部２２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。
　そして、圧縮処理部２２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
　具体的には、画像分割部２２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。
　画質変換部２２４１は、特徴領域の画像および背景領域の画像の画質を変換する。例えば、画質変換部２２４１は、分割された特徴領域の画像および背景領域の画像のそれぞれについて、解像度、階調数、ダイナミックレンジ、または含まれる色数の少なくともいずれかを変換する。そして、圧縮処理部２２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。
　なお、固定値化部２２３４ａ、固定値化部２２３４ｂ、および固定値化部２２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。また、画質変換部２２４１ａ、画質変換部２２４１ｂ、画質変換部２２４１ｃ、および画質変換部２２４１ｄは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画の画質を変換する。そして、圧縮処理部２２３６ａ、圧縮処理部２２３６ｂ、圧縮処理部２２３６ｃ、および圧縮処理部２２３６ｄは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画を圧縮する。
　なお、圧縮処理部２２３６ａ－ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
　なお、圧縮処理部２２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２２３６ｄは、圧縮処理部２２３６ａ－ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２２０６に供給される。
　なお、特徴領域以外の領域が固定値化部２２３４によって固定値化されているので、圧縮処理部２２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
　このように、圧縮部２２３０は、撮像画像の画質を低減することにより、画像処理装置２１７０への入力画像となる画像を生成する。具体的には、圧縮部２２３０は、撮像画像の解像度、階調数、用いられる色の数を低減したりすることにより、画像処理装置２１７０への入力画像となる画像を生成する。また、圧縮部２２３０は、一例として、撮像画像におけるより高い空間周波数成分をより低減することにより、画像処理装置２１７０への入力画像となる画像を生成してよい。
　なお、本図では、圧縮部２２３０が有する複数の圧縮処理部２２３６のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２２３０は一の圧縮処理部２２３６を有してよく、一の圧縮処理部２２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部２２３６に時分割で順次供給され、一の圧縮処理部２２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
　他にも、一の圧縮処理部２２３６は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２２３６に供給され、一の圧縮処理部２２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画質変換ユニット２２４０でなされてよい。また、上記のように一の圧縮処理部２２３６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２２３６が圧縮する形態では、一の圧縮処理部２２３６は、一の画像を圧縮してもよく、本図で説明したように画像分割部２２３２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２２３６が一の画像を圧縮する場合には、画像分割部２２３２による分割処理および固定値化部２２３４による固定値化処理はなされなくてよいので、圧縮部２２３０は、画像分割部２２３２および固定値化部２２３４を有しなくてよい。
　図１３は、画像処理装置２１７０のブロック構成の一例を示す。画像処理装置２１７０は、画像取得部２３０１、対応付け解析部２３０２、伸張制御部２３１０、伸張部２３２０、画像生成部２３８０、特徴領域情報取得部２３６０、モデル格納部２３５０、および出力部２３４０を備える。画像生成部２３８０は、拡大部２３３２および合成部２３３０を有する。
　画像取得部２３０１は、圧縮部２２３０により圧縮された圧縮動画を取得する。具体的には、画像取得部２３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部２３０１は、特徴領域情報および特徴パラメータが付帯された圧縮動画を取得する。このように、画像取得部２３０１は、出力部２２０７から出力された特徴パラメータの値および画質が低減された撮像画像を取得する。特に画像取得部２３０１は、特に、特徴領域以外の領域において画質が低減された撮像画像および特徴パラメータの値を取得する。
　そして、対応付け解析部２３０２は、画像取得部２３０１が取得した動画データを複数の特徴領域動画および背景領域動画と、特徴領域情報と、特徴領域パラメータ値とに分離して、複数の特徴領域動画および背景領域動画を伸張部２３２０に供給する。また、対応付け解析部２３０２は、特徴領域の位置および特徴の種類を伸張制御部２３１０および特徴領域情報取得部２３６０に供給する。また、対応付け解析部２３０２は、特徴パラメータ値を特徴領域情報取得部２３６０に供給する。このようにして、特徴領域情報取得部２３６０は、複数の撮像画像のそれぞれにおける特徴領域を示す情報（例えば特徴領域の位置を示す情報）、および特徴パラメータ値を取得することができる。特徴領域情報取得部２３６０は、取得した特徴領域の位置を示す情報および特徴パラメータ値を画像生成部２３８０に供給する。
　伸張制御部２３１０は、対応付け解析部２３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部２３２０による伸張処理を制御する。例えば、伸張制御部２３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部２３２０に圧縮動画が示す動画の各領域を伸張させる。
　以下に、伸張部２３２０が有する各構成要素の動作を説明する。伸張部２３２０は、複数の復号器２３２２ａ－ｄ（以下、復号器２３２２と総称する。）を有する。復号器２３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器２３２２ａ、復号器２３２２ｂ、復号器２３２２ｃ、および復号器２３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。伸張部２３２０は、復号して得られた第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を、画像生成部２３８０に供給する。
　画像生成部２３８０は、第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画、特徴領域情報に基づいて一の表示動画を生成する。そして、出力部２３４０は、対応付け解析部２３０２から取得した特徴領域情報および表示動画を表示装置２１８０または画像ＤＢ２１７５に出力する。なお、画像ＤＢ２１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。なお、出力部２３４０は、この発明における画像出力部として機能し得る。
　モデル格納部２３５０は、モデル格納部２２７０が格納しているモデルと同じもモデルを格納している。そして、画像生成部２３８０は、特徴領域に含まれる物体の画像をモデル格納部２３５０が格納しているモデルに適合させることにより、特徴領域に含まれる物体の高画質画像を生成してよい。具体的には、画像生成部２３８０は、モデル格納部２３５０が格納している主成分ベクトルを、特徴パラメータ値の一例としての重みづけ係数で重みづけすることによって、物体の高画質画像を生成してよい。このように、画像生成部２３８０は、特徴領域の画像に含まれる物体の画像を、特徴パラメータの値に基づいてモデルから生成する。
　なお、パラメータ値算出部２２６０は、撮像画像における特徴領域の画像に含まれる物体の画像を、モデル格納部２２７０が格納しているモデルに適応させることによって、特徴領域の画像に撮像されている物体の形状を表す、モデルにおける特徴パラメータの値を算出してよい。そして、圧縮部２２３０は、撮像画像における特徴領域および特徴領域以外の領域の画質を低減することにより、撮像画像を圧縮してよい。そして、出力部２２０７は、パラメータ値算出部２２６０が算出した特徴パラメータの値、および圧縮部２２３０により画質が低減された撮像画像を出力してよい。
　この場合、画像生成部２３８０は、特徴領域の画像に撮像されている物体の形状を特徴パラメータの値に基づいてモデルから生成し、生成した物体の形状および画像取得部２２５０が取得した撮像画像における特徴領域の画像の画素値を用いて、特徴領域の画像に撮像されている物体の画像を生成する。具体的には、画像生成部２３８０は、特徴領域の画像に撮像されている物体の形状を特徴パラメータの値に基づいてモデルから生成し、生成した物体の形状および伸張部２３２０によって伸張された特徴領域の画像の画素値を用いて、特徴領域の画像に撮像されている物体の画像を生成する。
　なお、特徴領域情報取得部２３６０は、出力部２２０７から圧縮動画に対応づけて出力された物体の種類、物体の方向、および照明条件を取得してよい。そして、画像生成部２３８０は、物体の種類、物体の方向、および照明条件に対応づけてモデル格納部２３５０が格納している主成分ベクトルを、特徴領域情報取得部２３６０が取得した重みづけ係数で重みづけすることによって、物体の高画質画像を生成してよい。
　画像拡大部２３３２は、特徴領域以外の領域の画像を拡大する。そして、合成部２３３０は特徴領域における物体の高画質画像と、当該拡大された特徴領域以外の領域の画像とを合成する。
　そして、出力部２３４０は、高画質画像および特徴領域以外の画像を含む画像を出力する。具体的には、出力部２３４０は、上述したように合成部２３３０により得られた撮像画像を動画構成画像として含む表示動画を出力する。なお、図２から図９に関連して説明したモデル格納部３５０および画像生成部３８０は、それぞれ、本図以降の図に関連して説明されるモデル格納部２３５０および画像生成部２３８０の機能および動作と略同一の機能および動作を有することができる。
　図１４は、圧縮部２２３０の他のブロック構成の一例を示す。本構成における圧縮部２２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
　本構成における圧縮部２２３０は、画質変換部２５１０、差分処理部２５２０、および符号化部２５３０を有する。差分処理部２５２０は、複数の階層間差分処理部２５２２ａ－ｄ（以下、階層間差分処理部２５２２と総称する。）を含む。符号化部２５３０は、複数の符号器２５３２ａ－ｄ（以下、符号器２５３２と総称する。）を含む。
　画質変換部２５１０は、画像取得部２２５０から複数の撮像画像を取得する。また、画質変換部２５１０は、特徴領域検出部２２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部２５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部２５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
　例えば、画質変換部２５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
　そして、画質変換部２５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部２５２２ｄ、階層間差分処理部２５２２ａ、階層間差分処理部２５２２ｂ、および階層間差分処理部２５２２ｃに供給する。なお、画質変換部２５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部２５２２のそれぞれに動画を供給する。
　なお、画質変換部２５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部２５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部２５１０は、階層間差分処理部２５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部２５２２ｄに供給してよい。また、画質変換部２５１０は、階層間差分処理部２５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部２５２２ａに供給してよく、階層間差分処理部２５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部２５２２ｂに供給してよい。なお、画質変換部２５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部２５２２に供給する動画のフレームレートを変換してよい。なお、画質変換部２５１０は、図１２に関連して説明した画質変換部２２４１と同様の画質変換処理を行うことができる。
　階層間差分処理部２５２２ｄおよび符号器２５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部２５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器２５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
　また、階層間差分処理部２５２２ａは、画質変換部２５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部２５２２ｂおよび階層間差分処理部２５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部２５２２ａおよび符号器２５３２ａの具体的な動作について説明する。
　階層間差分処理部２５２２ａは、符号器２５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部２５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部２５２２ａは、背景領域における差分値を０にする。そして、符号器２５３２ａは、差分画像を符号器２５３２ｄと同様に符号化する。なお、階層間差分処理部２５２２ａおよび符号器２５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。
　なお、階層間差分処理部２５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部２５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部２５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
　なお、階層間差分処理部２５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器２５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器２５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部２５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部２５２２ａに供給される。階層間差分処理部２５２２ａは、階層間差分処理部２５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
　なお、階層間差分処理部２５２２ｂおよび符号器２５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器２５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部２５２２ｂおよび符号器２５３２ｂの動作は階層間差分処理部２５２２ａおよび符号器２５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部２５２２ｃおよび符号器２５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器２５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部２５２２ａおよび符号器２５３２ａの動作と略同一であるので、説明を省略する。
　以上説明したように、画質変換部２５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部２５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部２５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
　また、画質変換部２５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部２５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部２５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
　以上説明したように、圧縮部２２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置２１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
　図１５は、人間の顔における特徴点の一例を示す。図１１および図１２に関連して説明したように、モデル格納部２２７０およびモデル格納部２３５０は、特徴パラメータで物体を表現するモデルを格納している。以下に、モデル格納部２２７０およびモデル格納部２３５０が格納するモデルを生成する生成方法の一例として、物体の一例である人物の顔のモデルをＡＡＭ手法を用いて生成する場合について説明する。
　サンプルとなる人間の顔部分が表された複数の顔画像（以下、サンプル画像）の各々に対して、本図に示すように、顔形状を表す特徴点をｎ個設定する。なお、ここでは、特徴点の数は顔画像の画素数より少ないものとする。各特徴点は、例えば、１番目の特徴点は左目の左端、１１番目の特徴点は眉の間の中央というように、顔のどの部位を示すかが予め定められていてよい。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定してもよい。
　そして、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。そして、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う。その結果、任意の顔形状Ｓは、Ｓ＝Ｓ０＋Σｐｉｂｉ（ｉ＝１～ｎ）によって表現することができる。
　ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ１，ｙ１，・・・，ｘｎ，ｙｎ）であり、Ｓ０は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐｉは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂｉは各固有ベクトルｐｉに対する重みづけ係数を表す。
　図１６は、重みづけ係数ｂを変化させた場合の顔形状の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ１、ｐ２に対する重みづけ係数ｂ１、ｂ２の値を変化させた場合の顔形状の変化の様子を模式的に表している。ａ）は、重みづけ係数ｂ１を変化させた場合の顔形状の変化を示しており、ｂ）は、重みづけ係数ｂ２を変化させた場合の顔形状の変化を示している。ａ）およびｂ）のいずれにおいても、各主成分についての３つの顔形状の中央のものは、平均的な顔形状を示す。
　この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ１を変化させることによって、ａ）左端に示す細長い顔からａ）右端に示す丸顔まで顔形状が変化していることがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ２を変化させることによって、ｂ）左端に示すような口が開いた状態で顎が長い顔から、ｂ）右端に示すような口が閉じられた状態で顎が短い顔まで、顔形状が変化することがわかる。なお、各主成分が結果としてどのような形状要素に寄与しているかは人間の解釈による。主成分分析により、使用された各サンプル画像においてより大きな形状の違いを表現するものがより低次の主成分として抽出される。
　図１７は、サンプル画像を平均顔形状に変換して得られた画像の一例を示す。各サンプル画像は、平均顔形状に変換（ワーピング）される。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量が算出される。そして、当該シフト量に基づいて、各サンプル画像の画素毎の平均顔形状へのシフト量を算出して、各サンプル画像が画素毎に平均顔形状へワーピングされる。
　そして、平均顔形状に変換後のサンプル画像毎の各画素のＲ，Ｇ，Ｂの色成分の画素値を変数として主成分分析する。その結果、任意の顔画像の平均顔形状下でのＲ，Ｇ，Ｂの色成分の画素値は、Ａ＝Ａ０＋Σｑｉλｉ（ｉ＝１～ｍ）によって近似することができる。
　ここで、Ａは、平均顔形状下での各画素のＲ，Ｇ，Ｂ色成分の各々の画素値を並べて表現されるベクトル（ｒ１，ｇ１，ｂ１，ｒ２，ｇ２，ｂ２，・・・，ｒｍ，ｇｍ，ｂｍ）である。なお、ｒ、ｇ、ｂはそれぞれＲ，Ｇ，Ｂ色成分の画素値、１からｍは各画素を識別する添え字、ｍは平均顔形状での総画素数を示す。なお、ベクトルの成分の並び順は上記の順に限定されない。
　また、Ａ０は平均顔形状における各サンプル画像の画素毎のＲ，Ｇ，Ｂ色成分の各々の画素値の平均値を並べて表現される平均ベクトル、ｑｉは主成分分析によって得られた顔のＲ，Ｇ，Ｂ色成分の画素値についての第ｉ主成分を表す固有ベクトル、λｉは各固有ベクトルｑｉに対する重みづけ係数を表す。
　図１８は、重みづけ係数ｑを変化させた場合の画素値の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位２つの主成分の固有ベクトルｑ１、ｑ２に対する重みづけ係数λ１、λ２の値を変化させた場合の顔の画素値の変化の様子を模式的に表している。ａ）は、重みづけ係数λ１を変化させた場合の画素値の変化を示しており、ｂ）は、重みづけ係数λ２を変化させた場合の画素値の変化を示している。ａ）およびｂ）のいずれにおいても、各主成分についての３つの顔形状の中央のものは、平均的な画素値を示す。
　この例では、主成分分析の結果、第１主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λ１を変化させることによって、ａ）左端に示すヒゲのない顔からａ）右端に示すヒゲの濃い顔まで変化することがわかる。第２主成分としては眉の濃さに寄与する成分が抽出されており、重みづけ係数λ２を変化させることによって、ｂ）左端に示すような眉が薄い顔から、ｂ）右端に示すような眉が濃い顔まで変化することがわかる。
　以上、図１５から図１８にかけて説明した処理によって、顔のモデルが生成される。このモデルは、顔形状を表す複数の固有ベクトルｐｉと、平均顔形状下での顔の画素値を表す固有ベクトルｑｉとによって、顔を表現する。モデルが有する各固有ベクトルの合計数は、顔画像を形成する画素数よりも大幅に少ない。なお、上記の例では、形状および画素値を顔形状とＲ，Ｇ，Ｂ色成分の画素値についての別個の重みづけ係数ｂｉ、λｉによって、個別の顔画像を表現したが、顔形状と色成分の画素値のバリエーションには相関性があることから、特徴点および画素値の双方を含む特徴パラメータを主成分分析することもできる。
　次に、モデル格納部２２７０が格納しているモデルを用いて特徴領域に含まれる物体の画像を圧縮する処理の一例を説明する。パラメータ値算出部２２６０は、特徴領域に含まれる入力顔画像を正規化して、平均顔形状化でのＲ，Ｇ，Ｂの色成分の画素値を算出する。なお、入力顔画像は、かならずしも正面からの画像でなかったり、照明条件がサンプル画像を撮像した場合の照明条件と異なる場合がある。したがって、ここでいう正規化とは、上記で説明した正面の顔の特徴点を揃える処理だけでなく、斜めから撮像されて得られた入力顔画像の向きを正面から撮像された顔画像に変換する変換処理であったり、照明による影の影響を除去したりする影除去処理等のように、サンプル画像と同等の撮影環境で撮像された顔画像に変換する処理を含む。
　そして、パラメータ値算出部２２６０は、平均顔に対する画素値との差を主成分ベクトルｑｉに射影することにより、重みづけ係数λｉを算出する。具体的には、パラメータ値算出部２２６０は、主成分ベクトルｑｉとの内積により重みづけ係数λｉを算出することができる。また、パラメータ値算出部２２６０は、顔の特徴点Ｓについても、上述した画素値Ａの算出処理と同様の処理により算出する。具体的には、パラメータ値算出部２２６０は、平均顔に対する特徴点の位置の差を主成分ベクトルｐｉに射影することにより重みづけ係数ｂｉを算出する。
　以上説明したようにして、パラメータ値算出部２２６０は、重みづけ係数ｂｉおよびλｉを、特徴パラメータの値として算出することができる。次に、画像生成部２３８０による高画質画像の生成処理について説明する。
　画像生成部２３８０は、取得した重みづけ係数λｉ、平均顔の画素値Ａ０、および主成分ベクトルｑｉを用いて、平均顔形状下における画素値Ａを算出する。また、画像生成部２３８０は、取得した重みづけ係数ｂｉ、平均顔の特徴点Ｓ０、および主成分ベクトルｐｉを用いて、特徴点Ａを算出する。そして、画像生成部２３８０は、画素値Ａおよび特徴点Ａで表される画像に対して、上記の正規化処理のうち特徴点を揃える処理を除く処理の逆変換処理を施す。なお、上記の正規化処理の内容は、画像処理装置２１２０から画像処理装置２１７０に送信され、画像生成部２３８０が上記逆変換処理をする場合に使用されてよい。
　以上の処理により、画像生成部２３８０は、出力部２２０７から出力された撮像画像における特徴領域の画像から、当該撮像画像より高画質な高画質画像を生成する。具体的には、画像生成部２３８０は、出力部２２０７から出力された撮像画像における特徴領域の画像に比べて、より高解像度の画像、よりシャープな画像、よりノイズが少ない画像、より階調数の多い画像、あるいはより色数の多い画像を生成することができる。
　図１９は、モデル格納部２２７０およびモデル格納部２３５０が格納しているモデルの一例をテーブル形式で示す。モデル格納部２２７０およびモデル格納部２３５０は、複数の表情および複数の方向のそれぞれの組み合わせ毎に、モデルを格納している。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、および真顔を含み、方向としては、正面、上方、下方、右方、左方、および後方を含む。
　パラメータ値算出部２２６０は、特徴領域に含まれる顔画像の画像内容に基づいて顔の表情および顔の方向を特定して、特定した表情および方向の組み合わせに対応づけてモデル格納部２２７０が格納しているモデルを用いて、上述の重みづけ係数を算出することができる。
　なお、出力部２２０７は、使用したモデルを識別する情報を画像処理装置２１７０に送信してよい。そして、画像生成部２３８０は、当該情報によって識別されるモデルを用いて、上述の再構成処理をすることができる。
　なお、画像生成部２３８０は、口および／または目の形状から表情を特定することができ、目、口、鼻、および耳の位置関係等から顔の方向を特定することができる。なお、画像処理装置２１２０が顔の表情および顔の方向を特定してよく、出力部２２０７から撮像画像に対応づけて顔の表情および顔の方向が出力されてよい。
　また、モデル格納部２２７０およびモデル格納部２３５０は、顔の表情および向きの他に、上述したように照明条件に対応づけてモデルを格納してよい。例えば、モデル格納部２２７０およびモデル格納部２３５０は、照明強度および照明の方向に対応づけてモデルを格納してよい。そして、パラメータ値算出部２２６０は、特徴領域に含まれる顔画像の画像内容に基づいて顔への照明条件を特定してよい。例えば、パラメータ値算出部２２６０は、影の位置および大きさに基づいて、照明強度および照明方向を特定して、特定した照明強度および照明方向に対応づけてモデル格納部２２７０が格納しているモデルを用いて、重みづけ係数を算出することができる。
　なお、上記の例では、顔全体を表現するモデルの生成および当該モデルを用いた特徴パラメータ抽出および再構成過程を説明した。このような顔全体のモデルの他に、画像処理システム２０１０は、顔の部位毎のモデルを用いることができる。他にも、画像処理システム２０１０は、性別および／または人種毎の顔（あるいは顔の部位毎）のモデルを用いることができる。また、画像処理システム２０１０は、人物のモデルの他に、車両、船舶等、画像処理システム２０１０が監視対象とする物体の種別毎にモデルを格納することができる。そして画像生成部２３８０は、種別に応じてモデルを選択して再構成することもできる。このような種別は、画像処理装置２１２０において検出され、撮像画像に対応づけて画像処理装置２１７０に送信されてよい。
　以上説明したように、モデル格納部２２７０およびモデル格納部２３５０は、異なる種類の物体のモデルを、当該種類に対応づけて格納することができる。そして、特徴領域情報取得部２３６０は、入力画像における特徴領域に撮像されている物体の種類を示す情報を取得する。そして、画像生成部２３８０は、撮像画像における特徴領域に含まれる物体の画像を、特徴領域情報取得部２３６０が取得した特徴領域に撮像されている物体の種類に対応づけてモデル格納部２３５０が格納しているモデルに適応させることによって、高画質画像に変換する。
　なお、上述したように、モデル格納部２２７０およびモデル格納部２３５０は、学習データの一例としてのモデルを、オブジェクトの種類を識別する情報の一例としての顔の部位（例えば、目、鼻、口など）毎に格納することができる。ここで、学習データとしては、上記モデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。なお、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をＫ－ｍｅａｎｓ法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分は複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。なお、モデル格納部２２７０は、オブジェクトの画像の低周波成分に対応づけて高周波成分を特定する情報を記憶してよい。また、モデル格納部２３５０は、高周波成分を特定する情報に対応づけて高周波成分を記憶してよい。
　パラメータ値算出部２２６０は、撮像画像に含まれるオブジェクトの画像から低周波成分を抽出する。そして、パラメータ値算出部２２６０は、当該オブジェクの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、パラメータ値算出部２２６０は、特定したクラスタに含まれる低周波成分に対応づけてモデル格納部２２７０が格納している高周波成分のクラスタを特定する情報を特定する。このようにして、パラメータ値算出部２２６０は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。パラメータ値算出部２２６０が特定した高周波成分のクラスタを特定する情報は、特徴領域を特定する情報に対応づけて出力部２２０７から出力される。
　出力部２２０７から出力されて画像取得部２３０１が取得した高周波成分のクラスタを特定する情報は、対応付け解析部２３０２で抽出され、特徴領域情報取得部２３６０を通じて画像生成部２３８０に供給される。画像生成部２３８０は、当該高周波成分のクラスタを特定する情報に対応づけてモデル格納部２３５０が格納している高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な画像に変換してよい。例えば、画像生成部２３８０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、パラメータ値算出部２２６０は、各オブジェクト毎に学習することによって生成された学習データの中から望ましい学習データをオブジェクト毎に選択することができる。このため、画像生成部２３８０は、オブジェクト毎に選択された望ましい学習データを利用することができるので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。なお、上記の例では、高周波成分のクラスタを特定する情報が出力部２２０７から出力されるとしたが、低周波成分のクラスタを特定する情報が出力部２２０７から出力されてもよい。この場合、モデル格納部２３５０が当該低周波成分のクラスタを特定する情報に対応づけて高周波のクラスタを格納している。そして、画像生成部２３８０は、出力部２２０７から出力された低周波成分のクラスタを特定する情報に対応づけてモデル格納部２３５０が格納している高周波成分のクラスタを代表する高周波成分をオブジェクトの画像に加算することによって、オブジェクトの画像を高画質化することができる。
　以上のように、画像処理装置２１２０および画像処理装置２１７０によると、主成分分析（ＰＣＡ）に基づいて特徴領域の画像を再構成することができる。なお、画像処理装置２１２０および画像処理装置２１７０に係わる画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ　ｐｒｅｓｅｒｖｉｎｇ　ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ　ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ　ｌｉｎｅａｒ　ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ　ｒａｎｄｏｍ　ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。
　なお、上記の説明では、２次元のモデルを利用する場合を例に挙げて画像処理システム２０１０の各構成要素の機能および動作を説明したが、画像処理システム２０１０は、３次元のモデルを利用してもよい。すなわち、モデル格納部２２７０およびモデル格納部２３５０は、３次元のモデルを格納してよい。なお、３次元モデルを使用する場合には、上述のベクトルＡに奥行きを示すｚ成分を追加することで実現することができる。例えば、ベクトルＡを（ｒ１，ｇ１，ｂ１，ｚ１，ｒ２，ｇ２，ｂ２，ｚ１，・・・，ｒｍ，ｇｍ，ｂｍ、ｚｍ）とすることで、３次元のモデルを実現することができる。
　なお、モデル格納部２２７０およびモデル格納部２３５０が格納する３次元モデルは、異なる方向から物体が撮像されて得られた複数のサンプル画像から生成された３次元画像を利用して生成することができる。例えば、複数の物体のそれぞれの３次元画像について、上述した２次元のモデルを生成する場合と同様の方法によって３次元モデルを生成することができる。そして、パラメータ値算出部２２６０は、複数の撮像画像のそれぞれにおける特徴領域のうち、異なる方向から同じ物体が撮像されている画像を含む特徴領域を特定し、特定した特徴領域に含まれる当該物体の画像に基づく当該物体の３次元画像を３次元モデルに適応させることによって、特徴パラメータの値を算出する。なお、パラメータ値算出部２２６０は、異なる方向から撮像された同じ物体の画像における視差情報に基づいて、当該物体の３次元画像を生成することができる。また、当該視差情報に基づいて、それぞれの特徴領域に含まれる物体の画像が撮影された方向が特定される。出力部２２０７は、当該撮影方向を、特徴領域以外の領域の画像および特徴パラメータの値に対応づけて出力してよい。
　そして、画像生成部２３８０は、異なる方向から同じ物体が撮像されている画像を含む特徴領域の画像に含まれる物体の３次元画像を、特徴パラメータの値に基づいて３次元モデルから生成し、生成した３次元画像に基づいて、特徴領域の画像に含まれる物体の２次元画像を生成する。なお、特徴領域情報取得部２３６０は、出力部２２０７から出力されて画像取得部２３０１が取得した撮影方向を取得して、取得した撮影方向を画像生成部２３８０に供給する。画像生成部２３８０は、当該撮影方向および３次元画像に基づいて２次元空間に投影することによって、物体の２次元画像を生成することができる。そして、出力部２３４０は、画像生成部２３８０により生成された２次元画像と画像取得部２３０１が取得した特徴領域以外の領域の画像とを合成した画像を出力する。なお、上記撮影方向は、３次元画像から２次元画像を生成する場合に用いられる方向情報の一例であり、方向情報は、３次元データを２次元空間に投影する投影角度であってよい。
　また、撮像画像に含まれている物体の画像と、平均画像（例えば、平均顔画像）との間の差が予め定められた値より大きい場合には、圧縮部２２３０が特徴領域の画像を圧縮してよい。これにより、特徴領域に含まれる物体の画像が平均画像から大きく乖離している場合に、再構成精度が著しく低下してしまうことを未然に防ぐことができる。
　なお、図１から図９に関連して説明された画像処理装置１２０において、基準モデルが特徴パラメータの値で表されている場合には、出力部２０７が出力する基準モデルと物体モデルとの差分情報とは、基準モデルを表す特徴パラメータの値と、物体モデルを表す特徴パラメータの値との差分値であってよい。
　他にも、出力部２０７は、基準モデルと物体モデルとの差分情報を出力するか、特徴パラメータの値を出力するかを選択することもできる。出力部２０７は、基準モデルと物体モデルとの差分情報を出力することにより得られる画像の画質対圧縮率が、特徴パラメータの値を出力することにより得られる画質対圧縮率より高い場合に、基準モデルと物体モデルとの差分情報を出力してよい。逆に、基準モデルと物体モデルとの差分情報を出力することにより得られる画像の画質対圧縮率が、特徴パラメータの値を出力することにより得られる画質対圧縮率より低い場合に、出力部２０７は特徴パラメータの値を出力してよい。
　他にも、出力部２０７は、基準モデルと物体モデルとの差分情報を出力するか、特徴パラメータの値を出力するかを、オブジェクトの種類に基づき選択することもできる。例えば、差分情報を出力することが適するオブジェクトの画像については、差分情報を出力して、特徴パラメータの値を出力することが適するオブジェクトの画像については、特徴パラメータの値を出力してよい。差分情報と特徴パラメータの値とのいずれを出力することが適するか否かは、オブジェクト毎に予め定められていてよい。具体的には、差分情報を出力することにより得られる画像の画質対圧縮率が、特徴パラメータの値を出力することにより得られる画質対圧縮率より高いオブジェクトの画像については、出力部２０７は基準モデルと物体モデルとの差分情報を出力してよい。逆に、基準モデルと物体モデルとの差分情報を出力することにより得られる画像の画質対圧縮率が、特徴パラメータの値を出力することにより得られる画質対圧縮率より低いオブジェクトの画像については、出力部２０７は特徴パラメータの値を出力してよい。
　画質対圧縮率を指標として差分情報と特徴パラメータの値とのいずれを出力するかを選択する処理を説明したが、画質対圧縮率に替えて、圧縮率または画質のいずれかを指標とすることもできる。なお、画質指標としては、ＰＳＮＲ（Ｐｅａｋ　Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ　Ｒａｔｉｏ）、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ　Ｓｉｍｉｌａｒｉｔｙ）などを例示することができる。また、物体モデルの算出精度に基づいて、差分情報と特徴パラメータの値とのいずれを出力するかを選択することもできる。出力部２０７は、予め定められた値より高い精度で物体モデルが算出されている場合に差分情報を出力して、予め定められた値以下の精度で物体モデルが算出されている場合に、特徴パラメータの値を出力してよい。例えば、物体がより多くの方向から撮像されているほど、より高い精度で物体モデルを算出することができると考えられる。そこで、出力部２０７は、異なる方向から撮像された画像の数が予め定められた数より多い物体の画像については差分情報を出力して、異なる方向から撮像された画像の数が予め定められた数以下の物体の画像については特徴パラメータの値を出力してよい。
　図２０は、他の実施形態に係る画像処理システム２０２０の一例を示す。本実施形態における画像処理システム２０２０の構成は、撮像装置２１００ａ－ｄがそれぞれ画像処理部２８０４ａ－ｄ（以下、画像処理部２８０４と総称する。）を有する点を除いて、図１０で説明した画像処理システム２０１０の構成と同じとなっている。
　画像処理部２８０４は、画像処理装置２１２０に含まれる構成要素のうち、画像取得部２２５０を除く構成要素を有している。そして、画像処理部２８０４に含まれる各構成要素の機能および動作は、画像処理装置２１２０に含まれる各構成要素が圧縮動画伸張部２２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部２１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置２１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０２０においても、図１０から図１９にかけて画像処理システム２０１０に関連して説明した効果と略同一の効果が得ることができる。
　なお、画像処理部２８０４は、撮像部２１０２からＲＡＷ形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるＲＡＷ形式で表された複数の撮像画像（例えば、特徴領域以外の領域の画像）をＲＡＷ形式のまま圧縮してよい。なお、画像処理部２８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部２８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む撮像動画を圧縮してよい。なお、画像処理部２８０４は、撮像動画を、図１０～図２０に関連して画像処理装置２１２０の動作として説明した圧縮方法で圧縮することができる。なお、画像処理装置２１７０は、画像処理部２８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像（例えば、特徴領域以外の領域の画像）を取得することができる。画像処理装置２１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置２１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
　画像の全領域をモデルを用いて符号化すると、演算量が増大してしまう。また、重要度が低い領域までモデルを用いて符号化しようとすると、再構成の精度が低下してしまう虞がある。画像処理システム２０２０によると、これらの課題を解決することができる場合がある。
　図２１は、画像処理装置１２０、画像処理装置１７０、画像処理装置２１２０、画像処理装置２１７０の少なくともいずれかとして機能するコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ－ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
　ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
　入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ－ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ－ＲＯＭドライブ１５６０は、ＣＤ－ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
　入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
　ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ－ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図９に関連して説明した画像処理装置１２０が有する各構成要素として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図９に関連して説明した画像処理装置１７０が有する各構成要素として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１０から図２０に関連して説明した画像処理装置２１２０が有する各構成要素として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１１から図２０に関連して説明した、画像処理装置２１７０が有する各構成要素として機能させる。
　以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ－ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして、画像処理装置１２０、画像処理装置１７０、画像処理装置２１２０、画像処理装置２１７０として機能するコンピュータ１５００に提供してもよい。このように、プログラムにより制御されるコンピュータ１５００が、画像処理装置１２０、画像処理装置１７０、画像処理装置２１２０、画像処理装置２１７０として機能する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

Claims (15)

  1. 　物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、
    　物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、
    　前記複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、前記基準モデルと前記物体モデルとの間の差分情報に対応づけて出力する出力部と
    を備える画像処理装置。
  2. 　前記モデル生成部は、前記基準モデルを変更することにより、前記物体モデルを生成し、
    　前記出力部は、前記モデル生成部が前記物体モデルを生成する場合に前記基準モデルから変更した変更量を示す前記差分情報に対応づけて、撮像されている物体の位置および向きを出力する
    請求項１に記載の画像処理装置。
  3. 　前記モデル格納部は、複数の前記基準モデルを格納しており、
    　前記モデル生成部は、前記複数の基準モデルの中から選択された前記基準モデルを変更することにより、前記物体モデルを生成し、
    　前記出力部は、前記選択された基準モデルを識別する情報および前記差分情報に対応づけて、撮像されている物体の位置および向きを出力する
    請求項２に記載の画像処理装置。
  4. 　前記モデル格納部は、物体の部位毎にそれぞれ複数の基準モデルを格納し、
    　前記モデル生成部は、前記部位毎に前記基準モデルを選択して、前記部位毎に選択された前記基準モデルを変更することによって、前記部位毎に前記物体モデルを生成する
    請求項３に記載の画像処理装置。
  5. 　前記基準モデルに対して変更することが許容される変更量の許容範囲を格納する許容量格納部
    をさらに備え、
    　前記モデル生成部は、前記許容量格納部が格納している変更量の許容範囲内で前記基準モデルを変更することにより、前記物体モデルを生成する
    請求項３に記載の画像処理装置。
  6. 　前記物体モデルおよび撮像画像の画像内容に基づいて、撮像画像に撮像されている物体が照明された照明条件を特定する撮像情報特定部
    をさらに備え、
    　前記出力部は、撮像されている物体の位置および向きを、前記差分情報および前記照明条件に対応づけて出力する
    請求項３に記載の画像処理装置。
  7. 　前記複数の撮像画像からそれぞれ特徴領域を検出する特徴領域検出部
    をさらに備え、
    　前記モデル生成部は、前記特徴領域に撮像されている物体が撮像された複数の撮像画像の画像内容に基づいて、前記物体モデルを生成し、
    　前記出力部は、前記複数の撮像画像のそれぞれから検出された前記特徴領域に撮像されている物体の位置および向きを、前記差分情報に対応づけて出力する
    請求項１に記載の画像処理装置。
  8. 　前記出力部は、前記複数の撮像画像のそれぞれから検出された前記特徴領域に撮像されている物体の位置および向きを前記差分情報に対応づけて出力するとともに、前記複数の撮像画像のそれぞれにおける前記特徴領域以外の領域の画像を出力する
    請求項７に記載の画像処理装置。
  9. 　前記出力部は、前記複数の撮像画像のそれぞれから検出された前記特徴領域に撮像されている物体の位置および向きを前記差分情報に対応づけて出力するとともに、前記複数の撮像画像のそれぞれにおける前記特徴領域以外の領域の画像を低解像度化した画像を出力する
    請求項７に記載の画像処理装置。
  10. 　前記モデル生成部により生成された前記物体モデルを記憶する物体モデル記憶部
    をさらに備え、
    　前記特徴領域検出部は、新たに撮像された撮像画像の中から、前記物体モデルに適合する物体が撮像された領域を前記特徴領域として検出する
    請求項９に記載の画像処理装置。
  11. 　前記モデル格納部は、物体が特徴パラメータで表現された３次元モデルを格納しており、
    　前記画像処理装置は、
    　撮像画像から特徴領域を検出する特徴領域検出部と、
    　前記撮像画像における前記特徴領域の画像に含まれる物体の画像を、前記モデル格納部が格納している前記３次元モデルに適応させることによって、前記特徴領域の画像に含まれる物体を表す、前記３次元モデルにおける特徴パラメータの値を算出するパラメータ値算出部と
    をさらに備え、
    　前記出力部は、前記パラメータ値算出部が算出した特徴パラメータの値および前記特徴領域以外の領域の画像を出力する
    請求項１に記載の画像処理装置。
  12. 　前記特徴領域以外の領域の画像の画質を低減することにより、前記特徴領域以外の領域の画像を圧縮する圧縮部
    をさらに備え、
    　前記出力部は、前記パラメータ値算出部が算出した特徴パラメータの値および前記圧縮部により画質が低減された前記特徴領域以外の領域の画像を出力する
    請求項１１に記載の画像処理装置。
  13. 　前記モデル格納部は、物体が統計的な特徴パラメータにより表現された前記３次元モデルを格納する
    請求項１２に記載の画像処理装置。
  14. 　物体を表現する３次元モデルである基準モデルを格納するモデル格納段階と、
    　物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成段階と、
    　前記複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、前記基準モデルと前記物体モデルとの間の差分情報に対応づけて出力する出力段階と
    を備える画像処理方法。
  15. 　画像処理装置用のプログラムを記憶するコンピュータ読取可能な媒体であって、該プログラムは、コンピュータを、
    　物体を表現する３次元モデルである基準モデルを格納するモデル格納部、
    　物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部、
    　前記複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、前記基準モデルと前記物体モデルとの間の差分情報に対応づけて出力する出力部
    として機能させる
    コンピュータ読取可能な媒体。
PCT/JP2009/001577 2008-04-04 2009-04-03 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体 WO2009122760A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/896,051 US20110052045A1 (en) 2008-04-04 2010-10-01 Image processing apparatus, image processing method, and computer readable medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008-098761 2008-04-04
JP2008098761 2008-04-04
JP2008-099748 2008-04-07
JP2008099748 2008-04-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/896,051 Continuation US20110052045A1 (en) 2008-04-04 2010-10-01 Image processing apparatus, image processing method, and computer readable medium

Publications (1)

Publication Number Publication Date
WO2009122760A1 true WO2009122760A1 (ja) 2009-10-08

Family

ID=41135160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/001577 WO2009122760A1 (ja) 2008-04-04 2009-04-03 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体

Country Status (2)

Country Link
US (1) US20110052045A1 (ja)
WO (1) WO2009122760A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736471B2 (en) 2011-09-01 2017-08-15 Nec Corporation Captured image compression transmission method and captured image compression transmission system

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235356A1 (en) * 2009-03-10 2010-09-16 Microsoft Corporation Organization of spatial sensor data
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
TWI466545B (zh) * 2010-10-12 2014-12-21 Hon Hai Prec Ind Co Ltd 攝影機裝置及利用其進行影像監控的方法
US8971641B2 (en) * 2010-12-16 2015-03-03 Microsoft Technology Licensing, Llc Spatial image index and associated updating functionality
WO2012160902A1 (ja) * 2011-05-24 2012-11-29 日産自動車株式会社 車両用監視装置及び車両の監視方法
US8768073B2 (en) * 2011-07-05 2014-07-01 Texas Instruments Incorporated Method, system and computer program product for coding a region of interest within an image of multiple views
US20210390330A1 (en) * 2012-12-20 2021-12-16 Sarine Technologies Ltd. System and method for determining the traceability of gemstones based on gemstone modeling
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
US10484697B2 (en) 2014-09-09 2019-11-19 Qualcomm Incorporated Simultaneous localization and mapping for video coding
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
US11109065B2 (en) * 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
CN113994281A (zh) * 2019-07-03 2022-01-28 富士胶片株式会社 优化支援装置、方法及程序
JP7079287B2 (ja) 2019-11-07 2022-06-01 株式会社スクウェア・エニックス 鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
CN112330726B (zh) * 2020-10-27 2022-09-09 天津天瞳威势电子科技有限公司 一种图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316491A (ja) * 1992-05-07 1993-11-26 Seiko Epson Corp 顔画像符号化方式
JPH08205149A (ja) * 1994-05-27 1996-08-09 At & T Corp ビデオ信号の符号化方法
JPH0984006A (ja) * 1995-09-18 1997-03-28 Toshiba Corp 無線通信システム、ファイル作成方法及びファイル参照方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798834B1 (en) * 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6975750B2 (en) * 2000-12-01 2005-12-13 Microsoft Corp. System and method for face recognition using synthesized training images
JP2002170112A (ja) * 2000-12-04 2002-06-14 Minolta Co Ltd 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法
US7577297B2 (en) * 2002-12-16 2009-08-18 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
EP3358501B1 (en) * 2003-07-18 2020-01-01 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US7746377B2 (en) * 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
JP2007066227A (ja) * 2005-09-02 2007-03-15 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP4795718B2 (ja) * 2005-05-16 2011-10-19 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP4653606B2 (ja) * 2005-05-23 2011-03-16 株式会社東芝 画像認識装置、方法およびプログラム
JP2006350498A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
JP4767718B2 (ja) * 2006-02-24 2011-09-07 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
JP2007257585A (ja) * 2006-03-27 2007-10-04 Fujifilm Corp 画像処理方法および装置ならびにプログラム
US20090232365A1 (en) * 2008-03-11 2009-09-17 Cognimatics Ab Method and device for face recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316491A (ja) * 1992-05-07 1993-11-26 Seiko Epson Corp 顔画像符号化方式
JPH08205149A (ja) * 1994-05-27 1996-08-09 At & T Corp ビデオ信号の符号化方法
JPH0984006A (ja) * 1995-09-18 1997-03-28 Toshiba Corp 無線通信システム、ファイル作成方法及びファイル参照方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736471B2 (en) 2011-09-01 2017-08-15 Nec Corporation Captured image compression transmission method and captured image compression transmission system

Also Published As

Publication number Publication date
US20110052045A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
WO2009122760A1 (ja) 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体
US8462226B2 (en) Image processing system
US8447128B2 (en) Image processing system
US8599209B2 (en) Image processing apparatus, image processing method, and computer readable medium
JP2010272109A (ja) 画像処理装置、画像処理方法およびプログラム
JP5193931B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5531327B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5239095B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5337970B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP2013051737A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2009049976A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5156982B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP2009273116A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2009125578A1 (ja) 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体
JP2009268088A (ja) 画像処理システム、画像処理方法、およびプログラム
JP4961582B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5136172B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5105179B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5142204B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2009273117A (ja) 画像処理システム、画像処理方法、およびプログラム
JP5041316B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP5082142B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP5352332B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5337969B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5082141B2 (ja) 画像処理システム、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09727642

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09727642

Country of ref document: EP

Kind code of ref document: A1