WO2009125561A1 - 画像処理システム、画像処理方法、およびプログラムを記憶する媒体 - Google Patents

画像処理システム、画像処理方法、およびプログラムを記憶する媒体 Download PDF

Info

Publication number
WO2009125561A1
WO2009125561A1 PCT/JP2009/001555 JP2009001555W WO2009125561A1 WO 2009125561 A1 WO2009125561 A1 WO 2009125561A1 JP 2009001555 W JP2009001555 W JP 2009001555W WO 2009125561 A1 WO2009125561 A1 WO 2009125561A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
feature region
region
unit
Prior art date
Application number
PCT/JP2009/001555
Other languages
English (en)
French (fr)
Inventor
亀山祐和
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN2009801124600A priority Critical patent/CN101990762B/zh
Publication of WO2009125561A1 publication Critical patent/WO2009125561A1/ja
Priority to US12/900,189 priority patent/US20110019741A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image processing system, an image processing method, and a computer-readable medium storing a program.
  • This application is related to the following Japanese application and claims priority from the following Japanese application. For designated countries where incorporation by reference of documents is permitted, the contents described in the following application are incorporated into this application by reference and made a part of this application. 1. Japanese Patent Application No. 2008-100542 Application Date April 8, 2008
  • a motion vector detection device that detects the motion vector of each processing block by specifying the size and position of the search region of the motion vector from the total vector and the degree of correlation and performing block matching on the search region is known.
  • a motion vector detection time is known in which the signal intensity difference of each pixel of the original image and reference image corresponding to the motion vector candidate for the macroblock is cumulatively added and the smallest accumulated result is selected as the motion vector.
  • JP 2005-228303 A Japanese Patent Laid-Open No. 11-219436
  • the size of the search range cannot be controlled according to the amount of movement of the object in the image. For this reason, even if the amount of motion of the object is small, a wide search region is searched, and there is a possibility that the motion vector cannot be calculated at high speed.
  • an image processing system a feature region detection unit that detects a feature region from each of a plurality of moving image constituent images included in a moving image, A feature region specifying unit that specifies a feature region having a high correlation between the moving image constituent images, a position difference calculating unit that calculates a position difference between the feature regions having a high correlation specified by the feature region specifying unit, and a magnitude of the position difference
  • the search area determination unit that determines a narrower motion vector search region and the compression that compresses the moving image using the motion vector calculated by searching the motion vector search region determined by the search region determination unit as the size is smaller A part.
  • an image processing method in which a correlation between a feature region detection stage for detecting a feature region from each of a plurality of moving image constituent images included in a moving image and a plurality of moving image constituent images is provided.
  • a feature region specifying stage for specifying a high feature area
  • a position difference calculating stage for calculating a position difference between feature areas having a high correlation specified in the feature area specifying stage, and a smaller position difference is narrower.
  • a search region determination step for determining a motion vector search region, and a compression step for compressing the moving image using the motion vector calculated by searching the motion vector search region determined in the search region determination step.
  • a computer-readable medium for storing a program for an image processing system, wherein the program detects a feature region from each of a plurality of moving image constituent images included in a moving image.
  • a feature region detecting unit for detecting a feature region
  • a feature region specifying unit for specifying a feature region having a high correlation among a plurality of moving image constituent images
  • the difference calculation unit the smaller the size of the position difference, the smaller the motion vector search region, the narrower the motion vector search region, the motion vector calculated by searching the motion vector search region determined by the search region determination unit Used to function as a compression unit that compresses moving images.
  • FIG. 1 is a diagram illustrating an example of an image processing system 10 according to an embodiment.
  • 2 is a diagram illustrating an example of a block configuration of an image processing apparatus 120.
  • FIG. 3 is a diagram illustrating an example of a block configuration of a compression unit 230.
  • FIG. 2 is a diagram illustrating an example of a block configuration of an image processing apparatus 170.
  • FIG. It is a figure which shows an example of the other block structure of the compression part 230.
  • FIG. 3 is a diagram illustrating an example of a captured moving image obtained by the imaging apparatus 100.
  • FIG. It is a figure which shows an example of the histogram 700 of the gradation value in a characteristic area or a background area. It is a figure which shows an example of the conversion curve for gradation conversion.
  • FIG. 12 is a diagram showing a display example by the display device 180.
  • FIG. It is a figure which shows an example of the block configuration of the image processing apparatus 170 in another structure. It is a figure which shows an example of the feature point in a human face. It is a figure which shows typically an example of the change of the face shape at the time of changing the weighting coefficient b.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an image processing device 120 and an image processing device 170.
  • FIG. 1 shows an example of an image processing system 10 according to an embodiment.
  • the image processing system 10 can function as a monitoring system as described below.
  • the image processing system 10 includes a plurality of imaging devices 100a to 100d (hereinafter collectively referred to as the imaging device 100) that images the monitoring target space 150, an image processing device 120 that processes captured images captured by the imaging device 100, and communication. It includes a network 110, an image processing device 170, an image DB 175, and a plurality of display devices 180a-d (hereinafter collectively referred to as display devices 180). The image processing device 170 and the display device 180 are provided in a space 160 different from the monitoring target space 150.
  • the imaging apparatus 100a includes an imaging unit 102a and a captured image compression unit 104a.
  • the imaging unit 102a captures a plurality of captured images by continuously capturing the monitoring target space 150.
  • the captured image obtained by the imaging unit 102a may be a RAW format captured image.
  • the captured image compression unit 104a synchronizes the RAW format captured image captured by the imaging unit 102a, compresses the captured moving image including a plurality of captured images obtained by the synchronization by MPEG encoding, and the like. Generate data.
  • the imaging device 100a encodes the captured moving image obtained by capturing the monitoring target space 150 to generate captured moving image data.
  • the imaging device 100a outputs the captured moving image data to the image processing device 120.
  • the imaging device 100b, the imaging device 100c, and the imaging device 100d have the same configuration as that of the imaging device 100a, and thus description of each component of the imaging device 100b, the imaging device 100c, and the imaging device 100d is omitted.
  • the image processing device 120 acquires the captured moving image data generated by each of the plurality of imaging devices 100 from each of the plurality of imaging devices 100.
  • the image processing device 120 decodes the captured moving image data acquired from the imaging device 100 to acquire the captured moving image.
  • the image processing apparatus 120 has different types of features such as an area where a person 130 is imaged, an area where a moving body 140 such as a vehicle is imaged, etc., from each of a plurality of captured images included in the acquired captured video. A plurality of feature regions are detected. Then, the image processing apparatus 120 compresses the image of the feature area with an intensity according to the type of the feature, and compresses the image of the area other than the feature area with an intensity stronger than the compression intensity for compressing the image of each feature area. To do.
  • the image processing apparatus 120 converts the image of each feature area in the captured image into an image having the number of colors and / or the number of gradations according to the feature type of the feature area.
  • the image processing apparatus 120 increases the motion vector search range for calculating the motion vector as the difference in the position of the similar feature region between the plurality of captured images increases. Make it wider.
  • the image processing device 120 generates feature area information including information for specifying the feature area detected from the captured image. Then, the image processing apparatus 120 attaches the feature area information to the compressed moving image data and transmits the feature area information to the image processing apparatus 170 through the communication network 110.
  • the image processing apparatus 170 receives the compressed moving image data associated with the feature area information from the image processing apparatus 120. Then, the image processing device 170 expands the received compressed moving image data using the associated feature area information to generate a display moving image, and supplies the generated display moving image to the display device 180. At this time, the image processing apparatus 170 may generate a moving image for display in which the images of the feature areas are displayed with the same size.
  • the display device 180 displays the display moving image supplied from the image processing device 170.
  • the image processing apparatus 170 may record the compressed moving image data in the image DB 175 in association with the feature area information associated with the compressed moving image data.
  • the image DB 175 may include a nonvolatile recording medium such as a hard disk, and may store compressed moving image data and feature area information in the recording medium.
  • the image processing device 170 reads the compressed moving image data and the feature area information from the image DB 175, and decompresses and displays the read compressed moving image data using the feature region information.
  • a moving image may be generated and supplied to the display device 180.
  • the feature area information is text data including the position of the feature area, the size of the feature area, the number of feature areas, identification information for identifying the captured image in which the feature area is detected, or the like, or compressed or encrypted into the text data. It may be data that has been processed. Then, the image processing apparatus 170 identifies captured images that satisfy various search conditions based on the position of the feature region, the size of the feature region, the number of feature regions, and the like included in the feature region information. Then, the image processing device 170 may decode the identified captured image and provide the decoded captured image to the display device 180.
  • the image processing system 10 since the feature region is recorded in association with the moving image, it is possible to quickly search and cue a captured image group that meets a predetermined condition in the moving image. Also, according to the image processing system 10, only a captured image group that meets a predetermined condition can be decoded, so that a partial moving image that meets the predetermined condition can be displayed promptly in response to a reproduction instruction.
  • FIG. 2 shows an example of a block configuration of the image processing apparatus 120.
  • the image processing apparatus 120 includes an image acquisition unit 250, an image quality acquisition unit 204, a condition acquisition unit 205, an output image number acquisition unit 208, a threshold acquisition unit 209, a feature region detection unit 203, a compression control unit 210, a compression unit 230, and an association.
  • a processing unit 206 and an output unit 207 are provided.
  • the image acquisition unit 250 includes a compressed image acquisition unit 201 and a compressed moving image expansion unit 202.
  • the compressed image acquisition unit 201 acquires a compressed moving image. Specifically, the compressed image acquisition unit 201 acquires encoded captured moving image data generated by the imaging device 100.
  • the compressed moving image expansion unit 202 expands the captured moving image data acquired by the compressed image acquisition unit 201 to generate a plurality of captured images included in the captured moving image.
  • the compressed moving image decompression unit 202 decodes the encoded captured moving image data acquired by the compressed image acquisition unit 201, and generates a plurality of captured images included in the captured moving image.
  • the captured image included in the captured moving image may be a frame image and a field image. In this way, the image acquisition unit 250 acquires a plurality of moving images captured by each of the plurality of imaging devices 100.
  • the captured image in the present embodiment is an example of a moving image constituent image in the present invention, and the image processing device 120 and the image processing device 170 may process a simple image such as a still image in addition to the captured image. .
  • the plurality of captured images obtained by the compressed moving image decompression unit 202 are supplied to the feature region detection unit 203 and the compression unit 230.
  • the feature region detection unit 203 detects a feature region from a moving image including a plurality of captured images. Specifically, the feature region detection unit 203 detects a feature region from each of the plurality of captured images. Note that the captured moving image described above may be an example of a moving image in the following description.
  • the feature region detection unit 203 detects an image region whose image content changes in a moving image as a feature region. For example, the feature region detection unit 203 detects a region including an object that meets a predetermined condition as a feature region. Specifically, the condition acquisition unit 205 acquires a condition to which an object included in the feature area should be adapted. Then, the feature region detection unit 203 detects a region including an object that meets the conditions acquired by the condition acquisition unit 205 as a feature region.
  • the feature region detection unit 203 may detect an image region including a moving object as a feature region.
  • the feature region detection unit 203 may detect a plurality of feature regions having different types of features from each of the plurality of captured images.
  • the type of feature may be an index of the type of object such as a person and a moving object.
  • the type of the object may be determined based on the degree of matching of the shape of the object or the color of the object.
  • the feature region detection unit 203 may detect a plurality of feature regions having different types of included objects from a plurality of captured images.
  • condition acquisition unit 205 may acquire a condition indicating a shape to which an object included in the feature region should be adapted. Then, the feature region detection unit 203 may detect a region including an object having a shape that matches the shape indicated by the condition acquired by the condition acquisition unit 205 as a feature region. Specifically, the feature region detection unit 203 extracts an object that matches a predetermined shape pattern with a matching degree equal to or higher than a predetermined matching degree from each of the plurality of captured images, and includes the extracted object. A region in the captured image may be detected as a feature region having the same feature type. Note that a plurality of shape patterns may be determined for each type of feature.
  • a shape pattern of a human face can be exemplified. Different face patterns may be determined for each of a plurality of persons. Thereby, the feature region detection unit 203 can detect different regions each including a different person as different feature regions. As described above, the feature region detection unit 203 may detect a region including an object having a predetermined shape as a feature region.
  • the feature region detection unit 203 includes, in addition to the person's face, a part of the human body such as the head of the person or the hand of the person, or at least a part of a living body other than the human body. Can be detected as a feature region.
  • the living body includes a specific tissue existing inside the living body such as a tumor tissue or a blood vessel inside the living body.
  • the feature region detection unit 203 may detect, as the feature region, a region in which a card such as money, a cash card, a vehicle, or a license plate of the vehicle is captured.
  • the feature region detection unit 203 detects feature regions based on learning results based on machine learning (for example, Adaboost) described in, for example, Japanese Patent Application Laid-Open No. 2007-188419. It can also be detected. For example, an image feature amount extracted from a predetermined subject image and an image feature amount extracted from a subject image other than the predetermined subject are extracted from the predetermined subject image. Learn the features of the image features. Then, the feature region detection unit 203 may detect a region from which an image feature amount having a feature that matches the learned feature is extracted as a feature region. Thereby, the feature region detection unit 203 can detect a region where a predetermined subject is imaged as a feature region.
  • machine learning for example, Adaboost
  • the feature region detection unit 203 detects a plurality of feature regions from a plurality of captured images included in each of a plurality of moving images. Then, the feature region detection unit 203 supplies information indicating the detected feature region to the compression control unit 210.
  • the information indicating the feature region includes coordinate information of the feature region indicating the position of the feature region, type information indicating the type of the feature region, and information for identifying the captured moving image in which the feature region is detected.
  • the compression control unit 210 includes a feature region specifying unit 212, a position difference calculating unit 214, a search region determining unit 216, a resolution determining unit 262, a gradation number determining unit 264, a color number determining unit 266, and a dynamic range determining unit 268.
  • the feature region specifying unit 212 specifies a feature region having a high correlation among a plurality of captured images included in the moving image.
  • the position difference calculation unit 214 calculates the position difference between the feature regions having a high correlation identified by the feature region identification unit 212.
  • the search area determination unit 216 determines a narrower motion vector search area as the position difference is smaller. Specifically, the search area determination unit 216 narrows the motion vector search area in which the motion vector used for compressing the image included in the feature area in the captured image is smaller as the position difference is smaller. decide. Specific examples of the operations of the feature region specifying unit 212, the position difference calculating unit 214, and the search region determining unit 216 will be described later.
  • the compression control unit 210 controls the moving image compression processing by the compression unit 230 according to the feature area based on the information indicating the feature area acquired from the feature area detection unit 203. For example, the compression unit 230 compresses the captured image by reducing the resolution of the region other than the feature region in the captured image included in the moving image. Thus, the compression unit 230 compresses each image region in the captured image with an intensity corresponding to the importance.
  • the compression control unit 210 supplies information indicating the motion vector search region determined by the search region determination unit 216 to the compression unit 230. Then, the compressing unit 230 compresses the moving image using the motion vector calculated by searching the motion vector search region determined by the search region determining unit 216. A more specific internal compression operation of the compression unit 230 will be described later.
  • the feature region specifying unit 212 specifies a feature region in which the degree of coincidence of image contents is greater than a predetermined value as a feature region having a high correlation.
  • the feature region specifying unit 212 specifies a feature region in which the difference value of the feature region image between a plurality of captured images is smaller than a predetermined value as a feature region having a high correlation.
  • the threshold value acquisition unit 209 may acquire a threshold value of the degree of coincidence of image contents in the feature region from the outside of the image processing apparatus 120. Then, the feature region specifying unit 212 may specify a feature region having an image content matching degree larger than the threshold as a feature region having a high correlation.
  • the feature region specifying unit 212 may specify a feature region having a magnitude matching degree larger than a predetermined value as a feature region having a high correlation.
  • the threshold value acquisition unit 209 acquires a threshold value of the degree of coincidence in the feature region from the outside of the image processing apparatus 120. Then, the feature region specifying unit 212 specifies a feature region having a magnitude matching degree larger than the threshold as a feature region having a high correlation.
  • the feature region specifying unit 212 may specify a feature region having a correlation larger than a predetermined value with respect to the position of the feature region in the captured image as a feature region having a high correlation. Specifically, the feature region specifying unit 212 may specify a feature region having a correlation larger than a predetermined value regarding a change in the position of the feature region between a plurality of captured images as a feature region having a high correlation. . More specifically, the feature region specifying unit 212 sets a feature region having a correlation larger than a predetermined value with respect to the moving direction of the feature region position between the plurality of captured images as a feature region having a high correlation. May be specified.
  • the feature region specifying unit 212 may specify a feature region having a correlation larger than a predetermined value regarding the moving speed of the position of the feature region between a plurality of captured images as a feature region having a high correlation.
  • the threshold acquisition unit 209 may acquire a threshold of a correlation value related to the position of the feature region from the outside of the image processing apparatus 120.
  • the feature region specifying unit 212 may specify a feature region having a correlation value larger than the threshold with respect to the position of the feature region in the moving image composition image as a feature region having a high correlation.
  • the position difference calculation unit 214 calculates the position difference of the feature region having a high correlation between the captured image compressed by the inter-frame prediction and the captured image that is the basis of the predicted image. For example, the position difference calculation unit 214 calculates the position difference of a feature region having a high correlation between a captured image processed as an I frame and a captured image processed as a P frame. In addition, the position difference calculation unit 214 may be configured such that a captured image processed as an I frame or a P frame and a captured image processed as an I frame or a P frame or a B frame. As described above, the position difference of the feature region having a high correlation with the captured image processed may be calculated.
  • the feature region specifying unit 212 When the feature region detection unit 203 detects a plurality of feature regions from the captured image, the feature region specifying unit 212 has a high correlation for each of the plurality of feature regions detected from the captured image by the feature region detection unit 203. Identify feature regions. Then, the position difference calculation unit 214 calculates a position difference for each of the plurality of feature areas detected from the captured image by the feature area detection unit 203. Then, the search region determination unit 216 determines a narrower motion vector search range as the maximum position difference calculated for each of the plurality of feature regions detected from the captured image by the feature region detection unit 203 is smaller. Note that the search region determination unit 216 may determine a narrower motion vector search range as the average value of the positional differences calculated for each of the plurality of feature regions detected from the captured image by the feature region detection unit 203 is smaller. Good.
  • the search region determination unit 216 limits the motion vector search range according to the amount of motion of the feature region. For this reason, the compression unit 230 can calculate a motion vector at high speed, and can quickly provide a compressed moving image to the image processing apparatus 170.
  • the resolution determination unit 262 determines the resolution in each of the plurality of feature regions according to the types of features of the plurality of feature regions.
  • the gradation number determination unit 264 determines the gradation number of the pixel value in each of the plurality of feature regions according to the feature types of the plurality of feature regions. For example, the gradation number determination unit 264 converts the gradation numbers in the image obtained by conversion by the image conversion unit 241 described later, based on the frequency distribution of gradation values in the images of the plurality of feature regions, into the plurality of features. Decide for each of the areas.
  • the color number determination unit 266 determines the number of colors representing the pixel value in each of the plurality of feature areas according to the feature types of the plurality of feature areas. For example, the color number determination unit 266 determines the number of colors in the image obtained by conversion by the image conversion unit 241 for each of the plurality of feature regions based on the color frequency distribution in the images of the plurality of feature regions. It's okay.
  • the dynamic range determining unit 268 determines the dynamic range of the image in each of the plurality of feature areas according to the feature types of the plurality of feature areas. For example, the dynamic range determination unit 268 calculates the dynamic range in the image obtained by conversion by the image conversion unit 241 for each of the plurality of feature regions based on the frequency distribution of the gradation values in the images of the plurality of feature regions. decide. Note that the resolution determination unit 262, the gradation number determination unit 264, the color number determination unit 266, and the dynamic range determination unit 268 further determine the resolution, gradation number, color number, and dynamic range in the background area, respectively.
  • the resolution, the number of gradations, the number of colors, and the dynamic range described above may be designated from the outside of the image processing apparatus 120.
  • the image quality acquisition unit 204 acquires at least one of the resolution, the number of gradations, the number of colors, and the dynamic range in association with the feature of the feature region.
  • the resolution determination unit 262 may determine the resolution in each of the plurality of feature regions as the resolution acquired by the image quality acquisition unit 204 in association with the feature type of the feature region.
  • the gradation number determination unit 264 may determine the gradation number in each of the plurality of feature areas as the gradation number acquired by the image quality acquisition unit 204 in association with the feature type of the feature area.
  • the color number determination unit 266 may determine the number of colors in each of the plurality of feature areas as the number of colors acquired by the image quality acquisition unit 204 in association with the feature type of the feature area.
  • the dynamic range determination unit 268 may determine the resolution in each of the plurality of feature areas as the dynamic range acquired by the image quality acquisition unit 204 in association with the feature type of the feature area.
  • the compression unit 230 compresses the captured image by converting the image of each region in the captured image into an image having the resolution, the number of gradations, the number of colors, and the dynamic range.
  • the output image number acquisition unit 208 acquires the number of captured images to be output in association with the features of the feature region from the outside of the image processing apparatus 120. For example, when the image processing device 120 outputs a captured image captured by some of the plurality of imaging devices 100, the output image number acquisition unit 208 outputs the captured image from the output unit 207. The number of imaging devices 100 to be acquired is acquired from the outside of the image processing device 120 in association with the features of the feature region. The number acquired by the output image number acquisition unit 208 is supplied to the compression unit 230. The compression unit 230 selects and compresses the number of captured images supplied from the output image number acquisition unit 208 among the captured images supplied from the image acquisition unit 250 for each feature region.
  • the output unit 207 is an image within the feature region generated from each of the plurality of feature regions in the captured image, and is acquired by the output image number acquisition unit 208 in association with the features of the plurality of feature regions.
  • a number of feature region images can be output.
  • the association processing unit 206 associates information specifying the feature area detected from the captured image with the captured image. Specifically, the association processing unit 206 associates information for specifying a feature area detected from a captured image with a compressed moving image including the captured image as a moving image constituent image. Then, the output unit 207 outputs the compressed moving image in which the feature area is associated by the association processing unit 206 to the image processing apparatus 170.
  • the output unit 207 records the compressed moving image acquired from the image processing apparatus 120 in the image DB 175. As described above, the output unit 207 records each piece of information indicating the position of the plurality of feature regions detected by the feature region detection unit 203 in the image DB 175 in association with information for identifying the captured image in which the feature region is detected. To do.
  • FIG. 3 shows an example of the block configuration of the compression unit 230.
  • the compression unit 230 includes an image dividing unit 232, a plurality of fixed value conversion units 234a-c (hereinafter, sometimes collectively referred to as a fixed value conversion unit 234), and a plurality of image conversion units 241a-d (hereinafter referred to as image conversion units).
  • an image conversion unit 240 including a plurality of compression processing units 236a to 236d hereinafter may be collectively referred to as compression processing units 236).
  • the image dividing unit 232 acquires a plurality of captured images from the image acquisition unit 250. Then, the image dividing unit 232 divides the plurality of captured images into a feature region and a background region other than the feature region. Specifically, the image dividing unit 232 divides the plurality of captured images into each of a plurality of feature areas and a background area other than the feature areas. As described above, the image dividing unit 232 divides each of the plurality of captured images into the feature region and the background region.
  • the image conversion unit 241 converts the captured image into an image having a different number of gradations in a feature area in the captured image and an area other than the feature area in the image. Specifically, the image conversion unit 241 converts an image in a region other than the feature region in the image into an image having a smaller number of gradations than the feature region.
  • the image conversion unit 241 converts the images of the plurality of feature regions in the image into images having a predetermined number of gradations according to the features of the feature regions.
  • the image conversion unit 241 converts the images of the plurality of feature regions in the image into images having a predetermined number of gradations according to the feature types of the feature regions.
  • the image conversion unit 241 converts the images of the plurality of feature areas in the image into images having a predetermined number of gradations according to the types of objects included in the feature areas.
  • the feature type in the present embodiment may be the type of object included in the feature region.
  • the number of gradations of each image area is determined by the gradation number determination unit 264 as described above. Then, the image conversion unit 241 converts the images of the plurality of feature regions in the image into images having the gradation numbers determined by the gradation number determination unit 264, respectively.
  • the image conversion unit 241 converts the captured image into an image having a different number of colors in the feature area in the captured image and the area other than the feature area in the image. Specifically, the image conversion unit 241 converts an image in a region other than the feature region in the image into an image having fewer colors than the feature region. Note that the image conversion unit 241 may convert an image of a region other than the feature region in the captured image into an image represented by a color generated from a smaller number of color components than the feature region.
  • the image conversion unit 241 may convert the images of the plurality of feature areas in the captured image into images having a predetermined number of colors according to the features of the feature areas. Note that the image conversion unit 241 may convert the images of the plurality of feature regions in the captured image into images represented by combinations of colors determined in advance according to the features of the feature regions. Specifically, the image conversion unit 241 converts the images of the plurality of feature regions in the captured image into images represented by colors generated from a predetermined number of color components according to the features of the feature regions. You can do it.
  • the image conversion unit 241 converts the images of the plurality of feature regions in the captured image into images having the number of colors determined by the color number determination unit 266, respectively.
  • the image conversion unit 241 converts the captured image into an image having a different dynamic range between a feature area in the captured image and an area other than the feature area in the image. Note that the image conversion unit 241 converts an image of a region other than the feature region in the image into an image having a dynamic range wider than the feature region. Specifically, the image conversion unit 241 converts images of a plurality of feature regions in the image into images having a dynamic range that is determined in advance according to the features of the feature regions. The image conversion unit 241 converts the images of the plurality of feature regions in the image into images having a dynamic range determined in advance according to the feature types of the feature regions.
  • the dynamic range in each image region is determined by the dynamic range determination unit 268 as described above. Then, the image conversion unit 241 converts the images of the plurality of feature regions in the image into images having a dynamic range determined by the dynamic range determination unit 268, respectively. Note that the image conversion unit 241 may convert the image of the feature region and the background region into the above-described combined image of the number of gradations, the number of colors, and the dynamic range.
  • the compression processing unit 236 compresses the feature region image, which is the feature region image, and the background region image, which is the background region image, with different strengths. Specifically, the compression processing unit 236 compresses a feature area moving image including a plurality of feature area images and a background area moving image including a plurality of background area images with different strengths.
  • the image dividing unit 232 generates a feature area moving image for each of a plurality of feature types by dividing a plurality of captured images. Then, the fixed value unit 234 fixes the pixel values of the regions other than the feature regions of the respective feature types for each of the feature region images included in the plurality of feature region moving images generated for each feature type. To do. Specifically, the fixed value converting unit 234 sets pixel values in regions other than the feature region to predetermined pixel values. Then, the compression processing unit 236 compresses a plurality of feature area moving images for each feature type. For example, the compression processing unit 236 performs MPEG compression on a plurality of feature area moving images for each feature type.
  • the fixed value unit 234a, the fixed value unit 234b, and the fixed value unit 234c are a feature region moving image of the first feature type, a feature region moving image of the second feature type, and a third feature type, respectively.
  • the feature area video of is fixed.
  • the compression processing unit 236a, the compression processing unit 236b, and the compression processing unit 236c are the feature region moving image of the first feature type, the feature region moving image of the second feature type, and the feature of the third feature type. Compress area video.
  • the compression processing units 236a-c compress the feature region moving image with a predetermined strength according to the feature type.
  • the compression processing unit 236 may convert the feature area moving image to a different resolution determined in advance according to the type of the feature, and compress the converted feature area moving image.
  • the compression processing unit 236 may compress the feature region moving image with different quantization parameters determined in advance according to the feature type.
  • the compression processing units 236a-c may insert a code indicating that the data can be decoded from the head of the encoded data sequence obtained by encoding the macroblock including the feature region. .
  • a code a synchronization recovery marker can be exemplified.
  • the compression processing units 236a-c may insert the code at the head of each of a plurality of encoded data strings obtained by encoding all the macroblocks including the feature region.
  • the compression processing units 236a-c may insert the code only at the beginning of a plurality of continuous encoded data strings obtained by encoding the macroblock including the feature region.
  • the compression processing units 236a-c encode not only the encoded data sequence obtained by encoding the DC component of the macroblock but also the encoded data obtained by encoding the AC component of the macroblock including the feature region. The above code is inserted at the beginning of the column.
  • the compression processing unit 236d compresses the background area moving image. Note that the compression processing unit 236d may compress the background area moving image with a strength higher than the strength of any of the compression processing units 236a-c.
  • the feature area moving image and the background area moving image compressed by the compression processing unit 236 are supplied to the association processing unit 206.
  • the captured image obtained by the conversion by the image conversion unit 241 is output from the output unit 207.
  • information for specifying a plurality of feature regions detected by the feature region detection unit 203 is output in association with a captured image obtained by conversion by the image conversion unit 241.
  • information for specifying a plurality of feature regions detected by the feature region detection unit 203 and information for specifying features of the plurality of feature regions are associated with images obtained by conversion by the image conversion unit 241.
  • Output from the output unit 207 is output from the output unit 207.
  • regions other than the feature region have been fixed values by the fixed value unit 234, when the compression processing unit 236 performs predictive encoding by MPEG encoding or the like, the region other than the feature region may be connected to the predicted image. The amount of difference between the images can be significantly reduced. Therefore, the compression rate of the feature area moving image can be significantly increased.
  • the compression unit 230 compresses with a different compression method according to the area of the feature region. For example, the compression unit 230 compresses with a different compression method according to the total area of one or more feature regions detected from one captured image. More specifically, the compression unit 230 compresses by the first compression method when the total area is equal to or smaller than a predetermined threshold, and compresses by the second compression method when the total area is equal to or larger than the threshold. For example, the compression unit 230 compresses the feature region and the region other than the feature region with different strengths as described above on the condition that the total area is equal to or less than the threshold value. The operation in the second compression method when the total area is equal to or greater than the threshold will be described below.
  • the compression processing unit 236c that compresses the captured image with the highest image quality among the compression processing units 236 performs compression processing on the entire image region.
  • the fixed value unit 234c supplies the supplied captured image to the image conversion unit 241c without performing a fixed value process.
  • the image conversion unit 241c converts the captured image into a preset image quality.
  • the compression processing unit 236c compresses the captured image supplied from the image conversion unit 241c. Note that the compression processing unit 236c compresses a plurality of captured images as moving images as described above.
  • the compression unit 230 executes a compression process equivalent to the compression process performed when it is assumed that the entire area of the captured image is detected as the feature area.
  • the image of the feature area is encoded by the compression processing unit 236d and any one of the compression processing units 236a to 236c and output together. For this reason, if the first compression method is used when the total area is remarkably large, the amount of code for the overlap exceeds the amount of code reduction due to the reduction in image quality of the background area. A situation may arise.
  • the feature region detection unit 203 may reduce the temporal frequency of detecting the feature region. For example, the feature region detection unit 203 may detect a feature region from some captured images among a plurality of captured images captured continuously. At this time, the feature region detection unit 203 may detect the feature region from a smaller number of captured images when the total area is larger. Thereby, the time required for feature region detection can be shortened.
  • the compression processing unit 236a, the compression processing unit 236b, and the compression processing unit 236d may compress the captured image.
  • the output unit 207 may not transmit at least the compressed data compressed by the compression processing unit 236a, the compression processing unit 236b, and the compression processing unit 236d to the image processing apparatus 170.
  • a captured image whose entire surface is fixed is supplied to the compression processing unit 236a, the compression processing unit 236b, and the compression processing unit 236d, and the compression processing unit 236a, the compression processing unit 236b, and the compression processing unit 236d are supplied. Compressed data output from may be transmitted.
  • the compression unit 230 may easily prevent an increase in the amount of data transmitted to the image processing apparatus 170 by changing the compression processing method according to the total area. .
  • each of the plurality of compression processing units 236 included in the compression unit 230 compresses a plurality of feature region images and a background region image.
  • the compression unit 230 performs one compression process.
  • a single compression processing unit 236 may compress a plurality of feature region images and background region images with different intensities. For example, a plurality of feature region images and a background region image are sequentially supplied to one compression processing unit 236 in a time-sharing manner, and the one compression processing unit 236 differs from the plurality of feature region images and the background region image. You may compress sequentially by intensity.
  • the one compression processing unit 236 quantizes the image information of the plurality of feature regions and the image information of the background region with different quantization coefficients, respectively, thereby converting the images of the plurality of feature regions and the images of the background region. They may be compressed with different strengths. Also, an image obtained by converting a plurality of feature region images and a background region image into images of different image quality is supplied to one compression processing unit 236, and the one compression processing unit 236 includes a plurality of feature region images and Each image in the background area may be compressed. The image quality conversion process may be performed by one image conversion unit 240.
  • one compression processing unit 236 quantizes with a different quantization coefficient for each region, or one compression processing unit 236 compresses an image converted into a different image quality for each region.
  • the compression processing unit 236 may compress one image, or may compress each of the images divided by the image dividing unit 232 as described with reference to FIG.
  • the image dividing unit 232 does not need to perform the dividing process and the fixed value converting unit 234 does not perform the fixing process.
  • the dividing unit 232 and the fixed value unit 234 may not be provided.
  • FIG. 4 shows an example of a block configuration of the image processing apparatus 170.
  • the image processing apparatus 170 includes an image acquisition unit 301, an association analysis unit 302, a feature area information acquisition unit 360, an extension control unit 310, an extension unit 320, a synthesis unit 330, an instruction acquisition unit 390, a feature area selection unit 370, an image generation A unit 380 and an output unit 340.
  • the image acquisition unit 301 acquires the compressed moving image compressed by the compression unit 230. Specifically, the image acquisition unit 301 acquires a compressed moving image including a plurality of feature region moving images and a background region moving image including the first captured image and the second captured image as moving image constituent images. More specifically, the image acquisition unit 301 acquires a compressed moving image with feature area information attached thereto.
  • the association analysis unit 302 separates the compressed moving image acquired from the image DB 175 into a plurality of feature region moving images, background region moving images, and feature region information, and supplies the plurality of feature region moving images and background region moving images to the decompressing unit 320. To do. Further, the association analysis unit 302 analyzes the feature region information and supplies the feature region position and the feature type to the extension control unit 310 and the feature region information acquisition unit 360.
  • the feature area information acquisition unit 360 acquires information indicating the position of the feature area in a plurality of captured images included in the moving image.
  • the feature region information acquired by the feature region information acquisition unit 360 is supplied to the synthesis unit 330, the feature region selection unit 370, and the image generation unit 380.
  • the extension control unit 310 controls the extension process by the extension unit 320 according to the position of the feature region and the feature type acquired from the association analysis unit 302. For example, the decompression control unit 310 decompresses each region of the moving image indicated by the compressed moving image to the decompressing unit 320 according to the compression method in which the compression unit 230 compresses each region of the moving image according to the position of the feature region and the type of feature.
  • the decompression unit 320 includes a plurality of decoders 322a-d (hereinafter collectively referred to as decoders 322).
  • the decoder 322 decodes one of the plurality of encoded characteristic area moving images and background area moving images. Specifically, the decoder 322a, the decoder 322b, the decoder 322c, and the decoder 322d decode the first feature region moving image, the second feature region moving image, the third feature region moving image, and the background region moving image, respectively.
  • the synthesizing unit 330 synthesizes a plurality of feature area moving images and background area moving images expanded by the expanding unit 320 to generate one display moving image. Specifically, the combining unit 330 generates one display moving image by combining the image of the feature region on the captured image included in the plurality of feature region moving images with the captured image included in the background region moving image. The synthesizer 330 supplies the generated display moving image to the output unit 340. The output unit 340 outputs the feature area information and the display moving image acquired from the association analysis unit 302 to the display device 180.
  • the feature region selection unit 370 selects a plurality of feature regions that meet a predetermined condition from the plurality of feature regions. Specifically, the feature region selection unit 370 selects a plurality of feature regions having a predetermined type of feature from among a plurality of feature regions having different feature types. More specifically, the feature region selection unit 370 selects a plurality of feature regions including a predetermined object from among a plurality of feature regions that include different objects.
  • the image generation unit 380 generates a display image by reducing or enlarging each of the plurality of feature region images selected by the feature region selection unit 370. As described above, the image generation unit 380 reduces or enlarges each of the feature region images included in each of the plurality of captured images based on the position indicated by the information acquired by the feature region information acquisition unit 360. A display image having a size is generated.
  • the display image generated by the image generation unit 380 is supplied to the output unit 340.
  • the output unit 340 may display the display image on the display device 180 by superimposing or synthesizing the display image on the display moving image generated by the combining unit 330.
  • the image generation unit 380 displays the images of the feature areas with the same size when a particular type of feature area is detected or when a feature area including a particular object is detected. Display image to be generated can be generated. For this reason, the image of the feature region is always displayed with the same size. Therefore, according to the image processing system 10, it is possible to provide a monitoring video that is easy for the supervisor to see.
  • the feature region selection unit 370 may select a plurality of feature regions detected from the moving image over a period longer than a predetermined time length among the plurality of feature regions. In this case, it is possible to provide an image of an object that appears in a moving image for a long time. In addition, the feature region selection unit 370 may select a plurality of feature regions having a correlation higher than a predetermined value from among the plurality of feature regions.
  • the above-described operation in the image processing apparatus 170 may be performed when the instruction acquisition unit 390 acquires an instruction to display a display image. That is, when the instruction acquisition unit 390 acquires an instruction, the image generation unit 380 generates a plurality of captured images based on the positions of a plurality of feature areas indicated by information recorded in the image DB 175 in association with a moving image. Display images having substantially the same size may be generated by reducing or enlarging each of the images of the feature regions included.
  • the decompression unit 320 specifies a plurality of captured images identified by information recorded by associating information indicating the positions of the plurality of feature regions. . Then, the expansion unit 320 expands a partial moving image in a period including a display timing at which a plurality of identified captured images are displayed in the compressed moving image. As described above, the expansion unit 320 expands a specific partial moving image in the moving image when the instruction acquisition unit 390 acquires the instruction. Then, when the instruction acquisition unit 390 acquires the instruction, the image generation unit 380 is expanded by the expansion unit based on the positions of the plurality of feature regions indicated by the information recorded in association with the compressed moving image.
  • a display image is generated by reducing or enlarging each of the images of the plurality of feature regions in the plurality of captured images included in the partial moving image. For this reason, according to the image processing apparatus 170, the display image can be promptly provided to the display apparatus 180.
  • FIG. 5 shows an example of another block configuration of the compression unit 230.
  • the compression unit 230 in this configuration compresses a plurality of captured images by a spatial scalable encoding process corresponding to the type of feature.
  • the compression unit 230 in this configuration includes an image quality conversion unit 510, a difference processing unit 520, and an encoding unit 530.
  • the difference processing unit 520 includes a plurality of inter-layer difference processing units 522a-d (hereinafter collectively referred to as inter-layer difference processing units 522).
  • Encoding section 530 includes a plurality of encoders 532a-d (hereinafter collectively referred to as encoders 532).
  • the image quality conversion unit 510 acquires a plurality of captured images from the image acquisition unit 250. In addition, the image quality conversion unit 510 acquires information specifying the feature region detected by the feature region detection unit 203 and information specifying the type of feature in the feature region. Then, the image quality conversion unit 510 duplicates the captured image, and generates captured images of the number of types of features in the feature area. Then, the image quality conversion unit 510 converts the generated captured image into an image having a resolution corresponding to the type of feature.
  • the image quality conversion unit 510 has a captured image converted to a resolution corresponding to the background area (hereinafter referred to as a low resolution image), and a captured image converted to the first resolution corresponding to the type of the first feature ( Hereinafter, referred to as a first resolution image), a captured image converted to a second resolution corresponding to the second feature type (hereinafter referred to as a second resolution image), and a third feature type.
  • the captured image converted to the third resolution (hereinafter referred to as a third resolution image) is generated.
  • the first resolution image has a higher resolution than the low resolution image
  • the second resolution image has a higher resolution than the first resolution image
  • the third resolution image has a higher resolution than the second resolution image.
  • the image quality conversion unit 510 converts the low resolution image, the first resolution image, the second resolution image, and the third resolution image into the inter-layer difference processing unit 522d, the inter-layer difference processing unit 522a, and the inter-layer difference processing unit 522b, respectively. And to the inter-layer difference processing unit 522c.
  • the image quality conversion unit 510 supplies a moving image to each of the inter-layer difference processing units 522 by performing the above-described image quality conversion processing on each of the plurality of captured images.
  • the image quality conversion unit 510 may convert the frame rate of the moving image supplied to each of the inter-layer difference processing unit 522 in accordance with the feature type of the feature region.
  • the image quality conversion unit 510 may supply, to the inter-layer difference processing unit 522d, a moving image having a lower frame rate than the moving image supplied to the inter-layer difference processing unit 522a.
  • the image quality conversion unit 510 may supply a moving image having a lower frame rate than the moving image supplied to the inter-layer difference processing unit 522b to the inter-layer difference processing unit 522a, and a frame lower than the moving image supplied to the inter-layer difference processing unit 522c.
  • the rate movie may be supplied to the inter-tier difference processing unit 522b.
  • the image quality conversion unit 510 may convert the frame rate of the moving image supplied to the inter-layer difference processing unit 522 by thinning out the captured image according to the feature type of the feature region.
  • the inter-layer difference processing unit 522d and the encoder 532d predictively encode a background area moving image including a plurality of low-resolution images. Specifically, the inter-layer difference processing unit 522 generates a difference image from a predicted image generated from another low-resolution image. Then, the encoder 532d quantizes the transform coefficient obtained by converting the difference image into a spatial frequency component, and encodes the quantized transform coefficient by entropy coding or the like. Note that such predictive encoding processing may be performed for each partial region of the low-resolution image.
  • the inter-layer difference processing unit 522a predictively encodes the first feature region moving image including the plurality of first resolution images supplied from the image quality conversion unit 510.
  • the inter-layer difference processing unit 522b and the inter-layer difference processing unit 522c each predictively encode a second feature area moving image including a plurality of second resolution images and a third feature area moving image including a plurality of third resolution images. To do.
  • specific operations of the inter-layer difference processing unit 522a and the encoder 532a will be described.
  • the inter-layer difference processing unit 522a decodes the first resolution image encoded by the encoder 532d, and expands the decoded image to an image having the same resolution as the first resolution. Then, the inter-layer difference processing unit 522a generates a difference image between the enlarged image and the low resolution image. At this time, the inter-layer difference processing unit 522a sets the difference value in the background area to zero. Then, the encoder 532a encodes the difference image in the same manner as the encoder 532d. Note that the encoding processing by the inter-layer difference processing unit 522a and the encoder 532a may be performed for each partial region of the first resolution image.
  • the inter-layer difference processing unit 522a calculates the code amount predicted when the difference image with the low resolution image is encoded, and the other first resolution image. The amount of code predicted when the difference image between the generated prediction image and the prediction image is encoded is compared. In the case where the latter code amount is smaller, the inter-layer difference processing unit 522a generates a difference image from the predicted image generated from the other first resolution image. In addition, the inter-layer difference processing unit 522a, when it is predicted that the code amount is smaller when encoded without taking the difference from the low-resolution image or the predicted image, It is not necessary to take a difference between them.
  • the inter-layer difference processing unit 522a may not set the difference value in the background area to zero.
  • the encoder 532a may set the encoded data for difference information in an area other than the feature area to zero.
  • the encoder 532a may set the conversion coefficient after conversion to a frequency component to zero.
  • the motion vector information when the inter-layer difference processing unit 522d performs predictive encoding is supplied to the inter-layer difference processing unit 522a.
  • the inter-layer difference processing unit 522a may calculate a motion vector for a predicted image using the motion vector information supplied from the inter-layer difference processing unit 522d.
  • the operations of the inter-layer difference processing unit 522b and the encoder 532b are that the second resolution image is encoded, and the first resolution after encoding by the encoder 532a when the second resolution image is encoded.
  • the operations of the inter-layer difference processing unit 522b and the encoder 532b are substantially the same as the operations of the inter-layer difference processing unit 522a and the encoder 532a, except that the difference from the image may be taken. To do.
  • the operations of the inter-layer difference processing unit 522c and the encoder 532c are that the third resolution image is encoded, and when the third resolution image is encoded, after the encoding by the encoder 532b. Except for the fact that a difference from the second resolution image may be obtained, the operation is substantially the same as the operation of the inter-layer difference processing unit 522a and the encoder 532a, and thus the description thereof is omitted.
  • the image quality conversion unit 510 generates, from each of the plurality of captured images, a low-quality image having a low image quality and a feature region image having higher image quality than the low-quality image at least in the feature region. Then, the difference processing unit 520 generates a feature region difference image indicating a difference image between the feature region image in the feature region image and the feature region image in the low-quality image. Then, the encoding unit 530 encodes the feature region difference image and the low quality image.
  • the image quality conversion unit 510 generates a low-quality image with reduced resolution from a plurality of captured images
  • the difference processing unit 520 includes a feature region image in the feature region image and a feature region image in the low-quality image.
  • a feature region difference image between the image and the image enlarged is generated.
  • the difference processing unit 520 has a spatial frequency component in which the difference between the feature region image and the enlarged image in the feature region is converted into the spatial frequency region, and the data amount of the spatial frequency component is in the region other than the feature region.
  • a reduced feature area difference image is generated.
  • the compression unit 230 encodes hierarchically by encoding image differences between a plurality of layers having different resolutions.
  • a part of the compression method by the compression unit 230 of this configuration is H.264.
  • a compression scheme according to H.264 / SVC is included. Note that when the image processing apparatus 170 decompresses such a layered compressed moving image, the moving image data of each layer is decoded, and the difference is taken for the region encoded by the inter-layer difference.
  • the captured image having the original resolution can be generated by the addition process with the captured image decoded in the hierarchy.
  • FIG. 6 shows an example of an imaging moving image obtained by the imaging apparatus 100.
  • the captured moving image A captured by the image capturing apparatus 100a includes a plurality of captured images 600-1 to 600-3 (hereinafter collectively referred to as captured images 600).
  • the captured moving image B captured by the image capturing apparatus 100b includes a plurality of captured images 610-1 to 610-1 to 610-3 (hereinafter collectively referred to as captured images 610), and the captured moving image C captured by the image capturing apparatus 100c includes a plurality of captured images 620.
  • the captured moving image D captured by the image capturing apparatus 100d includes a plurality of captured images 630-1 to 630-3 (hereinafter collectively referred to as captured images 630). .
  • the imaging regions of the imaging device 100a, the imaging device 100b, the imaging device 100c, and the imaging device 100d overlap at least partially. Then, it is assumed that the imaging device 100a, the imaging device 100b, the imaging device 100c, and the imaging device 100d are imaging the overlapping imaging regions from different directions.
  • the feature region detection unit 203 includes head regions 601-1 to 3 (hereinafter collectively referred to as head region 601) and body region 602-1 to 3 (hereinafter referred to as body regions) as examples of feature regions. 602) and moving body regions 603-1 to 603-3 (hereinafter collectively referred to as moving body region 603) are detected from captured image 600.
  • the feature region detection unit 203 also includes head regions 611-1 to 3 (hereinafter collectively referred to as a head region 611) and body regions 612-1 to 3 (hereinafter referred to as body regions) as examples of feature regions. 612) is detected from the captured image 610.
  • the feature region detection unit 203 also includes head regions 621-1 to 3-3 (hereinafter collectively referred to as the head region 621) and body region regions 622-1 to 3-3 (hereinafter referred to as body region regions) as examples of feature regions. 622) is detected from the captured image 620.
  • the feature region detection unit 203 also includes head regions 631-1 to 3-3 (hereinafter collectively referred to as a head region 631) and body region regions 632-1 to 63-3 (hereinafter referred to as body region regions) as examples of feature regions. 632) is detected from the captured image 630.
  • the output unit 207 determines the number of images to be output for each region. Good. For example, the output unit 207 outputs a predetermined number of feature region images according to the type of the feature region. Specifically, for the head region, the output unit 207 captures all four captured images obtained by the four imaging devices 100, such as the captured image 600-1, the captured image 610-1, and the captured image.
  • an image of the head region generated from the captured image 630-1 (an image of the head region 601-1, an image of the head region 611-1, an image of the head region 621-1, a head region) 631-1) is to be output.
  • the output unit 207 for the body region, is generated from three captured images captured by different imaging devices 100, for example, the captured image 600-1, the captured image 610-1, and the captured image 620-1. It is determined that an image of a body region (an image of the body region 602-1, an image of the body region 612-1, and an image of the body region 622-1) should be output.
  • the output unit 207 determines that two captured images captured by the two imaging devices 100 should be output for the moving body region, and one image captured by the one imaging device 100 for the background region. It is determined that the captured image should be output.
  • the output unit 207 Determines that the image of the moving body region 603-1 in the captured image 600-1 should be output.
  • the output unit 207 determines that the background area image in the captured image 600-1 should be output for the background area.
  • the output unit 207 may select the captured image 600 according to the priority assigned in advance to the imaging device 100. For example, the output unit 207 may preferentially select the captured image 600 captured by the imaging device 100 having a higher assigned priority. Then, the output unit 207 outputs an image of the determined number of images among the image of the feature region and the image of the background region included in the selected captured image 600.
  • the output unit 207 includes the first number of feature region images that are images of the subject imaged in the feature region respectively generated from the first number of captured images, and the first number.
  • a second number of out-of-feature area images which are images of the subject imaged outside the feature area, respectively generated from the different second number of captured images, are output.
  • the output unit 207 outputs the first number of in-feature area images respectively generated from the first number of captured images larger than the second number.
  • the output unit 207 determines in advance according to the features of the plurality of feature areas among the plurality of in-feature area images generated from each of the feature areas in the captured image. A predetermined number of images in the feature area are output.
  • the image processing system 10 it is possible to provide an image in which the subject imaged in the feature region is imaged in more directions than the subject imaged in the background region. Therefore, the subject imaged in the feature area can be analyzed with high accuracy later. Further, according to the image processing system 10, since the image of the background area in the captured image captured from some of the imaging devices 100 is not transmitted, the amount of transmitted data can be significantly reduced.
  • FIG. 7 shows an example of a histogram 700 of gradation values in the feature area or the background area.
  • a characteristic length 710 represents the spread of the distribution indicated by the histogram 700.
  • a half width can be illustrated.
  • the gradation number determination unit 264 determines a predetermined gradation number according to the feature type of the feature region. In addition, the gradation number determination unit 264 determines a predetermined gradation number that is smaller than the predetermined gradation number for the feature region for the background area. Then, the gradation number determination unit 264 determines a smaller gradation number as the characteristic length 710 is shorter. For example, the gradation number determination unit 264 obtains a value obtained by subtracting a number inversely proportional to the length of the characteristic length 710 from a gradation number determined in advance according to the type of feature in the feature area. It may be determined as a logarithm.
  • the compression unit 230 converts the image in the image area into an image having a smaller number of gradations. For this reason, a compression rate increases.
  • FIG. 8 shows an example of a conversion curve for gradation conversion.
  • the dynamic range determination unit 268 previously stores a plurality of conversion curves for converting input pixel values, such as a conversion curve 810 and a conversion curve 820. Then, the dynamic range determining unit 268 selects one conversion curve for each region from a plurality of conversion curves stored in advance. Note that the dynamic range determination unit 268 may select a conversion curve showing a wide dynamic range for the feature region, and may select a conversion curve having a dynamic range narrower than the feature region for the background region.
  • FIG. 9 shows an example of a selection method in which the compression control unit 210 selects a compression parameter for each region.
  • the compression control unit 210 stores a type ID, which is information for identifying the type of region, information for identifying a histogram pattern, information for identifying a gradation conversion method, and information for identifying a color set in association with each other.
  • the type ID indicates information that identifies the feature region or the background region, and the feature type of the feature region.
  • the information for identifying the histogram pattern may be information indicating the histogram distribution described in relation to FIG. As an example, the information identifying the histogram may be a characteristic length 710.
  • the information for identifying the gradation conversion method may be information for identifying the LUT.
  • the LUT may be an LUT that realizes conversion using the conversion curve described with reference to FIG.
  • the information for identifying the color set may be a color set indicating a combination of colors that can be used as pixel values.
  • the dynamic range determination unit 268 specifies information identifying the LUT stored in association with the type ID matching the region and the information identifying the pattern matching the histogram pattern in the region. Then, the dynamic range determination unit 268 supplies the LUT information specified by the information to the compression unit 230. In this way, the dynamic range determination unit 268 determines the dynamic range for each region.
  • the number-of-colors determination unit 266 specifies a color set stored in association with a type ID that matches the area and information that identifies a pattern that matches the histogram pattern in the area.
  • the color number determination unit 266 supplies the color set specified by the information to the compression unit 230. In this way, the color number determination unit 266 determines the number of colors to be used for each region.
  • the color set stored in association with the feature area is formed from colors expressed by three or more primary colors (for example, 5 primary colors or 7 primary colors), and is stored in association with the background area.
  • the color set may be formed from colors expressed in three primary colors (for example, RGB).
  • the color set stored in association with the feature region includes a color having a color difference component, and the color set stored in association with the background region may not include a color having a color difference component. Note that the color conversion, dynamic range conversion, resolution conversion, and gradation number conversion are performed by the image conversion unit 241 or the image quality conversion unit 510.
  • FIG. 10 shows an example of the motion vector search range.
  • the feature region detection unit 203 is configured to extract a feature region 1010-1 and a feature region 1010-3 (hereinafter referred to as a feature region 1010) from a captured image 1000-1 and a captured image 1000-3 (hereinafter collectively referred to as a captured image 1000), respectively. ) Is detected. Further, it is assumed that the feature region 1010-1 and the feature region 1010-3 are specified by the feature region specifying unit 212 as feature regions having high correlation.
  • the position difference calculation unit 214 calculates the position difference between the feature region 1010-1 and the feature region 1010-3.
  • the centroid of the feature region 1010-3 is (x1, y1) and the centroid of the feature region 1010-1 is (x2, y2)
  • the positional difference is (x2-x1, y2-y1).
  • the search area determination unit 216 determines an area 1020 including (x2, y2) as a motion vector search range.
  • the search area determination unit 216 may determine a smaller area 1020 when the position difference is smaller.
  • the motion vector search range determined by the search area determination unit 216 is supplied to the compression unit 230.
  • the compression unit 230 calculates a motion vector by performing motion prediction processing within the motion vector search range determined by the search region determination unit 216 when the feature region 1010-3 is compressed between frames.
  • the search area determination unit 216 determines the compression of the compressed captured image 1000-3 and the predicted image in the inter-frame prediction from the position of the feature region having a high correlation in the captured image 1000-3 compressed by the inter-frame prediction.
  • a captured image 1000-3 that is compressed into a region in the vicinity of the position in the original captured image 1000-1 of the predicted image that is separated from the original captured image 1000-1 by a position difference of a feature region having a high correlation with the original captured image 1000-1.
  • a motion vector search region in which a motion vector used for compressing an image included in the feature region is calculated. Therefore, since the compression unit 230 only has to predict motion within a narrowed range, it is possible to reduce the amount of calculation when calculating a motion vector.
  • the motion vector can be calculated at high speed, and the compression speed is improved. Further, the compression unit 230 can calculate the motion vector with higher accuracy.
  • the search region determination unit 216 may determine a motion vector search region that is longer than the width in the direction perpendicular to the direction in the moving direction of the feature region indicated by the position difference.
  • FIG. 11 shows an example of the dependence of the search area width on the size of the position difference. Note that the position difference calculation unit 214 calculates a position difference expressed in units of pixels in each of the x direction and the y direction.
  • the search area determination unit 216 monotonously increases the width of the motion vector search range until the position difference calculated by the position difference calculation unit 214 reaches a predetermined ⁇ N ⁇ .
  • the search region determination unit 216 sets the width of the motion vector search region as the upper limit value ⁇ N ⁇ .
  • the search region determination unit 216 determines a motion vector search region having a predetermined width when the size of the position difference is larger than the predetermined value.
  • the threshold value acquisition unit 209 acquires the threshold value of the position difference from the outside of the image processing apparatus 120.
  • the search area determination unit 216 determines a motion vector search area having a predetermined width when the position difference is larger than the threshold. As described above, since an upper limit is set for the width of the motion vector search region, it is possible to prevent the motion vector search range from becoming unnecessarily large.
  • FIG. 12 shows the importance level of the partial area in the feature area.
  • the feature region detection unit 203 detects a plurality of regions having different importance levels in the head region 1200 as an example of the feature region.
  • the feature region detection unit 203 includes an eye region 1210a and an eye region 1210b (hereinafter collectively referred to as an eye region 1210), a mouth region 1220, a nose region 1230, and an ear region 1240a in the head region 1200.
  • ear region 1240b hereinafter collectively referred to as ear region 1240).
  • the importance is assumed to be higher in the order of the eye region 1210, the nose region 1230, the mouth region 1220, and the ear region 1240.
  • Information indicating the position of each region in the head region 1200 detected by the feature region detection unit 203 is supplied to the compression unit 230. Then, the compression unit 230 compresses the image of each region in the head region 1200 with an intensity corresponding to the importance.
  • the compression unit 230 sets the spatial frequency filter strength and / or the code amount for the image of each region in the head region 1200 so that the code amount becomes a target code amount determined according to the importance of each region.
  • the quantization coefficient is controlled.
  • the degree of importance may be determined in advance based on the accuracy rate of person identification.
  • the compression unit 230 compresses each region having different importance detected hierarchically from the head region 1200 according to the importance. Thereby, the image processing apparatus 170 can detect and recognize a person with higher accuracy even from a compressed captured image.
  • the feature region detection unit 203 further detects a plurality of regions having different degrees of importance in the eye region 1210.
  • the feature region detection unit 203 includes an eye region 1212a and an eye region 1212a (hereinafter collectively referred to as an eye region 1212), an eyebrow region 1214a and an eyebrow region 1214b (hereinafter referred to as an eyebrow region 1214) in the eye region 1210. ).
  • the eye area 1212 may be more important than the eyebrow area 1214.
  • the compression part 230 may compress the image of each area
  • FIG. 13 shows a display example by the display device 180.
  • the display area by the display device 180 includes a moving image area 1300 and an attention image area 1301.
  • the image processing device 170 provides the display device 180 with moving image data in which the moving image obtained by the combining unit 330 is displayed in the moving image area 1300. Further, the image processing device 170 provides the display device 180 with moving image data in which the display image generated by the image generation unit 380 is displayed in the attention image area 1301.
  • the image generation unit 380 is a head image 1311a that is an image of a human head region 1310a-c (hereinafter collectively referred to as a head region 1310) included in the moving image displayed in the moving image area 1300.
  • a head image 1311 is generated.
  • the head region 1310 may be an example of a feature region
  • the head image 1311 may be an example of the display image.
  • the image generation unit 380 generates a head image 1311 having a uniform size by enlarging or reducing the image of the head region 1310. Thereby, since the head image 1311 is displayed with the same size, the monitoring image is easy to see for the observer.
  • the image generation unit 380 generates a head image 1311 displayed at a different position from the image of the head region 1310. Note that the image generation unit 380 may generate a head image 1311 in which displayed areas do not overlap. In this manner, the image generation unit 380 generates display images in which images of a plurality of feature areas are displayed simultaneously at different predetermined positions.
  • the image generation unit 380 may generate a moving image including a plurality of head images 1311.
  • the image generation unit 380 may generate a plurality of head images 1311 from images of the head region 1310 in each of a plurality of captured images included in the moving image.
  • the feature region selection unit 370 has a plurality of heads having a correlation higher than a predetermined value for the image contents of the lower region of the head region 1310 among the plurality of head regions 1310 in each of the plurality of captured images.
  • a partial area 1310 is selected.
  • the feature area selection unit 370 extracts clothes texture information from the image of the lower area of the head area 1310 in each of the plurality of captured images. Then, the feature region selection unit 370 selects a plurality of head regions 1310 above the lower region where the extracted texture information matches with a degree of matching greater than a predetermined value as the head region 1310 having a high correlation. Good. In addition, the feature region selection unit 370 selects a plurality of head regions 1310 above the lower region where the combination of colors included matches with a degree of coincidence greater than a predetermined value. You may choose as
  • the image generation unit 380 may generate a moving image in which the plurality of head images 1311a are continuously displayed at the same position. As described above, the image generation unit 380 displays the images of the feature regions respectively included in the plurality of captured images based on the positions indicated by the information acquired by the feature region information acquisition unit 360 at substantially the same positions. A display image may be generated. At this time, the image generation unit 380 may generate a display image in which the images of the feature areas where the same subject is captured are displayed at substantially the same position.
  • the image generation unit 380 generates a head image 1311 having a predetermined size according to the position of the head region 1310. May be.
  • the image generation unit 380 may generate a larger head image 1311 from the image of the head region 1310 at a more important position.
  • the image generation unit 380 has a head larger than the other head image 1311 from the head region 1310 (for example, the head region 1310b) at a position where the distance from the counter is shorter than a predetermined distance.
  • a partial image 1311 may be generated. Therefore, according to the image processing system 10, an image of a person located in an important area can be highlighted.
  • the image generation unit 380 may generate a display image having a size corresponding to the position of the plurality of feature regions by reducing or enlarging each of the images of the plurality of feature regions. Note that the image generation unit 380 reduces or enlarges each of the images of the plurality of feature areas, and generates a display image having a size corresponding to the position of the subject in the real space indicated by the position where the plurality of feature areas exist. You can do it. In addition, the image generation unit 380 reduces or enlarges each of the plurality of feature area images, and generates a display image having a size corresponding to the size of the subject in the real space indicated by the plurality of feature area sizes. May be.
  • the image generation unit 380 may generate display images in which images of a plurality of feature areas are simultaneously displayed at predetermined positions in accordance with display timings in a moving image. For example, the image generation unit 380 may generate a head image 1311 that is displayed in a predetermined direction in the display order.
  • the position where the image of the feature area is displayed is at least one of the size of the feature area, the size of the specific subject included in the feature area, and the image content of the lower area of the head (for example, the clothes area). May be determined according to
  • FIG. 14 shows another example of the block configuration of the image processing apparatus 170.
  • the image processing apparatus 170 having this configuration improves the image quality of the feature region by performing super-resolution processing on the image of the feature region.
  • the image processing apparatus 170 having this configuration includes an image acquisition unit 301, an association analysis unit 302, an expansion control unit 310, an expansion unit 320, an image generation unit 380, a feature region information acquisition unit 360, a feature region selection unit 370, and an illumination condition specification.
  • the image generation unit 380 includes an image enlargement unit 332 and a synthesis unit 330.
  • the image acquisition unit 301 acquires the compressed moving image compressed by the compression unit 230. Specifically, the image acquisition unit 301 acquires a compressed moving image including a plurality of feature area moving images and a background area moving image. More specifically, the image acquisition unit 301 acquires a compressed moving image with feature area information attached thereto.
  • the compressed moving image may be an example of an input moving image to the image processing apparatus 170.
  • a captured image included as a moving image constituent image in the compressed moving image may be an example of an input image to the image processing device 170.
  • the image acquisition unit 301 acquires the captured image whose image quality is reduced by the compression unit 230 as an input image.
  • the association analysis unit 302 separates the compressed video into a plurality of feature area videos, background area videos, and feature area information, and supplies the plurality of feature area videos and background area videos to the decompression unit 320. Further, the association analysis unit 302 analyzes the feature region information and supplies the feature region position and the feature type to the extension control unit 310 and the feature region information acquisition unit 360. In this way, the feature region information acquisition unit 360 can acquire information indicating the feature region in each of the plurality of captured images, for example, information indicating the position of the feature region.
  • the extension control unit 310 controls the extension process by the extension unit 320 according to the position of the feature region and the feature type acquired from the association analysis unit 302. For example, the decompression control unit 310 decompresses each region of the moving image indicated by the compressed moving image to the decompressing unit 320 according to the compression method in which the compression unit 230 compresses each region of the moving image according to the position of the feature region and the type of feature.
  • the decompression unit 320 includes a plurality of decoders 322a-d (hereinafter collectively referred to as decoders 322).
  • the decoder 322 decodes one of the plurality of encoded characteristic area moving images and background area moving images. Specifically, the decoder 322a, the decoder 322b, the decoder 322c, and the decoder 322d decode the first feature region moving image, the second feature region moving image, the third feature region moving image, and the background region moving image, respectively.
  • the decompressing unit 320 supplies the first feature region moving image, the second feature region moving image, the third feature region moving image, and the background region moving image obtained by decoding to the image generating unit 380.
  • the image generation unit 380 generates one display moving image based on the first feature region moving image, the second feature region moving image, the third feature region motion, the background region moving image, and the feature region information. Then, the output unit 340 outputs the feature area information and the display moving image acquired from the association analysis unit 302 to the display device 180 or the image DB 175.
  • the image DB 175 associates the position of the feature region indicated by the feature region information, the feature type of the feature region, and the number of feature regions with the information for identifying the captured image included in the display moving image, and the non-volatile memory such as a hard disk. May be recorded on the recording medium.
  • the feature region selection unit 370 selects a first feature region and a second feature region having a correlation higher than a predetermined value from the feature regions in each of the plurality of captured images. Specifically, the correlation value acquisition unit 376 acquires a threshold related to the correlation. Then, the feature region selection unit 370 selects a first feature region and a second feature region that have a higher correlation than the threshold acquired by the correlation value acquisition unit 376 from among the feature regions in each of the plurality of moving image constituent images.
  • the feature region selection unit 370 selects a first feature region and a second feature region in which the degree of coincidence of image contents is higher than a predetermined value from the feature regions detected from each of the plurality of captured images. Good.
  • the feature region selection unit 370 may select the first feature region and the second feature region based on the position of the feature region in each of the plurality of captured images.
  • the feature region selection unit 370 includes a first feature region that is a feature region in which the change amount of the moving speed in the compressed moving image is smaller than a predetermined value based on the change amount of the position of the feature region across the plurality of captured images.
  • a second feature region may be selected.
  • the feature region selection unit 370 is a first feature region that is a feature region in which the change amount of the moving direction in the input moving image is smaller than a predetermined value based on the change direction of the position of the feature region across the plurality of captured images.
  • a second feature region may be selected. Then, the feature region selection unit 370 supplies information indicating the selected first feature region and second feature region to the image generation unit 380.
  • the image generation unit 380 uses the image of the first feature region, the image of the second feature region, and the positional difference between the first feature region and the second feature region, and the first feature region image and the second feature region. 2. Generate a high-quality image with a higher resolution than the image of the feature region. For example, the image generation unit 380 generates a high-quality image by combining the image of the first feature area and the image of the second feature area based on the positional difference. For example, the image generation unit 380 generates a high-quality image by superimposing the image of the first feature area and the image of the second feature area by shifting the position difference.
  • the feature region selection unit 370 may select three or more feature regions having a correlation higher than a predetermined value from the feature regions detected from each of the plurality of captured images. Then, the image generation unit 380 may generate a high-quality image having a higher resolution than the image of the three or more feature regions using the image of the three or more feature regions and the difference in the positions of the three or more feature regions. .
  • the image enlargement unit 332 enlarges an image in a region other than the feature region in the captured image to an image having the same resolution as the high-quality image.
  • the synthesizing unit 330 then synthesizes the image obtained by the image enlarging unit 332 and the high-quality image to generate one captured image as a moving image constituent image of the display moving image.
  • the image generation unit 380 enlarges the image of the region other than the feature region in the captured image to an image having the same resolution as the high-quality image, and combines the enlarged image and the high-quality image.
  • the image generation unit 380 generates a display moving image including the plurality of captured images as a moving image constituent image by performing the above processing on each of the plurality of captured images.
  • the image generation unit 380 may generate a high-quality image by adapting the image of the object included in the feature region to the mathematical model.
  • the model storage unit 350 stores a model in which an object is represented by feature parameters. More specifically, the model storage unit 350 stores a model in which an object is expressed with statistical feature parameters.
  • the model storage unit 350 stores a model in which an object is represented by principal components (for example, principal component vectors) based on principal component analysis.
  • model storage unit 350 may store a model in which the shape of an object is represented by principal components based on principal component analysis.
  • the model storage unit 350 may store a model in which the color of an object is expressed by a principal component based on principal component analysis.
  • the image generation unit 380 adapts the image of the object included in the feature area in the captured image to the model, thereby converting the image of the object included in the feature area in the captured image into a high-quality image with higher image quality than the captured image. Convert to
  • the model storage unit 350 stores an object model viewed from a different direction in association with the direction. Then, the direction specifying unit 374 specifies the direction in which the object imaged in the feature area in the captured image is captured. Then, the image generation unit 380 adapts the image of the object included in the feature region in the captured image to the model stored in the model storage unit 350 in association with the direction specified by the direction specifying unit 374, thereby increasing the size of the image. It may be converted to a quality image.
  • the model storage unit 350 stores models of objects illuminated under different illumination conditions in association with the illumination conditions.
  • specification part 372 specifies the illumination conditions with which the object currently imaged by the feature area in the input image was illuminated.
  • the image generation unit 380 adapts the image of the object included in the feature region in the input image to the model stored in the model storage unit 350 in association with the illumination condition specified by the illumination condition specifying unit 372. , Convert to high-quality image.
  • the image generation unit 380 generates a high-quality image having a higher resolution than the input captured image by adapting the image of the object included in the feature region in the input captured image to the model.
  • the output unit 340 outputs an image including the high-quality image and an image other than the feature region. Specifically, the output unit 340 outputs a display moving image including the captured image obtained by the combining unit 330 as a moving image constituent image as described above.
  • FIG. 15 shows an example of feature points on a human face.
  • the model storage unit 350 stores a model that represents an object with a feature parameter.
  • a generation method for generating a model stored in the model storage unit 350 a case where a model of a human face, which is an example of an object, is generated using an AAM method will be described.
  • n feature points representing the face shape are set for each of a plurality of face images (hereinafter referred to as sample images) representing a human face portion as a sample.
  • sample images a plurality of face images representing a human face portion
  • the number of feature points is smaller than the number of pixels of the face image.
  • the first feature point is the left end of the left eye and the eleventh feature point is the center between the eyebrows.
  • Each feature point may be set manually or automatically by a recognition process.
  • S is the shape vector is represented by arranging the position coordinates of each feature point of the face shape (x1, y1, ⁇ , x n, y n) is, S 0 is of the feature points in the average face shape the average face shape vectors represented side by side position coordinates, p i is the eigenvector representing the i-th principal component of the face shape obtained by the principal component analysis, b i represents a weighting factor for each eigenvector p i.
  • FIG. 16 schematically shows an example of a change in face shape when the weighting coefficient b is changed.
  • how the face shape changes when the values of the weighting coefficients b 1 and b 2 for the eigenvectors p 1 and p 2 of the top two principal components obtained by the principal component analysis are changed.
  • the central one of the three face shapes for each principal component shows an average face shape.
  • a component contributing to the contour shape of the face is extracted as the first principal component.
  • the weighting coefficient b 1 a) from the elongated face shown at the left end a
  • the face shape has changed to the round face shown at the right end.
  • the second principal component are extracted component contributing to the length of the open and closed states and jaw of the mouth, by varying the weighting factor b 2, b) mouth, as shown at the left end open
  • the face shape changes from a face with a long chin in the state to a face with a short chin with the mouth closed as shown at the right end.
  • what shape element each component contributes to depends on human interpretation.
  • a sample representing a larger shape difference in each used sample image is extracted as a lower-order principal component.
  • FIG. 17 shows an example of an image obtained by converting a sample image into an average face shape.
  • Each sample image is converted into an average face shape (warping). Specifically, the shift amount between each sample image and the average face shape is calculated for each feature point. Then, based on the shift amount, the shift amount to the average face shape for each pixel of each sample image is calculated, and each sample image is warped to the average face shape for each pixel.
  • A is a vector (r1, g1, b1, r2, g2, b2,..., Which is expressed by arranging the pixel values of the R, G, and B color components of each pixel under the average face shape.
  • rm, gm, bm are pixel values of R, G, and B color components
  • 1 to m are subscripts for identifying each pixel
  • m is the total number of pixels in the average face shape.
  • the arrangement order of the vector components is not limited to the above order.
  • a 0 is an average vector expressed by arranging average values of pixel values of R, G, and B color components for each pixel of each sample image in the average face shape
  • q i is a face obtained by principal component analysis.
  • the eigenvector representing the i-th principal component for the pixel values of the R, G, B color components, ⁇ i represents a weighting coefficient for each eigenvector q i .
  • FIG. 18 schematically shows an example of a change in pixel value when the weighting coefficient q is changed.
  • This figure schematically shows how the face pixel values change when the values of the weighting coefficients ⁇ 1 and ⁇ 2 for the eigenvectors q 1 and q 2 of the top two principal components obtained by principal component analysis are changed. It expresses. a) shows the change of the pixel value when the weighting coefficient ⁇ 1 is changed, and b) shows the change of the pixel value when the weighting coefficient ⁇ 2 is changed. In both a) and b), the center of the three face shapes for each principal component indicates an average pixel value.
  • the results of principal component analysis are extracted component contributing to the presence or absence of beard, by varying the weighting factor lambda 1, from the face without beard shown in a) left a) It can be seen that the face changes to the dark face shown at the right end.
  • the second principal component a component contributing to the darkness of the eyebrows is extracted, and by changing the weighting coefficient ⁇ 2 , b) the face with a thin eyebrow as shown at the left end, and b) the face shown at the right end. It can be seen that the navel changes to a dark face.
  • the face model is generated by the processing described with reference to FIGS.
  • This model represents a face by a plurality of eigenvectors p i representing the face shape and eigenvectors q i representing the pixel values of the face under the average face shape.
  • the total number of eigenvectors of the model is significantly smaller than the number of pixels forming the face image.
  • the shape and pixel value are expressed by separate weighting coefficients b i and ⁇ i for the face shape and the pixel values of the R, G, and B color components. Since there is a correlation between pixel value variations of color components and color components, it is possible to perform principal component analysis on feature parameters including both feature points and pixel values.
  • the image generation unit 380 normalizes the input face image included in the feature region, and calculates pixel values of R, G, and B color components in average face shaping.
  • the input face image may not necessarily be an image from the front, or the illumination condition may be different from the illumination condition when a sample image is captured. Therefore, normalization here refers not only to the process of aligning the feature points of the front face described above, but also to converting the orientation of the input face image obtained by imaging from the diagonal to the face image captured from the front. And conversion processing into a face image captured in a shooting environment equivalent to that of the sample image, such as shadow removal processing for removing the influence of shadows due to illumination.
  • the image generation unit 380 calculates the weighting coefficient ⁇ i by projecting the difference from the pixel value for the average face onto the principal component vector q i . Specifically, the image generation unit 380 can calculate the weighting coefficient ⁇ i by the inner product with the principal component vector q i . Then, the image generation unit 380 calculates the pixel value A under the average face shape using the calculated weighting coefficient ⁇ i , the average face pixel value A 0 , and the principal component vector q i .
  • the image generation unit 380 also calculates the facial feature point S by the same process as the pixel value A calculation process described above. Specifically, the image generation unit 380 calculates the weighting coefficient b i by projecting the difference in the position of the feature point with respect to the average face to the principal component vector p i , and calculates the calculated weighting coefficient b i , Using the average face feature point S 0 and the principal component vector p i , the feature point A is calculated. Then, the image generation unit 380 performs an inverse conversion process on the image represented by the pixel value A and the feature point A except for the process of aligning the feature points in the normalization process.
  • the image generation unit 380 generates a high-quality image with higher image quality than the captured image from the image of the feature region in the captured image output from the output unit 207.
  • the image generation unit 380 has a higher resolution image, a sharper image, an image with less noise, and a greater number of gradations than the image of the feature region in the captured image output from the output unit 207. It is possible to generate an image with a large number of images or an image with a larger number of colors.
  • FIG. 19 shows an example of a model stored in the model storage unit 350 in a table format.
  • the model storage unit 350 stores a model for each combination of a plurality of facial expressions and a plurality of directions. Expressions include faces and true faces in each state of emotions, and directions include front, upper, lower, right, left, and rear.
  • the image generation unit 380 specifies facial expressions and face directions based on the image contents of the face image included in the feature region, and stores them in the model storage unit 350 in association with the specified combinations of facial expressions and directions.
  • the above-described reconstruction process can be performed using the existing model.
  • the image generation unit 380 can specify a facial expression from the shape of the mouth and / or eyes, and can specify the direction of the face from the positional relationship of the eyes, mouth, nose, and ears.
  • the image processing apparatus 120 may specify the facial expression and the face direction, and the output unit 207 may output the facial expression and the face direction in association with the captured image.
  • the model storage unit 350 may store the model in association with the lighting conditions as described above.
  • the model storage unit 350 may store the model in association with the illumination intensity and the illumination direction.
  • the image generation unit 380 may specify the illumination condition for the face based on the image content of the face image included in the feature region.
  • the image generation unit 380 identifies the illumination intensity and the illumination direction based on the position and size of the shadow, and associates the model stored in the model storage unit 350 with the identified illumination intensity and illumination direction.
  • the above-described reconstruction process can be performed.
  • the image processing system 10 can use a model for each part of the face.
  • the image processing system 10 can use a model of a face (or a part of a face) for each gender and / or race.
  • the image processing system 10 can store a model for each type of object that the image processing system 10 is to monitor, such as a vehicle and a ship, in addition to a human model.
  • the image generation unit 380 can also select and reconfigure a model according to the type of object included in the feature region. Such a type may be detected by the image processing apparatus 120 and transmitted to the image processing apparatus 170 in association with the captured image.
  • the model storage unit 350 can store models of different types of objects in association with the types. Then, the feature area information acquisition unit 360 acquires information indicating the type of object imaged in the feature area in the input image. Then, the image generation unit 380 stores the image of the object included in the feature region in the captured image in association with the type of the object captured in the feature region acquired by the feature region information acquisition unit 360, and is stored in the model storage unit 350. The image is converted into a high-quality image by adapting to the model.
  • the feature region is super-resolved using a model, while the background region is not super-resolved using a model. For this reason, the calculation amount of the super-resolution processing can be significantly reduced. In addition, since the image quality is not improved in the low importance area such as the background area, the data amount of the image can be reduced. In addition, according to the image processing system 10, since the information specifying the feature area is transmitted to the image processing apparatus 170, it is possible to prevent the background area containing only low-quality information from being erroneously super-resolved. Can be prevented.
  • the model storage unit 350 stores learning data for each face part (for example, eyes, nose, mouth, etc.) as an example of information for identifying the type of object.
  • the learning data may include a low frequency component and a high frequency component of the image of the object respectively extracted from a large number of sample images of the object in addition to the model.
  • the model storage unit 350 functions as an object image information storage unit that stores the high-frequency component of the object image in association with the type of the object.
  • the image generation unit 380 extracts a low frequency component from the image of the object included in the captured image. Then, the image generation unit 380 has a cluster in which a value suitable for the extracted low-frequency component is determined as a representative low-frequency component among the low-frequency component clusters extracted from the sample image of the object of the object type. Is identified. Then, the image generation unit 380 specifies a cluster of high frequency components associated with the low frequency component included in the specified cluster. In this way, the image generation unit 380 can identify a cluster of high frequency components that are correlated with the low frequency components extracted from the objects included in the captured image.
  • the image generation unit 380 may convert the image of the object into a higher quality image with higher frequency components that represent the identified cluster of higher frequency components. For example, the image generation unit 380 may add the high-frequency component selected for each object with a weight corresponding to the distance from the center of each object to the processing target position on the face to the object image. Note that the representative high-frequency component may be generated by closed-loop learning. As described above, the image generation unit 380 selects and uses desired learning data for each object from the learning data generated by learning for each object. There are cases where image quality can be improved.
  • the image processing apparatus 170 can reconstruct the image of the feature region using principal component analysis (PCA).
  • PCA principal component analysis
  • LDP local preserving projection
  • LDA Linear discriminant analysis
  • ICA independent component analysis
  • MDS multidimensional scaling
  • support vector machine support vector regression
  • neural network hidden Markov model
  • Bay Inference maximum posterior probability estimation
  • wavelet transform local linear embedding (locally li ear embedding: LLE), Markov random field (Markov random field: MRF) technique or the like
  • MRF Markov random field
  • the image processing apparatus 170 improves the image quality of the feature region image by performing super-resolution processing on the feature region image.
  • the image processing apparatus 170 performs processing that combines the processing of the image processing apparatus 170 described with reference to FIGS. 1 to 13 and the processing of the image processing apparatus 170 described with reference to FIGS. can do.
  • the image processing apparatus 170 obtains a captured image obtained by performing the super-resolution processing described with reference to FIGS.
  • the number of feature areas, the position of the feature area, the size of the feature area, the information specifying the type of object included in the feature area, and the like are recorded in the image DB 175. Then, as described with reference to FIGS.
  • the image processing apparatus 170 responds to an instruction from the supervisor, the number of feature areas associated with the captured image, the position of the feature area, and the feature Based on information such as the size of the region and the type of object included in the feature region, for example, images of the feature region can be displayed at the same position with the same size.
  • FIG. 20 shows an example of the image processing system 20 according to another embodiment.
  • the configuration of the image processing system 20 according to the present embodiment is the same as the image processing apparatus 20 described above with reference to FIG. 1 except that the imaging devices 100a-d have image processing units 804a-d (hereinafter collectively referred to as image processing units 804).
  • the configuration of the processing system 10 is the same.
  • the image processing unit 804 has components other than the image acquisition unit 250 among the components included in the image processing device 120.
  • the functions and operations of the constituent elements included in the image processing unit 804 are replaced with that the constituent elements included in the image processing device 120 process the captured moving image obtained by the decompression processing by the compressed moving image decompression unit 202.
  • the functions and operations of the components included in the image processing apparatus 120 may be substantially the same except that the captured moving image captured by the imaging unit 102 is processed. Also in the image processing system 20 having such a configuration, substantially the same effect as that described in relation to the image processing system 10 from FIGS. 1 to 13 can be obtained.
  • the image processing unit 804 acquires a captured moving image including a plurality of captured images expressed in the RAW format from the imaging unit 102, and RAWs the captured images expressed in the RAW format included in the acquired captured moving image. You can compress it as it is.
  • the image processing unit 804 may detect one or more feature regions from a plurality of captured images expressed in the RAW format.
  • the image processing unit 804 may compress a captured moving image including a plurality of compressed captured images in the RAW format.
  • the image processing unit 804 can compress the captured moving image by the compression method described as the operation of the image processing apparatus 120 in relation to FIGS.
  • the image processing apparatus 170 can acquire a plurality of captured images represented in the RAW format by expanding the moving image acquired from the image processing unit 804.
  • the image processing apparatus 170 enlarges each of the plurality of captured images expressed in the RAW format acquired by decompression for each region, and performs synchronization processing for each region. At this time, the image processing apparatus 170 may perform synchronization processing with higher accuracy in the feature region than in the region other than the feature region.
  • the image processing device 170 may perform super-resolution processing as described in relation to FIGS. 14 to 19 on the image of the feature region in the captured image obtained by the synchronization processing.
  • the image processing apparatus 170 calculates the above-described weighting coefficient in the super-resolution processing.
  • the image of the object included in the feature region is represented by the principal component vector and the weighting coefficient.
  • the data amount of the weighting coefficient and the principal component vector is the pixel data of the object image itself. Significantly smaller than the amount.
  • the image processing unit 804 may calculate the above-described weighting coefficient from the image of the object included in the feature area in the compression processing for compressing the image of the feature area in the plurality of captured images acquired from the imaging unit 102. That is, the image processing unit 804 can compress the image of the object included in the feature region by representing the principal component vector and the weighting coefficient. Then, the image processing unit 804 may transmit the principal component vector and the weighting coefficient to the image processing apparatus 170. In the image processing apparatus 170, the image of the object included in the feature region can be reconstructed using the principal component vector and the weighting coefficient acquired from the image processing unit 804 as described above.
  • the image processing unit 804 represents the object included in the image of the feature region by adapting the image of the object included in the image of the feature region in the captured image to the model in which the object is expressed by the feature parameter.
  • the feature parameter value in the model may be calculated.
  • the image processing unit 804 may output the calculated feature parameter value and an image of an area other than the feature area.
  • the image processing apparatus 170 generates an object image by applying the characteristic parameter value acquired from the image processing unit 804 to the model, and uses the generated object image and an image of an area other than the characteristic area.
  • One captured image may be generated.
  • FIG. 21 shows an example of the hardware configuration of the image processing device 120 and the image processing device 170.
  • the image processing device 120 and the image processing device 170 include a CPU peripheral unit, an input / output unit, and a legacy input / output unit.
  • the CPU peripheral section includes a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 that are connected to each other by a host controller 1582.
  • the input / output unit includes a communication interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560 that are connected to the host controller 1582 by the input / output controller 1584.
  • the legacy input / output unit includes a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584.
  • the host controller 1582 connects the RAM 1520, the CPU 1505 that accesses the RAM 1520 at a higher transfer rate, and the graphic controller 1575.
  • the CPU 1505 operates according to the contents of the programs stored in the ROM 1510 and the RAM 1520 and controls each unit.
  • the graphic controller 1575 acquires image data generated by the CPU 1505 or the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580.
  • the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.
  • the input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices.
  • the hard disk drive 1540 stores programs and data used by the CPU 1505.
  • the communication interface 1530 is connected to the network communication device 1598 to transmit / receive programs or data.
  • the CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.
  • the input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570.
  • the ROM 1510 stores a boot program that is executed when the image processing device 120 and the image processing device 170 are started, or a program that depends on the hardware of the image processing device 120 and the image processing device 170.
  • the flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.
  • the input / output chip 1570 connects various input / output devices via the flexible disk drive 1550 or a parallel port, serial port, keyboard port, mouse port, and the like.
  • the program executed by the CPU 1505 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user.
  • the program stored in the recording medium may be compressed or uncompressed.
  • the program is installed in the hard disk drive 1540 from the recording medium, read into the RAM 1520, and executed by the CPU 1505.
  • the program executed by the CPU 1505 causes the image processing apparatus 120 to function as each component included in the image processing apparatus 120 described with reference to FIGS. 1 to 20, and causes the image processing apparatus 170 to function as illustrated in FIGS. 1 to 20. It is made to function as each component which image processing apparatus 170 which was explained related has.
  • the programs shown above may be stored in an external storage medium.
  • an optical recording medium such as DVD or PD, a magneto-optical recording medium such as MD, a tape medium, a semiconductor memory such as an IC card, and the like can be used.
  • a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet is used as a recording medium, and is provided to the image processing device 120 and the image processing device 170 as a program via the network. Also good.
  • the computer controlled by the program functions as the image processing device 120 and the image processing device 170.

Abstract

　動きベクトルを高速に算出することができる画像処理システムを提供する。画像処理システムは、動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出する特徴領域検出部と、複数の動画構成画像の間において相関が高い特徴領域を特定する特徴領域特定部と、特徴領域特定部が特定した相関が高い特徴領域の間の位置差を算出する位置差算出部と、位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する探索領域決定部と、探索領域決定部が決定した動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて動画を圧縮する圧縮部とを備える。

Description

画像処理システム、画像処理方法、およびプログラムを記憶する媒体
　本発明は、画像処理システム、画像処理方法、およびプログラムを記憶するコンピュータにより読み取り可能な媒体に関する。本出願は、下記の日本出願に関連し、下記の日本出願からの優先権を主張する出願である。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の一部とする。
　１．特願２００８－１００５４２　　出願日　２００８年４月８日
　参照画像データに対する原画像データの画面全体のずれ量となる全体ベクトルを検出するとともに、全体ベクトルを決定する際のずれ量だけ参照画像データと原画像データとを互いにずらし配置する際の相関度を算出して、全体ベクトルと相関度とから動きベクトルの探索領域の大きさと位置とを指定して、探索領域に対しブロックマッチングすることで各処理ブロックの動きベクトルを検出する動きベクトル検出装置が知られている（例えば、特許文献１参照。）。また、マクロブロックに対する動きベクトル候補に対応する原画像及び参照画像の各々の画素の信号強度差を累積加算して累積結果の最小のものを動きベクトルとして選択する動きベクトル検出回が知られている（例えば、特許文献２参照。）。
特開２００５－２２８３０３号公報 特開平１１－２１９４３６号公報
　上記特許文献の技術によると、画像内のオブジェクトの動き量に応じて探索範囲の広さを制御することができない。このため、オブジェクトの動き量が小さい場合であっても広い探索領域を探索してしまい、動きベクトルを高速に算出することができない虞がある。
　上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出する特徴領域検出部と、複数の動画構成画像の間において相関が高い特徴領域を特定する特徴領域特定部と、特徴領域特定部が特定した相関が高い特徴領域の間の位置差を算出する位置差算出部と、位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する探索領域決定部と、探索領域決定部が決定した動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて動画を圧縮する圧縮部とを備える。
　本発明の第２の形態によると、画像処理方法であって、動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出する特徴領域検出段階と、複数の動画構成画像の間において相関が高い特徴領域を特定する特徴領域特定段階と、特徴領域特定段階において特定された相関が高い特徴領域の間の位置差を算出する位置差算出段階と、位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する探索領域決定段階と、探索領域決定段階において決定された動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて、動画を圧縮する圧縮段階とを備える。
　本発明の第３の形態によると、画像処理システム用のプログラムを記憶するコンピュータにより読み取り可能な媒体であって、該プログラムは、コンピュータを、動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出する特徴領域検出部、複数の動画構成画像の間において相関が高い特徴領域を特定する特徴領域特定部、特徴領域特定部が特定した相関が高い特徴領域の間の位置差を算出する位置差算出部、位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する探索領域決定部、探索領域決定部が決定した動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて動画を圧縮する圧縮部として機能させる。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
一実施形態に係わる画像処理システム１０の一例を示す図である。 画像処理装置１２０のブロック構成の一例を示す図である。 圧縮部２３０のブロック構成の一例を示す図である。 画像処理装置１７０のブロック構成の一例を示す図である。 圧縮部２３０の他のブロック構成の一例を示す図である。 撮像装置１００により得られた撮像動画の一例を示す図である。 特徴領域または背景領域における階調値のヒストグラム７００の一例を示す図である。 階調変換用の変換曲線の一例を示す図である。 圧縮制御部２１０が領域毎に圧縮パラメータを選択する選択方法の一例を示す図である。 動きベクトル探索範囲の一例を示す図である。 位置差の大きさに対する探索領域幅の依存性の一例を示す図である。 特徴領域内の部分領域の重要度レベルを示す図である。 表示装置１８０による表示例を示す図である。 他の構成における画像処理装置１７０のブロック構成の一例を示す図である。 人間の顔における特徴点の一例を示す図である。 重みづけ係数ｂを変化させた場合の顔形状の変化の一例を模式的に示す図である。 サンプル画像を平均顔形状に変換して得られた画像の一例を示す図である。 重みづけ係数ｑを変化させた場合の画素値の変化の一例を模式的に示す図である。 モデル格納部３５０が格納しているモデルの一例をテーブル形式で示す図である。 他の実施形態に係る画像処理システム２０の一例を示す図である。 画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す図である。
１０　画像処理システム、２０　画像処理システム、１００　撮像装置、１０２　撮像部、１０４　撮像画像圧縮部、１１０　通信ネットワーク、１２０　画像処理装置、１３０　人物、１４０　移動体、１５０　監視対象空間、１６０　空間、１７０　画像処理装置、１７５　画像ＤＢ、１８０　表示装置、２０１　圧縮画像取得部、２０２　圧縮動画伸張部、２０３　特徴領域検出部、２０４　画質取得部、２０５　条件取得部、２０６　対応付け処理部、２０７　出力部、２０８　出力画像数取得部、２０９　閾値取得部、２１０　圧縮制御部、２１２　特徴領域特定部、２１４　位置差算出部、２１６　探索領域決定部、２３０　圧縮部、２３２　画像分割部、２３４　固定値化部、２３６　圧縮処理部、２４０　画像変換ユニット、２４１　画像変換部、２５０　画像取得部、２６２　解像度決定部、２６４　階調数決定部、２６６　色数決定部、２６８　ダイナミックレンジ決定部、３０１　画像取得部、３０２　対応付け解析部、３１０　伸張制御部、３２０　伸張部、３２２　復号器、３３２　画像拡大部、３３０　合成部、３４０　出力部、３５０　モデル格納部、３６０　特徴領域情報取得部、３７０　特徴領域選択部、３７２　照明条件特定部、３７４　方向特定部、３７６　相関値取得部、３８０　画像生成部、３９０　指示取得部、５１０　画質変換部、５２０　差分処理部、５２２　階層間差分処理部、５３０　符号化部、５３２　符号器、６００　撮像画像、６０１　頭部領域、６０２　体部領域、６０３　移動体領域、６１０　撮像画像、６１１　頭部領域、６１２　体部領域、６２０　撮像画像、６２１　頭部領域、６２２　体部領域、６３０　撮像画像、６３１　頭部領域、６３２　体部領域、７００　ヒストグラム、７１０　特性長、８１０　変換曲線、８２０　変換曲線、８０４　画像処理部、１０００　撮像画像、１０１０　特徴領域、１０２０　領域、１１００　線、１２００　頭部領域、１２１０　眼部領域、１２１２　目領域、１２１４　眉領域、１２２０　口領域、１２３０　鼻領域、１２４０　耳領域、１３００　動画エリア、１３０１　注目画像エリア、１３１０　頭部領域、１３１１　頭部画像、１５０５　ＣＰＵ、１５１０　ＲＯＭ、１５２０　ＲＡＭ、１５３０　通信インターフェイス、１５４０　ハードディスクドライブ、１５５０　フレキシブルディスク・ドライブ、１５６０　ＣＤ－ＲＯＭドライブ、１５７０　入出力チップ、１５７５　グラフィック・コントローラ、１５８０　表示デバイス、１５８２　ホスト・コントローラ、１５８４　入出力コントローラ、１５９０　フレキシブルディスク、１５９５　ＣＤ－ＲＯＭ、１５９８　ネットワーク通信装置
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。
　画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ－ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された撮像画像を処理する画像処理装置１２０、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ－ｄ（以下、表示装置１８０と総称する。）を備える。画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
　撮像装置１００ａは、撮像部１０２ａおよび撮像画像圧縮部１０４ａを有している。撮像部１０２ａは、連続して監視対象空間１５０を撮像することによって複数の撮像画像を撮像する。なお、撮像部１０２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部１０４ａは、撮像部１０２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを画像処理装置１２０に出力する。
　なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置１２０は、複数の撮像装置１００のそれぞれにより生成された撮像動画データを、複数の撮像装置１００のそれぞれから取得する。
　そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。
　なお、画像処理装置１２０は、撮像画像における各特徴領域の画像を、特徴領域の特徴の種類に応じた色数および／または階調数の画像に変換する。また、画像処理装置１２０は、フレーム間圧縮における動きベクトルを算出する場合に、複数の撮像画像間における類似した特徴領域の位置の差が大きいほど、動きベクトルを算出するための動きベクトル探索範囲をより広くする。
　なお、画像処理装置１２０は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置１２０は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
　画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置１８０に供給する。なお、このとき、画像処理装置１７０は、特徴領域の画像が同じ大きさで表示される表示用動画を生成してよい。そして、表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。
　また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記録してもよい。なお、画像ＤＢ１７５は、ハードディスク等の不揮発性の記録媒体を有してよく、圧縮動画データおよび特徴領域情報を当該記録媒体に保持してよい。
　そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを、特徴領域情報を利用して伸張して表示用動画を生成して、表示装置１８０に供給してもよい。
　なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供してよい。
　このように、画像処理システム１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
　図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、画像取得部２５０、画質取得部２０４、条件取得部２０５、出力画像数取得部２０８、閾値取得部２０９、特徴領域検出部２０３、圧縮制御部２１０、圧縮部２３０、対応付け処理部２０６、および出力部２０７を備える。画像取得部２５０は、圧縮画像取得部２０１および圧縮動画伸張部２０２を有する。
　圧縮画像取得部２０１は、圧縮された動画を取得する。具体的には、圧縮画像取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮画像取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮画像取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。このように、画像取得部２５０は、複数の撮像装置１００のそれぞれにより撮像された複数の動画を取得する。
　なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であって、画像処理装置１２０および画像処理装置１７０は、撮像画像の他に、静止画などの単なる画像を処理してよい。
　圧縮動画伸張部２０２によって得られた複数の撮像画像は、特徴領域検出部２０３および圧縮部２３０に供給される。特徴領域検出部２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。
　例えば、特徴領域検出部２０３は、動画において画像内容が変化する画像領域を、特徴領域として検出する。例えば、特徴領域検出部２０３は、予め定められた条件に適合するオブジェクトを含む領域を、特徴領域として検出する。具体的には、条件取得部２０５は、特徴領域に含まれるオブジェクトが適合すべき条件を取得する。そして、特徴領域検出部２０３は、条件取得部２０５が取得した条件に適合するオブジェクトを含む領域を、特徴領域として検出する。
　具体的には、特徴領域検出部２０３は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
　なお、条件取得部２０５は、特徴領域に含まれるオブジェクトが適合すべき形状を示す条件を取得してよい。そして、特徴領域検出部２０３は、条件取得部２０５が取得した条件が示す形状に適合する形状のオブジェクトを含む領域を、特徴領域として検出してよい。具体的には、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。このように、特徴領域検出部２０３は、予め定められた形状のオブジェクトを含む領域を、特徴領域として検出してよい。なお、特徴領域検出部２０３は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
　また、特徴領域検出部２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７－１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部２０３は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。
　以上説明したように、特徴領域検出部２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部２０３は、検出した特徴領域を示す情報を、圧縮制御部２１０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。
　圧縮制御部２１０は、特徴領域特定部２１２、位置差算出部２１４、探索領域決定部２１６、解像度決定部２６２、階調数決定部２６４、色数決定部２６６、およびダイナミックレンジ決定部２６８を有する。特徴領域特定部２１２は、動画に含まれる複数の撮像画像の間において相関が高い特徴領域を特定する。位置差算出部２１４は、特徴領域特定部２１２が特定した相関が高い特徴領域の間の位置差を算出する。
　そして、探索領域決定部２１６は、位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する。具体的には、探索領域決定部２１６は、位置差の大きさが小さいほど、撮像画像における特徴領域に含まれる画像を圧縮する場合に用いられる動きベクトルが算出される動きベクトル探索領域をより狭く決定する。なお、特徴領域特定部２１２および位置差算出部２１４、および探索領域決定部２１６の動作の具体例については後に説明する。
　圧縮制御部２１０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。例えば、圧縮部２３０は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部２３０は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。なお、圧縮制御部２１０は、探索領域決定部２１６が決定した動きベクトル探索領域を示す情報を圧縮部２３０に供給する。そして、圧縮部２３０は、探索領域決定部２１６が決定した動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて動画を圧縮する。なお、圧縮部２３０のより具体的な内部の圧縮動作については、後に説明する。
　なお、特徴領域特定部２１２は、画像内容の一致度が予め定められた値より大きい特徴領域を、相関が高い特徴領域として特定する。例えば、特徴領域特定部２１２は、複数の撮像画像の間における特徴領域の画像の差分値が予め定められた値より小さい特徴領域を、相関が高い特徴領域として特定する。なお、閾値取得部２０９は、特徴領域における画像内容の一致度の閾値を画像処理装置１２０の外部から取得してよい。そして、特徴領域特定部２１２は、画像内容の一致度が当該閾値より大きい特徴領域を、相関が高い特徴領域として特定してよい。他にも、特徴領域特定部２１２は、大きさの一致度が予め定められた値より大きい特徴領域を、相関が高い特徴領域として特定してもよい。例えば、閾値取得部２０９は、特徴領域における大きさの一致度の閾値を画像処理装置１２０の外部から取得する。そして、特徴領域特定部２１２は、大きさの一致度が当該閾値より大きい特徴領域を、相関が高い特徴領域として特定する。
　他にも、特徴領域特定部２１２は、撮像画像における特徴領域の位置に関して予め定められた値より大きい相関を有する特徴領域を、相関が高い特徴領域として特定してよい。具体的には、特徴領域特定部２１２は、複数の撮像画像の間にわたる特徴領域の位置の変化に関して予め定められた値より大きい相関を有する特徴領域を、相関が高い特徴領域として特定してよい。また、より具体的には、特徴領域特定部２１２は、複数の撮像画像の間にわたる特徴領域の位置の移動方向に関して予め定められた値より大きい相関を有する特徴領域を、相関が高い特徴領域として特定してよい。他にも、特徴領域特定部２１２は、複数の撮像画像の間にわたる特徴領域の位置の移動速度に関して予め定められた値より大きい相関を有する特徴領域を、相関が高い特徴領域として特定してよい。なお、閾値取得部２０９は、特徴領域の位置に関する相関値の閾値を画像処理装置１２０の外部から取得してよい。そして、特徴領域特定部２１２は、動画構成画像における特徴領域の位置に関して、当該閾値より大きい相関値を有する特徴領域を、相関が高い特徴領域として特定してよい。
　なお、位置差算出部２１４は、フレーム間予測により圧縮される撮像画像と予測画像の元となる撮像画像との間において相関が高い特徴領域の位置差を算出する。例えば、位置差算出部２１４は、Ｉフレームとして処理される撮像画像とＰフレームとして処理される撮像画像との間において相関が高い特徴領域の位置差を算出する。他にも、位置差算出部２１４は、ＩフレームまたはＰフレームとして処理される撮像画像とＰフレームとして処理される撮像画像との間、あるいはＩフレームまたはＰフレームとして処理される撮像画像とＢフレームとして処理される撮像画像との間において相関が高い特徴領域の位置差を算出してよい。
　なお、特徴領域検出部２０３が撮像画像から複数の特徴領域を検出した場合には、特徴領域特定部２１２は、特徴領域検出部２０３が撮像画像から検出した複数の特徴領域のそれぞれについて相関が高い特徴領域を特定する。そして、位置差算出部２１４は、特徴領域検出部２０３が撮像画像から検出した複数の特徴領域のそれぞれについて位置差を算出する。そして、探索領域決定部２１６は、特徴領域検出部２０３が撮像画像から検出した複数の特徴領域のそれぞれについて算出された位置差の最大値が小さいほど、より狭い動きベクトル探索範囲を決定する。なお、探索領域決定部２１６は、特徴領域検出部２０３が撮像画像から検出した複数の特徴領域のそれぞれについて算出された位置差の平均値が小さいほど、より狭い動きベクトル探索範囲を決定してもよい。
　このように、探索領域決定部２１６は、特徴領域の動き量に応じて動きベクトル探索範囲を限定する。このため、圧縮部２３０は高速に動きベクトルを算出することができ、速やかに画像処理装置１７０に圧縮動画を提供することができる。
　なお、解像度決定部２６２は、複数の特徴領域の特徴の種類に応じて、複数の特徴領域のそれぞれにおける解像度を決定する。また、階調数決定部２６４は、複数の特徴領域の特徴の種類に応じて、複数の特徴領域のそれぞれにおける画素値の階調数を決定する。例えば、階調数決定部２６４は、複数の特徴領域の画像における階調値の頻度分布に基づいて、後述する画像変換部２４１により変換されて得られた画像における階調数を、複数の特徴領域のそれぞれについて決定する。
　また、色数決定部２６６は、複数の特徴領域の特徴の種類に応じて、複数の特徴領域のそれぞれにおける画素値を表現する色数を決定する。例えば、色数決定部２６６は、複数の特徴領域の画像における色の頻度分布に基づいて、画像変換部２４１により変換されて得られた画像における色数を、複数の特徴領域のそれぞれについて決定してよい。
　また、ダイナミックレンジ決定部２６８は、複数の特徴領域の特徴の種類に応じて、複数の特徴領域のそれぞれにおける画像のダイナミックレンジを決定する。例えば、ダイナミックレンジ決定部２６８は、複数の特徴領域の画像における階調値の頻度分布に基づいて、画像変換部２４１により変換されて得られた画像におけるダイナミックレンジを、複数の特徴領域のそれぞれについて決定する。なお、解像度決定部２６２、階調数決定部２６４、色数決定部２６６、およびダイナミックレンジ決定部２６８はさらに、それぞれ背景領域における解像度、階調数、色数、およびダイナミックレンジを決定する。
　なお、上記の解像度、階調数、色数、およびダイナミックレンジは、画像処理装置１２０の外部から指定されてよい。具体的には、画質取得部２０４は、特徴領域の特徴に対応づけて、解像度、階調数、色数、およびダイナミックレンジの少なくともいずれかを取得する。そして、解像度決定部２６２は、複数の特徴領域のそれぞれにおける解像度を、特徴領域の特徴の種類に対応づけて画質取得部２０４が取得した解像度に決定してよい。また、階調数決定部２６４は、複数の特徴領域のそれぞれにおける階調数を、特徴領域の特徴の種類に対応づけて画質取得部２０４が取得した階調数に決定してよい。また、色数決定部２６６は、複数の特徴領域のそれぞれにおける色数を、特徴領域の特徴の種類に対応づけて画質取得部２０４が取得した色数に決定してよい。また、ダイナミックレンジ決定部２６８は、複数の特徴領域のそれぞれにおける解像度を、特徴領域の特徴の種類に対応づけて画質取得部２０４が取得したダイナミックレンジに決定してよい。
　解像度決定部２６２が決定した解像度、階調数決定部２６４が決定した階調数、色数決定部２６６が決定した色数、およびダイナミックレンジ決定部２６８が決定したダイナミックレンジを示す情報は、圧縮部２３０に供給される。圧縮部２３０は、撮像画像における各領域の画像をそれら解像度、階調数、色数、およびダイナミックレンジの画像に変換することによって、撮像画像を圧縮する。
　なお、出力画像数取得部２０８は、特徴領域の特徴に対応づけて出力されるべき撮像画像の数を画像処理装置１２０の外部から取得する。例えば、画像処理装置１２０が複数の撮像装置１００のうちの一部の撮像装置１００により撮像された撮像画像を出力する場合に、出力画像数取得部２０８は、撮像画像が出力部２０７から出力されるべき撮像装置１００の数を、特徴領域の特徴に対応づけて画像処理装置１２０の外部から取得する。出力画像数取得部２０８が取得した数は、圧縮部２３０に供給される。圧縮部２３０は、画像取得部２５０から供給された撮像画像のうち、出力画像数取得部２０８から供給された数の撮像画像を特徴領域毎に選んで圧縮する。このようにして、出力部２０７は、撮像画像における複数の特徴領域のそれぞれから生成された特徴領域内画像であって、複数の特徴領域の特徴に対応づけて出力画像数取得部２０８が取得した数の特徴領域内画像を出力することができる。
　対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応づける。具体的には、対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域が対応付けされた圧縮動画を、画像処理装置１７０に出力する。
　そして、出力部２０７は、画像処理装置１２０から取得した圧縮動画を画像ＤＢ１７５に記録する。このように、出力部２０７は、特徴領域検出部２０３が検出した複数の特徴領域の位置を示す情報のそれぞれを、特徴領域が検出された撮像画像を識別する情報に対応づけて画像ＤＢ１７５に記録する。
　図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、複数の固定値化部２３４ａ－ｃ（以下、固定値化部２３４と総称する場合がある。）、複数の画像変換部２４１ａ－ｄ（以下、画像変換部２４１と総称する。）を含む画像変換ユニット２４０、および複数の圧縮処理部２３６ａ－ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。
　画像分割部２３２は、画像取得部２５０から複数の撮像画像を取得する。そして、画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。
　画像変換部２４１は、撮像画像を、撮像画像における特徴領域と画像における特徴領域以外の領域とで異なる階調数の画像に変換する。具体的には、画像変換部２４１は、画像における特徴領域以外の領域の画像を、特徴領域より少ない階調数の画像に変換する。
　より具体的には、画像変換部２４１は、画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められた階調数の画像にそれぞれ変換する。画像変換部２４１は、画像における複数の特徴領域の画像を、特徴領域の特徴の種類に応じて予め定められた階調数の画像にそれぞれ変換する。なお、画像変換部２４１は、画像における複数の特徴領域の画像を、特徴領域に含まれるオブジェクトの種類に応じて予め定められた階調数の画像にそれぞれ変換する。このように、本実施形態における特徴の種類とは、特徴領域に含まれるオブジェクトの種類であってよい。
　なお、各画像領域の階調数は、上述したように階調数決定部２６４によって決定される。そして、画像変換部２４１は、画像における複数の特徴領域の画像を、階調数決定部２６４が決定した階調数の画像にそれぞれ変換する。
　また、画像変換部２４１は、撮像画像を、撮像画像における特徴領域と画像における特徴領域以外の領域とで異なる色数の画像に変換する。具体的には、画像変換部２４１は、画像における特徴領域以外の領域の画像を、特徴領域より少ない色数の画像に変換する。なお、画像変換部２４１は、撮像画像における特徴領域以外の領域の画像を、特徴領域より少ない数の色成分から生成される色で表される画像に変換してよい。
　また、画像変換部２４１は、撮像画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められた色数の画像にそれぞれ変換してよい。なお、画像変換部２４１は、撮像画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められた組み合わせの色で表される画像にそれぞれ変換してよい。具体的には、画像変換部２４１は、撮像画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められた数の色成分から生成される色で表される画像にそれぞれ変換してよい。
　なお、各画像領域における色数は、上述したように色数決定部２６６によって決定される。そして、画像変換部２４１は、撮像画像における複数の特徴領域の画像を、色数決定部２６６が決定した色数の画像にそれぞれ変換する。
　画像変換部２４１は、撮像画像を、撮像画像における特徴領域と画像における特徴領域以外の領域とで異なるダイナミックレンジの画像に変換する。なお、画像変換部２４１は、画像における特徴領域以外の領域の画像を、特徴領域より広いダイナミックレンジの画像に変換する。具体的には、画像変換部２４１は、画像における複数の特徴領域の画像を、特徴領域の特徴に応じて予め定められたダイナミックレンジの画像にそれぞれ変換する。画像変換部２４１は、画像における複数の特徴領域の画像を、特徴領域の特徴の種類に応じて予め定められたダイナミックレンジの画像にそれぞれ変換する。
　なお、各画像領域におけるダイナミックレンジは、上述したようにダイナミックレンジ決定部２６８によって決定される。そして、画像変換部２４１は、画像における複数の特徴領域の画像を、ダイナミックレンジ決定部２６８が決定したダイナミックレンジの画像にそれぞれ変換する。なお、画像変換部２４１は、特徴領域および背景領域の画像を、上述した階調数、色数、およびダイナミックレンジの組み合わせ画像に変換してよい。
　そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
　具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。
　固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｃは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を圧縮する。
　なお、圧縮処理部２３６ａ－ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
　なお、圧縮処理部２３６ａ－ｃは、特徴領域を含むマクロブロックが符号化されて得られた符号化データ列の先頭に、当該データ列から復号することができる旨を示す符号を挿入してよい。当該符号としては、同期回復マーカを例示することができる。なお、圧縮処理部２３６ａ－ｃは、特徴領域を含まれる全てのマクロブロックが符号化されて得られた複数の符号化データ列のそれぞれの先頭に、上記符号を挿入してよい。なお、圧縮処理部２３６ａ－ｃは、特徴領域を含むマクロブロックが符号化されて得られた、連続する複数の符号化データ列の先頭にだけ上記符号を挿入してもよい。なお、圧縮処理部２３６ａ－ｃは、マクロブロックのＤＣ成分を符号化して得られた符号化データ列だけでなく、特徴領域を含むマクロブロックのＡＣ成分が符号化されて得られた符号化データ列の先頭に、上記符号を挿入する。
　なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ－ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。
　このようにして、画像変換部２４１により変換されて得られた撮像画像は、出力部２０７から出力される。具体的には、特徴領域検出部２０３が検出した複数の特徴領域を特定する情報が、画像変換部２４１により変換されて得られた撮像画像に対応づけて出力される。具体的には、特徴領域検出部２０３が検出した複数の特徴領域を特定する情報および複数の特徴領域の特徴を特定する情報が、画像変換部２４１により変換されて得られた画像に対応づけて出力部２０７から出力される。
　なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
　なお、圧縮部２３０は、特徴領域の面積に応じて異なる圧縮方式で圧縮する。例えば、圧縮部２３０は、一の撮像画像から検出された一以上の特徴領域の合計面積に応じて異なる圧縮方式で圧縮する。より具体的には、圧縮部２３０は、合計面積が所定の閾値以下である場合に、第１圧縮方式により圧縮し、合計面積が閾値以上である場合に、第２圧縮方式により圧縮する。例えば、圧縮部２３０は、合計面積が閾値以下であることを条件として、上述したように特徴領域と特徴領域以外の領域とを異なる強度で圧縮する。以下に、合計面積が閾値以上である場合における第２圧縮方式での動作を説明する。
　合計面積が閾値以上である場合には、圧縮処理部２３６のうち最も高い画質で撮像画像を圧縮する圧縮処理部２３６ｃにおいて全画像領域に対して圧縮処理がなされる。具体的には、固定値化部２３４ｃは、供給された撮像画像に対して固定値化処理をせずに、画像変換部２４１ｃに供給する。そして、画像変換部２４１ｃは、撮像画像を予め設定されている画質に変換する。なお、合計面積が閾値以上である場合には、画像変換部２４１ｃは、撮像画像に対して画質変換をしなくてもよい。そして、圧縮処理部２３６ｃは、画像変換部２４１ｃから供給された撮像画像を圧縮する。なお、圧縮処理部２３６ｃは、上述したように複数の撮像画像を動画として圧縮する。
　このように、合計面積が閾値以上である場合、圧縮部２３０は、撮像画像の全領域が特徴領域として検出されたと仮定した場合に行われる圧縮処理と同等の圧縮処理を実行する。第１圧縮方式での動作によると、特徴領域の画像は、圧縮処理部２３６ｄと圧縮処理部２３６ａ～ｃのいずれかとで重複して符号化されて共に出力される。このため、合計面積が著しく大きくなった場合に第１圧縮方式で処理してしまうと、背景領域が低画質化されることによる符号量の低減量を、上記重複分の符号量が上回ってしまう状況が生じる場合がある。
　したがって、そのような状況が生じることが予測される上記閾値を予め定めておいて、合計面積が当該閾値以上になった場合には、上述したように圧縮処理部２３６ｃに撮像画像の全領域画像を圧縮させることで、上述したように符号量が上回ってしまうことを未然に防ぐことができる場合がある。なお、合計面積が当該閾値以上になった場合には、特徴領域検出部２０３は、特徴領域を検出する時間的頻度を低下してもよい。例えば、特徴領域検出部２０３は、連続して撮像された複数の撮像画像のうち、一部の撮像画像から特徴領域を検出してよい。このとき、特徴領域検出部２０３は、合計面積がより大きい場合に、より少数の撮像画像から特徴領域を検出してよい。これにより、特徴領域検出に要する時間を短縮することができる。
　なお、合計面積が当該閾値以上になった場合にも、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｄは撮像画像を圧縮してもよい。この場合、出力部２０７は、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｄにより圧縮された圧縮データを少なくとも画像処理装置１７０に送信しなくてよい。他にも、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｄには全面が固定値化された撮像画像を供給して、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｄから出力された圧縮データを送信してもよい。以上説明したように、圧縮部２３０が合計面積に応じて圧縮処理方式を変更することによって、画像処理装置１７０に送信されるデータ量が増大してしまうことを容易に防ぐことができる場合がある。
　なお、本図では、圧縮部２３０が有する複数の圧縮処理部２３６のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２３０は一の圧縮処理部２３６を有してよく、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部２３６に時分割で順次供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
　他にも、一の圧縮処理部２３６は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２３６に供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画像変換ユニット２４０でなされてよい。また、上記のように一の圧縮処理部２３６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２３６が圧縮する形態では、一の圧縮処理部２３６は、一の画像を圧縮してもよく、本図で説明したように画像分割部２３２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２３６が一の画像を圧縮する場合には、画像分割部２３２による分割処理および固定値化部２３４による固定値化処理はなされなくてよいので、圧縮部２３０は、画像分割部２３２および固定値化部２３４を有しなくてよい。
　図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、画像取得部３０１、対応付け解析部３０２、特徴領域情報取得部３６０、伸張制御部３１０、伸張部３２０、合成部３３０、指示取得部３９０、特徴領域選択部３７０、画像生成部３８０、および出力部３４０を備える。
　画像取得部３０１は、圧縮部２３０により圧縮された圧縮動画を取得する。具体的には、画像取得部３０１は、複数の特徴領域動画および、第１撮像画像および第２撮像画像を動画構成画像として含む背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。
　対応付け解析部３０２は、画像ＤＢ１７５から取得した圧縮動画を、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０および特徴領域情報取得部３６０に供給する。
　このように、特徴領域情報取得部３６０は、動画に含まれる複数の撮像画像における特徴領域の位置を示す情報を取得する。特徴領域情報取得部３６０が取得した特徴領域情報は、合成部３３０、特徴領域選択部３７０、および画像生成部３８０に供給される。
　伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
　以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、複数の復号器３２２ａ－ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。
　合成部３３０は、伸張部３２０によって伸張された複数の特徴領域動画および背景領域動画を合成して、一の表示動画を生成する。具体的には、合成部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。合成部３３０は、生成した表示動画を出力部３４０に供給する。出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０に出力する。
　なお、合成部３３０によって生成された動画に含まれる複数の撮像画像のうち、特徴領域内の画像は特徴領域選択部３７０に供給される。特徴領域選択部３７０は、複数の特徴領域のうち、予め定められた条件に適合する複数の特徴領域を選択する。具体的には、特徴領域選択部３７０は、特徴の種類が異なる複数の特徴領域のうち、予め定められた種類の特徴を有する複数の特徴領域を選択する。より具体的には、特徴領域選択部３７０は、含まれるオブジェクトが異なる複数の特徴領域のうち、予め定められたオブジェクトを含む複数の特徴領域を選択する。
　そして、画像生成部３８０は、特徴領域選択部３７０が選択した複数の特徴領域の画像のそれぞれを縮小または拡大して表示画像をそれぞれ生成する。このように、画像生成部３８０は、特徴領域情報取得部３６０が取得した情報が示す位置に基づいて、複数の撮像画像にそれぞれ含まれる特徴領域の画像のそれぞれを縮小または拡大して略同一の大きさの表示画像をそれぞれ生成する。
　画像生成部３８０が生成した表示画像は、出力部３４０に供給される。なお、出力部３４０は、合成部３３０により生成された表示動画に、表示画像を重畳したり合成したりして表示装置１８０に表示させてよい。
　このように、画像生成部３８０は、特定の種類の特徴領域が検出された場合、あるいは特定のオブジェクトを含む特徴領域が検出された場合などに、それらの特徴領域の画像が同じ大きさで表示される表示画像を生成することができる。このため、特徴領域の画像はいつも同じ大きさで表示される。したがって、画像処理システム１０によると、監視者が見易い監視映像を提供することができる。
　なお、特徴領域選択部３７０は、複数の特徴領域のうち、予め定められた時間長さより長い期間にわたって動画から検出された複数の特徴領域を選択してよい。この場合、長い時間にわたって動画に現れるオブジェクトの映像を提供することができる。また、特徴領域選択部３７０は、複数の特徴領域のうち、予め定められた値より高い相関を有する複数の特徴領域を選択してよい。
　なお、画像処理装置１７０における上記の動作は、指示取得部３９０は、表示画像を表示すべき旨の指示を取得した場合になされてよい。すなわち、画像生成部３８０は、指示取得部３９０が指示を取得した場合に、動画に対応づけられて画像ＤＢ１７５に記録された情報が示す複数の特徴領域の位置に基づいて、複数の撮像画像にそれぞれ含まれる特徴領域の画像のそれぞれを縮小または拡大して略同一の大きさの表示画像をそれぞれ生成してよい。
　なお、伸張部３２０は、指示取得部３９０が指示を取得した場合に、複数の特徴領域の位置を示す情報のそれぞれが対応づけられて記録された情報によって識別される複数の撮像画像を特定する。そして、伸張部３２０は、圧縮された動画における、特定した複数の撮像画像が表示される表示タイミングを含む期間の部分動画を伸張する。このように、伸張部３２０は、指示取得部３９０が指示を取得した場合に、動画における特定の部分動画を伸張する。そして、画像生成部３８０は、指示取得部３９０が指示を取得した場合に、圧縮された動画に対応づけて記録された情報が示す複数の特徴領域の位置に基づいて、伸張部により伸張された部分動画に含まれる複数の撮像画像における複数の特徴領域の画像のそれぞれを縮小または拡大して表示画像を生成する。このため、画像処理装置１７０によると、表示画像を速やかに表示装置１８０に提供することができる。
　図５は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
　本構成における圧縮部２３０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ－ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ－ｄ（以下、符号器５３２と総称する。）を含む。
　画質変換部５１０は、画像取得部２５０から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
　例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（以後、第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（以後、第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（以後、第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
　そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
　なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。
　階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
　また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。
　階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。
　なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
　なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
　なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。
　以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
　また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
　以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
　図６は、撮像装置１００により得られた撮像動画の一例を示す。撮像装置１００ａが撮像した撮像動画Ａは複数の撮像画像６００－１～３（以後、撮像画像６００と総称する。）を含む。また、撮像装置１００ｂが撮像した撮像動画Ｂは複数の撮像画像６１０－１～３（以後、撮像画像６１０と総称する。）を含み、撮像装置１００ｃが撮像した撮像動画Ｃは複数の撮像画像６２０－１～３（以後、撮像画像６２０と総称する。）を含み、撮像装置１００ｄが撮像した撮像動画Ｄは複数の撮像画像６３０－１～３（以後、撮像画像６３０と総称する。）を含む。
　なお、撮像装置１００ａ、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄによる撮像領域は少なくとも一部が重複しているとする。そして、撮像装置１００ａ、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、互いに異なる方向から、当該重複する撮像領域を撮像しているとする。
　なお、特徴領域検出部２０３は、特徴領域の一例としての頭部領域６０１－１～３（以後、頭部領域６０１と総称する。）、体部領域６０２－１～３（以後、体部領域６０２と総称する。）、および移動体領域６０３－１～３（以後、移動体領域６０３と総称する。）を、撮像画像６００から検出している。また、特徴領域検出部２０３は、特徴領域の一例としての頭部領域６１１－１～３（以後、頭部領域６１１と総称する。）および体部領域６１２－１～３（以後、体部領域６１２と総称する。）を、撮像画像６１０から検出している。また、特徴領域検出部２０３は、特徴領域の一例としての頭部領域６２１－１～３（以後、頭部領域６２１と総称する。）および体部領域６２２－１～３（以後、体部領域６２２と総称する。）を、撮像画像６２０から検出している。また、特徴領域検出部２０３は、特徴領域の一例としての頭部領域６３１－１～３（以後、頭部領域６３１と総称する。）および体部領域６３２－１～３（以後、体部領域６３２と総称する。）を、撮像画像６３０から検出している。
　このように、異なる位置に設けられた複数の撮像装置１００から撮像された複数の撮像画像を画像取得部３０１が取得した場合に、出力部２０７は、出力する画像数を領域毎に決定してよい。例えば、出力部２０７は、特徴領域の種類に応じて予め定められた数の特徴領域の画像を出力する。具体的には、出力部２０７は、頭部領域については、４の撮像装置１００で撮像されて得られた４つ全ての撮像画像、例えば撮像画像６００－１、撮像画像６１０－１、撮像画像６２０－１、および撮像画像６３０－１から生成される頭部領域の画像（頭部領域６０１－１の画像、頭部領域６１１－１の画像、頭部領域６２１－１の画像、頭部領域６３１－１の画像）を出力すべき旨を決定する。
　また、出力部２０７は、体部領域については、異なる撮像装置１００で撮像された３つの撮像画像、例えば撮像画像６００－１、撮像画像６１０－１、および撮像画像６２０－１から生成される体部領域の画像（体部領域６０２－１の画像、体部領域６１２－１の画像、体部領域６２２－１の画像）を出力すべき旨を決定する。また、出力部２０７は、移動体領域については２の撮像装置１００で撮像された２つの撮像画像を出力すべき旨を決定して、背景領域については１の撮像装置１００で撮像された１つの撮像画像を出力すべき旨を決定する。
　なお、撮像画像６００－１、撮像画像６１０－１、撮像画像６２０－１、および撮像画像６３０－１のうち、移動体領域が検出されているのは撮像画像６００－１だけなので、出力部２０７は、撮像画像６００－１における移動体領域６０３－１の画像を出力すべき旨を決定する。また、出力部２０７は、背景領域については、撮像画像６００－１における背景領域の画像を出力すべき旨を決定する。
　なお、出力部２０７は、撮像装置１００に予め割り当てられた優先度に従って撮像画像６００を選択してよい。例えば、出力部２０７は、割り当てられた優先度がより高い撮像装置１００が撮像した撮像画像６００を、より優先して選択してよい。そして、出力部２０７は、選択した撮像画像６００に含まれる特徴領域の画像および背景領域の画像のうち、決定した画像数の画像を出力する。
　このように、出力部２０７は、第１の数の撮像画像からそれぞれ生成された特徴領域内に撮像されている被写体の画像である第１の数の特徴領域内画像、および第１の数と異なる第２の数の撮像画像からそれぞれ生成された特徴領域外に撮像されている被写体の画像である第２の数の特徴領域外画像を出力する。そして、出力部２０７は、第２の数より多い第１の数の撮像画像からそれぞれ生成された第１の数の特徴領域内画像を出力する。また、複数の特徴領域が検出されている場合には、出力部２０７は、撮像画像における特徴領域のそれぞれから生成された複数の特徴領域内画像のうち、複数の特徴領域の特徴に応じて予め定められた数の特徴領域内画像を出力する。
　このように、画像処理システム１０によると、背景領域に撮像されている被写体より特徴領域に撮像されている被写体がより多方向から撮像されている画像を提供することができる。このため、特徴領域に撮像されている被写体を後に高精度で解析することができる。また、画像処理システム１０によると、一部の撮像装置１００から撮像された撮像画像中の背景領域の画像は送信されないので、送信されるデータ量を著しく削減することができる。
　図７は、特徴領域または背景領域における階調値のヒストグラム７００の一例を示す。特性長７１０は、ヒストグラム７００が示す分布の拡がりを表している。なお、特性長７１０の一例としては、半値幅を例示することができる。
　階調数決定部２６４は、特徴領域の特徴の種類に応じて予め定められた階調数を決定する。また、階調数決定部２６４は、背景領域については、特徴領域に対して予め定められた階調数より少ない、予め定められた階調数を決定する。そして、階調数決定部２６４は、特性長７１０の長さが短いほどより少ない階調数を決定する。例えば、階調数決定部２６４は、特徴領域の特徴の種類に応じて予め定められた階調数から、特性長７１０の長さに反比例する数を減じた値を、特徴領域の画像の階調数として決定してよい。
　これにより、圧縮部２３０は、画像領域におけるヒストグラム７００が示す分布の拡がりがより小さい場合に、当該画像領域の画像をより少ない階調数の画像に変換する。このため、圧縮率が高まる。
　図８は、階調変換用の変換曲線の一例を示す。ダイナミックレンジ決定部２６８は、変換曲線８１０、変換曲線８２０等のように、入力画素値を変換する複数の変換曲線を予め記憶している。そして、ダイナミックレンジ決定部２６８は、予め記憶している複数の変換曲線の中から、各領域毎に一の変換曲線を選択する。なお、ダイナミックレンジ決定部２６８は、特徴領域に対しては広いダイナミックレンジを示す変換曲線を選択してよく、背景領域に対しては特徴領域より狭いダイナミックレンジを有する変換曲線を選択してよい。
　図９は、圧縮制御部２１０が領域毎に圧縮パラメータを選択する選択方法の一例を示す。圧縮制御部２１０は、領域の種類を識別する情報である種類ＩＤ、ヒストグラムのパターンを識別する情報、階調変換方法を識別する情報、およびカラーセットを識別する情報を対応づけて記憶している。種類ＩＤは、特徴領域であるか背景領域であるか、ならびに特徴領域の特徴の種類を識別する情報を示す。ヒストグラムのパターンを識別する情報は、図７に関連して説明したヒストグラムの分布を示す情報であってよい。一例として、ヒストグラムを識別する情報は、特性長７１０であってよい。
　階調変換方法を識別する情報は、ＬＵＴを識別する情報であってよい。当該ＬＵＴは、図８に関連して説明した変換曲線による変換を実現するＬＵＴであってよい。また、カラーセットを識別する情報は、画素値として使用し得る色の組み合わせを示すカラーセットであってよい。
　ダイナミックレンジ決定部２６８は、領域に合致する種類ＩＤおよび領域におけるヒストグラムのパターンに合致するパターンを識別する情報に対応づけて記憶されているＬＵＴを識別する情報を特定する。そして、ダイナミックレンジ決定部２６８は、当該情報によって特定されるＬＵＴ情報を圧縮部２３０に供給する。このようにして、ダイナミックレンジ決定部２６８は、ダイナミックレンジを領域毎に決定する。
　また、色数決定部２６６は、領域に合致する種類ＩＤおよび領域におけるヒストグラムのパターンに合致するパターンを識別する情報に対応づけて記憶されているカラーセットを特定する。色数決定部２６６は、当該情報によって特定されるカラーセットを圧縮部２３０に供給する。このようにして、色数決定部２６６は、使用される色数を領域毎に決定する。
　なお、特徴領域に対応づけて記憶されているカラーセットは、３以上の数の原色（例えば、５原色あるいは７原色）で表現された色から形成され、背景領域に対応づけて記憶されているカラーセットは、３原色（例えば、ＲＧＢ）で表現された色から形成されてよい。また、特徴領域に対応づけて記憶されているカラーセットは色差成分を有する色を含み、背景領域に対応づけて記憶されているカラーセットは色差成分を有する色を含まなくてもよい。なお、上記の色変換、ダイナミックレンジ変換、解像度変換、および階調数変換は、画像変換部２４１または画質変換部５１０によりなされる。
　図１０は、動きベクトル探索範囲の一例を示す。特徴領域検出部２０３は、撮像画像１０００－１および撮像画像１０００－３（以後、撮像画像１０００と総称する。）から、それぞれ特徴領域１０１０－１および特徴領域１０１０－３（以後、特徴領域１０１０と総称する。）を検出している。また、特徴領域１０１０－１および特徴領域１０１０－３は、相関が高い特徴領域として特徴領域特定部２１２により特定されているとする。
　この場合、位置差算出部２１４は、特徴領域１０１０－１および特徴領域１０１０－３の間の位置差を算出する。なお、特徴領域１０１０－３の重心が（ｘ１，ｙ１）にあり、特徴領域１０１０－１の重心が（ｘ２，ｙ２）にある場合に、位置差は（ｘ２―ｘ１，ｙ２―ｙ１）となるとする。そして、探索領域決定部２１６は、（ｘ２，ｙ２）を含む領域１０２０を、動きベクトル探索範囲として決定する。
このとき、探索領域決定部２１６は、位置差の大きさがより小さい場合に、より小さい領域１０２０を決定してよい。探索領域決定部２１６が決定した動きベクトル探索範囲は、圧縮部２３０に供給される。そして、圧縮部２３０は、特徴領域１０１０－３をフレーム間圧縮する場合に、探索領域決定部２１６が決定した動きベクトル探索範囲内で動き予測処理をすることにより、動きベクトルを算出する。
　このように、探索領域決定部２１６は、フレーム間予測により圧縮される撮像画像１０００－３における相関が高い特徴領域の位置から、当該圧縮される撮像画像１０００－３とフレーム間予測における予測画像の元となる撮像画像１０００－１との間における相関が高い特徴領域の位置差だけ離れた当該予測画像の元となる撮像画像１０００－１における位置の近傍領域に、圧縮される撮像画像１０００－３における特徴領域に含まれる画像を圧縮する場合に用いられる動きベクトルが算出される動きベクトル探索領域を決定する。したがって、圧縮部２３０は、狭められた範囲で動き予測すればよいので、動きベクトル算出時の演算量を低減することができる。このため、動きベクトルを高速に算出することができ、圧縮速度が向上する。また、圧縮部２３０は、より高い精度で動きベクトルを算出することができる。なお、探索領域決定部２１６は、位置差が示す特徴領域の移動方向の方向において、当該方向と垂直な方向の幅より長い動きベクトル探索領域を決定してよい。
　図１１は、位置差の大きさに対する探索領域幅の依存性の一例を示す。なお、位置差算出部２１４は、ｘ方向およびｙ方向のそれぞれにおける、画素単位で表された位置差を算出する。
　依存性を示す線１１００に示されるように、探索領域決定部２１６は、位置差算出部２１４が算出した位置差が予め定められたΔＮαまでの間、動きベクトル探索範囲の幅を単調増加させる。位置差算出部２１４が算出した位置差がΔＮα以上の場合には、探索領域決定部２１６は、動きベクトル探索領域の幅を上限値ΔＮβとする。このように、探索領域決定部２１６は、位置差の大きさが予め定められた値より大きい場合に、予め定められた広さの動きベクトル探索領域を決定する。なお、閾値取得部２０９は、位置差の閾値を画像処理装置１２０の外部から取得する。そして、探索領域決定部２１６は、位置差の大きさが閾値より大きい場合に、予め定められた広さの動きベクトル探索領域を決定する。以上説明したように、動きベクトル探索領域の幅に上限が設定されているので、動きベクトル探索範囲が必要以上の大きくなってしまうことを未然に防ぐことができる。
　図１２は、特徴領域内の部分領域の重要度レベルを示す。特徴領域検出部２０３は、特徴領域の一例としての頭部領域１２００内において、重要度が異なる複数の領域を検出する。例えば、特徴領域検出部２０３は、頭部領域１２００内において、眼部領域１２１０ａおよび眼部領域１２１０ｂ（以下、眼部領域１２１０と総称する。）、口領域１２２０、鼻領域１２３０、および耳領域１２４０ａおよび耳領域１２４０ｂ（以下、耳領域１２４０と総称する。）を検出する。
　なお、重要度は、眼部領域１２１０、鼻領域１２３０、口領域１２２０、耳領域１２４０の順で高いものとする。特徴領域検出部２０３が検出した頭部領域１２００内の各領域の位置を示す情報は、圧縮部２３０に供給される。そして、圧縮部２３０は、頭部領域１２００内の各領域の画像を、重要度に応じた強度で圧縮する。
　具体的には、圧縮部２３０は、頭部領域１２００内の各領域の画像について、符号量が各領域の重要度に応じて定められている目標符号量になるよう、空間周波数フィルタ強度および／または量子化係数を制御する。なお、重要度は、人物識別の正解率に基づいて予め定められていてよい。このように、圧縮部２３０は、頭部領域１２００から階層的検出された重要度が異なる各領域を、重要度に応じて圧縮する。これにより、画像処理装置１７０は、圧縮された撮像画像からでもより高い精度で人物を検出・認識することができる。
　また、特徴領域検出部２０３はさらに、眼部領域１２１０内においても、重要度が異なる複数の領域を検出する。例えば、特徴領域検出部２０３は、眼部領域１２１０内において、目領域１２１２ａおよび目領域１２１２ａ（以下、目領域１２１２と総称する。）、ならびに眉領域１２１４ａおよび眉領域１２１４ｂ（以下、眉領域１２１４と総称する。）を検出する。なお、目領域１２１２は眉領域１２１４より重要度が高いとしてよい。そして、圧縮部２３０は、頭部領域１２００内に各領域に対する圧縮処理と同様に、眼部領域１２１０内の各領域の画像を、重要度に応じた強度で圧縮してよい。
　図１３は、表示装置１８０による表示例を示す。表示装置１８０による表示エリアには、動画エリア１３００および注目画像エリア１３０１が含まれる。画像処理装置１７０は、合成部３３０によって得られた動画が動画エリア１３００に表示される動画データを表示装置１８０に提供する。また、画像処理装置１７０は、画像生成部３８０によって生成された表示画像が注目画像エリア１３０１に表示される動画データを表示装置１８０に提供する。
　具体的には、画像生成部３８０は、動画エリア１３００に表示される動画に含まれる人物の頭部領域１３１０ａ－ｃ（以下、頭部領域１３１０と総称する。）の画像である頭部画像１３１１ａ－ｃ（以下、頭部画像１３１１と総称する。）を生成する。なお、頭部領域１３１０は特徴領域の一例であり、頭部画像１３１１は上記表示画像の一例であってよい。
　このとき、画像生成部３８０は、頭部領域１３１０の画像を拡大または縮小することで大きさが揃えられた頭部画像１３１１を生成する。これにより、頭部画像１３１１が同じ大きさで表示されるので、監視者にとって見やすい監視映像となる。
　また、画像生成部３８０は、頭部領域１３１０の画像から、異なる位置に表示される頭部画像１３１１を生成する。なお、画像生成部３８０は、表示される領域が重複しない頭部画像１３１１を生成してよい。このように、画像生成部３８０は、複数の特徴領域の画像がそれぞれ予め定められた異なる位置に同時に表示される表示画像をそれぞれ生成する。
　なお、画像生成部３８０は、複数の頭部画像１３１１を含む動画を生成してよい。例えば、画像生成部３８０は、動画に含まれる複数の撮像画像のそれぞれにおける頭部領域１３１０の画像から、複数の頭部画像１３１１をそれぞれ生成してよい。このとき、特徴領域選択部３７０は、複数の撮像画像のそれぞれにおける複数の頭部領域１３１０のうち、頭部領域１３１０の下部領域の画像内容について予め定められた値より高い相関を有する複数の頭部領域１３１０を選択する。
　例えば、特徴領域選択部３７０は、複数の撮像画像のそれぞれにおける頭部領域１３１０の下部領域の画像から、服装のテクスチャ情報をそれぞれ抽出する。そして特徴領域選択部３７０は、抽出したテクスチャ情報が予め定められた値より大きい一致度で一致する下部領域の上部にある複数の頭部領域１３１０を、相関が高い頭部領域１３１０として選択してよい。他にも、特徴領域選択部３７０は、含まれる色の組み合わせが予め定められた値より大きい一致度で一致する下部領域の上部にある複数の頭部領域１３１０を、相関が高い頭部領域１３１０として選択してよい。
　そして、画像生成部３８０は、当該複数の頭部画像１３１１ａが同じ位置に連続して表示される動画を生成してよい。このように、画像生成部３８０は、特徴領域情報取得部３６０が取得した情報が示す位置に基づいて、複数の撮像画像にそれぞれ含まれる特徴領域の画像のそれぞれが略同一の位置に表示される表示画像を生成してよい。このとき、画像生成部３８０は、同一被写体が撮像されている特徴領域の画像のそれぞれが略同一の位置に表示される表示画像を生成してよい。
　なお、本図の例では、いずれの頭部画像１３１１も同じ大きさとしているが、画像生成部３８０は、頭部領域１３１０の位置に応じて予め定められた大きさの頭部画像１３１１を生成してもよい。例えば、画像生成部３８０は、より重要な位置にある頭部領域１３１０の画像から、より大きい頭部画像１３１１を生成してよい。本図の例では、画像生成部３８０は、カウンターからの距離が予め定められた距離より短い位置にある頭部領域１３１０（例えば、頭部領域１３１０ｂ）から、他の頭部画像１３１１より大きい頭部画像１３１１を生成してよい。したがって、画像処理システム１０によると、重要な領域に位置する人物の画像を強調表示することができる。
　このように、画像生成部３８０は、複数の特徴領域の画像のそれぞれを縮小または拡大して、複数の特徴領域の位置に応じた大きさの表示画像をそれぞれ生成してよい。なお、画像生成部３８０は、複数の特徴領域の画像のそれぞれを縮小または拡大して、複数の特徴領域が存在する位置が示す実空間における被写体の位置に応じた大きさの表示画像をそれぞれ生成してよい。また、画像生成部３８０は、複数の特徴領域の画像のそれぞれを縮小または拡大して、複数の特徴領域の大きさが示す実空間における被写体の大きさに応じた大きさの表示画像をそれぞれ生成してもよい。
　なお、画像生成部３８０は、複数の特徴領域の画像が動画における表示タイミングに応じて予め定められた位置に同時に表示される表示画像をそれぞれ生成してもよい。例えば、画像生成部３８０は、表示される順に所定の方向に並べて表示される頭部画像１３１１を生成してもよい。なお、当該特徴領域の画像が表示される位置は、特徴領域の大きさ、特徴領域に含まれる特定被写体の大きさ、または頭部の下部領域（例えば、服領域）の画像内容の少なくともいずれかに応じて決定されてよい。
　図１４は、画像処理装置１７０のブロック構成の他の一例を示す。本構成の画像処理装置１７０は、特徴領域の画像を超解像処理することにより、特徴領域を高画質化する。本構成の画像処理装置１７０は、画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、画像生成部３８０、特徴領域情報取得部３６０、特徴領域選択部３７０、照明条件特定部３７２、方向特定部３７４、相関値取得部３７６、モデル格納部３５０、出力部３４０を備える。画像生成部３８０は、画像拡大部３３２および合成部３３０を有する。
　画像取得部３０１は、圧縮部２３０により圧縮された圧縮動画を取得する。具体的には、画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。なお、圧縮動画は、画像処理装置１７０への入力動画の一例であってよい。また、圧縮動画に動画構成画像として含まれる撮像画像は、画像処理装置１７０への入力画像の一例であってよい。このように、このように、画像取得部３０１は、圧縮部２３０により低画質化された撮像画像を入力画像として取得する。
　そして、対応付け解析部３０２は、圧縮動画を複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０および特徴領域情報取得部３６０に供給する。このようにして、特徴領域情報取得部３６０は、複数の撮像画像のそれぞれにおける特徴領域を示す情報、例えば特徴領域の位置を示す情報を取得することができる。
　伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
　以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、複数の復号器３２２ａ－ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。伸張部３２０は、復号して得られた第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を、画像生成部３８０に供給する。
　画像生成部３８０は、第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画、特徴領域情報に基づいて一の表示動画を生成する。そして、出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。
　特徴領域選択部３７０は、複数の撮像画像のそれぞれにおける特徴領域のうち、予め定めた値より高い相関を有する第１特徴領域および第２特徴領域を選択する。具体的には、相関値取得部３７６は、当該相関に関する閾値を取得する。そして、特徴領域選択部３７０は、複数の動画構成画像のそれぞれにおける特徴領域のうち、相関値取得部３７６が取得した閾値より高い相関を有する第１特徴領域および第２特徴領域を選択する。
　例えば、特徴領域選択部３７０は、複数の撮像画像のそれぞれから検出された特徴領域のうち、画像内容の一致度が予め定められた値より高い第１特徴領域および第２特徴領域を選択してよい。
　他にも、特徴領域選択部３７０は、複数の撮像画像のそれぞれにおける特徴領域の位置に基づいて、第１特徴領域および第２特徴領域を選択してよい。例えば、特徴領域選択部３７０は、複数の撮像画像にわたる特徴領域の位置の変化量に基づいて、圧縮動画において移動速度の変化量が予め定められた値より小さい特徴領域である第１特徴領域および第２特徴領域を選択してよい。また、特徴領域選択部３７０は、複数の撮像画像にわたる特徴領域の位置の変化方向に基づいて、入力動画において移動方向の変化量が予め定められた値より小さい特徴領域である第１特徴領域および第２特徴領域を選択してよい。そして、特徴領域選択部３７０は、選択した第１特徴領域および第２特徴領域を示す情報を画像生成部３８０に供給する。
　そして、画像生成部３８０は、第１特徴領域の画像、第２特徴領域の画像、および第１特徴領域と第２特徴領域との間の位置差を用いて、第１特徴領域の画像および第２特徴領域の画像より高解像度な高画質画像を生成する。例えば、画像生成部３８０は、第１特徴領域の画像と第２特徴領域の画像とを位置差に基づいて合成することによって、高画質画像を生成する。例えば、画像生成部３８０は、第１特徴領域の画像と第２特徴領域の画像とを、当該位置差だけずらして重ね合わせることによって、高画質画像を生成する。
　なお、特徴領域選択部３７０は、複数の撮像画像のそれぞれから検出された特徴領域のうち、予め定めた値より高い相関を有する３以上の特徴領域を選択してもよい。そして、画像生成部３８０は、３以上の特徴領域の画像、および３以上の特徴領域の位置の差を用いて、３以上の特徴領域の画像より高解像度な高画質画像を生成してもよい。
　画像拡大部３３２は、撮像画像における特徴領域以外の領域の画像を、当該高画質画像と同じ解像度の画像に拡大する。そして、合成部３３０は、画像拡大部３３２により得られた画像と、高画質画像とを合成して、表示動画の動画構成画像としての一の撮像画像を生成する。このように、画像生成部３８０は、撮像画像における特徴領域以外の領域の画像を、高画質画像と同じ解像度の画像に拡大し、拡大して得られた画像と高画質画像とを合成することによって、一の撮像画像を生成する。画像生成部３８０は、複数の撮像画像のそれぞれに上記処理を施すことによって、複数の撮像画像を動画構成画像として含む表示動画を生成する。
　なお、画像生成部３８０は、特徴領域に含まれる物体の画像を数学モデルに適合させることにより、高画質画像を生成してよい。具体的には、モデル格納部３５０は、特徴パラメータで物体が表現されたモデルを格納する。より具体的には、モデル格納部３５０は、統計的な特徴パラメータで物体が表現されたモデルを格納する。例えば、モデル格納部３５０は、主成分分析に基づく主成分（例えば、主成分ベクトル）で物体が表現されたモデルを格納する。
　なお、モデル格納部３５０は、主成分分析に基づく主成分で物体の形状が表現されたモデルを格納してよい。また、モデル格納部３５０は、主成分分析に基づく主成分で物体の色が表現されたモデルを格納してよい。
　そして、画像生成部３８０は、撮像画像における特徴領域に含まれる物体の画像をモデルに適応させることによって、撮像画像における特徴領域に含まれる物体の画像を、当該撮像画像より高画質な高画質画像に変換する。
　なお、モデル格納部３５０は、異なる方向から見た物体のモデルを、当該方向に対応づけて格納している。そして、方向特定部３７４は、撮像画像における特徴領域に撮像されている物体が撮像された方向を特定する。そして、画像生成部３８０は、撮像画像における特徴領域に含まれる物体の画像を、方向特定部３７４が特定した方向に対応づけてモデル格納部３５０が格納しているモデルに適応させることによって、高画質画像に変換してよい。
　また、モデル格納部３５０は、異なる照明条件で照明された物体のモデルを、当該照明条件に対応づけて格納している。そして、照明条件特定部３７２は、入力画像における特徴領域に撮像されている物体が照明された照明条件を特定する。そして、画像生成部３８０は、入力画像における特徴領域に含まれる物体の画像を、照明条件特定部３７２が特定した照明条件に対応づけてモデル格納部３５０が格納しているモデルに適応させることによって、高画質画像に変換する。このように、画像生成部３８０は、入力された撮像画像における特徴領域に含まれる物体の画像を、モデルに適応させることによって、入力された撮像画像より高解像度な高画質画像を生成する。
　そして、出力部３４０は、当該高画質画像および特徴領域以外の画像を含む画像を出力する。具体的には、出力部３４０は、上述したように合成部３３０により得られた撮像画像を動画構成画像として含む表示動画を出力する。
　図１５は、人間の顔における特徴点の一例を示す。図１４に関連して説明したように、モデル格納部３５０は、特徴パラメータで物体を表現するモデルを格納している。以下に、モデル格納部３５０が格納するモデルを生成する生成方法の一例として、物体の一例である人物の顔のモデルをＡＡＭ手法を用いて生成する場合について説明する。
　サンプルとなる人間の顔部分が表された複数の顔画像（以下、サンプル画像）の各々に対して、図１５に示すように、顔形状を表す特徴点をｎ個設定する。なお、ここでは、特徴点の数は顔画像の画素数より少ないものとする。各特徴点は、例えば、１番目の特徴点は左目の左端、１１番目の特徴点は眉の間の中央というように、顔のどの部位を示すかが予め定められていてよい。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定してもよい。
　そして、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。そして、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う。その結果、任意の顔形状Ｓは、Ｓ＝Ｓ０＋Σｐｉｂｉ（ｉ＝１～ｎ）によって表現することができる。
　ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ１，ｙ１，・・・，ｘｎ，ｙｎ）であり、Ｓ０は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐｉは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂｉは各固有ベクトルｐｉに対する重みづけ係数を表す。
　図１６は、重みづけ係数ｂを変化させた場合の顔形状の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ１、ｐ２に対する重みづけ係数ｂ１、ｂ２の値を変化させた場合の顔形状の変化の様子を模式的に表している。ａ）は、重みづけ係数ｂ１を変化させた場合の顔形状の変化を示しており、ｂ）は、重みづけ係数ｂ２を変化させた場合の顔形状の変化を示している。ａ）およびｂ）のいずれにおいても、各主成分についての３つの顔形状の中央のものは、平均的な顔形状を示す。
　この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ１を変化させることによって、ａ）左端に示す細長い顔からａ）右端に示す丸顔まで顔形状が変化していることがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ２を変化させることによって、ｂ）左端に示すような口が開いた状態で顎が長い顔から、ｂ）右端に示すような口が閉じられた状態で顎が短い顔まで、顔形状が変化することがわかる。なお、各主成分が結果としてどのような形状要素に寄与しているかは人間の解釈による。主成分分析により、使用された各サンプル画像においてより大きな形状の違いを表現するものがより低次の主成分として抽出される。
　図１７は、サンプル画像を平均顔形状に変換して得られた画像の一例を示す。各サンプル画像を、平均顔形状に変換（ワーピング）する。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出する。そして、当該シフト量に基づいて、各サンプル画像の画素毎の平均顔形状へのシフト量を算出して、各サンプル画像を画素毎に平均顔形状へワーピングする。
　そして、平均顔形状に変換後のサンプル画像毎の各画素のＲ，Ｇ，Ｂの色成分の画素値を変数として主成分分析する。その結果、任意の顔画像の平均顔形状下でのＲ，Ｇ，Ｂの色成分の画素値は、Ａ＝Ａ０＋Σｑｉλｉ（ｉ＝１～ｍ）によって近似することができる。
　ここで、Ａは、平均顔形状下での各画素のＲ，Ｇ，Ｂ色成分の各々の画素値を並べて表現されるベクトル（ｒ１，ｇ１，ｂ１，ｒ２，ｇ２，ｂ２，・・・，ｒｍ，ｇｍ，ｂｍ）である。なお、ｒ、ｇ、ｂはそれぞれＲ，Ｇ，Ｂ色成分の画素値、１からｍは各画素を識別する添え字、ｍは平均顔形状での総画素数を示す。なお、ベクトルの成分の並び順は上記の順に限定されない。
　また、Ａ０は平均顔形状における各サンプル画像の画素毎のＲ，Ｇ，Ｂ色成分の各々の画素値の平均値を並べて表現される平均ベクトル、ｑｉは主成分分析によって得られた顔のＲ，Ｇ，Ｂ色成分の画素値についての第ｉ主成分を表す固有ベクトル、λｉは各固有ベクトルｑｉに対する重みづけ係数を表す。
　図１８は、重みづけ係数ｑを変化させた場合の画素値の変化の一例を模式的に示す。本図では、主成分分析によって得られた上位２つの主成分の固有ベクトルｑ１、ｑ２に対する重みづけ係数λ１、λ２の値を変化させた場合の顔の画素値の変化の様子を模式的に表している。ａ）は、重みづけ係数λ１を変化させた場合の画素値の変化を示しており、ｂ）は、重みづけ係数λ２を変化させた場合の画素値の変化を示している。ａ）およびｂ）のいずれにおいても、各主成分についての３つの顔形状の中央のものは、平均的な画素値を示す。
　この例では、主成分分析の結果、第１主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λ１を変化させることによって、ａ）左端に示すヒゲのない顔からａ）右端に示すヒゲの濃い顔まで変化することがわかる。第２主成分としては眉の濃さに寄与する成分が抽出されており、重みづけ係数λ２を変化させることによって、ｂ）左端に示すような眉が薄い顔から、ｂ）右端に示すような眉が濃い顔まで変化することがわかる。
　以上、図１６から図１８にかけて説明した処理によって、顔のモデルが生成される。このモデルは、顔形状を表す複数の固有ベクトルｐｉと、平均顔形状下での顔の画素値を表す固有ベクトルｑｉとによって、顔を表現する。モデルが有する各固有ベクトルの合計数は、顔画像を形成する画素数よりも大幅に少ない。なお、上記の例では、形状および画素値を顔形状とＲ，Ｇ，Ｂ色成分の画素値についての別個の重みづけ係数ｂｉ、λｉによって、個別の顔画像を表現したが、顔形状と色成分の画素値のバリエーションには相関性があることから、特徴点および画素値の双方を含む特徴パラメータを主成分分析することもできる。
　次に、モデル格納部３５０が格納しているモデルを用いて画像生成部３８０が特徴領域の画像を高解像度化する処理の一例を説明する。画像生成部３８０は、特徴領域に含まれる入力顔画像を正規化して、平均顔形状化でのＲ，Ｇ，Ｂの色成分の画素値を算出する。なお、入力顔画像は、かならずしも正面からの画像でなかったり、照明条件がサンプル画像を撮像した場合の照明条件と異なる場合がある。したがって、ここでいう正規化とは、上記で説明した正面の顔の特徴点を揃える処理だけでなく、斜めから撮像されて得られた入力顔画像の向きを正面から撮像された顔画像に変換する変換処理であったり、照明による影の影響を除去したりする影除去処理等のように、サンプル画像と同等の撮影環境で撮像された顔画像に変換する処理を含む。
　そして、画像生成部３８０は、平均顔に対する画素値との差を主成分ベクトルｑｉに射影することにより、重みづけ係数λｉを算出する。具体的には、画像生成部３８０は、主成分ベクトルｑｉとの内積により重みづけ係数λｉを算出することができる。そして、画像生成部３８０は、算出された重みづけ係数λｉ、平均顔の画素値Ａ０、および主成分ベクトルｑｉを用いて、平均顔形状下における画素値Ａを算出する。
　画像生成部３８０は、顔の特徴点Ｓについても、上述した画素値Ａの算出処理と同様の処理により算出する。具体的には、画像生成部３８０は、平均顔に対する特徴点の位置の差を主成分ベクトルｐｉに射影することにより重みづけ係数ｂｉを算出して、算出された重みづけ係数ｂｉ、平均顔の特徴点Ｓ０、および主成分ベクトルｐｉを用いて、特徴点Ａを算出する。そして、画像生成部３８０は、画素値Ａおよび特徴点Ａで表される画像に対して、上記の正規化処理のうち特徴点を揃える処理を除く処理の逆変換処理を施す。
　以上の処理により、画像生成部３８０は、出力部２０７から出力された撮像画像における特徴領域の画像から、当該撮像画像より高画質な高画質画像を生成する。具体的には、画像生成部３８０は、出力部２０７から出力された撮像画像における特徴領域の画像に比べて、より高解像度の画像、よりシャープな画像、よりノイズが少ない画像、より階調数の多い画像、あるいはより色数の多い画像を生成することができる。
　図１９は、モデル格納部３５０が格納しているモデルの一例をテーブル形式で示す。モデル格納部３５０は、複数の表情および複数の方向のそれぞれの組み合わせ毎に、モデルを格納している。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、および真顔を含み、方向としては、正面、上方、下方、右方、左方、および後方を含む。画像生成部３８０は、特徴領域に含まれる顔画像の画像内容に基づいて顔の表情および顔の方向を特定して、特定した表情および方向の組み合わせに対応づけてモデル格納部３５０が格納しているモデルを用いて、上述の再構成処理をすることができる。
　なお、画像生成部３８０は、口および／または目の形状から表情を特定することができ、目、口、鼻、および耳の位置関係等から顔の方向を特定することができる。なお、画像処理装置１２０が顔の表情および顔の方向を特定してよく、出力部２０７から撮像画像に対応づけて顔の表情および顔の方向が出力されてよい。
　また、モデル格納部３５０は、顔の表情および向きの他に、上述したように照明条件に対応づけてモデルを格納してよい。例えば、モデル格納部３５０は、照明強度および照明の方向に対応づけてモデルを格納してよい。そして、画像生成部３８０は、特徴領域に含まれる顔画像の画像内容に基づいて顔への照明条件を特定してよい。例えば、画像生成部３８０は、影の位置および大きさに基づいて、照明強度および照明方向を特定して、特定した照明強度および照明方向に対応づけてモデル格納部３５０が格納しているモデルを用いて、上述の再構成処理をすることができる。
　なお、上記の例では、顔全体を表現するモデルの生成および当該モデルを用いた再構成過程を説明した。このような顔全体のモデルの他に、画像処理システム１０は、顔の部位毎のモデルを用いることができる。他にも、画像処理システム１０は、性別および／または人種毎の顔（あるいは顔の部位毎）のモデルを用いることができる。また、画像処理システム１０は、人物のモデルの他に、車両、船舶等、画像処理システム１０が監視対象とする物体の種別毎にモデルを格納することができる。そして画像生成部３８０は、特徴領域に含まれる物体の種類に応じてモデルを選択して再構成することもできる。このような種類は、画像処理装置１２０において検出され、撮像画像に対応づけて画像処理装置１７０に送信されてよい。
　以上説明したように、モデル格納部３５０は、異なる種類の物体のモデルを、当該種類に対応づけて格納することができる。そして、特徴領域情報取得部３６０は、入力画像における特徴領域に撮像されている物体の種類を示す情報を取得する。そして、画像生成部３８０は、撮像画像における特徴領域に含まれる物体の画像を、特徴領域情報取得部３６０が取得した特徴領域に撮像されている物体の種類に対応づけてモデル格納部３５０が格納しているモデルに適応させることによって、高画質画像に変換する。
　以上説明した画像処理システム１０によると、特徴領域についてはモデルを用いて超解像化する一方で、背景領域についてはモデルを用いた超解像化はしない。このため、超解像処理の演算量を著しく削減することができる。また、背景領域のように重要度が低い領域は高画質化されないので、画像のデータ量を削減することができる。また、画像処理システム１０によると、特徴領域を特定する情報が画像処理装置１７０に送信されるので、低画質な情報しか含まれない背景領域が誤って超解像処理されてしまうことを未然に防ぐことができる。
　なお、モデル格納部３５０は、上述したように、オブジェクトの種類を識別する情報の一例としての顔部位（例えば、目、鼻、口など）毎に、学習データを格納している。ここで、学習データとしては、上記モデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。このように、モデル格納部３５０は、オブジェクトの種類に対応づけて、オブジェクトの画像の高周波成分を格納するオブジェクト画像情報格納部として機能する。なお、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をＫ－ｍｅａｎｓ法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分は複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。
　そして、画像生成部３８０は、撮像画像に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像生成部３８０は、当該オブジェクの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像生成部３８０は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像生成部３８０は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像生成部３８０は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像生成部３８０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像生成部３８０は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。
　以上のように、画像処理装置１７０は、主成分分析（ＰＣＡ）を用いて特徴領域の画像を再構成することができる。なお、画像処理装置１７０による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ　ｐｒｅｓｅｒｖｉｎｇ　ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ　ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ　ｌｉｎｅａｒ　ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ　ｒａｎｄｏｍ　ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。
　以上説明したように、画像処理装置１７０は、特徴領域の画像を超解像処理することによって、特徴領域の画像を高画質化する。なお、画像処理装置１７０は、図１～図１３に関連して説明した画像処理装置１７０の処理と、図１４～図１９に関連して説明した画像処理装置１７０の処理とを組み合わせた処理をすることができる。例えば、画像処理装置１７０は、図１４～図１９に関連して説明した超解像処理が特徴領域において施されて得られた撮像画像を、図１～図１３に関連して説明したように特徴領域の数、特徴領域の位置、特徴領域の大きさ、特徴領域に含まれるオブジェクトの種類を特定する情報等に対応づけて画像ＤＢ１７５に記録しておく。そして、画像処理装置１７０は、図１～図１３に関連して説明したように、監視者からの指示に応じて、撮像画像に対応づけられている特徴領域の数、特徴領域の位置、特徴領域の大きさ、特徴領域に含まれるオブジェクトの種類を特定する情報等に基づいて、例えば特徴領域の画像を大きさを揃えて同じ位置に表示したりすることができる。
　図２０は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ－ｄがそれぞれ画像処理部８０４ａ－ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。
　画像処理部８０４は、画像処理装置１２０に含まれる構成要素のうち、画像取得部２５０を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理装置１２０に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図１３にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。
　なお、画像処理部８０４は、撮像部１０２からＲＡＷ形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む撮像動画を圧縮してよい。なお、画像処理部８０４は、撮像動画を、図１～図１９に関連して画像処理装置１２０の動作として説明した圧縮方法で圧縮することができる。なお、画像処理装置１７０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
　そして、画像処理装置１７０は、同時化処理によって得られた撮像画像における特徴領域の画像に、図１４～図１９に関連して説明したような超解像処理を施してよい。なお、図１～図１９に関連して説明したように、画像処理装置１７０は超解像処理において上述した重みづけ係数を算出した。この場合、特徴領域に含まれる物体の画像は、主成分ベクトルおよび重みづけ係数によって表されるが、これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部８０４は、撮像部１０２から取得した複数の撮像画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上述した重みづけ係数を算出してよい。すなわち、画像処理部８０４は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部８０４は、主成分ベクトルおよび重みづけ係数を画像処理装置１７０に送信してよい。画像処理装置１７０においては、画像処理部８０４から取得した主成分ベクトルおよび重みづけ係数を用いて、上述したように特徴領域に含まれる物体の画像を再構成することができる。
　このように、画像処理部８０４は、撮像画像における特徴領域の画像に含まれる物体の画像を、物体が特徴パラメータで表現されたモデルに適応させることによって、特徴領域の画像に含まれる物体を表す、当該モデルにおける特徴パラメータの値を算出してよい。そして、画像処理部８０４は、算出した特徴パラメータの値および特徴領域以外の領域の画像を出力してよい。そして、画像処理装置１７０は、画像処理部８０４から取得した特徴パラメータの値をモデルに適用することで物体の画像を生成して、生成した物体の画像および特徴領域以外の領域の画像を用いて一の撮像画像を生成してよい。
　図２１は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ－ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
　ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
　入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ－ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ－ＲＯＭドライブ１５６０は、ＣＤ－ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
　入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１２０および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは画像処理装置１２０および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
　ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ－ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図２０に関連して説明した画像処理装置１２０が有する各構成要素として機能させ、画像処理装置１７０を、図１から図２０に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。
　以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ－ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置１２０および画像処理装置１７０として機能する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

Claims (24)

  1. 　動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出する特徴領域検出部と、
    　前記複数の動画構成画像の間において相関が高い特徴領域を特定する特徴領域特定部と、
    　前記特徴領域特定部が特定した前記相関が高い特徴領域の間の位置差を算出する位置差算出部と、
    　前記位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する探索領域決定部と、
    　前記探索領域決定部が決定した動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて前記動画を圧縮する圧縮部と
    を備える画像処理システム。
  2. 　前記特徴領域検出部は、予め定められた条件に適合するオブジェクトを含む領域を、前記特徴領域として検出する
    請求項１に記載の画像処理システム。
  3. 　前記特徴領域検出部は、予め定められた形状のオブジェクトを含む領域を、前記特徴領域として検出する
    請求項２に記載の画像処理システム。
  4. 　前記特徴領域検出部は、動画において動くオブジェクトを含む領域を、前記特徴領域として検出する
    請求項２に記載の画像処理システム。
  5. 　前記特徴領域特定部は、画像内容の一致度が予め定められた値より大きい前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項２に記載の画像処理システム。
  6. 　前記特徴領域特定部は、大きさの一致度が予め定められた値より大きい前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項２に記載の画像処理システム。
  7. 　前記特徴領域特定部は、動画構成画像における前記特徴領域の位置に関して予め定められた値より大きい相関を有する前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項２に記載の画像処理システム。
  8. 　前記特徴領域特定部は、複数の動画構成画像の間にわたる前記特徴領域の位置の変化に関して予め定められた値より大きい相関を有する前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項７に記載の画像処理システム。
  9. 　前記特徴領域特定部は、複数の動画構成画像の間にわたる前記特徴領域の位置の移動方向に関して予め定められた値より大きい相関を有する前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項８に記載の画像処理システム。
  10. 　前記特徴領域特定部は、複数の動画構成画像の間にわたる前記特徴領域の位置の移動速度に関して予め定められた値より大きい相関を有する前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項８に記載の画像処理システム。
  11. 　前記位置差算出部は、フレーム間予測により圧縮される動画構成画像と予測画像の元となる動画構成画像との間において前記相関が高い特徴領域の位置差を算出する
    請求項４に記載の画像処理システム。
  12. 　前記探索領域決定部は、前記位置差の大きさが小さいほど、前記動画構成画像における前記特徴領域に含まれる画像を圧縮する場合に用いられる前記動きベクトルが算出される前記動きベクトル探索領域をより狭く決定する
    請求項４に記載の画像処理システム。
  13. 　前記探索領域決定部は、フレーム間予測により圧縮される動画構成画像における前記相関が高い特徴領域の位置から、当該圧縮される動画構成画像とフレーム間予測における予測画像の元となる動画構成画像との間における前記相関が高い特徴領域の位置差だけ離れた当該予測画像の元となる動画構成画像における位置の近傍領域に、前記圧縮される動画構成画像における前記特徴領域に含まれる画像を圧縮する場合に用いられる前記動きベクトルが算出される前記動きベクトル探索領域を決定する
    請求項１２に記載の画像処理システム。
  14. 　前記特徴領域検出部は、前記動画構成画像から複数の特徴領域を検出し、
    　前記特徴領域特定部は、前記特徴領域検出部が前記動画構成画像から検出した前記複数の特徴領域のそれぞれについて前記相関が高い特徴領域を特定し、
    　前記位置差算出部は、前記特徴領域検出部が前記動画構成画像から検出した前記複数の特徴領域のそれぞれについて前記位置差を算出し、
    　前記探索領域決定部は、前記特徴領域検出部が前記動画構成画像から検出した前記複数の特徴領域のそれぞれについて算出された前記位置差の最大値が小さいほど、より狭い前記動きベクトル探索範囲を決定する
    請求項１３に記載の画像処理システム。
  15. 　前記探索領域決定部は、前記位置差の大きさが予め定められた値より大きい場合に、予め定められた広さの前記動きベクトル探索領域を決定する
    請求項２に記載の画像処理システム。
  16. 　前記圧縮部はさらに、前記動画を、前記特徴領域と前記特徴領域以外の領域とで異なる強度で圧縮する
    請求項２に記載の画像処理システム。
  17. 　前記特徴領域に含まれるオブジェクトが適合すべき条件を取得する条件取得部
    をさらに備え、
    　前記特徴領域検出部は、前記条件取得部が取得した条件に適合するオブジェクトを含む領域を、前記特徴領域として検出する
    請求項２に記載の画像処理システム。
  18. 　前記特徴領域に含まれるオブジェクトが適合すべき形状を示す条件を取得する条件取得部
    をさらに備え、
    　前記特徴領域検出部は、前記条件取得部が取得した条件が示す形状に適合する形状のオブジェクトを含む領域を、前記特徴領域として検出する
    請求項３に記載の画像処理システム。
  19. 　前記特徴領域における画像内容の一致度の閾値を取得する閾値取得部
    をさらに備え、
    　前記特徴領域特定部は、画像内容の一致度が前記閾値より大きい前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項５に記載の画像処理システム。
  20. 　特徴領域における大きさの一致度の閾値を取得する閾値取得部
    をさらに備え、
    　前記特徴領域特定部は、大きさの一致度が前記閾値より大きい前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項６に記載の画像処理システム。
  21. 　前記特徴領域の位置に関する相関値の閾値を取得する閾値取得部
    をさらに備え、
    　前記特徴領域特定部は、動画構成画像における前記特徴領域の位置に関して、前記閾値より大きい相関値を有する前記特徴領域を、前記相関が高い特徴領域として特定する
    請求項７に記載の画像処理システム。
  22. 　前記位置差の閾値を取得する閾値取得部
    をさらの備え、
    　前記探索領域決定部は、前記位置差の大きさが前記閾値より大きい場合に、予め定められた広さの前記動きベクトル探索領域を決定する
    請求項１５に記載の画像処理システム。
  23. 　動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出する特徴領域検出段階と、
    　前記複数の動画構成画像の間において相関が高い特徴領域を特定する特徴領域特定段階と、
    　前記特徴領域特定段階において特定された前記相関が高い特徴領域の間の位置差を算出する位置差算出段階と、
    　前記位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する探索領域決定段階と、
    　前記探索領域決定段階において決定された動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて、前記動画を圧縮する圧縮段階と
    を備える画像処理方法。
  24. 　画像処理システム用のプログラムを記憶するコンピュータにより読取可能な媒体であって、該プログラムは、コンピュータを、
    　動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出する特徴領域検出部、
    　前記複数の動画構成画像の間において相関が高い特徴領域を特定する特徴領域特定部、
    　前記特徴領域特定部が特定した前記相関が高い特徴領域の間の位置差を算出する位置差算出部、
    　前記位置差の大きさが小さいほど、より狭い動きベクトル探索領域を決定する探索領域決定部、
    　前記探索領域決定部が決定した動きベクトル探索領域内を探索することによって算出された動きベクトルを用いて前記動画を圧縮する圧縮部
    として機能させる
    コンピュータにより読み取り可能な媒体。
PCT/JP2009/001555 2008-04-08 2009-04-02 画像処理システム、画像処理方法、およびプログラムを記憶する媒体 WO2009125561A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009801124600A CN101990762B (zh) 2008-04-08 2009-04-02 图像处理系统、图像处理方法
US12/900,189 US20110019741A1 (en) 2008-04-08 2010-10-07 Image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-100542 2008-04-08
JP2008100542A JP5239095B2 (ja) 2008-04-08 2008-04-08 画像処理システム、画像処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/900,189 Continuation US20110019741A1 (en) 2008-04-08 2010-10-07 Image processing system

Publications (1)

Publication Number Publication Date
WO2009125561A1 true WO2009125561A1 (ja) 2009-10-15

Family

ID=41161698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/001555 WO2009125561A1 (ja) 2008-04-08 2009-04-02 画像処理システム、画像処理方法、およびプログラムを記憶する媒体

Country Status (4)

Country Link
US (1) US20110019741A1 (ja)
JP (1) JP5239095B2 (ja)
CN (1) CN101990762B (ja)
WO (1) WO2009125561A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650515A (zh) * 2012-07-09 2018-10-12 株式会社尼康 解码装置及图像压缩装置
CN102868891B (zh) * 2012-09-18 2015-02-18 哈尔滨商业大学 基于支持向量回归多视角视频色差校正方法
JP2014219724A (ja) * 2013-05-01 2014-11-20 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム
US11082715B2 (en) * 2017-09-29 2021-08-03 Nikon Corporation Video compression apparatus, electronic apparatus, and video compression program
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US20220124256A1 (en) * 2019-03-11 2022-04-21 Nokia Technologies Oy Conditional display of object characteristics
CN112509146B (zh) * 2020-11-23 2023-06-20 歌尔科技有限公司 图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219436A (ja) * 1998-01-30 1999-08-10 Toshiba Corp 動きベクトル検出回路および動きベクトル検出方法
JP2002051342A (ja) * 2000-08-04 2002-02-15 Canon Inc 符号化装置及び符号化方法並びに記憶媒体
JP2004072311A (ja) * 2002-08-05 2004-03-04 Fuji Photo Film Co Ltd 撮像装置
JP2004078522A (ja) * 2002-08-16 2004-03-11 Sony Corp 画像処理装置
JP2005228303A (ja) * 2004-01-14 2005-08-25 Matsushita Electric Ind Co Ltd 動きベクトル検出装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081209A (en) * 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
US6901110B1 (en) * 2000-03-10 2005-05-31 Obvious Technology Systems and methods for tracking objects in video sequences
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
US7366325B2 (en) * 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US20050163221A1 (en) * 2004-01-14 2005-07-28 Matsushita Electric Industrial Co., Ltd. Motion vector detecting device
US7782998B2 (en) * 2004-12-21 2010-08-24 General Electric Company Method and apparatus for correcting motion in image reconstruction
WO2008057285A2 (en) * 2006-10-27 2008-05-15 Vidient Systems, Inc. An apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
JP2008141740A (ja) * 2006-11-07 2008-06-19 Fujifilm Corp 撮影装置および方法並びにプログラム
US20080181457A1 (en) * 2007-01-31 2008-07-31 Siemens Aktiengesellschaft Video based monitoring system and method
US8218025B2 (en) * 2007-02-15 2012-07-10 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer program product

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219436A (ja) * 1998-01-30 1999-08-10 Toshiba Corp 動きベクトル検出回路および動きベクトル検出方法
JP2002051342A (ja) * 2000-08-04 2002-02-15 Canon Inc 符号化装置及び符号化方法並びに記憶媒体
JP2004072311A (ja) * 2002-08-05 2004-03-04 Fuji Photo Film Co Ltd 撮像装置
JP2004078522A (ja) * 2002-08-16 2004-03-11 Sony Corp 画像処理装置
JP2005228303A (ja) * 2004-01-14 2005-08-25 Matsushita Electric Ind Co Ltd 動きベクトル検出装置

Also Published As

Publication number Publication date
US20110019741A1 (en) 2011-01-27
CN101990762A (zh) 2011-03-23
JP2009253746A (ja) 2009-10-29
JP5239095B2 (ja) 2013-07-17
CN101990762B (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
JP5429445B2 (ja) 画像処理システム、画像処理方法、およびプログラム
WO2009122760A1 (ja) 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体
JP5684488B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8447128B2 (en) Image processing system
JP5239095B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP2010272109A (ja) 画像処理装置、画像処理方法およびプログラム
JP2013051737A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5193931B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5531327B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5337970B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP2009049976A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5156982B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP2009273116A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2009125578A1 (ja) 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体
JP5142204B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2009268088A (ja) 画像処理システム、画像処理方法、およびプログラム
JP4961582B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5105179B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5136172B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5337969B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5082142B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP5041316B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP5352332B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2009273117A (ja) 画像処理システム、画像処理方法、およびプログラム
JP5082141B2 (ja) 画像処理システム、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980112460.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09730341

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09730341

Country of ref document: EP

Kind code of ref document: A1