WO2013061810A1 - 画像処理装置、画像処理方法、および記録媒体 - Google Patents

画像処理装置、画像処理方法、および記録媒体 Download PDF

Info

Publication number
WO2013061810A1
WO2013061810A1 PCT/JP2012/076585 JP2012076585W WO2013061810A1 WO 2013061810 A1 WO2013061810 A1 WO 2013061810A1 JP 2012076585 W JP2012076585 W JP 2012076585W WO 2013061810 A1 WO2013061810 A1 WO 2013061810A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
fields
constraint
constraint condition
Prior art date
Application number
PCT/JP2012/076585
Other languages
English (en)
French (fr)
Inventor
近藤　哲二郎
Original Assignee
アイキューブド研究所株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイキューブド研究所株式会社 filed Critical アイキューブド研究所株式会社
Priority to EP12843479.2A priority Critical patent/EP2747415A4/en
Priority to BR112014009109A priority patent/BR112014009109A2/pt
Priority to US14/353,643 priority patent/US9836812B2/en
Priority to JP2013540728A priority patent/JP6134267B2/ja
Priority to CN201280050426.7A priority patent/CN103858421B/zh
Priority to KR1020147010240A priority patent/KR101838342B1/ko
Publication of WO2013061810A1 publication Critical patent/WO2013061810A1/ja
Priority to IN3705CHN2014 priority patent/IN2014CN03705A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Definitions

  • the present invention relates to an image processing apparatus for processing an image.
  • a digital image signal interpolating apparatus for interpolating and generating image data of a predetermined pixel between pixels corresponding to actual input image data and existing input image data
  • the actual input image data is received and the predetermined pixel
  • the least square method is used to minimize the sum of squares of the error between the interpolation value and the true value, using means for extracting a predetermined number of actual pixel data existing in the peripheral position of the pixel and pixel data for obtaining the coefficient.
  • Japanese Patent No. 2825482 (first page, FIG. 1 etc.)
  • Japanese Patent No. 3072306 (first page, FIG. 1 etc.)
  • the viewer On the large screen, the viewer must follow the object in the screen with his / her eyes. For example, the brightness of the object that should exist in the back is large, and the object that should exist in the foreground When an image in which the overall balance is lost such that the luminance is low is output, the viewer does not feel a sense of perspective or depth.
  • the large screen for example, when the distribution of the luminance of the object is not natural and the overall balance is lost, it is difficult for the viewer to recognize the thickness of the object.
  • the balance is lost such that the brightness at the back is larger than the brightness at the front of the screen.
  • the image processing apparatus is a condition applied to an output image, and a constraint condition storage unit that can store one or more constraint conditions that are conditions acquired from the subject, and the subject is photographed One or more fields that match one or more constraint conditions by applying one or more constraint conditions to a reception unit that receives an image having one or more fields and one or more fields that the image received by the reception unit has
  • the image processing apparatus includes an image change unit that acquires one or more new fields and an image output unit that outputs the one or more fields acquired by the image change unit.
  • This configuration can output an image that maintains the overall balance.
  • the image processing apparatus further includes a constraint condition acquisition unit that acquires one or more constraint conditions from one or more fields of the image received by the reception unit.
  • the one or more constraint conditions in the constraint condition storage unit are image processing apparatuses that are one or more constraint conditions acquired by the constraint condition acquisition unit.
  • the constraint condition storage unit includes a constraint condition and a feature value condition that is a condition related to the feature value of the object in the field. Two or more sets are stored, and the image changing unit acquires one or more feature amounts determined in advance from one or more fields included in the image received by the receiving unit, and one or more features.
  • One or more feature quantity conditions that match the quantity are determined, and one or more constraint condition pairs that are paired with one or more feature quantity conditions are acquired from the constraint condition storage unit, and a reception unit receives the constraint condition acquisition unit Apply one or more constraint conditions acquired by the constraint condition acquisition means to one or more fields of the image, change to one or more fields that match the one or more constraint conditions, and acquire one or more new fields Image capture An image processing apparatus and means.
  • the image processing apparatus can output an image that maintains the overall balance.
  • Block diagram of an image processing apparatus according to Embodiment 1 Flow chart for explaining the operation of the image processing apparatus Block diagram of an image processing apparatus according to Embodiment 2 Diagram showing the image of the same constraint conditions Figure showing a specific example of the same field Figure showing a specific example of the same field Flow chart for explaining the operation of the image processing apparatus Flowchart explaining the constraint condition acquisition process Block diagram of an image processing apparatus according to Embodiment 3 Flow chart for explaining the operation of the image processing apparatus Flowchart explaining the constraint condition selection process Block diagram of image processing apparatus 4 in Embodiment 4 A flowchart for explaining the operation of the image processing apparatus 4 Block diagram of image processing apparatus 5 in Embodiment 5 A flowchart for explaining the operation of the image processing apparatus 5 Flowchart explaining the constraint condition selection process Overview of the computer system in the above embodiment Block diagram of the computer system
  • Embodiment 1 In the present embodiment, one or more constraint conditions that can be acquired from a subject are applied to one or more images (input images) obtained by photographing the subject, and an input image that is input to satisfy the constraint conditions is applied.
  • An image processing apparatus 1 that processes and acquires an output image will be described.
  • FIG. 1 is a block diagram of the image processing apparatus 1 in the present embodiment.
  • the image processing apparatus 1 is, for example, a television receiver or a DVD player.
  • the image processing apparatus 1 includes a constraint condition storage unit 11, a reception unit 12, an image change unit 13, and an image output unit 14.
  • the constraint condition storage unit 11 can store one or more constraint conditions.
  • the constraint condition is a condition that is applied to the output image and is a condition acquired from the subject.
  • the constraint condition is a condition for matching the image with the law of nature.
  • the constraint condition is, for example, a condition that guarantees that the brightness of the screen area in the foreground is large and the brightness of the screen area in the back is small as viewed from the viewer.
  • the constraint condition is, for example, a condition for guaranteeing that the resolution of the object in the foreground is high and the resolution of the object in the back is low when viewed from the viewer.
  • the sense of resolution is a fine image feeling, a beautiful image feeling, a high-quality image feeling, an image feeling with less noise, or a natural image feeling.
  • the sense of resolution can be determined, for example, by performing frequency analysis. Specifically, for example, frequency analysis is performed on an image or a part of an image (such as a spatio-temporal block described later). It can be determined to be low. More specifically, the sense of resolution may be determined quantitatively (for example, 5 levels from 1 to 5) according to the ratio of high-frequency components equal to or higher than the first threshold. That is, the higher the ratio of the high frequency component equal to or higher than the threshold, the higher the sense of resolution. Further, frequency analysis may be performed to obtain a frequency distribution, and the sense of resolution may be quantitatively determined according to the frequency distribution. Even in such a case, it is generally determined that the higher the high frequency component, the higher the resolution feeling, and the lower the frequency component, the lower the resolution feeling.
  • the sense of resolution can be determined using, for example, an activity of spatial pixel values (referred to as spatial activity). Specifically, for example, it can be determined that the higher the ratio of pixels whose spatial activity is greater than or equal to the first threshold, the higher the sense of resolution. Further, the sense of resolution may be determined quantitatively (for example, 5 levels from 1 to 5) according to the proportion of pixels whose spatial activity is equal to or greater than the first threshold.
  • the constraint condition is, for example, a condition using the pixel value of the pixel included in the field as a parameter.
  • the constraint condition is a condition in which, for example, a temporal activity of a pixel value that is a change amount of a pixel value of a pixel included in two or more temporally continuous fields is a parameter.
  • the constraint condition is a condition in which, for example, a spatial activity of a pixel value, which is a difference between pixel values of two or more pixels included in one field, is a parameter.
  • the constraint condition is, for example, a condition that guarantees that the temporal activity of the pixel value is in a certain predetermined range (may be a range that can be defined by a function of time t). More specifically, the constraint condition is, for example, a condition that guarantees that the spatial activity of the pixel value is in a certain predetermined range (may be a range that can be defined by a function based on the distance x from the reference point). It is.
  • the constraint condition is a condition using, for example, the resolution of the object in the field as a parameter.
  • the constraint condition is a condition using, for example, a temporal activity of a sense of resolution as a change amount of resolution of an object in two or more fields that are temporally continuous.
  • the constraint condition is a condition in which, for example, a spatial activity of a sense of resolution, which is a difference in resolution sense of two or more objects included in one field, is used as a parameter.
  • the constraint condition is, for example, a condition that guarantees that the temporal activity of the sense of resolution is in a certain predetermined range (may be a range that can be defined by a function of time t).
  • the constraint condition is, for example, a condition that guarantees that the spatial activity of the sense of resolution is in a certain predetermined range (may be a range that can be defined by a function based on the distance x from the reference point). It is.
  • the image may be a moving image or a still image.
  • the image has two or more fields [0].
  • One field [0] is one screen and may be called one frame.
  • the constraint condition storage unit 11 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing the constraint conditions in the constraint condition storage unit 11 does not matter.
  • the constraint condition may be stored in the constraint condition storage unit 11 via the recording medium, and the constraint condition transmitted via the communication line or the like is stored in the constraint condition storage unit 11.
  • the constraint condition input via the input device may be stored in the constraint condition storage unit 11.
  • the reception unit 12 receives an image having one or more fields obtained by photographing a subject. Acceptance is usually reception of an image transmitted from broadcasting means. However, accepting means accepting information input from an input device such as a mouse or touch panel, receiving information transmitted via a wired or wireless communication line, and reading from a recording medium such as an optical disk, magnetic disk, or semiconductor memory. It is a concept that includes accepting information that has been issued.
  • the receiving unit 12 can be realized by, for example, a broadcast receiving unit or a wired or wireless communication unit.
  • the image changing unit 13 applies one or more constraint conditions to one or more fields included in the image received by the reception unit 12, changes the field to one or more fields that match the one or more constraint conditions, and sets a new 1 Get the above fields.
  • the application of the constraint condition may be applied to the entire field, or may be applied to the entire field of two or more.
  • the constraint condition may be applied by dividing one or a plurality of fields into two or more spatially, temporally, or spatially and temporally and applying them to the divided image (also referred to as a spatiotemporal block).
  • the image changing unit 13 divides the image received by the receiving unit 12 into two or more space-time blocks. Then, the image changing unit 13 applies one or more constraint conditions to the acquired plurality of spatiotemporal blocks, and acquires a plurality of new spatiotemporal blocks changed to a spatiotemporal block that matches the one or more constraint conditions. To do. Then, the image changing unit 13 combines a plurality of new spatiotemporal blocks and acquires an image to be output.
  • a spatiotemporal block is not necessarily a rectangular continuous area.
  • the spatiotemporal block may be a non-rectangular and discontinuous image area.
  • the spatiotemporal block may be data obtained by dividing one screen (one field or one frame) into four, or may be data obtained by dividing n screens (n is an integer of 2 or more) into eight. .
  • the number of divisions is not limited.
  • the spatiotemporal block may be one pixel.
  • the image changing unit 13 when the constraint condition is a condition having a luminance threshold, the image changing unit 13 performs a process of reducing the luminance value of the pixel when there is a pixel having a luminance exceeding the threshold. In addition, when there is a pixel having a luminance lower than the threshold, the image changing unit 13 performs a process of increasing the luminance value of the pixel.
  • the image changing unit 13 performs a filtering process on the pixel and its surroundings so that the resolution satisfies the constraint condition.
  • the image changing unit 13 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the image changing unit 13 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the image output unit 14 outputs one or more fields acquired by the image changing unit 13.
  • the output is usually a display on a display or a projection using a projector.
  • output is a concept that includes printing on a printer, transmission to an external device (usually a display device), storage in a recording medium, and delivery of processing results to another processing device or another program. is there.
  • the image output unit 14 may or may not include an output device such as a display.
  • the image output unit 14 may be realized by driver software for an output device, driver software for an output device, an output device, or the like.
  • Step S201 The receiving unit 12 determines whether an image has been received. If an image is accepted, the process goes to step S202, and if no image is accepted, the process returns to step S201.
  • the image here has one or more fields.
  • Step S202 The image changing unit 13 reads one or more constraint conditions stored in the constraint condition storage unit 11.
  • Step S203 The image changing unit 13 acquires one or more processing targets from the image received in Step S201.
  • the processing target is an image processing target.
  • the image changing unit 13 divides the image received in step S201 spatially, temporally, spatially, and temporally, and divides two or more processing targets (the above-mentioned spatiotemporal blocks). ) To get.
  • the image changing unit 13 may directly process the image received without being divided in step S201.
  • a technique for dividing an image having one or more fields is a known technique, a detailed description thereof will be omitted. Further, the two or more processing objects obtained by the division may overlap.
  • Step S204 The image changing unit 13 assigns 1 to the counter i.
  • Step S205 The image changing unit 13 determines whether or not the i-th processing target exists. If the i-th processing target exists, the process goes to step S206, and if not, the process goes to step S212.
  • Step S206 The image changing unit 13 substitutes 1 for the counter j.
  • Step S207 The image changing unit 13 determines whether or not the j-th constraint condition exists. If the j-th constraint condition exists, the process goes to step S208, and if not, the process goes to step S211.
  • Step S208 The image changing unit 13 determines whether or not the i-th processing target matches the j-th constraint condition. If the j-th constraint condition is not met, the process goes to step S209, and if it matches, the process goes to step S210. Note that the processing target determined to meet the constraint condition is added to the buffer as it is.
  • Step S209 The image changing unit 13 corrects the i-th processing target so as to match the j-th constraint condition. Then, the image changing unit 13 adds the corrected image to the buffer.
  • Step S210 The image changing unit 13 increments the counter j by 1. The process returns to step S207.
  • Step S211 The image changing unit 13 increments the counter i by one.
  • the process returns to step S205.
  • Step S212 The image changing unit 13 constructs an image from the processing target in the buffer.
  • Step S213 The image output unit 14 is configured in Step S212 and outputs the obtained new image. The process returns to step S201.
  • the process is terminated by turning off the power or interrupting the termination of the process.
  • the present embodiment it is possible to output an image that maintains the balance of the entire screen or the entire image. More specifically, according to the present embodiment, it is possible to output an image that conforms to the constraint conditions for matching the image to the laws of nature, and the viewer should have the image that should originally have the sense of perspective, depth, etc. Can feel.
  • the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and distributed. This also applies to other embodiments in this specification.
  • the software that realizes the image processing apparatus according to the present embodiment is the following program. That is, this program stores one or more constraint conditions that are conditions applied to an output image on a recording medium and is a condition acquired from a subject, and the computer captures one or more images of the subject. An accepting unit that accepts an image having a field, and one or more constraints that apply the one or more constraint conditions to one or more fields that the image accepted by the accepting unit has. An image change unit that changes to a field and acquires one or more new fields, and a program for causing the image change unit to function as an image output unit that outputs one or more fields acquired by the image change unit.
  • a constraint condition suitable for the output image is dynamically acquired from the input image, the acquired constraint condition is applied to the input image, and an output image that maintains the overall balance is obtained.
  • the obtained image processing apparatus 2 will be described. That is, the present embodiment is different from the first embodiment in that a constraint condition suitable for the received input image is dynamically acquired from the input image.
  • FIG. 3 is a block diagram of the image processing apparatus 2 in the present embodiment.
  • the image processing apparatus 2 includes a constraint condition storage unit 11, a reception unit 12, a constraint condition acquisition unit 21, an image change unit 13, and an image output unit 14.
  • the constraint condition acquisition unit 21 acquires one or more constraint conditions from one or more fields included in the image received by the reception unit 12. In other words, the constraint condition acquisition unit 21 acquires one or more constraint conditions to be applied to the image from the image received by the reception unit 12.
  • the constraint condition acquisition unit 21 is one or more types of feature amounts determined in advance from one or more fields included in the image received by the reception unit 12, and one or more feature amounts are provided for each type. Get feature values. For each type, the constraint condition acquisition unit 21 acquires the constraint condition using one or more feature amounts corresponding to the type.
  • the constraint condition acquisition unit 21 acquires the pixel values of all the pixels in one field included in the image received by the reception unit 12. Then, the constraint condition acquisition unit 21 performs regression analysis on the spatial distribution of pixel values of each pixel in the field using a least square method or the like to obtain a regression surface. Next, the constraint condition acquisition unit 21 increases the pixel value of the regression surface so that the pixel value of each pixel exceeds the threshold value determined in advance from the regression surface so that the pixel value falls within the range within the threshold value determined from the regression surface. A constraint condition that changes a pixel value having a difference to a threshold value is acquired. With such a constraint condition, a region where pixel values exist for each pixel can be defined.
  • the constraint condition acquisition unit 21 relative positions of each pixel in the field from a reference pixel (for example, a pixel having a coordinate value (0, 0) and the upper leftmost pixel). Create a two or more dimensional graph with the information (distance, order, etc.) and pixel value (L) as axes, and perform regression analysis using the least square method etc. get.
  • the constraint condition acquisition unit 21 is, for example, a three-dimensional graph of the position (x, y) and the pixel value (L), or a four-dimensional graph of the spatio-temporal position (x, y, t) and the pixel value (L).
  • a regression analysis may be performed on the graph using a least square method or the like to obtain a regression surface.
  • the constraint condition acquisition unit 21 has a pixel value that exceeds a predetermined threshold value from the regression curve or regression surface so that the pixel value of each pixel falls within a range within a predetermined threshold value from the regression curve or regression surface. Is acquired as a threshold value.
  • An image of such constraint conditions is shown in FIG.
  • reference numeral 41 denotes a two-dimensional graph acquired by the constraint condition acquisition unit 21.
  • Reference numeral 42 denotes a regression curve obtained by performing regression analysis on the graph of 41.
  • Reference numerals 431 and 432 denote constraint conditions. That is, 431 is a curve having a distance in the plus direction by a predetermined threshold value from each point on the regression curve, and is a curve of the maximum pixel value.
  • Reference numeral 432 denotes a curve having a distance in the minus direction by a predetermined threshold value from each point on the regression curve, and is a curve having a minimum pixel value.
  • the constraint condition acquisition unit 21 acquires, for example, the luminance of each pixel of the image in FIG. Next, the constraint condition acquisition unit 21 performs regression analysis on the spatial distribution around the coordinate value of each pixel and the luminance of the pixel using the least square method or the like to obtain a regression surface. Next, the constraint condition acquisition unit 21 sets a constraint condition such that the luminance exceeding the predetermined threshold is changed to a threshold value so that the luminance of each pixel falls within a predetermined threshold value from the regression surface. get.
  • Such a constraint condition is a constraint condition in which the brightness of the pixel in front of the viewer is large and the brightness tends to decrease as the depth increases.
  • the output image to which such a constraint condition is applied is an image that allows the viewer to feel the expanse of the snow scene and the feeling of heavy air in winter, and is easy for the viewer to see. That is, the output image is an image in which a bright area that is considered to be the front area and a dark area that is considered to be the back area are balanced.
  • the constraint condition acquisition unit 21 acquires a sense of resolution of each of two or more objects (objects may be spatiotemporal blocks) in one field of the image received by the reception unit 12. To do. That is, the constraint condition acquisition unit 21 recognizes two or more objects in one field, and acquires the coordinate value and the sense of resolution of the center of gravity of each object. Next, the constraint condition acquisition unit 21 performs regression analysis on the spatial distribution around the coordinate value of the center of gravity of each object and the sense of resolution using the least square method or the like to obtain a regression surface. Next, the constraint condition acquisition unit 21 changes the sense of resolution exceeding a predetermined threshold to a threshold so that the resolution of each object falls within a predetermined threshold from the regression surface. Get the condition.
  • FIG. 1 One field of the image is an image obtained by photographing a sunflower field in which a large number of sunflowers exist as shown in FIG.
  • the constraint condition acquisition unit 21 extracts a sunflower flower part (an example of an object) by extracting the contour of the image of FIG. Then, the constraint condition acquisition unit 21 acquires the coordinate value of the center of gravity and the sense of resolution of each sunflower flower part. Next, the constraint condition acquisition unit 21 performs regression analysis using a least square method or the like on the spatial distribution around the coordinate value of the center of gravity of each sunflower flower and the sense of resolution to obtain a regression surface.
  • the constraint condition acquisition unit 21 changes the sense of resolution exceeding the predetermined threshold to the threshold so that the resolution of each sunflower flower falls within a predetermined threshold from the regression surface.
  • the correct constraint conditions is a constraint condition in which the resolution feeling of the sunflower flower in front of the viewer is high and the resolution feeling of the sunflower flower tends to be lowered as it goes farther.
  • An output image to which such constraint conditions are applied is an image that can feel a sense of perspective and depth, and is easy for viewers to see.
  • the constraint condition acquisition unit 21 acquires a sense of resolution as follows, for example.
  • the constraint condition acquisition unit 21 divides one field into two or more spatiotemporal blocks. Then, the constraint condition acquisition unit 21 performs frequency analysis on each spatiotemporal block.
  • the constraint condition acquisition unit 21 calculates the ratio of high-frequency components that are equal to or higher than the first threshold value. Next, the constraint condition acquisition unit 21 determines a sense of resolution according to the ratio of the high frequency component. Note that the constraint condition acquisition unit 21 holds, for example, a correspondence table between the ratio width of high frequency components and the sense of resolution. Further, the constraint condition acquisition unit 21 may hold a correspondence table between the frequency distribution and the sense of resolution. In such a case, the constraint condition acquisition unit 21 performs frequency analysis on each spatiotemporal block, acquires a frequency distribution, and acquires a sense of resolution that is paired with the frequency analysis that is closest to the acquired frequency distribution. Also good.
  • the constraint condition acquisition unit 21 may acquire a sense of resolution as follows, for example. That is, the constraint condition acquisition unit 21 acquires the spatial activity of each pixel constituting the image or a part of the image (spatiotemporal block). Then, the constraint condition acquisition unit 21 acquires the ratio of pixels whose spatial activity is equal to or greater than a threshold value. Then, the constraint condition acquisition unit 21 determines a sense of resolution according to the ratio. It is assumed that the constraint condition acquisition unit 21 holds, for example, a correspondence table between the width of the ratio of pixels whose spatial activity is equal to or greater than the threshold and the sense of resolution. Further, the constraint condition acquisition unit 21 may hold a correspondence table between spatial activity distributions and a sense of resolution. In such a case, the constraint condition acquisition unit 21 acquires the spatial activity of each pixel constituting the image or a part of the image, and is paired with the spatial activity distribution that most closely approximates the acquired spatial activity distribution. A sense of resolution may be acquired.
  • the constraint condition acquisition unit 21 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the constraint condition acquisition unit 21 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • Step S701 The constraint condition acquisition unit 21 acquires one or more constraint conditions for the i-th processing target. Such a process is called a constraint condition acquisition process.
  • the constraint condition acquisition process will be described with reference to the flowchart of FIG.
  • the constraint conditions are acquired for each processing target.
  • the constraint condition may be acquired for each image received by the receiving unit 12, for example. That is, the processing target and the constraint condition do not necessarily correspond one-to-one.
  • step S701 the constraint condition acquisition process in step S701 will be described with reference to the flowchart of FIG.
  • Step S801 The constraint condition acquisition unit 21 substitutes 1 for the counter i.
  • Step S802 The constraint condition acquisition unit 21 determines whether there is an i-th feature quantity to be acquired. If there is an i-th feature quantity to be acquired, the process goes to step S803, and if not, the process returns to the upper process.
  • the type of feature quantity to be acquired is usually determined in advance.
  • the types of feature values to be acquired are, for example, pixel values and a sense of resolution.
  • Step S803 The constraint condition acquisition unit 21 acquires one or more feature quantities of the i type for the processing target.
  • Step S804 The constraint condition acquisition unit 21 performs an analysis process on the one or more feature amounts acquired in Step S803.
  • the analysis process is, for example, the above-described regression analysis.
  • Step S805 The constraint condition acquisition unit 21 applies a predetermined condition to the analysis result in step S804 for the i-th type of feature quantity to be acquired, and acquires the constraint condition.
  • Step S806 The constraint condition acquisition unit 21 increments the counter i by one.
  • step S804 the analysis process in step S804 may not be necessary.
  • step S805 the constraint condition acquisition unit 21 applies a predetermined condition to the one or more feature values acquired in step S803 for the i-th feature value to be acquired. To get.
  • the constraint condition suitable for the output image is dynamically acquired from the input image, the acquired constraint condition is applied to the input image, and an image that maintains the overall balance is obtained. Can output.
  • the software that realizes the image processing apparatus is the following program.
  • this program causes a recording medium to have a computer that receives an image having one or more fields obtained by photographing a subject, and one or more constraints from one or more fields that the image received by the receiving unit has. Apply the one or more constraint conditions to the constraint condition acquisition unit to be acquired and one or more fields of the image received by the reception unit, and change the field to one or more fields that match the one or more constraint conditions And an image changing unit that acquires one or more new fields, and a program for causing the image changing unit to function as an image output unit that outputs the one or more fields acquired by the image changing unit.
  • an image processing apparatus 3 that dynamically selects a constraint condition suitable for an output image, applies the selected constraint condition to the image, and outputs an image that maintains the overall balance will be described. . That is, the present embodiment is different from the first embodiment in that the constraint condition suitable for the accepted input image is dynamically selected.
  • FIG. 9 is a block diagram of the image processing apparatus 3 in the present embodiment.
  • the image processing apparatus 3 includes a constraint condition storage unit 31, a reception unit 12, an image change unit 33, and an image output unit 14.
  • the image changing unit 33 includes a feature amount acquisition unit 331, a constraint condition acquisition unit 332, and an image acquisition unit 333.
  • the constraint condition storage unit 31 can store two or more sets of one or more constraint conditions and feature amount conditions.
  • the feature amount condition is a condition related to the feature amount of the object in the field.
  • the feature amount of the object in the field may be referred to as the feature amount of the field.
  • the object in the field may be a tangible object (for example, a sunflower in an image) or a spatio-temporal block obtained by dividing an image.
  • the feature amount includes, for example, a neighborhood feature amount that is a partial feature amount of one or more fields and an overall feature amount that is a feature amount of one or more entire fields.
  • the neighborhood feature amount includes, for example, a pixel value, an activity, a spatiotemporal correlation, a motion vector, a frequency distribution, and the like.
  • the activity is, for example, a maximum value and a minimum value of a plurality of pixels, a dynamic range (DR), a difference value between the plurality of pixels, and the like.
  • DR dynamic range
  • the difference value between a plurality of pixels may be a difference value between a plurality of pixels in the space, a difference value between a plurality of pixels in the time direction, or a difference value between a plurality of pixels in the space and the time direction.
  • the total feature amount includes, for example, the pixel value distribution of the entire image, the motion vector distribution of the entire image, the spatiotemporal correlation of one or more images, the noise amount of the entire image, the image format, the object in the field, Number (single or plural, etc.), content information regarding content that is one or more images, pattern detection results (face, etc.), and the like.
  • the content information is, for example, the program genre, title, performer name, and the like included in the electronic program guide (EPG).
  • One or more feature quantities are also referred to as feature quantity vectors as appropriate.
  • the feature amount condition is, for example, the number of objects (single or plural), the dynamic range of a plurality of pixels in a field, the dynamic range of a plurality of pixels in a spatiotemporal block, and the like.
  • the feature amount condition may be, for example, a regression surface obtained by regression analysis of the width of resolution, the distribution of resolution, or the distribution of resolution in the spatiotemporal block.
  • the feature amount condition may be, for example, a regression surface obtained by regression analysis of the pixel value width, pixel value distribution, or pixel value distribution in the spatiotemporal block.
  • the restraint condition storage unit 31 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process in which information (a set of constraint conditions and feature amount conditions) is stored in the constraint condition storage unit 31 does not matter.
  • information may be stored in the constraint condition storage unit 31 via a recording medium, or information transmitted via a communication line or the like may be stored in the constraint condition storage unit 31.
  • information input via the input device may be stored in the constraint condition storage unit 31.
  • the image changing unit 33 applies one or more constraint conditions to one or more fields included in the image received by the receiving unit 12, changes the field to one or more fields that match the one or more constraint conditions, and sets a new 1 Get the above fields.
  • the image changing unit 33 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the image changing unit 33 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the feature amount acquisition unit 331 constituting the image changing unit 33 acquires one or more predetermined feature amounts from one or more fields of the image received by the receiving unit 12.
  • the feature quantity acquisition unit 331 may divide one or more fields into one or more spatio-temporal blocks (which are also processing targets) and acquire one or more predetermined feature quantities from the processing targets. Even when acquiring feature values from the spatiotemporal block, it is to acquire one or more feature values from one or more fields.
  • the feature quantity acquired by the feature quantity acquisition unit 331 includes, for example, the number of objects, the sense of resolution, the distribution of sense of resolution, the regression surface obtained by performing regression analysis on the distribution of sense of resolution, pixel values, and distribution of pixel values. And a regression surface obtained by regression analysis of the distribution of pixel values.
  • the feature amount acquisition unit 331 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the feature quantity acquisition unit 331 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the constraint condition acquisition unit 332 determines one or more feature parameter conditions that match one or more feature parameters, and acquires one or more constraint parameters that are paired with one or more feature parameter conditions from the constraint condition storage unit 31. .
  • the constraint condition acquisition unit 332 determines a regression surface (feature amount condition) that is closest to the regression surface, and determines the most One or more constraint conditions paired with the approximate regression surface are acquired from the constraint condition storage unit 31.
  • the constraint condition acquisition unit 332 determines a feature quantity condition corresponding to the sense of resolution, and sets one or more constraint conditions paired with the feature quantity condition to the constraint condition storage unit 31.
  • the constraint condition acquisition unit 332 determines a regression surface (feature quantity condition) that is closest to the regression surface, and determines the most One or more constraint conditions paired with the approximate regression surface are acquired from the constraint condition storage unit 31.
  • the constraint condition acquisition unit 332 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the constraint condition acquisition unit 332 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the image acquisition unit 333 applies one or more constraint conditions acquired by the constraint condition acquisition unit 332 to one or more fields included in the image received by the reception unit 12, and matches one or more of the one or more constraint conditions. To get one or more new fields.
  • the processing of the image acquisition unit 333 is the same as the processing of the image changing unit 13.
  • the image acquisition unit 333 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the image acquisition means 333 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • Step S1001 The image changing unit 33 selects one or more constraint conditions for the i-th processing target. Such a process is called a constraint condition selection process.
  • the constraint condition selection process will be described with reference to the flowchart of FIG.
  • the constraint condition is selected for each processing target.
  • the constraint condition may be acquired for each image received by the receiving unit 12, for example. That is, the processing target and the constraint condition do not necessarily correspond one-to-one.
  • the processing is ended by powering off or interruption for aborting the processing.
  • step S1001 the constraint condition selection processing in step S1001 will be described using the flowchart of FIG. In the flowchart of FIG. 11, the description of the same steps as those in the flowchart of FIG. 8 is omitted.
  • Step S1101 The constraint condition acquisition unit 332 substitutes 1 for the counter j.
  • Step S1102 The constraint condition acquisition unit 332 determines whether or not the j-th feature value condition exists in the constraint condition storage unit 31. If it exists, go to step S1103, and if not, go to step S806.
  • Step S1103 The constraint condition acquisition unit 332 compares the one or more feature amounts acquired by the feature amount acquisition unit 331 in step S803 with the jth feature amount condition existing in the constraint condition storage unit 31.
  • Step S1104 As a result of the comparison in step S1103, the constraint condition acquisition unit 332 determines whether one or more feature quantities satisfy the jth feature quantity condition. If one or more feature values satisfy the j-th feature value condition, the process goes to step S1105; otherwise, the process goes to step S1106.
  • the constraint condition acquisition unit 332 acquires from the constraint condition storage unit 31 one or more constraint conditions that are paired with the j-th feature value condition.
  • Step S1106 The constraint condition acquisition unit 332 increments the counter j by 1. The process returns to step S1102.
  • the present embodiment it is possible to output an image maintaining the overall balance. Further, according to the present embodiment, it is possible to dynamically select a constraint condition suitable for an output image, apply the selected constraint condition to the image, and output an image that maintains the overall balance.
  • the software that realizes the image processing apparatus is the following program. That is, this program stores two or more sets of constraint conditions and feature quantity conditions that are conditions related to the feature quantities of the objects in the field on the recording medium, and the computer stores one or more sets of photographs of the subject.
  • a reception unit that receives an image having a field, and one or more fields that match the one or more constraint conditions by applying the one or more constraint conditions to one or more fields of the image received by the reception unit
  • an image changing unit that acquires one or more new fields and an image output unit that outputs the one or more fields acquired by the image changing unit.
  • the image changing unit includes: A feature amount acquisition means for acquiring one or more feature amounts determined in advance from one or more fields of an image received by the reception unit; Constraint condition acquisition means for determining one or more feature parameter conditions that match the feature parameters and acquiring from the recording medium one or more constraint parameters that are paired with the one or more feature parameter conditions; Apply one or more constraint conditions acquired by the constraint condition acquisition means to one or more fields included in the image, and change to one or more fields that match the one or more constraint conditions.
  • a program for causing a computer to function as image acquisition means for acquiring a field.
  • one or more constraint conditions that can be acquired from a subject are applied to one or more images obtained by photographing the subject, and an input image that is input so as to satisfy the constraint conditions is processed and output.
  • the image processing apparatus 4 that acquires images will be described.
  • a predetermined image process is performed on the received input image, and an image subjected to the image process (referred to as a processed image) is restrained. The difference is that the output image is acquired by changing the condition so as to satisfy the condition.
  • FIG. 12 is a block diagram of the image processing apparatus 4 in the present embodiment.
  • the image processing device 4 is, for example, a television receiver, a DVD player, or the like.
  • the image processing apparatus 4 includes a constraint condition storage unit 11, a reception unit 12, an image processing unit 41, an image change unit 43, and an image output unit 14.
  • the image processing unit 41 processes the image received by the receiving unit 12 to obtain a processed image.
  • the image processing performed by the image processing unit 41 is, for example, pixel number conversion processing or noise removal processing.
  • the image processing may be other processing. Note that pixel number conversion processing and noise removal processing are well-known techniques, and thus description thereof is omitted.
  • the image changing unit 43 applies one or more constraint conditions to one or more fields of the processed image, changes the field to one or more fields that match the one or more constraint conditions, and acquires one or more new fields. To do.
  • the processing of the image changing unit 43 is different from the image changing unit 13 in that the processed image acquired by the image processing unit 41 is normally processed.
  • the image changing unit 43 causes the luminance value of the pixel to satisfy the constraint condition when there is a luminance pixel that does not satisfy the threshold value.
  • the process of the image processing unit 41 is changed.
  • the change of the process of the image processing unit 41 is, for example, a change of a processing parameter used by the image processing unit 41.
  • the image changing unit 43 changes the process of the image processing unit 41 to a process in which the resolution satisfies the constraint condition.
  • the change of the process of the image processing unit 41 is, for example, a change of a processing parameter used by the image processing unit 41.
  • the image processing unit 41 and the image changing unit 43 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the image processing unit 41 or the like is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • Step S1301 The image processing unit 41 processes the image received by the receiving unit 12 to obtain a processed image.
  • step S203 in the flowchart of FIG. 13 the image changing unit 43 acquires one or more processing targets from the processing image.
  • the processing is ended by powering off or interruption for aborting the processing.
  • the entire screen or the entire image A balanced image can be output. More specifically, according to the present embodiment, even when the balance of the entire screen is lost by image processing such as pixel number conversion processing or noise removal processing, the constraint condition for matching the image to the natural law is satisfied. A suitable image can be output, and the viewer can feel a sense of perspective, depth, and the like that should originally have the image.
  • the processing performed by the image processing unit 41 before the processing of the image changing unit is performed in addition to the image processing device 2 of the second embodiment, the image processing device 3 of the third embodiment, and the like. Needless to say, the present invention may be applied to other image processing apparatuses.
  • the constraint condition acquisition unit 21 normally acquires one or more constraint conditions from one or more fields included in the image received by the reception unit 12. However, also in this case, the constraint condition acquisition unit 21 may acquire one or more constraint conditions from one or more fields included in the processed image that is the result of the image processing unit 41.
  • the feature amount acquisition unit 331 When the image processing apparatus 3 includes the image processing unit 41, the feature amount acquisition unit 331 normally acquires one or more feature amounts determined in advance from one or more fields included in the image received by the receiving unit 12. To do. However, even in such a case, the feature amount acquisition unit 331 may acquire one or more predetermined feature amounts from one or more fields included in the processed image that is a result of the image processing unit 41.
  • the software that realizes the image processing apparatus is the following program. That is, this program stores one or more constraint conditions that are conditions applied to an output image on a recording medium and is a condition acquired from a subject, and the computer captures one or more images of the subject.
  • a receiving unit that receives an image having a field
  • an image processing unit that processes the image received by the receiving unit to obtain a processed image
  • the one or more constraint conditions for one or more fields of the processed image Is applied to change to one or more fields that match the one or more constraint conditions
  • an image change unit that acquires one or more new fields
  • an image output that outputs the one or more fields acquired by the image change unit
  • a constraint condition suitable for the output image is dynamically acquired from the input image, the acquired constraint condition is applied to the input image, and an output image that maintains the overall balance is obtained.
  • the obtained image processing apparatus 5 will be described.
  • the present embodiment is different from the second embodiment and the third embodiment in that the constraint condition is acquired using information other than the input image.
  • FIG. 14 is a block diagram of the image processing apparatus 5 in the present embodiment.
  • the image processing device 5 is, for example, a television receiver, a DVD player, or the like.
  • the image processing apparatus 5 includes a constraint condition storage unit 31 (or a constraint condition storage unit 11), a reception unit 12, an image processing unit 41, a subject information acquisition unit 51, a constraint condition acquisition unit 52, an image change unit 43, and an image output.
  • the unit 14 is provided.
  • the subject information acquisition unit 51 acquires information on one or more subjects (referred to as subject information).
  • a subject is an object shown in an image received by the receiving unit 12.
  • the subject information is usually an attribute of the subject.
  • the subject information is, for example, the distance of the subject from the camera.
  • the subject information may be, for example, the actual size of the subject, the illuminance of the subject, and the like.
  • the subject information acquisition unit 51 acquires the distance from the camera to the subject using, for example, a distance measuring sensor.
  • the subject information acquisition unit 51 acquires the illuminance of the subject using, for example, an illuminance sensor.
  • the subject information acquisition unit 51 may receive subject information such as the distance from the camera to the subject and the actual size of the subject, for example, from the user.
  • the subject information acquisition unit 51 can be realized by, for example, a distance measuring sensor, an illuminance sensor, or an input receiving unit from an input unit.
  • the constraint condition acquisition unit 52 acquires one or more constraint conditions using the one or more subject information acquired by the subject information acquisition unit 51. Further, the constraint condition acquisition unit 52 may acquire one or more constraint conditions by using one or more subject information and images acquired by the subject information acquisition unit 51. Furthermore, the constraint condition acquisition unit 52 may acquire one or more subject information acquired by the subject information acquisition unit 51 as a constraint condition as it is.
  • the image here is a processed image acquired by the image processing unit 41, but may be an image received by the receiving unit 12. An image is the whole image or a part of an image.
  • the constraint condition storage unit 31 holds two or more sets of a distance width from the camera and one or more constraint conditions having parameters such as brightness and resolution. . Then, the constraint condition acquisition unit 52 acquires a constraint condition corresponding to the distance from the camera acquired by the subject information acquisition unit 51.
  • the constraint condition acquisition unit 52 acquires one or more constraint conditions corresponding to one or more feature amounts acquired from the image and one or more subject information acquired by the subject information acquisition unit 51. To do. That is, the constraint condition acquisition unit 52 determines one or more feature amount conditions that match the one or more feature amounts acquired from the image and the one or more subject information acquired by the subject information acquisition unit 51. Then, the constraint condition acquisition unit 52 acquires one or more constraint conditions that are paired with the determined one or more feature amount conditions.
  • the constraint condition acquisition unit 52 acquires the illuminance of the subject acquired by the subject information acquisition unit 51 as a constraint condition.
  • the constraint condition acquisition unit 52 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the constraint condition acquisition unit 52 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • Step S1501 The constraint condition acquisition unit 52 acquires one or more constraint conditions for the i-th processing target. Such a process is called a constraint condition selection process.
  • the constraint condition selection process will be described with reference to the flowchart of FIG.
  • the constraint condition is acquired for each processing target.
  • the constraint condition may be acquired for each processed image acquired by the image processing unit 41, for example. That is, the processing target and the constraint condition do not necessarily correspond one-to-one.
  • the process is ended by powering off or interruption for aborting the process.
  • step S1501 the constraint condition selection processing in step S1501 will be described using the flowchart of FIG.
  • Step S1601 The subject information acquisition unit 51 acquires one or more subject information.
  • Step S1602 The constraint condition acquisition unit 52 assigns 1 to the counter i.
  • Step S1603 The constraint condition acquisition unit 52 determines whether or not the i-th feature value condition exists in the constraint condition storage unit 31. If the i-th feature amount condition exists, the process proceeds to step S1604, and if not, the process returns to the upper process.
  • Step S1604 The constraint condition acquisition unit 52 compares the i-th feature amount condition with one or more pieces of subject information acquired in Step S1601.
  • Step S1605 As a result of the comparison in step S1604, the constraint condition acquisition unit 52 determines whether one or more subject information matches the i-th feature amount condition. If the i-th feature value condition is met, the process goes to step S1606, and if not, the process goes to step S1607.
  • the constraint condition acquisition unit 52 acquires one or more constraint conditions that are paired with the i-th feature amount condition from the constraint condition storage unit 31.
  • Step S1607 The constraint condition acquisition unit 52 increments the counter i by one. The process returns to step S1603.
  • the present embodiment it is possible to output an image that maintains the balance of the entire screen or the entire image. More specifically, it is possible to output an image that conforms to the constraint conditions suitable for the acquired subject information, and the viewer can feel a sense of perspective and depth that the image should originally have.
  • the image processing device 5 may be configured not to include the image processing unit 41.
  • the software that realizes the image processing apparatus is the following program.
  • this program causes the computer to receive an image having one or more fields obtained by photographing a subject, a subject information obtaining unit that obtains information about one or more subjects, and the subject information obtaining unit 1 Using the above subject information, a constraint condition acquisition unit that acquires one or more constraint conditions and one or more fields acquired by the constraint condition acquisition unit for one or more fields of an image received by the reception unit Is applied, and the image change unit that acquires one or more new fields is output, and the one or more fields acquired by the image change unit are output.
  • FIG. 17 shows the external appearance of a computer that implements the image processing apparatuses according to the various embodiments described above by executing the program described in this specification.
  • the above-described embodiments can be realized by computer hardware and a computer program executed thereon.
  • FIG. 17 is an overview diagram of the computer system 300
  • FIG. 18 is a block diagram of the system 300.
  • the computer system 300 includes a computer 301 including an FD drive and a CD-ROM drive, a keyboard 302, a mouse 303, a monitor 304, an FD drive 3011, and a CD-ROM drive 3012.
  • a computer 301 includes an MPU 3013, a bus 3014 connected to the CD-ROM drive 3012 and the FD drive 3011, and a ROM 3015 for storing a program such as a bootup program. And a RAM 3016 connected to the MPU 3013 for temporarily storing application program instructions and providing a temporary storage space, and a hard disk 3017 for storing application programs, system programs, and data.
  • the computer 301 may further include a network card that provides connection to a LAN.
  • a program that causes the computer system 300 to execute the functions of the image processing apparatus according to the above-described embodiment is stored in the CD-ROM 3101 or FD 3102, inserted into the CD-ROM drive 3012 or FD drive 3011, and further stored in the hard disk 3017. May be forwarded.
  • the program may be transmitted to the computer 301 via a network (not shown) and stored in the hard disk 3017.
  • the program is loaded into the RAM 3016 at the time of execution.
  • the program may be loaded directly from the CD-ROM 3101, the FD 3102 or the network.
  • the program does not necessarily include an operating system (OS) or a third-party program that causes the computer 301 to execute the functions of the image processing apparatus according to the above-described embodiment.
  • the program only needs to include an instruction portion that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 300 operates is well known and will not be described in detail.
  • the step of receiving an image does not include processing performed by hardware, for example, processing performed by a tuner or an interface card in the receiving step (processing performed only by hardware).
  • the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • each process may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
  • the image processing apparatus has an effect of being able to output an image maintaining the overall balance, and is useful as a television receiver or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】従来、全体のバランスが崩れた画像が出力されることがあった。 【解決手段】出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納し得る拘束条件格納部と、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部とを具備する画像処理装置。により、全体のバランスを保持した画像を出力できる。

Description

画像処理装置、画像処理方法、および記録媒体
　本発明は、画像を処理する画像処理装置等に関するものである。
　従来、実在する入力画像データと対応する画素間の所定の画素の画像データを実在する入力画像データによって補間生成するためのディジタル画像信号の補間装置において、実在する入力画像データを受け取り、所定の画素の周辺位置に存在する所定数の実在する画素データを抽出する手段と、係数を求めるための画素データを用いて、補間値と真値との誤差の自乗和が最小となるように最小自乗法により予め定められた所定数の係数と、抽出された上記所定数の実在する画素データとの線形１次結合により、所定の画素の画素データを補間生成する手段とからなることを特徴とするディジタル画像信号の補間装置があった（特許文献１参照）。
　また、第１のディジタルビデオ信号から上記第１のディジタルビデオ信号より画素数の多い第２のディジタルビデオ信号を生成するディジタルビデオ信号変換装置があった（特許文献２参照）。
　一方、近年、テレビジョン受信機等において、大画面化が進んでいる。また、近年、画面のマルチ化（枠が存在する複数の画面を合わせて一つの画面とするもの）、高輝度化も進んでいる。
特許第２８２５４８２号公報（第１頁、第１図等） 特許第３０７２３０６号公報（第１頁、第１図等）
　しかしながら、従来の画像処理装置においては、全体のバランスが崩れた画像が出力されることがあった。
　そして、大画面において、視聴者は、目で画面内のオブジェクトを追うようなことをしなければならず、例えば、奥に存在するはずのオブジェクトの輝度が大きく、手前に存在するはずのオブジェクトの輝度が小さくなっているような全体のバランスが崩れた画像が出力されている場合、視聴者は、遠近感や奥行き感を感じない。また、大画面において、例えば、オブジェクトの輝度の分布が自然でなく、全体のバランスが崩れている場合、視聴者にとって、オブジェクトの厚みが認知され難くなる。また、大画面において、例えば、非剛体のオブジェクトが、視聴者にとって手前から奥に変形しながら移動するような場合、画面の手前の輝度より奥の輝度の方が大きいようなバランスが崩れている場合、視聴者は、非剛体の変形を認知し難い、といった課題があった。さらに、例えば、多数の向日葵が大画面に映っている大画面において、手前の向日葵の解像度感が低く、奥の向日葵の解像度感が高い場合、視聴者にとって、遠近感が掴めない、という課題があった。
　これらの具体例は、自然法則に合致しない画像、つまり、バランスが崩れた画像を大画面で出力することにより発生する課題である。
　本第一の発明の画像処理装置は、出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納し得る拘束条件格納部と、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、受付部が受け付けた画像が有する１以上のフィールドに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、画像変更部が取得した１以上のフィールドを出力する画像出力部とを具備する画像処理装置である。
　かかる構成により、全体のバランスを保持した画像を出力できる。
　また、本第二の発明の画像処理装置は、第一の発明に対して、受付部が受け付けた画像が有する１以上のフィールドから１以上の拘束条件を取得する拘束条件取得部をさらに具備し、拘束条件格納部の１以上の拘束条件は、拘束条件取得部が取得した１以上の拘束条件である画像処理装置である。
　かかる構成により、出力される画像に適した拘束条件を動的に取得し、当該取得した拘束条件を適用し、全体のバランスを保持した画像を出力できる。
　また、本第三の発明の画像処理装置は、第一または第二の発明に対して、拘束条件格納部は、拘束条件と、フィールド内のオブジェクトの特徴量に関する条件である特徴量条件との組を２組以上格納しており、画像変更部は、受付部が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する特徴量取得手段と、１以上の特徴量が合致する１以上の特徴量条件を決定し、１以上の各特徴量条件と組になる１以上の拘束条件を前記拘束条件格納部から取得する拘束条件取得手段と、受付部が受け付けた画像が有する１以上のフィールドに対して、拘束条件取得手段が取得した１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像取得手段とを具備する画像処理装置である。
　かかる構成により、出力される画像に適した拘束条件を動的に選択し、当該選択した拘束条件を画像に適用し、全体のバランスを保持した画像を出力できる。
　本発明による画像処理装置によれば、全体のバランスを保持した画像を出力できる。
実施の形態１における画像処理装置のブロック図 同画像処理装置の動作について説明するフローチャート 実施の形態２における画像処理装置のブロック図 同拘束条件のイメージを示す図 同フィールドの具体例を示す図 同フィールドの具体例を示す図 同画像処理装置の動作について説明するフローチャート 同拘束条件取得処理について説明するフローチャート 実施の形態３における画像処理装置のブロック図 同画像処理装置の動作について説明するフローチャート 同拘束条件選択処理について説明するフローチャート 実施の形態４における画像処理装置４のブロック図 同画像処理装置４の動作について説明するフローチャート 実施の形態５における画像処理装置５のブロック図 同画像処理装置５の動作について説明するフローチャート 同拘束条件選択処理について説明するフローチャート 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図
　以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
　（実施の形態１）
　本実施の形態において、被写体から取得され得る１以上の拘束条件を、当該被写体を撮影した１以上の各画像（入力画像）に対して適用し、拘束条件を満たすように入力された入力画像を処理し、出力画像を取得する画像処理装置１について説明する。
　図１は、本実施の形態における画像処理装置１のブロック図である。画像処理装置１は、例えば、テレビジョン受信機、ＤＶＤプレーヤー等である。
　画像処理装置１は、拘束条件格納部１１、受付部１２、画像変更部１３、および画像出力部１４を備える。
　拘束条件格納部１１は、１以上の拘束条件を格納し得る。拘束条件とは、出力される画像に適用される条件であり、被写体から取得される条件である。拘束条件は、画像を自然法則に合致させるための条件である。拘束条件は、具体的には、例えば、視聴者から見て、手前の画面領域の輝度が大きく、奥の画面領域の輝度が小さいことを保証する条件である。また、拘束条件は、例えば、視聴者から見て、手前のオブジェクトの解像度感が高く、奥のオブジェクトの解像度感が低いことを保証する条件である。なお、解像度感とは、きめ細かい画像の感じ、または美しい画像の感じ、または高品質な画像の感じ、またはノイズが少ない画像の感じ、または自然に近い画像の感じ等である。
　解像度感は、例えば、周波数分析を行うことにより判定できる。具体的には、例えば、画像または画像の一部（後述する時空間ブロック等）に対して周波数分析を行い、高周波成分が多いほど解像度感が高く、低周波成分の割合が多いほど解像度感が低いと判定され得る。さらに具体的には、第一の閾値以上の高周波成分の割合に応じて、解像度感を定量的（例えば、１から５の５段階）に決定しても良い。つまり、閾値以上の高周波成分の割合が大きいほど、高い解像度感とする。また、周波数分析を行い、周波数分布を取得し、周波数分布に応じて、解像度感を定量的に決定しても良い。なお、かかる場合も、通常、高周波成分が多いほど解像度感が高く、低周波成分の割合が多いほど解像度感が低いと判定される。
　また、解像度感は、例えば、空間の画素値のアクティビティー（空間的アクティビティーという）を用いて判定できる。具体的には、例えば、空間的アクティビティーが第一の閾値以上の画素の割合が多いほど、解像度感が高いと判定され得る。また、空間アクティビティーが第一の閾値以上の画素の割合に応じて、解像度感を定量的（例えば、１から５の５段階）に決定しても良い。
　その他、解像度感の判定、または解像度感の取得方法は問わない。
　また、拘束条件は、例えば、フィールドが有する画素の画素値をパラメータとする条件である。また、拘束条件は、例えば、時間的に連続する２以上のフィールドが有する画素の画素値の変化量である画素値の時間的アクティビティーをパラメータとする条件である。また、拘束条件は、例えば、一のフィールドが有する２以上の画素の画素値の差異である画素値の空間的アクティビティーをパラメータとする条件である。さらに具体的には、拘束条件は、例えば、画素値の時間的アクティビティーが一定の予め決められた範囲（時間ｔによる関数で規定できる範囲でも良い）にあることを保証する条件である。また、具体的には、拘束条件は、例えば、画素値の空間的アクティビティーが一定の予め決められた範囲（基準点からの距離ｘによる関数で規定できる範囲でも良い）にあることを保証する条件である。
　また、拘束条件は、例えば、フィールド内のオブジェクトの解像度感をパラメータとする条件である。また、拘束条件は、例えば、時間的に連続する２以上のフィールド内のオブジェクトの解像度の変化量である解像度感の時間的アクティビティーをパラメータとする条件である。また、拘束条件は、例えば、一のフィールドが有する２以上のオブジェクトの解像度感の差異である解像度感の空間的アクティビティーをパラメータとする条件である。さらに具体的には、拘束条件は、例えば、解像度感の時間的アクティビティーが一定の予め決められた範囲（時間ｔによる関数で規定できる範囲でも良い）にあることを保証する条件である。また、具体的には、拘束条件は、例えば、解像度感の空間的アクティビティーが一定の予め決められた範囲（基準点からの距離ｘによる関数で規定できる範囲でも良い）にあることを保証する条件である。
　なお、画像は、動画でも静止画でも良い。画像が動画の場合、画像は２以上のフィールド[0]を有する。なお、１フィールド[0]は、１画面であり、１フレームと言っても良い。
　拘束条件格納部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部１１に拘束条件が記憶される過程は問わない。例えば、記録媒体を介して拘束条件が拘束条件格納部１１で記憶されるようになってもよく、通信回線等を介して送信された拘束条件が拘束条件格納部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束条件が拘束条件格納部１１で記憶されるようになってもよい。
　受付部１２は、被写体を撮影した１以上のフィールドを有する画像を受け付ける。受け付けとは、通常、放送手段から送信された画像の受信である。ただし、受け付けとは、マウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。受付部１２は、例えば、放送受信手段、または有線もしくは無線の通信手段により実現され得る。
　画像変更部１３は、受付部１２が受け付けた画像が有する１以上のフィールドに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する。ここで、拘束条件の適用とは、１フィールド全体への適用で良いし、２以上のフィールド全体への適用で良い。
　また、拘束条件の適用は、１または複数のフィールドを空間的、または時間的、または空間的かつ時間的に２以上に分割し、当該分割した画像（時空間ブロックとも言う）に適用することでも良い。かかる場合、画像変更部１３は、受付部１２が受け付けた画像を２以上の時空間ブロックに分割する。そして、画像変更部１３は、取得した複数の時空間ブロックに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する時空間ブロックに変更した新しい複数の時空間ブロックを取得する。そして、画像変更部１３は、新しい複数の時空間ブロックを結合し、出力する画像を取得する。なお、時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、例えば、時空間ブロックは、１画面（１フィールドまたは１フレーム）を４つに分割されたデータでも良いし、ｎ画面（ｎは２以上の整数）を８つに分割されたデータでも良い。なお、分割する数は問わない。また、時空間ブロックは１画素でも良い。
　また、例えば、拘束条件が輝度の閾値を有する条件の場合、画像変更部１３は、前記閾値を超える輝度の画素が存在する際には、当該画素の輝度の値を下げる処理を行う。また、画像変更部１３は、前記閾値より低い輝度の画素が存在する際には、当該画素の輝度の値を上げる処理を行う。
　また、例えば、拘束条件が解像度の閾値を有する条件の場合、画像変更部１３は、解像度が拘束条件を満たすように、当該画素およびその周辺に対してフィルタ処理を施す。
　画像変更部１３は、通常、ＭＰＵやメモリ等から実現され得る。画像変更部１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　画像出力部１４は、画像変更部１３が取得した１以上のフィールドを出力する。ここで、出力とは、通常、ディスプレイへの表示またはプロジェクターを用いた投影である。ただし、出力とは、プリンタでの印字、外部の装置（通常、ディスプレイ装置）への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
　画像出力部１４は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。画像出力部１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
　次に、画像処理装置１の動作について、図２のフローチャートを用いて説明する。
　（ステップＳ２０１）受付部１２は、画像を受け付けたか否かを判断する。画像を受け付ければステップＳ２０２に行き、画像を受け付けなければステップＳ２０１に戻る。ここでの画像は、１または２以上のフィールドを有する。
　（ステップＳ２０２）画像変更部１３は、拘束条件格納部１１に格納されている１以上の拘束条件を読み出す。
　（ステップＳ２０３）画像変更部１３は、ステップＳ２０１で受け付けた画像から、１以上の処理対象を取得する。処理対象とは、画像処理の対象である。なお、ここで、通常、画像変更部１３は、ステップＳ２０１で受け付けた画像を空間的、または時間的、または空間的および時間的に分割し、２以上の処理対象（上述の時空間ブロックである）を取得する。ただし、画像変更部１３は、ステップＳ２０１で受け付けた画像を分割せずに、当該画像をそのまま処理対象としても良い。ここで、１以上のフィールドを有する画像を分割する技術は公知技術であるので、詳細な説明を省略する。また、分割されて、得られた２以上の処理対象は、重なりがあっても良い。
　（ステップＳ２０４）画像変更部１３は、カウンタｉに１を代入する。
　（ステップＳ２０５）画像変更部１３は、ｉ番目の処理対象が存在するか否かを判断する。ｉ番目の処理対象が存在すればステップＳ２０６に行き、存在しなければステップＳ２１２に行く。
　（ステップＳ２０６）画像変更部１３は、カウンタｊに１を代入する。
　（ステップＳ２０７）画像変更部１３は、ｊ番目の拘束条件が存在するか否かを判断する。ｊ番目の拘束条件が存在すればステップＳ２０８に行き、存在しなければステップＳ２１１に行く。
　（ステップＳ２０８）画像変更部１３は、ｉ番目の処理対象がｊ番目の拘束条件に合致するか否かを判断する。ｊ番目の拘束条件に合致しなければステップＳ２０９に行き、合致すればステップＳ２１０に行く。なお、拘束条件に合致すると判断された処理対象は、そのままバッファに追記される。
　（ステップＳ２０９）画像変更部１３は、ｉ番目の処理対象をｊ番目の拘束条件に合致するように補正する。そして、画像変更部１３は、補正した画像をバッファに追記する。
　（ステップＳ２１０）画像変更部１３は、カウンタｊを１、インクリメントする。ステップＳ２０７に戻る。
　（ステップＳ２１１）画像変更部１３は、カウンタｉを１、インクリメントする。ステップＳ２０５に戻る。
　（ステップＳ２１２）画像変更部１３は、バッファ中の処理対象から画像を構成する。
　（ステップＳ２１３）画像出力部１４は、ステップＳ２１２で構成され、得られた新しい画像を出力する。ステップＳ２０１に戻る。
　なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　以上、本実施の形態によれば、画面全体または画像全体のバランスを保持した画像を出力できる。さらに具体的には、本実施の形態によれば、画像を自然法則に合致させるための拘束条件に適合する画像を出力でき、視聴者が、画像を本来的に有するべき遠近感、奥行き感等を感じられる。
　なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納しており、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラム、である。
　（実施の形態２）
　本実施の形態において、出力される画像に適した拘束条件を入力された画像から動的に取得し、当該取得した拘束条件を入力された画像に適用し、全体のバランスを保持した出力画像を得る画像処理装置２について説明する。つまり、本実施の形態において、実施の形態１と比較して、受け付けられた入力画像に適した拘束条件を入力画像から動的に取得する点が異なる。
　図３は、本実施の形態における画像処理装置２のブロック図である。
　画像処理装置２は、拘束条件格納部１１、受付部１２、拘束条件取得部２１、画像変更部１３、および画像出力部１４を備える。
　拘束条件取得部２１は、受付部１２が受け付けた画像が有する1以上のフィールドから１以上の拘束条件を取得する。言い換えれば、拘束条件取得部２１は、受付部１２が受け付けた画像から、当該画像に適用する１以上の拘束条件を取得する。
　具体的には、例えば、拘束条件取得部２１は、受付部１２が受け付けた画像が有する1以上のフィールドから、予め決められた１種類以上の特徴量であり、各種類ごとに、１以上の特徴量を取得する。そして、拘束条件取得部２１は、種類ごとに、当該種類に対応する１以上の特徴量を用いて、拘束条件を取得する。
　さらに具体的には、例えば、拘束条件取得部２１は、受付部１２が受け付けた画像が有する一つのフィールドのすべての画素の画素値を取得する。そして、拘束条件取得部２１は、フィールドの各画素の画素値の空間分布に対して、最小自乗法等を用いて回帰分析し、回帰曲面を得る。次に、拘束条件取得部２１は、各画素の画素値が回帰曲面から予め決められた閾値以内の範囲に収まるように、回帰曲面から予め決められた閾値を超えるほど、回帰曲面の画素値との差異がある画素値を、閾値に変更するような拘束条件を取得する。かかる拘束条件により、各画素の画素値の存在領域が規定できる。
　また、例えば、拘束条件取得部２１は、フィールドの各画素に対して、基準となる画素（例えば、座標値（０，０）の画素であり、左最上部の画素）からの相対的な位置を示す情報（距離や順番など）と画素値（Ｌ）とを軸とする二次元以上のグラフを作成し、当該グラフを、最小自乗法等を用いて回帰分析し、回帰曲線または回帰曲面を取得する。なお、拘束条件取得部２１は、例えば、位置（ｘ，ｙ）と画素値（Ｌ）の３次元のグラフ、時空間位置（ｘ，ｙ，ｔ）と画素値（Ｌ）の４次元のグラフを作成し、当該グラフを、最小自乗法等を用いて回帰分析し、回帰曲面を取得しても良い。
　次に、拘束条件取得部２１は、各画素の画素値が回帰曲線または回帰曲面から予め決められた閾値以内の範囲に収まるように、回帰曲線または回帰曲面から予め決められた閾値を超える画素値を、閾値に変更するような拘束条件を取得する。かかる拘束条件のイメージ図を図４に示す。図４において、４１は、拘束条件取得部２１が取得した２次元のグラフである。４２は、４１のグラフに対して回帰分析を行い、得られた回帰曲線である。４３１と４３２とは、拘束条件を示す。つまり、４３１は、回帰曲線上の各点から予め決められた閾値だけプラス方向に距離を有する曲線であり、画素値の最大値の曲線である。４３２は、回帰曲線上の各点から予め決められた閾値だけマイナス方向に距離を有する曲線であり、画素値の最小値の曲線である。
　なお、ここで、フィールドの具体例を図５に示す。画像が有する一つのフィールドは、図５に示すように雪景色を撮影した画像である。拘束条件取得部２１は、例えば、図５の画像の各画素の輝度を取得する。次に、拘束条件取得部２１は、各画素の座標値と画素の輝度とを軸とする空間分布に対して、最小自乗法等を用いて回帰分析し、回帰曲面を得る。次に、拘束条件取得部２１は、各画素の輝度が回帰曲面から予め決められた閾値以内の範囲に収まるように、予め決められた閾値を超える輝度を、閾値に変更するような拘束条件を取得する。かかる拘束条件は、視聴者に対して手前の画素の輝度は大きく、奥になるほど、輝度を小さくするような傾向を有する拘束条件となる。かかる拘束条件を適用された出力画像は、視聴者が雪景色の広がり感や冬の重い空気感を感じることができ、視聴者にとって視やすい画像である。つまり、かかる出力画像は、手前の領域であると考えられる明るい領域と、奥の領域であると考えられる暗い領域とのバランスがとれた画像である。
　また、具体的には、例えば、拘束条件取得部２１は、受付部１２が受け付けた画像が有する一つのフィールドの中の２以上の各オブジェクト（オブジェクトは時空間ブロックでも良い）の解像度感を取得する。つまり、拘束条件取得部２１は、一つのフィールドの２以上のオブジェクトを認識し、各オブジェクトの重心の座標値と解像度感を取得する。次に、拘束条件取得部２１は、各オブジェクトの重心の座標値と解像度感とを軸とする空間分布に対して、最小自乗法等を用いて回帰分析し、回帰曲面を得る。次に、拘束条件取得部２１は、各オブジェクトの解像度感が回帰曲面から予め決められた閾値以内の範囲に収まるように、予め決められた閾値を超える解像度感を、閾値に変更するような拘束条件を取得する。かかる拘束条件により、各オブジェクトの解像度感の存在領域が規定できる。なお、ここで、フィールドの具体例を図６に示す。画像が有する一つのフィールドは、図６に示すように多数の向日葵が存在する向日葵畑を撮影した画像である。拘束条件取得部２１は、図６の画像を輪郭抽出することにより、向日葵の花の部分（オブジェクトの一例）を抽出する。そして、拘束条件取得部２１は、各向日葵の花の部分の重心の座標値と解像度感を取得する。次に、拘束条件取得部２１は、各向日葵の花の重心の座標値と解像度感とを軸とする空間分布に対して、最小自乗法等を用いて回帰分析し、回帰曲面を得る。次に、拘束条件取得部２１は、各向日葵の花の解像度感が回帰曲面から予め決められた閾値以内の範囲に収まるように、予め決められた閾値を超える解像度感を、閾値に変更するような拘束条件を取得する。かかる拘束条件は、視聴者に対して手前の向日葵の花の解像度感は高く、奥になるほど、向日葵の花の解像度感を低くするような傾向を有する拘束条件となる。かかる拘束条件を適用された出力画像は、遠近感や奥行き感を感じることができ、視聴者にとって視やすい画像である。
　なお、拘束条件取得部２１は、例えば、以下のように解像度感を取得する。拘束条件取得部２１は、一つのフィールドを２以上の時空間ブロックに分割する。そして、拘束条件取得部２１は、各時空間ブロックに対して、周波数分析を行う。そして、拘束条件取得部２１は、第一の閾値以上の高周波成分の割合を算出する。次に、拘束条件取得部２１は、高周波成分の割合に応じて、解像度感を決定する。なお、拘束条件取得部２１は、例えば、高周波成分の割合の幅と解像度感との対応表を保持している、とする。また、拘束条件取得部２１は、周波数分布と解像度感との対応表を保持していても良い。かかる場合、拘束条件取得部２１は、各時空間ブロックに対して、周波数分析を行い、周波数分布を取得し、当該取得した周波数分布に最も近似する周波数分析と対になる解像度感を取得しても良い。
　また、拘束条件取得部２１は、例えば、以下のように解像度感を取得しても良い。つまり、拘束条件取得部２１は、画像または画像の一部（時空間ブロック）を構成する各画素の空間的アクティビティーを取得する。そして、拘束条件取得部２１は、空間的アクティビティーが閾値以上の画素の割合を取得する。そして、拘束条件取得部２１は、当該割合に応じて、解像度感を決定する。なお、拘束条件取得部２１は、例えば、空間的アクティビティーが閾値以上の画素の割合の幅と解像度感との対応表を保持している、とする。また、拘束条件取得部２１は、空間的アクティビティーの分布と解像度感との対応表を保持していても良い。かかる場合、拘束条件取得部２１は、画像または画像の一部を構成する各画素の空間的アクティビティーを取得し、当該取得した空間的アクティビティーの分布に最も近似する空間的アクティビティーの分布と対になる解像度感を取得しても良い。
　拘束条件取得部２１は、通常、ＭＰＵやメモリ等から実現され得る。拘束条件取得部２１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　次に、画像処理装置２の動作について、図７のフローチャートを用いて説明する。図７のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。
　（ステップＳ７０１）拘束条件取得部２１は、ｉ番目の処理対象に対して、１以上の拘束条件を取得する。かかる処理を拘束条件取得処理という。拘束条件取得処理について、図８のフローチャートを用いて説明する。
　なお、図８のフローチャートにおいて、拘束条件は、処理対象ごとに取得された。しかし、拘束条件は、例えば、受付部１２が受け付けた画像ごとに取得されても良い。つまり、処理の対象と、拘束条件とは、必ずしも１対１で対応していなくても良い。
　また、図８のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　次に、ステップＳ７０１の拘束条件取得処理について、図８のフローチャートを用いて説明する。
　（ステップＳ８０１）拘束条件取得部２１は、カウンタｉに１を代入する。
　（ステップＳ８０２）拘束条件取得部２１は、ｉ種類目の取得するべき特徴量が存在するか否かを判断する。ｉ種類目の取得するべき特徴量が存在すればステップＳ８０３に行き、存在しなければ上位処理にリターンする。なお、取得するべき特徴量の種類は、通常、予め決められている。取得するべき特徴量の種類は、例えば、画素値と解像度感である。
　（ステップＳ８０３）拘束条件取得部２１は、処理対象について、ｉ種類目の１以上の特徴量を取得する。
　（ステップＳ８０４）拘束条件取得部２１は、ステップＳ８０３で取得した１以上の特徴量に対して、分析処理を行う。なお、分析処理とは、例えば、上述した回帰分析である。
　（ステップＳ８０５）拘束条件取得部２１は、ｉ種類目の取得するべき特徴量に対して、予め決められた条件を、ステップＳ８０４における分析結果に適用し、拘束条件を取得する。
　（ステップＳ８０６）拘束条件取得部２１は、カウンタｉを１、インクリメントする。
　なお、図８のフローチャートにおいて、ステップＳ８０４における分析処理が必要ない場合もあり得る。かかる場合、ステップＳ８０５において、拘束条件取得部２１は、ｉ種類目の取得するべき特徴量に対して、予め決められた条件を、ステップＳ８０３において取得した１以上の特徴量に適用し、拘束条件を取得する。
　以上、本実施の形態によれば、全体のバランスを保持した画像を出力できる。また、本実施の形態によれば、出力される画像に適した拘束条件を、入力画像から動的に取得し、当該取得した拘束条件を入力画像に適用し、全体のバランスを保持した画像を出力できる。
　なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像が有する１以上のフィールドから１以上の拘束条件を取得する拘束条件取得部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラム、である。
　（実施の形態３）
　本実施の形態において、出力される画像に適した拘束条件を動的に選択し、当該選択した拘束条件を画像に適用し、全体のバランスを保持した画像を出力する画像処理装置３について説明する。つまり、本実施の形態において、実施の形態１と比較して、受け付けられた入力画像に適した拘束条件を動的に選択する点が異なる。
　図９は、本実施の形態における画像処理装置３のブロック図である。
　画像処理装置３は、拘束条件格納部３１、受付部１２、画像変更部３３、画像出力部１４を備える。
　画像変更部３３は、特徴量取得手段３３１、拘束条件取得手段３３２、画像取得手段３３３を備える。
　拘束条件格納部３１は、１以上の拘束条件と特徴量条件との組を２組以上格納し得る。特徴量条件とは、フィールド内のオブジェクトの特徴量に関する条件である。
　ここで、フィールド内のオブジェクトの特徴量は、フィールドの特徴量と言っても良い。フィールド内のオブジェクトは、実体のあるオブジェクト（例えば、画像の中の向日葵の花）でも良いし、画像を分割して得られた時空間ブロック等でも良い。また、特徴量には、例えば、１以上のフィールドの一部の特徴量である近傍特徴量と、１以上のフィールド全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティー、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティーとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ（ＤＲ）、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、１または２以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、フィールド内のオブジェクトの数（単数か複数か等）、１以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果（顔など）などである。ここで、コンテンツ情報とは、例えば、電子番組表（ＥＰＧ）が有する番組のジャンル、タイトル、出演者名等である。なお、１以上の特徴量を、適宜、特徴量ベクトルとも言う。
　特徴量条件は、例えば、オブジェクトの数（単数か複数か等）、フィールド内の複数の画素のダイナミックレンジ、時空間ブロック内の複数の画素のダイナミックレンジ等である。また、特徴量条件は、例えば、時空間ブロック内の解像度感の幅や解像度感の分布や解像度感の分布を回帰分析して得られた回帰曲面等でも良い。また、特徴量条件は、例えば、時空間ブロック内の画素値の幅や画素値の分布や画素値の分布を回帰分析して得られた回帰曲面等でも良い。
　拘束条件格納部３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部３１に情報（拘束条件と特徴量条件との組）が記憶される過程は問わない。例えば、記録媒体を介して情報が拘束条件格納部３１で記憶されるようになってもよく、通信回線等を介して送信された情報が拘束条件格納部３１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が拘束条件格納部３１で記憶されるようになってもよい。
　画像変更部３３は、受付部１２が受け付けた画像が有する１以上のフィールドに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する。
　画像変更部３３は、通常、ＭＰＵやメモリ等から実現され得る。画像変更部３３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　画像変更部３３を構成する特徴量取得手段３３１は、受付部１２が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する。特徴量取得手段３３１は、１以上のフィールドを１以上の時空間ブロック（処理対象でもある）に分割し、当該各処理対象から、予め決められた１以上の特徴量を取得しても良い。時空間ブロックから特徴量を取得する場合でも、１以上のフィールドから１以上の特徴量を取得することである。なお、特徴量取得手段３３１が取得する特徴量は、例えば、オブジェクトの数、解像度感、解像度感の分布、解像度感の分布を回帰分析して得られた回帰曲面、画素値、画素値の分布や画素値の分布を回帰分析して得られた回帰曲面等である。
　特徴量取得手段３３１は、通常、ＭＰＵやメモリ等から実現され得る。特徴量取得手段３３１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　拘束条件取得手段３３２は、１以上の特徴量が合致する１以上の特徴量条件を決定し、１以上の各特徴量条件と組になる１以上の拘束条件を拘束条件格納部３１から取得する。例えば、特徴量が解像度感の分布を回帰分析して得られた回帰曲面である場合、拘束条件取得手段３３２は、当該回帰曲面と最も近似する回帰曲面（特徴量条件）を決定し、当該最も近似する回帰曲面と対になる１以上の拘束条件を拘束条件格納部３１から取得する。また、特徴量が解像度感である場合、拘束条件取得手段３３２は、当該解像度感に対応する特徴量条件を決定し、当該特徴量条件と対になる１以上の拘束条件を拘束条件格納部３１から取得する。また、特徴量が画素値の分布を回帰分析して得られた回帰曲面である場合、拘束条件取得手段３３２は、当該回帰曲面と最も近似する回帰曲面（特徴量条件）を決定し、当該最も近似する回帰曲面と対になる１以上の拘束条件を拘束条件格納部３１から取得する。
　拘束条件取得手段３３２は、通常、ＭＰＵやメモリ等から実現され得る。拘束条件取得手段３３２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　画像取得手段３３３は、受付部１２が受け付けた画像が有する１以上のフィールドに対して、拘束条件取得手段３３２が取得した１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する。画像取得手段３３３の処理は、画像変更部１３の処理と同様である。
　画像取得手段３３３は、通常、ＭＰＵやメモリ等から実現され得る。画像取得手段３３３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　次に、画像処理装置３の動作について、図１０のフローチャートを用いて説明する。図１０のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。
　（ステップＳ１００１）画像変更部３３は、ｉ番目の処理対象に対して、１以上の拘束条件を選択する。かかる処理を拘束条件選択処理という。拘束条件選択処理について、図１１のフローチャートを用いて説明する。
　なお、図１０のフローチャートにおいて、拘束条件は、処理対象ごとに選択された。しかし、拘束条件は、例えば、受付部１２が受け付けた画像ごとに取得されても良い。つまり、処理の対象と、拘束条件とは、必ずしも１対１で対応していなくても良い。
　また、図１０のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　次に、ステップＳ１００１の拘束条件選択処理について、図１１のフローチャートを用いて説明する。図１１のフローチャートにおいて、図８のフローチャートと同一のステップについて、説明を省略する。
　（ステップＳ１１０１）拘束条件取得手段３３２は、カウンタｊに１を代入する。
　（ステップＳ１１０２）拘束条件取得手段３３２は、ｊ番目の特徴量条件が、拘束条件格納部３１に存在するか否かを判断する。存在すればステップＳ１１０３に行き、存在しなければステップＳ８０６に行く。
　（ステップＳ１１０３）拘束条件取得手段３３２は、特徴量取得手段３３１がステップＳ８０３で取得した１以上の特徴量と、拘束条件格納部３１に存在するｊ番目の特徴量条件とを対比する。
　（ステップＳ１１０４）拘束条件取得手段３３２は、ステップＳ１１０３における対比の結果、１以上の特徴量がｊ番目の特徴量条件を満たすか否かを判断する。１以上の特徴量がｊ番目の特徴量条件を満たす場合にはステップＳ１１０５に行き、満たさない場合にはステップＳ１１０６に行く。
　（ステップＳ１１０５）拘束条件取得手段３３２は、ｊ番目の特徴量条件と対になる１以上の拘束条件を、拘束条件格納部３１から取得する。
　（ステップＳ１１０６）拘束条件取得手段３３２は、カウンタｊを１、インクリメントする。ステップＳ１１０２に戻る。
　以上、本実施の形態によれば、全体のバランスを保持した画像を出力できる。また、本実施の形態によれば、出力される画像に適した拘束条件を動的に選択し、当該選択した拘束条件を画像に適用し、全体のバランスを保持した画像を出力できる。
　なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、拘束条件と、フィールド内のオブジェクトの特徴量に関する条件である特徴量条件との組を２組以上格納しており、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラムであり、前記画像変更部は、前記受付部が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する特徴量取得手段と、前記１以上の特徴量が合致する１以上の特徴量条件を決定し、当該１以上の各特徴量条件と組になる１以上の拘束条件を前記記録媒体から取得する拘束条件取得手段と、前記受付部が受け付けた画像が有する1以上のフィールドに対して、前記拘束条件取得手段が取得した１以上の拘束条件を適用し、当該１以上の拘束条件に合致する1以上のフィールドに変更し、新しい１以上のフィールドを取得する画像取得手段とを具備するものとしてコンピュータを機能させるためのプログラム、である。
　（実施の形態４）
　本実施の形態において、被写体から取得され得る１以上の拘束条件を、当該被写体を撮影した１以上の各画像に対して適用し、拘束条件を満たすように入力された入力画像を処理し、出力画像を取得する画像処理装置４について説明する。本実施の形態において、実施の形態１と比較して、受け付けられた入力画像に対して、予め決められた画像処理を施し、当該画像処理を施した画像（処理画像という）に対して、拘束条件を満たすように変更し、出力画像を取得する点が異なる。
　図１２は、本実施の形態における画像処理装置４のブロック図である。画像処理装置４は、例えば、テレビジョン受信機、ＤＶＤプレーヤー等である。
　画像処理装置４は、拘束条件格納部１１、受付部１２、画像処理部４１、画像変更部４３、および画像出力部１４を備える。
　画像処理部４１は、受付部１２が受け付けた画像を処理し、処理画像を得る。ここで、画像処理部４１が行う画像処理は、例えば、画素数変換の処理やノイズ除去処理などである。但し、画像処理は、他の処理でも良い。なお、画素数変換の処理やノイズ除去処理は公知技術であるので説明を省略する。
　画像変更部４３は、処理画像が有する１以上のフィールドに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する。画像変更部４３の処理は、画像変更部１３と比較して、通常、画像処理部４１が取得した処理画像を処理対象とする点が異なる。
　また、例えば、拘束条件が輝度の閾値を有する条件の場合、画像変更部４３は、前記閾値を満たさない輝度の画素が存在する際には、当該画素の輝度の値が拘束条件を満たすような処理に、画像処理部４１の処理を変更する。画像処理部４１の処理の変更とは、例えば、画像処理部４１が利用する処理パラメータの変更である。
　また、例えば、拘束条件が解像度の閾値を有する条件の場合、画像変更部４３は、解像度が拘束条件を満たすような処理に、画像処理部４１の処理を変更する。画像処理部４１の処理の変更とは、例えば、画像処理部４１が利用する処理パラメータの変更である。
　画像処理部４１、および画像変更部４３は、通常、ＭＰＵやメモリ等から実現され得る。画像処理部４１等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　次に、画像処理装置４の動作について、図１３のフローチャートを用いて説明する。図１３のフローチャートにおいて、図２のフローチャートと異なるステップについてのみ説明する。
　（ステップＳ１３０１）画像処理部４１は、受付部１２が受け付けた画像を処理し、処理画像を得る。
　なお、図１３のフローチャートのステップＳ２０３において、画像変更部４３は、処理画像から１以上の処理対象を取得する。
　また、図１３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　以上、本実施の形態によれば、画素数変換の処理やノイズ除去処理等の画像処理（前処理と言っても良い）により、全画面のバランスを崩した場合でも、画面全体または画像全体のバランスを保持した画像を出力できる。さらに具体的には、本実施の形態によれば、画素数変換の処理やノイズ除去処理等の画像処理により全画面のバランスを崩した場合でも、画像を自然法則に合致させるための拘束条件に適合する画像を出力でき、視聴者が、画像を本来的に有するべき遠近感、奥行き感等を感じられる。
　なお、本実施の形態において、画像変更部の処理の前に、画像処理部４１が処理を行うことは、実施の形態２の画像処理装置２や実施の形態３の画像処理装置３等の他の画像処理装置に適用しても良いことは言うまでもない。画像処理装置２が画像処理部４１を具備する場合、拘束条件取得部２１は、通常、受付部１２が受け付けた画像が有する１以上のフィールドから１以上の拘束条件を取得する。但し、かかる場合も、拘束条件取得部２１は、画像処理部４１の結果である処理画像が有する１以上のフィールドから１以上の拘束条件を取得しても良い。また、画像処理装置３が画像処理部４１を具備する場合、特徴量取得手段３３１は、通常、受付部１２が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する。但し、かかる場合も、特徴量取得手段３３１は、画像処理部４１の結果である処理画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得しても良い。
　また、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納しており、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像を処理し、処理画像を得る画像処理部と、前記処理画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラム、である。
　（実施の形態５）
　本実施の形態において、出力される画像に適した拘束条件を入力された画像から動的に取得し、当該取得した拘束条件を入力された画像に適用し、全体のバランスを保持した出力画像を得る画像処理装置５について説明する。本実施の形態において、実施の形態２や実施の形態３と異なるのは、拘束条件を入力画像以外の情報を用いて取得する点である。
　図１４は、本実施の形態における画像処理装置５のブロック図である。画像処理装置５は、例えば、テレビジョン受信機、ＤＶＤプレーヤー等である。
　画像処理装置５は、拘束条件格納部３１（または、拘束条件格納部１１）、受付部１２、画像処理部４１、被写体情報取得部５１、拘束条件取得部５２、画像変更部４３、および画像出力部１４を備える。
　被写体情報取得部５１は、１以上の被写体の情報（被写体情報という）を取得する。被写体とは、受付部１２が受け付けた画像に写っているオブジェクトである。被写体情報とは、通常、被写体の属性である。被写体情報は、例えば、被写体のカメラからの距離である。被写体情報とは、例えば、被写体の実際の大きさ、被写体の照度等でも良い。被写体情報取得部５１は、例えば、測距センサを用いて、カメラから被写体までの距離を取得する。被写体情報取得部５１は、例えば、照度センサを用いて、被写体の照度を取得する。また、被写体情報取得部５１は、例えば、ユーザから、カメラから被写体までの距離や、被写体の実際の大きさ等の被写体の情報を受け付けても良い。
　被写体情報取得部５１は、例えば、測距センサや照度センサや入力手段からの入力の受付手段により実現され得る。
　拘束条件取得部５２は、被写体情報取得部５１が取得した１以上の被写体情報を用いて、１以上の拘束条件を取得する。また、拘束条件取得部５２は、被写体情報取得部５１が取得した１以上の被写体情報と画像とを用いて、１以上の拘束条件を取得しても良い。さらに、拘束条件取得部５２は、被写体情報取得部５１が取得した１以上の被写体情報を、そのまま拘束条件として取得しても良い。なお、ここでの画像は、画像処理部４１が取得した処理画像であるが、受付部１２が受け付けた画像でも良い。また、画像とは、画像全体または画像の一部である。
　具体的には、例えば、拘束条件格納部３１は、カメラからの距離の幅と、輝度や解像度感等の特徴量をパラメータとする１以上の拘束条件との組を２組以上保持している。そして、拘束条件取得部５２は、被写体情報取得部５１が取得したカメラからの距離に対応する拘束条件を取得する。
　また、具体的には、例えば、拘束条件取得部５２は、画像から取得した１以上の特徴量と被写体情報取得部５１が取得した１以上の被写体情報とに対応する１以上の拘束条件を取得する。つまり、拘束条件取得部５２は、画像から取得した１以上の特徴量と被写体情報取得部５１が取得した１以上の被写体情報とに合致する１以上の特徴量条件を決定する。そして、拘束条件取得部５２は、決定した１以上の各特徴量条件と対になる１以上の拘束条件を取得する。
　また、具体的には、例えば、拘束条件取得部５２は、被写体情報取得部５１が取得した被写体の照度を拘束条件として取得する。
　拘束条件取得部５２は、通常、ＭＰＵやメモリ等から実現され得る。拘束条件取得部５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　次に、画像処理装置５の動作について、図１５のフローチャートを用いて説明する。図１５のフローチャートにおいて、図１３のフローチャートと異なるステップについてのみ説明する。
　（ステップＳ１５０１）拘束条件取得部５２は、ｉ番目の処理対象に対して、１以上の拘束条件を取得する。かかる処理を拘束条件選択処理という。拘束条件選択処理について、図１６のフローチャートを用いて説明する。
　なお、図１５のフローチャートにおいて、拘束条件は、処理対象ごとに取得された。しかし、拘束条件は、例えば、画像処理部４１が取得した処理画像ごとに取得されても良い。つまり、処理の対象と、拘束条件とは、必ずしも１対１で対応していなくても良い。
　また、図１５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　次に、ステップＳ１５０１の拘束条件選択処理について、図１６のフローチャートを用いて説明する。
　（ステップＳ１６０１）被写体情報取得部５１は、１以上の被写体情報を取得する。
　（ステップＳ１６０２）拘束条件取得部５２は、カウンタｉに１を代入する。
　（ステップＳ１６０３）拘束条件取得部５２は、ｉ番目の特徴量条件が拘束条件格納部３１に存在するか否かを判断する。ｉ番目の特徴量条件が存在すればステップＳ１６０４に行き、存在しなければ上位処理にリターンする。
　（ステップＳ１６０４）拘束条件取得部５２は、ｉ番目の特徴量条件と、ステップＳ１６０１で取得された１以上の被写体情報とを対比する。
　（ステップＳ１６０５）拘束条件取得部５２は、ステップＳ１６０４における対比の結果、１以上の被写体情報がｉ番目の特徴量条件に合致するか否かを判断する。ｉ番目の特徴量条件に合致すればステップＳ１６０６に行き、合致しなければステップＳ１６０７に行く。
　（ステップＳ１６０６）拘束条件取得部５２は、ｉ番目の特徴量条件と対になる１以上の拘束条件を拘束条件格納部３１から取得する。
　（ステップＳ１６０７）拘束条件取得部５２は、カウンタｉを１、インクリメントする。ステップＳ１６０３に戻る。
　以上、本実施の形態によれば、画面全体または画像全体のバランスを保持した画像を出力できる。さらに具体的には、取得した被写体情報に適した拘束条件に適合する画像を出力でき、視聴者が、画像を本来的に有するべき遠近感、奥行き感等を感じられる。
　なお、本実施の形態において、画像処理装置５は、画像処理部４１を具備しない構成でも良い。
　また、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、１以上の被写体の情報を取得する被写体情報取得部と、前記被写体情報取得部が取得した１以上の被写体の情報を用いて、１以上の拘束条件を取得する拘束条件取得部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記拘束条件取得部が取得した１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラム、である。
　また、図１７は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の画像処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１７は、このコンピュータシステム３００の概観図であり、図１８は、システム３００のブロック図である。
　図１７において、コンピュータシステム３００は、ＦＤドライブ、ＣＤ－ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４と、ＦＤドライブ３０１１、ＣＤ－ＲＯＭドライブ３０１２とを含む。
　図１８において、コンピュータ３０１は、図１７の構成要素に加えて、ＭＰＵ３０１３と、ＣＤ－ＲＯＭドライブ３０１２及びＦＤドライブ３０１１に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
　コンピュータシステム３００に、上述した実施の形態の画像処理装置の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３１０１、またはＦＤ３１０２に記憶されて、ＣＤ－ＲＯＭドライブ３０１２またはＦＤドライブ３０１１に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３１０１、ＦＤ３１０２またはネットワークから直接、ロードされても良い。
　プログラムは、コンピュータ３０１に、上述した実施の形態の画像処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
　なお、上記プログラムにおいて、画像を受信するステップなどでは、ハードウェアによって行われる処理、例えば、受信ステップにおけるチューナーやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
　また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
　また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
　本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
　以上のように、本発明にかかる画像処理装置は、全体のバランスを保持した画像を出力できる、という効果を有し、テレビジョン受信機等として有用である。
　１、２、３、４、５　画像処理装置
　１１、３１　拘束条件格納部
　１２　受付部
　１３、３３、４３　画像変更部
　１４　画像出力部
　２１　拘束条件取得部
　４１　画像処理部
　５１　被写体情報取得部
　５２　拘束条件取得部
　３３１　特徴量取得手段
　３３２　拘束条件取得手段
　３３３　画像取得手段

Claims (13)

  1. 出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納し得る拘束条件格納部と、
    被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、
    前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、
    前記画像変更部が取得した１以上のフィールドを出力する画像出力部とを具備する画像処理装置。
  2. 前記受付部が受け付けた画像を処理し、処理画像を得る画像処理部をさらに具備し、
    前記画像変更部は、
    前記処理画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する
    請求項１記載の画像処理装置。
  3. 前記受付部が受け付けた画像が有する１以上のフィールドから１以上の拘束条件を取得する拘束条件取得部をさらに具備し、
    前記拘束条件格納部の１以上の拘束条件は、前記拘束条件取得部が取得した１以上の拘束条件である請求項１または請求項２記載の画像処理装置。
  4. １以上の被写体の情報を取得する被写体情報取得部と、
    前記被写体情報取得部が取得した１以上の被写体の情報を用いて、１以上の拘束条件を取得する拘束条件取得部をさらに具備し、
    前記拘束条件格納部の１以上の拘束条件は、前記拘束条件取得部が取得した１以上の拘束条件である請求項１または請求項２記載の画像処理装置。
  5. 前記拘束条件格納部は、
    拘束条件と、フィールド内のオブジェクトの特徴量に関する条件である特徴量条件との組を２組以上格納しており、
    前記画像変更部は、
    前記受付部が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する特徴量取得手段と、
    前記１以上の特徴量が合致する１以上の特徴量条件を決定し、当該１以上の各特徴量条件と組になる１以上の拘束条件を取得する拘束条件取得手段と、
    前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記拘束条件取得手段が取得した１以上の拘束条件を適用し、当該１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを前記拘束条件格納部から取得する画像取得手段とを具備する請求項１記載の画像処理装置。
  6. 前記拘束条件格納部に格納されている１以上の拘束条件は、
    少なくともフィールドが有する画素の画素値をパラメータとする条件を含む請求項１から請求項５いずれか記載の画像処理装置。
  7. 前記拘束条件格納部に格納されている１以上の拘束条件は、
    少なくとも時間的に連続する２以上のフィールドが有する画素の画素値の変化量である画素値の時間的アクティビティーをパラメータとする条件を含む請求項６記載の画像処理装置。
  8. 前記拘束条件格納部に格納されている１以上の拘束条件は、
    少なくとも一のフィールドが有する２以上の画素の画素値の差異である画素値の空間的アクティビティーをパラメータとする条件を含む請求項６記載の画像処理装置。
  9. 前記拘束条件格納部に格納されている１以上の拘束条件は、
    少なくともフィールド内のオブジェクトの解像度感をパラメータとする条件を含む請求項１記載の画像処理装置。
  10. 前記拘束条件格納部に格納されている１以上の拘束条件は、
    少なくとも時間的に連続する２以上のフィールド内のオブジェクトの解像度感の変化量である解像度感の時間的アクティビティーをパラメータとする条件を含む請求項９記載の画像処理装置。
  11. 前記拘束条件格納部に格納されている１以上の拘束条件は、
    少なくとも一のフィールドが有する２以上のオブジェクトの解像度感の差異である解像度感の空間的アクティビティーをパラメータとする条件を含む請求項９記載の画像処理装置。
  12. 記録媒体に、
    出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納しており、
    受付部、画像変更部、および画像出力部により実現される画像処理方法であって、
    前記受付部が、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付ステップと、
    前記画像変更部が、前記受付ステップで受け付けられた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更ステップと、
    前記画像出力部が、前記画像変更ステップで取得された１以上のフィールドを出力する画像出力ステップとを具備する画像処理方法。
  13. 記録媒体に、
    出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納しており、コンピュータを、
    被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、
    前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、
    前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラムを記録した記録媒体。
PCT/JP2012/076585 2011-10-26 2012-10-15 画像処理装置、画像処理方法、および記録媒体 WO2013061810A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP12843479.2A EP2747415A4 (en) 2011-10-26 2012-10-15 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM
BR112014009109A BR112014009109A2 (pt) 2011-10-26 2012-10-15 aparelho de processamento de imagem, método de processamento de imagem e meio de armazenamento
US14/353,643 US9836812B2 (en) 2011-10-26 2012-10-15 Image processing apparatus, method, and medium to apply a restrictive condition
JP2013540728A JP6134267B2 (ja) 2011-10-26 2012-10-15 画像処理装置、画像処理方法、および記録媒体
CN201280050426.7A CN103858421B (zh) 2011-10-26 2012-10-15 影像处理装置以及影像处理方法
KR1020147010240A KR101838342B1 (ko) 2011-10-26 2012-10-15 화상 처리 장치, 화상 처리 방법, 및 기록매체
IN3705CHN2014 IN2014CN03705A (ja) 2011-10-26 2014-05-16

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-235157 2011-10-26
JP2011235157 2011-10-26

Publications (1)

Publication Number Publication Date
WO2013061810A1 true WO2013061810A1 (ja) 2013-05-02

Family

ID=48167643

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076585 WO2013061810A1 (ja) 2011-10-26 2012-10-15 画像処理装置、画像処理方法、および記録媒体

Country Status (9)

Country Link
US (1) US9836812B2 (ja)
EP (1) EP2747415A4 (ja)
JP (1) JP6134267B2 (ja)
KR (1) KR101838342B1 (ja)
CN (1) CN103858421B (ja)
BR (1) BR112014009109A2 (ja)
IN (1) IN2014CN03705A (ja)
TW (1) TWI559762B (ja)
WO (1) WO2013061810A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003939A1 (ja) 2016-06-30 2018-01-04 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9244159B1 (en) * 2013-01-31 2016-01-26 The Boeing Company Distinguishing between maritime targets and clutter in range-doppler maps
US11025833B2 (en) 2016-06-30 2021-06-01 I-Cubed Research Center Inc. Video signal processing apparatus, video signal processing method, and program for performing video signal processing in consideration of behavior of light in nature
TWI681342B (zh) * 2018-12-11 2020-01-01 瑞昱半導體股份有限公司 物件位置判斷電路

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2825482B2 (ja) 1986-08-02 1998-11-18 ソニー株式会社 ディジタル画像信号の補間装置
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
JP2009239903A (ja) * 2008-03-05 2009-10-15 Semiconductor Energy Lab Co Ltd 画像処理方法、画像処理システム、およびコンピュータプログラム
JP2010226694A (ja) * 2009-02-24 2010-10-07 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP2011041089A (ja) * 2009-08-13 2011-02-24 Fujifilm Corp 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2011066827A (ja) * 2009-09-18 2011-03-31 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975329B2 (en) * 2002-12-09 2005-12-13 Nvidia Corporation Depth-of-field effects using texture lookup
JP4143916B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7403568B2 (en) * 2003-08-13 2008-07-22 Apple Inc. Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using temporal filtering
US7436405B2 (en) * 2004-05-14 2008-10-14 Microsoft Corporation Terrain rendering using nested regular grids
JP4736516B2 (ja) * 2005-04-22 2011-07-27 ソニー株式会社 生体情報処理装置および方法、プログラム並びに記録媒体
US8098256B2 (en) 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
CN101536031B (zh) 2006-09-29 2013-07-17 汤姆森许可贸易公司 用于基于像素的自适应滤波的自动参数估计
WO2008085874A2 (en) 2007-01-05 2008-07-17 Marvell World Trade Ltd. Methods and systems for improving low-resolution video
EP2015252B1 (en) * 2007-07-08 2010-02-17 Université de Liège Visual background extractor
JP4599457B1 (ja) * 2009-09-18 2010-12-15 株式会社東芝 画像処理装置、表示装置及び画像処理方法
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2825482B2 (ja) 1986-08-02 1998-11-18 ソニー株式会社 ディジタル画像信号の補間装置
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
JP2009239903A (ja) * 2008-03-05 2009-10-15 Semiconductor Energy Lab Co Ltd 画像処理方法、画像処理システム、およびコンピュータプログラム
JP2010226694A (ja) * 2009-02-24 2010-10-07 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP2011041089A (ja) * 2009-08-13 2011-02-24 Fujifilm Corp 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2011066827A (ja) * 2009-09-18 2011-03-31 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2747415A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003939A1 (ja) 2016-06-30 2018-01-04 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム

Also Published As

Publication number Publication date
EP2747415A4 (en) 2015-04-15
KR101838342B1 (ko) 2018-03-13
IN2014CN03705A (ja) 2015-10-09
JP6134267B2 (ja) 2017-05-24
JPWO2013061810A1 (ja) 2015-04-02
KR20140084044A (ko) 2014-07-04
EP2747415A1 (en) 2014-06-25
CN103858421B (zh) 2018-07-20
US9836812B2 (en) 2017-12-05
BR112014009109A2 (pt) 2017-04-18
US20140292762A1 (en) 2014-10-02
TW201320727A (zh) 2013-05-16
TWI559762B (zh) 2016-11-21
CN103858421A (zh) 2014-06-11

Similar Documents

Publication Publication Date Title
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
US7961222B2 (en) Image capturing apparatus and image capturing method
US7511730B2 (en) Image processing apparatus and method and image pickup apparatus
US20100265353A1 (en) Image Processing Device, Image Sensing Device And Image Reproduction Device
US20130169834A1 (en) Photo extraction from video
JP2013527646A5 (ja)
US9639936B2 (en) Image processing apparatus, image processing method, and storage medium in which program is stored for enhancing an image via super-resolution
WO2019124248A1 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
CN110889809B (zh) 图像处理方法及装置、电子设备、存储介质
JP6134267B2 (ja) 画像処理装置、画像処理方法、および記録媒体
WO2014126032A1 (ja) 画像処理装置、画像処理方法、および記録媒体
US7983454B2 (en) Image processing apparatus and image processing method for processing a flesh-colored area
CN114630053A (zh) 一种hdr图像显示方法及显示设备
KR101552070B1 (ko) 영상 신호 전송 방법 및 장치
US20050088531A1 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
US10764632B2 (en) Video signal processing apparatus, video signal processing method, and program
JP6134414B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015177528A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6244396B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6499612B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2018070001A1 (ja) 信号調整プログラム、信号調整装置、及び信号調整方法
US8913794B2 (en) Image processing apparatus, image processing method, and medium
JP2021044652A (ja) 動きベクトル検出装置及び動きベクトル検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12843479

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013540728

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20147010240

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14353643

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014009109

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014009109

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140415