WO2012081332A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2012081332A1
WO2012081332A1 PCT/JP2011/075557 JP2011075557W WO2012081332A1 WO 2012081332 A1 WO2012081332 A1 WO 2012081332A1 JP 2011075557 W JP2011075557 W JP 2011075557W WO 2012081332 A1 WO2012081332 A1 WO 2012081332A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
enlargement
image processing
focus area
Prior art date
Application number
PCT/JP2011/075557
Other languages
English (en)
French (fr)
Inventor
真一 有田
岩内　謙一
安本　隆
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012081332A1 publication Critical patent/WO2012081332A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program that generate an image in which the relationship between blur amounts is changed according to the enlargement ratio when an arbitrary region of an input image is enlarged.
  • an image processing apparatus that makes an image focused on the entire screen a three-dimensional image with a sense of depth (see, for example, Patent Document 1).
  • this image processing apparatus when an image is captured, the image is divided into a plurality of areas, and distance information to a subject included in each of the areas is acquired.
  • the blurring degree is set for each area based on the distance information, and the blurring process is performed for each area according to the blurring degree.
  • the image processing apparatus generates a blurred image in which an area with a low degree of blur in the image is raised.
  • an image area is divided into a plurality of areas, and an image with a sense of depth is generated by performing blurring processing according to the distance for each area.
  • the distance information calculates the distance by acquiring a plurality of images with the focus changed, and an image with the focus changed is necessary. Therefore, this image processing apparatus requires a configuration for driving a lens and requires a plurality of images in one frame, which makes it difficult to cope with moving images.
  • this image processing apparatus even if a partial area of the generated image is enlarged at an arbitrary magnification, the amount of blur does not change, and the atmosphere is as if optical zooming was performed around the specified area. There is a problem that different images cannot be obtained.
  • the present invention has been made in view of such circumstances, and an image processing apparatus that generates an image in which the relationship of the amount of blur is changed according to the enlargement ratio when an arbitrary area of the input image is enlarged, and an image It is an object to provide a processing method and an image processing program.
  • An image processing apparatus includes an image input unit that inputs an image to be enlarged, parallax information corresponding to the image, and an enlargement rate input unit that inputs an enlargement rate of the image.
  • a focus area setting unit that sets a focus area of the image, an image separation unit that separates the image into the focus area and a non-focus area that is an area other than the focus area, and
  • a blur processing unit that performs a blurring process according to the enlargement ratio on the out-of-focus area, the focus area, and the unfocused area after the blurring process according to the enlargement ratio.
  • An enlargement processing unit that performs an enlargement process; and an image composition unit that synthesizes and outputs the focused area after the enlargement process and the unfocused area after the blurring process.
  • the image input unit may further input an enlargement center of the image, and the enlargement processing unit may perform an enlargement process based on the enlargement center.
  • the image separation unit may separate the image into the in-focus area and the out-of-focus area based on the parallax information.
  • the image processing apparatus may further include a display unit that displays an image output by the image composition unit.
  • the blur processing unit sets a filter size based on a display size of the display unit, sets a filter coefficient based on the parallax information, and the filter size
  • the blurring process may be performed using a filter having the filter coefficient.
  • the blur processing unit may set the filter size using a Gaussian function.
  • the blurring processing unit may use a filter whose weight decreases as the distance from the center increases.
  • the blur processing unit may perform a blur process according to the parallax information.
  • the blur processing unit may perform blur processing so that the amount of blur increases as the enlargement ratio increases.
  • an image to be enlarged and parallax information corresponding to the image are input, an enlargement ratio of the image is input, and an in-focus area of the image
  • An image processing method in an image processing apparatus for setting the image wherein the image is separated into the in-focus area and a non-focus area that is an area other than the focus area, and the non-focus area , Applying a blurring process according to the enlargement ratio, applying an enlargement process according to the enlargement ratio to the in-focus area and the non-focused area after the blurring process, and The in-focus area and the in-focus area after the blurring process are combined and output.
  • the enlargement center of the image may be further input, and the enlargement process may be performed based on the enlargement center.
  • the image may be separated into the focused area and the out-of-focus area based on the parallax information.
  • an image output by combining the in-focus area after the enlargement process and the non-focus area after the blurring process may be displayed.
  • a filter size is set based on a display size
  • a filter coefficient is set based on the parallax information
  • a filter having the filter size and the filter coefficient is used. Blur processing may be performed.
  • the filter size may be set using a Gaussian function.
  • blurring processing may be performed so that the amount of blur increases as the enlargement ratio increases.
  • an image processing program inputs an image to be enlarged and parallax information corresponding to the image, inputs an enlargement ratio of the image, and focuses the image in the focus area.
  • a computer of an image processing apparatus for setting the image the image is separated into the in-focus area and a non-focus area that is an area other than the in-focus area, and the enlargement ratio with respect to the non-focus area
  • the in-focus area after the enlarging process is performed by applying an enlarging process according to the enlargement ratio to the in-focus area and the non-in-focus area after the blur process.
  • the unfocused area after the blurring process are combined and output.
  • the captured image and the corresponding parallax information are read, and the blur intensity with respect to the parallax amount is increased according to the enlargement ratio.
  • the attention area is expanded as if it were optically zoomed, and an image with a desired depth of field is obtained.
  • the lens system is small like a mobile device equipped with a camera, the depth of field can be increased, and the effect is high when applied to a device that requires downsizing.
  • FIG. 1 is the 1st explanatory view showing the principle of image enlarging processing.
  • It is the 2nd explanatory view showing the principle of image enlarging processing.
  • It is the 3rd explanatory view showing the principle of image enlarging processing.
  • It is the 4th explanatory view showing the principle of image enlarging processing.
  • It is the 5th explanatory view showing the principle of image enlarging processing.
  • It is a figure which shows an example of an input image. It is the parallax information corresponding to the input image shown in FIG. It is the 1st explanatory view showing the result of having performed enlargement processing to an input picture. It is the 2nd explanatory view showing the result of having performed enlargement processing to an input picture.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus 10 according to an embodiment of the present invention.
  • the image processing apparatus 10 includes an imaging unit 1, an imaging unit 2, a parallax information generation unit 3, a recording unit 4, an input unit 5, an image processing unit 6, and a display unit 7.
  • the imaging unit 1 is composed of a digital camera or the like, and outputs digital image data to the parallax information generation unit 3.
  • the imaging unit 2 is configured by a digital camera equivalent to the imaging unit 1, and outputs digital image data to the parallax information generation unit 3 in the same manner as the imaging unit 1.
  • the imaging unit 2 also outputs digital image data to the recording unit 4.
  • Image data output from the imaging unit 1 and the imaging unit 2 is input to the parallax information generation unit 3.
  • the disparity information generation unit 3 generates disparity information based on the result of performing stereo matching processing of the two input image data, and outputs the disparity information to the recording unit 4.
  • the parallax information is a value obtained by searching for a corresponding point in each pixel of the image data output from the imaging unit 1 and the imaging unit 2.
  • each data is defined by a parallax value representing the binocular parallax. That is, the parallax information indicates how much a certain feature point in the subject existing in the two image data is shifted in each image data. If the parallax value is large, it represents a nearby object, and if the parallax value is small, it represents a far object. That is, the parallax information corresponds to data representing the distance to the object for each pixel of the image data.
  • the parallax information does not necessarily have to be configured with the same number of pixels as the corresponding image data, and any parallax value may be used as long as the parallax value at each pixel can be determined.
  • the parallax information is 1 ⁇ 4 the size of the input image
  • the parallax information may be used after being enlarged to the input image size, or four pixels of the input image may be used in association with one pixel of the parallax information. Good.
  • the recording unit 4 records the image data output from the imaging unit 2 and the parallax information output from the parallax information generation unit 3 in association with each other.
  • the input unit 5 is a device on which a user performs an input operation.
  • the image processing unit 6 reads out the image data recorded in the recording unit 4 and the parallax information corresponding to the image data, and based on the information input from the input unit 5, focuses on an arbitrary position on the image data. And an enlargement process is performed to output an enlarged image to the recording unit 4 and the display unit 7.
  • the image processing unit 6 performs a process of applying a blur effect corresponding to the enlargement ratio to an area (non-focused area) other than the designated focused area (focused area).
  • the display unit 7 displays an enlarged image output from the image processing unit 6.
  • the image obtained by the enlargement processing by the image processing unit 6 is displayed on the display unit 7, recorded on the recording unit 4, or output to other devices via a communication network. May be.
  • FIG. 6 is a diagram illustrating an example of the input image P1.
  • the input image P1 is an image in which the entire image is in focus.
  • FIG. 7 shows parallax information J1 corresponding to the input image P1 shown in FIG.
  • the disparity information J1 the disparity value decreases as the distance to the object increases, and the disparity value increases as the distance to the object decreases. Therefore, when the parallax information J1 is displayed as a monochrome image, the farther it is, the more black it is, and the closer it is, the whiter it becomes.
  • the parallax value is expressed by 8 bits will be described. That is, the case where the parallax value 0 is infinity and the parallax value 255 is the closest distance will be described.
  • a screen G1 illustrated in FIG. 8A illustrates an example in which the input image P1 (FIG. 6) is displayed on the display unit 7.
  • 8B shows an example in which a part of the enlarged input image P1 is displayed on the display unit 7.
  • the input image P1 shows an example in which two buildings B1 and B2 along the road R1 are shown as shown in FIG.
  • the user specifies the enlargement center C1 and sets the focus area F1.
  • FIGS. 8A and 8B an example is shown in which the nearer building B1 is set as the focusing area F1.
  • the image processing unit 6 executes an enlargement process according to the enlargement ratio with reference to the designated enlargement center C1, and an amount corresponding to the enlargement ratio in an area other than the distance range of the in-focus area F1 (ie, the building B1 in the foreground). Perform blur processing.
  • the input image P1 is divided into a focused area F1 and a non-focused area F2 which is the other area. Then, the in-focus area F1 is enlarged by an amount corresponding to the enlargement ratio as it is.
  • the out-of-focus area F2 is subjected to a process for adding a blur corresponding to the enlargement ratio and an enlargement process, and then is combined with the enlarged in-focus area F1 to generate a blurred image.
  • the generated image is displayed on the display unit 7 as a screen G2. Thereby, as shown in the screen G2 (FIG.
  • the distance range in which the building B1 in front is positioned is set as the focusing area F1, and the other non-focusing area F2 is displayed on the screen G1 ( Compared with the state of FIG. 8A), an image with a different amount of blur is obtained.
  • the input image P1 includes a plurality of subjects (buildings B1, B2, road R1, etc.), and the user selects and enlarges the subject O (the closest building B1). Do.
  • the parallax range of the designated subject O is between the parallax values Dob to Dof.
  • a method for obtaining the parallax range (parallax values Dof and Dob) of the designated subject O is not particularly defined.
  • the designated subject O is extracted, the minimum and maximum parallax is determined from the parallax information corresponding to the area, the parallax range of the designated subject O is obtained, and the parallax values at both ends thereof are also used as the parallax values Dof and Dob. Good.
  • a certain parallax range may be secured from the designated parallax value by automatically setting the parallax value offset by ⁇ dc (constant) before and after the designated parallax value as the parallax values Dof and Dob.
  • the parallax range W1 of the parallax information corresponding to the image is a range of parallax values from Dmin to Dmax as shown in FIG. 3B
  • the front focus threshold value with respect to the initial setting value of the reference image magnification factor 1
  • df is Dmax
  • the rear focus threshold db is Dmin. That is, in the initial state, since the in-focus area is the entire parallax range of the image, the blur processing is not performed. From such an initial state, the focus threshold value is changed according to the enlargement ratio change, and the range of the focus area is changed. Therefore, an image in which the depth of field is changed in conjunction with the enlargement ratio is generated.
  • the initial values are set at both ends of the parallax range of the input image, and there is no blurring process.
  • the initial setting may be changed by the user, and a state where a part of the blurring process is performed may be set as the initial setting.
  • the initial value after the change that is, the parallax value of the focus boundary value is Dmax ′ and Dmin ′
  • the range of d ⁇ Dmin ′ and the range of Dmax ′ ⁇ d are blurred with respect to the parallax value d. It will be based on the image.
  • the values of df and db are linearly changed so that the front focus threshold value df is set to Dof and the rear focus threshold value db is set to Dob.
  • the focus threshold values front focus threshold value df, rear focus threshold value db are set as follows.
  • the blurring process is performed based on the focusing threshold parameters df and db.
  • the blurring process is not performed.
  • the blur area (threshold value) moves to the vicinity of the subject specified in the depth direction according to the enlargement ratio. Therefore, when the enlargement ratio increases, it appears that the depth of field is narrowed with the designated subject O as the center.
  • the depth of field is changed so as to be linearly narrowed according to the enlargement ratio.
  • the present invention is not limited to this, and the depth of field is curved in a curve such as a quadratic function. It may be changed.
  • the display unit 7 is 854 ⁇ 480 (WVGA: Wide Video Graphics Graphics Array)
  • the target still image is 4000 ⁇ 3000
  • the digital zoom magnification rate is 10 times
  • the focus area and the blur area are separated, and the separated blur is performed. Filtering is performed after the area is reduced to the display size.
  • the in-focus area is reduced in accordance with the display size, and the composition process with the generated blur area is performed. At this time, it is desirable to reduce the in-focus area by performing reduction processing with priority on image quality.
  • the same reduction process may be used, but in the present embodiment, a bicubic process is used for the reduction process of the in-focus area, and the reduction process of the blur area is performed by simple thinning.
  • the processing amount may be given priority over the focusing area such as bilinear interpolation.
  • the filter size is set to 7 ⁇ 7, for example, and the filter coefficient is changed according to the parallax value.
  • the filter coefficient is set based on a Gaussian function, and is a weighted average filter in which the center pixel is weighted.
  • the Gaussian function f (x, y) is expressed as follows. X and y are distances from the center pixel 12.
  • FIG. 4A illustrates a case where the 3 ⁇ 3 filter 12 is used for simplification.
  • the weight of the center pixel 12 which is the center pixel is large, and the weight is decreased as the distance from the center increases.
  • the spread of the Gaussian distribution changes according to the magnitude of the variance ⁇ 2, and the weight of the peripheral pixels with respect to the central pixel 12 increases (spreads) as the variance ⁇ 2 increases. Therefore, the filters have different blur amounts depending on the size of the dispersion ⁇ 2. If the filter size 13 is the same, the blur amount is large if the variance ⁇ 2 is large, and conversely if the variance ⁇ 2 is small, the blur amount is small.
  • the filter coefficient is set so that the dispersion parameter increases as the difference in the parallax value with respect to the focusing threshold increases.
  • the amount of blur is increased according to the magnitude of the difference between the parallax values with the focus threshold as a reference.
  • FIG. 4B shows an example of a linear change, an increase based on a predetermined curve may be used.
  • the blurring process is set so that the blur amount is displaced with the parallax value using the filter 11 shown in FIG. 4A.
  • the blurring process performs such association on the basis of the focusing threshold (df, db). That is, in the background, the blur amount increases as the difference from the value db increases. This corresponds to the amount of blur increasing with increasing distance from the in-focus area.
  • the dispersion parameter is set according to the value of ⁇ d of
  • ⁇ d to change the blur amount.
  • the relationship between the parallax value and the blur amount is also changed accordingly.
  • the line segment L1 in FIG. 5 is changed so as to shift in the direction of the arrow D1 according to db.
  • the upper limit of the blur amount is defined by the filter that performs the largest blurring process. Therefore, the blur amount corresponding to ⁇ d increases linearly up to the upper limit value, and the parallax area after that is set as the upper limit value.
  • the filter size is fixed and the dispersion parameter is changed in accordance with the parallax value to define the filter each time. However, several filters with different blur amounts may be combined. Good.
  • the filter coefficient of 3 ⁇ 3, 5 ⁇ 5, and 7 ⁇ 7 has a plurality of filters having different blurring amounts, and a filter to be applied is selected by ⁇ d. This is advantageous in that it is not necessary to calculate filter coefficients each time.
  • the filter size is based on the display size (854 ⁇ 480).
  • the processing size and the filter size are matched to the size. Can be changed.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus 10 shown in FIG.
  • the user operates the input unit 5 to select a source image for obtaining an enlarged image (step S1).
  • the image processing unit 6 reads the selected image from the recording unit 4 (step S2) and displays it on the display unit 7.
  • the user operates the input unit 5 to set a focus area at the time of enlargement on the screen of the display unit 7 on which an image is displayed (step S3), and sets the position of the enlargement center on the screen (step S4). ).
  • the user sets an image enlargement ratio from the input unit 5 (step S5).
  • the image processing unit 6 holds the set values set in steps S3 to S5 inside. Then, the image processing unit 6 reads out parallax information corresponding to the selected image from the recording unit 4 (step S6). Subsequently, the image processing unit 6 refers to the parallax information, detects the range (Dmax to Dmin) of the parallax value, sets the focusing threshold before enlargement, and sets the processing range (step S7). At this time, the front focus threshold value df is set to Dmax, and the rear focus threshold value db is set to Dmin. Based on the set focus area, the parallax value range Dob to Dof of the focus area at the time of enlargement is specified (step S8).
  • the image processing unit 6 changes the front focus threshold value df and the rear focus threshold value db (step S9). Then, the image processing unit 6 separates the focused area and the non-focused area that is an area other than the focused area on the image (Step S10). Then, the image processing unit 6 enlarges the image based on the enlargement center and the enlargement rate for the in-focus area (step S11). On the other hand, the image processing unit 6 performs a blurring process on the non-focused area that is an area other than the focused area by a filter process (step S12). Thereafter, the image processing unit 6 enlarges the image based on the enlargement center and the enlargement ratio (step S13).
  • the image processing unit 6 combines the in-focus area after the enlargement process and the area other than the in-focus area after the blurring process and the enlargement process (step S14). Then, the image processing unit 6 displays the combined image on the display unit 7 (step S15).
  • the blur area is determined based on the parallax value, and the in-focus area and the blur area are determined in the corresponding parallax range, and the same parallax range as that of the designated subject is set as the in-focus area.
  • the parameter is set so that the focus threshold db on the background side becomes Dmax at the maximum magnification for the area other than the designated subject.
  • the present invention can also be applied to a moving image.
  • the processing described above may be performed in real time for each frame.
  • the target is tracked, and the same processing may be executed according to the corresponding parallax value.
  • movie shooting it is difficult to shoot a subject while chasing the subject while zooming.
  • the embodiment of the present invention it is possible to make it appear as if the subject has been optically zoomed even when shooting with wide-angle shooting, so that it is possible to prevent out of frame.
  • a reference image is set based on the input image and the corresponding parallax information, and the blur amount, blur position, and parallax are determined according to the ratio between the reference image size and the output image size, that is, the enlargement ratio.
  • the following effects can be obtained by reading the captured image and the corresponding parallax information and increasing the blur intensity with respect to the parallax amount according to the enlargement ratio.
  • an imaging device with a small zoom magnification or a deep depth of field that does not have a zoom mechanism expands the region of interest as if it were optically zoomed, and displays an image with the desired depth of field. Can be obtained.
  • the correspondence between the parallax value (depth value) and the blur intensity is changed to obtain a zoom image focusing on an arbitrary region. Therefore, if there is a target image and disparity information corresponding to the target image, an arbitrary enlarged image can be generated, and even a moving image can be generated by performing similar processing for each frame. Furthermore, the generation of parallax information is possible if there is a pair of images with different parallaxes, and no optical drive mechanism is required. In recent years, the number of 3D cameras equipped with two image sensors has also been increasing. With such a camera, it is not necessary to add an optical member, and it is possible to generate parallax information in each frame, and also support moving images. It becomes possible. Further, in the case of a normal camera, there is no problem if two images are taken at different parallaxes, and it is not necessary to provide a special drive mechanism or the like, so that the apparatus can be reduced in size.
  • a program for realizing the function of the image processing unit 6 of the image processing apparatus 10 in FIG. 1 may be recorded on a computer-readable recording medium. Then, the program recorded on the recording medium may be read by a computer system and executed to perform image enlargement processing.
  • the “computer system” includes hardware such as an OS (Operating System) and peripheral devices.
  • the “computer system” also includes a WWW (World Wide Web) system having a homepage providing environment (or display environment).
  • the “computer-readable recording medium” is a portable medium such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a CD-ROM (Compact Disc-Read Only Memory), or a built-in computer system.
  • a storage device such as a hard disk.
  • the “computer-readable recording medium” refers to a volatile memory (RAM: Random Access) in a computer system that becomes a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
  • RAM Random Access
  • a program that holds a program for a certain period of time such as (Memory).
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement
  • Image processing apparatus 1, 2 ... Imaging unit, 3 ... Parallax information generator, 4 ... Recording part, 5 ... Input section, 6: Image processing unit, 7 ... display part, 10. Image processing apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　画像処理装置は、拡大処理を施す画像と、画像に対応する視差情報とを入力する画像入力部と、画像の拡大率を入力する拡大率入力部と、画像の合焦領域を設定する合焦領域設定部とを備える。また、画像処理装置は、画像を、合焦領域と、合焦領域以外の領域である非合焦領域とに分離する画像分離部と、非合焦領域に対して、拡大率に応じたぼかし処理を施すぼかし処理部とを備える。また、画像処理装置は、合焦領域と、ぼかし処理後の非合焦領域とに対して、拡大率に応じた拡大処理を施す拡大処理部と、拡大処理後の合焦領域と、ぼかし処理後の非合焦領域とを合成して出力する画像合成部とを備える。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。特に、本発明は、入力画像の任意の領域を拡大する場合に、拡大率に応じてぼかし量の関係を変化させた画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
　本願は、２０１０年１２月１６日に、日本に出願された特願２０１０－２８０２６２号に基づき優先権を主張し、その内容をここに援用する。
　従来から、画面の全体に焦点のあった画像を、奥行き感のある立体的なものとする画像処理装置が知られている（例えば、特許文献１参照）。この画像処理装置では、画像を撮影する際に、画像を複数の領域に区分し、その領域の各々に含まれる被写体までの距離情報を取得している。そして、この画像処理装置では、その距離情報に基づいて領域毎にぼかし度合いを設定し、そのぼかし度合いによって領域毎にぼかし処理を施している。これによって、この画像処理装置は、画像内のぼかし度合いの低い領域が浮き上がったボケ味のある画像を生成している。
特開２００８－２９４７８５号公報
　特許文献１に記載の画像処理装置では、画像領域を複数に分割し、その領域ごとの距離に応じて、ぼかし処理を行うことで奥行き感のある画像を生成している。しかしながら、この画像処理装置では、距離情報はフォーカスを変化させた画像を複数枚取得することで距離を算出しており、フォーカスを変えた画像が必要である。そのため、この画像処理装置では、レンズを駆動する構成が必要であるとともに、１フレームに複数の画像が必要であり、動画での対応が困難であるという問題がある。また、この画像処理装置では、生成された画像の一部の領域を任意の倍率で拡大しても、ぼけ量が変化することはなく、指定する領域を中心に光学ズームしたかのような雰囲気の異なる画像を得ることができないという問題がある。
　本発明は、このような事情に鑑みてなされたもので、入力画像の任意の領域を拡大する場合に、拡大率に応じてぼかし量の関係を変化させた画像を生成する画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
（１）　本発明の一態様による画像処理装置は、拡大処理を施す画像と、前記画像に対応する視差情報とを入力する画像入力部と、前記画像の拡大率を入力する拡大率入力部と、前記画像の合焦領域を設定する合焦領域設定部と、前記画像を、前記合焦領域と、前記合焦領域以外の領域である非合焦領域とに分離する画像分離部と、前記非合焦領域に対して、前記拡大率に応じたぼかし処理を施すぼかし処理部と、前記合焦領域と、前記ぼかし処理後の前記非合焦領域とに対して、前記拡大率に応じた拡大処理を施す拡大処理部と、前記拡大処理後の前記合焦領域と、前記ぼかし処理後の前記非合焦領域とを合成して出力する画像合成部と、を備える。
（２）　本発明の一態様による画像処理装置において、前記画像入力部は、更に前記画像の拡大中心を入力し、前記拡大処理部は、前記拡大中心を基準に拡大処理を施しても良い。
（３）　本発明の一態様による画像処理装置において、前記画像分離部は、前記視差情報に基づいて、前記画像を、前記合焦領域と、前記非合焦領域とに分離しても良い。
（４）　本発明の一態様による画像処理装置において、前記画像合成部が出力する画像を表示する表示部を更に備えても良い。
（５）　本発明の一態様による画像処理装置において、前記ぼかし処理部は、前記表示部の表示サイズに基づいてフィルタサイズを設定し、前記視差情報に基づいてフィルタ係数を設定し、前記フィルタサイズおよび前記フィルタ係数を有するフィルタを用いてぼかし処理を施しても良い。
（６）　本発明の一態様による画像処理装置において、前記ぼかし処理部は、前記フィルタサイズの設定を、ガウス関数を用いて行っても良い。
（７）　本発明の一態様による画像処理装置において、前記ぼかし処理部は、中央から離れるに従って重みが小さくなるフィルタを用いても良い。
（８）　本発明の一態様による画像処理装置において、前記ぼかし処理部は、前記視差情報に応じたぼかし処理を施しても良い。
（９）　本発明の一態様による画像処理装置において、前記ぼかし処理部は、前記拡大率が大きくなるに従って、ぼけ量が大きくなるようにぼかし処理を施しても良い。
（１０）　また、本発明の一態様による画像処理方法は、拡大処理を施す画像と、前記画像に対応する視差情報とを入力し、前記画像の拡大率を入力し、前記画像の合焦領域を設定する画像処理装置における画像処理方法であって、前記画像を、前記合焦領域と、前記合焦領域以外の領域である非合焦領域とに分離し、前記非合焦領域に対して、前記拡大率に応じたぼかし処理を施し、前記合焦領域と、前記ぼかし処理後の前記非合焦領域とに対して、前記拡大率に応じた拡大処理を施し、前記拡大処理後の前記合焦領域と、前記ぼかし処理後の前記非合焦領域とを合成して出力する。
（１１）　本発明の一態様による画像処理方法において、更に前記画像の拡大中心を入力し、前記拡大中心を基準に拡大処理を施しても良い。
（１２）　本発明の一態様による画像処理方法において、前記視差情報に基づいて、前記画像を、前記合焦領域と、前記非合焦領域とに分離しても良い。
（１３）　本発明の一態様による画像処理方法において、前記拡大処理後の前記合焦領域と、前記ぼかし処理後の前記非合焦領域とを合成して出力される画像を表示しても良い。
（１４）　本発明の一態様による画像処理方法において、表示サイズに基づいてフィルタサイズを設定し、前記視差情報に基づいてフィルタ係数を設定し、前記フィルタサイズおよび前記フィルタ係数を有するフィルタを用いてぼかし処理を施しても良い。
（１５）　本発明の一態様による画像処理方法において、前記フィルタサイズの設定を、ガウス関数を用いて行っても良い。
（１６）　本発明の一態様による画像処理方法において、中央から離れるに従って重みが小さくなるフィルタを用いても良い。
（１７）　本発明の一態様による画像処理方法において、前記視差情報に応じたぼかし処理を施しても良い。
（１８）　本発明の一態様による画像処理方法において、前記拡大率が大きくなるに従って、ぼけ量が大きくなるようにぼかし処理を施しても良い。
（１９）　また、本発明の一態様による画像処理プログラムは、拡大処理を施す画像と、前記画像に対応する視差情報とを入力し、前記画像の拡大率を入力し、前記画像の合焦領域を設定する画像処理装置のコンピュータに、前記画像を、前記合焦領域と、前記合焦領域以外の領域である非合焦領域とに分離させ、前記非合焦領域に対して、前記拡大率に応じたぼかし処理を施させ、前記合焦領域と、前記ぼかし処理後の前記非合焦領域とに対して前記拡大率に応じた拡大処理を施させ、前記拡大処理後の前記合焦領域と、前記ぼかし処理後の前記非合焦領域とを合成して出力させる。
　本発明によれば、撮影画像と、それに対応する視差情報とを読み込み、拡大率に応じて視差量に対するぼけ強度を強くする。これによって、ズーム倍率の小さな、またはズーム機構を有さない被写界深度の深い撮像装置であっても、あたかも光学ズームしたかのように注目領域を拡大し、好みの被写界深度の画像を得ることが可能になる。
　特に、本発明によれば、カメラが搭載されたモバイル機器のようにレンズ系が小さいため、被写界深度を深くすることができ、小型化が必要な機器に適用すると効果が高い。
本発明の実施形態による画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置の動作を示すフローチャートである。 画像拡大処理の原理を示す第１の説明図である。 画像拡大処理の原理を示す第２の説明図である。 画像拡大処理の原理を示す第３の説明図である。 画像拡大処理の原理を示す第４の説明図である。 画像拡大処理の原理を示す第５の説明図である。 入力画像の一例を示す図である。 図６に示す入力画像に対応する視差情報であり、画像表現した例である。 入力画像に対しての拡大処理を施した結果を示す第１の説明図である。 入力画像に対しての拡大処理を施した結果を示す第２の説明図である。
　以下、図面を参照して、本発明の実施形態による画像処理装置を説明する。
　図１は、本発明の実施形態による画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、撮像部１、撮像部２、視差情報生成部３、記録部４、入力部５、画像処理部６、表示部７を備える。
　撮像部１は、デジタルカメラ等で構成され、デジタルの画像データを、視差情報生成部３に出力する。撮像部２は、撮像部１と同等のデジタルカメラで構成され、撮像部１と同様に、デジタルの画像データを、視差情報生成部３に出力する。また、撮像部２は、デジタルの画像データを、記録部４にも出力する。視差情報生成部３には、撮像部１及び撮像部２が出力する画像データが入力される。視差情報生成部３は、入力された２つの画像データのステレオマッチング処理を行った結果に基づき、視差情報を生成して、記録部４に出力する。
　視差情報とは、撮像部１及び撮像部２から出力される画像データの各画素においての対応点を探索することで求められる値である。視差情報では、各データが、両眼の視差を表す視差値で定義される。つまり、視差情報は、２つの画像データ中に存在する被写体におけるある特徴点が、それぞれの画像データでどの程度ずれた位置にあるのかを示す。視差値が大きければ近くの物体であることを表し、視差値が小さければ遠くの物体であることを表す。すなわち、視差情報は、画像データの各画素について、物体までの距離を表すデータに相当する。この時、視差情報は、必ずしも対応する画像データと同じ画素数で構成される必要はなく、各画素における視差値を判定できるものであればよい。例えば、視差情報が入力画像の１／４サイズである場合は、視差情報を入力画像サイズに拡大して用いたり、入力画像の４画素を視差情報の１画素に対応付けて用いたりしてもよい。
　記録部４は、撮像部２が出力する画像データと、視差情報生成部３が出力する視差情報とを対応付けて記録する。入力部５は、ユーザが入力操作を行う機器である。画像処理部６は、記録部４に記録された画像データと、この画像データに対応する視差情報とを読み出して、入力部５から入力された情報に基づき、画像データ上の任意の位置を中心として拡大処理を行い、記録部４および表示部７に拡大画像を出力する。画像処理部６は、画像を拡大する際に、指定した合焦領域（焦点が合っている領域）以外の領域（非合焦領域）に対して、拡大率に応じたぼけ効果を施す処理を行う。表示部７は、画像処理部６が出力する拡大画像を表示する。画像処理部６が拡大処理を行うことにより得られた画像は、表示部７に表示するのに加え、記録部４に記録したり、通信ネットワークを介して他の機器へ出力したりするようにしてもよい。
　ここで、図６、図７を参照して、撮像部２によって撮像した画像（入力画像という）と、視差情報生成部３により生成した視差情報について説明する。図６は、入力画像Ｐ１の一例を示す図である。入力画像Ｐ１は、原則として画像全体に焦点が合っている画像である。図７は、図６に示す入力画像Ｐ１に対応する視差情報Ｊ１であり、画像表現した例である。視差情報Ｊ１は、物体までの距離が遠いほど視差値が小さく、物体までの距離が近くなるにしたがって視差値が大きくなる。したがって、視差情報Ｊ１をモノクロ画像として表示すると、遠いほど黒く、近いほど白くなる。以下の説明においては、視差値を８ビットで表現する場合について説明する。すなわち、視差値０が無限遠であり、視差値２５５が最も近い距離である場合について説明する。
　次に、図８Ａ及び図８Ｂを参照して、図１に示す画像処理部６が行う拡大処理について説明する。図８Ａに示す画面Ｇ１は、入力画像Ｐ１（図６）を表示部７に表示した例を示している。また、図８Ｂに示す画面Ｇ２は、拡大後の入力画像Ｐ１の一部を表示部７に表示した例を示している。
　入力画像Ｐ１では、図６に示すように、道路Ｒ１に沿った２つの建物Ｂ１、Ｂ２が写っている例を示している。入力画像Ｐ１（図６）が表示された画面Ｇ１（図８Ａ）において、ユーザは、拡大中心Ｃ１を指定するともに、合焦領域Ｆ１を設定する。図８Ａ及び図８Ｂに示す例では、合焦領域Ｆ１として、近い方の建物Ｂ１を設定した例を示している。画像処理部６は、指定された拡大中心Ｃ１を基準に拡大率に応じて拡大処理を実行し、合焦領域Ｆ１（つまり手前の建物Ｂ１）の距離範囲以外の領域に拡大率に応じた量のぼかし処理を行う。
　このとき、視差情報を参照して、入力画像Ｐ１を、合焦領域Ｆ１と、それ以外の領域である非合焦領域Ｆ２とに分割する。そして、合焦領域Ｆ１は、そのまま拡大率に応じた量だけ拡大される。また、非合焦領域Ｆ２は、拡大率に応じた量のぼけを付加する処理と、拡大処理とが行われてから、拡大された合焦領域Ｆ１と合成され、ぼかし画像が生成される。生成された画像は、図８Ｂに示すように、画面Ｇ２として、表示部７に表示される。これにより、拡大後の画像が表示された画面Ｇ２（図８Ｂ）に示すように、手前の建物Ｂ１の位置する距離範囲を合焦領域Ｆ１とし、その他の非合焦領域Ｆ２は、画面Ｇ１（図８Ａ）の状態に比べて、ぼけ量の異なった状態の画像が得られる。
　次に、図３Ａ及び図３Ｂを参照して、拡大率と視差値のパラメータ設定について説明する。図３Ａに示すように、入力画像Ｐ１には、複数の被写体（建物Ｂ１、Ｂ２、道路Ｒ１など）が写っており、ユーザは、そのうち被写体Ｏ（近い方の建物Ｂ１）を選定して拡大を行う。この時、図３Ｂに示すように、指定被写体Ｏの視差範囲は、視差値Ｄｏｂ～Ｄｏｆの間とする。指定被写体Ｏの視差範囲（視差値ＤｏｆおよびＤｏｂ）の求め方は特に規定しない。しかし、指定被写体Ｏの抽出を行い、その領域に対応する視差情報から最小最大の視差を判定して指定被写体Ｏの視差範囲を求めて、その両端の視差値を、視差値Ｄｏｆ、Ｄｏｂとしてもよい。または指定した視差値に対して前後にΔｄｃ（定数）だけオフセットした視差値を、自動的に視差値Ｄｏｆ、Ｄｏｂとして、指定視差値から一定の視差範囲を確保するようにしてもよい。
　次に、画像に対応する視差情報の視差範囲Ｗ１が、図３Ｂに示すようにＤｍｉｎ～Ｄｍａｘまでの視差値の範囲である場合、基準画像（拡大率１）の初期設定値に関して、前側フォーカス閾値ｄｆをＤｍａｘとし、後側フォーカス閾値ｄｂをＤｍｉｎとする。すなわち、初期状態では合焦領域が画像の視差範囲全体であるため、ぼかし処理されていない状態となっている。このような初期状態から拡大率変更に従って合焦閾値を変動させ、合焦領域の範囲を変化させる。そのため、拡大率と連動して被写界深度が変化したような画像が生成される。ここで、基本的には、初期値は入力画像の視差範囲の両端に設定され、ぼかし処理のない状態とされる。しかし、初期設定はユーザが変更するようにしてもよく、一部にぼかし処理を行った状態を初期設定としてもよい。この場合、変更後の初期値、つまり合焦の境界値の視差値をＤｍａｘ’、Ｄｍｉｎ’とすると、視差値ｄに対してｄ＜Ｄｍｉｎ’の範囲と、Ｄｍａｘ’＜ｄの範囲がボケた画像を基準とすることになる。
　次に、画像処理部６における最大の拡大率Ｚｍａｘの場合に、前側フォーカス閾値ｄｆをＤｏｆとし、後側フォーカス閾値ｄｂをＤｏｂとなるように線形的にｄｆ、ｄｂの値を変更する。この場合、ズーム中の拡大率を拡大率Ｚ（Ｚ≦Ｚｍａｘ）とすると、合焦閾値（前側フォーカス閾値ｄｆ、後側フォーカス閾値ｄｂ）は、以下のように設定される。
　ｄｆ＝｜Ｄｍａｘ－Ｄｏｆ｜×Ｚ／Ｚｍａｘ
　ｄｂ＝｜Ｄｍｉｎ－Ｄｏｂ｜×Ｚ／Ｚｍａｘ
　そして、合焦閾値パラメータｄｆ、ｄｂを基準にぼかし処理を行う。
　このときｄｂ≦ｄ≦ｄｆでは合焦するので、ぼかし処理は行わない。このようにすることで、ぼかし領域（閾値）が拡大率に応じて奥行き方向に指定した被写体近傍まで移動する。そのため、拡大率が大きくなると、指定被写体Ｏを中心として被写界深度が狭くなるように見える。本実施形態では、拡大率に応じて被写界深度が線形的に狭くなるように変化させているが、これに限るものではなく、２次関数のような曲線的に、被写界深度を変化させてもよい。
　次に、表示サイズとぼかし処理の設定について説明する。ここでは、表示部７は、８５４×４８０（ＷＶＧＡ：Wide Video Graphics Array）であり、対象の静止画は、４０００×３０００であり、デジタルズームの拡大率が１０倍である場合について説明する。
　まず、表示サイズより拡大領域（切り出し領域）の画素数が大きい場合は、対象領域の切り出しを行った後、合焦領域とぼかし領域（合焦領域以外の領域）の分離を行い、分離したぼかし領域を表示サイズに縮小してからフィルタ処理を行う。合焦領域は、表示サイズに合わせて縮小され、生成したぼかし領域との合成処理が行われる。この時、合焦領域の縮小は、画質を優先とした縮小処理を行う方が望ましい。また、ぼかし領域の縮小処理は縮小処理方法による画質の差異が現れにくいため、処理負荷の小さい処理が望ましい。もちろん、同じ縮小処理を用いてもよいが、本実施形態では合焦領域の縮小処理にはバイキュービック処理を用い、ぼかし領域の縮小処理は単純間引きを行っている。
　一方、表示サイズより拡大領域（切り出し領域）の画素数が小さい場合は、対象領域の切り出しを行った後、合焦領域とぼかし領域（合焦領域以外の領域）の分離を行い、ぼかし領域についてフィルタ処理をしてから表示サイズに拡大する。合焦領域は、表示サイズに合わせて拡大され、生成したぼかし領域との合成処理が行われる。この時、合焦領域の拡大処理は、バイキュービックなどの画質優先の拡大処理を行う方が望ましい。ぼかし領域の拡大処理は、ぼかしているため、画質の優位性に関しての判別がつきにくいので、バイリニア補間など合焦領域に比べて処理量を優先して行うようにしてもよい。
　次に、図４Ａ及び図４Ｂを参照して、ぼかし画像を生成するためのフィルタ処理について説明する。
　表示サイズを基準として、フィルタサイズは例えば７×７に設定し、視差値に応じてフィルタ係数を変える。フィルタ係数の設定は、ここではガウス関数を基準としたものとしており、中央の画素に重みを付けた加重平均化フィルタとしている。ガウス関数ｆ（ｘ，ｙ）は、以下のように表される。なお、ｘ、ｙは、中心画素１２からの距離である。
　ｆ（ｘ，ｙ）＝（１／２πσ２）ｅｘｐ（－（ｘ２＋ｙ２）／（２×σ２））
　図４Ａでは、簡単化のため３×３フィルタ１２を用いる場合について図示している。図４Ａに示すように、中央の画素である中心画素１２の重みが大きく、中央から離れるに従って重みが小さくなるようにする。また、ガウス分布は、分散σ２の大きさに応じて拡がりが変化し、分散σ２が大きいほど中心画素１２に対する周辺画素の重みが大きくなる（拡がる）。そのため、分散σ２の大きさによって、ぼけ量の異なるフィルタとなり、フィルタサイズ１３が同じであれば、分散σ２が大きければ、ぼけ量は大きく、逆に分散σ２が小さければ、ぼけ量は小さくなる。ここで、フィルタ係数は、合焦閾値に対して視差値の差が大きくなるほど、分散パラメータを増加させるように設定する。図４Ｂに示すように、ぼけ量が合焦閾値を基準として視差値の差の大きさに応じて増加するようにする。図４Ｂにおいては、線形変化の例を示しているが、所定の曲線に基づく増加であってもよい。
　次に、図５を参照して、ぼかし処理について説明する。ぼかし処理は、図４Ａに示すフィルタ１１を用いて視差値に伴ってぼけ量が変位するように設定する。ぼかし処理はこのような対応付けを、合焦閾値（ｄｆ、ｄｂ）を基準に行う。すなわち、背景であればｄｂの値と差が大きくなるほど、ボケ量も大きくなる。これは合焦点領域から遠いほどぼけ量が増加することに相当する。ある背景のぼかし領域の視差値がｄであれば、｜ｄｂ－ｄ｜＝ΔｄのΔｄの値に応じて分散パラメータを設定してぼけ量を変化させる。
　拡大率に伴い、閾値（ｄｆ、ｄｂ）が移動する（合焦領域が狭くなる）ので、それに合わせて視差値とぼけ量の関係も変動させる。例えば、図５における線分Ｌ１がｄｂに合わせて、矢印Ｄ１の方向にシフトするように変動させる。ただし、ぼけ量の上限は、最も大きなぼかし処理を行うフィルタによって規定される。そのため、Δｄに対応するぼけ量は、上限値までは線形に増加し、それ以降の視差領域は、上限の値とする。また、前述した例ではフィルタサイズを固定して、視差値に応じて分散パラメータを変更してフィルタを、そのつど規定していたが、いくつかのぼけ量の異なるフィルタを組み合せるようにしてもよい。この場合、例えば、３×３、５×５、７×７のフィルタの係数が予め決められたぼかし量の異なる複数のフィルタを持ち、Δｄによっていずれのフィルタを適用させるか選定する。これは、その都度、フィルタの係数の演算の必要がなくなるメリットがある。
　また、表示サイズに対して７×７のフィルタを設定していたが、フィルタサイズと画像サイズには密接な関係がある。同程度のぼけ量を得るためには、処理する画像サイズが縦横２倍になれば、フィルタも縦横２倍にする必要がある。例えば、ここでは表示サイズ（８５４×４８０）を基準に処理サイズとしていたが、表示サイズが異なったり、保存するために異なる画像サイズとしたりする場合には、そのサイズに合わせて処理サイズとフィルタサイズを変更すればよい。
　次に、図２を参照して、図１に示す画像処理装置１０の動作を説明する。図２は、図１に示す画像処理装置１０の動作を示すフローチャートである。まず、ユーザは、入力部５を操作して、拡大した画像を得るための元になる画像を選択する（ステップＳ１）。画像処理部６は、記録部４から、選択された画像を読み出し（ステップＳ２）、表示部７に表示する。ユーザは、入力部５を操作して画像が表示された表示部７の画面上で拡大時の合焦領域を設定する（ステップＳ３）とともに、画面上において拡大中心の位置を設定する（ステップＳ４）。そして、ユーザは、入力部５から画像の拡大率を設定する（ステップＳ５）。
　次に、画像処理部６は、ステップＳ３～Ｓ５において設定された設定値を内部に保持する。そして、画像処理部６は、選択された画像に対応する視差情報を、記録部４から読み出す（ステップＳ６）。続いて、画像処理部６は、視差情報を参照して、視差値の範囲（Ｄｍａｘ～Ｄｍｉｎ）を検出して、拡大前の合焦閾値とし、処理範囲を設定する（ステップＳ７）。この時、前側フォーカス閾値ｄｆをＤｍａｘと設定し、後側フォーカス閾値ｄｂをＤｍｉｎと設定する。そして、設定された合焦領域に基づき、拡大時の合焦領域の視差値範囲Ｄｏｂ～Ｄｏｆを特定する（ステップＳ８）。
　次に、指定領域を拡大する際に、画像処理部６は、前側フォーカス閾値ｄｆと後側フォーカス閾値ｄｂを変更する（ステップＳ９）。そして、画像処理部６は、画像上において、合焦領域と、合焦領域以外の領域である非合焦領域とに分離する（ステップＳ１０）。そして、画像処理部６は、合焦領域について、拡大中心と拡大率とに基づき、画像を拡大する（ステップＳ１１）。一方、合焦領域以外の領域である非合焦領域について、画像処理部６は、フィルタ処理によって、ぼかし処理を施す（ステップＳ１２）。その後、画像処理部６は、拡大中心と拡大率とに基づき、画像を拡大する（ステップＳ１３）。続いて、画像処理部６は、拡大処理後の合焦領域と、ぼかし処理及び拡大処理後の合焦領域以外の領域を合成する（ステップＳ１４）。そして、画像処理部６は、合成後の画像を表示部７に表示する（ステップＳ１５）。
　なお、前述した説明においては、視差値によってぼかし領域の判定を行い、対応する視差範囲で合焦領域やぼかし領域が決定されており、指定する被写体と同じ視差範囲は全て合焦領域としていた。しかし、被写体領域のみを合焦領域とし、拡大率に応じて指定した被写体以外のぼかし量が大きくなるようにしてもよい。この場合、指定被写体以外の領域に対して、最大拡大率の際に、背景側の合焦閾値ｄｂがＤｍａｘとなるようにパラメータを設定する。これにより、背景側の閾値のみを変化させて、拡大率が大きくなるに従って、周辺領域のぼけ量を大きくし、最終的には合焦領域以外は全て奥行き方向にぼけた画像となるようにしてもよい。
　また、前述した説明においては、記録部４に記録された静止画を拡大処理する例を説明したが、動画にも適用可能である。この場合、１フレームごとにリアルタイムで前述した処理を行えばよい。また、指定被写体に動きがある場合は、対象の追跡を行い、それに対応する視差値によって同様な処理を実行すればよい。動画撮影ではズームをしながら被写体を追いかけて画角内に納めて撮影することは難しい。しかし、本発明の実施形態では、広角撮影で撮影していても対象被写体に光学ズームしたかのように見せることが可能であるので、フレームアウトしてしまうことを防止することができる。
　このように、入力画像と、それに対応する視差情報とをもとに、基準画像を設定し、基準画像サイズと出力画像サイズの比率、つまり拡大率に応じて、ぼかし量や、ぼかし位置と視差値の関係を変化させることによって、拡大するにつれて被写界深度の異なる画像を生成することが可能である。また、基準画像に対して指定した領域を中心に、あたかも光学ズームしたかのような画像を得ることができる。
　拡大処理においては、通常の光学ズームのように中心に向かって拡大するだけではなく、デジタルズームのように基準画像上のどの部分を中心に拡大するかを自由に選択可能である。拡大途中で順次中間の拡大率の生成画像を表示させることであたかも、徐々に光学ズームしているかのような表示も行うことが可能である。また、保存された画像と対応する視差情報を用いて処理するため、撮影後いつでも自由にズームさせた画像を楽しむことができる。特に、モバイル機器など広角なカメラを備えた機器においては、広範囲を撮影しておけば、後から自由に任意の対象にズームフォーカスした画像が得られるため、より効果は高い。
　以上説明したように、撮影画像と、それに対応する視差情報とを読み込み、拡大率に応じて視差量に対するぼけ強度を強くすることによって、以下の効果が得られる。つまり、ズーム倍率の小さな、またはズーム機構を有さない被写界深度の深い撮像装置であっても、あたかも光学ズームしたかのように注目領域を拡大し、好みの被写界深度の画像を得ることが可能となる。
　また、基準画像に対しての拡大率を基に、視差値（奥行き値）とぼかし強度の対応付けを変化させ、任意の領域に注目したズーム画像を得る。そのため、対象画像と、これに対応する視差情報とがあれば、任意の拡大画像を生成可能であり、動画であってもフレームごとに同様の処理を行えば生成可能である。さらに、視差情報の生成には、視差の異なる１対の画像があれば可能であり、特に光学的な駆動機構は必要がない。近年２つの撮像素子を備えた３Ｄカメラも次第に増えており、そのようなカメラであれば、光学的部材を追加する必要もなく、各フレームで視差情報生成が可能であり、動画での対応も可能となる。また、通常のカメラであれば、視差の異なる点で２枚撮影すれば問題なく、特別に駆動機構などを設ける必要がないため、装置の小型化が可能である。
　なお、図１における画像処理装置１０の画像処理部６の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録してもよい。そして、この記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより画像の拡大処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含む。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ：Random Access Memory）のように、一定時間、プログラムを保持しているものも含む。
　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　得られた画像に対して、画像処理によって画像を拡大することが不可欠な用途に適用できる。
１、２・・・撮像部、
３・・・視差情報生成部、
４・・・記録部、
５・・・入力部、
６・・・画像処理部、
７・・・表示部、
１０・・・画像処理装置

Claims (19)

  1. 　拡大処理を施す画像と、前記画像に対応する視差情報とを入力する画像入力部と、
    　前記画像の拡大率を入力する拡大率入力部と、
    　前記画像の合焦領域を設定する合焦領域設定部と、
    　前記画像を、前記合焦領域と、前記合焦領域以外の領域である非合焦領域とに分離する画像分離部と、
    　前記非合焦領域に対して、前記拡大率に応じたぼかし処理を施すぼかし処理部と、
    　前記合焦領域と、前記ぼかし処理後の前記非合焦領域とに対して、前記拡大率に応じた拡大処理を施す拡大処理部と、
    　前記拡大処理後の前記合焦領域と、前記ぼかし処理後の前記非合焦領域とを合成して出力する画像合成部と、
    　を備える画像処理装置。
  2. 　前記画像入力部は、更に前記画像の拡大中心を入力し、
    　前記拡大処理部は、前記拡大中心を基準に拡大処理を施す請求項１に記載の画像処理装置。
  3. 　前記画像分離部は、前記視差情報に基づいて、前記画像を、前記合焦領域と、前記非合焦領域とに分離する請求項１に記載の画像処理装置。
  4. 　前記画像合成部が出力する画像を表示する表示部を更に備える請求項１に記載の画像処理装置。
  5. 　前記ぼかし処理部は、前記表示部の表示サイズに基づいてフィルタサイズを設定し、前記視差情報に基づいてフィルタ係数を設定し、前記フィルタサイズおよび前記フィルタ係数を有するフィルタを用いてぼかし処理を施す請求項４に記載の画像処理装置。
  6. 　前記ぼかし処理部は、前記フィルタサイズの設定を、ガウス関数を用いて行う請求項５に記載の画像処理装置。
  7. 　前記ぼかし処理部は、中央から離れるに従って重みが小さくなるフィルタを用いる請求項５に記載の画像処理装置。
  8. 　前記ぼかし処理部は、前記視差情報に応じたぼかし処理を施す請求項１に記載の画像処理装置。
  9. 　前記ぼかし処理部は、前記拡大率が大きくなるに従って、ぼけ量が大きくなるようにぼかし処理を施す請求項１に記載の画像処理装置。
  10. 　拡大処理を施す画像と、前記画像に対応する視差情報とを入力し、前記画像の拡大率を入力し、前記画像の合焦領域を設定する画像処理装置における画像処理方法であって、
    　前記画像を、前記合焦領域と、前記合焦領域以外の領域である非合焦領域とに分離し、
    　前記非合焦領域に対して、前記拡大率に応じたぼかし処理を施し、
    　前記合焦領域と、前記ぼかし処理後の前記非合焦領域とに対して、前記拡大率に応じた拡大処理を施し、
    　前記拡大処理後の前記合焦領域と、前記ぼかし処理後の前記非合焦領域とを合成して出力する画像処理方法。
  11. 　更に前記画像の拡大中心を入力し、
    　前記拡大中心を基準に拡大処理を施す請求項１０に記載の画像処理方法。
  12. 　前記視差情報に基づいて、前記画像を、前記合焦領域と、前記非合焦領域とに分離する請求項１０に記載の画像処理方法。
  13. 　前記拡大処理後の前記合焦領域と、前記ぼかし処理後の前記非合焦領域とを合成して出力される画像を表示する請求項１０に記載の画像処理方法。
  14. 　表示サイズに基づいてフィルタサイズを設定し、前記視差情報に基づいてフィルタ係数を設定し、前記フィルタサイズおよび前記フィルタ係数を有するフィルタを用いてぼかし処理を施す請求項１３に記載の画像処理方法。
  15. 　前記フィルタサイズの設定を、ガウス関数を用いて行う請求項１４に記載の画像処理方法。
  16. 　中央から離れるに従って重みが小さくなるフィルタを用いる請求項１４に記載の画像処理方法。
  17. 　前記視差情報に応じたぼかし処理を施す請求項１０に記載の画像処理方法。
  18. 　前記拡大率が大きくなるに従って、ぼけ量が大きくなるようにぼかし処理を施す請求項１０に記載の画像処理方法。
  19. 　拡大処理を施す画像と、前記画像に対応する視差情報とを入力し、前記画像の拡大率を入力し、前記画像の合焦領域を設定する画像処理装置のコンピュータに、
    　前記画像を、前記合焦領域と、前記合焦領域以外の領域である非合焦領域とに分離させ、
    　前記非合焦領域に対して、前記拡大率に応じたぼかし処理を施させ、
    　前記合焦領域と、前記ぼかし処理後の前記非合焦領域とに対して前記拡大率に応じた拡大処理を施させ、
    　前記拡大処理後の前記合焦領域と、前記ぼかし処理後の前記非合焦領域とを合成して出力させる画像処理プログラム。
PCT/JP2011/075557 2010-12-16 2011-11-07 画像処理装置、画像処理方法及び画像処理プログラム WO2012081332A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010280262 2010-12-16
JP2010-280262 2010-12-16

Publications (1)

Publication Number Publication Date
WO2012081332A1 true WO2012081332A1 (ja) 2012-06-21

Family

ID=46244445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/075557 WO2012081332A1 (ja) 2010-12-16 2011-11-07 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2012081332A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002539A1 (en) * 2012-06-27 2014-01-03 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
WO2018034418A1 (ko) * 2016-08-18 2018-02-22 삼성전자 주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124399A (ja) * 2005-10-28 2007-05-17 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
JP2007142702A (ja) * 2005-11-17 2007-06-07 Nikon Corp 画像処理装置
JP2010021753A (ja) * 2008-07-10 2010-01-28 Ricoh Co Ltd 画像処理装置、画像処理方法およびデジタルスチルカメラ
JP2010211346A (ja) * 2009-03-09 2010-09-24 Tokyo Univ Of Agriculture & Technology 手書き文字認識システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124399A (ja) * 2005-10-28 2007-05-17 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
JP2007142702A (ja) * 2005-11-17 2007-06-07 Nikon Corp 画像処理装置
JP2010021753A (ja) * 2008-07-10 2010-01-28 Ricoh Co Ltd 画像処理装置、画像処理方法およびデジタルスチルカメラ
JP2010211346A (ja) * 2009-03-09 2010-09-24 Tokyo Univ Of Agriculture & Technology 手書き文字認識システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002539A1 (en) * 2012-06-27 2014-01-03 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
WO2018034418A1 (ko) * 2016-08-18 2018-02-22 삼성전자 주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
KR20180020565A (ko) * 2016-08-18 2018-02-28 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
EP3471400A4 (en) * 2016-08-18 2019-07-17 Samsung Electronics Co., Ltd. PICTURE SIGNAL PROCESSING, PICTURE SIGNAL PROCESSOR AND ELECTRONIC DEVICE
US11039065B2 (en) 2016-08-18 2021-06-15 Samsung Electronics Co., Ltd. Image signal processing method, image signal processor, and electronic device
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치

Similar Documents

Publication Publication Date Title
JP4259913B2 (ja) 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
EP3048787B1 (en) Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium
JP6011862B2 (ja) ３次元画像撮影装置及び３次元画像撮影方法
JP5036599B2 (ja) 撮像装置
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP5473173B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5831033B2 (ja) 撮像装置および距離情報取得方法
JP6257285B2 (ja) 複眼撮像装置
JP2013065280A (ja) 画像処理方法、画像処理装置およびプログラム
JP6800797B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
JP2011239195A (ja) 電子機器
US9911183B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
WO2012056685A1 (ja) ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
JP2013042301A (ja) 画像処理装置、画像処理方法及びプログラム
WO2012001970A1 (ja) 画像処理装置および方法並びにプログラム
JP2017041887A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2013041117A (ja) 撮像装置および距離情報取得方法
WO2012081332A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017143354A (ja) 画像処理装置及び画像処理方法
JP2013162416A (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム
JP2016059051A (ja) 撮像装置および距離情報取得方法
JP5744642B2 (ja) 画像処理装置および画像処理方法、プログラム。
JP5242756B2 (ja) 画像処理装置、画像処理方法、およびカメラ
JP4922066B2 (ja) カメラ
JP4089912B2 (ja) デジタルカメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11849073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11849073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP