WO2014103367A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2014103367A1
WO2014103367A1 PCT/JP2013/058404 JP2013058404W WO2014103367A1 WO 2014103367 A1 WO2014103367 A1 WO 2014103367A1 JP 2013058404 W JP2013058404 W JP 2013058404W WO 2014103367 A1 WO2014103367 A1 WO 2014103367A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
depth
image processing
enhancement
Prior art date
Application number
PCT/JP2013/058404
Other languages
English (en)
French (fr)
Inventor
賢造 五十川
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to US14/011,239 priority Critical patent/US20140185922A1/en
Publication of WO2014103367A1 publication Critical patent/WO2014103367A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • Embodiments described herein relate generally to an image processing apparatus and an image processing method.
  • the depth information of the image area is acquired for each image area (for example, a person image and a background image) included in the input image, and the depth of each image area included in the input image is acquired based on the acquired depth information.
  • image area for example, a person image and a background image
  • the technique which emphasizes is disclosed.
  • the depth emphasis processing is performed on the captured image reflecting the user's intention to emphasize the depth at the time of capturing the captured image. There is a desire to make it happen.
  • the present invention has been made in view of the above, and is an image processing apparatus capable of executing depth enhancement processing on a captured image while reflecting a user's intention to enhance the depth at the time of capturing the captured image. It is another object of the present invention to provide an image processing method.
  • the image processing apparatus includes an image processing unit and a control unit.
  • the image processing unit performs image processing that emphasizes the depth of the captured image.
  • the control unit acquires the imaging condition of the captured image, and performs control to increase the depth enhancement amount of the captured image by the image processing unit when the acquired imaging condition satisfies a predetermined depth enhancement condition.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to the present embodiment.
  • FIG. 2 is a flowchart showing a flow of processing for controlling the depth enhancement amount of the captured image in the image processing apparatus according to the present embodiment.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to the present embodiment.
  • the image processing apparatus 10 includes an image acquisition unit 101, a depth acquisition unit 102, an image processing unit 103, and an enhancement amount control unit 105.
  • the image acquisition unit 101 acquires a captured image obtained by imaging a subject.
  • the image acquisition unit 101 acquires a captured image obtained by imaging by the imaging unit 201 such as a camera.
  • the imaging unit 201 various imaging conditions for capturing a captured image can be set.
  • the imaging conditions include imaging modes that capture landscapes or portraits among imaging modes that can be set in the imaging unit 201, lens aperture values (F values) of the imaging unit 201, and imaging that the imaging unit 201 has.
  • the ISO sensitivity which is the sensitivity of the element, the shutter speed (exposure time) of the imaging unit 201, and the exposure modes that can be set in the imaging unit 201 (such as the aperture priority mode in which the shutter speed is set according to a preset F value). included.
  • the depth acquisition unit 102 acquires depth information of the captured image acquired by the image acquisition unit 101.
  • the depth acquisition unit 102 acquires depth information representing the depth value of each pixel that constitutes the captured image acquired by the image acquisition unit 101.
  • the depth information represents a smaller value as the distance between the imaging unit 201 and the imaging target (subject) captured by the imaging unit 201 becomes shorter.
  • the image processing unit 103 performs image processing on the captured image acquired by the image acquisition unit 101.
  • the image processing unit 103 includes a depth enhancement unit 104 that performs image processing for enhancing the depth of the captured image acquired by the image acquisition unit 101 in accordance with the depth information acquired by the depth acquisition unit 102.
  • the depth emphasizing unit 104 changes the depth emphasis processing to be performed on the captured image according to the magnitude of the value represented by the depth information acquired by the depth acquiring unit 102.
  • the depth enhancement unit 104 increases the amplification factor of the high-frequency component of the captured image as the value represented by the acquired depth information is small (in other words, the amplification factor of the high-frequency component of the foreground image included in the captured image and the imaging
  • the image of a subject far from the image capturing unit 201 in the captured image is defined as a sharp image in the captured image (a close-up image).
  • Image processing that emphasizes the depth of the captured image is performed by setting the (distant view image) to an image with reduced sharpness.
  • the depth enhancement unit 104 increases the maximum value of the spatial frequency for amplifying the foreground image included in the captured image as the value represented by the acquired depth information is smaller (in other words, amplifies the foreground image included in the captured image). Make a difference between the maximum value of the spatial frequency and the maximum value of the spatial frequency that amplifies the far-field image included in the captured image), making the foreground image a sharp image and making the far-field image an image with reduced sharpness Thus, image processing for emphasizing the depth of the captured image is performed.
  • the depth enhancement unit 104 increases the noise removal strength included in the captured image as the value represented by the acquired depth information increases, that is, reduces the amount of noise included in the captured image (in other words, Image processing that emphasizes the depth of the captured image is performed by setting a difference between the amount of noise in the foreground image included in the captured image and the amount of noise in the distant view image included in the captured image). You can also
  • the enhancement amount control unit 105 acquires the imaging condition of the captured image acquired by the image acquisition unit 101.
  • the enhancement amount control unit 105 controls the depth enhancement amount by the depth enhancement unit 104 based on the acquired imaging condition.
  • the enhancement amount control unit 105 acquires the imaging mode, F value, ISO sensitivity, exposure mode, exposure time, and the like of the imaging unit 201 when the captured image is captured as the imaging conditions.
  • the enhancement amount control unit 105 controls to increase the depth enhancement amount by the depth enhancement unit 104 when the acquired imaging condition satisfies a predetermined depth enhancement condition.
  • the predetermined depth emphasis condition is an imaging condition that is set by the user of the imaging unit 201 with the intention of enhancing the depth of the captured image among the imaging conditions that can be set in the imaging unit 201.
  • the predetermined depth emphasis condition is that the imaging mode at the time of capturing a captured image is a mode for capturing a landscape or a portrait, and the F value of the lens at the time of capturing a captured image is greater than a predetermined F value. That is, the exposure mode at the time of capturing a captured image is an aperture priority mode.
  • the predetermined F value is a value that can be arbitrarily set by the user with the intention of enhancing the depth by reducing the depth of field of the captured image.
  • FIG. 2 is a flowchart showing a flow of processing for controlling the depth enhancement amount of the captured image in the image processing apparatus according to the present embodiment.
  • the enhancement amount control unit 105 acquires the imaging mode as an imaging condition from the Exif tag of the Exif image file of the input captured image.
  • the Exif tag includes a Scene Capture Type tag indicating whether or not the imaging mode in which the subject is captured by the imaging unit 201 is a mode for capturing a landscape or a person (portrait). Therefore, the enhancement amount control unit 105 refers to the Scene Capture Type tag included in the Exif tag of the Exif image file of the input captured image, and the imaging mode at the time of capturing the captured image is a mode for capturing a landscape or a portrait. It is determined whether or not there is (step S201).
  • the enhancement amount control unit 105 increases the depth enhancement so that the enhancement amount of the depth of the captured image increases.
  • the depth enhancement processing by the unit 104 is controlled (step S204).
  • the image capturing mode at the time of capturing the captured image is a landscape image capturing mode, it is intended to express the extent of the subject (landscape) in the captured image (in other words, to emphasize the depth of the captured image).
  • the enhancement amount control unit 105 performs control so that the enhancement amount of the depth of the captured image is increased.
  • the image capturing mode at the time of capturing the captured image is a mode for capturing a portrait, the importance of the foreground image (person image) included in the captured image is expressed (in other words, the depth of the captured image is emphasized).
  • the enhancement amount control unit 105 performs control so that the enhancement amount of the depth of the captured image is increased.
  • the enhancement amount control unit 105 controls the amplification of the high frequency components of the foreground image and the distant view image by the depth enhancement unit 104, and the amplification factor of the high frequency component of the foreground image included in the captured image, and the captured image Control is performed to increase the depth enhancement amount by increasing the difference from the amplification factor of the high frequency component of the distant view image.
  • the foreground image included in the captured image becomes a sharper image
  • the distant view image included in the captured image becomes an image in which the sharpness is further suppressed, and the depth of the captured image is further emphasized.
  • the enhancement amount control unit 105 controls the spatial frequency amplification of the foreground image and the distant view image by the depth enhancement unit 104, and the captured image includes the maximum value of the spatial frequency that amplifies the foreground image included in the captured image. Control may be performed to increase the depth enhancement amount by increasing the difference from the maximum value of the spatial frequency for amplifying the distant view image. As a result, the foreground image included in the captured image becomes a sharper image, the distant view image included in the captured image becomes an image in which the sharpness is further suppressed, and the depth of the captured image is further emphasized.
  • the enhancement amount control unit 105 controls the noise removal strength of the foreground image and the distant view image by the depth enhancement unit 104, and the noise amount of the foreground image included in the captured image and the noise of the distant image included in the captured image. Control may be performed to increase the depth enhancement amount by increasing the difference from the amount. Thereby, the distant view image included in the captured image becomes a more blurred image, and the depth of the captured image is further emphasized.
  • the enhancement amount control unit 105 captures the captured image from the Exif tag of the Exif image file. F-number of the lens is acquired. Then, the enhancement amount control unit 105 determines whether or not the acquired F value is smaller than a predetermined F value (step S202).
  • the enhancement amount control unit 105 controls the enhancement processing so that the depth enhancement amount of the captured image is increased
  • the depth enhancement amount of the captured image is the maximum enhancement amount set in advance. It is assumed that the emphasis process is controlled so that the maximum emphasis amount Vmax as a value is obtained.
  • the enhancement amount control unit 105 intends that the captured image has a deep depth of field and the captured image emphasizes the depth. Therefore, the depth enhancement unit 104 controls the depth enhancement processing so that the depth enhancement amount of the captured image is reduced (step S205).
  • the emphasis amount control unit 105 controls the depth emphasis unit 104 so that the depth emphasis amount of the captured image decreases, but the present invention is not limited to this, and the depth emphasis amount of the captured image is not limited to this. There is no need to lower it.
  • the enhancement amount control unit 105 controls the amplification of the high-frequency components of the foreground image and the distant view image by the depth enhancement unit 104, and the amplification factor of the high-frequency component of the foreground image included in the captured image and the captured image are Control is performed so that the depth enhancement amount is reduced by reducing the difference from the amplification factor of the high-frequency component of the distant view image.
  • the enhancement amount control unit 105 controls the spatial frequency amplification of the foreground image and the distant view image by the depth enhancement unit 104, and the captured image includes the maximum value of the spatial frequency that amplifies the foreground image included in the captured image.
  • the depth enhancement amount may be controlled by reducing the difference from the maximum value of the spatial frequency for amplifying the distant view image.
  • the enhancement amount control unit 105 controls the noise removal strength of the foreground image and the distant view image by the depth enhancement unit 104, and the noise amount of the foreground image included in the captured image and the noise of the distant image included in the captured image. Control may be performed so that the depth enhancement amount decreases by reducing the difference from the amount.
  • the enhancement amount control unit 105 controls the enhancement process so that the depth enhancement amount of the captured image is lowered
  • the depth enhancement amount of the captured image is the minimum enhancement amount set in advance.
  • the enhancement processing is controlled so that the minimum enhancement amount Vmin is smaller than the maximum enhancement amount Vmax.
  • the enhancement amount control unit 105 acquires the exposure mode from the Exif tag of the Exif image file. Then, when the acquired exposure mode is the aperture priority mode, the enhancement amount control unit 105 determines that the depth of field is shallow with the intention of blurring the distant view image of the captured image (step S203). : Yes), the depth enhancement processing by the depth enhancement unit 104 is controlled so that the depth enhancement amount of the captured image is increased (step S204).
  • the F value arbitrarily set by the user is set as the F value of the lens at the time of capturing the captured image. Therefore, the arbitrarily set F value is higher than the predetermined F value. If it is larger, it is considered that the user has decreased the F-number with the intention of obtaining a captured image with a shallow depth of field (that is, with the depth of the captured image enhanced). Therefore, when the acquired F value is smaller than the predetermined F value and the exposure mode is the aperture priority mode, the enhancement amount control unit 105 intends to blur the distant image and reduces the depth of field. Judge.
  • the enhancement amount control unit 105 determines whether or not the depth of field is reduced in accordance with the acquired F value and the exposure mode, with the intention of blurring the distant view image, but is not limited thereto. Not what you want.
  • the enhancement amount control unit 105 uses the ISO sensitivity, the exposure time, and the like to determine whether or not the depth of field is reduced with the intention of blurring the distant view image. Also good. Specifically, when the acquired F value is smaller than a predetermined F value and the acquired ISO sensitivity is high (or the acquired exposure time is long), the enhancement amount control unit 105 performs optical processing of the imaging unit 201. It is determined that the F value is made small in order to increase the amount of incident light that enters the system and prevent blackout of the captured image (that is, if the depth of field is not made shallow in order to blur a distant view image) to decide).
  • the enhancement amount control unit 105 reduces the depth of field with the intention of blurring a distant image based on the acquired F value and exposure mode (or ISO sensitivity, exposure time, etc.). However, based on only the acquired F value, it may be determined whether or not the depth of field is reduced with the intention of blurring the distant view image. That is, when the acquired F value is smaller than the predetermined F value, the enhancement amount control unit 105 determines whether or not the depth of field is intended to blur the distant view image and takes the captured image. The depth emphasis unit 104 is controlled so that the depth emphasis amount increases.
  • the enhancement amount control unit 105 does not reduce the depth of field with the intention of blurring the distant view image of the captured image (that is, the captured image It is determined that the F value has been reduced to avoid blackout (step S203: No), and the depth enhancement processing by the depth enhancement unit 104 is controlled so that the depth enhancement amount of the captured image is reduced (step S203: No). Step S205).
  • the enhancement amount control unit 105 determines the depth enhancement amount of the captured image as the maximum enhancement amount Vmax or the minimum enhancement amount Vmin depending on whether or not the acquired imaging condition satisfies a predetermined depth enhancement condition.
  • the present invention is not limited to this.
  • the enhancement amount control unit 105 is based on the imaging condition of the captured image regardless of whether the imaging condition of the captured image to be emphasized whose depth is emphasized by the depth enhancement unit 104 satisfies a predetermined depth enhancement condition.
  • the depth emphasis by the depth emphasis unit 104 may be controlled.
  • the enhancement amount control unit 105 determines the depth enhancement amount by the depth enhancement amount 104 using the imaging condition of the captured image. Then, the enhancement amount control unit 105 controls the depth enhancement amount by the depth enhancement unit 104 according to the determined enhancement amount.
  • a method for determining the enhancement amount V using the imaging condition of the captured image will be described.
  • the enhancement amount control unit 105 uses the imaging condition (imaging mode, exposure mode, F value, ISO sensitivity, exposure time) acquired from the Exif tag, and uses the enhancement amount V0 calculated according to Equation (1) as the depth enhancement amount.
  • V is determined.
  • V0 A * Vmode0 + B * (C + Vmode1) * Vf-D * Viso-E * Vt (1)
  • Vmode “1” when the imaging mode is a landscape or portrait imaging mode, “0” otherwise, “1” when the exposure mode is aperture priority, “0” otherwise
  • Vf F value Viso: ISO sensitivity
  • Vt Exposure time
  • a to E Constant
  • the enhancement amount control unit 105 determines the maximum enhancement amount Vmax as the depth enhancement amount Vmax when the enhancement amount V0 calculated by the equation (1) is larger than the maximum enhancement amount Vmax.
  • the enhancement amount control unit 105 determines the minimum enhancement amount Vmin as the depth enhancement amount V.
  • the enhancement amount control unit 105 determines the enhancement amount V0 as the enhancement amount V when the enhancement amount V0 is not more than the maximum enhancement amount Vmax and not less than the minimum enhancement amount Vmin.
  • the enhancement amount control unit 105 controls the depth enhancement by the depth enhancement unit 104 based on the imaging condition of the imaging condition.
  • the enhancement amount control unit 105 may not control the depth enhancement by the depth enhancement unit 104 when the acquired imaging condition does not satisfy a predetermined depth enhancement condition.
  • the imaging condition of the captured image is acquired, and when the acquired imaging condition satisfies the predetermined depth enhancement condition, the image processing unit 103 (depth enhancement unit 104). ) To increase the depth enhancement amount of the captured image, the depth enhancement processing can be performed on the captured image reflecting the user's intention to enhance the depth at the time of capturing the captured image. .
  • the program executed by the image processing apparatus 10 of the present embodiment is provided by being incorporated in advance in a ROM (Read Only Memory) or the like.
  • the program executed by the image processing apparatus 10 of the present embodiment is a file in an installable or executable format, such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), or other computer.
  • the information may be provided by being recorded on a recording medium that can be read by the user.
  • the program executed by the image processing apparatus 10 of the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the program executed by the image processing apparatus 10 according to the present embodiment may be configured to be provided or distributed via a network such as the Internet.
  • a program executed by the image processing apparatus 10 includes a module configuration including the above-described units (image acquisition unit 101, depth acquisition unit 102, image processing unit 103, depth enhancement unit 104, enhancement amount control unit 105, and the like).
  • a CPU processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　実施形態の画像処理装置は、画像処理部と、制御部と、を備える。画像処理部は、撮像画像の奥行を強調する画像処理を行う。制御部は、撮像画像の撮像条件を取得し、この取得した撮像条件が所定の奥行強調条件を満たした場合に、画像処理部による撮像画像の奥行の強調量を上げさせるよう制御する。

Description

画像処理装置および画像処理方法
　本発明の実施形態は、画像処理装置および画像処理方法に関する。
　入力された画像に含まれる画像領域毎（例えば、人物画像と背景画像）に当該画像領域の奥行情報を取得し、取得した奥行情報に基づいて、入力された画像に含まれる各画像領域の奥行を強調する技術が開示されている。
特開２０１２－６３９８７号公報 特開２０１０－２４５８８６号公報
　ところで、奥行を強調する画像が、カメラの撮像により得られた撮像画像である場合、撮像画像の撮像時における奥行を強調するユーザの意図を反映させて撮像画像に対して奥行の強調処理を実施させたいという要望がある。
　本発明は、上記に鑑みてなされたものであって、撮像画像の撮像時における奥行を強調するユーザの意図を反映させて撮像画像に対して奥行の強調処理を実行することができる画像処理装置および画像処理方法を提供することを目的とする。
　実施形態の画像処理装置は、画像処理部と、制御部と、を備える。画像処理部は、撮像画像の奥行を強調する画像処理を行う。制御部は、撮像画像の撮像条件を取得し、この取得した撮像条件が所定の奥行強調条件を満たした場合に、画像処理部による撮像画像の奥行の強調量を上げさせるよう制御する。
図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。 図２は、本実施形態にかかる画像処理装置における撮像画像の奥行の強調量を制御する処理の流れを示すフローチャートである。
　以下に添付図面を参照して、本実施形態にかかる画像処理装置および画像処理方法について説明する。
　図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。本実施形態にかかる画像処理装置１０は、画像取得部１０１と、奥行取得部１０２と、画像処理部１０３と、強調量制御部１０５とを備えている。
　画像取得部１０１は、被写体の撮像により得られた撮像画像を取得する。本実施形態では、画像取得部１０１は、カメラなどの撮像部２０１の撮像により得られた撮像画像を取得する。撮像部２０１には、撮像画像を撮像時の各種の撮像条件が設定可能である。
　本実施形態では、撮像条件には、撮像部２０１に設定可能な撮像モードのうち風景またはポートレートを撮像する撮像モード、撮像部２０１のレンズの絞り値（Ｆ値）、撮像部２０１が有する撮像素子の感度であるＩＳＯ感度、撮像部２０１のシャッター速度（露光時間）、撮像部２０１に設定可能な露光モード（予め設定されたＦ値に応じてシャッター速度が設定される絞り優先モードなど）が含まれる。
　奥行取得部１０２は、画像取得部１０１により取得した撮像画像の奥行情報を取得する。本実施形態では、奥行取得部１０２は、画像取得部１０１により取得した撮像画像を構成する各画素の奥行の値を表す奥行情報を取得する。奥行情報は、撮像部２０１と、当該撮像部２０１により撮像する撮像対象（被写体）との距離が近くなるに従い小さい値を表す。
　画像処理部１０３は、画像取得部１０１により取得した撮像画像に画像処理を施す。本実施形態では、画像処理部１０３は、奥行取得部１０２により取得した奥行情報に従って、画像取得部１０１により取得した撮像画像の奥行を強調する画像処理を行う奥行強調部１０４を備えている。
　本実施形態では、奥行強調部１０４は、奥行取得部１０２により取得した奥行情報が表す値の大小に応じて、撮像画像に実行する奥行の強調処理を変える。
　例えば、奥行強調部１０４は、取得した奥行情報が表す値が小さいほど、撮像画像の高周波成分の増幅率を高くして（言い換えると、撮像画像が含む近景画像の高周波成分の増幅率と、撮像画像が含む遠景画像の高周波成分の増幅率とに差を設けて）、撮像画像のうち手前の被写体の画像（近景画像）を鮮鋭な画像とし、撮影画像のうち撮像部２０１から遠い被写体の画像（遠景画像）を鮮鋭感が抑えられた画像とすることにより、撮像画像の奥行を強調する画像処理を行う。
　また、奥行強調部１０４は、取得した奥行情報が表す値が小さいほど、撮像画像が含む近景画像を増幅する空間周波数の最大値を大きくして（言い換えると、撮像画像が含む近景画像を増幅する空間周波数の最大値と、撮像画像が含む遠景画像を増幅する空間周波数の最大値とに差を設けて）、近景画像を鮮鋭な画像とし、遠景画像を鮮鋭感が抑えられた画像とすることにより、撮像画像の奥行を強調する画像処理を行う。
　さらに、奥行強調部１０４は、取得した奥行情報が表す値が大きくなるほど、撮像画像に含まれるノイズ除去の強さを強くして、すなわち、撮像画像に含まれるノイズ量を減らして(言い換えると、撮像画像が含む近景画像のノイズ量と、撮像画像が含む遠景画像のノイズ量とに差を設けて）、遠景画像をぼやかした画像とすることにより、撮像画像の奥行を強調する画像処理を行うこともできる。
　強調量制御部１０５は、画像取得部１０１により取得した撮像画像の撮像条件を取得する。そして、強調量制御部１０５は、この取得した撮像条件に基づいて、奥行強調部１０４による奥行の強調量を制御する。本実施形態では、強調量制御部１０５は、撮像画像の撮像時における撮像部２０１の撮像モード、Ｆ値、ＩＳＯ感度、露光モード、露光時間などを撮像条件として取得する。
　そして、強調量制御部１０５は、取得した撮像条件が所定の奥行強調条件を満たしている場合に、奥行強調部１０４による奥行の強調量を上げるよう制御する。ここで、所定の奥行強調条件とは、撮像部２０１に設定可能な撮像条件のうち、撮像部２０１のユーザが撮像画像の奥行を強調することを意図して設定した撮像条件である。本実施形態では、所定の奥行強調条件は、撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードであること、撮像画像の撮像時のレンズのＦ値が所定のＦ値よりも小さいこと、撮像画像の撮像時の露光モードが絞り優先モードであること、などである。所定のＦ値は、撮像画像の被写界深度を浅くすることにより奥行を強調することを意図してユーザが任意に設定可能な値である。
　次に、図２を用いて、本実施形態にかかる画像処理装置１による撮像画像の奥行の強調量を制御する処理について詳細に説明する。図２は、本実施形態にかかる画像処理装置における撮像画像の奥行の強調量を制御する処理の流れを示すフローチャートである。
　撮像部２０１の撮像により得られた撮像画像が入力されると、強調量制御部１０５は、入力された撮像画像のExif画像ファイルのExifタグから、撮像モードを撮像条件として取得する。Exifタグには、撮像部２０１により被写体を撮像した撮像モードが風景または人物（ポートレート）を撮像するモードであるか否かを表すScene　Capture　Typeタグが含まれる。そこで、強調量制御部１０５は、入力された撮像画像のExif画像ファイルのExifタグが含むScene　Capture　Typeタグを参照して、撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードであるか否かを判断する（ステップＳ２０１）。
　そして、撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードである場合（ステップＳ２０１：Ｙｅｓ）、強調量制御部１０５は、撮像画像の奥行の強調量が上がるように、奥行強調部１０４による奥行の強調処理を制御する（ステップＳ２０４）。
　撮像画像の撮像時の撮像モードが風景を撮像するモードである場合、被写体（風景）の広がりを撮像画像において表現すること（言い換えると、撮像画像の奥行を強調すること）を意図しているため、強調量制御部１０５は、撮像画像の奥行の強調量が上げられるように制御する。また、撮像画像の撮像時の撮像モードがポートレートを撮像するモードである場合、撮像画像が含む近景画像（人物の画像）の重要性を表現すること（言い換えると、撮像画像の奥行を強調すること）を意図しているため、強調量制御部１０５は、撮像画像の奥行の強調量が上げられるように制御する。
　本実施形態では、強調量制御部１０５は、奥行き強調部１０４による近景画像および遠景画像それぞれの高周波成分の増幅を制御して、撮像画像が含む近景画像の高周波成分の増幅率と、撮像画像が含む遠景画像の高周波成分の増幅率との差を大きくすることにより、奥行の強調量を上げさせるよう制御する。これにより、撮像画像が含む近景画像をより鮮鋭な画像とし、撮影画像が含む遠景画像はより鮮鋭感が抑えられた画像となり、撮像画像の奥行がより強調される。
　または、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれの空間周波数の増幅を制御して、撮像画像が含む近景画像を増幅する空間周波数の最大値と、撮像画像が含む遠景画像を増幅する空間周波数の最大値との差が大きくすることにより、奥行の強調量を上げさせるよう制御しても良い。これにより、撮像画像が含む近景画像をより鮮鋭な画像とし、撮影画像が含む遠景画像がより鮮鋭感は抑えられた画像となり、撮像画像の奥行がより強調される。
　または、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれに対するノイズ除去の強さを制御して、撮像画像が含む近景画像のノイズ量と、撮像画像が含む遠景画像のノイズ量との差が大きくすることにより、奥行の強調量を上げさせるよう制御しても良い。これにより、撮影画像が含む遠景画像がよりぼやけた画像となり、撮像画像の奥行がより強調される。
　一方、撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードではなかった場合（ステップＳ２０１：Ｎｏ）、強調量制御部１０５は、Exif画像ファイルのExifタグから、撮像画像の撮像時のレンズのＦ値を取得する。そして、強調量制御部１０５は、取得したＦ値が所定のＦ値よりも小さいか否かを判断する（ステップＳ２０２）。
　また、本実施形態では、強調量制御部１０５は、撮像画像の奥行の強調量が上がるように強調処理を制御する場合、当該撮像画像の奥行の強調量が、予め設定された強調量の最大値である最大強調量Ｖｍａｘになるように、強調処理を制御するものとする。
　ここで、取得したＦ値が所定のＦ値よりも大きい場合（ステップＳ２０２：Ｎｏ）、強調量制御部１０５は、撮像画像の被写界深度が深く当該撮像画像が奥行を強調することを意図して撮像されていないため、撮像画像の奥行の強調量が下がるように、奥行強調部１０４により奥行の強調処理を制御する（ステップＳ２０５）。本実施形態では、強調量制御部１０５は、撮像画像の奥行の強調量が下がるように奥行強調部１０４を制御しているが、これに限定するものではなく、撮像画像の奥行の強調量を下げなくても良い。
　本実施形態では、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれの高周波成分の増幅を制御して、撮像画像が含む近景画像の高周波成分の増幅率と、撮像画像が含む遠景画像の高周波成分の増幅率との差を小さくすることにより、奥行の強調量が下がるように制御する。または、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれの空間周波数の増幅を制御して、撮像画像が含む近景画像を増幅する空間周波数の最大値と、撮像画像が含む遠景画像を増幅する空間周波数の最大値との差を小さくすることにより、奥行の強調量が下がるように制御しても良い。または、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれに対するノイズ除去の強さを制御して、撮像画像が含む近景画像のノイズ量と、撮像画像が含む遠景画像のノイズ量との差を小さくすることにより、奥行の強調量が下がるように制御しても良い。
　また、本実施形態では、強調量制御部１０５は、撮像画像の奥行の強調量が下がるように強調処理を制御する場合、当該撮像画像の奥行の強調量が、予め設定された強調量の最小値であって最大強調量Ｖｍａｘより小さい最小強調量Ｖｍｉｎになるように、強調処理を制御する。
　取得したＦ値が所定のＦ値より小さい場合（ステップＳ２０２：Ｙｅｓ）、強調量制御部１０５は、Exif画像ファイルのExifタグから、露光モードを取得する。そして、強調量制御部１０５は、取得した露光モードが絞り優先モードである場合には、撮像画像の遠景画像のぼかしを意図して被写界深度を浅くしていると判断して（ステップＳ２０３：Ｙｅｓ）、撮像画像の奥行の強調量が上がるように、奥行強調部１０４による奥行の強調処理を制御する（ステップＳ２０４）。
　露光モードが絞り優先モードである場合、撮像画像の撮像時のレンズのＦ値にはユーザが任意に設定したＦ値が設定されるため、当該任意に設定したＦ値が所定のＦ値よりも大きい場合には、ユーザが被写界深度を浅くした（すなわち、撮像画像の奥行を強調した）撮像画像を得ることを意図してＦ値を小さくしたと考えられる。そのため、強調量制御部１０５は、取得したＦ値が所定のＦ値より小さくかつ露光モードが絞り優先モードである場合には、遠景画像のぼかしを意図して被写界深度を浅くしていると判断する。
　本実施形態では、強調量制御部１０５は、取得したＦ値および露光モードに従って、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断しているが、これに限定するものではない。例えば、強調量制御部１０５は、取得したＦ値に加えて、ＩＳＯ感度および露光時間等を用いて、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断しても良い。具体的には、強調量制御部１０５は、取得したＦ値が所定のＦ値よりも小さくかつ取得したＩＳＯ感度が高い（若しくは、取得した露光時間が長い）場合には、撮像部２０１の光学系に入射する入射光量を増やして撮像画像の黒つぶれを防止するためにＦ値を小さくしていると判断する（すなわち、遠景画像のぼかしを意図して被写界深度を浅くしていないと判断する）。
　また、本実施形態では、強調量制御部１０５は、取得したＦ値および露光モード（または、ＩＳＯ感度、露光時間など）に基づいて、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断しているが、取得したＦ値のみに基づいて、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断しても良い。すなわち、強調量制御部１０５は、取得したＦ値が所定のＦ値より小さい場合には、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断して、撮像画像の奥行の強調量が上がるように奥行強調部１０４を制御する。
　また、強調量制御部１０５は、取得した露光モードが絞り優先モード以外である場合には、撮像画像の遠景画像のぼかしを意図して被写界深度を浅くしていない（すなわち、撮像画像の黒つぶれを避けるためにＦ値を小さくしている）と判断して（ステップＳ２０３：Ｎｏ）、撮像画像の奥行の強調量が下がるように、奥行強調部１０４による奥行の強調処理を制御する（ステップＳ２０５）。
　本実施形態では、強調量制御部１０５は、取得した撮像条件が所定の奥行強調条件を満たしているか否かに応じて、撮像画像の奥行の強調量を、最大強調量Ｖｍａｘまたは最小強調量Ｖｍｉｎに切り替えているが、これに限定するものではない。
　例えば、強調量制御部１０５は、奥行強調部１０４により奥行を強調する強調対象の撮像画像の撮像条件が所定の奥行強調条件を満たしているか否かに関わらず、当該撮像画像の撮像条件に基づいて、奥行強調部１０４による奥行の強調を制御しても良い。具体的には、強調量制御部１０５は、当該撮像画像の撮像条件を用いて、奥行強調量１０４による奥行の強調量を決定する。そして、強調量制御部１０５は、当該決定した強調量に従って、奥行強調部１０４による奥行の強調量を制御する。ここで、撮像画像の撮像条件を用いて強調量Ｖを決定する方法の一例について説明する。
　強調量制御部１０５は、Exifタグから取得した撮像条件（撮像モード、露光モード、Ｆ値、ＩＳＯ感度、露光時間）を用いて、式（１）に従って算出した強調量Ｖ０を、奥行の強調量Ｖに決定する。
　V0=A*Vmode0+B*(C+Vmode1)*Vf-D*Viso-E*Vt・・・（１）
　Vmode：撮像モードが風景またはポートレートを撮像するモードである場合には「１」、それ以外は「０」となる
　Vmode1：露光モードが絞り優先の場合には「１」、それ以外は「０」となる
　Vf：Ｆ値
　Viso：ＩＳＯ感度
　Vt：露光時間
　A～E：定数
　そして、強調量制御部１０５は、式（１）により算出した強調量Ｖ０が最大強調量Ｖｍａｘより大きい場合には、最大強調量Ｖｍａｘを奥行の強調量Ｖに決定する。
　一方、強調量制御部１０５は、強調量Ｖ０が最小強調量Ｖｍｉｎより小さい場合には、最小強調量Ｖｍｉｎを奥行の強調量Ｖに決定する。そして、強調量制御部１０５は、強調量Ｖ０が最大強調量Ｖｍａｘ以下かつ最小強調量Ｖｍｉｎ以上である場合には、強調量Ｖ０を強調量Ｖに決定する。
　また、強調量制御部１０５は、取得した撮像条件が所定の奥行強調条件を満たした場合には、当該撮像条件の撮像条件に基づいて奥行強調部１０４による奥行の強調を制御する。一方、強調量制御部１０５は、取得した撮像条件が所定の奥行強調条件を満たしていない場合には、奥行強調部１０４による奥行の強調を制御しないようにしても良い。
　このように本実施形態の画像処理装置１によれば、撮像画像の撮像条件を取得し、この取得した撮像条件が所定の奥行強調条件を満たした場合に、画像処理部１０３（奥行強調部１０４）による撮像画像の奥行の強調量を上げさせるよう制御することにより、撮像画像の撮像時における奥行を強調するユーザの意図を反映させて撮像画像に対して奥行の強調処理を実施することができる。
　本実施形態の画像処理装置１０で実行されるプログラムは、ＲＯＭ（Read　Only　Memory）等に予め組み込まれて提供される。
　本実施形態の画像処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ(Digital　Versatile　Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
　さらに、本実施形態の画像処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
　本実施形態の画像処理装置１０で実行されるプログラムは、上述した各部（画像取得部１０１、奥行取得部１０２、画像処理部１０３、奥行強調部１０４、強調量制御部１０５など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ画像取得部１０１、奥行取得部１０２、画像処理部１０３、奥行強調部１０４、強調量制御部１０５が主記憶装置上に生成されるようになっている。
　本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (8)

  1. 　撮像画像の奥行を強調する画像処理を行う画像処理部と、
    　前記撮像画像の撮像条件を取得し、この取得した前記撮像条件が所定の奥行強調条件を満たした場合に、前記画像処理部による前記撮像画像の奥行の強調量を上げさせるよう制御する制御部と、
    　を備えた画像処理装置。
  2. 　前記所定の奥行強調条件は、前記撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードであることであり、
    　前記制御部は、前記撮像画像を撮像時の撮像モードを前記撮像条件として取得し、前記撮像モードが風景またはポートレートを撮像するモードである場合、前記強調量を上げさせるよう制御する請求項１に記載の画像処理装置。
  3. 　前記所定の奥行強調条件は、前記撮像画像の撮像時のレンズの絞り値が所定の絞り値より小さいことであり、
    　前記制御部は、前記撮像画像を撮像時のレンズの絞り値を前記撮像条件として取得し、取得した前記絞り値が前記所定の絞り値よりも小さい場合、前記強調量を上げさせるよう制御する請求項１に記載の画像処理装置。
  4. 　前記所定の奥行強調条件は、前記撮像画像の撮像時の露光モードが絞り優先モードであることであり、
    　前記制御部は、取得した前記絞り値が前記所定の絞り値よりも小さい場合、前記撮像画像の撮像時の露光モードを前記撮像条件として取得し、取得した前記露光モードが前記絞り優先モードである場合、前記強調量を上げさせるよう制御する請求項１に記載の画像処理装置。
  5. 　前記画像処理部は、前記撮像画像が含む近景画像の高周波成分の増幅率と、前記撮像画像が含む遠景画像の高周波成分の増幅率との差によって、前記撮像画像の奥行を強調する画像処理を行い、
    　前記制御部は、前記撮像画像が含む近景画像の高周波成分の増幅率と、前記撮像画像が含む遠景画像の高周波成分の増幅率との差を大きくすることにより、前記強調量を上げさせるよう制御する請求項１に記載の画像処理装置。
  6. 　前記画像処理部は、前記撮像画像が含む近景画像を増幅する空間周波数の最大値と、前記撮像画像が含む遠景画像を増幅する空間周波数の最大値との差によって、前記撮像画像の奥行を強調する画像処理を行い、
    　前記制御部は、前記撮像画像が含む近景画像を増幅する空間周波数の最大値と、前記撮像画像が含む遠景画像を増幅する空間周波数の最大値との差を大きくすることにより、前記強調量を上げさせるよう制御する請求項１に記載の画像処理装置。
  7. 　前記画像処理部は、前記撮像画像が含む近景画像のノイズ量と、前記撮像画像が含む遠景画像のノイズ量との差によって、前記撮像画像の奥行を強調する画像処理を行い、
    　前記制御部は、前記撮像画像が含む近景画像のノイズ量と、前記撮像画像が含む遠景画像のノイズ量との差を大きくすることにより、前記強調量を上げさせるよう制御する請求項１に記載の画像処理装置。
  8. 　画像処理装置で実行される画像処理方法であって、
    　画像処理部が、撮像画像の奥行を強調する画像処理を行う過程と、
    　制御部が、前記撮像画像の撮像条件を取得し、この取得した前記撮像条件が所定の奥行強調条件を満たした場合に、前記画像処理部による前記撮像画像の奥行の強調量を上げさせるよう制御する過程と、
    　を含む画像処理方法。
PCT/JP2013/058404 2012-12-27 2013-03-22 画像処理装置および画像処理方法 WO2014103367A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/011,239 US20140185922A1 (en) 2012-12-27 2013-08-27 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-285990 2012-12-27
JP2012285990A JP2014128001A (ja) 2012-12-27 2012-12-27 画像処理装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/011,239 Continuation US20140185922A1 (en) 2012-12-27 2013-08-27 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2014103367A1 true WO2014103367A1 (ja) 2014-07-03

Family

ID=51020477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/058404 WO2014103367A1 (ja) 2012-12-27 2013-03-22 画像処理装置および画像処理方法

Country Status (2)

Country Link
JP (1) JP2014128001A (ja)
WO (1) WO2014103367A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300221A (ja) * 2006-04-27 2007-11-15 Olympus Imaging Corp カメラ
JP2008079193A (ja) * 2006-09-25 2008-04-03 Fujifilm Corp デジタルカメラ
JP2008263597A (ja) * 2007-03-16 2008-10-30 Nikon Corp 画像処理装置、撮像装置、および画像処理プログラム
JP2009267436A (ja) * 2007-07-31 2009-11-12 Panasonic Corp 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
JP2010245886A (ja) 2009-04-07 2010-10-28 Fujifilm Corp 画像処理装置、プログラム、及び方法
JP2012063987A (ja) 2010-09-16 2012-03-29 Toshiba Corp 画像処理装置
JP2012142978A (ja) * 2012-02-29 2012-07-26 Nikon Corp 画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300221A (ja) * 2006-04-27 2007-11-15 Olympus Imaging Corp カメラ
JP2008079193A (ja) * 2006-09-25 2008-04-03 Fujifilm Corp デジタルカメラ
JP2008263597A (ja) * 2007-03-16 2008-10-30 Nikon Corp 画像処理装置、撮像装置、および画像処理プログラム
JP2009267436A (ja) * 2007-07-31 2009-11-12 Panasonic Corp 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
JP2010245886A (ja) 2009-04-07 2010-10-28 Fujifilm Corp 画像処理装置、プログラム、及び方法
JP2012063987A (ja) 2010-09-16 2012-03-29 Toshiba Corp 画像処理装置
JP2012142978A (ja) * 2012-02-29 2012-07-26 Nikon Corp 画像処理装置

Also Published As

Publication number Publication date
JP2014128001A (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
US10313589B2 (en) Imaging device having an image mode set according to a filter
US10097802B2 (en) Image processing technique for reducing moire
US20180336664A1 (en) Image processing apparatus, image processing method, and storage medium
KR102058775B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
US20150163391A1 (en) Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium
US9886744B2 (en) Image processing apparatus, image processing method, and storage medium with image quality improvement processing
JP6720881B2 (ja) 画像処理装置及び画像処理方法
EP3672221B1 (en) Imaging device and imaging method
JP5781372B2 (ja) 画像処理装置及び撮像装置
US20160110855A1 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
CN114418879A (zh) 图像处理方法、装置、电子设备及存储介质
US9191573B2 (en) Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same
US10708555B2 (en) Image processing apparatus, image processing method, and storage medium
JP2010154187A (ja) 撮像装置
US10235742B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal
JP2010183460A (ja) 撮像装置およびその制御方法
JP2015192338A (ja) 画像処理装置および画像処理プログラム
JP6020904B2 (ja) 画像処理装置および撮像装置
WO2014103367A1 (ja) 画像処理装置および画像処理方法
JP2010183461A (ja) 撮像装置およびその制御方法
JP5282533B2 (ja) 画像処理装置、撮像装置およびプログラム
US20140185922A1 (en) Image processing apparatus and image processing method
JP6029464B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2015215372A (ja) 焦点調節装置、焦点調節装置の制御方法、焦点調節装置の制御プログラム及び記憶媒体
JP5871590B2 (ja) 撮像装置、及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13750258

Country of ref document: EP

Kind code of ref document: A1

WD Withdrawal of designations after international publication
NENP Non-entry into the national phase

Ref country code: DE