WO2014050689A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2014050689A1
WO2014050689A1 PCT/JP2013/075280 JP2013075280W WO2014050689A1 WO 2014050689 A1 WO2014050689 A1 WO 2014050689A1 JP 2013075280 W JP2013075280 W JP 2013075280W WO 2014050689 A1 WO2014050689 A1 WO 2014050689A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth information
image processing
correction
processing apparatus
Prior art date
Application number
PCT/JP2013/075280
Other languages
English (en)
French (fr)
Inventor
陽介 中邨
照久 増井
浜地　淳
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2014050689A1 publication Critical patent/WO2014050689A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that performs image correction using a depth map.
  • Japanese Patent Laid-Open No. 2007-87123 discloses a technique for extracting a person's face and hair from a photographed image, correcting the color of the face and hair, and correcting the brightness and color of the face in a natural manner. ing.
  • Japanese Patent Application Laid-Open No. 2012-133607 discloses a technique for automatically discriminating a subject constituent area and a background constituent area from an image in which a background and a subject are mixed.
  • FIG. 9 is a graph showing the result of brightness correction in the correction calculation unit according to the second embodiment.
  • FIG. 10 is a flowchart illustrating the operation of the image processing apparatus according to the third embodiment.
  • FIG. 11 is a flowchart showing the contents of step S8 of FIG.
  • FIG. 12 is a block diagram illustrating a schematic configuration of an image processing apparatus according to the third embodiment.
  • FIG. 13 is a schematic diagram showing a matrix of input pixel values.
  • FIG. 14 is a flowchart illustrating the operation of the image processing apparatus according to the third embodiment.
  • FIG. 15 is a flowchart showing the contents of step S10 of FIG.
  • the image processing apparatus is an image processing apparatus that corrects an image by inputting image data and a depth map.
  • the image processing apparatus includes a correction calculation unit that corrects an image and a depth information processing unit that determines characteristics of correction processing in the correction calculation unit based on depth information of the depth map.
  • the depth information processing unit determines the characteristics of the correction processing in the correction calculation unit.
  • Depth map depth information is data representing the depth of a subject.
  • the attention area area where the main subject exists
  • the near side photographer side
  • the depth information processing unit is an offset value calculation unit that calculates an offset value for controlling increase / decrease in brightness of pixels of the image data according to the depth information.
  • the correction calculation unit corrects the brightness of the pixel using the offset value. Accordingly, by correcting the brightness of the pixels according to the depth information, for example, it is possible to perform correction such as relatively increasing the brightness of the attention area.
  • the depth information processing unit is a filter selection unit that selects a filter to be used for correcting the image data in accordance with the depth information. Then, the correction calculation unit performs a filter process on the pixel using the filter selected by the filter selection unit. Accordingly, by selecting a filter according to the depth information, for example, it is possible to perform correction so that the attention area has a different image quality from other areas. For example, an unsharpness mask and a blur filter can be used as the filter.
  • FIG. 1 shows a schematic configuration of an image processing apparatus 1 according to an embodiment of the present invention.
  • the image processing apparatus 1 receives image data RGBin and depth map information depth, and outputs corrected image data RGBout.
  • the image processing apparatus 1 is mounted on a photographing device such as a digital camera or a smartphone with a photographing function. Alternatively, it can be used as an image processing application installed in a computer, a smartphone, or the like.
  • FIG. 2 is a schematic diagram showing an example of depth map information depth.
  • the depth map information depth shown in FIG. 2 is a two-dimensional table in which the pixels constituting the image data RGBin are divided into a plurality of blocks, and depth information d is set in each block.
  • the depth information d takes an integer value in the range of ⁇ 128 to 127 in the example of FIG.
  • the depth information d is zero for pixels with no parallax, negative on the near side of pixels without parallax, and positive on the far side. That is, in the captured image, the depth information indicates a smaller value for a subject pixel located on the side closer to the imaging device (front side) and a larger value for a subject pixel located on the side farther from the imaging device (back side). It is given as d.
  • the pixels constituting the image data RGBin are divided into 7 vertical blocks ⁇ 7 horizontal blocks, but the number of block divisions of the image data is not limited to this and is arbitrary.
  • two different formulas are used as pixel contrast correction formulas, with the median of values that can be taken by the input image data RGBin as a threshold value.
  • the median is 128 and the following two equations are used.
  • the ⁇ value calculation unit 10 calculates the value of the parameter ⁇ for each pixel based on the depth information d using the following equation.
  • the image processing apparatus 1 performs image correction processing based on the depth map information depth (step S2).
  • one unprocessed block is selected from a plurality of blocks of image data RGBin (step S3).
  • the parameter ⁇ is calculated by the above equation (3) (step S4).
  • contrast correction is performed on all the pixels in the block selected in step S3 using equation (1) or equation (2) (step S5).
  • steps S3 to S5 are repeated until it is confirmed that all the blocks of the image data RGBin have been performed (YES in step S6).
  • the image processing apparatus 1 corrects the contrast of each pixel using the depth information d given by the depth map.
  • the image processing apparatus 1 increases the contrast for pixels on the near side (pixels for which depth information d takes a negative value), and contrasts for pixels on the back side (pixels for which depth information d takes a positive value). Lower. Thereby, the contrast of the subject on the near side with respect to the background existing on the back side is improved, and an effect of emphasizing the subject having a high degree of attention can be obtained.
  • the image processing apparatus 1 can automatically perform image correction by using the depth map without requiring the operator to designate a processing target area.
  • the image processing apparatus 2 according to the present embodiment is different from the first embodiment in that an offset value calculation unit 11 that calculates an offset value B_offset used for brightness correction is provided instead of the ⁇ value calculation unit 10. Yes.
  • the correction calculation unit 20 corrects the brightness of the pixel using the offset value B_offset calculated by the offset value calculation unit 11.
  • the correction calculation unit 20 corrects the brightness of the pixel using the following equation (4).
  • the image processing apparatus 2 can automatically perform image correction by using the depth map without requiring the operator to designate a processing target area.
  • the image processing device 2 performs image correction processing based on the depth map information depth (step S2).
  • one unprocessed block is selected from a plurality of blocks of image data RGBin (step S3).
  • the offset value B_offset is calculated by the above equation (5) (step S7).
  • brightness correction is performed on all the pixels in the block selected in step S3 using equation (4) (step S8).
  • the above steps S3, S7, and S8 are repeated until it is confirmed that all the blocks of the image data RGBin are performed (YES in step S6).
  • the filter selection unit 12 determines, based on the depth information d, the filter used in the correction calculation unit 20 as either an unsharp mask or a blur filter. That is, an unsharp mask is used for pixels having a negative depth information d, and a blur filter is used for pixels having a positive depth information d.
  • the matrix M sharpness of the unsharp mask is as shown in the following equation (7).
  • the blur filter matrix M phaering is given by the following equation (8).
  • the matrix M nofilter when filtering is not performed is represented by the following equation (9).
  • the correction calculation unit 20 corrects all the pixels in the block selected in step S3 using the matrix selected in step S9 (step S10).
  • the processes in steps S3, S9, and S10 are repeated until it is confirmed that all the blocks of the image data RGBin have been performed (YES in step S6).
  • the image processing apparatus 3 selects a filter to be applied to the pixel according to the depth information d given by the depth map.
  • the image processing apparatus 3 uses an unsharp mask to increase sharpness for pixels on the near side (pixels for which depth information d takes a negative value), and for pixels on the back side (depth information d takes a positive value).
  • a blur effect is applied using a blur filter.
  • the image processing apparatus 3 can automatically perform image correction by using the depth map without requiring the operator to designate a processing target area.
  • the size of the filter matrix is not limited to this and is arbitrary.
  • an unsharpness mask and a blur filter are illustrated as examples of filter processing, but any other filter can be used.
  • the present invention can also be implemented as a computer program that causes a processor to execute the operation of the image processing apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

　画像のデプスマップを利用することにより、領域指定や識別条件指定等の人為的操作を必要とせずに、注目領域を自動的に抽出して画像補正を行う画像処理装置である。画像処理装置（１）は、画像データとデプスマップとを入力して画像の補正を行う。画像処理装置（１）は、画像の補正を行う補正演算部（２０）と、デプスマップの深度情報ｄに基づき、補正演算部（２０）における補正処理の特性を決定する深度情報処理部（γ値算出部１０）とを備える。

Description

画像処理装置
　本発明は、画像処理装置に関し、特にデプスマップを利用して画像補正を行う画像処理装置に関する。
　デジタルカメラ等の普及により、撮影した画像に対して様々な補正を行う技術が提案されている。例えば、特開２００７－８７１２３号公報には、撮影画像から人物の顔と頭髪を抽出し、顔と頭髪の色を補正して、顔の明度および色を自然な態様に補正する技術が開示されている。
　また、特開２０１２－１３３６０７号公報には、背景と被写体とが混在する画像から、被写体構成領域と背景構成領域とを自動的に判別する技術が開示されている。
　しかし、特開２００７－８７１２３号公報に開示された技術では、操作者が画像中の人物を確認し、人物の顔と頭髪を含む領域を指定する必要があり、全てを自動的に処理することはできない。すなわち、一般的な画像では背景が煩雑であり、人物等の検出対象画像の正確な自動抽出が困難であるため、操作者による操作が必要である。
　また、特開２０１２－１３３６０７号公報に開示された技術では、検出対象となる特定の被写体の識別条件を指定しておく必要があり、たとえば風景と人物とを同時に検出することはできない。
　上記の課題を鑑み、以下に開示する技術は、画像のデプスマップを利用することにより、領域指定や識別条件指定等の人為的操作を必要とせずに、注目領域を自動的に抽出して画像補正を行う画像処理装置を提供することを目的とする。
　本発明の一実施形態に係る画像処理装置は、画像データとデプスマップとを入力して画像の補正を行う画像処理装置である。この画像処理装置は、画像の補正を行う補正演算部と、前記デプスマップの深度情報に基づき、前記補正演算部における補正処理の特性を決定する深度情報処理部とを備える。
　以下に開示する技術によれば、画像のデプスマップを利用することにより、領域指定等の人為的操作を必要とせずに、注目領域を自動的に抽出して画像補正を行う画像処理装置を提供できる。
図１は、本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。 図２は、デプスマップの一例を示す模式図である。 図３は、デプスマップの１ブロックに相当する画素の深度情報を示す図である。 図４は、補正演算部におけるコントラスト補正の結果を示すグラフである。 図５は、第１の実施形態にかかる画像処理装置の動作を示すフローチャートである。 図６は、図５に示すステップＳ５の内容を示すフローチャートである。 図７は、図６に示すステップＳ５２～Ｓ５４のそれぞれで用いられる関数の処理内容を示すフローチャートである。 図８は、第２の実施形態にかかる画像処理装置の概略構成を示すブロック図である。 図９は、第２の実施形態にかかる補正演算部における明るさ補正の結果を示すグラフである。 図１０は、第３の実施形態にかかる画像処理装置の動作を示すフローチャートである。 図１１は、図１０のステップＳ８の内容を示すフローチャートである。 図１２は、第３の実施形態にかかる画像処理装置の概略構成を示すブロック図である。 図１３は、入力された画素値の行列を示す模式図である。 図１４は、第３の実施形態にかかる画像処理装置の動作を示すフローチャートである。 図１５は、図１４のステップＳ１０の内容を示すフローチャートである。
　本発明の第１の構成にかかる画像処理装置は、画像データとデプスマップとを入力して画像の補正を行う画像処理装置である。この画像処理装置は、画像の補正を行う補正演算部と、前記デプスマップの深度情報に基づき、前記補正演算部における補正処理の特性を決定する深度情報処理部とを備える。
　この構成によれば、デプスマップの深度情報に基づいて、深度情報処理部が補正演算部における補正処理の特性を決定する。デプスマップの深度情報は、被写体の奥行きをあらわすデータである。一般的に、注目領域（主な被写体の存在する領域）は、背景よりも手前側（撮影者側）にある。したがって、深度情報を利用することにより、領域指定や識別条件指定等の人為的操作を必要とせずに、注目領域を自動的に抽出して画像補正を行うことが可能となる。
　第２の構成にかかる画像処理装置においては、前記深度情報処理部が、前記深度情報に応じて、前記画像データの画素のコントラストの増減を制御するγ値を算出するγ値算出部である。そして、前記補正演算部が、前記γ値を用いて画素のコントラストを補正する。これにより、深度情報に応じて画素のコントラストを補正することにより、例えば注目領域のコントラストを相対的に高くする等の補正を行うことが可能となる。
　第３の構成にかかる画像処理装置においては、前記深度情報処理部が、前記深度情報に応じて、前記画像データの画素の明るさの増減を制御するオフセット値を算出するオフセット値算出部である。そして、前記補正演算部が、前記オフセット値を用いて画素の明るさを補正する。これにより、深度情報に応じて画素の明るさを補正することで、例えば注目領域の明るさを相対的に高くする等の補正を行うことが可能となる。
　第４の構成にかかる画像処理装置においては、前記深度情報処理部が、前記深度情報に応じて、前記画像データの補正に用いるフィルタを選択するフィルタ選択部である。そして、前記補正演算部が、前記フィルタ選択部で選択されたフィルタを用いて、画素に対してフィルタ処理を行う。これにより、深度情報に応じてフィルタを選択することにより、例えば注目領域を他の領域とは異なる画質とする補正を行うことが可能となる。なお、前記フィルタとしては、例えば、アンシャープネスマスクとぼかしフィルタとを用いることができる。
　［実施の形態］
　以下、本発明のより具体的な実施形態について、図面を参照しながら説明する。図中同一または相当部分には同一符号を付してその説明は繰り返さない。なお、以下で参照する図面においては、説明を分かりやすくするために、構成が簡略化または模式化して示されたり、一部の構成部材が省略されたりしている。また、各図に示された構成部材間の寸法比は、必ずしも実際の寸法比を示すものではない。
　［第１の実施形態］
　図１に、本発明の一実施形態に係る画像処理装置１の概略構成を示す。画像処理装置１は、画像データＲＧＢｉｎとデプスマップ情報ｄｅｐｔｈとを入力し、補正画像データＲＧＢｏｕｔを出力する。
　画像処理装置１は、例えば、デジタルカメラや撮影機能付きのスマートフォン等の撮影機器に搭載される。あるいは、コンピュータやスマートフォン等にインストールされる画像処理アプリケーション等としても利用可能である。
　画像処理装置１は、γ値算出部１０と、補正演算部２０とを備えている。γ値算出部１０は、デプスマップ情報ｄから、画像データＲＧＢｉｎの補正に用いるパラメータγを算出する。γ値算出部１０で算出されたパラメータγは、補正演算部２０へ送られる。補正演算部２０は、パラメータγを用いて画像データＲＧＢｉｎの補正を行う。補正結果として得られたデータは、補正画像データＲＧＢｏｕｔとして出力される。
　なお、本実施形態においては、補正対象の画像データとしてＲＧＢの三原色データを例示するが、補正対象の画像データはＲＧＢの三原色データに限定されない。
　デプスマップ情報ｄｅｐｔｈは、画像データＲＧＢｉｎと共に入力される。デプスマップ情報ｄｅｐｔｈは、画像データＲＧＢｉｎを多視点映像として撮像したデバイスによって取得される情報であり、各画素が、視差無しの画素から奥行き方向にどの程度の距離にあるかを表す。
　図２は、デプスマップ情報ｄｅｐｔｈの一例を示す模式図である。図２に示したデプスマップ情報ｄｅｐｔｈは、画像データＲＧＢｉｎを構成する画素を複数のブロックに分割し、各ブロックに深度情報ｄがセットされた２次元のテーブルである。深度情報ｄは、図２の例においては、－１２８～１２７の範囲の整数値をとる。深度情報ｄは、視差の無い画素においてゼロ、視差の無い画素よりも手前側を負、奥側を正とする。すなわち、撮影された画像中で、撮影デバイスに近い側（手前側）に位置する被写体の画素ほど小さい値、撮影デバイスに遠い側（奥側）に位置する被写体の画素ほど大きい値が、深度情報ｄとして付与される。なお、図２の例では、画像データＲＧＢｉｎを構成する画素を縦７個×横７個のブロックに分割しているが、画像データのブロック分割数はこれに限定されず、任意である。
　各ブロックは、縦８個×横８個の画素を含む。一つのブロックの画素には全て同じ値の深度情報ｄが付与されている。例えば、図２に示すように、ブロックＢ１に深度情報ｄとして「１８」がセットされているものとすると、図３に示すように、このブロックＢ１に含まれる縦８個×横８個の画素の全てに対して、深度情報ｄの値として「１８」が付与されている。
　なお、各ブロックに含まれる画素数は縦８個×横８個に限定されず、任意である。また、深度情報ｄの値も－１２８～１２７の範囲に限定されず、任意の範囲の値を付与することができる。また、深度情報ｄは整数値でなくても良い。
　本実施形態にかかる画像処理装置１は、深度情報ｄが負のブロックに含まれる画素のコントラストを上げ、深度情報ｄが正のブロックに含まれる画素のコントラストを下げる補正を行う。すなわち、深度情報ｄが負のブロックは、手前側に位置する被写体の画素であり、深度情報ｄが正のブロックは、奥側に位置する被写体の画素である。奥側に位置する被写体は、一般的には背景である確率が高く、手前側に位置する被写体が、注目の対象であることが多い。したがって、深度情報ｄが負のブロックの画素のコントラストを上げることにより、注目の対象である被写体のコントラストを背景に対して相対的に高くすることができるので、メリハリのついた画像を得ることができる。
　以下、画像処理装置１における画像補正について詳細に説明する。
　本実施形態においては、画素のコントラスト補正式として、入力画像データＲＧＢｉｎが取り得る値の中央値を閾値として、異なる二式を用いる。例えば、画像データＲＧＢｉｎが２４ビットの場合は、中央値を１２８として、下記の二式を用いる。
Figure JPOXMLDOC01-appb-M000001
   　　　　　　　　　　　　　　　　　　　　・・・式（１）
 
Figure JPOXMLDOC01-appb-M000002
　　　　　　　　　　　　　　　　　　　　　・・・式（２）
　このような二式を用いることにより、図４に示すように、入力画素値に対して出力画素値が補正される。なお、図４において、太い実線はγの値が０．２５の場合、破線はγの値が１の場合、一点鎖線はγの値が１．７５の場合である。
　そして、本実施形態においては、γ値算出部１０が、上記のパラメータγの値を、下記の式を用いて、深度情報ｄに基づいて画素毎に算出する。
　（数３）
　　　γ＝１．０－０．７５×（ｄ／１２８）　　・・・式（３）
　γ値算出部１０で得られたパラメータγは、補正演算部２０へ送られる。補正演算部２０は、パラメータγを用いて、上記の式（１）または（２）に基づき、画素のコントラストを補正する。
　ここで、画像処理装置１の動作について、図５～図７のフローチャートを参照しながら説明する。
　図５に示すように、画像処理装置１は、画像データＲＧＢｉｎとデプスマップ情報ｄｅｐｔｈとを入力する（ステップＳ１）。画像データＲＧＢｉｎは補正演算部２０へ渡され、デプスマップ情報ｄｅｐｔｈはγ値算出部１０へ渡される。
　次に、画像処理装置１は、デプスマップ情報ｄｅｐｔｈに基づいて画像補正処理を行う（ステップＳ２）。まず、画像データＲＧＢｉｎの複数ブロックのうち、未処理のブロックを１つ選択する（ステップＳ３）。そして、そのブロックに付与されている深度情報ｄを用いて、上記の式（３）によりパラメータγを算出する（ステップＳ４）。ステップＳ４で得られたパラメータγにより、ステップＳ３で選択したブロック内の全画素に対して、式（１）または式（２）を用いてコントラストの補正を行う（ステップＳ５）。以上のステップＳ３～Ｓ５の処理を、画像データＲＧＢｉｎの全てのブロックに対して行ったことを確認するまで（ステップＳ６にてＹＥＳ）、繰り返し行う。
　なお、上記のステップＳ５の内容は、図６に示すとおりである。まず、ステップＳ３で選択されたブロック内の複数画素のうち、未処理の画素を１つ選択する（ステップＳ５１）。ここで選択される画素は、赤色成分ｒ＿ｉｎ、緑色成分ｇ＿ｉｎ、および青色成分ｂ＿ｉｎを持っている。続くステップＳ５２～Ｓ５４においては、これらの各成分についてコントラストの補正をそれぞれ行う。ステップＳ５５においては、ステップＳ５２～Ｓ５４の処理結果として得られる、補正後の赤色成分ｒ＿ｏｕｔ、補正後の緑色成分ｇ＿ｏｕｔ、および、補正後の青色成分ｂ＿ｏｕｔを出力する。以上のステップＳ５１～Ｓ５５の処理を、ブロック内の全ての画素に対して行ったことを確認するまで（ステップＳ５６においてＹＥＳ）、繰り返し行う。
　なお、上記のステップＳ５２～Ｓ５４のそれぞれにおける演算処理の内容は、図７に示すとおりである。すなわち、関数ｃｏｎｔｒａｓｔ（ｉｎｐｕｔ）は、引数として与えられるｉｎｐｕｔの値が１２８よりも小さければ（ステップＳ５００においてＹＥＳ）、１２８×（ｉｎｐｕｔ／１２８）γで求められる値を返す（ステップＳ５０１）。一方、ｉｎｐｕｔの値が１２８以上であれば（ステップＳ５００においてＮＯ）、２５５－１２８×（２５５－ｉｎｐｕｔ／１２８）γで求められる値を返す（ステップＳ５０２）。
　以上の処理により、本実施形態にかかる画像処理装置１は、デプスマップで与えられる深度情報ｄを用いて各画素のコントラストを補正する。画像処理装置１は、手前側にある画素（深度情報ｄが負の値をとる画素）についてはコントラストを上げて、奥側にある画素（深度情報ｄが正の値をとる画素）についてはコントラストを下げる。これにより、奥側に存在する背景に対して手前側にある被写体のコントラストが向上することとなり、注目度の高い被写体を強調する効果が得られる。また、画像処理装置１は、デプスマップを利用することにより、操作者が処理対象領域を指定したりする必要がなく、自動的に画像補正を行うことが可能である。
　［第２の実施形態］
　本発明の第２の実施形態について以下に説明する。第１の実施形態で説明した構成については、図面中で同じ符号を付記し、重複する説明を省略する。
　本実施形態にかかる画像処理装置２は、γ値算出部１０の代わりに、明るさ補正に用いるオフセット値Ｂ＿ｏｆｆｓｅｔを算出するオフセット値算出部１１を備えた点において、第１の実施形態と異なっている。また、本実施形態にかかる画像処理装置２では、補正演算部２０は、オフセット値算出部１１で算出されたオフセット値Ｂ＿ｏｆｆｓｅｔを用いて、画素の明るさを補正する。
　本実施形態において、補正演算部２０は、下記の式（４）を用いて画素の明るさを補正する。
　（数４）
　　　ＲＧＢｏｕｔ＝ＲＧＢｉｎ＋Ｂ＿ｏｆｆｓｅｔ　・・・式（４）
　ここで、Ｂ＿ｏｆｆｓｅｔの値は、デプスマップの深度情報ｄに基づき、次の式（５）により求められる。
　（数５）
　　　Ｂ＿ｏｆｆｓｅｔ＝－ｄ／２　・・・式（５）
　すなわち、式（５）によれば、深度情報ｄとして負の値を持つ画素のオフセット値は正の値をとり、正の値を持つ画素のオフセット値は負の値をとる。これにより、図９に示すように、例えば深度情報ｄが－１２８の値を持つ最前面の画素については、オフセット値が＋６４となり、入力画素値よりも明るさが向上するよう補正された出力画素値が得られる。一方で、深度情報ｄが１２８の値を再背面の画素については、オフセット値が－６４となり、入力画素値よりも明るさが低下するよう補正された出力画素値が得られる。
　この結果、奥側に存在する背景に対して手前側にある被写体の明るさが向上することとなり、注目度の高い被写体を強調する効果が得られる。また、画像処理装置２は、デプスマップを利用することにより、操作者が処理対象領域を指定したりする必要がなく、自動的に画像補正を行うことが可能である。
　図１０は、第２の実施形態にかかる画像処理装置２の動作を示すフローチャートである。図１０に示すように、画像処理装置２は、画像データＲＧＢｉｎとデプスマップ情報ｄｅｐｔｈとを入力する（ステップＳ１）。画像データＲＧＢｉｎは補正演算部２０へ渡され、デプスマップ情報ｄｅｐｔｈはオフセット値算出部１１へ渡される。
　次に、画像処理装置２は、デプスマップ情報ｄｅｐｔｈに基づいて画像補正処理を行う（ステップＳ２）。まず、画像データＲＧＢｉｎの複数ブロックのうち、未処理のブロックを１つ選択する（ステップＳ３）。そして、そのブロックに付与されている深度情報ｄを用いて、上記の式（５）によりオフセット値Ｂ＿ｏｆｆｓｅｔを算出する（ステップＳ７）。ステップＳ７で得られたオフセット値Ｂ＿ｏｆｆｓｅｔにより、ステップＳ３で選択したブロック内の全画素に対して、式（４）を用いて明るさの補正を行う（ステップＳ８）。以上のステップＳ３、Ｓ７、および、Ｓ８の処理を、画像データＲＧＢｉｎの全てのブロックに対して行ったことを確認するまで（ステップＳ６にてＹＥＳ）、繰り返し行う。
　なお、上記のステップＳ８の内容は、図１１に示すとおりである。まず、ステップＳ３で選択されたブロック内の複数画素のうち、未処理の画素を１つ選択する（ステップＳ８１）。ここで選択される画素は、赤色成分ｒ＿ｉｎ、緑色成分ｇ＿ｉｎ、および青色成分ｂ＿ｉｎを持っている。続くステップＳ８２～Ｓ８４においては、これらの各成分について明るさの補正をそれぞれ行う。ステップＳ８５においては、ステップＳ８２～Ｓ８４の処理結果として得られる、補正後の赤色成分ｒ＿ｏｕｔ、補正後の緑色成分ｇ＿ｏｕｔ、および、補正後の青色成分ｂ＿ｏｕｔを出力する。以上のステップＳ８１～Ｓ８５の処理を、ブロック内の全ての画素に対して行ったことを確認するまで（ステップＳ８６においてＹＥＳ）、繰り返し行う。
　以上の処理により、本実施形態にかかる画像処理装置２は、デプスマップで与えられる深度情報ｄを用いて各画素の明るさを補正する。画像処理装置２は、手前側にある画素（深度情報ｄが負の値をとる画素）については明るさを上げて、奥側にある画素（深度情報ｄが正の値をとる画素）については明るさを下げる。これにより、奥側に存在する背景に対して手前側にある被写体の明るさが向上することとなり、注目度の高い被写体を強調する効果が得られる。また、画像処理装置２は、デプスマップを利用することにより、操作者が処理対象領域を指定したりする必要がなく、自動的に画像補正を行うことが可能である。
　［第３の実施形態］
　本発明の第３の実施形態について以下に説明する。第１または第２の実施形態で説明した構成については、図面中で同じ符号を付記し、重複する説明を省略する。
　図１２は、第３の実施形態にかかる画像処理装置３の概略構成を示すブロック図である。本実施形態にかかる画像処理装置３は、図１２に示すように、γ値算出部１０の代わりに、フィルタ選択部１２を備えた点において、第１の実施形態と異なっている。また、本実施形態にかかる画像処理装置２では、補正演算部２０は、フィルタ選択部１２で選択されたフィルタを用いて、画素の補正を行う。
　例えば、補正前の画素値の行列は、図１３に示すとおりであったものとし、３×３の行列を用いて画像のフィルタリングによる補正を行うものとする。この場合、図１３の画素ａ２２に対して、行列Ｍによるフィルタリングを適用すると、適用後の画素値ａ２２＿ｎｅｗは次式（６）のように求められる。すなわち、行列Ｍにしたがって出力画素値が変化し、明るさが補正される。
Figure JPOXMLDOC01-appb-M000003
  
　　　　　　　　　　　　　　　　　　・・・式（６）
 
　フィルタ選択部１２は、深度情報ｄに基づき、補正演算部２０で用いるフィルタを、アンシャープマスクおよびぼかしフィルタのいずれかに決定する。すなわち、深度情報ｄが負の値を持つ画素についてはアンシャープマスクを用い、深度情報ｄが正の値を持つ画素についてはぼかしフィルタを用いる。
　アンシャープマスクの行列Ｍｓｈａｒｐｎｅｓｓは、次の式（７）のとおりである。ぼかしフィルタの行列Ｍｆｅａｔｈｅｒｉｎｇは、次の式（８）のとおりである。また、フィルタリングを行わない場合（深度情報ｄがゼロの場合）の行列Ｍｎｏｆｉｌｔｅｒは、次の式（９）のとおりである。
Figure JPOXMLDOC01-appb-M000004
　　　　　　　　　　　　　　　　　　・・・式（７）
Figure JPOXMLDOC01-appb-M000005
  
 　　　　　　　　　　　　　　　　　　・・・式（８）
 
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　    　　　　・・・式（９）
 
　ここで、第３の実施形態にかかる画像処理装置３の動作について、図１４および図１５に示すフローチャートを参照しながら説明する。
　図１４に示すように、画像処理装置３は、画像データＲＧＢｉｎとデプスマップ情報ｄｅｐｔｈとを入力する（ステップＳ１）。画像データＲＧＢｉｎは補正演算部２０へ渡され、デプスマップ情報ｄｅｐｔｈはフィルタ選択部１２へ渡される。
　次に、画像処理装置３は、デプスマップ情報ｄｅｐｔｈに基づいて画像補正処理を行う（ステップＳ２）。まず、画像データＲＧＢｉｎの複数ブロックのうち、未処理のブロックを１つ選択する（ステップＳ３）。そして、そのブロックに付与されている深度情報ｄにしたがって、使用するフィルタを選択する（ステップＳ９）。すなわち、深度情報ｄが負の値をとる場合はアンシャープマスクの行列Ｍｓｈａｒｐｎｅｓｓを選択し、深度情報ｄが正の値を持つ画素についてはぼかしフィルタの行列Ｍｆｅａｔｈｅｒｉｎｇを選択する。深度情報ｄがゼロの場合は、フィルタリングを行わないものとして、行列Ｍｎｏｆｉｌｔｅｒを選択する。
　次に、補正演算部２０は、ステップＳ９で選択された行列を用いて、ステップＳ３で選択したブロック内の全画素に対して補正を行う（ステップＳ１０）。以上のステップＳ３、Ｓ９、およびＳ１０の処理を、画像データＲＧＢｉｎの全てのブロックに対して行ったことを確認するまで（ステップＳ６にてＹＥＳ）、繰り返し行う。
　なお、上記のステップＳ１０の内容は、図１５に示すとおりである。まず、ステップＳ３で選択されたブロック内の複数画素のうち、未処理の画素を１つ選択する（ステップＳ１０１）。ここで選択される画素は、赤色成分ｒ＿ｉｎ、緑色成分ｇ＿ｉｎ、および青色成分ｂ＿ｉｎを持っている。続くステップＳ１０２～Ｓ１０４においては、これらの各色成分について、ステップＳ９で選択した行列を用いたフィルタリング処理をそれぞれ行う。ステップＳ１０５においては、ステップＳ１０２～Ｓ１０４の処理結果として得られる、補正後の赤色成分ｒ＿ｏｕｔ、補正後の緑色成分ｇ＿ｏｕｔ、および、補正後の青色成分ｂ＿ｏｕｔを出力する。以上のステップＳ１０１～Ｓ１０５の処理を、ブロック内の全ての画素に対して行ったことを確認するまで（ステップＳ１０６においてＹＥＳ）、繰り返し行う。
　以上の処理により、本実施形態にかかる画像処理装置３は、デプスマップで与えられる深度情報ｄにしたがって画素に適用するフィルタを選択する。画像処理装置３は、手前側にある画素（深度情報ｄが負の値をとる画素）についてはアンシャープマスクを用いてシャープネスを上げて、奥側にある画素（深度情報ｄが正の値をとる画素）についてはぼかしフィルタを用いてぼかし効果をかける。これにより、注目度の高い被写体を強調する効果が得られる。また、画像処理装置３は、デプスマップを利用することにより、操作者が処理対象領域を指定したりする必要がなく、自動的に画像補正を行うことが可能である。
　なお、本実施形態においては、フィルタとして３×３の行列を用いる例を開示したが、フィルタ行列のサイズはこれに限定されず、任意である。また、本実施形態においては、フィルタ処理の例として、アンシャープネスマスクとぼかしフィルタとを例示したが、他の任意のフィルタを用いることが可能である。
　以上、本発明の実施形態について説明したが、本発明は上記の画像処理装置の動作をプロセッサに実行させるコンピュータプログラムとしても実施が可能である。
　本発明にかかる画像処理装置は、デプスマップを利用することにより自動的に画像補正を行うことが可能な画像処理装置として、産業上の利用が可能である。

Claims (5)

  1. 　画像データとデプスマップとを入力して画像の補正を行う画像処理装置であって、
    　画像の補正を行う補正演算部と、
    　前記デプスマップの深度情報に基づき、前記補正演算部における補正処理の特性を決定する深度情報処理部とを備えた、画像処理装置。
  2. 　前記深度情報処理部が、
    　前記深度情報に応じて、前記画像データの画素のコントラストの増減を制御するγ値を算出するγ値算出部であり、
    　前記補正演算部が、前記γ値を用いて画素のコントラストを補正する、請求項１に記載の画像処理装置。
  3. 　前記深度情報処理部が、
    　前記深度情報に応じて、前記画像データの画素の明るさの増減を制御するオフセット値を算出するオフセット値算出部であり、
    　前記補正演算部が、前記オフセット値を用いて画素の明るさを補正する、請求項１に記載の画像処理装置。
  4. 　前記深度情報処理部が、
    　前記深度情報に応じて、前記画像データの補正に用いるフィルタを選択するフィルタ選択部であり、
    　前記補正演算部が、前記フィルタ選択部で選択されたフィルタを用いて、画素に対してフィルタ処理を行う、請求項１に記載の画像処理装置。
  5. 　前記フィルタが、アンシャープネスマスクとぼかしフィルタとを含む、請求項４に記載の画像処理装置。
PCT/JP2013/075280 2012-09-27 2013-09-19 画像処理装置 WO2014050689A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012213553 2012-09-27
JP2012-213553 2012-09-27

Publications (1)

Publication Number Publication Date
WO2014050689A1 true WO2014050689A1 (ja) 2014-04-03

Family

ID=50388094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/075280 WO2014050689A1 (ja) 2012-09-27 2013-09-19 画像処理装置

Country Status (1)

Country Link
WO (1) WO2014050689A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183436A1 (ja) * 2016-04-18 2017-10-26 ソニー株式会社 表示制御装置および表示制御方法、並びに、生成装置および生成方法
CN109744945A (zh) * 2017-11-08 2019-05-14 杭州萤石网络有限公司 一种区域属性确定方法、装置、系统及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357001A (ja) * 2003-05-29 2004-12-16 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像記録装置
JP2012109723A (ja) * 2010-11-16 2012-06-07 Sharp Corp 画像処理装置、画像処理方法、画像処理装置の制御プログラム、および当該プログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357001A (ja) * 2003-05-29 2004-12-16 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像記録装置
JP2012109723A (ja) * 2010-11-16 2012-06-07 Sharp Corp 画像処理装置、画像処理方法、画像処理装置の制御プログラム、および当該プログラムを記録したコンピュータ読み取り可能な記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183436A1 (ja) * 2016-04-18 2017-10-26 ソニー株式会社 表示制御装置および表示制御方法、並びに、生成装置および生成方法
CN109744945A (zh) * 2017-11-08 2019-05-14 杭州萤石网络有限公司 一种区域属性确定方法、装置、系统及电子设备
US11877716B2 (en) 2017-11-08 2024-01-23 Hangzhou Ezviz Software Co., Ltd. Determining region attribute

Similar Documents

Publication Publication Date Title
US7599568B2 (en) Image processing method, apparatus, and program
JP5595121B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
US8340417B2 (en) Image processing method and apparatus for correcting skin color
JP2005309559A (ja) 画像処理方法および装置並びにプログラム
US20140133774A1 (en) Image processor and image dead pixel detection method thereof
CN103606132A (zh) 基于空域和时域联合滤波的多帧数字图像去噪方法
WO2015165222A1 (zh) 全景图像的获取方法和装置
JP6755787B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017050683A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5653104B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN107220955A (zh) 一种基于重叠区域特征点对的图像亮度均衡方法
JP5614550B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP2018196096A (ja) 画像処理装置、画像処理方法、プログラム
KR101349968B1 (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
WO2014050689A1 (ja) 画像処理装置
CN113052765A (zh) 基于最优栅格密度模型的全景图像拼接方法
EP3407252B1 (en) Image processing apparatus, image processing method, and storage medium
JP2017022621A5 (ja)
CN102469238B (zh) 运用像素区域特性的图像锐度强化方法及系统
CN109242750B (zh) 图片签名方法、图片匹配方法、装置、设备及存储介质
JP2010039832A (ja) 画像処理装置および画像処理プログラム
JP2008147714A (ja) 画像処理装置およびその方法
JP2000099701A (ja) 画像色処理装置、画像色処理方法および記録媒体
JP6494817B2 (ja) 画像処理装置、画像処理方法およびプログラム。

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13840903

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13840903

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP