JP5683214B2 - Image processing apparatus and control method thereof - Google Patents
Image processing apparatus and control method thereof Download PDFInfo
- Publication number
- JP5683214B2 JP5683214B2 JP2010245489A JP2010245489A JP5683214B2 JP 5683214 B2 JP5683214 B2 JP 5683214B2 JP 2010245489 A JP2010245489 A JP 2010245489A JP 2010245489 A JP2010245489 A JP 2010245489A JP 5683214 B2 JP5683214 B2 JP 5683214B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- gradation
- eye image
- image
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Picture Signal Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、立体視可能な左眼用画像及び右眼用画像の階調を補正することができる画像処理装置及びその制御方法に関するものである。 The present invention relates to an image processing apparatus capable of correcting gradations of a left-eye image and a right-eye image that can be stereoscopically viewed, and a control method thereof.
フレームごとに、そのフレームの平均輝度値(APL)や輝度ヒストグラムなどの特徴量に基づいて階調補正パラメータ(γ補正カーブ)を設定することで、表示画像の階調を好適に補正する技術がある(特許文献1)。以後、このような階調補正処理をダイナミックγ補正処理と表記する。 A technique for suitably correcting the gradation of a display image by setting a gradation correction parameter (γ correction curve) for each frame based on a feature amount such as an average luminance value (APL) or a luminance histogram of the frame. Yes (Patent Document 1). Hereinafter, such gradation correction processing is referred to as dynamic γ correction processing.
現在、2次元の表示画面上に、両眼視差を利用した左眼用映像及び右眼用映像からなる3次元(3D)映像を表示することによって立体視を行う、立体視システムが知られている。しかし、立体視可能な1組の左眼用画像と右眼用画像とをそれぞれフレームごとにダイナミックγ補正処理したことにより、左眼用画像の階調と右眼用画像の階調とに大きな差が生じると、立体視しづらくなったり眼の疲労感が増大したりする。
そこで、左眼用画像及び右眼用画像における輝度などの特性の平均値に基づいて、左眼用画像と右眼用画像とを補正する技術が特許文献2に開示されている。
Currently, there is a known stereoscopic system that performs stereoscopic viewing by displaying a three-dimensional (3D) image including a left-eye image and a right-eye image using binocular parallax on a two-dimensional display screen. Yes. However, the dynamic γ correction processing for each pair of left-eye images and right-eye images that can be stereoscopically viewed is performed on a frame-by-frame basis. When the difference occurs, stereoscopic viewing becomes difficult and eye fatigue increases.
Therefore,
しかし上記の特許文献2において、左眼用画像及び右眼用画像における輝度などの特性の平均値として、どのような値を用いるかについては具体的な記載がない。例えば、左眼用画像の輝度と右眼用画像の輝度を用いて、左眼用画像の輝度と右眼用画像の輝度の平均値を算出し、その平均値の階調を元に作成したγ補正カーブを用いて左眼用画像及び右眼用画像を補正するとする。この場合、左眼用画像及び右眼用画像の画像内で該平均値付近の輝度の領域は適正に補正されるが、該平均値以外の輝度の領域は適正に補正することができないことがある。該平均値よりも大きい輝度を持つ特殊領域が右眼用画像のみに含まれていた場合、前述の例のγ補正カーブでは該平均値の階調値に多くの階調が割りあてられて、該特殊領域の輝度の階調値には多くの階調が割りあてられていないため適正に補正できない。
However, in the above-mentioned
本発明は、立体視可能な左眼用画像及び右眼用画像の補正を行う際に、左眼用画像の特徴と右眼用画像の特徴とを反映した階調補正パラメータを設定し、左眼用画像及び右眼用画像の階調を適正に補正できる画像処理装置及びその制御方法を提供することを目的とする。 The present invention sets a gradation correction parameter that reflects the characteristics of the left-eye image and the right-eye image when correcting the left-eye image and the right-eye image that can be stereoscopically viewed, It is an object of the present invention to provide an image processing apparatus and a control method thereof that can appropriately correct gradations of an eye image and a right eye image.
上記目的を達成するために、本発明は、左眼用画像及び右眼用画像からなる立体視可能な画像を表示部に表示する画像処理装置において、入力された前記左眼用画像及び前記右眼用画像のそれぞれのヒストグラムを作成する作成手段と、前記作成手段で作成された前記左眼用画像のヒストグラムから、低階調側の所定の条件を満たす階調値である第1暗部特徴量、及び、高階調側の前記所定の条件を満たす階調値である第1明部特徴量を検出する第1検出手段と、前記作成手段で作成された前記右眼用画像のヒストグラムから、低階調側の前記所定の条件を満たす階調値である第2暗部特徴量、及び、高階調側の前記所定の条件を満たす階調値である第2明部特徴量を検出する第2検出手段と、前記第1暗部特徴量及び前記第2暗部特徴量を用いて統合暗部特徴量を決定し、前記第1明部特徴量及び
前記第2明部特徴量を用いて統合明部特徴量を決定する決定手段と、前記統合暗部特徴量及び前記統合明部特徴量に基づいた階調補正パラメータを設定する設定手段と、前記設定手段で設定された前記階調補正パラメータを用いて、前記左眼用画像及び前記右眼用画像の階調を補正する補正手段と、を有し、前記所定の条件を満たす階調値は、度数が所定の閾値以上かつ極大値である階調値であって、局所的な度数の変動量が所定の基準よりも小さい階調値であり、前記第1検出手段は、前記左眼用画像のヒストグラムから、前記所定の条件を満たす階調値である第1注目階調を検出して、低階調側の前記第1注目階調の中で最も小さい階調値を前記第1暗部特徴量とし、高階調側の前記第1注目階調の中で最も大きい階調値を前記第1明部特徴量として検出し、前記第2検出手段は、前記右眼用画像のヒストグラムから、前記所定の条件を満たす階調値である第2注目階調を検出して、低階調側の前記第2注目階調の中で最も小さい階調値を前記第2暗部特徴量とし、高階調側の前記第2注目階調の中で最も大きい階調値を前記第2明部特徴量として検出することを特徴とする。
In order to achieve the above object, the present invention provides an image processing apparatus for displaying a stereoscopically viewable image composed of a left-eye image and a right-eye image on a display unit. A first dark portion feature amount that is a gradation value that satisfies a predetermined condition on a low gradation side, based on a creation unit that creates a histogram of each of the eye images, and a histogram of the left eye image created by the creation unit; From the histogram of the right eye image created by the creating means, the first detecting means for detecting the first bright portion feature amount that is the gradation value satisfying the predetermined condition on the high gradation side, Second detection for detecting a second dark portion feature amount that is a gradation value satisfying the predetermined condition on the gradation side and a second bright portion feature amount that is a gradation value satisfying the predetermined condition on the high gradation side Means, and the first dark portion feature amount and the second dark portion feature amount. Determining the integrated dark part feature value, and determining the integrated bright part feature value using the first bright part feature value and the second bright part feature value, and the integrated dark part feature value and the integrated bright part feature. Setting means for setting a gradation correction parameter based on the amount, and correction means for correcting the gradation of the image for the left eye and the image for the right eye using the gradation correction parameter set by the setting means If, have a said predetermined condition is satisfied tone values, the frequency is a tone value is greater than a predetermined threshold value and the maximum value, the amount of variation of local power is smaller than the predetermined reference floor The first detection means detects a first target gradation that is a gradation value satisfying the predetermined condition from the histogram of the image for the left eye, and the first detection means on the low gradation side. The smallest gradation value among the attention gradations is set as the first dark portion feature amount, and the high gradation side The largest gradation value among the first attention gradations is detected as the first bright part feature amount, and the second detection means is a gradation satisfying the predetermined condition from the histogram of the right eye image. A second target gradation which is a value is detected, the smallest gradation value among the second target gradations on the low gradation side is set as the second dark portion feature amount, and the second attention floor on the high gradation side is detected. The largest gradation value in the tone is detected as the second bright portion feature amount .
以上のように本発明は、立体視可能な左眼用画像及び右眼用画像の補正を行う際に、左眼用画像の特徴と右眼用画像の特徴とを反映した階調補正パラメータを設定し、左眼用画像及び右眼用画像の階調を適正に補正できる画像処理装置及びその制御方法を提供できる。 As described above, according to the present invention, when correcting the left-eye image and the right-eye image that can be stereoscopically viewed, the tone correction parameter that reflects the characteristics of the left-eye image and the right-eye image is used. It is possible to provide an image processing apparatus that can set and appropriately correct the gradation of the image for the left eye and the image for the right eye, and a control method thereof.
以下、添付図面を参照して、本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the accompanying drawings.
(実施例1)
本発明の実施形態に係る画像処理装置及びその制御方法の具体的な実施例について説明する。図1は本実施例に係る画像処理装置の機能構成を示すブロック図である。本実施例の画像処理装置は、左眼用画像入力端子101及び右眼用画像入力端子102と、左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104と、左眼用画像注目階調検出部105及び右眼用画像注目階調検出部106を備える。更に、統合注目階調決定部107と、γ補正カーブ設定部108と、左眼用画像γ補正部109及び右眼用画像γ補正部110と、左眼用画像出力端子111及び右眼用画像出力端子112から構成されている。
(Example 1)
Specific examples of the image processing apparatus and the control method thereof according to the embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a functional configuration of the image processing apparatus according to the present embodiment. The image processing apparatus according to the present embodiment includes a left-eye
画像処理装置での処理の流れについて、図2のフローチャートと共に説明する。ステップS11において、左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104は、左眼用画像入力端子101及び右眼用画像入力端子102から入力された立体視可能な左眼用画像及び右眼用画像のそれぞれのヒストグラムを作成する。
The flow of processing in the image processing apparatus will be described with reference to the flowchart of FIG. In step S <b> 11, the left-eye image
次にステップS12において、左眼用画像注目階調検出部105及び右眼用画像注目階調検出部106は、左眼用画像のヒストグラムと右眼用画像のヒストグラムからそれぞれ暗部注目階調及び明部注目階調を検出する。暗部注目階調及び明部注目階調の検出方法についての説明は後述する。
Next, in step S12, the left-eye image attention
ステップS13において、統合注目階調決定部107は、左眼用画像の暗部注目階調及び右眼用画像の暗部注目階調を用いて統合暗部注目階調を決定し、左眼用画像の明部注目階調及び右眼用画像の明部注目階調を用いて統合明部注目階調を決定する。統合暗部注目階調及び統合明部注目階調の決定方法についての説明は後述する。
In step S <b> 13, the integrated attention
ステップS14において、γ補正カーブ設定部108は、統合注目階調決定部107で決定した統合暗部注目階調及び統合明部注目階調に基づいた階調補正パラメータであるγ補正カーブを設定する。そしてステップS15において、左眼用画像γ補正部109及び右眼用画像γ補正部110は、γ補正カーブ設定部108で設定されたγ補正カーブを用いて左眼用画像及び右眼用画像の階調を補正する処理を行う。そして補正された左眼用画像及び右眼用画像はそれぞれ左眼用画像出力端子111及び右眼用画像出力端子112から出力され表示部に表示される。
In step S <b> 14, the γ correction
左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104でのヒストグラムの作成方法について説明する。左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104は、左眼用画像入力端子101及び右眼用画像入力端子102から入力された左眼用画像信号及び右眼用画像信号のそれぞれのヒストグラムを作成する。
A method of creating a histogram in the left-eye image
本実施例では、左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104は、入力された左眼用画像及び右眼用画像をそれぞれ複数の分割領域に分割し、各分割領域における輝度ヒストグラムを作成するものとする。例えば図3に示すように入力された画像を4×4の16の分割領域に分割する。各分割画像には図3のような識別番号d1〜d16により区別することができる。分割数は特にこれに限られず10×5や5×3等であってもよい。
In the present embodiment, the left-eye image
本実施例では作成されるヒストグラムは、階調値0〜255の8bit(256階調)の輝度ヒストグラムとする。階調値は128階調や512階調でもよい。また、ヒストグラムは画像の輝度のものではなく、R(赤)画素値とG(緑)画素値とB(青)画素値の平均値の階調としたヒストグラムや、R(赤)画素値とG(緑)画素値とB(青)画素値のうちの最大値の階調としたヒストグラムであってもよい。また、横軸をG(緑)画素値の階調としたヒストグラム等、R(赤)画素値とG(緑)画素値とB(青)画素値のうちのいずれかの画素値の階調としたヒストグラムであってもよい。このような画像の特徴を表すヒストグラムであれば、本実施例を適用可能である。 In this embodiment, the created histogram is an 8-bit (256 gradation) luminance histogram having gradation values of 0 to 255. The gradation value may be 128 gradations or 512 gradations. In addition, the histogram is not for the luminance of the image, but is a histogram with a gradation of an average value of R (red) pixel value, G (green) pixel value, and B (blue) pixel value, and R (red) pixel value. It may be a histogram having the maximum gradation of the G (green) pixel value and the B (blue) pixel value. Also, the gradation of one of the pixel values of the R (red) pixel value, the G (green) pixel value, and the B (blue) pixel value, such as a histogram with the horizontal axis representing the gradation of the G (green) pixel value A histogram may be used. The present embodiment can be applied to any histogram representing such image characteristics.
次に暗部注目階調及び明部注目階調の検出方法について説明する。以下ではまず、左眼用画像における暗部注目階調及び明部注目階調の検出方法を説明する。 Next, a method for detecting a dark part attention gradation and a bright part attention gradation will be described. In the following, first, a method for detecting a dark part attention gradation and a bright part attention gradation in an image for the left eye will be described.
左眼用画像注目階調検出部105は、左眼用画像ヒストグラム作成部103で作成された左眼用画像の各単位領域における輝度ヒストグラムのそれぞれから暗部注目階調(第1暗部特徴量)及び明部注目階調(第1明部特徴量)を検出する。ここで注目階調とは、階調性を高めることが望ましい階調値である。注目階調とは輝度ヒストグラムにおいて(1)度数が所定の閾値以上かつ(2)極大値となる階調値で、かつ(3)該階調値を含む所定範囲内の度数の変動量が所定の基準より小さい階調値であり、以上(1)〜(3)の3つの条件を満たす階調値である。ここで(2)の条件での度数が極大値か否かは、例えば、注目階調か否かの対象とする階調値の度数と、その前後それぞれm個の階調値(mは1以上の整数)の度数とを比較することにより判断すればよい。比較する階調値の度数の中での最大値を極大値とする。なお、対象とする階調値の前後それぞれm個の階調値とは、対象とする階調値よりも小さなm個の階調値と、対象とする階調値よりも大きなm個の階調値を意味する。(3)の条件は、画像が同一色(同一の階調値)の領域(例えば、レターボックスや、データ放送などの図形や文字)を含む場合に局所的に度数の変動量が大きくなる階調値を除外するための条件である。(3)の条件を満たすか否かは、注目階調か否かの対象とする階調値の度数と、その階調値を除く±nの階調値(nは1以上の整数)の度数の総和に所定値を乗算した値とを比較することなどにより判断すればよい。
The left eye image attention
輝度ヒストグラムにおける暗部注目階調は、階調値が低階調側の注目階調である。本実施例では、輝度ヒストグラムが256階調の場合、階調値が2〜126の範囲で上記の条件を満たす注目階調の中の最小注目階調を暗部注目階調とする。階調値が2〜126の範囲に注目階調がない場合は、暗部注目階調は128とする。
The dark part attention gradation in the luminance histogram is the attention gradation on the lower gradation side. In this embodiment, when the luminance histogram is 256 gradations, the minimum attention gradation among the attention gradations satisfying the above condition in the range of gradation values from 2 to 126 is set as the dark part attention gradation. When there is no attention gradation in the range of
輝度ヒストグラムにおける明部注目階調は、階調値が高階調側の注目階調である。本実施例は、輝度ヒストグラムが256階調の場合、階調値が130〜253の範囲で上記の条件を満たす注目階調の中の最大注目階調を明部注目階調とする。階調値が130〜253の範囲に注目階調がない場合は、明部注目階調は128とする。階調値0、1、127、128、129、254、255は、上下それぞれ2つの階調値の度数を注目階調の検出に用いるために注目階調の範囲から除外している。
The bright part attention gradation in the luminance histogram is the attention gradation on the higher gradation side. In this embodiment, when the luminance histogram is 256 gradations, the maximum attention gradation among the attention gradations satisfying the above condition in the gradation value range of 130 to 253 is set as the bright part attention gradation. When there is no target gradation in the range of
輝度ヒストグラムから検出した低階調側の階調値である暗部注目階調(第1暗部特徴量)と高階調側の階調値である明部注目階調(第1明部特徴量)を図4に示す。以上のように左眼用画像注目階調検出部105は、左眼用画像の各分割領域におけるヒストグラムのそれぞれから暗部注目階調及び明部注目階調を検出する。同様に右眼用画像注目階調検出部106は、右眼用画像の各分割領域におけるヒストグラムのそれぞれから暗部注目階調(第2暗部特徴量)及び明部注目階調(第2明部特徴量)を検出する。
The dark part attention gradation (first dark part feature amount) which is the gradation value on the low gradation side detected from the luminance histogram and the bright part attention gradation (first light part feature amount) which is the gradation value on the high gradation side. As shown in FIG. As described above, the left-eye image attention
次に、統合暗部注目階調及び統合明部注目階調の決定方法について説明する。統合注目階調決定部107は、左眼用画像の各分割領域における暗部注目階調(第1暗部特徴量)、及び右眼用画像の各分割領域における暗部注目階調(第2暗部特徴量)を用いて統合暗部注目階調(統合暗部特徴量)を決定する。また、左眼用画像の各分割領域における明部注目階調(第1明部特徴量)、及び右眼用画像の各分割領域における明部注目階調(第2明部特徴量)を用いて統合明部注目階調(統合明部特徴量)を決定する。
Next, a method for determining the integrated dark part attention gradation and the integrated bright part attention gradation will be described. The integrated attention
本実施例では、左眼用画像の各分割領域における暗部注目階調及び右眼用画像の各分割領域における暗部注目階調の中の最小値を統合暗部注目階調と決定する。また、左眼用画像の各分割領域における明部注目階調及び右眼用画像の各分割領域における明部注目階調の中の最大値を統合明部注目階調と決定する。具体例を図5に示す。 In this embodiment, the minimum value of the dark part attention gradation in each divided region of the left eye image and the dark part attention gradation in each divided region of the right eye image is determined as the integrated dark part attention gradation. Further, to determine the maximum value in the bright portion interest gradation in each divided region of the light portion attention tone and a right-eye image in each divided region of the left-eye image and the integrated light unit attention tone. A specific example is shown in FIG.
図5(a)は左眼用画像の各分割領域における暗部注目階調及び右眼用画像の各分割領域における暗部注目階調を示したものであり、図5(b)は左眼用画像の各分割領域における明部注目階調及び右眼用画像の各分割領域における明部注目階調を示したものである。図5(a)の暗部注目階調の中の最小値である、左眼用画像の領域d6の階調値25が統合暗部注目階調となる。図5(b)の明部注目階調の中の最大値である、右眼用画像の領域d2の階調値230が統合明部注目階調となる。
FIG. 5A shows the dark part attention gradation in each divided area of the left eye image and the dark part attention gradation in each divided area of the right eye image, and FIG. 5B shows the left eye image. The bright part attention gradation in each division area and the bright part attention gradation in each division area of the right-eye image are shown. The
上記の例では、左眼用画像及び右眼用画像のそれぞれの各分割領域における暗部注目階調の最小値を統合暗部注目階調、左眼用画像及び右眼用画像のそれぞれの各分割領域における明部注目階調の最大値を統合明部注目階調としたがこれに限られない。例えば統合暗部注目階調は、左眼用画像の各分割領域における暗部注目階調の最小値と、右眼用画像の各分割領域における暗部注目階調の最小値との平均値としてもよい。同様に統合明部注目階調を左眼用画像の各分割領域における明部注目階調の最大値と、右眼用画像の各分割領域における明部注目階調の最大値との平均値としてもよい。図5の例で、統合暗部注目階調は左眼用画像の暗部注目階調の最小値25と右眼用画像の暗部注目階調の最小値35との平均値30、統合明部注目階調は左眼用画像の明部注目階調の最大値200と右眼用画像の明部注目階調の最大値230との平均値215となる。
In the above example, the minimum value of the dark part attention gradation in each of the divided areas of the left eye image and the right eye image is obtained by integrating each of the divided dark part attention gradation, the left eye image, and the right eye image. The maximum value of the bright part attention gradation in FIG. 4 is set as the integrated bright part attention gradation, but is not limited thereto. For example, the integrated dark part attention gradation may be an average value of the minimum value of the dark part attention gradation in each divided region of the left eye image and the minimum value of the dark part attention gradation in each divided region of the right eye image. Similarly, the integrated bright portion attention gradation is an average value of the maximum value of the bright portion attention gradation in each divided region of the image for the left eye and the maximum value of the bright portion attention gradation in each division region of the image for the right eye. Also good. In the example of FIG. 5, the integrated dark part attention gradation is the
続いてγ補正カーブの設定方法について説明する。γ補正カーブ設定部108は、統合注目階調決定部107で決定された統合暗部注目階調及び統合明部注目階調に基づいた階調補正パラメータであるγ補正カーブを設定する。設定するγ補正カーブは、統合暗部注目階調及び統合明部注目階調の階調値周辺の階調性を高めるようなγ補正カーブである。
Next, a method for setting a γ correction curve will be described. The γ correction
図6に統合暗部注目階調が階調値25、統合明部注目階調が階調値230の場合のγ補正カーブを示す。図6の破線は入力された画像の階調値をそのまま出力する場合のγ補正カーブである。これに対し、γ補正カーブ設定部108で設定される実線のγ補正カーブは、統合暗部注目階調が階調値25、統合明部注目階調が階調値230周辺の階調性を高めるようなγ補正カーブになっている。
FIG. 6 shows a γ correction curve when the integrated dark part attention gradation is the
また、図7に示すように、低階調データを補正する暗部カーブγB、高階調データを補正する明部カーブγWと、中間階調を補正する中間カーブγMから、γ補正カーブを設定してもよい。以下に暗部カーブγB、明部カーブγW、中間カーブγMから、γ補正カーブを設定する方法を説明する。 Further, as shown in FIG. 7, a γ correction curve is set from a dark curve γB for correcting low gradation data, a bright curve γW for correcting high gradation data, and an intermediate curve γM for correcting intermediate gradation. Also good. A method for setting a γ correction curve from the dark part curve γB, the bright part curve γW, and the intermediate curve γM will be described below.
例えば図7に示すように、暗部カーブγBは階調値0〜128の入力データをγ補正するカーブである。暗部カーブγB(i)は126種類(i:2〜126、128)用意されている。暗部カーブγB(i)は階調値i周辺の範囲の階調値における階調性を高めるγ補正カーブになっている。統合暗部注目階調に応じて126種類の暗部カーブγB(i)(i:2〜126,128)の中から一つの暗部カーブγB(i)が選択される。統合暗部注目階調は、左眼用画像の各分割領域における暗部注目階調、及び右眼用画像の各分割領域における暗部注目階調を用いて決定されるので、2〜126、128のいずれかの値をとる。統合暗部注目階調が階調値25の場合は、暗部カーブγB(25)が選択される。
For example, as shown in FIG. 7, the dark curve γB is a curve for γ-correcting input data with
また、明部カーブγWは階調値192〜255の入力データをγ補正するカーブである。図7に示すように、明部カーブγW(i)は125種類(i:128、130〜253)用意されている。明部カーブγW(i)は階調値i周辺の範囲の階調値における階調性を高めるγ補正カーブになっている。統合明部注目階調に応じて125種類の明部カーブγW(i)(i:128、130〜253)の中から一つの明部カーブγW(i)が選択される。統合明部注目階調は、左眼用画像の各分割領域における明部注目階調、及び右眼用画像の各分割領域における明部注目階調を用いて決定されるので、128、130〜253のいずれかの値をとる。統合明部注目階調が階調値230の場合は、明部カーブγW(230)が選択される。
A bright curve γW is a curve for γ-correcting input data having gradation values of 192 to 255. As shown in FIG. 7, 125 types (i: 128, 130 to 253) of bright portion curves γW (i) are prepared. The bright part curve γW (i) is a γ correction curve that enhances the gradation in the gradation values in the range around the gradation value i. One bright portion curve γW (i) is selected from 125 types of bright portion curves γW (i) (i: 128, 130 to 253) according to the integrated bright portion attention gradation. The integrated bright portion attention gradation is determined using the bright portion attention gradation in each divided region of the left eye image and the bright portion attention gradation in each divided region of the right eye image. One of the values of 253 is taken. When the integrated bright part attention gradation is the
以上のようにγ補正カーブを決定することによって、統合暗部注目階調が低い場合ほど低い階調値に階調を割り付けるカーブが生成され、統合明部注目階調が高い場合ほど高い階調値に階調を割り付けるカーブが生成される。以上のように決定したγ補正カーブを用いて補正をすることで暗部と明部の視認性を上げることが可能である。 By determining the γ correction curve as described above, a curve that assigns a gradation to a lower gradation value is generated when the integrated dark part attention gradation is lower, and a higher gradation value is obtained when the integrated bright part attention gradation is higher. A curve for assigning gradations to is generated. It is possible to improve the visibility of the dark part and the bright part by performing correction using the γ correction curve determined as described above.
中間カーブγMは階調値129〜191の入力データをγ補正するカーブである。中間γカーブγMは選択された暗部カーブγB(i)と明部カーブγW(i)の間の階調を直線補間により補間した変換特性とする。以上のようにγ補正カーブ設定部108において、暗部カーブγB、明部カーブγW及び中間カーブγMによりγ補正カーブが設定される。
The intermediate curve γM is a curve for γ-correcting input data with gradation values 129 to 191. The intermediate γ curve γM has a conversion characteristic obtained by interpolating the gradation between the selected dark portion curve γB (i) and the bright portion curve γW (i) by linear interpolation. As described above, in the γ correction
左眼用画像γ補正部109及び右眼用画像γ補正部110では、上記のように設定されたγ補正カーブを用いて、左眼用画像及び右眼用画像の階調を補正する。そして補正した左眼用画像及び右眼用画像はそれぞれ、左眼用画像出力端子111及び右眼用画像出力端子112から出力され表示部で表示される。
The left-eye image
以上のように本実施例によれば、立体視可能な左眼用画像及び右眼用画像の階調を補正するγ補正カーブが左眼用画像及び右眼用画像の両画像の特徴を反映して設定されているため、黒つぶれや白とびすることない適正なγ補正処理を行うことができる。 As described above, according to the present embodiment, the γ correction curve for correcting the gradation of the left-eye image and the right-eye image that can be viewed stereoscopically reflects the characteristics of both the left-eye image and the right-eye image. Therefore, it is possible to perform appropriate γ correction processing without causing blackout or overexposure.
(実施例2)
実施例1では、左眼用画像及び右眼用画像のそれぞれのヒストグラムを作成する際に、左眼用画像及び右眼用画像をそれぞれ複数の分割領域に分割し、各分割領域におけるヒストグラムを作成した。本実施例では、左眼用画像及び右眼用画像を分割しない場合を説明する。実施例1と同様の処理については説明を省略する。
(Example 2)
In the first embodiment, when the histograms for the left-eye image and the right-eye image are created, the left-eye image and the right-eye image are each divided into a plurality of divided areas, and a histogram in each divided area is created. did. In this embodiment, a case will be described in which the left-eye image and the right-eye image are not divided. A description of the same processing as in the first embodiment will be omitted.
左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104は、入力された左眼用画像及び右眼用画像のそれぞれのヒストグラムを作成する。本実施例でも実施例1と同様に、作成されるヒストグラムは階調値0〜255の8bit(256階調)の輝度ヒストグラムとする。
The left-eye image
左眼用画像注目階調検出部105は、左眼用画像ヒストグラム作成部103で作成された左眼用画像の輝度ヒストグラムから暗部注目階調(第1暗部特徴量)及び明部注目階調(第1明部特徴量)を検出する。ヒストグラムから暗部注目階調及び明部注目階調を検出する方法は実施例1と同様である。右眼用画像注目階調検出部106も左眼用画像注目階調検出部105と同様に、右眼用画像の輝度ヒストグラムから暗部注目階調(第2暗部特徴量)及び明部注目階調(第2明部特徴量)を検出する。左眼用画像注目階調検出部105及び右眼用画像注目階調検出部106のそれぞれで検出した、左眼用画像及び右眼用画像のそれぞれの暗部注目階調及び明部注目階調を図8に示す。
The left-eye image attention
統合注目階調決定部107は、左眼用画像注目階調検出部105及び右眼用画像注目階調検出部106のそれぞれで検出した、左眼用画像及び右眼用画像のそれぞれの暗部注目階調から統合暗部注目階調を決定する。また同様に、左眼用画像及び右眼用画像のそれぞれの明部注目階調から統合明部注目階調を決定する。
The integrated attention
本実施例では、統合暗部注目階調は、左眼用画像及び右眼用画像のそれぞれの暗部注目階調の最小値としてもよいし、左眼用画像及び右眼用画像のそれぞれの暗部注目階調の平均値としてもよい。図8の例において、統合暗部注目階調を左眼用画像及び右眼用画像のそれぞれの暗部注目階調の最小値とした場合は25、平均値とした場合は30となる。また、統合明部注目階調は、左眼用画像及び右眼用画像のそれぞれの明部注目階調の最大値としてもよいし、左眼用画像及び右眼用画像のそれぞれの明部注目階調の平均値としてもよい。図8の例において、統合明部注目階調を左眼用画像及び右眼用画像のそれぞれの明部注目階調の最大値とした場合は230、平均値とした場合は215となる。 In this embodiment, the integrated dark part attention gradation may be the minimum value of the dark part attention gradation of the left eye image and the right eye image, or the dark part attention of the left eye image and the right eye image. An average value of gradations may be used. In the example of FIG. 8, the integrated dark part attention gradation is 25 when the dark part attention gradation of each of the left-eye image and the right-eye image is the minimum value, and 30 when it is the average value. The integrated bright part attention gradation may be the maximum value of the bright part attention gradations of the left eye image and the right eye image, or the bright part attention of the left eye image and the right eye image. An average value of gradations may be used. In the example of FIG. 8, the integrated bright portion attention gradation is 230 when the maximum value of the bright portion attention gradation of each of the left-eye image and the right-eye image is set, and 215 when the average value is set.
以上のように決定された統合暗部注目階調及び統合明部注目階調に基づいた階調補正パラメータであるγ補正カーブを実施例1と同様にγ補正カーブ設定部108が設定し、設定されたγ補正カーブを用いて左眼用画像及び右眼用画像の階調を補正する。
The γ correction
このように本実施例においても、立体視可能な左眼用画像及び右眼用画像の階調を補正するγ補正カーブが左眼用画像及び右眼用画像の両画像の特徴を反映して設定されているため、黒つぶれや白とびすることない適正なγ補正処理を行うことができる。 As described above, also in the present embodiment, the γ correction curve for correcting the gradation of the left-eye image and the right-eye image that can be viewed stereoscopically reflects the characteristics of both the left-eye image and the right-eye image. Since it is set, it is possible to perform appropriate γ correction processing without causing blackout or overexposure.
(実施例3)
本発明の実施形態に係る画像処理装置及びその制御方法の具体的な実施例について説明する。図9は本実施例に係る画像処理装置の機能構成を示すブロック図である。実施例1及び2に係る画像処理装置の図1のブロック図と同様な処理を行うブロックについては同符号を付している。
Example 3
Specific examples of the image processing apparatus and the control method thereof according to the embodiment of the present invention will be described. FIG. 9 is a block diagram illustrating a functional configuration of the image processing apparatus according to the present embodiment. Blocks that perform processing similar to the block diagram of FIG. 1 of the image processing apparatus according to the first and second embodiments are denoted by the same reference numerals.
本実施例の画像処理装置は、左眼用画像入力端子101及び右眼用画像入力端子102と、左眼用画像分割APL検出部301及び右眼用画像分割APL検出部302と、ゲイン値算出部303と、統合APL決定部304を備える。更に、左眼用画像ゲイン調整部305及び右眼用画像ゲイン調整部306と、γ補正カーブ設定部307と、左眼用画像γ補正部109及び右眼用画像γ補正部110と、左眼用画像出力端子111及び右眼用画像出力端子112から構成されている。
The image processing apparatus according to the present embodiment includes a left-eye
画像処理装置での処理の流れについて、図10のフローチャートと共に説明する。ステップS31において、左眼用画像分割APL検出部301及び右眼用画像分割APL検出部302は、左眼用画像入力端子101及び右眼用画像入力端子102から入力された左眼用画像及び右眼用画像それぞれを複数の分割領域に分割する。そして、各分割領域における平均輝度値を検出する。本実施例では左眼用画像分割APL検出部301及び右眼用画像分割APL検出部302において各分割領域における平均輝度値(APL値)を検出する。
The flow of processing in the image processing apparatus will be described with reference to the flowchart of FIG. In step S31, the left-eye image segmentation
ステップS32においてゲイン値算出部303は、ステップS31で検出した左眼用画像及び右眼用画像それぞれの各分割領域におけるAPL値を比較し、左眼用画像及び右眼用画像それぞれのゲイン値を算出する。ステップS33において左眼用画像ゲイン調整部305及び右眼用画像ゲイン調整部306は、算出されたゲイン値に基づいて、左眼用画像及び右眼用画像それぞれの各領域におけるAPL値を調整する。ゲイン値の算出方法及びゲイン値によるAPL値の調整方法の説明は後述する。
In step S32, the gain
ステップS34において統合APL決定部304は、ゲイン値によって補正した左眼用画像及び右眼用画像それぞれの各分割領域におけるAPL値を用いて、統合暗部APL値及び統合明部APL値を決定する。統合暗部APL値及び統合明部APL値の決定方法は後述する。
In step S34, the integrated
ステップS35においてγ補正カーブ設定部307は、統合暗部APL値及び統合明部APL値に基づいた階調補正パラメータであるγ補正カーブを設定する。γ補正カーブの設定方法は後述する。ステップS36において左眼用画像γ補正部109及び右眼用画像γ補正部110は、γ補正カーブ設定部307で設定されたγ補正カーブを用いて実施例1及び2と同様に、左眼用画像及び右眼用画像の階調を補正する処理を行う。そして補正された左眼用画像及び右眼用画像はそれぞれ左眼用画像出力端子111及び右眼用画像出力端子112から出力され表示部に表示される。
In step S35, the γ correction
本実施例では、左眼用画像分割APL検出部301及び右眼用画像分割APL検出部302は、左眼用画像及び右眼用画像の各画素の輝度値を検出する。本実施例では輝度値を階調値0〜255の8bit(256階調)で検出する。
In the present embodiment, the left-eye image division
左眼用画像及び右眼用画像を例えば図3のように4×4の16の分割領域d1〜d16に分割して各分割領域のAPL値を検出するとする。また、左眼用画像分割APL検出部301及び右眼用画像分割APL検出部302は、256階調で検出された各画素の輝度値を0〜7を用いて、APL値を3bit(8階調)で検出するとする。画像の分割数は特にこれに限られず10×5や5×3等であってもよく、APL値の検出精度は例えば128階調や256階調でもよい。
Assume that the left-eye image and the right-eye image are divided into, for example, 4 × 4 16 divided areas d1 to d16 as shown in FIG. 3 and the APL value of each divided area is detected. The left-eye image division
図11(a)に左眼用画像及び右眼用画像それぞれの各分割領域のAPL値、及び各分割領域における左眼用画像APL値と右眼用画像APL値との差分の具体例を示す。左眼用画像及び右眼用画像それぞれの各分割領域のAPL値は、左眼用画像分割APL検出部301及び右眼用画像分割APL検出部302で検出される。また、各分割領域における左眼用画像APL値と右眼用画像APL値との差分はゲイン値算出部303にて求められる。
FIG. 11A shows a specific example of the APL value of each divided region of the left eye image and the right eye image, and the difference between the left eye image APL value and the right eye image APL value in each divided region. . The APL value of each divided region of the left eye image and the right eye image is detected by the left eye image division
図11(a)を用いて、ゲイン値の算出方法及びゲイン値によるAPL値の調整方法を説明する。 A gain value calculation method and an APL value adjustment method based on the gain value will be described with reference to FIG.
ゲイン値算出部303は、各分割領域における左眼用画像APL値と右眼用画像APL値とを比較する。比較して所定の閾値以上の差がある(偏りがある)分割領域において、左眼用画像APL値が右眼用画像APL値より大きい分割領域の数と、右眼用画像APL値が左眼用画像APL値より大きい分割領域の数とをカウントする。
The gain
図11(a)において所定の閾値を1とすると、左眼用画像APL値が右眼用画像APL値より大きい分割領域(左眼用画像APL値−右眼用画像APL値が正で1以上)が13個存在する。また、右眼用画像APL値が左眼用画像APL値より大きい分割領域(左眼用画像APL値−右眼用画像APL値が負で絶対値が1以上)が2個存在する。 In FIG. 11A, when the predetermined threshold value is 1, a divided region in which the left-eye image APL value is larger than the right-eye image APL value (left-eye image APL value−right-eye image APL value is positive and 1 or more). There are 13). In addition, there are two divided regions in which the right-eye image APL value is larger than the left-eye image APL value (left-eye image APL value-right-eye image APL value is negative and the absolute value is 1 or more).
このように、左眼用画像APL値が右眼用画像APL値より大きい分割領域の数と、右眼用画像APL値が左眼用画像APL値より大きい分割領域の数の差が所定値(例えば2)以上あり偏りがある場合には、左眼用画像及び右眼用画像のゲインの調整を行う。これは、3D画像において視差により、左眼用画像及び右眼用画像の特徴量に差が生じる一方で、多くの画像内の領域においてほぼ同様な被写体が映っていると考えられるため、左眼用画像及び右眼用画像の特徴量に一定以上の差は生じないと想定されるからである。 In this way, the difference between the number of divided areas where the left-eye image APL value is larger than the right-eye image APL value and the number of divided areas where the right-eye image APL value is larger than the left-eye image APL value is a predetermined value ( For example, if 2) or more exists and there is a bias, the gains of the left-eye image and the right-eye image are adjusted. This is because the difference in the feature amount between the image for the left eye and the image for the right eye is caused by the parallax in the 3D image, but it is considered that almost the same subject is reflected in a region in many images. This is because it is assumed that a certain amount of difference between the feature amounts of the image for use and the image for the right eye does not occur.
ゲイン値算出部303は、偏りがある分割領域において、左眼用画像APL値と右眼用画像APL値との差が一定範囲内である各分割領域の左眼用画像APL値の平均値と、右眼用画像APL値の平均値との比からゲイン値を算出する。図11(a)において偏りがある分割領域d1〜d9、d10〜d16の中で、左眼用画像APL値と右眼用画像APL値との差が1である各分割領域の左眼用画像APL値の平均値と、右眼用画像APL値の平均値を算出する。具体的には、左眼用画像APL値−右眼用画像APL値との差が1である分割領域d2、d4〜d8、d10〜d14、d16における左眼用画像APL値の平均値は3.83、右眼用画像APL値の平均値は2.83となる。そして、左眼用画像APL値の平均値と右眼用画像APL値の平均値との比は、(左眼用画像APL値の平均値)/(右眼用画像APL値の平均値)=1.35となる。
The gain
ゲイン値算出部303は左眼用画像ゲイン調整部305にゲイン値として1/1.35を出力し、右眼用画像ゲイン調整部306にゲイン値として1を出力する。このように設定されたゲイン値を用いて、左眼用画像及び右眼用画像それぞれのゲインを調整すると、左眼用画像及び右眼用画像の特徴量の大きな偏りが調整できる。左眼用画像ゲイン調整部305及び右眼用画像ゲイン調整部306は、ゲイン値算出部303から出力されたゲイン値を用いて左眼用画像及び右眼用画像それぞれのゲインを調整する。調整後の左眼用画像及び右眼用画像それぞれの各分割領域おける左眼用画像APL値(調整後)と右眼用画像APL値(調整後)を図11(b)に示す。
The gain
統合暗部APL値及び統合明部APL値の決定方法を説明する。統合APL決定部304には、左眼用画像分割APL検出部301及び右眼用画像分割APL検出部302から、左眼用画像及び右眼用画像それぞれの各分割領域おける左眼用画像APL値と右眼用画像APL値が出力される。更に、ゲイン値算出部303から、左眼用画像及び右眼用画像それぞれのゲイン値が出力される。
A method for determining the integrated dark part APL value and the integrated bright part APL value will be described. The integrated
左眼用画像及び右眼用画像それぞれの各分割領域おける左眼用画像APL値と右眼用画像APL値から、左眼用画像における最小APL値(第1暗部特徴量)と最大APL値(第1明部特徴量)を決定する。また、右眼用画像における最小APL値(第2暗部特徴量)と最大APL値(第2明部特徴量)を決定する。図11(a)において、左眼用画像の各分割領域おける左眼用画像APL値の中の最大APL値は6、最小APL値は2である。右眼用画像の各分割領域おける右眼用画像APL値の中の最大APL値は7、最小APL値は2である。 From the left-eye image APL value and the right-eye image APL value in each divided region of the left-eye image and right-eye image, the minimum APL value (first dark portion feature amount) and the maximum APL value in the left-eye image ( 1st light part feature-value) is determined. Further, the minimum APL value (second dark portion feature amount) and the maximum APL value (second bright portion feature amount) in the image for the right eye are determined. In FIG. 11A, the maximum APL value is 6 and the minimum APL value is 2 among the left-eye image APL values in each divided region of the left-eye image. The maximum APL value is 7 and the minimum APL value is 2 among the right-eye image APL values in each divided region of the right-eye image.
左眼用画像及び右眼用画像それぞれにおける最大APL値及び最小APL値に、ゲイン値算出部303から出力された左眼用画像及び右眼用画像それぞれのゲイン値を用いて、ゲインを調整する。左眼用画像のゲイン値は1/1.35なので、左眼用画像の最大APL値6は、6×1/1.35=4(小数点以下四捨五入)、最小APL値2は、2×1/1.35=1と調整される。右眼用画像のゲイン値は1なので、右眼用画像の最大APL値7は、7×1=7、最小APL値2は、2×1=2と調整される(ゲイン値が1の場合はゲイン調整を行わないとの同等の値になる)。
The gain is adjusted using the gain values of the left-eye image and the right-eye image output from the gain
ゲイン調整後の左眼用画像の最小APL値(第1暗部特徴量)及び右眼用画像の最小APL値(第2暗部特徴量)のうち小さいほうのAPL値である階調値1を、統合暗部APL値(統合暗部特徴量)とする。ゲイン調整後の左眼用画像の最大APL値(第1明部特徴量)及び右眼用画像の最大APL値(第2明部特徴量)のうち大きいほうのAPL値である階調値7を、統合明部APL値(統合明部特徴量)とする。
A
統合暗部APL値及び統合明部APL値の決定の仕方は上記に限らない。例えば左眼用画像の最小APL値及び右眼用画像の最小APL値の平均値を統合暗部APL値、左眼用画像の最大APL値及び右眼用画像の最大APL値の平均値を統合明部APL値としてもよい。 The method of determining the integrated dark part APL value and the integrated bright part APL value is not limited to the above. For example, the average value of the minimum APL value of the image for the left eye and the average value of the minimum APL value of the image for the right eye is integrated and the average value of the maximum APL value of the image for the left eye and the maximum APL value of the image for the right eye is integrated and brightened. It is good also as a part APL value.
また、左眼用画像及び右眼用画像それぞれにおける最大APL値及び最小APL値に対するゲイン調整を統合APL決定部304で行わなくてもよい。その場合は、ゲイン調整後の左眼用画像及び右眼用画像それぞれの各分割領域おける左眼用画像APL値と右眼用画像APL値(図11(b)に示したもの)を、左眼用画像ゲイン調整部305及び右眼用画像ゲイン調整部306から取得する。そして取得した、ゲイン調整後の左眼用画像及び右眼用画像それぞれの各分割領域おける左眼用画像APL値と右眼用画像APL値から、各画像における最大APL値と最小APL値を決定する。
Further, the integrated
統合暗部APL値及び統合明部APL値に基づいたγ補正カーブの設定方法について説明する。 A method for setting a γ correction curve based on the integrated dark part APL value and the integrated bright part APL value will be described.
本実施例のγ補正カーブは、低階調データを補正する暗部カーブγB、高階調データを補正する明部カーブγWと、中間階調を補正する中間カーブγMから成る。本実施例では画像データの階調分解能は3bit(0〜7階調)であるものとする。 The γ correction curve of this embodiment includes a dark part curve γB for correcting low gradation data, a bright part curve γW for correcting high gradation data, and an intermediate curve γM for correcting intermediate gradations. In this embodiment, it is assumed that the gradation resolution of image data is 3 bits (0 to 7 gradations).
図12に示すように、暗部カーブγBは階調値0〜128の入力データをγ補正するカーブである。暗部カーブγB(i)は8種類(i:0〜8)用意されている。暗部カーブγB(i)は階調値i周辺の範囲の階調値における階調性を高めるγ補正カーブになっている。統合暗部APL値に応じて8種類の暗部カーブγB(i)(i:0〜7)の中から一つの暗部カーブγB(i)が選択される。統合暗部APL値は、左眼用画像の最小APL値、及び右眼用画像の最小APL値を用いて決定されるので、APL値が3bitの精度で検出される場合は0〜7のいずれかの値をとる。統合暗部APL値が階調値1の場合は、暗部カーブγB(1)が選択される。
As shown in FIG. 12, the dark part curve γB is a curve for γ-correcting input data having gradation values of 0 to 128. Eight types (i: 0 to 8) of dark part curves γB (i) are prepared. The dark part curve γB (i) is a γ correction curve that enhances the gradation in the gradation values in the range around the gradation value i. One dark part curve γB (i) is selected from eight types of dark part curves γB (i) (i: 0 to 7) according to the integrated dark part APL value. Since the integrated dark portion APL value is determined using the minimum APL value of the left-eye image and the minimum APL value of the right-eye image, any one of 0 to 7 is detected when the APL value is detected with an accuracy of 3 bits. Takes the value of When the integrated dark portion APL value is the
また、明部カーブγWは階調値192〜255の入力データをγ補正するカーブである。図12に示すように、明部カーブγW(i)は8種類(i:0〜7)用意される。明部カーブγW(i)は階調値i周辺の範囲の階調値における階調性を高めるγ補正カーブになっている。統合明部APL値に応じて8種類の明部カーブγW(i)(i:0〜7)の中から一つの明部カーブγW(i)が選択される。統合明部APL値は、左眼用画像の最大APL値、及び右眼用画像の最大APL値を用いて決定されるので、APL値が3bitの精度で検出される場合は0〜7のいずれかの値をとる。統合明部APL値が階調値7の場合は、明部カーブγW(7)が選択される。
A bright curve γW is a curve for γ-correcting input data having gradation values of 192 to 255. As shown in FIG. 12, eight types (i: 0 to 7) of bright portion curves γW (i) are prepared. The bright part curve γW (i) is a γ correction curve that enhances the gradation in the gradation values in the range around the gradation value i. One bright part curve γW (i) is selected from eight types of bright part curves γW (i) (i: 0 to 7) according to the integrated bright part APL value. Since the integrated bright portion APL value is determined using the maximum APL value of the left-eye image and the maximum APL value of the right-eye image, any one of 0 to 7 is detected when the APL value is detected with an accuracy of 3 bits. Take the value of When the integrated bright part APL value is the
中間カーブγMは階調値128〜192の入力データをγ補正するカーブである。中間γカーブγMは選択された暗部カーブγB(i)と明部カーブγW(i)の間の階調を直線補間により補間した変換特性とする。以上のようにγ補正カーブ設定部108において、暗部カーブγB、明部カーブγW及び中間カーブγMによりγ補正カーブが設定される。
The intermediate curve γM is a curve for γ-correcting input data having gradation values of 128 to 192. The intermediate γ curve γM has a conversion characteristic obtained by interpolating the gradation between the selected dark portion curve γB (i) and the bright portion curve γW (i) by linear interpolation. As described above, in the γ correction
以上のように、暗部カーブγB、明部カーブγW、中間カーブγMを設定したが、各γカーブが補正する階調値は上記に示すものに限られない。例えば、暗部カーブγBは階調値0〜3、明部カーブγWは階調値6〜7、中間カーブγMは階調値3〜6の入力データを補正するものとしてもよい。
As described above, the dark portion curve γB, the bright portion curve γW, and the intermediate curve γM are set. However, the gradation values corrected by each γ curve are not limited to those shown above. For example, the dark portion curve γB may correct input data with
以上のようにγ補正カーブを決定することによって、統合暗部APL値が低い場合ほど低い階調値に階調を割り付けるカーブが生成され、統合暗部APL値が高い場合ほど高い階調値に階調を割り付けるカーブが生成される。以上のように決定したγ補正カーブを用いて補正をすることで暗部と明部の視認性を上げることが可能である。 By determining the γ correction curve as described above, a curve for assigning a gradation to a lower gradation value is generated as the integrated dark portion APL value is lower, and a gradation is increased to a higher gradation value as the integrated dark portion APL value is higher. A curve to assign is generated. It is possible to improve the visibility of the dark part and the bright part by performing correction using the γ correction curve determined as described above.
なお、本実施例においては、ゲイン値算出部303で左眼用画像のAPL値と右眼用画像のAPL値とを比較して所定の閾値以上の差がある場合に、ゲイン値を計算しゲインの調整をしているが、差が所定の閾値以下である場合にはゲインの調整は行わなくでもよい。
In this embodiment, the gain
以上のように本実施例においても、立体視可能な左眼用画像及び右眼用画像の階調を補正するγ補正カーブが左眼用画像及び右眼用画像の両画像の特徴を反映して設定されているため、黒つぶれや白とびすることない適正なγ補正処理を行うことができる。左眼用画像のAPL値と右眼画像のAPL値に差がある場合でも、適正なγ補正処理を行うことができる。 As described above, also in this embodiment, the γ correction curve for correcting the gradation of the left-eye image and the right-eye image that can be viewed stereoscopically reflects the characteristics of both the left-eye image and the right-eye image. Therefore, it is possible to perform appropriate γ correction processing without causing blackout or overexposure. Even when there is a difference between the APL value of the left-eye image and the APL value of the right-eye image, an appropriate γ correction process can be performed.
105 左眼用画像注目階調検出部
106 右眼用画像注目階調検出部
107 統合注目階調決定部
108 γカーブ設定部
105 Image attention gradation detection unit for left eye 106 Image attention gradation detection unit for
Claims (16)
入力された前記左眼用画像及び前記右眼用画像のそれぞれのヒストグラムを作成する作成手段と、
前記作成手段で作成された前記左眼用画像のヒストグラムから、低階調側の所定の条件を満たす階調値である第1暗部特徴量、及び、高階調側の前記所定の条件を満たす階調値である第1明部特徴量を検出する第1検出手段と、
前記作成手段で作成された前記右眼用画像のヒストグラムから、低階調側の前記所定の条件を満たす階調値である第2暗部特徴量、及び、高階調側の前記所定の条件を満たす階調値である第2明部特徴量を検出する第2検出手段と、
前記第1暗部特徴量及び前記第2暗部特徴量を用いて統合暗部特徴量を決定し、前記第1明部特徴量及び前記第2明部特徴量を用いて統合明部特徴量を決定する決定手段と、
前記統合暗部特徴量及び前記統合明部特徴量に基づいた階調補正パラメータを設定する設定手段と、
前記設定手段で設定された前記階調補正パラメータを用いて、前記左眼用画像及び前記右眼用画像の階調を補正する補正手段と、を有し、
前記所定の条件を満たす階調値は、度数が所定の閾値以上かつ極大値である階調値であって、局所的な度数の変動量が所定の基準よりも小さい階調値であり、
前記第1検出手段は、前記左眼用画像のヒストグラムから、前記所定の条件を満たす階調値である第1注目階調を検出して、低階調側の前記第1注目階調の中で最も小さい階調値を前記第1暗部特徴量とし、高階調側の前記第1注目階調の中で最も大きい階調値を前記第1明部特徴量として検出し、
前記第2検出手段は、前記右眼用画像のヒストグラムから、前記所定の条件を満たす階調値である第2注目階調を検出して、低階調側の前記第2注目階調の中で最も小さい階調値を前記第2暗部特徴量とし、高階調側の前記第2注目階調の中で最も大きい階調値を前記第2明部特徴量として検出することを特徴とする画像処理装置。 In an image processing apparatus that displays a stereoscopically viewable image composed of an image for the left eye and an image for the right eye on the display unit,
Creating means for creating respective histograms of the input image for the left eye and the image for the right eye;
From the histogram of the image for the left eye created by the creating means, a first dark portion feature amount that is a gradation value satisfying a predetermined condition on the low gradation side, and a floor satisfying the predetermined condition on the high gradation side. First detection means for detecting a first bright portion feature value that is a tone value;
From the histogram of the right-eye image created by the creating means, the second dark area feature amount that is a gradation value that satisfies the predetermined condition on the low gradation side, and the predetermined condition on the high gradation side A second detecting means for detecting a second bright portion feature value that is a gradation value;
An integrated dark portion feature amount is determined using the first dark portion feature amount and the second dark portion feature amount, and an integrated bright portion feature amount is determined using the first bright portion feature amount and the second bright portion feature amount. A determination means;
Setting means for setting a gradation correction parameter based on the integrated dark part feature and the integrated bright part feature;
Using the tone correction parameters set by the setting means, we have a, a correction means for correcting the tone of the left-eye image and the right-eye image,
The gradation value satisfying the predetermined condition is a gradation value whose frequency is equal to or greater than a predetermined threshold and has a maximum value, and a local frequency fluctuation amount is smaller than a predetermined reference,
The first detecting means detects a first target gradation that is a gradation value satisfying the predetermined condition from the histogram of the left-eye image, and detects the first target gradation on the low gradation side. The smallest gradation value is detected as the first dark portion feature amount, and the largest gradation value among the first attention gradations on the high gradation side is detected as the first bright portion feature amount.
The second detection means detects a second target gradation that is a gradation value satisfying the predetermined condition from the histogram of the right eye image, and detects the second target gradation on the low gradation side. The smallest gradation value is the second dark portion feature amount, and the largest gradation value among the second attention gradations on the high gradation side is detected as the second bright portion feature amount. Processing equipment.
入力された前記左眼用画像及び前記右眼用画像をそれぞれ複数の分割領域に分割し、各分割領域における平均輝度値を検出する検出手段と、
前記左眼用画像の各分割領域における平均輝度値の中の最小値及び最大値をそれぞれ第1暗部特徴量及び第1明部特徴量とし、前記右眼用画像の各分割領域における平均輝度値の中の最小値及び最大値をそれぞれ第2暗部特徴量及び第2明部特徴量として、前記第1暗部特徴量及び前記第2暗部特徴量を用いて統合暗部特徴量を決定し、前記第1明部特徴量及び前記第2明部特徴量を用いて統合明部特徴量を決定する決定手段と、
前記統合暗部特徴量及び前記統合明部特徴量に基づいた階調補正パラメータを設定する設定手段と、
前記設定手段で設定された前記階調補正パラメータを用いて、前記左眼用画像及び前記右眼用画像の階調を補正する補正手段と、を有することを特徴とする画像処理装置。 In an image processing apparatus that displays a stereoscopically viewable image composed of an image for the left eye and an image for the right eye on the display unit,
Detecting means for dividing the input image for the left eye and the image for the right eye into a plurality of divided areas, respectively, and detecting an average luminance value in each divided area;
The minimum value and the maximum value among the average luminance values in each divided region of the image for the left eye are set as a first dark portion feature amount and a first bright portion feature amount, respectively, and the average luminance value in each divided region of the right eye image And determining the integrated dark part feature amount using the first dark part feature amount and the second dark part feature amount, with the minimum value and the maximum value of the second dark part feature amount and the second bright part feature amount as the second dark portion feature amount and the second bright portion feature amount, respectively. Determining means for determining an integrated bright part feature using one bright part feature and the second bright part feature;
Setting means for setting a gradation correction parameter based on the integrated dark part feature and the integrated bright part feature;
An image processing apparatus comprising: correction means for correcting gradation of the left-eye image and right-eye image using the gradation correction parameter set by the setting means.
入力された前記左眼用画像及び前記右眼用画像のそれぞれのヒストグラムを作成する作成工程と、
前記ヒストグラム作成工程で作成された前記左眼用画像のヒストグラムから、低階調側の所定の条件を満たす階調値である第1暗部特徴量、及び、高階調側の前記所定の条件を満たす階調値である第1明部特徴量を検出する第1検出工程と、
前記ヒストグラム作成工程で作成された前記右眼用画像のヒストグラムから、低階調側の前記所定の条件を満たす階調値である第2暗部特徴量及び高階調側の前記所定の条件を満たす階調値である第2明部特徴量を検出する第2検出工程と、
前記第1暗部特徴量及び前記第2暗部特徴量を用いて統合暗部特徴量を決定し、前記第1明部特徴量及び前記第2明部特徴量を用いて統合明部特徴量を決定する決定工程と、
前記統合暗部特徴量及び前記統合明部特徴量に基づいた階調補正パラメータを設定する設定工程と、
前記設定工程で設定された前記階調補正パラメータを用いて、前記左眼用画像及び前記右眼用画像の階調を補正する補正工程と、を有し、
前記所定の条件を満たす階調値は、度数が所定の閾値以上かつ極大値である階調値であって、局所的な度数の変動量が所定の基準よりも小さい階調値であり、
前記第1検出工程では、前記左眼用画像のヒストグラムから、前記所定の条件を満たす階調値である第1注目階調を検出して、低階調側の前記第1注目階調の中で最も小さい階調値を前記第1暗部特徴量とし、高階調側の前記第1注目階調の中で最も大きい階調値を前記第1明部特徴量として検出し、
前記第2検出工程では、前記右眼用画像のヒストグラムから、前記所定の条件を満たす階調値である第2注目階調を検出して、低階調側の前記第2注目階調の中で最も小さい階調値を前記第2暗部特徴量とし、高階調側の前記第2注目階調の中で最も大きい階調値を前記第2明部特徴量として検出することを特徴とする画像処理装置の制御方法。 In a control method of an image processing apparatus for displaying a stereoscopically viewable image including a left eye image and a right eye image on a display unit,
A creation step of creating respective histograms of the input image for the left eye and the image for the right eye;
From the histogram of the image for the left eye created in the histogram creation step, the first dark portion feature amount that is a gradation value satisfying a predetermined condition on the low gradation side, and the predetermined condition on the high gradation side A first detection step of detecting a first bright portion feature value that is a gradation value;
From the histogram of the right-eye image created in the histogram creation step, the second dark portion feature amount that is a gradation value that satisfies the predetermined condition on the low gradation side and a floor that satisfies the predetermined condition on the high gradation side. A second detection step of detecting a second bright portion feature value that is a tone value;
An integrated dark portion feature amount is determined using the first dark portion feature amount and the second dark portion feature amount, and an integrated bright portion feature amount is determined using the first bright portion feature amount and the second bright portion feature amount. A decision process;
A setting step for setting a gradation correction parameter based on the integrated dark portion feature amount and the integrated bright portion feature amount;
Using the tone correction parameters set by the setting step, have a, a correction step of correcting the tone of the left-eye image and the right-eye image,
The gradation value satisfying the predetermined condition is a gradation value whose frequency is equal to or greater than a predetermined threshold and has a maximum value, and a local frequency fluctuation amount is smaller than a predetermined reference,
In the first detection step, a first attention gradation that is a gradation value satisfying the predetermined condition is detected from a histogram of the left eye image, and the first attention gradation on the low gradation side is detected. The smallest gradation value is detected as the first dark portion feature amount, and the largest gradation value among the first attention gradations on the high gradation side is detected as the first bright portion feature amount.
In the second detection step, a second attention gradation that is a gradation value satisfying the predetermined condition is detected from the histogram of the right-eye image, and the second attention gradation on the low gradation side is detected. The smallest gradation value is the second dark portion feature amount, and the largest gradation value among the second attention gradations on the high gradation side is detected as the second bright portion feature amount. A method for controlling a processing apparatus.
入力された前記左眼用画像及び前記右眼用画像をそれぞれ複数の分割領域に分割し、各分割領域における平均輝度値を検出する検出工程と、
前記左眼用画像の各分割領域における平均輝度値の中の最小値及び最大値をそれぞれ第1暗部特徴量及び第1明部特徴量とし、前記右眼用画像の各分割領域における平均輝度値の中の最小値及び最大値をそれぞれ第2暗部特徴量及び第2明部特徴量として、前記第1暗部特徴量及び前記第2暗部特徴量を用いて統合暗部特徴量を決定し、前記第1明部特徴量及び前記第2明部特徴量を用いて統合明部特徴量を決定する決定工程と、
前記統合暗部特徴量及び前記統合明部特徴量に基づいた階調補正パラメータを設定する設定工程と、
前記設定工程で設定された前記階調補正パラメータを用いて、前記左眼用画像及び前記右眼用画像の階調を補正する補正工程と、を有することを特徴とする画像処理装置の制御方法。 In a control method of an image processing apparatus for displaying a stereoscopically viewable image including a left eye image and a right eye image on a display unit,
A detection step of dividing the input image for the left eye and the image for the right eye into a plurality of divided regions, respectively, and detecting an average luminance value in each divided region;
The minimum value and the maximum value among the average luminance values in each divided region of the image for the left eye are set as a first dark portion feature amount and a first bright portion feature amount, respectively, and the average luminance value in each divided region of the right eye image And determining the integrated dark part feature amount using the first dark part feature amount and the second dark part feature amount, with the minimum value and the maximum value of the second dark part feature amount and the second bright part feature amount as the second dark portion feature amount and the second bright portion feature amount, respectively. A determining step of determining an integrated bright part feature using one bright part feature and the second bright part feature;
A setting step for setting a gradation correction parameter based on the integrated dark portion feature amount and the integrated bright portion feature amount;
And a correction step of correcting the gradation of the image for the left eye and the image for the right eye using the gradation correction parameter set in the setting step. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010245489A JP5683214B2 (en) | 2010-11-01 | 2010-11-01 | Image processing apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010245489A JP5683214B2 (en) | 2010-11-01 | 2010-11-01 | Image processing apparatus and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012100031A JP2012100031A (en) | 2012-05-24 |
JP5683214B2 true JP5683214B2 (en) | 2015-03-11 |
Family
ID=46391463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010245489A Expired - Fee Related JP5683214B2 (en) | 2010-11-01 | 2010-11-01 | Image processing apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5683214B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005077950A (en) * | 2003-09-02 | 2005-03-24 | Fujitsu General Ltd | Histogram control picture quality correcting circuit |
JP2010147786A (en) * | 2008-12-18 | 2010-07-01 | Fujifilm Corp | Imaging device and image processing method |
JP2011250229A (en) * | 2010-05-28 | 2011-12-08 | Sony Corp | Video signal processing apparatus, video signal processing method, and computer program |
JP2012084961A (en) * | 2010-10-07 | 2012-04-26 | Jvc Kenwood Corp | Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program |
-
2010
- 2010-11-01 JP JP2010245489A patent/JP5683214B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012100031A (en) | 2012-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8090198B2 (en) | Image processing apparatus, image display apparatus, and image display method | |
JP5615136B2 (en) | Stereoscopic image correction method, stereoscopic display device, and stereoscopic image generation device | |
JP5201038B2 (en) | Video signal processing method and video signal processing apparatus | |
US7945088B2 (en) | Stereoscopic image generation apparatus | |
US20090304274A1 (en) | Image Processing Apparatus and Image Display Apparatus | |
JP2015156607A (en) | Image processing method, image processing apparatus, and electronic device | |
TW200305331A (en) | Contrast correcting circuit | |
JP2010200213A (en) | Image processing apparatus, image processing method, program, and three-dimensional image display apparatus | |
JP6548517B2 (en) | Image processing apparatus and image processing method | |
JP2015162718A (en) | Image processing method, image processing device and electronic equipment | |
TWI712990B (en) | Method and apparatus for determining a depth map for an image, and non-transitory computer readable storage medium | |
JP5669599B2 (en) | Image processing apparatus and control method thereof | |
US10368048B2 (en) | Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor | |
JP6754759B2 (en) | Processing of parallax in 3D images | |
JP2015095779A (en) | Image processing apparatus, image processing method, and electronic equipment | |
US20170277975A1 (en) | Edge detecting apparatus and edge detecting method | |
JP2005130486A (en) | Video signal processing apparatus | |
JP2017098845A (en) | Image processing apparatus, image processing method, and program | |
JP5683214B2 (en) | Image processing apparatus and control method thereof | |
JP5623156B2 (en) | Image processing apparatus and control method thereof | |
JP5280940B2 (en) | Specific color detection circuit | |
JP2003046807A (en) | Image display device and image display method | |
KR20150037203A (en) | Device for correcting depth map of three dimensional image and method for correcting the same | |
JP2006180267A (en) | Picture quality correcting circuit | |
JP6155119B2 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140624 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150113 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5683214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |