JP6720881B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6720881B2 JP6720881B2 JP2017007756A JP2017007756A JP6720881B2 JP 6720881 B2 JP6720881 B2 JP 6720881B2 JP 2017007756 A JP2017007756 A JP 2017007756A JP 2017007756 A JP2017007756 A JP 2017007756A JP 6720881 B2 JP6720881 B2 JP 6720881B2
- Authority
- JP
- Japan
- Prior art keywords
- brightness
- range
- image processing
- luminance
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 177
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims description 145
- 230000008569 process Effects 0.000 claims description 126
- 238000012937 correction Methods 0.000 claims description 116
- 238000003702 image correction Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
- H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
そのため、従来の技術によって人物の顔を撮影した場合、必ずしも適切な立体感のある顔の画像を取得できるものではなかった。
撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域を、排他的な3つ以上の部分に分割する第1の分割手段と、
前記第1の分割手段が複数の部分に分割するための輝度の閾値を、前記取得手段により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する第1の閾値特定手段と、
前記第1の分割手段により分割される最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、次に輝度が低い部分である第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には輝度を高くする処理を施し、前記第2の部分に輝度を高くする処理を施す場合には、前記第3の部分には輝度を低くする処理を施す画像処理手段と、
を備えることを特徴とする。
図1は、本発明の一実施形態に係る画像処理装置1のハードウェアの構成を示すブロック図である。
画像処理装置1は、例えば、デジタルカメラとして構成される。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像」と呼ぶ。撮像画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはフラッシュメモリ等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
画像補正処理とは、被写体の顔の明るさに応じた特性のガンマ補正を適用することにより、顔に立体感のある画像を取得する一連の処理をいう。
また、記憶部19の一領域には、画像記憶部71と、ガンマ補正テーブル記憶部72とが設定される。
ガンマ補正テーブル記憶部72には、画像補正処理において用いられるガンマ補正の特性を表すテーブル形式のデータが記憶される。本実施形態においては、ガンマ補正の特性として、低輝度用のガンマ補正の特性及び高輝度用のガンマ補正の特性に対応するテーブル形式のデータが記憶されており、後述するように、これらの特性が単体で、または合成されて被写体の顔の領域の補正処理に用いられる。
また、図4は、高輝度用のガンマ補正の特性を示す模式図である。
なお、以下の説明においては、画素の輝度が0〜255の値の範囲を取る場合を例に挙げて説明する。
図3及び図4に示すように、低輝度用のガンマ補正の特性及び高輝度用のガンマ補正の特性では、輝度がゼロに近い所定範囲(後述する下限閾値未満の範囲)は輝度が維持され、輝度が所定範囲より大きい場合に、S字特性によって輝度が補正されるものとなっている。また、低輝度側においてS字特性が適用される下限の閾値(以下、適宜「下限閾値」と呼ぶ。)と、S字特性におけるクロスポイント(輝度の増加処理と減少処理との境界)となる閾値(以下、「基準閾値」と呼ぶ。)とは、低輝度用のガンマ補正の特性及び高輝度用のガンマ補正の特性それぞれにおいて、異なる値に設定されている。
顔検出部52は、画像取得部51によって取得された撮像画像のデータを対象として、被写体の顔検出を行う。顔検出については、既存の顔検出技術を用いることができる。例えば、輝度の情報に基づく顔検出方法や、輪郭抽出による顔検出方法等を用いることができ、その検出方法は問わない。なお、画像取得部51によって取得された撮像画像のデータにおいて、被写体の顔が検出されない場合、画像補正処理は終了される。
図5は、被写体Pの顔の領域における計測領域Cを示す模式図である。
図5に示すように、本実施形態においては、被写体Pの顔の領域において、両眼の下の鼻を含む矩形領域が計測領域Cに設定される。
図6は、計測領域Cにおける各画素の輝度のヒストグラムの一例を示す模式図である。
図6に示すように、計測領域における各画素は、横軸に表される輝度値のいずれかに属し、ヒストグラムに基づいて、計測領域の輝度の平均値を取得することができる。
また、ガンマ補正の特性における下限閾値が第1の閾値、基準閾値が第2の閾値を表し、被写体の顔の輝度を表す基準値に関し、予め定められた輝度の基準値の設定範囲の下限が第3の閾値、予め定められた輝度の基準値の設定範囲の上限が第4の閾値を表している。
さらに、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲を下回っている場合に用いられる低輝度用のガンマ補正の特性が第1の特性、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲を超えている場合に用いられる高輝度用のガンマ補正の特性が第2の特性を表している。
次に、画像処理装置1の動作を説明する。
図7は、図2の機能構成を有する図1の画像処理装置1が実行する画像補正処理の流れを説明するフローチャートである。
画像補正処理は、入力部17を介して画像補正処理の開始を指示する操作が行われることにより開始される。
画像補正処理の開始を指示する操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部16により撮像された画像に、現像処理が行われた撮像画像のデータに対して、引き続き画像補正処理を行ってもよく、また、画像記憶部71に記憶されている撮像画像のデータを取得し、その取得された撮像画像のデータに対して画像補正処理の開始を指示する操作であってもよい。
ステップS2において、顔検出部52は、画像取得部51によって取得された撮像画像のデータを対象として、被写体の顔検出を行う。
ステップS4において、基準値取得部53は、両眼の下の鼻を含む矩形領域(計測領域)における各画素の輝度のヒストグラムを算出する。
ステップS5において、基準値取得部53は、両眼の下の鼻を含む矩形領域(計測領域)における各画素の輝度の平均値を算出する。
ユーザ操作によりガンマ補正を行うと設定された場合に、ステップS8において、UI表示制御部55が表示するユーザインターフェース画面に表示されたガンマ補正の特性(低輝度用のガンマ補正の特性、高輝度用のガンマ補正の特性またはガンマ補正の合成特性)を、画像補正処理において用いるガンマ補正の特性として特定する。なお、ユーザ操作によりガンマ補正を行わないと設定された場合には画像補正処理を終了する。
ステップS9の後、画像補正処理は終了となる。
そのため、被写体の顔の明るさに応じた特性のガンマ補正を適用して、被写体の顔の各部分をその輝度に応じて補正することができる。
したがって、画像処理装置1によれば、被写体の顔の特徴を考慮して、顔に適切な立体感のある画像を取得することが可能となる。
上述の実施形態において、画像補正処理において用いられるガンマ補正がS字特性を有するものとして説明した。
これに対し、画像補正処理において用いられるガンマ補正が逆S字特性を有するものすることができる。
逆S字特性を有するガンマ補正では、立体感を低減する補正が可能となる。
したがって、ほりが深い顔や髪に一部が隠されて暗くなっている顔を、より適切な立体感の画像に補正することができる。
また、UI表示制御部55は、S字特性によるガンマ補正と、逆S字特性によるガンマ補正とを、出力部18のディスプレイに選択可能にライブビューにより表示することで、ユーザがいずれのガンマ補正を行うか、あるいは行わないかを選択し設定することができる。
上述の実施形態において、画像補正処理において用いられるガンマ補正の特性は、輝度がゼロに近い所定範囲では輝度を維持し、輝度が所定範囲より大きい場合、S字特性によって輝度が補正されるものとして説明した。
これに対し、低輝度用のガンマ補正の特性及び高輝度用のガンマ補正の特性において、高輝度側においてS字特性が適用される上限の閾値(以下、「上限閾値」と呼ぶ。)を設定し、輝度が最高輝度に近い所定範囲(上限閾値を超える範囲)では輝度が維持されるものとしてもよい。
この場合、輝度が高い画素において、白とびが発生することを抑制できる。
上述の実施形態において、UI表示制御部55に表示されたガンマ補正の特性に対し、ユーザの操作により、S字特性のカーブを変更可能な構成とすることができる。
即ち、UI表示制御部55は、表示したユーザインターフェース画面において、低輝度用のガンマ補正の特性、高輝度用のガンマ補正の特性またはガンマ補正の合成特性におけるS字特性のカーブを変更するためのユーザによる操作を受け付ける。このとき、UI表示制御部55は、入力部17によるユーザの操作に応じて、変更されたS字特性のガンマ補正が適用された被写体の顔の画像を、出力部18のディスプレイにプレビューによって表示する。なお、ユーザインターフェース画面における操作では、下限閾値及び基準閾値に対する変更は許可されないものとする。
そして、特性特定部56は、UI表示制御部55が表示するユーザインターフェース画面において、ユーザが変更のための操作を行った後のガンマ補正の特性を、画像補正処理において用いるガンマ補正の特性として特定する。
これにより、ユーザは、プレビューされた画像を確認しながら、被写体の顔の画像をより適切な立体感に調整することが可能となる。
基準値取得部53は、撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する。
画像処理部57は、人物の顔領域を、排他的な複数の部分に分割する。
閾値特定部54は、画像処理部57が複数の部分に分割するための輝度の閾値を、基準値取得部53により取得される基準値に基づき特定する。
画像処理部57は、分割される複数の部分各々の輝度を、異なる補正方法で補正する輝度を補正する処理を施す。
これにより、被写体の顔の輝度の分布に応じた補正方法を適用して、被写体の顔の各部分を補正することができる。
したがって、被写体の顔の特徴を考慮して、顔に適切な立体感のある画像を取得することが可能となる。
閾値特定部54は、基準値取得部53により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する。
これにより、補正方法を異ならせる際の低輝度側の境界を特定することができる。
これにより、第1の部分及び第2の部分において、S字特性に基づく補正を行うことができる。
これにより、S字特性または逆S字特性に基づく補正を行うことができる。
画像処理部57は、基準値取得部53により取得される基準値を、少なくとも、最も輝度が高い側からの2つの部分を分割するための輝度の閾値として特定する。
これにより、補正方法を異ならせる際の高輝度側の境界を特定することができる。
特性特定部56は、画像処理部57が輝度を補正する処理を施すための特性を、基準値取得部53により取得される基準値に基づき特定する。
画像処理部57は、特性特定部56により特定される特性で輝度を補正する処理を、更に施す。
これにより、画像を補正するための適切な特性を取得して、輝度を補正することができる。
基準値取得部53は、撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する。
特性特定部56は、人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、基準値取得部53により取得される基準値に基づき特定する。
画像処理部57は、人物の顔領域の輝度を、特性特定部56により特定される特性で補正する処理を施す。
これにより、被写体の顔領域における所定数の画素毎の輝度の範囲に応じた異なる補正方法によって、被写体の顔領域を補正することができる。
したがって、被写体の顔の特徴を考慮して、顔に適切な立体感のある画像を取得することが可能となる。
これにより、被写体の顔におけるシミやほくろ等、低輝度な部分が補正により目立つことを避けることができる。
これにより、S字特性または逆S字特性に基づく補正を行うことができる。
基準値取得部53は、撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する。
画像処理部57は、人物の顔領域の輝度を、基準値取得部53により取得される基準値に基づく特性で補正する処理を施す。
閾値特定部54は、人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、画像処理部57が施す輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、基準値取得部53により取得される基準値の閾値を特定する。
これにより、画素毎の輝度が同じ値であっても異なる補正となる3以上の種類の特性を特定することで、顔に適切な立体感のある画像を取得することができる。
画像処理部57は、分割される各範囲に応じた異なる特性で輝度を補正する処理を施す。
これにより、被写体の顔の輝度の範囲に応じた補正方法を適用して、被写体の顔の各範囲を適切に補正することができる。
第4の範囲に含まれる場合は、基準値の輝度によらず第1の特性を使用し、
第6の範囲に含まれる場合は、基準値の輝度によらず第2の特性を使用し、
第5の範囲に含まれる場合は、基準値の輝度に応じて、第1の特性と第2特性とから特定される特性を使用して、
輝度を補正する処理を施す。
これにより、被写体の顔の明るさに応じて、より適切な特性を使用して輝度を補正することができる。
第2の特性は、第5の範囲と第6の範囲との閾値となる輝度で適切な特性である。
これにより、所定の低輝度及び高輝度において適切な特性を基に、輝度を補正する特性を設定することができる。
画像処理部57は、分割される複数の部分各々に、異なる補正方法で輝度を補正する処理を、更に施す。
これにより、被写体の顔の輝度の分布に応じた補正方法を適用して、被写体の顔の各部分を補正することができる。
これにより、人物の顔の明るさを適切に表すと推定される部分に基づいて、人物の顔の輝度の基準値を取得することができる。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域を、排他的な複数の部分に分割する第1の分割手段と、
前記第1の分割手段が複数の部分に分割するための輝度の閾値を、前記取得手段により取得される基準値に基づき特定する第1の閾値特定手段と、
前記第1の分割手段により分割される複数の部分各々の輝度を、異なる補正方法で補正する処理を施す画像処理手段と、
を備える画像処理装置。
[付記2]
前記第1の分割手段によって排他的に分割される部分は、3以上であって、
前記第1の閾値特定手段は、前記取得手段により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する付記1に記載の画像処理装置。
[付記3]
前記画像処理手段は、
前記第1の分割手段により分割される、最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、
前記第1の分割手段により分割される、次に輝度が低い部分である第2の部分には、輝度を低くする又は高くする処理を施す付記2に記載の画像処理装置。
[付記4]
前記画像処理手段は、
前記第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には、輝度を高くする処理を施し、
前記第2の部分に輝度を高くする処理を施す場合には、第3の部分には、輝度を低くする処理を施す付記3に記載の画像処理装置。
[付記5]
前記第1の分割手段によって排他的に分割される部分は、3以上であって、
前記第1の閾値特定手段は、前記取得手段により取得される基準値を、少なくとも、最も輝度が高い側からの2つの部分を分割するための輝度の閾値として特定する付記1から4のいずれか1つに記載の画像処理装置。
[付記6]
前記画像処理手段が輝度を補正する処理を施すための特性を、前記取得手段により取得される基準値に基づき特定する特性特定手段を、更に備え、
前記画像処理手段は、前記特性特定手段により特定される特性で輝度を補正する処理を、更に施す付記1から5のいずれか1つに記載の画像処理装置。
[付記7]
撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、前記取得手段により取得される基準値に基づき特定する特性特定手段と、
前記人物の顔領域の輝度を、前記特性特定手段により特定される特性で補正する処理を施す画像処理手段と、
を備える画像処理装置。
[付記8]
前記画像処理手段は、
最も輝度が低い範囲である第1の範囲には、輝度を補正する処理を施さず、
次に輝度が低い範囲である第2の範囲には、輝度を低くする又は高くする処理を施す付記7に記載の画像処理装置。
[付記9]
前記画像処理手段は、
前記第2の範囲に輝度を低くする処理を施す場合には、その他の範囲である第3の範囲には、輝度を高くする処理を施し、
前記第2の範囲に輝度を高くする処理を施す場合には、第3の範囲には、輝度を低くする処理を施す付記8に記載の画像処理装置。
[付記10]
撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域の輝度を、前記取得手段により取得される基準値に基づく特性で補正する処理を施す画像処理手段と、
前記人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、前記画像処理手段が施す輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、前記取得手段により取得される基準値の閾値を特定する第2の閾値特定手段と、
を備える画像処理装置。
[付記11]
前記第2の閾値特定手段により特定される閾値に基づき、基準値の輝度の範囲を、少なくとも、輝度の低い範囲である第4の範囲と、輝度の高い範囲である第6の範囲と、その間の範囲である第5の範囲と、に分割する第2の分割手段を、更に備え、
前記画像処理手段は、前記第2の分割手段により分割される各範囲に応じた異なる特性で輝度を補正する処理を施す付記10に記載の画像処理装置。
[付記12]
前記画像処理手段は、基準値の輝度が、
前記第4の範囲に含まれる場合は、基準値の輝度によらず第1の特性を使用し、
前記第6の範囲に含まれる場合は、基準値の輝度によらず第2の特性を使用し、
前記第5の範囲に含まれる場合は、基準値の輝度に応じて、第1の特性と第2特性とから特定される特性を使用して、
輝度を補正する処理を施す付記11に記載の画像処理装置。
[付記13]
前記第1の特性は、前記第4の範囲と前記第5の範囲との閾値となる輝度で適切な特性であり、
前記第2の特性は、前記第5の範囲と前記第6の範囲との閾値となる輝度で適切な特性である付記12に記載の画像処理装置。
[付記14]
前記人物の顔領域を、当該人物の顔領域内の輝度の分布に応じて複数の部分に分割する第3の分割手段、更に備え、
前記画像処理手段は、前記第3の分割手段により分割される複数の部分各々に、異なる補正方法で輝度を補正する処理を、更に施す付記10から13のいずれか1つに記載の画像処理装置。
[付記15]
前記取得手段は、前記撮像画像に含まれる人物の目の下側であって鼻を含む部分の輝度の平均値を、基準値として取得する付記1から14のいずれか1つに記載の画像処理装置。
[付記16]
撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域を、排他的な複数の部分に分割する第1の分割処理と、
前記第1の分割処理において複数の部分に分割するための輝度の閾値を、前記取得処理により取得される基準値に基づき特定する第1の閾値特定処理と、
前記第1の分割処理において分割される複数の部分各々の輝度、異なる補正方法で補正する処理を施す画像補正処理と、
を含む画像処理方法。
[付記17]
撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、前記取得処理において取得される基準値に基づき特定する特性特定処理と、
前記人物の顔領域の輝度を、前記特性特定処理において特定される特性で補正する処理を施す画像補正処理と、
を含む画像処理方法。
[付記18]
撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域の輝度を、前記取得処理において取得される基準値に基づく特性で補正する処理を施す画像補正処理と、
前記人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、前記画像補正処理において施される輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、前記取得処理において取得される基準値の閾値を特定する第2の閾値特定処理と、
を含むことを特徴とする画像処理方法。
Claims (12)
- 撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域を、排他的な3つ以上の部分に分割する第1の分割手段と、
前記第1の分割手段が複数の部分に分割するための輝度の閾値を、前記取得手段により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する第1の閾値特定手段と、
前記第1の分割手段により分割される最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、次に輝度が低い部分である第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には輝度を高くする処理を施し、前記第2の部分に輝度を高くする処理を施す場合には、前記第3の部分には輝度を低くする処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。 - 前記画像処理手段が輝度を補正する処理を施すための特性を、前記取得手段により取得される基準値に基づき特定する特性特定手段を、更に備え、
前記画像処理手段は、前記特性特定手段により特定される特性で輝度を補正する処理を、更に施すことを特徴とする請求項1に記載の画像処理装置。 - 撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、前記取得手段により取得される基準値に基づき特定する特性特定手段と、
前記人物の顔領域の輝度を、前記特性特定手段によって特定された特性に応じて、最も輝度が低い範囲である第1の範囲には輝度を補正する処理を施さず、次に輝度が低い範囲である第2の範囲に輝度を低くする処理を施す場合には、その他の範囲である第3の範囲には輝度を高くする処理を施し、前記第2の範囲に輝度を高くする処理を施す場合には、第3の範囲には輝度を低くする処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。 - 撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域の輝度を、前記取得手段により取得される基準値に基づく特性で補正する処理を施す画像処理手段と、
前記人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、前記画像処理手段が施す輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、前記取得手段により取得される基準値の閾値を特定する第2の閾値特定手段と、
を備えることを特徴とする画像処理装置。 - 前記第2の閾値特定手段により特定される閾値に基づき、基準値の輝度の範囲を、少なくとも、輝度の低い範囲である第4の範囲と、輝度の高い範囲である第6の範囲と、その間の範囲である第5の範囲と、に分割する第2の分割手段を、更に備え、
前記画像処理手段は、前記第2の分割手段により分割される各範囲に応じた異なる特性で輝度を補正する処理を施すことを特徴とする請求項4に記載の画像処理装置。 - 前記画像処理手段は、基準値の輝度が、
前記第4の範囲に含まれる場合は、基準値の輝度によらず第1の特性を使用し、
前記第6の範囲に含まれる場合は、基準値の輝度によらず第2の特性を使用し、
前記第5の範囲に含まれる場合は、基準値の輝度に応じて、第1の特性と第2特性とから特定される特性を使用して、
輝度を補正する処理を施すことを特徴とする請求項5に記載の画像処理装置。 - 前記第1の特性とは、前記第4の範囲と前記第5の範囲との閾値となる輝度を補正するために適切な特性であり、
前記第2の特性とは、前記第5の範囲と前記第6の範囲との閾値となる輝度を補正するために適切な特性であることを特徴とする請求項6に記載の画像処理装置。 - 前記人物の顔領域を、当該人物の顔領域内の輝度の分布に応じて複数の部分に分割する第3の分割手段を、更に備え、
前記画像処理手段は、前記第3の分割手段により分割される複数の部分各々に、異なる補正方法で輝度を補正する処理を、更に施すことを特徴とする請求項4から7のいずれか1項に記載の画像処理装置。 - 前記取得手段は、前記撮像画像に含まれる人物の目の下側であって鼻を含む部分の輝度の平均値を、基準値として取得することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域を、排他的な3つ以上の部分に分割する第1の分割処理と、
前記第1の分割処理において複数の部分に分割するための輝度の閾値を、前記取得処理により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する第1の閾値特定処理と、
前記第1の分割処理において分割される最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、次に輝度が低い部分である第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には輝度を高くする処理を施し、前記第2の部分に輝度を高くする処理を施す場合には、前記第3の部分には輝度を低くする処理を施す画像補正処理と、
を含むことを特徴とする画像処理方法。 - 撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、前記取得処理において取得される基準値に基づき特定する特性特定処理と、
前記人物の顔領域の輝度を、前記特性特定処理によって特定された特性に応じて、最も輝度が低い範囲である第1の範囲には輝度を補正する処理を施さず、次に輝度が低い範囲である第2の範囲に輝度を低くする処理を施す場合には、その他の範囲である第3の範囲には輝度を高くする処理を施し、前記第2の範囲に輝度を高くする処理を施す場合には、第3の範囲には輝度を低くする処理を施す画像補正処理と、
を含むことを特徴とする画像処理方法。 - 撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域の輝度を、前記取得処理において取得される基準値に基づく特性で補正する処理を施す画像補正処理と、
前記人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、前記画像補正処理において施される輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、前記取得処理において取得される基準値の閾値を特定する第2の閾値特定処理と、
を含むことを特徴とする画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007756A JP6720881B2 (ja) | 2017-01-19 | 2017-01-19 | 画像処理装置及び画像処理方法 |
CN201810042186.5A CN108337450B (zh) | 2017-01-19 | 2018-01-16 | 图像处理装置、图像处理方法以及记录介质 |
US15/873,409 US10382671B2 (en) | 2017-01-19 | 2018-01-17 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007756A JP6720881B2 (ja) | 2017-01-19 | 2017-01-19 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018117288A JP2018117288A (ja) | 2018-07-26 |
JP6720881B2 true JP6720881B2 (ja) | 2020-07-08 |
Family
ID=62841711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017007756A Active JP6720881B2 (ja) | 2017-01-19 | 2017-01-19 | 画像処理装置及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10382671B2 (ja) |
JP (1) | JP6720881B2 (ja) |
CN (1) | CN108337450B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6904788B2 (ja) * | 2017-05-25 | 2021-07-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2019016833A (ja) * | 2017-07-03 | 2019-01-31 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
CN107635102B (zh) * | 2017-10-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 高动态范围图像曝光补偿值获取方法和装置 |
US10791281B1 (en) * | 2019-03-26 | 2020-09-29 | Getac Technology Corporation | Image processing method and system based on adjustments performed according to environment |
JP7472706B2 (ja) | 2020-07-30 | 2024-04-23 | 日本精機株式会社 | 視点位置検出システム |
CN115689903A (zh) * | 2021-07-23 | 2023-02-03 | Oppo广东移动通信有限公司 | 图像处理方法及装置、设备、存储介质 |
CN114598852B (zh) * | 2022-03-07 | 2023-06-09 | 杭州国芯科技股份有限公司 | 摄像机人脸区域白平衡的优化方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4519681B2 (ja) * | 2004-02-26 | 2010-08-04 | 大日本印刷株式会社 | 人物の唇領域マスクデータの作成方法および作成装置 |
JP4736939B2 (ja) * | 2005-08-16 | 2011-07-27 | コニカミノルタホールディングス株式会社 | 撮像装置及び画像処理方法 |
US7791656B2 (en) * | 2005-08-16 | 2010-09-07 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image processing method |
JP4934326B2 (ja) * | 2005-09-29 | 2012-05-16 | 富士フイルム株式会社 | 画像処理装置およびその処理方法 |
US7999863B2 (en) * | 2006-02-01 | 2011-08-16 | Fujifilm Corporation | Image correction apparatus and method |
JP2008228185A (ja) | 2007-03-15 | 2008-09-25 | Fujifilm Corp | 撮像装置 |
JP5100565B2 (ja) * | 2008-08-05 | 2012-12-19 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2010074222A (ja) | 2008-09-16 | 2010-04-02 | Sony Corp | 画像処理装置、輝度変換曲線補正方法およびプログラム |
JP5383360B2 (ja) * | 2009-07-15 | 2014-01-08 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
KR101653271B1 (ko) * | 2009-12-02 | 2016-09-01 | 삼성전자주식회사 | 측면광을 판단하는 디지털 영상 신호 처리 방법, 상기 방법을 기록한 기록 매체 및 디지털 영상 신호 처리 장치 |
JP5479068B2 (ja) * | 2009-12-16 | 2014-04-23 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US9113114B2 (en) * | 2010-05-12 | 2015-08-18 | Samsung Electronics Co., Ltd | Apparatus and method for automatically controlling image brightness in image photographing device |
JP5624809B2 (ja) * | 2010-06-24 | 2014-11-12 | 株式会社 日立産業制御ソリューションズ | 画像信号処理装置 |
JP2015100091A (ja) | 2013-11-20 | 2015-05-28 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN105657289B (zh) * | 2016-03-28 | 2018-05-08 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
-
2017
- 2017-01-19 JP JP2017007756A patent/JP6720881B2/ja active Active
-
2018
- 2018-01-16 CN CN201810042186.5A patent/CN108337450B/zh active Active
- 2018-01-17 US US15/873,409 patent/US10382671B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN108337450B (zh) | 2020-10-30 |
CN108337450A (zh) | 2018-07-27 |
JP2018117288A (ja) | 2018-07-26 |
US20180205879A1 (en) | 2018-07-19 |
US10382671B2 (en) | 2019-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
US9407831B2 (en) | Intelligent auto-exposure bracketing | |
JP5136669B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5624809B2 (ja) | 画像信号処理装置 | |
US20150163391A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium | |
US10271029B2 (en) | Image pickup apparatus and method of controlling an image pickup apparatus | |
JP2010193099A (ja) | 撮像装置およびその制御方法 | |
JP6904788B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5984975B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
JP5370555B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP6677222B2 (ja) | 検出装置、画像処理装置、検出方法、及び画像処理方法 | |
US20150312487A1 (en) | Image processor and method for controlling the same | |
JP2014179920A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US20140354841A1 (en) | Image processing apparatus and method, and image capturing apparatus | |
US8982244B2 (en) | Image capturing apparatus for luminance correction, a control method therefor, and a recording medium | |
JP2010183460A (ja) | 撮像装置およびその制御方法 | |
JP5335964B2 (ja) | 撮像装置およびその制御方法 | |
JP6786273B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP2006180078A (ja) | 電子カメラ、画像処理装置および画像処理プログラム | |
JP2010183461A (ja) | 撮像装置およびその制御方法 | |
JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
JP6627418B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5351663B2 (ja) | 撮像装置およびその制御方法 | |
US20240048822A1 (en) | Image capture apparatus and control method for same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6720881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |