JP6720881B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6720881B2
JP6720881B2 JP2017007756A JP2017007756A JP6720881B2 JP 6720881 B2 JP6720881 B2 JP 6720881B2 JP 2017007756 A JP2017007756 A JP 2017007756A JP 2017007756 A JP2017007756 A JP 2017007756A JP 6720881 B2 JP6720881 B2 JP 6720881B2
Authority
JP
Japan
Prior art keywords
brightness
range
image processing
luminance
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017007756A
Other languages
English (en)
Other versions
JP2018117288A (ja
Inventor
新太郎 今井
新太郎 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017007756A priority Critical patent/JP6720881B2/ja
Priority to CN201810042186.5A priority patent/CN108337450B/zh
Priority to US15/873,409 priority patent/US10382671B2/en
Publication of JP2018117288A publication Critical patent/JP2018117288A/ja
Application granted granted Critical
Publication of JP6720881B2 publication Critical patent/JP6720881B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置及び画像処理方法に関する。
従来、人物の顔に立体感のある撮影を、スタジオ等でのライティングを必要とせずに行えるように、被写体の顔を左右に分割し、各々の輝度の諧調値に基づき顔画像が所望のコントラスト比となるように支援または撮像する技術が知られている(例えば、特許文献1参照)。
特開2008−228185号公報
しかしながら、従来の技術においては、被写体の顔の左右のバランスを考慮しているだけであって、被写体の顔の特徴までを考慮するものではない。
そのため、従来の技術によって人物の顔を撮影した場合、必ずしも適切な立体感のある顔の画像を取得できるものではなかった。
本発明は、このような状況に鑑みてなされたものであり、被写体の顔の特徴を考慮して、顔に適切な立体感のある画像を取得することを目的とする。
上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域を、排他的な3つ以上の部分に分割する第1の分割手段と、
前記第1の分割手段が複数の部分に分割するための輝度の閾値を、前記取得手段により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する第1の閾値特定手段と、
前記第1の分割手段により分割される最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、次に輝度が低い部分である第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には輝度を高くする処理を施し、前記第2の部分に輝度を高くする処理を施す場合には、前記第3の部分には輝度を低くする処理を施す画像処理手段と、
を備えることを特徴とする。
本発明によれば、被写体の顔の特徴を考慮して、顔に適切な立体感のある画像を取得することが可能となる。
本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図1の画像処理装置の機能的構成のうち、画像補正処理を実行するための機能的構成を示す機能ブロック図である。 低輝度用のガンマ補正の特性を示す模式図である。 高輝度用のガンマ補正の特性を示す模式図である。 被写体の顔の領域における計測領域を示す模式図である。 計測領域における各画素の輝度のヒストグラムの一例を示す模式図である。 図2の機能構成を有する図1の画像処理装置が実行する画像補正処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
[構成]
図1は、本発明の一実施形態に係る画像処理装置1のハードウェアの構成を示すブロック図である。
画像処理装置1は、例えば、デジタルカメラとして構成される。
画像処理装置1は、図1に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
CPU11は、ROM12に記録されているプログラム、または、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像」と呼ぶ。撮像画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
入力部17は、各種釦やマイク等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはフラッシュメモリ等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
図2は、図1の画像処理装置1の機能的構成のうち、画像補正処理を実行するための機能的構成を示す機能ブロック図である。
画像補正処理とは、被写体の顔の明るさに応じた特性のガンマ補正を適用することにより、顔に立体感のある画像を取得する一連の処理をいう。
画像補正処理が実行される場合、図2に示すように、CPU11において、画像取得部51と、顔検出部52と、基準値取得部53と、閾値特定部54と、ユーザインターフェース表示制御部(UI表示制御部)55と、特性特定部56と、画像処理部57とが機能する。
また、記憶部19の一領域には、画像記憶部71と、ガンマ補正テーブル記憶部72とが設定される。
画像記憶部71には、画像補正処理による補正前の撮像画像のデータ及び画像補正処理による補正後の撮像画像のデータが記憶される。
ガンマ補正テーブル記憶部72には、画像補正処理において用いられるガンマ補正の特性を表すテーブル形式のデータが記憶される。本実施形態においては、ガンマ補正の特性として、低輝度用のガンマ補正の特性及び高輝度用のガンマ補正の特性に対応するテーブル形式のデータが記憶されており、後述するように、これらの特性が単体で、または合成されて被写体の顔の領域の補正処理に用いられる。
図3は、低輝度用のガンマ補正の特性を示す模式図である。
また、図4は、高輝度用のガンマ補正の特性を示す模式図である。
なお、以下の説明においては、画素の輝度が0〜255の値の範囲を取る場合を例に挙げて説明する。
図3及び図4に示すように、低輝度用のガンマ補正の特性及び高輝度用のガンマ補正の特性では、輝度がゼロに近い所定範囲(後述する下限閾値未満の範囲)は輝度が維持され、輝度が所定範囲より大きい場合に、S字特性によって輝度が補正されるものとなっている。また、低輝度側においてS字特性が適用される下限の閾値(以下、適宜「下限閾値」と呼ぶ。)と、S字特性におけるクロスポイント(輝度の増加処理と減少処理との境界)となる閾値(以下、「基準閾値」と呼ぶ。)とは、低輝度用のガンマ補正の特性及び高輝度用のガンマ補正の特性それぞれにおいて、異なる値に設定されている。
画像取得部51は、撮像部16により撮像された画像に現像処理が行われた撮像画像のデータ、あるいは画像記憶部71に記憶されている撮像画像のデータ(画像補正処理による補正前の撮像画像のデータ)を取得する。
顔検出部52は、画像取得部51によって取得された撮像画像のデータを対象として、被写体の顔検出を行う。顔検出については、既存の顔検出技術を用いることができる。例えば、輝度の情報に基づく顔検出方法や、輪郭抽出による顔検出方法等を用いることができ、その検出方法は問わない。なお、画像取得部51によって取得された撮像画像のデータにおいて、被写体の顔が検出されない場合、画像補正処理は終了される。
基準値取得部53は、顔検出部52によって検出された被写体の顔の領域において、顔の輝度を表す基準となる基準値を取得する。具体的には、基準値取得部53は、顔検出部52によって検出された被写体の顔の領域において、器官検出によって両眼を検出し、検出された両眼の位置を基準として、両眼の下の鼻を含む矩形領域(以下、「計測領域」と呼ぶ。)の各画素の輝度を取得する。器官検出については、既存の器官検出技術を用いることができる。例えば、輝度の情報に基づく器官検出方法や、輪郭抽出による器官検出方法等を用いることができ、その検出方法は問わない。
図5は、被写体Pの顔の領域における計測領域Cを示す模式図である。
図5に示すように、本実施形態においては、被写体Pの顔の領域において、両眼の下の鼻を含む矩形領域が計測領域Cに設定される。
そして、基準値取得部53は、計測領域Cから取得した各画素の輝度のヒストグラムを算出し、さらに各画素の輝度の平均値を算出する。この平均値が、被写体の顔の輝度を表す基準値となる。
図6は、計測領域Cにおける各画素の輝度のヒストグラムの一例を示す模式図である。
図6に示すように、計測領域における各画素は、横軸に表される輝度値のいずれかに属し、ヒストグラムに基づいて、計測領域の輝度の平均値を取得することができる。
閾値特定部54は、算出した輝度の平均値(被写体の顔の輝度を表す基準値)に基づいて、画像補正処理において適用する補正特性の閾値を特定する。具体的には、閾値特定部54は、低輝度側においてガンマ補正のS字特性が適用される下限閾値と、S字特性におけるクロスポイントとなる基準閾値とを特定する。
本実施形態において、画像補正処理によって被写体の顔に補正を行う場合、被写体の顔の輝度を表す基準値(基準値取得部53が算出した平均値)が、予め定められた輝度の基準値の設定範囲を下回っている(顔が下限(例えば、輝度の平均値が140)よりも暗い)場合、低輝度用のガンマ補正の特性が用いられる。また、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲を超えている(顔が上限(例えば、輝度の平均値が180)よりも明るい)場合、高輝度用のガンマ補正の特性が用いられる。さらに、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲(輝度の平均値が下限から上限までの範囲)内にある場合、その基準値に応じて、低輝度用のガンマ補正の特性と高輝度用のガンマ補正の特性とを基にガンマ補正の合成特性が算出されて用いられる。
したがって、閾値特定部54は、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲内にある場合に、ガンマ補正の合成特性の閾値(下限閾値及び基準閾値)を含む各特性値を算出する。ガンマ補正の合成特性は、例えば、低輝度用のガンマ補正の特性の基準閾値と、高輝度用のガンマ補正の特性の基準閾値との間において、被写体の顔の輝度を表す基準値がいずれの位置にあるかによって、低輝度用のガンマ補正の特性と高輝度用のガンマ補正の特性とを重み付け加算すること等により算出することができる。
UI表示制御部55は、被写体の顔の輝度を表す基準値に応じて、低輝度用のガンマ補正の特性、高輝度用のガンマ補正の特性またはガンマ補正の合成特性のいずれかを、被写体の顔の画像と共にユーザインターフェース画面に表示する。このとき、UI表示制御部55は、画像取得部51により取得された撮像画像のデータにガンマ補正が適用された被写体の顔の画像を、出力部18のディスプレイでプレビューによって表示する。ユーザはこのプレビュー表示によりガンマ補正による立体感を確認し、入力部17によりガンマ補正を行うか否かを設定することができる。
特性特定部56は、UI表示制御部55が表示するユーザインターフェース画面に表示されたガンマ補正の特性(低輝度用のガンマ補正の特性、高輝度用のガンマ補正の特性またはガンマ補正の合成特性)を、画像補正処理において用いるガンマ補正の特性として特定する。即ち、特性特定部56は、排他的に複数に分割される輝度の範囲(ここでは、下限閾値及び基準閾値を境界として分割される3つの範囲)に応じて、輝度の補正の方法が異なる特性を、被写体の顔の輝度を表す基準値に基づいて特定する。
画像処理部57は、特性特定部56によって特定されたガンマ補正の特性に基づいて、被写体の顔の領域に対する補正処理を実行する。具体的には、画像処理部57は、被写体の顔の領域を、下限閾値よりも小さい輝度を有する画素からなる第1の部分と、下限閾値以上で基準閾値未満の輝度を有する画素からなる第2の部分と、基準閾値以上の輝度(第3の範囲の輝度)を有する画素からなる第3の部分とに分割し、第1の部分には輝度を維持する処理、第2の部分には輝度を減少させる処理、第3の部分には輝度を増加させる処理をそれぞれ実行する。
なお、本実施形態において、被写体の顔の領域の下限閾値よりも小さい輝度の範囲が第1の範囲、下限閾値以上で基準閾値未満の輝度の範囲が第2の範囲、基準閾値以上の輝度の範囲が第3の範囲を表している。そして、被写体の顔の領域において、第1の範囲の輝度を有する画素からなる部分が第1の部分、第2の範囲の輝度を有する画素からなる部分が第2の部分、第3の範囲の輝度を有する画素からなる部分が第3の部分を表している。
また、ガンマ補正の特性における下限閾値が第1の閾値、基準閾値が第2の閾値を表し、被写体の顔の輝度を表す基準値に関し、予め定められた輝度の基準値の設定範囲の下限が第3の閾値、予め定められた輝度の基準値の設定範囲の上限が第4の閾値を表している。
また、予め定められた輝度の基準値の設定範囲の下限を下回る範囲が第4の範囲、予め定められた輝度の基準値の設定範囲が第5の範囲、予め定められた輝度の基準値の設定範囲の上限を超える範囲が第6の範囲を表している。
さらに、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲を下回っている場合に用いられる低輝度用のガンマ補正の特性が第1の特性、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲を超えている場合に用いられる高輝度用のガンマ補正の特性が第2の特性を表している。
[動作]
次に、画像処理装置1の動作を説明する。
図7は、図2の機能構成を有する図1の画像処理装置1が実行する画像補正処理の流れを説明するフローチャートである。
画像補正処理は、入力部17を介して画像補正処理の開始を指示する操作が行われることにより開始される。
画像補正処理の開始を指示する操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部16により撮像された画像に、現像処理が行われた撮像画像のデータに対して、引き続き画像補正処理を行ってもよく、また、画像記憶部71に記憶されている撮像画像のデータを取得し、その取得された撮像画像のデータに対して画像補正処理の開始を指示する操作であってもよい。
ステップS1において、画像取得部51は、撮像部16により撮像された画像に現像処理が行われた撮像画像のデータ、あるいは画像記憶部71に記憶されている撮像画像のデータ(画像補正処理による補正前の撮像画像のデータ)を取得する。
ステップS2において、顔検出部52は、画像取得部51によって取得された撮像画像のデータを対象として、被写体の顔検出を行う。
ステップS3において、基準値取得部53は、顔検出部52によって検出された被写体の顔の領域において、器官検出によって両眼を検出し、検出された両眼の位置を基準として、両眼の下の鼻を含む矩形領域(計測領域)の各画素の輝度を取得する。
ステップS4において、基準値取得部53は、両眼の下の鼻を含む矩形領域(計測領域)における各画素の輝度のヒストグラムを算出する。
ステップS5において、基準値取得部53は、両眼の下の鼻を含む矩形領域(計測領域)における各画素の輝度の平均値を算出する。
ステップS6において、閾値特定部54は、ステップS5において算出した輝度の平均値(顔の輝度を表す基準値)に基づいて、画像補正処理において適用する補正特性の閾値を特定する。具体的には、閾値特定部54は、低輝度側においてガンマ補正のS字特性が適用される下限閾値と、S字特性におけるクロスポイントとなる基準閾値とを特定する。
ステップS7において、UI表示制御部55は、被写体の顔の輝度を表す基準値に応じて、低輝度用のガンマ補正の特性、高輝度用のガンマ補正の特性またはガンマ補正の合成特性のいずれかを、被写体の顔の画像と共にユーザインターフェース画面に表示する。
ユーザ操作によりガンマ補正を行うと設定された場合に、ステップS8において、UI表示制御部55が表示するユーザインターフェース画面に表示されたガンマ補正の特性(低輝度用のガンマ補正の特性、高輝度用のガンマ補正の特性またはガンマ補正の合成特性)を、画像補正処理において用いるガンマ補正の特性として特定する。なお、ユーザ操作によりガンマ補正を行わないと設定された場合には画像補正処理を終了する。
ステップS9において、画像処理部57は、特性特定部56によって特定されたガンマ補正の特性に基づいて、被写体の顔の領域に対する補正処理を実行する。このとき、上述したように、画像処理部57は、被写体の顔の領域における第1の部分には輝度を維持する処理、第2の部分には輝度を減少させる処理、第3の部分には輝度を増加させる処理をそれぞれ実行する。
ステップS9の後、画像補正処理は終了となる。
このような処理により、画像処理装置1においては、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲を下回っている(顔が下限よりも暗い)場合、低輝度用のガンマ補正の特性を用いて画像の補正が行われる。また、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲を超えている(顔が上限よりも明るい)場合、高輝度用のガンマ補正の特性を用いて画像の補正が行われる。さらに、被写体の顔の輝度を表す基準値が、予め定められた輝度の基準値の設定範囲内にある場合、その基準値に応じて、低輝度用のガンマ補正の特性と高輝度用のガンマ補正の特性とを基に算出されたガンマ補正の合成特性を用いて画像の補正が行われる。
また、画像の補正が行われる際に、下限閾値よりも小さい輝度を有する画素からなる第1の部分には輝度を維持する処理、下限閾値以上で基準閾値未満の輝度を有する画素からなる第2の部分には輝度を減少させる処理、基準閾値以上の輝度を有する画素からなる第3の部分には輝度を増加させる処理が行われる。
そのため、被写体の顔の明るさに応じた特性のガンマ補正を適用して、被写体の顔の各部分をその輝度に応じて補正することができる。
したがって、画像処理装置1によれば、被写体の顔の特徴を考慮して、顔に適切な立体感のある画像を取得することが可能となる。
[変形例1]
上述の実施形態において、画像補正処理において用いられるガンマ補正がS字特性を有するものとして説明した。
これに対し、画像補正処理において用いられるガンマ補正が逆S字特性を有するものすることができる。
逆S字特性を有するガンマ補正では、立体感を低減する補正が可能となる。
したがって、ほりが深い顔や髪に一部が隠されて暗くなっている顔を、より適切な立体感の画像に補正することができる。
また、UI表示制御部55は、S字特性によるガンマ補正と、逆S字特性によるガンマ補正とを、出力部18のディスプレイに選択可能にライブビューにより表示することで、ユーザがいずれのガンマ補正を行うか、あるいは行わないかを選択し設定することができる。
[変形例2]
上述の実施形態において、画像補正処理において用いられるガンマ補正の特性は、輝度がゼロに近い所定範囲では輝度を維持し、輝度が所定範囲より大きい場合、S字特性によって輝度が補正されるものとして説明した。
これに対し、低輝度用のガンマ補正の特性及び高輝度用のガンマ補正の特性において、高輝度側においてS字特性が適用される上限の閾値(以下、「上限閾値」と呼ぶ。)を設定し、輝度が最高輝度に近い所定範囲(上限閾値を超える範囲)では輝度が維持されるものとしてもよい。
この場合、輝度が高い画素において、白とびが発生することを抑制できる。
[変形例3]
上述の実施形態において、UI表示制御部55に表示されたガンマ補正の特性に対し、ユーザの操作により、S字特性のカーブを変更可能な構成とすることができる。
即ち、UI表示制御部55は、表示したユーザインターフェース画面において、低輝度用のガンマ補正の特性、高輝度用のガンマ補正の特性またはガンマ補正の合成特性におけるS字特性のカーブを変更するためのユーザによる操作を受け付ける。このとき、UI表示制御部55は、入力部17によるユーザの操作に応じて、変更されたS字特性のガンマ補正が適用された被写体の顔の画像を、出力部18のディスプレイにプレビューによって表示する。なお、ユーザインターフェース画面における操作では、下限閾値及び基準閾値に対する変更は許可されないものとする。
そして、特性特定部56は、UI表示制御部55が表示するユーザインターフェース画面において、ユーザが変更のための操作を行った後のガンマ補正の特性を、画像補正処理において用いるガンマ補正の特性として特定する。
これにより、ユーザは、プレビューされた画像を確認しながら、被写体の顔の画像をより適切な立体感に調整することが可能となる。
以上のように構成される画像処理装置1は、基準値取得部53と、画像処理部57と、閾値特定部54とを備える。
基準値取得部53は、撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する。
画像処理部57は、人物の顔領域を、排他的な複数の部分に分割する。
閾値特定部54は、画像処理部57が複数の部分に分割するための輝度の閾値を、基準値取得部53により取得される基準値に基づき特定する。
画像処理部57は、分割される複数の部分各々の輝度を、異なる補正方法で補正する輝度を補正する処理を施す。
これにより、被写体の顔の輝度の分布に応じた補正方法を適用して、被写体の顔の各部分を補正することができる。
したがって、被写体の顔の特徴を考慮して、顔に適切な立体感のある画像を取得することが可能となる。
画像処理部57によって排他的に分割される部分は、3以上である。
閾値特定部54は、基準値取得部53により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する。
これにより、補正方法を異ならせる際の低輝度側の境界を特定することができる。
画像処理部57は、分割される、最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、分割される、次に輝度が低い部分である第2の部分には、輝度を低くする又は高くする処理を施す。
これにより、第1の部分及び第2の部分において、S字特性に基づく補正を行うことができる。
画像処理部57は、第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には、輝度を高くする処理を施し、第2の部分に輝度を高くする処理を施す場合には、第3の部分には、輝度を低くする処理を施す。
これにより、S字特性または逆S字特性に基づく補正を行うことができる。
画像処理部57によって排他的に分割される部分は、3以上である。
画像処理部57は、基準値取得部53により取得される基準値を、少なくとも、最も輝度が高い側からの2つの部分を分割するための輝度の閾値として特定する。
これにより、補正方法を異ならせる際の高輝度側の境界を特定することができる。
また、画像処理装置1は、特性特定部56を更に備える。
特性特定部56は、画像処理部57が輝度を補正する処理を施すための特性を、基準値取得部53により取得される基準値に基づき特定する。
画像処理部57は、特性特定部56により特定される特性で輝度を補正する処理を、更に施す。
これにより、画像を補正するための適切な特性を取得して、輝度を補正することができる。
また、画像処理装置1は、基準値取得部53と、特性特定部56と、画像処理部57とを備える。
基準値取得部53は、撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する。
特性特定部56は、人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、基準値取得部53により取得される基準値に基づき特定する。
画像処理部57は、人物の顔領域の輝度を、特性特定部56により特定される特性で補正する処理を施す。
これにより、被写体の顔領域における所定数の画素毎の輝度の範囲に応じた異なる補正方法によって、被写体の顔領域を補正することができる。
したがって、被写体の顔の特徴を考慮して、顔に適切な立体感のある画像を取得することが可能となる。
画像処理部57は、最も輝度が低い範囲である第1の範囲には、輝度を補正する処理を施さず、次に輝度が低い範囲である第2の範囲には、輝度を低くする又は高くする処理を施す。
これにより、被写体の顔におけるシミやほくろ等、低輝度な部分が補正により目立つことを避けることができる。
画像処理部57は、第2の範囲に輝度を低くする処理を施す場合には、その他の範囲である第3の範囲には、輝度を高くする処理を施し、第2の範囲に輝度を高くする処理を施す場合には、第3の範囲には、輝度を低くする処理を施す。
これにより、S字特性または逆S字特性に基づく補正を行うことができる。
また、画像処理装置1は、基準値取得部53と、画像処理部57と、閾値特定部54とを備える。
基準値取得部53は、撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する。
画像処理部57は、人物の顔領域の輝度を、基準値取得部53により取得される基準値に基づく特性で補正する処理を施す。
閾値特定部54は、人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、画像処理部57が施す輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、基準値取得部53により取得される基準値の閾値を特定する。
これにより、画素毎の輝度が同じ値であっても異なる補正となる3以上の種類の特性を特定することで、顔に適切な立体感のある画像を取得することができる。
画像処理部57は、閾値特定部54により特定される閾値に基づき、基準値の輝度の範囲を、少なくとも、輝度の低い範囲である第4の範囲と、輝度の高い範囲である第6の範囲と、その間の範囲である第5の範囲と、に分割する。
画像処理部57は、分割される各範囲に応じた異なる特性で輝度を補正する処理を施す。
これにより、被写体の顔の輝度の範囲に応じた補正方法を適用して、被写体の顔の各範囲を適切に補正することができる。
画像処理部57は、基準値の輝度が、
第4の範囲に含まれる場合は、基準値の輝度によらず第1の特性を使用し、
第6の範囲に含まれる場合は、基準値の輝度によらず第2の特性を使用し、
第5の範囲に含まれる場合は、基準値の輝度に応じて、第1の特性と第2特性とから特定される特性を使用して、
輝度を補正する処理を施す。
これにより、被写体の顔の明るさに応じて、より適切な特性を使用して輝度を補正することができる。
第1の特性は、第4の範囲と第5の範囲との閾値となる輝度で適切な特性であり、
第2の特性は、第5の範囲と第6の範囲との閾値となる輝度で適切な特性である。
これにより、所定の低輝度及び高輝度において適切な特性を基に、輝度を補正する特性を設定することができる。
画像処理部57は、人物の顔領域を、当該人物の顔領域内の輝度の分布に応じて複数の部分に分割する。
画像処理部57は、分割される複数の部分各々に、異なる補正方法で輝度を補正する処理を、更に施す。
これにより、被写体の顔の輝度の分布に応じた補正方法を適用して、被写体の顔の各部分を補正することができる。
基準値取得部53は、撮像画像に含まれる人物の目の下側であって鼻を含む部分の輝度の平均値を、基準値として取得する。
これにより、人物の顔の明るさを適切に表すと推定される部分に基づいて、人物の顔の輝度の基準値を取得することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、両眼の下の鼻を含む矩形領域を計測領域として、被写体の顔の輝度を表す基準値を取得したが、これに限られない。例えば、被写体の顔全体を計測領域として、被写体の顔の輝度を表す基準値を取得することとしてもよい。
また、上述の実施形態では、輝度を補正する特性としてS字特性を含むガンマ補正を用いることとしたが、これに限られない。例えば、被写体の顔の立体感を調整できる特性であれば、S字特性以外の特性を用いて輝度を補正することとしてもよい。
また、上述の実施形態では、画像取得部51は画像補正処理を行う撮像画像のデータを撮像部16により撮像された画像に現像処理が行われた撮像画像のデータ、あるいは画像記憶部71から取得することとしたが、これに限られない。例えば撮像部16から逐次出力されている現像処理が行われる前の撮像画像を取得するようにしてもよく、この場合、UI表示制御部55は、画像取得部51が取得する、撮像部16により出力されている撮像画像のデータにガンマ補正が適用された被写体の顔の画像を、出力部18のディスプレイでライブビューによって表示することとしてもよく、またユーザインターフェース表示を省略することとしてもよい。
また、上述の実施形態では、本発明が適用される画像処理装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域を、排他的な複数の部分に分割する第1の分割手段と、
前記第1の分割手段が複数の部分に分割するための輝度の閾値を、前記取得手段により取得される基準値に基づき特定する第1の閾値特定手段と、
前記第1の分割手段により分割される複数の部分各々の輝度を、異なる補正方法で補正する処理を施す画像処理手段と、
を備える画像処理装置。
[付記2]
前記第1の分割手段によって排他的に分割される部分は、3以上であって、
前記第1の閾値特定手段は、前記取得手段により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する付記1に記載の画像処理装置。
[付記3]
前記画像処理手段は、
前記第1の分割手段により分割される、最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、
前記第1の分割手段により分割される、次に輝度が低い部分である第2の部分には、輝度を低くする又は高くする処理を施す付記2に記載の画像処理装置。
[付記4]
前記画像処理手段は、
前記第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には、輝度を高くする処理を施し、
前記第2の部分に輝度を高くする処理を施す場合には、第3の部分には、輝度を低くする処理を施す付記3に記載の画像処理装置。
[付記5]
前記第1の分割手段によって排他的に分割される部分は、3以上であって、
前記第1の閾値特定手段は、前記取得手段により取得される基準値を、少なくとも、最も輝度が高い側からの2つの部分を分割するための輝度の閾値として特定する付記1から4のいずれか1つに記載の画像処理装置。
[付記6]
前記画像処理手段が輝度を補正する処理を施すための特性を、前記取得手段により取得される基準値に基づき特定する特性特定手段を、更に備え、
前記画像処理手段は、前記特性特定手段により特定される特性で輝度を補正する処理を、更に施す付記1から5のいずれか1つに記載の画像処理装置。
[付記7]
撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、前記取得手段により取得される基準値に基づき特定する特性特定手段と、
前記人物の顔領域の輝度を、前記特性特定手段により特定される特性で補正する処理を施す画像処理手段と、
を備える画像処理装置。
[付記8]
前記画像処理手段は、
最も輝度が低い範囲である第1の範囲には、輝度を補正する処理を施さず、
次に輝度が低い範囲である第2の範囲には、輝度を低くする又は高くする処理を施す付記7に記載の画像処理装置。
[付記9]
前記画像処理手段は、
前記第2の範囲に輝度を低くする処理を施す場合には、その他の範囲である第3の範囲には、輝度を高くする処理を施し、
前記第2の範囲に輝度を高くする処理を施す場合には、第3の範囲には、輝度を低くする処理を施す付記8に記載の画像処理装置。
[付記10]
撮像画像の輝度を補正する処理を施す画像処理装置であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
前記人物の顔領域の輝度を、前記取得手段により取得される基準値に基づく特性で補正する処理を施す画像処理手段と、
前記人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、前記画像処理手段が施す輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、前記取得手段により取得される基準値の閾値を特定する第2の閾値特定手段と、
を備える画像処理装置。
[付記11]
前記第2の閾値特定手段により特定される閾値に基づき、基準値の輝度の範囲を、少なくとも、輝度の低い範囲である第4の範囲と、輝度の高い範囲である第6の範囲と、その間の範囲である第5の範囲と、に分割する第2の分割手段を、更に備え、
前記画像処理手段は、前記第2の分割手段により分割される各範囲に応じた異なる特性で輝度を補正する処理を施す付記10に記載の画像処理装置。
[付記12]
前記画像処理手段は、基準値の輝度が、
前記第4の範囲に含まれる場合は、基準値の輝度によらず第1の特性を使用し、
前記第6の範囲に含まれる場合は、基準値の輝度によらず第2の特性を使用し、
前記第5の範囲に含まれる場合は、基準値の輝度に応じて、第1の特性と第2特性とから特定される特性を使用して、
輝度を補正する処理を施す付記11に記載の画像処理装置。
[付記13]
前記第1の特性は、前記第4の範囲と前記第5の範囲との閾値となる輝度で適切な特性であり、
前記第2の特性は、前記第5の範囲と前記第6の範囲との閾値となる輝度で適切な特性である付記12に記載の画像処理装置。
[付記14]
前記人物の顔領域を、当該人物の顔領域内の輝度の分布に応じて複数の部分に分割する第3の分割手段、更に備え、
前記画像処理手段は、前記第3の分割手段により分割される複数の部分各々に、異なる補正方法で輝度を補正する処理を、更に施す付記10から13のいずれか1つに記載の画像処理装置。
[付記15]
前記取得手段は、前記撮像画像に含まれる人物の目の下側であって鼻を含む部分の輝度の平均値を、基準値として取得する付記1から14のいずれか1つに記載の画像処理装置。
[付記16]
撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域を、排他的な複数の部分に分割する第1の分割処理と、
前記第1の分割処理において複数の部分に分割するための輝度の閾値を、前記取得処理により取得される基準値に基づき特定する第1の閾値特定処理と、
前記第1の分割処理において分割される複数の部分各々の輝度、異なる補正方法で補正する処理を施す画像補正処理と、
を含む画像処理方法。
[付記17]
撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、前記取得処理において取得される基準値に基づき特定する特性特定処理と、
前記人物の顔領域の輝度を、前記特性特定処理において特定される特性で補正する処理を施す画像補正処理と、
を含む画像処理方法。
[付記18]
撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
前記人物の顔領域の輝度を、前記取得処理において取得される基準値に基づく特性で補正する処理を施す画像補正処理と、
前記人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、前記画像補正処理において施される輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、前記取得処理において取得される基準値の閾値を特定する第2の閾値特定処理と、
を含むことを特徴とする画像処理方法。
1・・・画像処理装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・撮像部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,31・・・リムーバブルメディア,51・・・画像取得部,52・・・顔検出部,53・・・基準値取得部,54・・・閾値特定部,55・・・ユーザインターフェース表示制御部(UI表示制御部),56・・・特性特定部,71・・・画像記憶部,72・・・ガンマ補正テーブル記憶部

Claims (12)

  1. 撮像画像の輝度を補正する処理を施す画像処理装置であって、
    前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
    前記人物の顔領域を、排他的な3つ以上の部分に分割する第1の分割手段と、
    前記第1の分割手段が複数の部分に分割するための輝度の閾値を、前記取得手段により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する第1の閾値特定手段と、
    前記第1の分割手段により分割される最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、次に輝度が低い部分である第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には輝度を高くする処理を施し、前記第2の部分に輝度を高くする処理を施す場合には、前記第3の部分には輝度を低くする処理を施す画像処理手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像処理手段が輝度を補正する処理を施すための特性を、前記取得手段により取得される基準値に基づき特定する特性特定手段を、更に備え、
    前記画像処理手段は、前記特性特定手段により特定される特性で輝度を補正する処理を、更に施すことを特徴とする請求項1に記載の画像処理装置。
  3. 撮像画像の輝度を補正する処理を施す画像処理装置であって、
    前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
    前記人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、前記取得手段により取得される基準値に基づき特定する特性特定手段と、
    前記人物の顔領域の輝度を、前記特性特定手段によって特定され特性に応じて、最も輝度が低い範囲である第1の範囲には輝度を補正する処理を施さず、次に輝度が低い範囲である第2の範囲に輝度を低くする処理を施す場合には、その他の範囲である第3の範囲には輝度を高くする処理を施し、前記第2の範囲に輝度を高くする処理を施す場合には、第3の範囲には輝度を低くする処理を施す画像処理手段と、
    を備えることを特徴とする画像処理装置。
  4. 撮像画像の輝度を補正する処理を施す画像処理装置であって、
    前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得手段と、
    前記人物の顔領域の輝度を、前記取得手段により取得される基準値に基づく特性で補正する処理を施す画像処理手段と、
    前記人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、前記画像処理手段が施す輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、前記取得手段により取得される基準値の閾値を特定する第2の閾値特定手段と、
    を備えることを特徴とする画像処理装置。
  5. 前記第2の閾値特定手段により特定される閾値に基づき、基準値の輝度の範囲を、少なくとも、輝度の低い範囲である第4の範囲と、輝度の高い範囲である第6の範囲と、その間の範囲である第5の範囲と、に分割する第2の分割手段を、更に備え、
    前記画像処理手段は、前記第2の分割手段により分割される各範囲に応じた異なる特性で輝度を補正する処理を施すことを特徴とする請求項に記載の画像処理装置。
  6. 前記画像処理手段は、基準値の輝度が、
    前記第4の範囲に含まれる場合は、基準値の輝度によらず第1の特性を使用し、
    前記第6の範囲に含まれる場合は、基準値の輝度によらず第2の特性を使用し、
    前記第5の範囲に含まれる場合は、基準値の輝度に応じて、第1の特性と第2特性とから特定される特性を使用して、
    輝度を補正する処理を施すことを特徴とする請求項に記載の画像処理装置。
  7. 前記第1の特性は、前記第4の範囲と前記第5の範囲との閾値となる輝度を補正するために適切な特性であり、
    前記第2の特性は、前記第5の範囲と前記第6の範囲との閾値となる輝度を補正するために適切な特性であることを特徴とする請求項に記載の画像処理装置。
  8. 前記人物の顔領域を、当該人物の顔領域内の輝度の分布に応じて複数の部分に分割する第3の分割手段、更に備え、
    前記画像処理手段は、前記第3の分割手段により分割される複数の部分各々に、異なる補正方法で輝度を補正する処理を、更に施すことを特徴とする請求項からのいずれか1項に記載の画像処理装置。
  9. 前記取得手段は、前記撮像画像に含まれる人物の目の下側であって鼻を含む部分の輝度の平均値を、基準値として取得することを特徴とする請求項1からのいずれか1項に記載の画像処理装置。
  10. 撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
    前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
    前記人物の顔領域を、排他的な3つ以上の部分に分割する第1の分割処理と、
    前記第1の分割処理において複数の部分に分割するための輝度の閾値を、前記取得処理により取得される基準値に基づき、少なくとも、最も輝度が低い側からの2つの部分を分割するための輝度の閾値を特定する第1の閾値特定処理と、
    前記第1の分割処理において分割される最も輝度が低い部分である第1の部分には、輝度を補正する処理を施さず、次に輝度が低い部分である第2の部分に輝度を低くする処理を施す場合には、その他の部分である第3の部分には輝度を高くする処理を施し、前記第2の部分に輝度を高くする処理を施す場合には、前記第3の部分には輝度を低くする処理を施す画像補正処理と、
    を含むことを特徴とする画像処理方法。
  11. 撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
    前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
    前記人物の顔領域内の所定数の画素毎の輝度の範囲であって、排他的に3以上に分割される輝度の範囲に応じて、輝度の補正の方法が異なる特性を、前記取得処理において取得される基準値に基づき特定する特性特定処理と、
    前記人物の顔領域の輝度を、前記特性特定処理によって特定され特性に応じて、最も輝度が低い範囲である第1の範囲には輝度を補正する処理を施さず、次に輝度が低い範囲である第2の範囲に輝度を低くする処理を施す場合には、その他の範囲である第3の範囲には輝度を高くする処理を施し、前記第2の範囲に輝度を高くする処理を施す場合には、第3の範囲には輝度を低くする処理を施す画像補正処理と、
    を含むことを特徴とする画像処理方法。
  12. 撮像画像の輝度を補正する処理を施す画像処理装置が実行する画像処理方法であって、
    前記撮像画像に含まれる人物の顔領域内から輝度の基準となる基準値を取得する取得処理と、
    前記人物の顔領域の輝度を、前記取得処理において取得される基準値に基づく特性で補正する処理を施す画像補正処理と、
    前記人物の顔領域内の所定数の画素毎の輝度が同じ値であっても、前記画像補正処理において施される輝度を補正する処理の特性が異なる3以上の種類の特性を特定するための、前記取得処理において取得される基準値の閾値を特定する第2の閾値特定処理と、
    を含むことを特徴とする画像処理方法。
JP2017007756A 2017-01-19 2017-01-19 画像処理装置及び画像処理方法 Active JP6720881B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017007756A JP6720881B2 (ja) 2017-01-19 2017-01-19 画像処理装置及び画像処理方法
CN201810042186.5A CN108337450B (zh) 2017-01-19 2018-01-16 图像处理装置、图像处理方法以及记录介质
US15/873,409 US10382671B2 (en) 2017-01-19 2018-01-17 Image processing apparatus, image processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017007756A JP6720881B2 (ja) 2017-01-19 2017-01-19 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2018117288A JP2018117288A (ja) 2018-07-26
JP6720881B2 true JP6720881B2 (ja) 2020-07-08

Family

ID=62841711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017007756A Active JP6720881B2 (ja) 2017-01-19 2017-01-19 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US10382671B2 (ja)
JP (1) JP6720881B2 (ja)
CN (1) CN108337450B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6904788B2 (ja) * 2017-05-25 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2019016833A (ja) * 2017-07-03 2019-01-31 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN107635102B (zh) * 2017-10-30 2020-02-14 Oppo广东移动通信有限公司 高动态范围图像曝光补偿值获取方法和装置
US10791281B1 (en) * 2019-03-26 2020-09-29 Getac Technology Corporation Image processing method and system based on adjustments performed according to environment
JP7472706B2 (ja) 2020-07-30 2024-04-23 日本精機株式会社 視点位置検出システム
CN115689903A (zh) * 2021-07-23 2023-02-03 Oppo广东移动通信有限公司 图像处理方法及装置、设备、存储介质
CN114598852B (zh) * 2022-03-07 2023-06-09 杭州国芯科技股份有限公司 摄像机人脸区域白平衡的优化方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4519681B2 (ja) * 2004-02-26 2010-08-04 大日本印刷株式会社 人物の唇領域マスクデータの作成方法および作成装置
JP4736939B2 (ja) * 2005-08-16 2011-07-27 コニカミノルタホールディングス株式会社 撮像装置及び画像処理方法
US7791656B2 (en) * 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
US7999863B2 (en) * 2006-02-01 2011-08-16 Fujifilm Corporation Image correction apparatus and method
JP2008228185A (ja) 2007-03-15 2008-09-25 Fujifilm Corp 撮像装置
JP5100565B2 (ja) * 2008-08-05 2012-12-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP2010074222A (ja) 2008-09-16 2010-04-02 Sony Corp 画像処理装置、輝度変換曲線補正方法およびプログラム
JP5383360B2 (ja) * 2009-07-15 2014-01-08 キヤノン株式会社 画像処理装置およびその制御方法
KR101653271B1 (ko) * 2009-12-02 2016-09-01 삼성전자주식회사 측면광을 판단하는 디지털 영상 신호 처리 방법, 상기 방법을 기록한 기록 매체 및 디지털 영상 신호 처리 장치
JP5479068B2 (ja) * 2009-12-16 2014-04-23 キヤノン株式会社 画像処理装置及び画像処理方法
US9113114B2 (en) * 2010-05-12 2015-08-18 Samsung Electronics Co., Ltd Apparatus and method for automatically controlling image brightness in image photographing device
JP5624809B2 (ja) * 2010-06-24 2014-11-12 株式会社 日立産業制御ソリューションズ 画像信号処理装置
JP2015100091A (ja) 2013-11-20 2015-05-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN105657289B (zh) * 2016-03-28 2018-05-08 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Also Published As

Publication number Publication date
CN108337450B (zh) 2020-10-30
CN108337450A (zh) 2018-07-27
JP2018117288A (ja) 2018-07-26
US20180205879A1 (en) 2018-07-19
US10382671B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
JP6720881B2 (ja) 画像処理装置及び画像処理方法
US9407831B2 (en) Intelligent auto-exposure bracketing
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5624809B2 (ja) 画像信号処理装置
US20150163391A1 (en) Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium
US10271029B2 (en) Image pickup apparatus and method of controlling an image pickup apparatus
JP2010193099A (ja) 撮像装置およびその制御方法
JP6904788B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5984975B2 (ja) 撮像装置、撮像方法、およびプログラム
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
JP6677222B2 (ja) 検出装置、画像処理装置、検出方法、及び画像処理方法
US20150312487A1 (en) Image processor and method for controlling the same
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US20140354841A1 (en) Image processing apparatus and method, and image capturing apparatus
US8982244B2 (en) Image capturing apparatus for luminance correction, a control method therefor, and a recording medium
JP2010183460A (ja) 撮像装置およびその制御方法
JP5335964B2 (ja) 撮像装置およびその制御方法
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP2006180078A (ja) 電子カメラ、画像処理装置および画像処理プログラム
JP2010183461A (ja) 撮像装置およびその制御方法
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP6627418B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5351663B2 (ja) 撮像装置およびその制御方法
US20240048822A1 (en) Image capture apparatus and control method for same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200601

R150 Certificate of patent or registration of utility model

Ref document number: 6720881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150