JP6677222B2 - 検出装置、画像処理装置、検出方法、及び画像処理方法 - Google Patents

検出装置、画像処理装置、検出方法、及び画像処理方法 Download PDF

Info

Publication number
JP6677222B2
JP6677222B2 JP2017121412A JP2017121412A JP6677222B2 JP 6677222 B2 JP6677222 B2 JP 6677222B2 JP 2017121412 A JP2017121412 A JP 2017121412A JP 2017121412 A JP2017121412 A JP 2017121412A JP 6677222 B2 JP6677222 B2 JP 6677222B2
Authority
JP
Japan
Prior art keywords
image
white balance
balance adjustment
specific color
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017121412A
Other languages
English (en)
Other versions
JP2019008408A (ja
JP2019008408A5 (ja
Inventor
丈史 塚越
丈史 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017121412A priority Critical patent/JP6677222B2/ja
Priority to CN201810597485.5A priority patent/CN109104601B/zh
Priority to KR1020180069313A priority patent/KR102562720B1/ko
Priority to US16/012,212 priority patent/US10757321B2/en
Publication of JP2019008408A publication Critical patent/JP2019008408A/ja
Publication of JP2019008408A5 publication Critical patent/JP2019008408A5/ja
Application granted granted Critical
Publication of JP6677222B2 publication Critical patent/JP6677222B2/ja
Priority to US16/928,073 priority patent/US11272095B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、検出装置、画像処理装置、検出方法、及び画像処理方法に関する。
従来、画像内に含まれる人物の肌色部分を、例えば、色が白くなるようにする処理を施すといった画像処理を施す技術が知られている。また、画像処理の対象となる人物の肌色部分を検出するために、HSV色空間の色相情報を使用する技術が知られている。
なお、被写体となった人物における特定の色領域を抽出する技術は、例えば、特許文献1に記載されている。
特開2011−44132号公報
しかしながら、画像処理の対象となる人物の肌色部分を検出するために、色相情報だけを用いるとすると、人物の肌色と近似する色相の領域も合わせて検出されてしまう。ここで、特許文献1に記載された技術のように、彩度情報等を更に併用して複数の色に係る情報により検出の精度を高めることが可能であるが、使用する情報の種類が増えるほど処理が重くなってしまうという問題がある。これは、使用する色空間によらず生ずる問題である。また、検出する色部分は、人物の肌色部分以外の場合も同様である。
本発明の課題は、画像内に含まれる特定色の部分を検出する処理あるいは、特定色の部分に施す画像処理の負荷を軽減することである。
上記課題を解決するため、本発明の一態様の検出装置は、
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得手段によって取得され、前記ホワイトバランス調整手段によって調整されていない画像から特定色に係る所定の条件を満たす部分を検出する検出手段と、
を備えることを特徴とする。
本発明によれば、画像内に含まれる特定色の部分を検出する処理あるいは、特定色の部分に施す画像処理の負荷を軽減することができる。
本発明の検出装置及び画像処理装置の一実施形態に係る撮影装置のハードウェアの構成を示すブロック図である。 彩度Satを肌色の尤度に変換する換算式の特性の一例を示す模式図である。 人物が被写体となっている処理対象の画像を示す模式図である。 人物が被写体となっている画像における肌色部分が無彩色(グレー)化された状態を示す模式図である。 肌色領域が無彩色(グレー)化された画像の彩度Satを示す模式図である。 彩度Satに基づいて肌色部分が特定された状態を示す模式図である。 図1の撮影装置の機能的構成のうち、メイクアップ処理を実行するための機能的構成を示す機能ブロック図である。 図7の機能的構成を有する図1の撮影装置が実行するメイクアップ処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の検出装置及び画像処理装置の一実施形態に係る撮影装置1のハードウェアの構成を示すブロック図である。
撮影装置1は、例えば、デジタルカメラとして構成される。
撮影装置1は、図1に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
CPU11は、ROM12に記録されているプログラム、または、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部16にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号(RAWデータまたは所定の画像形式のデータ)として、CPU11や図示しない画像処理部等に適宜供給される。
入力部17は、各種操作ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、記憶部19に記憶されている画像のデータ等の各種データを、ドライブ22を介してリムーバブルメディア31に記憶することができる。
本実施形態の撮影装置1においては、ガンマ補正等の非線形な画像処理が施される前の、線形な特性(ここでは画素のRGB値の比)が維持された画像のデータ(例えば、撮像部16からRAWデータとして出力された画像のデータ)に対して、特定の色を無彩色(グレー)化するホワイトバランス処理が施される。本実施形態においては、特定の色の一例として、肌色を対象とする。対象とする肌色については、被写体の画像から抽出することが可能である。この場合、処理対象の画像において、公知の顔検出技術を用いて顔検出を行うことにより顔領域を特定し、特定された顔領域内の各画素のR値、B値、G値をそれぞれ積分する。顔領域内の画素は、主に肌色であると推定されるため、顔領域内の各画素のR値、B値、G値それぞれの積分値は、肌色のR値、B値、G値の比(RGB値の比)を表すものとなる。そして、処理対象となる画像の各画素のR値、G値、B値それぞれに、取得されたR値、G値、B値の積分値の比の逆数(ホワイトバランスゲイン)を乗算する。即ち、R値、G値、B値の積分値の比が、Ri:Gi:Biであるとすると、処理対象となる画像の各画素のR値、G値、B値それぞれに、1/Ri、1/Gi、1/Biを乗算する。これにより、特定された顔領域から抽出される肌色に近い画素ほど、R値、G値、B値の比が、1:1:1に近いものとなる。R値、G値、B値の比が、1:1:1の画素は、明るさのみを有する無彩色の画素(白から黒までの範囲のグレーの画素)である。そのため、このような処理によって、肌色部分を無彩色(グレー)化することができる。
そして、肌色部分を無彩色(グレー)化した処理対象の画像のデータにおいて、各画素の彩度Satが算出される。
RGB信号から彩度Satを算出する場合、以下の変換式を用いることができる。ただし、以下の式は彩度Satの算出式の一例であり、色空間毎に定義された彩度Satの算出式を用いることができる。
Sat(x,y)=(RGBmax(x,y)−RGBmin(x,y))/RGBmax(x,y)
なお、上記変換式において、RGBmax(x,y)は注目画素のR値、G値、B値の中の最大値、RGBmin(x,y)は注目画素のR値、G値、B値の最小値を表している。
この結果、処理対象の画像のデータにおいて、肌色らしい画素ほど彩度Satが低い画素として表された状態となる。即ち、肌色らしさが1次元のデータとして表された状態となる。
そして、彩度Satの閾値を設定しておき、彩度Satが閾値以下の領域を肌色部分として検出することができる。
さらに、本実施形態では、処理対象の画像のデータにおいて、彩度Satを肌色の尤度に変換する。
なお、彩度Satを肌色の尤度に変換する場合には、肌色領域として活用する際の目的に応じて、換算式を設定することができる。
図2は、彩度Satを肌色の尤度に変換する換算式の特性の一例を示す模式図である。
図2に示すように、彩度Satを肌色の尤度に変換する換算式では、彩度Satが最低値(0)から所定値(core)までは肌色の尤度が最大値(1)となっており、彩度Satが所定値(core)を超えると、肌色の尤度が所定の傾き(slope)で単調減少する。そして、肌色の尤度が最小値(0)に達した後は、彩度Satの値に関わらず、肌色の尤度は最小値(0)に維持される。
そして、肌色の尤度において、肌色であると判定するための閾値を設定しておき、変換された肌色の尤度が閾値以上の領域を肌色部分として検出することができる。
なお、図2に示す具体的な換算式の特性は、適宜変更することが可能であり、単調減少する特性であれば、S字特性等の曲線からなる特性とすることも可能である。
このような処理によって、人物が被写体となっている画像において、被写体の顔領域から肌色部分を抽出することができる。
以下、具体的な画像を例に挙げて、肌色部分が抽出される過程について説明する。
図3は、人物が被写体となっている処理対象の画像を示す模式図である。
図3においては、被写体の顔が大きく写されており、顔及び首以外の領域(服や背景等)は、肌色とは大きく異なる色であるものとする。
このような処理対象の画像に対し、顔検出が行われ、顔領域内の各画素のR値、B値、G値がそれぞれ積分される。そして、処理対象となる画像の各画素のR値、G値、B値それぞれに、R値、G値、B値の積分値の比の逆数が乗算されると、肌色に近い部分ほど、無彩色(グレー)化された状態となる。
図4は、人物が被写体となっている画像における肌色部分が無彩色(グレー)化された状態を示す模式図である。
処理対象となる画像の各画素のR値、G値、B値それぞれに、R値、G値、B値の積分値の比の逆数が乗算された結果、肌色に近い部分ほど、無彩色(グレー)化された状態となっている。
肌色部分が無彩色(グレー)化された処理対象の画像のデータにおいて、所定の換算式により、各画素の彩度Satが算出される。
図5は、肌色領域が無彩色(グレー)化された画像の彩度Satを示す模式図である。
図5においては、肌色に近い部分(無彩色に近い部分)ほど、彩度Satが低い(即ち、黒色に近い)部分となっている。
このように、各画素の彩度Satが取得されることで、肌色部分が検出される。
そして、彩度Satをパラメータとして、上記換算式により、各画素における肌色の尤度を得ることができる。
図6は、彩度Satに基づいて肌色部分が特定された状態を示す模式図である。
図6に示す画像は、処理対象となる画像の肌マップ(各部分の肌色らしさを表すマップ)を表しており、肌色の尤度が高い部分ほど、白色に近い色で表されている。本実施形態において、肌マップは、処理対象となる画像内で、肌を白くしたり、滑らかにしたりするメイクアップ効果の画像処理を施すための位置、及び、メイクアップ効果の強度を表すマップ情報として用いられる。
[機能的構成]
図7は、図1の撮影装置1の機能的構成のうち、メイクアップ処理を実行するための機能的構成を示す機能ブロック図である。
メイクアップ処理とは、被写体における肌色部分を無彩色(グレー)化するホワイトバランス処理を行うことにより、肌色部分の特定を低処理負荷で実行し、特定した肌色部分にメイクアップ効果を施す一連の処理をいう。
メイクアップ処理が実行される場合には、図7に示すように、CPU11において、画像取得部51と、顔検出処理部52と、ホワイトバランス調整部53と、制御部54と、領域検出部55と、尤度算出部56と、画像処理部57と、が機能する。
また、記憶部19の一領域には、画像記憶部71が設定される。
画像記憶部71には、撮像部16によって取得された撮像画像や、通信部20あるいはドライブ21を介して取得された画像のデータが記憶される。
画像取得部51は、撮像部16または画像記憶部71から処理対象となる画像のデータを取得する。なお、本実施形態において処理対象となる画像のデータは、ガンマ補正等の非線形な画像処理が施される前の、線形な特性が維持された画像のデータ(例えば、撮像部16からRAWデータとして出力された画像のデータ)である。以下の説明においては、撮像部16により取得された処理対象となる画像から、特定の色(肌色)の部分をホワイトバランス処理によって無彩色(グレー)化して抽出し、抽出された部分にメイクアップ効果を施す場合を例として説明する。
顔検出処理部52は、処理対象となる画像のデータにおいて顔検出処理を実行する。具体的には、顔検出処理部52は、撮像部16により取得された処理対象となる画像、または画像記憶部71から取得された処理対象となる画像における顔領域を特定する。顔検出処理の実行の結果、処理対象の画像内における顔の検出数、顔枠・目の座標・鼻の座標・口の座標等の各種顔の器官の座標が検出される。なお、顔検出処理は、公知の技術を使用することで実現可能であるため、詳細な説明は省略する。
ホワイトバランス調整部53は、画像処理部57の指示に従って、表示(再生あるいはライブビュー表示等)または記録(記録媒体への保存等)用の画像、あるいは、背景用の画像及びメイクアップ処理用の画像(後述)を生成するための現像処理において、処理対象の画像に応じてホワイトバランスを調整するホワイトバランス処理(以下、適宜「現像用ホワイトバランス処理」と呼ぶ。)を実行する。
また、ホワイトバランス調整部53は、制御部54の指示に従って、メイクアップ効果を施す部分を抽出するために特定の色(肌色)を無彩色(グレー)化するホワイトバランス処理(以下、適宜「検出用ホワイトバランス処理」と呼ぶ。)を実行する。本実施形態において、ホワイトバランス調整部53は、処理対象となる画像の各画素のR値、G値、B値それぞれに、制御部54によって取得されるR値、G値、B値の積分値の比の逆数を乗算する。即ち、ホワイトバランス調整部53は、R値、G値、B値の積分値の比が、Ri:Gi:Biである場合、処理対象となる画像の各画素のR値、G値、B値それぞれに、1/Ri、1/Gi、1/Biを乗算する。これにより、肌色部分が無彩色(グレー)化される。
制御部54は、顔検出処理部52によって特定された顔領域内の各画素のR値、B値、G値をそれぞれ積分し、R値、G値、B値の積分値の比を取得する。ここで取得されるR値、G値、B値の積分値の比は、特定の色(肌色)を無彩色(グレー)化するための制御パラメータとなる。
領域検出部55は、肌色部分を無彩色(グレー)化した処理対象の画像のデータにおいて、各画素の彩度Satを算出する。処理対象の画像のデータにおいて、彩度Satが低いほど、肌色としての尤度が高いことを表しており、領域検出部55は、各画素の彩度Satに基づいて、肌色の領域(肌色部分)を検出する。例えば、彩度Satの閾値を設定しておき、彩度Satが閾値以下の領域を肌色部分として検出することができる。なお、領域検出部55は、各画素の彩度Satに基づいて、肌色の領域(肌色部分)を検出することの他、彩度Satから尤度算出部56が生成する肌マップに基づいて、肌色の領域(肌色部分)を検出することも可能である。この場合、肌色の尤度において、肌色であると判定するための閾値を設定しておき、変換された肌色の尤度が閾値以上の領域を肌色部分として検出することができる。
尤度算出部56は、彩度Satを肌色の尤度に変換し、肌マップを生成する。
画像処理部57は、処理対象となる画像から表示(再生あるいはライブビュー表示等)または記録(記録媒体への保存等)用の画像を生成する画像処理を実行する。
本実施形態において、画像処理部57は、処理対象となる画像に人物の顔が含まれていない場合、処理対象となる画像を現像処理して表示または記録用の画像を生成する。
また、画像処理部57は、処理対象となる画像に人物の顔が含まれている場合、処理対象となる画像を現像処理して背景用の画像とメイクアップ処理用の画像とを生成する。このとき、例えば、背景用の画像とメイクアップ処理用の画像とで異なる変換テーブルを用いて、色空間変換(YUV色空間からRGB色空間への変換等)が行われる。背景用の画像は、主として肌色以外の部分が背景として用いられ、メイクアップ処理用の画像は、主として肌色部分にメイクアップ処理を施すために用いられる。
さらに、画像処理部57は、メイクアップ処理用の画像に対し、メイクアップ効果を施す。
そして、画像処理部57は、肌マップに基づいて、背景用の画像と、メイクアップ効果が施されたメイクアップ処理用の画像とを合成(αブレンド)することにより、表示または記録用の画像を生成する。
なお、現像処理によって、表示または記録用の画像、あるいは、背景用の画像及びメイクアップ処理用の画像が生成される場合、現像用ホワイトバランス処理あるいは画像形式の変換処理等が実行される。このとき、本実施形態においては、画像処理部57がホワイトバランス調整部53を制御することにより、現像用ホワイトバランス処理が実行される。
[動作]
次に、動作を説明する。
[メイクアップ処理]
図8は、図7の機能的構成を有する図1の撮影装置1が実行するメイクアップ処理の流れを説明するフローチャートである。
メイクアップ処理は、ユーザにより入力部17にメイクアップ処理の実行を指示する操作が入力されることに対応して開始される。例えば、メイクアップ処理は、ユーザによって、撮像画像に対してメイクアップ処理を施すモードに設定されている場合に、撮像画像が取得される毎に実行される。
ステップS1において、画像取得部51は、撮像部16または画像記憶部71から処理対象となる画像のデータ(ここでは、撮像部16からRAWデータとして出力された画像のデータ)を取得する。
ステップS2において、顔検出処理部52は、処理対象となる画像のデータにおいて顔検出処理を実行する。
ステップS3において、制御部54は、顔検出処理部52によって特定された顔領域内の各画素のR値、B値、G値をそれぞれ積分し、R値、G値、B値の積分値の比を取得する。
ステップS4において、ホワイトバランス調整部53は、制御部54の指示に従って、メイクアップ効果を施す部分を抽出するために特定の色(肌色)を無彩色(グレー)化する検出用ホワイトバランス処理を実行する。即ち、ホワイトバランス調整部53は、特定された顔領域内の各画素のR値、G値、B値それぞれに、制御部54によって取得されるR値、G値、B値の積分値の比の逆数を乗算する。
ステップS5において、領域検出部55は、肌色部分を無彩色(グレー)化した処理対象の画像のデータにおいて、各画素の彩度Satを算出し、各画素の彩度Satに基づいて、肌色の領域(肌色部分)を検出する。
ステップS6において、尤度算出部56は、彩度Satを肌色の尤度に変換し、肌マップを生成する。
ステップS7において、画像処理部57は、処理対象となる画像を現像処理して背景用の画像とメイクアップ処理用の画像とを生成する。このとき実行される現像処理には、通常の現像処理の場合と同様の現像用ホワイトバランス処理が含まれている。
ステップS8において、画像処理部57は、メイクアップ処理用の画像に対し、メイクアップ効果を施す。
ステップS9において、画像処理部57は、肌マップに基づいて、背景用の画像と、メイクアップ効果が施されたメイクアップ処理用の画像とを合成(αブレンド)することにより、表示または記録用の画像を生成する。
ステップS10において、画像処理部57は、生成した画像を出力部18のディスプレイあるいは記憶部19に出力する。
ステップS11において、画像処理部57は、メイクアップ処理の終了条件が充足されたか否かの判定を行う。本実施形態において、メイクアップ処理の終了条件として、例えば、ライブビュー表示の終了指示または画像の再生の終了指示が入力されること、あるいは、記録用の画像の記録が完了することを定義することができる。
メイクアップ処理の終了条件が充足されていない場合、ステップS11においてNOと判定されて、処理はステップS1に移行する。
一方、メイクアップ処理の終了条件が充足された場合、ステップS11においてYESと判定されて、メイクアップ処理は終了となる。
このような処理により、線形な特性が維持された画像のデータに対して、特定の色(肌色)を無彩色(グレー)化するホワイトバランス処理を施すことができる。そして、肌色部分を無彩色(グレー)化した処理対象の画像のデータにおいて、各画素の彩度Satを算出することができる。この結果、処理対象の画像のデータにおいて、肌色らしい画素ほど彩度Satが低い画素として表された状態となり、彩度Satを肌色の尤度に変換することにより、各部分の肌色らしさを表す肌マップを生成することができる。
そのため、肌色らしさを表す肌色の尤度を算出する際に、2次元あるいは3次元における領域の囲い込みといった複雑な演算を行うことなく、1次元のパラメータで肌色の尤度を算出することが可能となる。
したがって、画像内に含まれる人物の特定の色(肌色)の部分を検出する処理負荷を軽減することができる。また、画像内に含まれる人物の特定の色(肌色)の部分に画像処理を施す際の処理負荷を軽減することができる。
また、上述のメイクアップ処理においては、線形な特性が維持された画像のデータを処理対象とするため、撮影時の環境の差の影響を抑制することができる。
さらに、上述のメイクアップ処理においては、被写体の画像から抽出した特定の色(肌色)を基準として、特定の色の部分(肌色部分)を抽出するため、画像における特定の色の部分(肌色部分)を検出する際に、被写体の相違による影響を抑制することができる。
[変形例1]
上述の実施形態においては、肌マップを作成し、作成した肌マップを用いてメイクアップ処理用の画像を背景用の画像に合成することにより、メイクアップ効果を施す処理を実行することとした。
これに対し、メイクアップ効果を施す処理を行うことなく、特定の色(肌色)が無彩色(グレー)化された画像を生成することで、処理対象の画像における特定の色の部分を検出するために本発明を用いることが可能である。
例えば、処理対象の画像において、特定の色の部分の比率を検出するために本発明を用いることができる。一例として、シーン判定等に本発明を適用することが可能であり、ヒストグラムを生成すること等により、肌色の部分の比率から、処理対象の画像が人物を優先すべきシーンであるか否かを判定することができる。
[変形例2]
上述の実施形態においては、RGB色空間において、肌色部分を無彩色(グレー)化する場合を例に挙げて説明した。
これに対し、RGB色空間以外の各種色空間において、肌色部分を無彩色(グレー)化する処理を行い、肌色らしさを無彩色の度合いを表す1次元のデータとして取り扱うことができる。
この場合、処理対象とする線形な特性が維持された画像のデータとしては、上述のように、画素のRGB値の比(即ち、RGB色空間における輝度の線形性)が維持された画像のデータの他、種々の色空間において、彩度に影響する要素の特性が維持された画像のデータとすることができる。このような画像データを入力とし、上述の実施形態のように、特定の色を基準として、色空間における彩度を表すパラメータに各画素の値を変換することで、本発明を適用することができる。
即ち、本発明は、特定の色空間に限られることなく、画像内に含まれる特定色の部分を検出する処理あるいは、特定色の部分に施す画像処理の負荷を軽減することが可能である。
以上のように構成される撮影装置1は、画像取得部51と、ホワイトバランス調整部53と、制御部54と、領域検出部55とを備える。
画像取得部51は、画像を取得する。
ホワイトバランス調整部53は、画像取得部51により取得された画像のホワイトバランスを調整する。
制御部54は、基準となる特定色に基づき、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
領域検出部55は、制御部54によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する。
これにより、ホワイトバランス処理のアルゴリズムによって、処理対象の画像における特定の色の部分を検出することができる。
したがって、画像内に含まれる人物の特定の色の部分を検出する処理負荷を軽減することができる。
制御部54は、特定色が所定の彩度となるように、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
領域検出部55は、ホワイトバランスの調整内容が制御された画像から、画像内の複数の部分毎の彩度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する。
これにより、特定色らしい部分を、彩度をパラメータとして検出できるため、特定色に係る所定の条件を満たす部分を検出する処理負荷を軽減することができる。
また、撮影装置1は、尤度算出部56を備える。
制御部54は、特定色が無彩色となるように、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
尤度算出部56は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、特定色らしさである特定色尤度を算出する。
領域検出部55は、尤度算出部56により算出された特定色尤度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する。
これにより、特定色らしさを表す特定色尤度を参照することで、画像における特定色らしい部分を簡単に検出することができる。
また、撮影装置1は、画像処理部57を備える。
画像処理部57は、領域検出部55により検出された特定色に係る所定の条件を満たす部分に所定の画像処理を施す。
これにより、特定色に係る所定の条件を満たす部分を簡単に抽出して、所定の画像処理を施すことができる。
また、撮影装置1は、画像取得部51と、ホワイトバランス調整部53と、制御部54と、尤度算出部56とを備える。
画像取得部51は、画像を取得する。
ホワイトバランス調整部53は、画像取得部51により取得された画像のホワイトバランスを調整する。
制御部54は、基準となる特定色に基づき、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
尤度算出部56は、制御部54によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する。
これにより、ホワイトバランス処理のアルゴリズムによって、処理対象の画像における特定の色の部分を検出し、所定の画像処理を施すための画像内における位置と強度を設定ことができる。
したがって、画像内に含まれる人物の特定の色の部分に画像処理を施す際の処理負荷を軽減することができる。
制御部54は、特定色が所定の彩度となるように、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
尤度算出部56は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、マップ情報を生成する。
これにより、特定色らしい部分を表すマップ情報を、彩度をパラメータとして生成できるため、所定の画像処理を施すための画像内における位置と強度を設定する処理負荷を軽減することができる。
また、撮影装置1は、尤度算出部56を備える。
制御部54は、特定色が無彩色となるように、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
尤度算出部56は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、特定色らしさである特定色尤度を算出する。
尤度算出部56は、算出した特定色尤度に基づき、マップ情報を生成する。
これにより、マップ情報を参照することで、画像における特定色らしい部分を簡単に検出することができる。
また、撮影装置1は、画像処理部57を備える。
画像処理部57は、尤度算出部56により生成されたマップ情報を使用して、取得された画像に所定の画像処理を施す。
これにより、画像における特定色らしい部分を簡単に抽出して、所定の画像処理を施すことができる。
画像処理部57は、線形な特性を有する画像を取得する。
これにより、所定の画像処理を行う際に、撮影時の環境の差の影響を抑制することができる。
また、撮影装置1は、顔検出処理部52と、制御部54とを備える。
顔検出処理部52は、画像に含まれる顔領域を検出する。
制御部54は、顔検出処理部52により検出された顔領域から特定色を取得する。
制御部54は、取得した特定色に基づき、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
これにより、画像における特定の色の部分を検出する際に、被写体の相違による影響を抑制することができる。
また、撮影装置1は、画像取得部51と、ホワイトバランス調整部53と、領域検出部55とを備える。
画像取得部51は、画像を取得する。
ホワイトバランス調整部53は、画像取得部51により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、画像における色のバランスを変換する。
領域検出部55は、ホワイトバランス調整部53により色のバランスが変換された画像に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する。
これにより、基準となる特定色を無彩色(グレー)化することにより、処理対象の画像における特定の色の部分を検出することができる。
したがって、画像内に含まれる人物の特定の色の部分を検出する処理負荷を軽減することができる。
また、撮影装置1は、画像取得部51と、ホワイトバランス調整部53と、制御部54と、画像処理部57とを備える。
画像取得部51は、第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する。
ホワイトバランス調整部53は、画像取得部51により取得された画像のホワイトバランスを調整する。
制御部54は、基準となる特定色に基づき、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
ホワイトバランス調整部53は、制御部54によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する。
画像処理部57は、ホワイトバランス調整部53により変換される情報を使用して、取得された画像に所定の画像処理を施す。
これにより、画像における特定色らしい部分を簡単に抽出して、所定の画像処理を施すことができる。
したがって、画像内に含まれる人物の特定の色の部分に画像処理を施す際の処理負荷を軽減することができる。
制御部54は、画像内の特定色の部分が、第2の色空間のうちの1の要素が所定の条件を満たすようにホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
これにより、第1の色空間における基準となる特定色を、第2の色空間のうちの1の要素に関する条件として取り扱うことが可能となる。
したがって、画像内に含まれる人物の特定の色の部分に画像処理を施す際の処理負荷を軽減することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態において、制御部54が顔領域内の各画素のR値、B値、G値をそれぞれ積分する場合、顔領域における口や目の部分を除外して、肌色である可能性の高い部分のみの画素を対象とすることとしてもよい。
また、上述の実施形態において、メイクアップ処理の対象とする特定の色(肌色)を、被写体の画像から抽出することとした。これに対し、メイクアップ処理の対象とする特定の色(肌色)については、特定の色を表すRGBの値等を予め設定しておくことも可能である。この場合、肌色として定義された色に対して、現像用ホワイトバランス処理が施された後の色のR値、G値、B値の比の逆数を各画素のR値、G値、B値それぞれに乗算することで、肌色部分を無彩色(グレー)化することができる。
また、上述の実施形態においては、本発明を適用する画像処理の例として、メイクアップ処理について説明したが、これに限られない。例えば、本発明は、ソフトフォーカス処理等の各種画像処理に適用することができる。
また、上述の実施形態において、RAWデータを現像処理してRGB形式の画像を生成する場合、例えば、RAWデータに対して3画素×3画素のフィルタ処理を施し、注目画素周辺の9画素からRGB形式の1画素を生成することができる。ただし、RAWデータに対して適用するフィルタのサイズは、用途に応じて適宜変更することができる。
また、上述の実施形態では、本発明が適用される撮影装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、メイクアップ処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図7の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する検出手段と、
を備えることを特徴とする検出装置。
[付記2]
前記制御手段は、前記特定色が所定の彩度となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
前記検出手段は、ホワイトバランスの調整内容が制御された画像から、画像内の複数の部分毎の彩度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出することを特徴とする付記1に記載の検出装置。
[付記3]
前記制御手段は、前記特定色が無彩色となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、前記特定色らしさである特定色尤度を算出する算出手段を、更に備え、
前記検出手段は、前記算出手段により算出された特定色尤度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出することを特徴とする付記1または2に記載の検出装置。
[付記4]
前記検出手段により検出された特定色に係る所定の条件を満たす部分に所定の画像処理を施す画像処理手段を、更に備えることを特徴とする付記1から3のいずれか1つに記載の検出装置。
[付記5]
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する生成手段と、
を備えることを特徴とする検出装置。
[付記6]
前記制御手段は、前記特定色が所定の彩度となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
前記生成手段は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、マップ情報を生成することを特徴とする付記5に記載の検出装置。
[付記7]
前記制御手段は、前記特定色が無彩色となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、前記特定色らしさである特定色尤度を算出する算出手段を、更に備え、
前記生成手段は、前記算出手段により算出される特定色尤度に基づき、マップ情報を生成することを特徴とする付記5または6に記載の検出装置。
[付記8]
前記生成手段により生成されたマップ情報を使用して、取得された画像に所定の画像処理を施す画像処理手段を更に備えることを特徴とする付記5から7のいずれか1つに記載の検出装置。
[付記9]
前記画像取得手段は、線形な特性を有する画像を取得することを特徴とする付記1から8のいずれか1つに記載の検出装置。
[付記10]
画像に含まれる顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域から特定色を取得する特定色取得手段と、を更に備え、
前記制御手段は、前記特定色取得手段により取得された前記特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御することを特徴とする付記1から9のいずれか1つに記載の検出装置。
[付記11]
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、前記画像における色のバランスを変換する変換手段と、
前記変換手段により色のバランスが変換された画像に基づき、取得された画像から前記特定色に係る所定の条件を満たす部分を検出する検出手段と、
を備えることを特徴とする検出装置。
[付記12]
第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する変換手段と、
前記変換手段により変換される情報を使用して、取得された画像に所定の画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
[付記13]
前記制御手段は、画像内の特定色の部分が、第2の色空間のうちの1の要素が所定の条件を満たすように前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御することを特徴とする付記12に記載の画像処理装置。
[付記14]
画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する検出処理と、
を含むことを特徴とする検出方法。
[付記15]
画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する生成処理と、
を含むことを特徴とする検出方法。
[付記16]
画像を取得する画像取得処理と、
前記画像取得処理により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、前記画像における色のバランスを変換する変換処理と、
前記変換処理により色のバランスが変換された画像に基づき、取得された画像から前記特定色に係る所定の条件を満たす部分を検出する検出処理と、
を含むことを特徴とする検出方法。
[付記17]
第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する変換処理と、
前記変換処理により変換される情報を使用して、取得された画像に所定の画像処理を施す画像補正処理と、
を含むことを特徴とする画像処理方法。
1・・・撮影装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,31・・・リムーバブルメディア,51・・・画像取得部,52・・・顔検出処理部,53・・・ホワイトバランス調整部,54・・・制御部,55・・・領域検出部,56・・・尤度算出部,57・・・画像処理部,71・・・画像記憶部

Claims (17)

  1. 画像を取得する画像取得手段と、
    前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
    基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
    前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得手段によって取得され、前記ホワイトバランス調整手段によって調整されていない画像から特定色に係る所定の条件を満たす部分を検出する検出手段と、
    を備えることを特徴とする検出装置。
  2. 前記制御手段は、前記特定色が所定の彩度となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
    前記検出手段は、ホワイトバランスの調整内容が制御された画像から、画像内の複数の部分毎の彩度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出することを特徴とする請求項1に記載の検出装置。
  3. 前記制御手段は、前記特定色が無彩色となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
    ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、前記特定色らしさである特定色尤度を算出する算出手段を、更に備え、
    前記検出手段は、前記算出手段により算出された特定色尤度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出することを特徴とする請求項1または2に記載の検出装置。
  4. 前記検出手段により検出された特定色に係る所定の条件を満たす部分に所定の画像処理を施す画像処理手段を、更に備えることを特徴とする請求項1から3のいずれか1項に記載の検出装置。
  5. 画像を取得する画像取得手段と、
    前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
    基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
    前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得手段によって取得され、前記ホワイトバランス調整手段によって調整されていない画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する生成手段と、
    を備えることを特徴とする検出装置。
  6. 前記制御手段は、前記特定色が所定の彩度となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
    前記生成手段は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、マップ情報を生成することを特徴とする請求項5に記載の検出装置。
  7. 前記制御手段は、前記特定色が無彩色となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
    ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、前記特定色らしさである特定色尤度を算出する算出手段を、更に備え、
    前記生成手段は、前記算出手段により算出される特定色尤度に基づき、マップ情報を生成することを特徴とする請求項5または6に記載の検出装置。
  8. 前記生成手段により生成されたマップ情報を使用して、取得された画像に所定の画像処理を施す画像処理手段を更に備えることを特徴とする請求項5から7のいずれか1項に記載の検出装置。
  9. 前記画像取得手段は、線形な特性を有する画像を取得することを特徴とする請求項1から8のいずれか1項に記載の検出装置。
  10. 画像に含まれる顔領域を検出する顔検出手段と、
    前記顔検出手段により検出された顔領域から特定色を取得する特定色取得手段と、を更に備え、
    前記制御手段は、前記特定色取得手段により取得された前記特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御することを特徴とする請求項1から9のいずれか1項に記載の検出装置。
  11. 画像を取得する画像取得手段と、
    前記画像取得手段により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、前記画像における色のバランスを変換する変換手段と、
    前記変換手段により色のバランスが変換された画像に基づき、前記画像取得手段によって取得され、前記変換手段によって変換されていない画像から前記特定色に係る所定の条件を満たす部分を検出する検出手段と、
    を備えることを特徴とする検出装置。
  12. 第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する画像取得手段と、
    前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
    基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
    前記制御手段によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する変換手段と、
    前記変換手段により変換される情報を使用して、前記画像取得手段によって取得され、前記ホワイトバランス調整手段によって調整されていない画像に所定の画像処理を施す画像処理手段と、
    を備えることを特徴とする画像処理装置。
  13. 前記制御手段は、画像内の特定色の部分が、第2の色空間のうちの1の要素が所定の条件を満たすように前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御することを特徴とする請求項12に記載の画像処理装置。
  14. 画像を取得する画像取得処理と、
    前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
    基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
    前記制御処理によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得処理にて取得され、前記ホワイトバランス調整処理にて調整されていない画像から特定色に係る所定の条件を満たす部分を検出する検出処理と、
    を含むことを特徴とする検出方法。
  15. 画像を取得する画像取得処理と、
    前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
    基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
    前記制御処理によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得処理にて取得され、前記ホワイトバランス調整処理にて調整されていない画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する生成処理と、
    を含むことを特徴とする検出方法。
  16. 画像を取得する画像取得処理と、
    前記画像取得処理により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、前記画像における色のバランスを変換する変換処理と、
    前記変換処理により色のバランスが変換された画像に基づき、前記画像取得処理にて取得され、前記変換処理にて変換されていない画像から前記特定色に係る所定の条件を満たす部分を検出する検出処理と、
    を含むことを特徴とする検出方法。
  17. 第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する画像取得処理と、
    前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
    基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
    前記制御処理によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する変換処理と、
    前記変換処理により変換される情報を使用して、前記画像取得処理にて取得され、前記ホワイトバランス調整処理にて調整されていない画像に所定の画像処理を施す画像補正処理と、
    を含むことを特徴とする画像処理方法。
JP2017121412A 2017-06-21 2017-06-21 検出装置、画像処理装置、検出方法、及び画像処理方法 Active JP6677222B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017121412A JP6677222B2 (ja) 2017-06-21 2017-06-21 検出装置、画像処理装置、検出方法、及び画像処理方法
CN201810597485.5A CN109104601B (zh) 2017-06-21 2018-06-11 检测装置、图像处理装置、检测方法以及图像处理方法
KR1020180069313A KR102562720B1 (ko) 2017-06-21 2018-06-15 검출 장치, 이미지 처리 장치, 검출 방법, 및 이미지 처리 방법
US16/012,212 US10757321B2 (en) 2017-06-21 2018-06-19 Detection apparatus for detecting portion satisfying predetermined condition from image, image processing apparatus for applying predetermined image processing on image, detection method, and image processing method
US16/928,073 US11272095B2 (en) 2017-06-21 2020-07-14 Detection apparatus for detecting portion satisfying predetermined condition from image, image processing apparatus for applying predetermined image processing on image, detection method, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017121412A JP6677222B2 (ja) 2017-06-21 2017-06-21 検出装置、画像処理装置、検出方法、及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2019008408A JP2019008408A (ja) 2019-01-17
JP2019008408A5 JP2019008408A5 (ja) 2019-03-28
JP6677222B2 true JP6677222B2 (ja) 2020-04-08

Family

ID=64693795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017121412A Active JP6677222B2 (ja) 2017-06-21 2017-06-21 検出装置、画像処理装置、検出方法、及び画像処理方法

Country Status (4)

Country Link
US (2) US10757321B2 (ja)
JP (1) JP6677222B2 (ja)
KR (1) KR102562720B1 (ja)
CN (1) CN109104601B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200036888A1 (en) * 2018-07-26 2020-01-30 Qualcomm Incorporated Calibration of Automatic White Balancing using Facial Images
CN110310268A (zh) * 2019-06-26 2019-10-08 深圳市同为数码科技股份有限公司 基于白平衡统计分区信息的肤色检测方法及系统
CN112686820A (zh) * 2020-12-29 2021-04-20 北京旷视科技有限公司 虚拟美妆方法、装置和电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678320A (ja) * 1992-08-25 1994-03-18 Matsushita Electric Ind Co Ltd 色調整装置
KR20070084293A (ko) * 2004-12-02 2007-08-24 마츠시타 덴끼 산교 가부시키가이샤 색채 조정 장치 및 방법
JP5354842B2 (ja) * 2006-05-26 2013-11-27 キヤノン株式会社 画像処理方法および画像処理装置
JP2008042694A (ja) 2006-08-09 2008-02-21 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP5066398B2 (ja) * 2007-06-29 2012-11-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP4702635B2 (ja) * 2007-07-17 2011-06-15 富士フイルム株式会社 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
JP5113514B2 (ja) * 2007-12-27 2013-01-09 キヤノン株式会社 ホワイトバランス制御装置およびホワイトバランス制御方法
JP5167886B2 (ja) * 2008-03-18 2013-03-21 株式会社リコー 画像処理装置と表示方法とプログラム
JP2009302700A (ja) * 2008-06-11 2009-12-24 Sony Corp 撮像装置、画像処理装置およびプログラム
KR101516963B1 (ko) * 2008-12-11 2015-05-04 삼성전자주식회사 유효 영역을 이용한 자동 화이트 밸런스 조정 장치 및 방법
JP4983962B2 (ja) 2009-07-23 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR101666009B1 (ko) 2009-10-22 2016-10-14 삼성전자주식회사 다중 셀 환경에서 피간섭 단말을 검출하고 간섭 제어를 수행하는 통신 시스템
JP5804856B2 (ja) * 2011-09-07 2015-11-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6083974B2 (ja) * 2012-04-24 2017-02-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9449412B1 (en) * 2012-05-22 2016-09-20 Image Metrics Limited Adaptive, calibrated simulation of cosmetic products on consumer devices
JP5921983B2 (ja) * 2012-08-03 2016-05-24 クラリオン株式会社 車載撮像装置
CN105229673B (zh) * 2013-04-03 2021-12-03 诺基亚技术有限公司 一种装置和相关联的方法
WO2015030705A1 (en) * 2013-08-26 2015-03-05 Intel Corporation Automatic white balancing with skin tone correction for image processing
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
JP6369246B2 (ja) * 2014-09-08 2018-08-08 オムロン株式会社 似顔絵生成装置、似顔絵生成方法
JP6569263B2 (ja) * 2015-03-27 2019-09-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP3423990A1 (en) * 2016-03-02 2019-01-09 Holition Limited Locating and augmenting object features in images
CN106845455B (zh) * 2017-03-01 2021-03-12 中国科学院上海高等研究院 基于肤色检测的图像处理方法、系统及服务器
JP6677221B2 (ja) * 2017-06-06 2020-04-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
KR102562720B1 (ko) 2023-08-01
US10757321B2 (en) 2020-08-25
US11272095B2 (en) 2022-03-08
JP2019008408A (ja) 2019-01-17
CN109104601A (zh) 2018-12-28
CN109104601B (zh) 2021-02-12
US20200344410A1 (en) 2020-10-29
US20180376056A1 (en) 2018-12-27
KR20180138530A (ko) 2018-12-31

Similar Documents

Publication Publication Date Title
JP6720881B2 (ja) 画像処理装置及び画像処理方法
JP6421794B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6677221B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11272095B2 (en) Detection apparatus for detecting portion satisfying predetermined condition from image, image processing apparatus for applying predetermined image processing on image, detection method, and image processing method
JP2018049564A (ja) 検出装置、及び検出方法
JP2018117289A (ja) 画像処理装置、画像処理方法及びプログラム
JP6904788B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6423668B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
US11069031B2 (en) Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium to control reflected color components of input image
JP6795062B2 (ja) 検出装置、検出方法及びプログラム
JP2018093359A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5146223B2 (ja) プログラム、カメラ、画像処理装置および画像の輪郭抽出方法
JP7400196B2 (ja) 電子機器、画像処理方法、及び画像処理プログラム
JP7318251B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9135687B2 (en) Threshold setting apparatus, threshold setting method and recording medium in which program for threshold setting method is stored
JP7375313B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20200118304A1 (en) Image processing apparatus, image processing method, and recording medium
JP2020074100A (ja) 画像処理装置、画像処理方法及びプログラム
JP6361204B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5518150B2 (ja) 画像処理方法、撮像装置、その制御方法およびプログラム
JP5084821B2 (ja) 画像処理方法、撮像装置、その制御方法およびプログラム
JP2016170626A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6677222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150