JP7003558B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7003558B2
JP7003558B2 JP2017198578A JP2017198578A JP7003558B2 JP 7003558 B2 JP7003558 B2 JP 7003558B2 JP 2017198578 A JP2017198578 A JP 2017198578A JP 2017198578 A JP2017198578 A JP 2017198578A JP 7003558 B2 JP7003558 B2 JP 7003558B2
Authority
JP
Japan
Prior art keywords
image
region
area
peculiar
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017198578A
Other languages
English (en)
Other versions
JP2019074795A (ja
Inventor
恭介 佐々木
隆雄 中井
大己 山崎
丈晴 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017198578A priority Critical patent/JP7003558B2/ja
Priority to CN201811181452.9A priority patent/CN109658339B/zh
Priority to US16/159,292 priority patent/US10872229B2/en
Publication of JP2019074795A publication Critical patent/JP2019074795A/ja
Application granted granted Critical
Publication of JP7003558B2 publication Critical patent/JP7003558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
従来、顔画像を補正する技術が提案されている。例えば、特許文献1には、美肌化(ホクロ除去)、色白、日焼け加工を施すことが記載されている。この内ホクロ除去に関しては、局所的に周辺画素と異なる領域を検出し、これをホクロとみなし、周辺画素との置き換え処理を行うことが記載されている。
特開平11-73498号公報
しかしながら上記技術は、その検出された領域はホクロか否かを正確に判別はしていないため、最悪の場合本来消したくない画像領域まで消してしまう問題があった。
本願発明はこのような問題点に鑑みてなされたもので、精度高く処理対象の画像領域の設定を行えるようにすることを目的とする。
上記課題を解決するため、本発明の画像処理装置は、
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色差成分における特定の方向を定義した複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段と、
前記検出手段によって検出された前記特異な画像領域の大きさと前記色差成分における特定の方向で構成される画像のエッジの検出の結果とに基づいて、前記特異な画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする。
また本発明の画像処理装置は、
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、輝度成分で表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段と、
前記検出手段によって検出された前記特異な画像領域の大きさと前記輝度成分におけるエッジの検出の結果とに基づいて前記特異な画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする。
本発明によれば、精度高く処理対象の画像領域の設定を行えるようにすることを目的とする。
本実施形態に係る撮像装置の機能的構成を示すブロック図である。 図1の領域設定部により実行される材料データの作成の処理手順を示すフローチャートである。 図1の領域設定部により実行される肌荒れ領域の抽出の処理手順を示すフローチャートである。 図1の領域設定部により実行されるホクロ領域の抽出の処理手順を示すフローチャートである。 図1の領域設定部により実行される統合処理の抽出の処理手順を示すフローチャートである。 図1の補間処理部の各機能部におけるデータの流れを示す図である。
以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
[撮像装置1の構成]
図1は、本実施形態に係る撮像装置1の機能的構成を示すブロック図である。図1に示すように、撮像装置1は、制御部101、記憶部102、表示部103、通信部104、操作部105、撮像部106、画像処理部107、画像メモリ108、領域設定部109、補間処理部110、点灯制御部111、発光部112等を備えて構成されている。制御部101と各部はバスにより接続されている。
制御部101は、CPU(Central Processing Unit)、RAM(Random Access Memory)等を備えて構成され、記憶部102に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行う。
記憶部102は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部102には、制御部101で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
表示部103は、LCD(Liquid Crystal Display)等により構成され、制御部101からの表示制御信号に従って、例えば、撮像部106により撮像された状態を示すライブビュー画像や、撮影指示に応じて撮像部106により取得された画像等を表示する。
通信部104は、外部の機器と無線又は有線によりデータ通信を行うためのインターフェースである。
操作部105は、シャッターキーを始めとする各種機能ボタンを備え、ユーザによる各ボタンの押下入力を受け付けてその操作情報を制御部101に出力する。
撮像部106は、撮像レンズ106a、図示しないCCD(Charge Coupled Device)
やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ等からな
る撮像素子、A/D変換回路等を備えて構成され、撮像レンズ106aを通過した光学像を撮像素子により2次元の画像信号に変換し、画像データ(RGBの画像データ)を取得する。
画像処理部107は、撮像部106により取得されたRGBデータに画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Crからなる画像データ(Y、U、Vの各成分の画像データ)に変換する。また、画像処理部107は、美肌モードが設定されている場合、変換された画像データの肌色領域に所定の平滑化処理等の美肌処理を施す。美肌モードとは、撮像部106により取得された画像データに美肌処理を施すモードである。
画像メモリ108は、例えば、フラッシュメモリ等により構成され、撮像部106により撮像され、画像処理部107により処理された画像データを記録する記録手段である。
領域設定部109は、美肌モードが設定されている場合に、撮像部106により取得され、画像処理部107により美肌処理された画像データから特異な領域(肌荒れ領域、ホクロ領域)を検出し、検出した特異な領域を補間処理の処理対象領域として設定する。
補間処理部110は、撮像部106により取得され、画像処理部107により美肌処理された画像データのうち、領域設定部109により設定された処理対象領域に補間処理を施す。本実施形態では、処理対象領域に対し、周囲の画素を用いて補間処理を施すことで、処理対象領域の肌荒れやホクロを除去して肌を綺麗に見せる処理を施す。
領域設定部109、補間処理部110は、制御部101と記憶部102に記憶されているプログラムとの協働により実行されるものとするが、専用のハードウエアにより実現することとしてもよい。
点灯制御部111(ドライバ)は、発光部112のLED(Light Emitting Diode)のそれぞれに接続され、制御部101からの指示に従って、発光部112の光量や点灯/消灯を制御する。
発光部112は、LED等により構成され、被写体に光を照射する。
[撮像装置1の動作]
次に、撮像装置1の領域設定部109及び補間処理部110の動作について説明する。
領域設定部109においては、まず、画像処理部107から入力され、所定の平滑化処理等の美肌処理を施した画像データ(入力画像)からニキビや吹き出物等が存在する肌荒れ領域やホクロ領域を検出するための材料となる材料データが作成される(図2参照)。次いで、肌荒れ領域が抽出される(図3参照)。次いで、ホクロ領域が抽出される(図4参照)。そして、肌荒れ領域とホクロ領域が統合され、補間処理の処理対象領域として設定される(図5参照)。
補間処理部110においては、領域設定部109により設定された処理対象領域に対して、補間処理が施される(図6参照)。
以下、領域設定部109及び補間処理部110により実行される各処理について説明する。
(材料データの作成)
まず、図2を参照して、領域設定部109において実行される材料データの作成処理について説明する。
まず、領域設定部109は、入力画像に顔領域検出処理を施す(ステップA01)。顔領域検出処理は、例えば、パターン認識等の公知の画像処理技術を用いて行うことができる。
次いで、領域設定部109は、検出された顔領域の画像(顔画像)を切り出して縮小化する(ステップA02)。ここでは、256画素×256画素に縮小化する。
次いで、領域設定部109は、顔画像における顔領域の輪郭情報を生成し(ステップA03)、検出された顔領域(輪郭の中)のY成分画像データ及びV成分画像データを生成する(ステップA04)。
次いで、領域設定部109は、ステップA04で生成したV成分画像データについて、記憶部102に記憶されている4つの大きさのリングフィルタを用いて検出を行い、そのうち2つで検出された領域を予め定められた閾値に基づいて分類することにより、肌荒れ領域(強、中、弱)の画像を生成する(ステップA05)。ここで、リングフィルタとは、ある座標の画素値と、指定した周辺座標群の画素値の最大値を比較し、その差が基準値以上のものを検出するリング状のフィルタである。
また、領域設定部109は、ステップA04で生成したV成分画像データについてエッジ検出を行い、検出した正方向のエッジを二値化することにより得られた明部、負方向のエッジを二値化することにより得られた暗部に分類する(ステップA06)。
また、領域設定部109は、ステップA04で生成したY成分画像データについて負方向のエッジを検出し(A07)、検出されたエッジ領域を予め定められた異なる2つの閾値に基づいて二値化して、肌荒れ用拡張領域、ホクロ用拡張領域として出力する(ステップA08)。また、領域設定部109は、ステップA07で検出されたエッジ領域について、記憶部102に記憶されている4つの大きさのリングフィルタを用いて検出を行い、そのうち2つで検出された領域を予め定められた閾値に基づいて分類することにより、ホクロ領域(強、中、弱)の画像を生成する(ステップA09)。
また、領域設定部109は、ステップA04で生成したY成分画像データを平滑化し、予め定められた閾値で二値化してY成分暗部画像を生成する(ステップA10)。
また、領域設定部109は、ステップA03で検出された輪郭情報に基づいて、目、鼻、口、眉等の特徴部位を特定し、特徴部位をマスクした顔領域の内側の画像を生成する(ステップA12)。また、領域設定部109は、縮小化した顔領域の画像をグレースケールに変換して肌マップデータを生成し(ステップA11)、肌マップデータを所定の閾値で二値化し(ステップA13)、ステップA12で生成された特徴部位をマスクした顔領域の内側の画像と、ステップA13で生成された肌マップデータを所定の閾値で二値化した画像の両方を満たす領域を肌領域マスクデータとして生成する(ステップA14)。
以上のステップA01~A14により肌荒れ領域、ホクロ領域を検出するための材料データが生成される。
(肌荒れ領域の抽出)
次に、図3を参照して、領域設定部109において肌荒れ領域を抽出する処理について説明する。
まず、領域設定部109は、ステップA05において生成された肌荒れ領域(弱)画像と、ステップA06において生成されたV成分画像データの明部の抽出結果との位置関係を判断し、双方が重ならない場合は、肌荒れ領域(弱)を肌荒れ領域1として設定し、双方が重なる場合は、双方のうち少なくとも一方が含まれている領域を肌荒れ領域1として設定する(ステップB01)。
次いで、領域設定部109は、ステップB01において生成された肌荒れ領域1と、ステップA08において生成された肌荒れ用拡張領域との位置関係を判断し、双方が重ならない場合は、肌荒れ領域ではないものとして設定し、双方が重なる場合は、双方のうち少なくとも一方が含まれている領域を肌荒れ領域2として設定する(ステップB02)。
また、領域設定部109は、ステップA06において生成されたV成分画像データの明部と暗部のそれぞれの大きい領域(予め定められたサイズ以上の領域)を抽出して足し合わせ(ステップB04)、ステップB04で得られた領域と、ステップA10で生成されたY成分暗部画像と、肌領域マスクデータとを足し合わせ、所定サイズ以下の領域を除外する(ステップB05)。次いで、ステップB05により得られた画像を、ステップA08において生成された肌荒れ用拡張領域と足し合わせる(ステップB06)。
次いで、領域設定部109は、ステップA08において生成されたホクロ用拡張領域をオープニング処理し(ステップB07)、ステップB06により生成された画像とオープニング処理したホクロ用拡張領域とで連結している領域の外側を抽出し(ステップS08)、抽出した領域とステップB06による足し算により得られた領域とを足し、所定サイズ以下の領域を除去する(ステップB09)。
そして、領域設定部109は、ステップB02で設定された肌荒れ領域2とステップB09により得られた領域との位置関係を判断し、双方が重ならない場合は、肌荒れ領域2を肌荒れ領域3として設定し、双方が重なる場合は、肌荒れ領域ではないものとして設定する(ステップB03)。
(ホクロ領域の抽出)
次に、図4を参照して、領域設定部109においてホクロ領域を抽出する処理について説明する。
まず、領域設定部109は、ステップA08において生成されたホクロ用拡張領域とステップA09において生成されたホクロ領域(弱)画像との位置関係を判断し、双方が重ならない場合は、その領域はホクロ領域ではないものとして設定し、双方が重なる場合は、双方の少なくとも一方が含まれる領域をホクロ領域1として設定する(ステップC01)。
次いで、領域設定部109は、ホクロ領域1とステップB09によって得られた領域との位置関係を判断し、双方が重ならない場合は、ホクロ領域1をホクロ領域2として設定し、双方が重なる場合は、ホクロ領域ではないものとして設定する(ステップC02)。
(統合処理)
次に、図5を参照して、肌荒れ領域3とホクロ領域2を統合し、これらを補間処理の処理対象領域として設定する統合処理について説明する。
まず、領域設定部109は、ステップB03において設定された肌荒れ領域3と、ステップC02において設定されたホクロ領域2の位置関係を判断する(ステップD01)。
肌荒れ領域3とホクロ領域2の位置が重なっている領域については(ステップD02;YES)、領域設定部109は、ステップA05において生成された肌荒れ領域(中・強)画像と、ステップA09において生成されたホクロ領域(中・強)画像を参照し(ステップS03)、肌荒れ領域3とホクロ領域2の双方の強度が同じか異なるかを判断する(ステップD04)。
肌荒れ領域3とホクロ領域2の強度が異なっていると判断した場合(ステップD04;異なる)、領域設定部109は、強度の低い方の領域を除外し(ステップD05)、ステップD10に移行する。
肌荒れ領域3とホクロ領域2の強度が同じであると判断した場合(ステップD04;同じ)、領域設定部109は、肌荒れ領域3とホクロ領域2のサイズを比較する(ステップD06)。肌荒れ領域3とホクロ領域2のサイズが異なると判断した場合(ステップD06;異なる)、領域設定部109は、サイズの小さい方の領域を除外し(ステップD07)、ステップD10に移行する。肌荒れ領域3とホクロ領域2のサイズが同じと判断した場合(ステップD06;同じ)、領域設定部109は、肌荒れ領域3を除外し(ステップD08)、ステップD10に移行する。
一方、ステップD02において、肌荒れ領域3とホクロ領域2が重なっていない領域については(ステップD02;NO)、双方の領域を保持し(ステップD09)、ステップD10に移行する。
ステップD10において、領域設定部109は、ステップD5、D7、D8又はD9で得られた各領域を、肌領域マスクデータの領域内においてステップB09で得られた領域に重ならないように領域を拡大し、補間処理の処理対象領域として設定する(ステップD10)。これにより、肌荒れ領域とホクロ領域が重複せず、かつ目、鼻、口等の特定部位に重ならないように処理対象領域が設定される。
(補間処理)
次に、図6を参照して、領域設定部109において設定された処理対象領域に対し、補間処理部110において補間処理を施す流れについて説明する。
なお、補間処理部110における機能は、エッジ領域抽出処理部110A、保護領域抽出部110B、足し込みエッジ生成部110C、領域補間部110D、元画像置換部110Eの5つの機能ブロックに分類される。
まず、エッジ領域抽出処理部110Aにおいて、ステップD10で設定された各処理対象領域の矩形の位置情報が元画像(縮小前の顔画像)のサイズにリサイズされ、リサイズ後の矩形の内側に楕円マスクが生成され、生成された楕円マスクを用いて元画像から各処理対象領域(YUV領域と呼ぶ)が切り出される。切り出されたYUV領域は、それぞれ領域補間部110D、元画像置換部110Eに出力される。
また、エッジ領域抽出処理部110Aにおいて、切り出された各YUV領域について、エッジ抽出が行われ、抽出されたエッジ領域が足し込みエッジ生成部110Cに出力される。また、抽出された正方向のエッジが二値化され、エッジ領域及び正方向エッジ二値化情報が保護領域抽出部110Bに出力される。さらに、抽出された負方向のエッジが二値化され、周辺のエッジが連結するように領域をぼかして再度二値化され、ラベリングにより、楕円マスクと連結している領域と楕円マスクと連結しなかった領域であるエッジ調整対象とが抽出される。そして、このラベリング結果が保護領域抽出部110Bに出力される。
保護領域抽出部110Bにおいては、髪の毛等の、処理対象領域とは異なる領域を保護するために、保護対象領域が抽出される。
エッジ領域抽出部110Aからエッジ領域、正方向エッジ二値化情報、ラベリング結果が入力されると、保護領域抽出部110Bにおいては、大きいエッジは薄く、小さいエッジは濃く残すように、ラベリングされた領域がサイズによって値付けされ、ブレンド率が設定される。そして、正方向エッジ二値化情報とブレンド率が設定されたブレンドマップが足し込みエッジ生成部110Cに出力される。
また、保護領域抽出部110Bにおいては、楕円マスクと連結している領域が抽出され、クロージング処理により不自然な領域が除外される。また、楕円マスクと連結している領域に含まれていない領域のうち最も大きい領域が補間対象領域として抽出され、抽出された大領域が二値化(保護部を0、補間部を255)されて領域補間部110D及び元画像置換部110Eに出力される。
足し込みエッジ生成部110Cにおいては、処理対象領域について領域を補間するだけでは不自然になるため、補間により除去された領域の解像感を表す足し込みエッジが生成される。
足し込みエッジ生成部110Cにおいては、エッジのない平坦なグレー画像が生成され、保護領域抽出部110Bで生成されたブレンドマップを用いて、エッジ領域抽出処理部110Aにおいて抽出されたエッジ領域とグレー画像とがαブレンディングされる。αブレンディングされたエッジ画像は領域補間部110Dに出力される。
領域補間部110Dにおいては、違和感なく処理対象領域を補間するため、保護領域抽出部110Bで抽出された大領域の境界値の補正と、補間後のエッジ足し込みが行われる。
領域補間部110Dにおいては、まず、エッジ領域抽出処理部110Aにおいて切り出されたYUV領域における、保護領域抽出部110Bにおいて抽出された大領域の補間部との境界値が回帰分析され、極端に外れた値が補正される。また、回帰分析により線形の相関がない領域の割合(信頼度)が算出され、信頼度の低いものは補間時に違和感がでるため処理が中止される。次いで、切り出されたYUV領域における補間部が例えば4点線形補間により補間され、平均フィルタにて補間時の細かいノイズを防ぐためのぼかし処理が行われる。また、必要な解像感を確保するため、足し込みエッジ生成部110Cで生成されたエッジ画像が補間領域に加算され、得られた補間画像が元画像置換部110Eに出力される。
元画像置換部110Eにおいては、補間後の違和感を防止するため、補間画像と元画像とのブレンド率が決定され元画像の処理対象領域が補間画像に置換される。
元画像置換部110Eにおいては、まず、エッジ領域抽出処理部110Aにおいて切り出されたYUV領域の画像と領域補間部110Dにおいて生成された補間画像との差分が算出され所定閾値で二値化され(I1)、元画像より暗くなった部分が抽出される。次いで、補間画像と元画像の境界をなくすため、保護領域抽出部110Bから入力された二値化された大領域の保護部を平均フィルタでぼかす処理が行われ(I2)、I2からI1を引くことによりブレンドマップが生成される。そして、生成されたブレンド値によりαブレンディングが行われ、元画像の処理対象領域が補間画像に置換される。
このように、撮像装置1における領域設定部109は、撮像部106により取得され、美肌処理された画像データのV成分画像データから検出されたエッジ及び4つのサイズのリングフィルタを用いて検出された(周辺画素の画素値との関係に基づいて検出された)肌荒れ領域画像に基づいて肌荒れ領域を特定し、Y成分画像データから検出されたエッジ及び4つのサイズのリングフィルタを用いて検出された(周辺画素の画素値との関係に基づいて検出された)ホクロ領域画像に基づいてホクロ領域を特定し、特定した領域のうち、目、眉毛、鼻、口等の特定領域が除外された領域を処理対象領域として設定する。
したがって、本来処理対象からはずすべき特定の画像領域を処理対象領域として設定することなく、精度高く処理対象の画像領域の設定を行うことが可能となる。
<変形例1>
尚、上記実施の形態では、切り出されたYUV領域における、保護領域抽出部110Bにおいて抽出された大領域の補間部との境界値を回帰分析して算出されたもののうち、線形の相関がない、つまり、信頼度の低いものは補間時に違和感がでるため領域補間処理を中止した。しかしこれに代えて、処理対象領域周辺の境界上を順次1ピクセルずつ探索し、この急激に暗くなる場合は髪の毛がかかっている領域、つまり保護領域であると判断するようにしてもよい。この場合、急に暗くなる直前に探索された肌色のピクセルを周辺境界上のピクセルに置き換えるか、その周辺のピクセルから補間処理により新たなピクセルを生成し、暗いピクセルを置き換え、この置き換えた周辺境界を使って線形補間アルゴリズムによる除去処理を行う用にしてもよい。
<変形例2>
また上記実施の形態に加え、ホクロや肌荒れを補間処理する際、その領域に髪の毛があると、誤って髪の毛の領域を補間処理することがあるため、処理対象領域におけるホクロ領域や肌荒れ領域の境界上のピクセルを探索し、近くにある画素よりも値が小さくなるエッジを抽出するようにしてもよい。そしてこの結果、エッジ検出されなかったホクロ領域は、抽出されたエッジの強度を弱くする。また、エッジが検出されなかった肌荒れ領域は従来のエッジの上乗せをする。このようにすることで、処理領域に太い髪の毛が被っている場合、エッジの強度は強く、また、検出されるエッジもより広域になるため太い髪の毛が処理されず残るようになる。
以上、本発明の実施形態について説明したが、本発明に係る撮像装置の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、設定された処理対象領域に対して補間処理を施す場合を例にとり説明したが、設定された処理対象領域に対して行う処理は、他の処理であってもよく、補間処理に限定されない。
また、上記実施形態においては、4種類のサイズのリングフィルタを用いて肌荒れ領域やホクロ領域を検出するようにしたが、リングフィルタを用いず、Y成分やV成分の画像データにおいて特異な領域を検出し(例えば、周囲とは異なる画素値(突発的に生じている画素値)の領域等を特異な領域として検出し)、その領域の大きさから、肌荒れ又はホクロか否かを判断し、肌荒れ又はホクロと判断された特異な領域を処理対象領域として設定するようにしてもよい。
また、上記実施形態においては、本発明の画像処理装置が撮像装置に備えられている場合を例にとり説明したが、本発明の画像処理装置は撮像装置とは別体であってもよい。例えば、撮像装置から受信した画像データに対して、図2~6を用いて説明した処理を行う画像処理装置としてもよい。
また、上記実施形態においては、YUVの画像データにおいて処理対象領域を設定して補間処理を施す場合を例にとり説明したが、画像データの種類は特に限定されない。
また、例えば、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、撮像装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段と、
前記検出手段によって検出された画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記複数種のパラメータは色差成分における特定の方向を定義したものであり、
前記設定手段は、前記検出手段によって検出された特異な画像領域の大きさと前記色差成分における特定の方向で構成される画像のエッジの検出の結果とに基づいて、当該特異な画像領域を所定の処理を施すべき領域として設定する
ことを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記特異な画像領域とは顔画像における局所的な肌荒れ領域であることを特徴とする請求項1又は2に記載の画像処理装置。
<請求項4>
前記複数種のパラメータは輝度成分であり、
前記設定手段は、前記検出手段によって検出された特異な画像領域の大きさと前記輝度成分におけるエッジの検出の結果とに基づいて、当該特異な画像領域を所定の処理を施すべき領域として設定する
ことを特徴とする請求項1に記載の画像処理装置。
<請求項5>
前記特異な画像領域とは顔画像におけるホクロが存在する領域であることを特徴とする請求項1又は4に記載の画像処理装置。
<請求項6>
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から特異な画像領域を検出する検出手段と、
前記検出手段によって検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする画像処理装置。
<請求項7>
顔画像を取得する取得ステップと、
前記取得ステップにて取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成ステップと、
前記生成ステップにて生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出ステップと、
前記検出ステップにて検出された画像領域を所定の処理を施すべき領域として設定する設定ステップと、
を含むことを特徴とする画像処理方法。
<請求項8>
顔画像を取得する取得ステップと、
前記取得ステップにて取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成ステップと、
前記生成ステップにて生成された画像から特異な画像領域を検出する検出ステップと、
前記検出ステップにて検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定ステップと、
を含むことを特徴とする画像処理方法。
<請求項9>
画像処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段、
前記検出手段によって検出された画像領域を所定の処理を施すべき領域として設定する設定手段、
として機能させることを特徴とするプログラム。
<請求項10>
画像処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段、
前記生成手段によって生成された画像から特異な画像領域を検出する検出手段、
前記検出手段によって検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定手段、
として機能させることを特徴とするプログラム。
1 撮像装置
101 制御部
102 記憶部
103 表示部
104 通信部
105 操作部
106 撮像部
106a 撮像レンズ
107 画像処理部
108 画像メモリ
109 領域設定部
110 補間処理部
111 点灯制御部
112 発光部

Claims (8)

  1. 顔画像を取得する取得手段と、
    前記取得手段によって取得された顔画像から、色差成分における特定の方向を定義した複数種のパラメータの一つで表現される画像を生成する生成手段と、
    前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段と、
    前記検出手段によって検出された前記特異な画像領域の大きさと前記色差成分における特定の方向で構成される画像のエッジの検出の結果とに基づいて、前記特異な画像領域を所定の処理を施すべき領域として設定する設定手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記特異な画像領域とは顔画像における局所的な肌荒れ領域であることを特徴とする請求項1に記載の画像処理装置。
  3. 顔画像を取得する取得手段と、
    前記取得手段によって取得された顔画像から、輝度成分で表現される画像を生成する生成手段と、
    前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段と、
    前記検出手段によって検出された前記特異な画像領域の大きさと前記輝度成分におけるエッジの検出の結果とに基づいて前記特異な画像領域を所定の処理を施すべき領域として設定する設定手段と、
    を備えたことを特徴とする画像処理装置。
  4. 前記特異な画像領域とは顔画像におけるホクロが存在する領域であることを特徴とする請求項3に記載の画像処理装置。
  5. 顔画像を取得する取得ステップと、
    前記取得ステップにて取得された顔画像から、色差成分における特定の方向を定義した複数種のパラメータの一つで表現される画像を生成する生成ステップと、
    前記生成ステップにて生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出ステップと、
    前記検出ステップにて検出された前記特異な画像領域の大きさと前記色差成分における特定の方向で構成される画像のエッジの検出の結果とに基づいて、前記特異な画像領域を所定の処理を施すべき領域として設定する設定ステップと、
    を含むことを特徴とする画像処理方法。
  6. 顔画像を取得する取得ステップと、
    前記取得ステップにて取得された顔画像から、輝度成分で表現される画像を生成する生成ステップと、
    前記生成ステップによって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出ステップと、
    前記検出ステップにて検出された前記特異な画像領域の大きさと前記輝度成分におけるエッジの検出の結果とに基づいて前記特異な画像領域を所定の処理を施すべき領域として設定する設定ステップと、
    を含むことを特徴とする画像処理方法。
  7. 画像処理装置のコンピュータを、
    顔画像を取得する取得手段、
    前記取得手段によって取得された顔画像から、色差成分における特定の方向を定義した複数種のパラメータの一つで表現される画像を生成する生成手段、
    前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段、
    前記検出手段によって検出された前記特異な画像領域の大きさと前記色差成分における特定の方向で構成される画像のエッジの検出の結果とに基づいて、前記特異な画像領域を所定の処理を施すべき領域として設定する設定手段、
    として機能させることを特徴とするプログラム。
  8. 画像処理装置のコンピュータを、
    顔画像を取得する取得手段、
    前記取得手段によって取得された顔画像から、輝度成分で表現される画像を生成する生成手段、
    前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段、
    前記検出手段によって検出された前記特異な画像領域の大きさと前記輝度成分におけるエッジの検出の結果とに基づいて前記特異な画像領域を所定の処理を施すべき領域として設定する設定手段、
    として機能させることを特徴とするプログラム。
JP2017198578A 2017-10-12 2017-10-12 画像処理装置、画像処理方法、及びプログラム Active JP7003558B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017198578A JP7003558B2 (ja) 2017-10-12 2017-10-12 画像処理装置、画像処理方法、及びプログラム
CN201811181452.9A CN109658339B (zh) 2017-10-12 2018-10-11 图像处理装置、图像处理方法以及记录介质
US16/159,292 US10872229B2 (en) 2017-10-12 2018-10-12 Image processing device, image processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017198578A JP7003558B2 (ja) 2017-10-12 2017-10-12 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019074795A JP2019074795A (ja) 2019-05-16
JP7003558B2 true JP7003558B2 (ja) 2022-01-20

Family

ID=66097265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017198578A Active JP7003558B2 (ja) 2017-10-12 2017-10-12 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US10872229B2 (ja)
JP (1) JP7003558B2 (ja)
CN (1) CN109658339B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808027B (zh) * 2020-06-16 2023-10-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN113763286A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004303193A (ja) 2003-03-20 2004-10-28 Omron Corp 画像処理装置
JP2006018467A (ja) 2004-06-30 2006-01-19 Canon Inc 画像処理装置及び方法
JP2013012089A (ja) 2011-06-29 2013-01-17 Nikon Corp 画像処理装置、カメラおよび画像処理プログラム
JP2013090751A (ja) 2011-10-25 2013-05-16 Fujifilm Corp シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム
JP2016051302A (ja) 2014-08-29 2016-04-11 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2017130976A (ja) 2017-04-17 2017-07-27 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2016178600A5 (ja) 2015-03-23 2018-05-10

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4056594B2 (ja) 1997-08-29 2008-03-05 株式会社市川ソフトラボラトリー 電子画像の色修正方法及びその色修正装置を内蔵する電子カメラ並びに色修正プログラムを記録した記録媒体
JP2000105815A (ja) 1998-09-28 2000-04-11 Yasuhiko Arakawa 顔画像処理方法および顔画像処理装置
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US20090015683A1 (en) * 2005-03-15 2009-01-15 Omron Corporation Image processing apparatus, method and program, and recording medium
KR20100024263A (ko) * 2008-08-25 2010-03-05 삼성디지털이미징 주식회사 디지털 영상 처리기에서 뷰티처리 장치 및 방법
JP4983962B2 (ja) * 2009-07-23 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
US8989436B2 (en) * 2010-03-30 2015-03-24 Nikon Corporation Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus
JP5589660B2 (ja) * 2010-08-12 2014-09-17 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
JP2013074572A (ja) * 2011-09-29 2013-04-22 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
CN104125442A (zh) * 2013-04-26 2014-10-29 索尼公司 图像处理方法、装置以及电子设备
JP6288816B2 (ja) * 2013-09-20 2018-03-07 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6379519B2 (ja) 2014-02-27 2018-08-29 カシオ計算機株式会社 肌処理装置、肌処理方法及びプログラム
JP6201938B2 (ja) * 2014-09-09 2017-09-27 カシオ計算機株式会社 画像補正装置、画像補正方法及びプログラム
JP6458569B2 (ja) * 2015-03-12 2019-01-30 オムロン株式会社 画像処理装置および画像処理方法
JP6550827B2 (ja) 2015-03-23 2019-07-31 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105654445B (zh) * 2016-01-28 2018-08-21 东南大学 一种基于小波变换边缘检测的手机图像去噪方法
JP2018049564A (ja) * 2016-09-23 2018-03-29 カシオ計算機株式会社 検出装置、及び検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004303193A (ja) 2003-03-20 2004-10-28 Omron Corp 画像処理装置
JP2006018467A (ja) 2004-06-30 2006-01-19 Canon Inc 画像処理装置及び方法
JP2013012089A (ja) 2011-06-29 2013-01-17 Nikon Corp 画像処理装置、カメラおよび画像処理プログラム
JP2013090751A (ja) 2011-10-25 2013-05-16 Fujifilm Corp シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム
JP2016051302A (ja) 2014-08-29 2016-04-11 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016178600A5 (ja) 2015-03-23 2018-05-10
JP2017130976A (ja) 2017-04-17 2017-07-27 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US10872229B2 (en) 2020-12-22
CN109658339B (zh) 2023-12-08
US20190114466A1 (en) 2019-04-18
JP2019074795A (ja) 2019-05-16
CN109658339A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
US10769435B2 (en) Method of avoiding biometrically identifying a subject within an image
KR102175164B1 (ko) 이미지의 화질 개선을 위한 장치 및 방법
KR101590868B1 (ko) 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체
JP6564271B2 (ja) 撮像装置及び画像処理方法、プログラム、並びに記憶媒体
US8055066B2 (en) Apparatus, system, and method for skin tone detection in a CMOS image sensor
EP2615577A1 (en) Image-processing device, image-processing method, and control program
CN107730456B (zh) 图像处理方法以及图像处理装置
KR20110033980A (ko) 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화
EP3067865B1 (en) Image processing apparatus and image processing method
JP2019106045A (ja) 画像処理装置、方法及びプログラム
WO2018233637A1 (zh) 视频处理方法、装置、电子设备及存储介质
JP7003558B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020021397A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2009038737A (ja) 画像処理装置
JP2009111947A (ja) 画像補正装置
JP6942752B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7548396B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Corcoran et al. Detection and repair of flash-eye in handheld devices
CN111047520B (zh) 图像处理装置、图像处理方法以及记录介质
JP2020160490A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2003308530A (ja) 画像認識装置
KR20180077111A (ko) 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
Huang et al. A RGBI imager based background suppression method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211213

R150 Certificate of patent or registration of utility model

Ref document number: 7003558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150