JP6603722B2 - 画像処理装置およびプログラム - Google Patents

画像処理装置およびプログラム Download PDF

Info

Publication number
JP6603722B2
JP6603722B2 JP2017536484A JP2017536484A JP6603722B2 JP 6603722 B2 JP6603722 B2 JP 6603722B2 JP 2017536484 A JP2017536484 A JP 2017536484A JP 2017536484 A JP2017536484 A JP 2017536484A JP 6603722 B2 JP6603722 B2 JP 6603722B2
Authority
JP
Japan
Prior art keywords
image
size
face
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017536484A
Other languages
English (en)
Other versions
JPWO2017034012A1 (ja
Inventor
奈保 徳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2017034012A1 publication Critical patent/JPWO2017034012A1/ja
Application granted granted Critical
Publication of JP6603722B2 publication Critical patent/JP6603722B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393Enlarging or reducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明の一態様は画像処理技術に関し、特には画像に対して適切な美顔処理を施す画像処理装置およびプログラムに関する。
近年、拡大された画像に所定の画像処理を施すことによって、好適な画像を生成する技術が開発されている。たとえば特許文献1には、電子ズームによって画像の拡大を行った場合でも画像の輪郭部分を鮮鋭に保った画像を得るために、画像の拡大率に応じてカメラ信号手段における輪郭補正ゲインを調整する映像信号処理装置が開示されている。
日本国公開特許公報「特開2005−20061号(2005年1月20日公開)」
しかし、特許文献1の技術では、画像を拡大したときに輪郭補正ゲインを高くすることによって画像の輪郭部分を鮮鋭に保つように補正する結果、被写体の顔に現れるシミおよびシワが強調される。このため、サイズ変更後の画像に含まれる被写体の美観が損なわれるという問題が生じる。
本発明の一態様は上記の課題を解決するためになされたものである。そしてその目的は、サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止できる画像処理装置およびプログラムを提供する。
本発明の一態様に係る画像処理装置は、上記の課題を解決するために、被写体を含む画像のサイズ変更率を算出するサイズ変更率算出部と、上記サイズ変更率に基づき上記画像の少なくとも一部のサイズを変更する画像サイズ変更部と、上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出部と、上記サイズ変更率に応じた程度の美顔処理を上記肌領域に施す美顔処理部とを備えていることを特徴としている。
本発明の一態様によれば、サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止できるという効果を奏する。
本発明の実施形態1に係る画像処理装置を備える画像表示装置の構成を示す機能ブロック図である。 本発明の実施形態1における画像サイズの変更を説明する図である。 本発明の実施形態1における肌領域の抽出を説明する図である。 本発明の実施形態1におけるサイズ変更率と美顔処理の程度との関係を示す図である。 本発明の実施形態1における陰影重畳処理を説明するための図である。 本発明の実施形態1に係る画像処理装置によって実行される画像処理方法の流れを表すフローチャートである。 本発明の実施形態2に係る画像処理装置を備える画像表示装置の構成を示す機能ブロック図である。 本発明の実施形態2における顔検出の詳細を説明する図である。 本発明の実施形態2におけるサイズ変更率と美顔処理の程度との関係を示す図である。 本発明の実施形態2に係る画像表示装置によって実行される画像処理方法の流れを表すフローチャートである。
本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。各添付図面は、本発明の原理に則った具体的な実施形態を示すに過ぎない。これらは本発明の理解のために用意されたに過ぎず、決して本発明を限定的に解釈させるためのものではない。また、各添付図面に図示される各要素は、本発明の理解を深めるために敢えて誇張して記載されているので、実際の各要素の間隔および大きさとは異なることに留意すべきである。
以下の説明において、ある図面においてある要素に付された符号と同じ符号が他の図面内の同一の要素にも付されている場合、当該同一の要素の構成および機能等は当該ある要素と同一であるため、当該同一の要素についての詳細な説明を省略する。また、以下に記載される「画像」または「コンテンツデータ」とは、静止画像および動画像の両方を含む意味のものである。さらに、動画像に音声情報が含まれる場合、「画像」および「コンテンツデータ」は音声情報も含むものとする。
〔実施形態1〕
本発明に係る実施形態1について、図1〜図6に基づき以下に説明する。
(装置構成)
図1は、本発明の実施形態1に係る画像処理装置20を備える画像表示装置1の構成を示す機能ブロック図である。この図に示すように、画像表示装置1は、入出力装置10、画像処理装置20、および表示部30を備えている。入出力装置10は、撮像部11、送受信部12、画像入出力部13、ユーザ入力部14、および記憶部15を備えている。画像処理装置20は、サイズ変更率算出部21、画像サイズ変更部22、肌領域抽出部23、および美顔処理部24を備えている。
画像表示装置1は、画像を表示することができる各種の装置として実現される。その具体例として、たとえば、テレビジョン受信装置、モニタ、携帯電話、スマートフォン、タブレットPC、PC、携帯ゲーム機、電子フォトフレーム、デジタルスチルカメラ、およびビデオカメラなどが挙げられる。
(撮像部11)
撮像部11は、撮像レンズと、CCD(Charge Coupled Device)などの撮像素子とを備えており、被写体を撮像することによって、当該被写体を含む画像(静止画または動画)を生成する。
(送受信部12)
送受信部12は、コンテンツデータなどを送信したり受信したりするための一般的なインターフェイスである。送受信部12は、テレビ放送波、インターネット、およびその他の通信回線を通じて提供される画像を受信する。送受信部12は、テレビジョン放送の放送波を受信するテレビジョン受信装置などによって提供される、放送波に含まれるコンテンツデータを受信し、これを再生する部材であればよい。あるいは送受信部12は、インターネットまたはその他の通信回線から配信されたコンテンツデータを受信し、これを再生する部材であってもよい。
(画像入出力部13)
画像入出力部13は、入出力装置10の外部から入力された画像を受け付け、入力画像として出力する一般的な部材である。画像入出力部13は、コンテンツデータを受信するための部材であれば、如何なる部材であっても構わない。たとえば画像入出力部13は、ディスクプレイヤなどの外部機器からの画像信号を受け付けるレシーバなどを備えており、これを使用してコンテンツデータを受け付けかつ再生する部材であってもよい。
(ユーザ入力部14)
ユーザ入力部14は、画像表示装置1に対するユーザからの指示(画像サイズの変更指示等)などを受信し、これを画像処理装置20に出力する部材である。ユーザ入力部14は、たとえばキーボタン、タッチパネル、マウス、またはマイクなどの入力装置、あるいは人体の動きを検知する赤外線照射装置などを使用することによって、ユーザからの指示または音声指示を受信することができる。
(記憶部15)
記憶部15は、画像またはコンテンツデータを記録媒体に記憶したり、記録媒体に記憶された画像またはコンテンツデータを読み込んで画像処理装置20に出力したりすることができる一般的な部材である。記憶部15は、たとえば所定の記録媒体からコンテンツデータを読み込み、これを再生する部材であってもよい。記録媒体としては、市販のカメラ(デジタルカメラ、ビデオカメラなど)内の記憶装置、または取り外し可能な記憶装置(光磁気ディスクおよび半導体メモリなどの電子媒体)が例示的に挙げられる。
入出力装置10を構成する撮像部11、送受信部12、画像入出力部13、および記憶部15は、それぞれ異なる方法で画像を画像処理装置20に提供するために用いられる部材である。入出力装置10は、これらのうち少なくとも一つを備えている構成であればよい。以下では、入出力装置10が撮像部11、記憶部15、およびユーザ入力部14を備えている例について説明する。すなわち本実施形態では、画像表示装置1が撮像部11によって被写体を撮像し、撮像した画像から被写体のサイズ変更率に応じて適切な美顔処理が施された画像を生成し、生成された画像を表示部30に表示する場合の例について、説明する。
(表示部30)
表示部30は、一般的なLCD(Liquid Crystal Display:液晶ディスプレイ)などで構成されており、外部から入力された画像および文字データなどを表示する。
入出力装置10および表示部30は一般的な装置であり、本発明の特徴点とは直接関係しない。そのため、これらについてのこれ以上の詳細な説明は省略する。
(画像処理装置20)
画像処理装置20は、入出力装置10から取得した画像を、ユーザ入力部14から取得したユーザ指示に基づき処理し、処理後の画像を表示部30および入出力装置10の少なくとも一つに出力する。画像処理装置20は、たとえばCPU(Central Processing Unit:中央処理装置)またはGPU(Graphic Processing Unit:画像処理用処理装置)などとして構成できる。
(サイズ変更率算出部21)
サイズ変更率算出部21は、ユーザ入力部14から入力される画像のサイズ変更指示に基づき、画像サイズ変更部22が画像のサイズを変更する際の変更率(サイズ変更率)を算出する。この処理の詳細は後述する。
(画像サイズ変更部22)
画像サイズ変更部22は、算出されたサイズ変更率に基づき、入出力装置10から画像処理装置20が取得した画像の少なくとも一部(すなわち画像の一部または全部)のサイズを変更する。この処理の詳細は後述する。
(画像サイズ変更部22)
肌領域抽出部23は、画像に含まれる被写体の肌領域を画像から抽出する。この処理の詳細は後述する。
(美顔処理部24)
美顔処理部24は、算出されたサイズ変更率に応じた程度の美顔処理を、画像内の被写体の肌領域に施す。この処理の詳細は後述する。
(サイズ変更率算出の詳細)
サイズ変更率算出部21は、ユーザ入力部14から入力された画像のサイズ変更指示に基づき、画像のサイズ変更率を算出する。サイズ変更率とは、画像の一部または全部のサイズを変更(拡大または縮小)する際の、基準となる画像の縦画素数とサイズ変更後の画素の縦画素数との比を表す値、または、基準となる画像の横画素数とサイズ変更後の画素の横画素数との比率を表す値、である。サイズ変更率が1であれば、画像のサイズは変更されない。すなわち、このサイズ変更率に基づきサイズ変更された後の画像の縦画素数と、基準となる画像の縦画素数とは、互いに等しい。一方、サイズ変更率が1よりも大きければ画像は拡大され、逆にサイズ変更率が1よりも小さければ画像は縮小される。
画像の一部のサイズを変更する場合、基準となる画像の縦画素数と横画素数として、サイズ変更される範囲の縦画素数と横画素数を用いればよい。
ユーザによる画像表示装置1へのサイズ変更指示の入力方法には様々ある。たとえばユーザは、表示部30に表示されたソフトウェアキーボードを通じてサイズ変更率を数値として入力することによって、サイズ変更指示を入力することができる。他にも、ユーザは、表示部30または図示しないリモートコントロール装置に備えられる図示しないタッチパネルへの所定のピンチイン操作またはピンチアウト操作を行うことによって、サイズ変更指示を入力することができる。あるいは、サイズ変更指示を表す所定の動き(ジェスチャ)をユーザが両手を使用して画像表示装置1に提示し、これを画像表示装置1が認識する方式でもよい。
リモートコントロール装置を通じたサイズ変更指示の入力では、ユーザは、サイズ変更率を1.2および0.2などの数値として入力することができる。このとき、入力された数値に応じた画像のサイズ変更範囲を枠として表示すれば、ユーザがサイズ変更率を指定しやすくなるので、好適である。
タッチパネルへのサイズ変更指示の入力では、ユーザはまず2本の指で表示部30の画面に触れ、それから画面をつまむように指を近づける(ピンチイン)か、あるいは画面をはじくように指を遠ざける(ピンチアウト)。画像表示装置1は、前者の場合にサイズ変更率を1以下に設定することができる、一方、後者の場合はサイズ変更率を1以上に設定することができる。その際、画像表示装置1は、サイズ変更率の値を、2本の指の接触開始点と接触終了点との比率から算出する。
ジェスチャ提示によるサイズ変更指示の入力では、ユーザは左手および右手を動かす。画像表示装置1は、左手と右手とを互いに近づけるジェスチャが提示された場合、サイズ変更率を1以下に設定し、一方、左手と右手とを互いに遠ざけるジェスチャが提示された場合、サイズ変更率を1以上に設定する。画像表示装置1は、サイズ変更率の値を、左手のジェスチャ開始点および右手のジェスチャ開始点と、左手のジェスチャ終了点および右手のジェスチャ終了点との比率から算出することができる。
(画像サイズの変更の詳細)
図2は、本発明の実施形態1における画像サイズの変更を説明する図である。画像サイズ変更部22は、算出されたサイズ変更率に基づき、入出力装置10から画像処理装置20が取得した画像の一部または全部のサイズを変更(拡大または縮小)する。図2の(a)に、サイズ変更前の画像121を示す。画像121の横画素数Xは1920画素であり、縦画素数Yは1080画素である。
画像サイズ変更部22は、サイズ変更率が0.5である場合、画像121を、図2の(b)に示す画像122に変換する。画像122の横画素数Xは960画素であり、縦画素数Yは540画素である。すなわち画像サイズ変更部22は、画像121のサイズを4分の1に縮小することによって、縮小後の画像122を生成する。
一方、画像サイズ変更部22は、サイズ変更率が2である場合、画像121を、図2の(c)に示す画像123に変換する。画像123の横画素数Xは3840画素であり、縦画素数Yは2160画素である。すなわち画像サイズ変更部22は、画像121のサイズを4倍に拡大することによって、拡大後の画像123を生成する。
以上のように、画像処理装置20は、入力されたサイズ変更率に基づき、元の画像から拡大または縮小された新たな画像を生成する。
(肌領域抽出の詳細)
図3は、本発明の実施形態1における肌領域の抽出を説明する図である。図3の(a)に、画像処理装置20に入力された画像131を示す。画像131には、人物(女性)を示す被写体132が含まれている。肌領域抽出部23は、画像131内の全領域から、以下の式(1)を使用して被写体132の肌領域を抽出する。
Figure 0006603722
式(1)において、R、G、およびBは、画像131に含まれる各画素の色を規定する原色(赤、緑、および青)の値である。iは画像内のいずれかの画素を示す番号であり、1以上の値を取る。一方、R、G、およびBは、基準となる肌色を規定する原色(赤、緑、および青)の値である。式(1)に示すように、肌領域抽出部23は、画像131内の各画素を規定する原色の値と、基準となる肌色を規定する原色の値との距離Dを算出する。そして、算出された距離Dが規定の閾値TH以下である各画素を含む領域を、被写体132の肌領域として抽出する。肌領域抽出部23は、肌領域抽出結果として、図3の(b)に示すように、画像131から抽出された肌領域134のみがマスクされた画像134を、美顔処理部24に出力する。
基準となる肌色として、理想的な肌色または複数人の肌領域の色を平均した色などを用いればよい。さらに、基準となる異なる肌色を複数設定しておき、入力画像の撮影状況に応じて、肌領域の抽出に使用する基準となる肌色を切り替えるようすれば、多様な撮影状況に対応できるので好適である。また、距離Dの算出時に、R値、G値、またはB値ごとに重みづけを行ってもよい。さらに、距離Dの算出時に、R値、G値、およびB値でなく、色相値、彩度値、および明度値を用いるなど、異なる色空間に応じた色値を使用しても、同等の結果を得ることができる。上述の例では注目画素(1画素)ごとに画素の色と基準となる肌色との距離を算出しているが、注目画素のみならず、注目画素とその周辺画素とによって構成される局所領域における色の平均値および中間値を用いれば、画像中のノイズの影響を抑制できるので、好適である。
(美顔処理の詳細)
美顔処理部24は、入力されたサイズ変更率に応じた程度の美顔処理を、被写体の肌領域に施す。すなわち、サイズ変更率に応じて美顔処理の程度を変更する。ここでいう美顔処理とは、肌領域に対する平滑化処理、肌色補正処理、または陰影重畳処理などのことである。美顔処理部24は、これらのうち少なくとも一つの処理を肌領域に施す。
美顔処理の程度を変更することは、たとえば以下のうち少なくとも一つを意味する。
1.平滑化処理の程度を変更することによって、肌領域における毛穴、シミ、およびシワなどの除去の重みを変えること。
2.肌色補正処理の程度を変更することによって、肌領域を美白したり健康的な肌にしたりする程度を変えること。
3.陰影重畳処理の程度を変更することによって、肌領域を含む顔の立体感の強調度を変えること。
図4は、本発明の実施形態1におけるサイズ変更率と美顔処理の程度との関係を示す図である。図4において、横軸はサイズ変更率を表し、縦軸は美顔処理の程度を表す。サイズ変更率が最小値Xminのとき、美顔処理の程度も最小値Yminとなる。一方、サイズ変更率が最大値Xmaxのとき、美顔処理の程度も最大値Ymaxとなる。美顔処理部24は、図4に示す直線141、曲線142、または曲線143のいずれかを使用して、サイズ変更率が高くなるほど美顔処理の程度が高くなるように、サイズ変更率に応じて美顔処理の程度を変更する。すなわち美顔処理部24は、サイズ変更率と美顔処理の程度との関係を、線形の直線141、非線形の曲線142、または非線形の曲線143のいずれかに設定する。
たとえば美顔処理部24は、入力画像の解像度と、表示部30における表示領域の解像度とが等しい場合、サイズ変更率と美顔処理の程度との関係を直線141に設定する。これにより、画像のサイズ変更率の変化量に対する美顔処理の程度の変化量の割合が、サイズ変更率の値によらず一定になる。この結果、シミおよびシワなどが目立つ可能性が高い被写体を含む画像を拡大して表示する場合、サイズ変更率に応じて美顔処理の程度を適切に高めることができる。一方、シミおよびシワなどが目立つ可能性が低い被写体を含む入力画像を縮小して表示する場合、サイズ変更率に応じて美顔処理の程度を適切に低めることができる。
また、たとえば美顔処理部24は、入力画像の解像度が、表示部30における表示領域の解像度よりも大きい場合、サイズ変更率と美顔処理の程度との関係を曲線142に設定する。この場合、画像表示装置1は、入力画像が表示領域に収まるように入力画像を縮小した際のサイズ変更率を、サイズ変更率の最小値Yminに設定すればよい。この場合、入力画像の一部を切り抜いて表示する場合のサイズ変更率は、最小値Yminよりも大きくなる。このとき、算出されたサイズ変更率が最小値Yminに近い場合であっても、表示されている画像の解像度が十分に高いので、被写体の顔も大きく写り、シミおよびシワが目立つことがある。そこで、直線141と比べてサイズ変更率に対する美顔処理の程度がより大きくなる曲線142(上向きカーブの曲線)を使用することによって、美顔処理の程度をより大きい値に変更する。これにより被写体の毛穴、シミ、およびシワなどを適切に除去できるので好適である。
また、たとえば美顔処理部24は、入力画像の解像度が、表示部30における表示領域の解像度よりも小さい場合、サイズ変更率と美顔処理の程度との関係を曲線143に設定する。この場合、画像表示装置1は、入力画像が表示領域に収まるように入力画像を拡大した際のサイズ変更率を、サイズ変更率の最大値Ymaxに設定すればよい。このとき、算出されたサイズ変更率が最大値Ymaxに近い状態であっても、表示された画像の解像度が低いことから被写体のシミおよびシワなどが目立たないので、美顔処理の程度を低めに設定する。また、サイズ変更率が最大値405よりも小さい場合、直線141に比べて同一のサイズ変更率に対応する美顔処理の程度がより小さい曲線143(下向きカーブの曲線)を使用することによって、被写体の顔の特徴をそのまま保ちつつ、被写体の毛穴およびシミおよびシワなどを適切に除去できるので、好適である。
(平滑化処理)
平滑化処理とは、被写体の肌領域に表れる毛穴、シミ、およびシワなどをぼかして除去したり、目立たなくしたりする処理を意味する。美顔処理部24は、これらの処理を、サイズ変更後の画像に含まれる被写体の肌領域に施す。肌領域抽出部23は、入力画像から抽出した肌領域と、算出されたサイズ変更率とに基づき、サイズ変更後の画像に含まれる被写体の肌領域を抽出する。たとえば、サイズ変更後の画像内の任意の画素(i、j)に対応する入力画像中の画素(ki、kj)が肌領域内の画素であれば、点(i、j)を肌領域を構成する画素として特定する。美顔処理部24は、特定した各画素からなる所定の領域を、サイズ変更後の画像内の肌領域として抽出する。
画像サイズ変更部22が、肌領域抽出部23によって入力画像から抽出された肌領域を、指定されたサイズ変更率で拡大または縮小することによって、サイズ変更後の画像から肌領域を抽出してもよい。この場合も、サイズ変更後の肌領域を同様に抽出することができる。
美顔処理部24は、次の式(2)を使用することによって、肌領域に平滑化処理を施す。
Figure 0006603722
式(2)において、I(i+k、j+l)は、平滑化処理前の画像を構成する画素であり、Oは、平滑化処理後の画像を構成する画素である。Nは自然数である。この式(2)に示すように、平滑化処理では、N×Nの画素からなる局所領域に含まれる全画素値の平均値を、この領域の中央にある画素の出力値として算出するものである。
Nの値を大きくすると画像を強くぼかすことができ、Nの値を小さくすると画像を弱くぼかすことができる。すなわちNの値を変更することによって、平滑化処理の程度を変更できる。平滑化処理の程度を高くする(すなわちNの値を大きくする)と、毛穴、シミ、およびシワなどをぼかして除去する効果が強くなる。一方、平滑化処理の程度を低くする(すなわちNの値を小さくする)と、毛穴などの除去の効果は弱くなるが、元の画像における肌領域の特徴をそのままに保つことができる。
拡大された画像では肌領域に現れる毛穴などが目立つので、画像を強くぼかすことによって、毛穴、シミ、およびシワなどを除去することが好ましい。一方、縮小された画像では肌領域に現れる毛穴などは目立ちにくいので、画像を弱くぼかしても、毛穴、シミ、およびシワなどを除去する効果を十分に得つつ、さらに元の画像の特徴をそのままに保つ効果も得られる。このとき、肌領域抽出処理時に、本来は肌領域ではない領域(たとえば眉など)が誤って肌領域として抽出された場合でも、眉などがぼかされないので、好適に表示される画像を生成できる。
本実施形態では、平滑化処理として式(2)に示す平均化フィルタを用いた処理を説明したが、その代わりにガウシアンフィルタまたはバイラテラルフィルタなどの他のフィルタを用いても、同様の効果を得ることができる。
なお、サイズ変更後の画像中の肌領域に対して平滑化処理を施すことによって、背景および髪の毛などをぼかすことなく、肌領域のみが平滑化された画像を得ることができる。
(肌色補正処理)
肌色補正処理とは、肌領域の色を好ましい肌色に補正する処理のことである。美顔処理部24は、たとえば次の式(3)を使用することによって、肌領域に肌色補正処理を施す。
Figure 0006603722
式(3)において、R、G、およびBは、目標とする肌色を規定する各原色の値である。一方、R、G、およびBは、処理対象の肌領域内の注目画素の色を規定する各原色の値である。αは混合の度合いを表す係数であり、0〜1の範囲に含まれるいずれかの値を取る。美顔処理部24は、式(3)に示すように、肌領域内の各注目画素に目標の肌色を混合することによって、肌色補正処理を実行する。なお、サイズ変更後の画像中の肌領域にのみ肌色補正処理を施すことによって、背景などの色を変えることなく、肌色のみが補正された画像を得ることができる。
係数αが0では肌色補正処理が行われないので、サイズ変更後の画像中の肌色がそのまま出力画像中の肌色となる。係数αが1のとき、目標とする肌色が出力画像中の肌色となる。このように、係数αの値を変更することによって、肌色補正処理の程度を変更できる。肌色補正処理の程度をより高くする(すなわちαの値をより大きくする)と、サイズ変更後の画像中の肌領域が目標とする肌色により近い肌色に変換される。一方、肌色補正処理の程度をより低くする(すなわちαの値をより小さくする)と、サイズ変更後の画像中の肌領域の肌色を、元の肌色により近い状態に保つことができる。
たとえば、拡大された画像に対しては肌色補正処理の程度をより高くすることによって、肌色のくすみおよびムラなどを補正する効果をより強くできる。一方、縮小された画像では肌領域におけるくすみおよびムラなどが目立ちにくくなるので、肌色補正処理の程度を低くしても十分な効果を得ることができる。さらに、肌領域のみに施す肌色補正処理の程度が小さくなるので、肌色補正処理後の肌領域の色合いと、背景および髪の毛の色合いとの差の発生を抑制できることから、より好適に表示される画像を生成できる。
上述の例では、赤色、緑色、および青色を表すRGB値によって画素の色を規定する場合の肌色補正処理を説明したが、その代わりに、色相、彩度、および明度を表すHSV値などによって画素の色を規定する場合の肌色補正処理を使用することもできる。
(陰影重畳処理)
陰影重畳処理とは、肌領域に対して陰影を重畳することによって顔の立体感を強調する処理のことである。美顔処理部24は、次の式(4)を使用することによって、肌領域に陰影重畳処理を施す。
Figure 0006603722
式(4)において、Sは陰影であり、0〜1の範囲に含まれるいずれかの値を取る。βは、陰影の程度を表す係数であり、0〜1の範囲に含まれるいずれかの値を取る。
美顔処理部24は、式(4)に示すように、肌領域内の各画素を構成する各原色R、G、Bに所定の陰影Sを重畳することによって、陰影重畳処理を実行する。陰影Sの値が小さくなるほど陰影が強くなり、一方、陰影Sの値が大きくなるほど陰影が弱くなる。陰影Sの一例を、図5に示す。図5は、本発明の実施形態1における陰影重畳処理を説明するための図である。図5の(a)に、陰影Sの一例として、陰影規定画像151に含まれる、被写体の鼻筋および頬の位置に現れる陰影152を示す。美顔処理部24は、この陰影152を入力画像中の被写体の肌領域に重畳することによって、図5の(b)に示すように、鼻筋が高く見えかつ頬が引き締まってみえるなどの被写体154の立体感が向上した画像153を生成することができる。
陰影Sは、テンプレートとして記憶部15などに予め保存されている。美顔処理部24は、サイズ変更後の画像中の肌領域の大きさに応じて、テンプレートのサイズを変更し、肌領域の位置に配置することによって、陰影Sを肌領域に重畳することができる。その際、美顔処理部24は、肌領域にラベリング処理を施しかつ肌領域の総画素数を算出することによって、肌領域の大きさを推定することができる。また、肌領域の位置として、肌領域の重心位置を用いればよい。
式(4)に含まれる係数βは、0〜1まで範囲に含まれるいずれかの値を取る。係数βが0のとき陰影重畳処理は行われない。したがって、美顔処理として陰影重畳処理のみを実行する構成では、βが0のとき、肌領域に美顔処理が施されない。すなわち、サイズ変更後の画像中の肌領域をそのまま含む画像が生成される。
一方、係数βが0よりも大きいとき、肌領域に対する陰影重畳処理が行われる。係数βがより1に近づくほど、より強い陰影が肌領域に重畳される。このように、係数βを変更することによって、陰影重畳処理の程度を変更できる。すなわち、係数βをより小さくする(陰影重畳の程度がより低くなる)と、肌領域に重畳される陰影はより薄くなり、一方、係数βをより大きくする(陰影重畳の程度がより高くなる)と、肌領域に重畳される陰影はより濃くなる。
たとえば、拡大された画像に対しては係数βをより高くすることによって、被写体の顔の立体感をより強めることができる。一方、縮小された画像に対しては係数βをより低くすることによって、ある程度の立体感を被写体の顔に付与することができる。後者の場合、背景などの陰影と、顔に重畳された陰影との光源環境の不一致を目立たなくすることできるので、好適である。
美顔処理部24は、上述した平滑化処理、肌色補正処理、および陰影重畳処理のうち、少なくとも1つの美顔処理を実行すればよい。また、肌領域にまず平滑化処理を施し、次に肌色補正処理を施し、最後に陰影重畳処理を施すと、肌領域にある元の不要な陰影を除去した後に、好ましい新たな陰影を肌領域に重畳できるので、好適である。
(全体的な処理の流れ)
図6は、本発明の実施形態1に係る画像処理装置20によって実行される画像処理方法の流れを表すフローチャートである。この図に示すように、処理が開始されると、画像処理装置20はまず、入出力装置10内のいずれかの部材(撮像部11または送受信部12など)から、表示用の画像を取得する(S1)。次に、ユーザ入力部14が、ユーザによって入力される画像のサイズ変更指示を取得し、画像処理装置20に出力する(S2)。
次に、サイズ変更率算出部21が、入力されたサイズ変更指示に基づき画像のサイズ変更率を算出する(S3、サイズ変更率算出工程)。もしこのときユーザ入力部14がサイズ変更指示を取得しなかった場合、サイズ変更率算出部21は、サイズ変更率を自動的に算出してもよい。たとえば、入力画像が表示部30の表示領域に収まるように拡大される場合のサイズ変更率を自動的に算出する。
次に、画像サイズ変更部22が、算出されたサイズ変更率に応じて、入力画像のサイズを変更する(S4、画像サイズ変更工程)。この結果、画像は拡大または縮小される。次に肌領域抽出部23が、入力画像に含まれる被写体内の肌領域を抽出する(S5、肌領域抽出工程)。次に美顔処理部24が、サイズ変更率に応じた程度の美顔処理を、肌領域に施す(S6、美顔処理工程)。美顔処理部24は、美顔処理後の画像を表示部30に出力し、表示部30は、入力された画像を表示する(S7)。これにより図6に示す処理は終了する。
上述した本発明の実施形態1に係る画像処理装置20を備える画像表示装置1によれば、サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止することができる。言い換えると、画像のサイズが変更された場合でもユーザにとって好ましい画像を生成することができる。
(補足事項)
本実施形態では、画像表示装置1が有する画像処理装置20によって美顔処理された画像を、同じ画像処理装置20が有する表示部30に表示するが、本発明はこれに限定されない。たとえば、他の画像処理装置20を有する他の画像表示装置1によって美顔処理された画像を、画像処理装置20が送受信部12を通じて受信し、表示部30に表示する構成であってもよい。この構成によれば、送受信部12を介した遠隔地とのテレビ会議およびビデオチャットなどを行う際に、他の画像表示装置1に美顔処理を実行させることが可能になるので、好適である。
また、本実施形態では、肌領域抽出部23が入力画像から被写体の肌領域を抽出するが、本発明はこれに限定されない。たとえば、肌領域抽出部23は、画像サイズ変更部22によってサイズが変更した後の画像(拡大画像または縮小画像)から、被写体の肌領域(拡大後の肌領域または縮小後の肌領域)を抽出してもよい。特に、縮小画像から肌領域を抽出すると抽出に必要な処理量を削減できるので、好適である。
また、本実施形態では、美顔処理部24がサイズ変更後の画像中の肌領域に対して美顔処理を施すが、本発明はこれに限定されない。たとえば美顔処理部24は、美顔処理前の画像を保存しておき、美顔処理前の画像内の肌領域を、美顔処理後の画像内の肌領域に置き換えたりまたは混合したりことによって、美顔処理が施された画像を生成してもよい。特に、美顔処理前の肌領域と美顔処理後の肌領域とを混合すれば、美顔処理の程度変更された画像を容易に生成できるので、好適である。
〔実施形態2〕
本発明に係る実施形態2について、図7〜10に基づき以下に説明する。上述した実施形態1と共通する各部材には同じ符号を付し、詳細な説明を省略する。
本実施形態と実施形態1と違いは、画像表示装置1aが、入力画像に含まれる被写体の顔の大きさを検出し、その結果に応じて被写体に施す美顔処理の程度を補正する点にある。
(画像表示装置1aの構成)
図7は、本発明の実施形態2に係る画像処理装置20aを備える画像表示装置1aの構成を示す機能ブロック図である。この図に示すように、画像表示装置1aは、入出力装置10、画像処理装置20a、および表示部30を備えている。入出力装置10および表示部30は実施形態1に係るものとそれぞれ同一であるので、その詳細な説明を省略する。
画像処理装置20aは、サイズ変更率算出部21、画像サイズ変更部22、肌領域抽出部23、美顔処理部24、顔検出部25、および補正値生成部26を備えている。すなわち、画像処理装置20aは、実施形態1に係る画像処理装置20にさらに顔検出部25および補正値生成部26を追加した構成である。
顔検出部25は、入力画像に含まれる被写体の顔の大きさを検出する。補正値生成部26は、検出された顔の大きさに基づき、美顔処理の程度を補正するための補正値を算出する。本実施形態では、美顔処理部24は、算出されたサイズ変更率および補正値に応じた程度の美顔処理を画像に施す。すなわち美顔処理部24は、美顔処理の程度を補正値に応じて補正する。
(顔検出の詳細)
図8は、本発明の実施形態2における顔検出の詳細を説明する図である。図8に、被写体を含む画像181を示す。顔検出部25は、この画像181に含まれる被写体の顔182の大きさを検出する。ここでいう顔の大きさとは、被写体182から検出された顔182の横画素数Xおよび縦画素数Yのことである。画像181から顔182の大きさを検出する方法として、被写体の肌色を検出することによって顔181を特定する方法がある。また、多数の顔画像と顔以外の画像(非顔画像)との学習サンプルに基づき統計的に識別関数を予め求め、この識別関数を使用することによって顔182の大きさを検出する方法もある(P.Viola and M.Jones,“Rapid object detection using a boosting cascade of simple features", Proc.IEEE Conf.CVPR, pp.511-518, 2001を参照)。
顔検出部25は、画像から複数の顔を検出することもできる。この場合、顔検出部25は、検出された複数の顔の大きさの平均値を算出し、これを補正値算出用の顔の大きさとして補正値生成部26に出力すればよい。または、検出された複数の顔の大きさのうち最大または最小の顔の大きさを、補正値算出用の顔の大きさとして出力してもよい。あるいは、画像の中心に最も近い顔の大きさを、補正値算出用の顔の大きさとして出力してもよい。
以上の例では、顔検出部25が入力画像から被写体の顔の大きさを検出するが、本発明はこれに限られない。たとえば、顔検出部25は、画像サイズ変更部22によってサイズが変更された後の画像(拡大画像または縮小画像)から、被写体の顔の大きさ(拡大後の顔の大きさまたは縮小後の顔の大きさ)を検出してもよい。特に、縮小画像から顔の大きさを検出する場合は検出に必要な処理量を削減できるので、好適である。
(補正値生成処理)
補正値生成部26は、検出された顔の大きさに基づき、美顔処理の程度を補正するための補正値を生成する。画像に含まれる被写体の顔がより大きいほど、肌領域のシミおよびシワがより目立つ。そこで補正値生成部26は、顔の大きさがより大きい場合に、美顔処理の程度をより高くする補正値を生成する。一方、画像に含まれる被写体の顔がより小さいほど、被写体の肌領域のシミおよびシワはより目立たなくなる。そこで補正値生成部26は、顔の大きさがより小さい場合に、美顔処理の程度をより低くするための補正値を生成する。
本実施形態では、補正値生成部26は、次に示す式(5)を使用することによって、美顔処理の程度を補正するための補正値を生成する。
Figure 0006603722
式(5)において、Hは補正値を表し、Fは顔の大きさ表し、Fmaxは検出される最大の顔の大きさを表し、Fminは検出される最小の顔の大きさを表す。補正値の生成時、顔の大きさとして、上述した横画素数または縦画素数の他、検出された顔を構成する総画素数を用いることもできる。式(5)を使用することによって、検出された顔の大きさFが最大値Fmaxに等しければ、生成されるHが1になり、一方、最小値Fminに等しければ、生成されるHが0になる。
(美顔処理の程度を変更する処理)
図9は、本発明の実施形態2におけるサイズ変更率と美顔処理の程度との関係を示す図である。この図において、図4と共通するものには同じ部材番号を付し、その詳細な説明を省略する。図9には、サイズ変更率と、美顔処理の程度と、補正値との関係を示す。
美顔処理部24は、算出された補正値が閾値よりも大きい場合(すなわち顔の大きさが基準値よりも大きい場合)、サイズ変更率と美顔処理の程度との関係が図9の関数191になるように、直線141から決定した美顔処理の程度を補正値を使用して補正する。関数191は、同じサイズ変更率に対する美顔処理の程度が直線141よりも大きいので、これは美顔処理の程度をより高める補正である。具体的には、直線141から決定された美顔処理の程度に補正値を加算する補正である。
一方、美顔処理部24は、算出された補正値が閾値よりも小さい場合(すなわち顔の大きさが基準値よりも小さい場合)、サイズ変更率と美顔処理の程度との関係が図9の関数192になるように、直線141から決定した美顔処理の程度を補正値を使用して補正する。関数192は、同じサイズ変更率に対する美顔処理の程度が、直線141よりも小さいので、これは美顔処理の程度をより低める補正である。具体的には、直線141から決定された美顔処理の程度から補正値を減算する補正である。
美顔処理の程度を補正した結果、補正後の美顔処理の程度が最大値Ymaxを上回ったり最小値Yminを下回ったりした場合、補正後の美顔処理の程度を最大値Ymaxまたは最小値Yminに一致させればよい。これにより、美顔処理の程度が強すぎて違和感の強い画像が生成されたり、または美顔処理の程度が弱すぎて美顔処理の効果がユーザに分かりづらい画像が生成されたりすることを防止でき、その結果、より適切な程度の美顔処理が施された画像が生成されるので、好適である。
以上のように、本実施形態に係る画像処理装置20は、画像のサイズ変更率に加えて、顔の大きさに応じた補正値にも基づき、美顔処理の程度を変更する。すなわち、サイズ変更率および補正値の双方に応じた程度の美顔処理を肌領域に施す。この結果、画像中に顔が大きく写っている場合には美顔処理の程度がより高くなり、一方、画像中に顔が小さく写っている場合には美顔処理の程度がより低くなるので、いずれの場合にもより好適な美顔処理が施された画像が得られるので、好適である。
(全体的な処理の流れ)
図10は、本発明の実施形態2に係る画像表示装置1aによって実行される画像処理方法の流れを表すフローチャートである。この図に示すように、処理が開始されると、画像処理装置20aはまず、入出力装置10内のいずれかの部材(撮像部11または送受信部12など)から、表示用の画像を取得する(S11)。次に顔検出部25が、入力された画像から被写体の顔の大きさを検出する(S12)。次に補正値生成部26が、美顔処理の程度を補正するための補正値を、算出された顔の大きさに基づき生成する(S13)。
次に、ユーザ入力部14が、ユーザによって入力される画像のサイズ変更指示を取得し、画像処理装置20aに出力する(S14)。このとき、本発明の実施形態1と同様に、サイズ変更指示がなければ、サイズ変更率を自動的に算出してもよい。サイズ変更率算出部21は、入力されたサイズ変更指示に基づき画像のサイズ変更率を算出する(S15)。次に、画像サイズ変更部22が、算出されたサイズ変更率に応じて、入力画像のサイズを変更する(S16)。この結果、画像は拡大または縮小される。
次に肌領域抽出部23が、入力画像に含まれる被写体内の肌領域を抽出する(S17)。次に美顔処理部24が、サイズ変更率および補正値に応じた程度の美顔処理を、肌領域に施す(S18)。美顔処理部24は、美顔処理後の画像を表示部30に出力し、表示部30は、入力された画像を表示する(S19)。これにより図10に示す処理は終了する。
上述した本発明の実施形態1に係る画像処理装置20を備える画像表示装置1によれば、サイズ変更率および顔の大きさの双方に応じた適切な美顔処理が施された画像を生成できる。
本実施形態では、顔検出部25によって1つの顔の大きさが検出され、そして補正値生成部26によって1つの補正値が生成されるが、本発明はこれに限定されない。たとえば、顔検出部25が複数の顔の大きさを検出し、そして補正値がそれぞれの顔の大きさに基づき複数の補正値を生成して美顔処理部24に出力してもよい。これにより、顔ごとに、肌領域に適用される美顔処理の程度の補正値を変更することができる。その結果、画像中に大きく写っている顔と、小さく写っている顔とが混在したとしても、それぞれの顔の肌領域に顔の大きさに応じた適切な程度の美顔処理を施すことができる。
〔ソフトウェアによる実現例〕
図1に示す画像処理装置20および図7に示す画像処理装置20aの各機能ブロックは、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、画像処理装置20は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(又はCPU)で読み取り可能に記録されたROM(Read Only Memory)またはHDD(Hard Disk)などの記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。ここでいうソフトウェアは、いわゆるOS(Operating System)の一部であってもよい。また、ここでいうコンピュータには、周辺機器などのハードウェアを含むものとする。
上記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク(フレキシブルディスク、光磁気ディスク、CD−ROMなど)、カード、半導体メモリ、プログラマブルな論理回路、およびHDDなどの、各種の搬送可能な記録媒体または備え付けの記録媒体を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波など)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークまたは電話回線などの通信回線を介してプログラムを送信する場合の通信回線のように、プログラムを短時間保持する媒体をも含む。さらに、その場合にプログラムをやり取りするサーバおよびクライアントとしてのコンピュータに備えられる揮発性メモリなどの、プログラムを一定時間保持する媒体をも含む。
また、上述した各実施形態に係る画像処理装置20(20a)の一部または全部を、典型的には集積回路であるLSIとして実現してもよい。画像処理装置の各機能ブロックを個別にチップ化してもよいし、一部または全部を集積することによってチップ化してもよい。集積回路はLSIに限らず、専用回路または汎用プロセッサによって実現してもよい。本願の出願後に半導体技術の進歩によってLSIを代替する新たな集積回路化の技術が出現した場合、当該技術に基づく新たな集積回路を用いて画像処理装置20(20a)を実現することも可能である。
〔まとめ〕
本発明の態様1に係る画像処理装置は、被写体を含む画像のサイズ変更率を算出するサイズ変更率算出部と、上記サイズ変更率に基づき上記画像の少なくとも一部のサイズを変更する画像サイズ変更部と、上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出部と、上記サイズ変更率に応じた程度の美顔処理を上記肌領域に施す美顔処理部とを備えていることを特徴としている。
上記の構成によれば、画像のサイズ変更率に応じて、適切な程度の美顔処理が肌領域に施される。たとえばサイズ変更率がより大きければより高い程度の美顔処理を施すことによって、拡大後の肌領域における毛穴等を除去する効果を高めることができる。これにより、サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止することができる。
本発明の態様2に係る画像処理装置は、上記態様1において、上記美顔処理部は、上記画像の少なくとも一部が縮小された場合、より低い程度の上記美顔処理を上記肌領域に施すことを特徴としている。
上記の構成によれば、縮小された肌領域に対して、適切な程度の美顔処理を施すことができる。
本発明の態様3に係る画像処理装置は、上記態様1または2において、上記美顔処理部は、上記画像の少なくとも一部が拡大された場合、より高い程度の上記美顔処理を上記肌領域に施すことを特徴としている。
上記の構成によれば、拡大された肌領域に対して、適切な程度の美顔処理を施すことができる。
本発明の態様4に係る画像処理装置は、上記態様1〜3のいずれかにおいて、上記美顔処理部は、上記美顔処理として、平滑化処理、肌色補正処理、および陰影重畳処理のうち少なくとも一つの処理を上記肌領域に施すことを特徴としている。
上記の構成によれば、肌領域を好適に美顔処理することができる。
本発明の態様5に係る画像処理装置は、上記態様4において、上記美顔処理部は、上記肌領域にまず上記平滑化処理および上記肌色補正処理を施すことによって上記肌領域の元の陰影を除去し、次に上記陰影重畳処理を上記肌領域に施すことによって上記肌領域に新たな陰影を重畳することを特徴としている。
上記の構成によれば、適切な新たな陰影を肌領域に重畳することができるので、肌領域の立体感をより高めることができる。
本発明の態様6に係る画像処理装置は、上記態様1〜5のいずれかにおいて、上記被写体の顔の大きさを検出する顔検出部と、上記顔の大きさに基づき、上記美顔処理の程度を補正するための補正値を生成する補正値生成部とをさらに備え、上記美顔処理部は、上記サイズ変更率および上記補正値の双方に応じた程度の上記美顔処理を上記肌領域に施すことを特徴としている。
上記の構成によれば、サイズ変更率に加えてさらに被写体の顔の大きさにも応じた適切な美顔処理を補正値に施すことができる。
本発明の態様7に係る画像処理装置は、上記態様6において、上記補正値生成部は、上記顔の大きさがより大きいほど、上記美顔処理の程度をより高くするための上記補正値を生成することを特徴としている。
上記の構成によれば、毛穴等がより目立ちやすい肌領域に対する毛穴等を除去する効果をより高めることができる。
本発明の態様8に係る画像処理装置は、上記態様6または7において、上記補正値生成部は、上記顔の大きさがより小さいほど、上記美顔処理の程度をより低くするための上記補正値を生成することを特徴としている。
上記の構成によれば、毛穴等が目立ちにくい肌領域に対して、不要に高い程度の美顔処理が施されることを防止できる。
本発明の態様9に係る画像処理方法は、被写体を含む画像のサイズ変更率を算出するサイズ変更率算出工程と、上記サイズ変更率に基づき上記画像の少なくとも一部のサイズを変更する画像サイズ変更工程と、上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出工程と、上記サイズ変更率に応じた程度の美顔処理を上記肌領域に施す美顔処理工程とを有することを特徴としている。
上記の構成によれば、上述した態様1に係る画像処理装置と同様の効果を奏する。
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記画像処理装置が備える各部として動作させることによって上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の一態様の範疇に入る。
(付記事項)
本発明は上述した各実施形態に限定されるものではなく、請求項に示す範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
たとえば、各実施形態に係る各構成要素は、必要に応じて適宜取捨選択できる。
また、上述の各実施形態に添付した図1および図7では、各部材間の制御線および情報線を、説明上必要と考えられるものに限って示している。すなわち、本発明の実施によって実現される製品において必要な必ずしも全ての制御線および情報線を示しているとは限らない。また、図1および図7中の全ての部材が相互に接続されていてもよい。
(関連出願の相互参照)
本出願は、2015年8月26日に出願された日本国特許出願:特願2015−166908に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
1、1a:画像表示装置
10:入出力装置
11:撮像部
12:送受信部
13:画像入出力部
14:ユーザ入力部
15:記憶部
20、20a:画像処理装置
21:サイズ変更率算出部
22:画像サイズ変更部
23:肌領域抽出部
24:美顔処理部
30:表示部

Claims (3)

  1. 被写体を含む入力画像の少なくとも一部のサイズを変更する画像サイズ変更部と、
    上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出部と
    記サイズのサイズ変更率に応じた程度の美顔処理を上記肌領域に施す美顔処理部とを備え、
    上記美顔処理部は、上記入力画像の解像度と、上記美顔処理をした画像を表示する表示部の表示領域の解像度とに基づいて、上記サイズ変更率に対応する上記美顔処理の程度を変化させることを特徴とする画像処理装置。
  2. 被写体を含む入力画像の少なくとも一部のサイズを変更する画像サイズ変更部と、
    上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出部と、
    上記被写体の顔の大きさを検出する顔検出部と、
    上記サイズのサイズ変更率および上記顔の大きさの双方に応じた程度の美顔処理を上記肌領域に施す美顔処理部とを備え、
    記美顔処理部は、上記美顔処理として、平滑化処理、肌色補正処理および陰影重畳処理を、平滑化処理、肌色補正処理、陰影重畳処理の順で上記肌領域に施すことを特徴とする画像処理装置。
  3. 請求項1または請求項2のいずれかに記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
JP2017536484A 2015-08-26 2016-08-26 画像処理装置およびプログラム Expired - Fee Related JP6603722B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015166908 2015-08-26
JP2015166908 2015-08-26
PCT/JP2016/074901 WO2017034012A1 (ja) 2015-08-26 2016-08-26 画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017034012A1 JPWO2017034012A1 (ja) 2018-05-10
JP6603722B2 true JP6603722B2 (ja) 2019-11-06

Family

ID=58100435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017536484A Expired - Fee Related JP6603722B2 (ja) 2015-08-26 2016-08-26 画像処理装置およびプログラム

Country Status (3)

Country Link
US (1) US20180255235A1 (ja)
JP (1) JP6603722B2 (ja)
WO (1) WO2017034012A1 (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733165B2 (ja) * 1996-02-27 2006-01-11 富士写真フイルム株式会社 デジタルプリンタの画像データ変換方法
JPH11339035A (ja) * 1998-05-21 1999-12-10 Fuji Photo Film Co Ltd 画像処理パラメータ決定方法および装置
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
US7324668B2 (en) * 2001-10-01 2008-01-29 L'oreal S.A. Feature extraction in beauty analysis
JP4006347B2 (ja) * 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2005020061A (ja) * 2003-06-23 2005-01-20 Matsushita Electric Ind Co Ltd 映像信号処理装置及び映像信号処理方法
US7796785B2 (en) * 2005-03-03 2010-09-14 Fujifilm Corporation Image extracting apparatus, image extracting method, and image extracting program
JP4362117B2 (ja) * 2005-11-24 2009-11-11 デジタル・アドバタイジング・コンソーシアム株式会社 インターネット広告提供システム
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
JP2010183523A (ja) * 2009-02-09 2010-08-19 Olympus Imaging Corp 画像表示装置及びカメラ
JP2010283523A (ja) * 2009-06-03 2010-12-16 Nec Casio Mobile Communications Ltd 画像処理装置およびプログラム
US8730435B2 (en) * 2009-07-17 2014-05-20 Jnc Corporation Liquid crystal display device having retardation film formed of liquid crystalline polyimide having photoreactive group
JP2012113338A (ja) * 2010-11-19 2012-06-14 Dainippon Printing Co Ltd 印画物作製システム及び印画物作製方法
KR101859997B1 (ko) * 2011-08-24 2018-07-05 한국전자통신연구원 국부 다해상도 3차원 얼굴 고유 모델 생성 장치, 방법 및 얼굴 피부 관리 시스템

Also Published As

Publication number Publication date
JPWO2017034012A1 (ja) 2018-05-10
WO2017034012A1 (ja) 2017-03-02
US20180255235A1 (en) 2018-09-06

Similar Documents

Publication Publication Date Title
EP3582187B1 (en) Face image processing method and apparatus
WO2020140986A1 (zh) 图像降噪方法、装置、存储介质及终端
US10599914B2 (en) Method and apparatus for human face image processing
WO2018103244A1 (zh) 直播视频处理方法、装置及电子设备
US8488896B2 (en) Image processing apparatus and image processing method
CN106682632B (zh) 用于处理人脸图像的方法和装置
WO2017016171A1 (zh) 用于终端设备的窗口显示处理方法、装置、设备及存储介质
WO2018176925A1 (zh) Hdr图像的生成方法及装置
EP3644599B1 (en) Video processing method and apparatus, electronic device, and storage medium
JP2008234342A (ja) 画像処理装置及び画像処理方法
US11490157B2 (en) Method for controlling video enhancement, device, electronic device and storage medium
WO2004084142A1 (ja) 画像処理装置
JP6015267B2 (ja) 画像処理装置、画像処理プログラム、これを記録したコンピュータ読み取り可能な記録媒体、および、画像処理方法
CN109785264B (zh) 图像增强方法、装置及电子设备
JP6432399B2 (ja) 画像処理装置および画像処理方法
JP2014157557A (ja) 画像生成装置、画像生成方法及びプログラム
JP7218786B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN114862729A (zh) 图像处理方法、装置、计算机设备和存储介质
US20230205923A1 (en) Electronic apparatus and control method therefor
JP6603722B2 (ja) 画像処理装置およびプログラム
US9600735B2 (en) Image processing device, image processing method, program recording medium
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
WO2017101570A1 (zh) 照片的处理方法及处理系统
CN114998115A (zh) 图像美化处理方法、装置及电子设备
JP6579101B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191011

R150 Certificate of patent or registration of utility model

Ref document number: 6603722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees