JP3319727B2 - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP3319727B2
JP3319727B2 JP29863199A JP29863199A JP3319727B2 JP 3319727 B2 JP3319727 B2 JP 3319727B2 JP 29863199 A JP29863199 A JP 29863199A JP 29863199 A JP29863199 A JP 29863199A JP 3319727 B2 JP3319727 B2 JP 3319727B2
Authority
JP
Japan
Prior art keywords
filter
skin
texture
amplitude
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP29863199A
Other languages
English (en)
Other versions
JP2001118064A (ja
Inventor
健二 吉良
建輝 李
照芳 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP29863199A priority Critical patent/JP3319727B2/ja
Priority to US09/692,045 priority patent/US6895124B1/en
Publication of JP2001118064A publication Critical patent/JP2001118064A/ja
Application granted granted Critical
Publication of JP3319727B2 publication Critical patent/JP3319727B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Circuits (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理に係り、
特に、テレビドラマや映画など内容・表現ともに高度な
作品性が要求される分野でのいわば「電子メイクアッ
プ」装置としての利用の観点から、その応用範囲の拡大
とより自然感のある高品質な画像を得ることを目的とし
た画像処理装置に関する。
【0002】
【従来の技術】人の顔や首・ 手などを撮った画像に2次
元ε- フィルタ(例えば、原島ほか、「ε−分離非線形
ディジタルフィルタとその応用」電子通信学会1982.
4,J65-A,No.4,pp297-304 参照) を適用することで、
シワやシミが除去或いは軽減された「お肌つるつる」の
画像が得られる(荒川ほか、「ベクトルε−フィルタに
よるカラー顔画像処理−皺成分の除去−」1998年3月電
子情報通信学会総合大会予稿集、D-11-143 ,pp143参
照)ことが知られている(以下、「肌つる」化と呼
ぶ)。これは、2次元ε−フィルタが有する「画像中の
小振幅の高周波雑音成分を分離し抑圧する」機能によっ
て、シワやシミなど小振幅の、明暗変化が平滑化される
ことに基づいている。
【0003】ε−フィルタ(ε−分離非線形デジタルフ
ィルタ)は、もともと信号波形に重畳された小振幅の高
周波雑音成分の分離・除去を目的として考案されたもの
である。雑音除去に通常用いられるローパスフィルタ
(LPF)は、雑音成分を抑圧するだけでなく信号のエ
ッジまで劣化させてしまうため、画像を対象とした場合
には画像全体をぼかしてしまう欠点があったが、ε−フ
ィルタは、その入力信号と出力信号の関係が、図1に示
すように、信号波形中の小振幅のレベル変化のみを平坦
化する特性を有しており、画像に適用した場合にも急峻
なレベル変化を伴うエッジは保存されるため画像全体の
キレは殆ど損なわれないという特徴を有している。
【0004】2次元ε−フィルタの出力信号y(m,
n)は、入力信号系列をx(m,n)としたとき、
(1)式で表される。
【数1】 ここに、ai,jは重み付け係数で、フィルタ・サイズを
(2M+1)×(2N+1)とすると、(2)式を満た
すものである。
【数2】 また、(1)式で表される関数F(x)は、図2のグラ
フで示され|X|>ε の場合、F(x)=0となる非
線形関数である。本明細書においては、このεの値を
ε値と呼ぶことにする。
【0005】図3は、2次元ε−フィルタの基本的な構
成を示している。図3においては、符号1で示す実線枠
が小振幅の高周波雑音成分u(m,n)の算出部(小振
幅変動成分算出部とも言う)((1)式中、右辺第2
項)であり、この算出部からの出力を入力信号系列x
(m,n)から減ずることで小振幅雑音成分を抑圧した
出力信号系列y(m,n)を得る構成となっている。
【0006】このε−フィルタを人の顔画像に適用する
ことで、シワやシミが除去・軽減されて「お肌つるつ
る」の美顔化が達成できる。シワやシミは、いわゆる雑
音ではないが、画像中では比較的小振幅の明暗変化とな
っており、ε−フィルタの持つ小振幅レベル変化の抑圧
機能により小振幅の明暗変化が平滑化されシワやシミを
目立たなくさせることができる。この際、シワやシミな
ど小振幅のレベル変化のみが平坦化され、瞳・瞼・眉毛
などの境界部分など急峻なレベル変化は保存されるの
で、画像全体のキレは殆ど損なわれずに「肌つる」化が
達成される。
【0007】「肌つる」化の対象はあくまでも肌領域で
あるが、ε−フィルタで画面全体を一様に処理すると周
辺画像の小振幅レベル変化までも抑圧され、結果として
髪の毛や衣服、背景などが持っている微妙な明暗模様も
つぶれてしまい、本来のディテイル、質感が損なわれた
画像となってしまう。
【0008】このことは、テレビジョンや映画など画像
全体に対して高度な品質が求められる利用分野において
は致命的なことであるが、ε−フィルタを画像の肌色領
域のみに選択的に作用させることで周辺画像のディテイ
ル、質感を全く損なうことなく「肌つる」化を達成する
ことができる。このためには、テレビジョンの技術分野
では、古くから常套手段となっている「クロマキー」
(画像中の特定の色彩領域を電子的に識別し、その領域
にのみ限定的にフィルタリングなどの画像処理を施す手
法)と呼ばれる手法を援用すればよい。
【0009】
【発明が解決しようとする課題】以上説明したように、
ε−フィルタによる「肌つる」化は、テレビドラマや映
画制作などでの「電子メイクアップ」的利用の可能性を
有している。しかし、画像処理に対する多様な要望と画
像全体に高い品質が要求されるこの分野での活用に向け
ては、以下のような解決すべき課題があった。
【0010】「肌つる」化は、肌画像をすべすべに見せ
るため、映像表現としての「若返り」効果もある。これ
は一代記もののドラマなどで年配女優が娘時代を演じる
ような場合、次に指摘するような改善すべき点はあるも
のの、画像処理により「肌を若返らせる」電子的なメイ
クアップ手法として有望である。
【0011】上述したように、「肌つる」化はε−フィ
ルタを使用して実現可能であることが判明したが、一
方、テレビドラマや映画などで、実年齢を大幅に超える
「老け役」を演じる場合には「シワ強調」など「老け」
効果の得られる電子メイクアップ手法も求められる。し
かし従来においては、「肌つる」化とは逆の効果とも言
える「シワ強調」を実現することは不可能であった。
【0012】また、ε−フィルタを使用した「肌つる」
化では、隠したいシワやシミの強さに応じて1つのパラ
メータ(図2のε)を変えるだけで「肌つる」化の度
合い(強さ)を簡単に調節することが出来る。しかし、
「肌つる」化の度合いを強めるに従って肌全体がつるつ
る・すべすべにはなるものの、肌の処理(きめ)・質感
が失われて「人の肌」と言うよりは「プラスチッック
的」な質感になってしまい、真実味の乏しい画像になっ
てしまう。これを避けるために「肌つる」化を弱めると
自然感は回復するものの、何より隠したいシワやシミが
現われてしまうというジレンマがある。すなわち、「気
になるシワやシミは隠しつつ、肌の肌理・質感を残した
画像を得る」ための解決策が必要になる。
【0013】さらに、上述の「シワ強調」が実現できた
と仮定した場合に、単に、「シワ強調」だけでなく、肌
の肌理の元の状態を保ちつつ「シワ強調」された画像を
得たいことは言うまでもない。
【0014】本発明の目的は、従来実現不可能であった
「シワ強調」を実現するとともに、肌の肌理・質感を損
なうことなく「肌つる」化を行い、さらに、肌の肌理の
元の状態を保ちつつ「シワ強調」を行う画像処理装置を
提供することにある。
【0015】
【0016】
【課題を解決するための手段】上記目的を達成するため
に、本発明画像処理装置は、入力画像信号を大小異なる
ε値を有する2個のε−フィルタの各入力端子に印加す
るとともに、大なるε値のε−フィルタの出力信号に、
小なるε値のε−フィルタの小振幅変動成分算出部の出
力信号を加算することによって、入力画像信号が肌の肌
理・質感を残して「肌つる」化された信号として取り出
されるように構成したことを特徴とするものである。
【0017】また、本発明画像処理装置は、入力画像信
号を大なるε値を有する拡張ε−フィルタと小なるε値
を有するε−フィルタの各入力端子に印加するととも
に、補正指示が「肌つる」化のとき、前記拡張ε−フィ
ルタの「肌つる」化出力信号に前記ε−フィルタの小振
幅変動成分算出部の出力信号を加算することによって、
入力画像信号が肌の肌理・質感を残して「肌つる」化さ
れた信号として、そして補正指示が「シワ強調」のと
き、前記拡張ε−フィルタの「シワ強調」出力信号から
前記ε−フィルタの小振幅変動成分算出部の出力信号を
減算することによって、入力画像が肌の肌理の元の状態
を保ちつつ「シワ強調」された信号としてそれぞれ取り
出されるように構成したことを特徴とするものである。
【0018】また、本発明画像処理装置は、任意に設定
可能な大小2つの振幅値をパラメータとして、当該2つ
の振幅値に挟まれた振幅値を有する変動成分のみを選択
的に分離する特定振幅帯変動成分分離帯デジタルフィル
タ(β−フィルタ)を使用することによって、入力画像
が肌の肌理・質感を残して「肌つる」化された信号と、
入力画像が肌の肌理の元の状態を保ちつつ「シワ強調」
された信号とが二者択一または同時に取り出されるよう
に構成したことを特徴とするものである。
【0019】
【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。以下に
おいては、次の順番で本発明を説明する。 (1)「シワ強調」の実現 (2)肌の肌理・質感を残した「肌つる」化および「シ
ワ強調」の実現 なお、「肌つる」化と「シワ強調」の両機能を実現する
ことのできる、本発明によるフィルタを拡張ε−フィル
タと呼ぶ。
【0020】上記(2)に関しては、さらに次のa.か
らc.の3つの方法によって実現するものとする。 a.(1)式によって表されるε−フィルタを2個組み
合わせて自然感のある「肌つる」化を行う。 b.ε−フィルタと拡張ε−フィルタを組み合わせて自
然感のある「肌つる」化および「シワ強調」を切換可能
に行う。 c.本発明によって提供される新規なデジタルフィルタ
を用いて自然感のある「肌つる」化および「シワ強調」
を行う。
【0021】まず、(1)の「シワ強調」の実現につい
て説明する。シワの無いところに新たにシワを作ること
は難しいが、本発明では、ε−フィルタの構成要素であ
る小振幅変動成分算出部の出力を利用することによって
もともとあるシワを強調するようにする。
【0022】従来の肌の「肌つる」化は、ε−フィルタ
中の符号1で示される小振幅変動成分算出部で入力信号
系列の小振幅変動成分を求め、これを入力信号系列から
差し引くことで小振幅変動成分の抑圧を実現している
(図3参照)。
【0023】これとは逆に、(3)式に示すように、小
振幅変動成分((3)式の右辺第2項)を入力信号系列
(右辺第1項)に加えることにより、シワなどの小振幅
変動成分を強調(「シワ強調」)することができる。た
だし、この加算(同相加算)結果はデジタル映像の規定
レベル範囲(例えば、0〜255)を逸脱する可能性が
あるので、加算後のクリップ処理(0以下であれば0
に、255以上であれば255に制限する処理)が必要
である。
【数3】
【0024】この「シワ強調」を実現する装置として
は、従来も実現可能であった「肌つる」化のための装置
と一体化してどちらにでも使用できるようにした方が便
利であり、また、コスト的にも有利である。この一体化
した回路構成としては、 (ア)「肌つる」化などの補正出力は1つとし(以下、
「1出力型」と呼ぶ)、外部からの補正指示(「肌つ
る」化と「シワ強調」のどちらを行うかの指示)に従っ
て入力信号に対する小振幅変動成分の算法(減算するか
または加算するか)を変える構成 (イ)「肌つる」化と「シワ強調」の処理結果を常時出
力し(以下、「常時併行出力型」と呼ぶ)、必要に応じ
ていずれか一方を選択して使用できるようにする構成 の2通りの形態が考えられる(いずれの構成も、本明細
書では拡張ε−フィルタと呼ぶ)。
【0025】図4および図5は、「肌つる」化と「シワ
強調」を上記(ア)および(イ)に対応した形態で行う
本発明画像処理装置の一構成例をそれぞれ示していて、
両図において、符号1で示す実線枠の部分が小振幅変動
成分U(m,n)の算出部である。また、図4中の符号
2で示す補正指示部は、当該装置に「肌つる」化および
「シワ強調」のどちらを行わせるかを指示する部分であ
る。なお、両装置とも、「シワ強調」のための小振幅変
動成分の加算(同相加算)結果をデジタル映像の規定レ
ベル範囲(例えば、0〜255)に抑えるためのクリッ
プ回路(Clip)を具えている。
【0026】次に、(2)の肌の肌理・質感を残した
「肌つる」化を、(1)式によって表されるε−フィル
タを2個組み合わせて実現する方法(上述の(2)a.
の方法)について説明する。まず、原理につき説明す
る。シワやシミも、肌の肌理も共に比較的小振幅のレベ
ル変化(振幅変動)であることに変わりはない。しか
し、気になるレベルのシワやシミと肌の肌理とを比べれ
ば、一般に肌理に係わる振幅変動の方が微小である。肌
理の振幅変動に近い変動要素としては、いわゆる撮像ノ
イズ(雑音)が考えられるが、撮像ノイズはテレビや映
画での高画質な撮像条件の中では無視してよい。すなわ
ち、これらの間には次の関係がある。 シワやシミの振幅変動>肌理の振幅変動>>撮像ノイズ
【0027】ところで、シワやシミの除去(「肌つる」
化)に妥当な小振幅値εhをε値(図2参照)として
(1)式で表されるε−フィルタによって処理すると、
当然のこととして肌理に関するレベル変化も抑圧されて
しまう。
【0028】一方、肌の肌理の振幅変動に見合った微小
振幅値εL(εL<εh)をε値(同じく、図2参照)としてε
−フィルタによって処理して得られる微小振幅変動成分
u(m,n)は、ε−フィルタの動作原理から肌の肌理・
質感に係わるレベル変化であるから、本発明では、これを
用いて従来手法では失われていた肌の肌理・質感を蘇ら
せるようにする。
【0029】すなわち、「気になるシワやシミを除去
(「肌つる」化)しつつ、より変動幅の小さい肌の肌理
を残す」には、 (イ)ε−フィルタIにより原画を小振幅値εhで「肌つ
る」化する(この際、肌理成分も抑圧される) (ロ)ε−フィルタIIにより原画から微小振幅値εLに
より微小振幅のレベル変動成分(肌理成分)を分離する (ハ)(イ)の「肌つる」化の処理結果に(ロ)で分離
した微小振幅のレベル変動成分を加算する ことでこの目的は達成される。図6は、上記信号処理を
行う本発明画像処理装置の一構成例を示している。
【0030】次に、上述の(2)b.の方法である、拡
張フィルタIとε−フィルタIIを組合せて自然感のある
「肌つる」化および「シワ強調」を切換可能に実現する
方法について説明する。ここでも、ε−フィルタIIによ
って得られる微小振幅変動成分u(m,n)の扱いにつ
いては、「肌つる」化の場合、上述の(2)a.の方法
におけると同様、これを拡張ε−フィルタIの出力に加
えることによって、従来失われていた肌の肌理・質感を
蘇らせる。
【0031】これに対し、「シワ強調」の場合には、本
来望ましくない微小振幅変動成分u(m,n)による肌
理の強調を相殺して元の肌理のレベルに戻すようにす
る。
【0032】すなわち、「肌の肌理については元の状態
を保ちつつ、有意なシワやシミについては強調する」に
は、 (イ)拡張ε−フィルタIにより原画を小振幅値εhで
「シワ強調」する(この際、肌理成分も強調される) (ロ)ε−フィルタIIにより原画から微小振幅値εLに
より微小振幅のレベル変化成分(肌理成分)を分離する (ハ)(イ)の「シワ強調」の処理結果から(ロ)で分
離した微小振幅のレベル変化成分を減算する ことでこの目的は達成される。
【0033】図7は、「気になるシワやシミを除去しつ
つ、より変動幅の小さい肌の肌理を残す」ということ
と、「肌理については元の状態を保ちつつ、有意なシワ
やシミについては強調する」ということを2者択一に行
う本発明画像処理装置の一構成例を示している。図7に
おいて、符号3で示される微小振幅成分調整部は、微小
振幅変動成分の調整処理を実施する部分であり、「肌つ
る」化か「シワ強調」かの補正指示により、拡張ε−フ
ィルタIの出力y(m,n)に対するε−フィルタII
で分離した微小振幅変動成分u(m,n)の算法
(「肌つる」化であれば加算、「シワ強調」であれば減
算)を行う部分である。この場合において、拡張ε−フ
ィルタIは、補正指示に従って「肌つる」化もしくは
「シワ強調」を行うものであるが、これについては図6
を参照して既に説明した。
【0034】次に、上述した(2)c.の方法である、
本発明によって提供される新規なディジタルフィルタを
用いて自然感のある「肌つる」化および「シワ強調」を
実現する方法について説明する。まず、上述の(2)
a.の方法、すなわち、(1)式によって表されるε−
フィルタを2個組み合わせて自然感のある「肌つる」化
を行う場合について復習する。この場合は、上述したよ
うに、図6の構成によって行われる。
【0035】図6の構成によって行われる信号処理を数
式で表現すると(4)式で表される。(4)式において
は、中括弧で囲んで示す右辺第一項はε−フィルタIの
作用(ε=εhによる「肌つる」化)を、また後に続く右
辺第二項はε−フィルタIIの作用(振幅εL以下の「肌
理に係わる」変動成分の分離)をそれぞれ示している。
【数4】 いま、(4)式を、
【外1】 に着目して整理すると、(5)式となる。
【数5】
【0036】ここでFε(x)(図2参照)は|X|≦
εなるxに対しては同じ値となり、それ以外では0とな
る関数であるから、(5)式のFεh(△x)、FεL
(△x)はそれぞれ |Δx|≦εLのとき Fεh(△x)=Δx,FεL(△x)=Δx εL<|Δx|≦εhのとき Fεh(△x)=Δx,FεL(△x)=0 εL<|Δx| のとき Fεh(△x)=0,FεL(△x)=0 となる。従って、(5)式中の{Fεh(△x)−FεL
(△x)}で表される部分全体は、εL<|△x|≦ε
hとなる振幅帯に含まれる変動成分△xに対してのみ同
じ値を、それ以外では0を出力する特性を有している。
【0037】この特性は、図8に示すような2つのパラ
メータβL,βhによって規定される新規な非線形関数の
特性(φβL,βh(X)とする)そのものである。こ
の新たな非線形関数φβL,βh(X)を用いること
で、(5)式は、(6)式のように書き換えられる。
【数6】
【0038】すなわち(6)式は、新規な非線形関数φ
βL,βh(X)を用いて特定の振幅帯の変動成分のみ
を分離し抑圧することを特徴とする新たな非線形デジタ
ルフィルタ(以下、特定振幅帯変動成分分離型デジタル
フィルタ(またはβ−フィルタ)と呼ぶ)の特性を示し
ている。そして、この(6)式が(4)式から導かれた
ことからも判るように、その機能は図6に示したε−フ
ィルタを2個組合せたものによる機能と全く同一であ
る。従って、このβフィルタ1個で、肌の質感を残した
「肌つる」化を一挙に達成することができる。
【0039】なおβ−フィルタは、従来のε−フィルタ
出力に、ε−フィルタで分離した小振幅変動成分を入力
画像信号に加算する構成を加えることで拡張ε−フィル
タを実現したのと同様に、分離した特定振幅帯変動成分
の抑圧機能(「肌つる」化)に加えて、その強調機能
(「シワ強調」)も併せもたせることができる。これに
より、図9に示すように、β−フィルタは、肌の肌理を考
慮した高品質な「肌つる」化や「シワ強調」に対し1個
で対応可能(図7の構成では、拡張ε-フィルタIとε−
フィルタIIの2個を必要とした)になり、従って、簡易
な構成で自然な処理結果を生み出す「電子メイクアッ
プ」装置となる。
【0040】なお、特定振幅帯変動成分分離型フィルタ
(β−フィルタ)を用いた本発明画像処理装置の基本的
な構成においても、従来のε−フィルタの構成に小振幅
変動成分を強調する機能を付加した拡張ε−フィルタの
構成例と同様に、 (ア)「肌つる」化などの補正出力は1つとし、外部か
らの補正指示(「肌つる」化と「シワ強調」のどちらを
行うかの指示)に従って入力信号に対する特定振幅帯変
動成分の算法(減算するかまたは加算するか)を変える
構成「1出力型」 (イ)「肌つる」化と「シワ強調」の処理結果を常時出
力し、必要に応じていずれか一方を選択して使用できる
ようにする構成「常時併行出力型」の2通りの形態が考
えられる。
【0041】図10および図11は、β−フィルタによ
り「肌つる」化と「シワ強調」を上記(ア)および
(イ)に対応した形態で行う本発明画像処理装置の一構
成例をそれぞれ示していて、両図において、符号4で示
す実線枠の部分が特定振幅帯変動成分算出部である。ま
た、これら両装置(図10,図11)においても、「シ
ワ強調」のための特定振幅帯変動成分の加算(同相加
算)結果をデジタル映像の規定レベル範囲(例えば、0
〜255)に抑えるためのクリップ回路(Clip)を具
えている。
【0042】本発明によって提供されるβ−フィルタに
ついてさらに説明する。β−フィルタの基盤となる関数
φβL,βh(X)は、2つの振幅値φβL,βh(X)
に挟まれた振幅値を有するレベル変動(φβL≦|X|≦β
h)に対してのみ作用するもので、0近傍の微小振幅変
動については関与しない非線形関数であることを特徴と
している。この関数φβL,βh(X)も、図2に示し
た従来のε−フィルタの非線形関数F(X)も共にレベ
ル変動の振幅領域におけるフィルタ要件を規定するもの
であるが、φβL,βh(X)とF(X)の両関数の機
能面での本質的な差異は、周波数領域におけるそれぞれ
バンドパスフィルタ(BPF)とローパスフィルタ(L
PF)の差異になぞらえることができる。
【0043】すなわち、この非線形関数φβL,βh
(X)の導入により、様々な振幅のレベル変動からなる
入力信号系列中のある特定の振幅帯に含まれるレベル変
動のみを選択的に分離し、抑圧若しくは強調することの
できるデジタルフィルタが生み出される。
【0044】従来技術において文献を参照して説明した
ように、「ε−フィルタはもともと小振幅の雑音除去を
目的に考案されたフィルタである。雑音除去を目的とし
た場合、用いる非線形関数の形状を検討するに当たって
図8に示すような形態の関数は考慮の対象外となる。何
故なら、雑音除去においては、ある振幅帯の雑音は除去
対象とするものの、より微小な変化については除去対象
から外し保存するなどということはあり得ないからであ
る。従って、この非線形関数およびこの関数により規定
され、本発明により提供されるデジタルフィルタは従来
とは全く異なる目的・発想から生まれたものであり、各
分野における新たな応用を可能にするものである。
【0045】最後に、このβ−フィルタと色領域判定回
路とを組み合わせることで、周辺のディテイル・質感を
保持しつつ、肌の肌理を考慮したより高品質な「肌つ
る」化または「シワ強調」を行う画像処理が可能とな
り、これは、テレビジョンや映画などの分野における
「電子メイクアップ」装置としての一層の有効性を発揮
する。
【0046】図12は、このような構成からなる「電子
メイクアップ」装置の一構成例を示している。図12に
おいては、色領域判定回路5で入力画像信号中のパラメ
ータで指定される特定の色領域が判定され、その判定さ
れた色領域においてのみβ−フィルタの出力y(m,
n)が出力信号として取り出され、そうでない領域では
入力画像信号がそのまま出力されるよう色領域判定回路
5の出力により切換スイッチ6を制御している。
【0047】以上説明したように、本発明画像表示装置
は、ε−フィルタの小振幅変動成分分離機能や本発明に
よるβ−フィルタの特定振幅変動成分分離機能を用いて
2次元画像としての入力画像信号系列を補正することに
より、「シワ強調」を行い、また、より自然感のある
「肌つる」化や「シワ強調」を行うものであるが、本発
明の基本原理である入力信号中の小振幅変動成分や特定
振幅帯変動成分を分離するとともにこれを弱め、または
強調するという考え方は、いわゆる時系列信号としての
1次元信号の処理に応用し得ること勿論である。
【0048】
【発明の効果】本発明によれば、テレビジョンや映画に
おける映像表現として自然感のある「若返り」や「老
け」の効果がより自然なかたちで画像処理によって可能
になる。
【図面の簡単な説明】
【図1】 ε−フィルタの特性を入力信号と出力信号の
関係で示している。
【図2】 ε−フィルタで用いる非線形関数F(X)を
グラフで示している。
【図3】 2次元ε−フィルタの基本的な構成を示して
いる。
【図4】 「肌つる」化と「シワ強調」を「1出力型」
で行う本発明画像処理装置の一構成例を示している。
【図5】 「肌つる」化と「シワ強調」を「常時併行出
力型」で行う本発明画像処理装置の一構成例を示してい
る。
【図6】 「気になるシワやシミを除去しつつ、より変
動幅の小さい肌の肌理を残す」ようにした本発明画像処
理装置の一構成例を示している。
【図7】 「気になるシワやシミを除去しつつ、より変
動幅の小さい肌の肌理を残す」ということと、「肌理に
ついては元の状態を保ちつつ、有意なシワやシミについ
ては強調する」ということを2者択一に行う本発明画像
処理装置の一構成例を示している。
【図8】 本発明によって提供される新規なデジタルフ
ィルタ(β−フィルタ)を規定する非線形関数φβL,
βh(X)をグラフで示している。
【図9】 β-フィルタを使用することにより、肌の肌理
を考慮した高品質な「肌つる」化や「シワ強調」を行うの
に、1個のフィルタ(β-フィルタ)で対応可能になること
を示している。
【図10】 「肌つる」化と「シワ強調」を「1出力
型」のβ−フィルタで行う本発明画像処理装置の一構成
例を示している。
【図11】 「肌つる」化と「シワ強調」を「常時併行
出力型」のβ-フィルタで行う本発明画像処理装置の一
構成例を示している。
【図12】 β−フィルタと色領域判定回路とを組合せ
て構成した「電子メイクアップ」装置の一構成例を示し
ている。
【符号の説明】
1 小振幅変動成分(雑音成分)算出部 2 補正指示部 3 微小振幅成分調整部 4 特定振幅帯変動成分算出部 5 色領域判定部 6 切換スイッチ
フロントページの続き (56)参考文献 特開 平1−277061(JP,A) 特開 平9−233423(JP,A) 特開 平9−116900(JP,A) 特開 平7−212759(JP,A) 沼田照芳 李建輝 吉良健二,「お肌 つるつる」ソフトの開発と番組への応 用,映画テレビ技術,日本,社団法人日 本映画テレビ技術協会,1999年9月1 日,1999年9月号 No.565,P.15 −17 沼田照芳 李建輝 吉良健二,電子メ イクアップマシン『E−メイク』の開 発,映像情報メディア学会技術報告,日 本,社団法人映像情報メディア学会, 1999年11月26日,Vol.23 No. 76,P.11〜16 岡田卓也 渡部宏明 荒川薫 荒川泰 彦,成分分離型ε−フィルタとその顔画 像美観化への応用,電子情報通信学会 1990年 基礎・境界ソサイエティ大会講 演論文集,日本,社団法人電子情報通信 学会,1999年9月10日,A−4−25, P.77 吹抜敬彦,リップル修正フィルタによ る画像中の”シワ”の抑圧,電子情報通 信学会1999年 情報・システムソサイエ ティ大会講演論文集,日本,社団法人電 子情報通信学会,1999年8月16日,D− 11−15,P.101 荒川薫 渡部宏明 荒川泰彦,マルチ メディア画像処理,電子情報通信学会技 術研究報告[スペクトル拡散],日本, 社団法人電子情報通信学会,1998年12月 10日,Vol.98 No.452(SST 98−44),P.23〜30 清藤智子 秋貞先 荒川薫,カラー顔 画像の美観化を目的とした非線形ディジ タルフィルタ,電子情報通信学会1998年 基礎・境界ソサイエティ大会講演論文 集,日本,社団法人電子情報通信学会, 1998年10月2日,SA−3−4,P. 227〜228 近藤宏行 羽成賢治 清水克英 荒川 薫,ベクトルε−フィルタによるカラー 顔画像処理−皺成分の除去−,電子情報 通信学会1998年 総合大会講演論文集情 報・システム2一般講演,日本,社団法 人電子情報通信学会,1998年3月6日, D−11−143,P.143 (58)調査した分野(Int.Cl.7,DB名) G06T 5/20 H04N 1/40 H04N 5/262 特許ファイル(PATOLIS) JICSTファイル(JOIS)

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力画像信号を大小異なるε値を有する
    2個のε−フィルタの各入力端子に印加するとともに、
    大なるε値のε−フィルタの出力信号に、小なるε値の
    ε−フィルタの小振幅変動成分算出部の出力信号を加算
    することによって、入力画像信号が肌の肌理・質感を残
    して「肌つる」化された信号として取り出されるように
    構成したことを特徴とする画像処理装置。
  2. 【請求項2】 入力画像信号を大なるε値を有する拡張
    ε−フィルタと小なるε値を有するε−フィルタの各入
    力端子に印加するとともに、 補正指示が「肌つる」化のとき、前記拡張ε−フィルタ
    の「肌つる」化出力信号に前記ε−フィルタの小振幅変
    動成分算出部の出力信号を加算することによって、入力
    画像信号が肌の肌理・質感を残して「肌つる」化された
    信号として、そして補正指示が「シワ強調」のとき、前
    記拡張ε−フィルタの「シワ強調」出力信号から前記ε
    −フィルタの小振幅変動成分算出部の出力信号を減算す
    ることによって、入力画像信号が肌の肌理の元の状態を
    保ちつつ「シワ強調」された信号としてそれぞれ取り出
    されるように構成したことを特徴とする画像処理装置。
  3. 【請求項3】 任意に設定可能な大小2つの振幅値をパ
    ラメータとして、当該2つの振幅値に挟まれた振幅値を
    有する変動成分のみを選択的に分離する特定振幅帯変動
    成分分離型デジタルフィルタ(β−フィルタ)を使用す
    ることによって、 入力画像信号が肌の肌理・質感を残して「肌つる」化さ
    れた信号と、 入力画像信号が肌の肌理の元の状態を保ちつつ「シワ強
    調」された信号とが二者択一または同時に取り出される
    ように構成したことを特徴とする画像処理装置。
JP29863199A 1999-10-20 1999-10-20 画像処理装置 Expired - Lifetime JP3319727B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP29863199A JP3319727B2 (ja) 1999-10-20 1999-10-20 画像処理装置
US09/692,045 US6895124B1 (en) 1999-10-20 2000-10-20 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29863199A JP3319727B2 (ja) 1999-10-20 1999-10-20 画像処理装置

Publications (2)

Publication Number Publication Date
JP2001118064A JP2001118064A (ja) 2001-04-27
JP3319727B2 true JP3319727B2 (ja) 2002-09-03

Family

ID=17862245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29863199A Expired - Lifetime JP3319727B2 (ja) 1999-10-20 1999-10-20 画像処理装置

Country Status (2)

Country Link
US (1) US6895124B1 (ja)
JP (1) JP3319727B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7558435B2 (en) * 2003-03-24 2009-07-07 Sony Corporation Signal processing apparatus, method of processing a signal, recording medium, and program
JP4329391B2 (ja) * 2003-04-25 2009-09-09 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
WO2005064539A1 (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging, Inc. 画像領域抽出および画像処理の方法、装置、プログラム
JP4455897B2 (ja) 2004-02-10 2010-04-21 富士フイルム株式会社 画像処理方法および装置並びにプログラム
EP1775936A4 (en) 2004-06-22 2016-05-11 Nikon Corp PICTURE PROCESSING DEVICE CONFIRMING TEXTURE, PICTURE PROCESSING PROGRAM, ELECTRONIC CAMERA AND PICTURE PROCESSING METHOD
JP2006081156A (ja) * 2004-08-13 2006-03-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP4585253B2 (ja) * 2004-08-16 2010-11-24 富士フイルム株式会社 認証システム
JP4585254B2 (ja) * 2004-08-16 2010-11-24 富士フイルム株式会社 認証システム
JP4799101B2 (ja) * 2005-09-26 2011-10-26 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
JP2007096509A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp 画像処理装置、および画像処理方法
GB2430736A (en) * 2005-09-30 2007-04-04 Sony Uk Ltd Image processing
JP4752912B2 (ja) 2006-02-27 2011-08-17 株式会社ニコン 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
JP4977395B2 (ja) 2006-04-14 2012-07-18 富士フイルム株式会社 画像処理装置及び方法
JP4389951B2 (ja) 2007-03-14 2009-12-24 セイコーエプソン株式会社 画像処理装置
JP4527750B2 (ja) * 2007-05-30 2010-08-18 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
US8391639B2 (en) * 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
US8300974B2 (en) * 2007-11-12 2012-10-30 Mitsubishi Electric Corporation Image processing device, image display device, and image processing method therefor
JP5029545B2 (ja) * 2008-09-10 2012-09-19 大日本印刷株式会社 画像処理方法および装置
JP5810384B2 (ja) * 2011-05-11 2015-11-11 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP2012247874A (ja) 2011-05-25 2012-12-13 Sony Corp 画像処理装置および方法
JP5804258B2 (ja) * 2011-08-15 2015-11-04 セイコーエプソン株式会社 画像処理装置、電子機器
JP6872742B2 (ja) 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP6908013B2 (ja) * 2018-10-11 2021-07-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP7400198B2 (ja) * 2019-03-25 2023-12-19 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP7383891B2 (ja) * 2019-03-25 2023-11-21 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
CN114037631A (zh) * 2021-11-08 2022-02-11 燕山大学 一种图像纹理增强方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5771318A (en) * 1996-06-27 1998-06-23 Siemens Corporate Research, Inc. Adaptive edge-preserving smoothing filter
US6480300B1 (en) * 1998-04-08 2002-11-12 Fuji Photo Film Co., Ltd. Image processing apparatus, image processing method and recording medium on which software for executing the image processing is recorded
JP2000105815A (ja) 1998-09-28 2000-04-11 Yasuhiko Arakawa 顔画像処理方法および顔画像処理装置
JP2000102020A (ja) 1998-09-28 2000-04-07 Yasuhiko Arakawa デジタル画像処理装置および画像信号のフィルタリング方法
US6614944B1 (en) * 2000-02-10 2003-09-02 Oak Technology, Inc. Image enhancement filter with adaptive threshold
US6665448B1 (en) * 2000-09-29 2003-12-16 Hewlett-Packard Development Company, L.P. Selective smoothing and sharpening of images by generalized unsharp masking
US6731821B1 (en) * 2000-09-29 2004-05-04 Hewlett-Packard Development Company, L.P. Method for enhancing compressibility and visual quality of scanned document images

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
吹抜敬彦,リップル修正フィルタによる画像中の"シワ"の抑圧,電子情報通信学会1999年 情報・システムソサイエティ大会講演論文集,日本,社団法人電子情報通信学会,1999年8月16日,D−11−15,P.101
岡田卓也 渡部宏明 荒川薫 荒川泰彦,成分分離型ε−フィルタとその顔画像美観化への応用,電子情報通信学会1990年 基礎・境界ソサイエティ大会講演論文集,日本,社団法人電子情報通信学会,1999年9月10日,A−4−25,P.77
沼田照芳 李建輝 吉良健二,「お肌つるつる」ソフトの開発と番組への応用,映画テレビ技術,日本,社団法人日本映画テレビ技術協会,1999年9月1日,1999年9月号 No.565,P.15−17
沼田照芳 李建輝 吉良健二,電子メイクアップマシン『E−メイク』の開発,映像情報メディア学会技術報告,日本,社団法人映像情報メディア学会,1999年11月26日,Vol.23 No.76,P.11〜16
清藤智子 秋貞先 荒川薫,カラー顔画像の美観化を目的とした非線形ディジタルフィルタ,電子情報通信学会1998年 基礎・境界ソサイエティ大会講演論文集,日本,社団法人電子情報通信学会,1998年10月2日,SA−3−4,P.227〜228
荒川薫 渡部宏明 荒川泰彦,マルチメディア画像処理,電子情報通信学会技術研究報告[スペクトル拡散],日本,社団法人電子情報通信学会,1998年12月10日,Vol.98 No.452(SST98−44),P.23〜30
近藤宏行 羽成賢治 清水克英 荒川薫,ベクトルε−フィルタによるカラー顔画像処理−皺成分の除去−,電子情報通信学会1998年 総合大会講演論文集情報・システム2一般講演,日本,社団法人電子情報通信学会,1998年3月6日,D−11−143,P.143

Also Published As

Publication number Publication date
JP2001118064A (ja) 2001-04-27
US6895124B1 (en) 2005-05-17

Similar Documents

Publication Publication Date Title
JP3319727B2 (ja) 画像処理装置
US7020332B2 (en) Method and apparatus for enhancing a digital image by applying an inverse histogram-based pixel mapping function to pixels of the digital image
US10290083B2 (en) Multiple phase method for image deconvolution
Mangiat et al. Spatially adaptive filtering for registration artifact removal in HDR video
Pierre et al. Variational contrast enhancement of gray-scale and RGB images
JP2009025862A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置
JP5482007B2 (ja) 画像処理方法
KR101668829B1 (ko) 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
US5818972A (en) Method and apparatus for enhancing images using helper signals
Dixit et al. A review on image contrast enhancement in colored images
JP4484363B2 (ja) ビデオ・イメージ・シーケンス内のフリッカを低減する方法および装置
JP5359646B2 (ja) 画像処理方法
Ohchi et al. A nonlinear filter system for beautifying facial images with contrast enhancement
JP2007042124A (ja) ノイズ除去方法および装置並びにプログラム
US5448304A (en) Process for reducing the noise of a video signal
JPH11296666A (ja) 画像接続方法、画像接続装置、並びに、画像接続処理プログラムが格納された記録媒体
JP3014102B2 (ja) 輪郭補正回路
Arakawa Nonlinear digital filters for beautifying facial images in multimedia systems
Kimura et al. Halo control for LHE based local adaptive tone mapping
Kawakami et al. Modified histogram equalization with variable enhancement degree for image contrast enhancement
Cvetkovic et al. Non-linear locally-adaptive video contrast enhancement algorithm without artifacts
WO2015151279A1 (ja) フォーカス評価を補助するための装置、プログラム及び方法
JPS62171282A (ja) 相関適応式雑音低減装置
JPH09130797A (ja) 画像処理装置および画像処理方法
JPH0236675A (ja) 画像強調方法及び回路

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3319727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090621

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100621

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110621

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120621

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120621

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130621

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140621

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term