JP5157768B2 - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5157768B2
JP5157768B2 JP2008229836A JP2008229836A JP5157768B2 JP 5157768 B2 JP5157768 B2 JP 5157768B2 JP 2008229836 A JP2008229836 A JP 2008229836A JP 2008229836 A JP2008229836 A JP 2008229836A JP 5157768 B2 JP5157768 B2 JP 5157768B2
Authority
JP
Japan
Prior art keywords
pixel
value
image
predetermined
regarded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008229836A
Other languages
English (en)
Other versions
JP2010066803A (ja
Inventor
英史 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008229836A priority Critical patent/JP5157768B2/ja
Priority to US12/551,612 priority patent/US8346013B2/en
Priority to CN2009101717909A priority patent/CN101673401B/zh
Publication of JP2010066803A publication Critical patent/JP2010066803A/ja
Application granted granted Critical
Publication of JP5157768B2 publication Critical patent/JP5157768B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、入力画像と２値マスク画像（２値画像）より、色滲みなく前景オブジェクト画像を抽出できるようにした画像処理装置および方法、並びにプログラムに関する。
一般に写真などのデジタル画像内から前景オブジェクト画像として一部の領域を切り出す手段の一つとして、アルファマッティング手法がある。
アルファマッティング手法によって生成されたアルファマスク画像と入力画像を乗算することによって前景オブジェクト画像が切り抜かれ、新たな背景画像と合成するといった用途が考えられる。
ここで、アルファマスク画像とは、前景オブジェクト画像の画素単位の透明度αを示す値（以下、α値とも称する）からなる画像であり、換言すれば、前景オブジェクト画像の透明度の割合を示す画素からなる割合画像である。前景オブジェクト画像を構成する配色が、例えば、１００％となる画素の透明度をα＝１とし、例えば、０％をα＝０とし、さらに、例えば、５０％となる中間色の透明度をα＝０．５とすることにより、その透明度αにより表現される値を画素値とする画像である。このため、前景オブジェクト画像の画素値に、対応するアルファマスク画像の各画素の透明度αを乗じることにより設定される画像が、前景オブジェクト画像として抽出される画像となる。
ところが、このとき前景オブジェクト画像の輪郭付近の画素に、入力画像の背景画像における色が残る場合がある。
これは元々の入力画像において前景オブジェクト画像の輪郭に前景オブジェクト画像の色と背景画像の色が混ざった部分があり、それが新たな背景画像との合成時に色滲みとして顕在化することによって起きる。このため、切り抜いた前景オブジェクト画像を、より自然に合成するためには、アルファマスク画像だけでなく前景オブジェクト画像の真の色を計算して前景オブジェクト画像を求め、この前景オブジェクト画像とアルファマスク画像をと乗算して合成に用いる必要がある。
このようなアルファマッティング手法における前景色推定の方法には次のような方法が知られている。
第１の手法は、アルファマッティング手法によるアルファマスク画像とその入力画像から、入力画像の画素値と推定前景画像、推定背景画像、アルファマスク画像から求められる画素値に関する画素値の差、および１次微分差を最小にする方法である（非特許文献１参照）。この手法では、画素値の変化が大きな画素位置では、アルファ値か前景・背景色の変化が大きいという予測に基づいており、スムースな前景画像が得られる
また、第２の手法は、アルファマッティング手法によって求めたアルファマスク画像とその入力画像から、α値の差分を拘束にした連立一次方程式を作って入力画像の画素値を補完して、前景色を推測する方法である（非特許文献２参照）。この方法は拘束にアルファ差分値だけを用いており効率的である
さらに、第３の手法は、アルファマッティング手法によってアルファマスク画像を計算する際に、中間的に得られる仮の前景色を推定前景色として採用する方法である（非特許文献３参照）。この方法では求めたい位置の画素の周辺から、前景カラーと背景カラーの候補を多数サンプリングしてアルファ値を計算している。
また、第４の手法は、アルファマッティング手法によって求めたアルファマスク画像とその入力画像について、画像処理ソフトウェアを使って手動で色滲みを除去する方法で「フリンジ削除機能」として搭載されている（非特許文献４参照）。
A Closed Form Solution to Natural Image Matting A. Levin, D. Lischinski, Y. Weiss 2006 Conference on Computer Vision and Pattern Recognition (CVPR 2006), June 2006, pp. 61-68. Soft Scissors: An Interactive Tool for Realtime High Quality Matting Jue Wang, Maneesh Agrawala, Michael F. Cohen ACM Transactions on Graphics, 26(3), July 2007, pp. 9:1-9:6. A Bayesian Approach to Digital Matting Yung-Yu Chuang, Brian Curless, David H. Salesin, and Richard Szeliski. In Proceedings of IEEE Computer Vision and Pattern Recognition (CVPR 2001), Vol. II, 264-271, December 2001 http://help.adobe.com/ja_JP/Photoshop/10.0/help.html?content=WSfd1234e1c4b69f30ea53e41001031ab64-76de.html
しかしながら、非特許文献１の手法では、計算過程において一時的に作成する連立一次方程式が巨大であるためメモリの制約が生じてしまう恐れがあった。
また、非特許文献２の手法では、拘束にアルファ差分値だけを用いており効率的であるが、前景色の分布が単純でなく複雑に混ざっているような場合、正しい結果が得られないことがあった。
さらに、非特許文献３の手法では、推定される前景カラー間の空間的な拘束がないため、そのまま前景色として採用すると、非連続な前景画像しか得られないことがあった。また、良いサンプリングが得られない場合、適切でない色が採用されてしまうことがあった。
また、非特許文献４の手法では、除去すべき背景色や空間的な位置、適用する幅などを手動で設定する必要があり、操作が煩雑なものとなっていた。
本発明はこのような状況に鑑みてなされたものであり、特に、前景色推定においてはメモリを節約できるようにし、かつ前景色が空間的にスムースな連続性を持っていて、かつ前景輪郭に複雑な色分布があるようなものでも、色滲みなく前景オブジェクト画像を抽出できるようにするものである。
本発明の一側面の画像処理装置は、各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段とを含む。
前記推定前景色画像生成手段には、前記割合画像の各画素について前記第１の値を微分処理する微分処理手段と、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の前記微分処理手段の微分処理結果の積算値を、前記連続性情報の変化量の積算値からなる距離として算出する距離算出手段とを含ませるようにすることができる。
前記推定前景色画像生成手段には、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の付近であって、前記未確定領域と前記確定領域との境界付近の複数の前記入力画像の画素の画素値を、所定の重みを付して平均化し、平均化した画素値に設定することで、前記入力画像に対応する推定前景色画像を生成させるようにすることができる。
前記所定の重みは、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記連続性情報の変化量の積算値からなる距離が最短距離となる画素からの距離に応じて設定されるようにすることができる。
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の、前記前景画像領域の画素の集合位置と前記背景画像領域の画素の集合位置とから統計的に求められる前景尤度値の変化量の絶対値を積分した値とすることができる。
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の、エッジタンジェントフローベクトルの変化量の絶対値を積分した値とすることができる。
前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記入力画像の各画素の、エッジタンジェントフローベクトルの変化量の絶対値を積分した値とすることができる。
前記確定２値画像より、前記未確定領域画素とみなされて前記第３の値が設定されている領域における画素のそれぞれに重みを設定し、前記確定２値画像に対応する重み画像を生成する重み画像生成手段と、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する経路がグラフ構造化された経路の情報に基づいて、ラプラシアン行列を生成する行列生成手段と、前記重み画像、前記ラプラシアン行列、および前記推定前景色画像から、前景色画像をパラメータとするエネルギー関数を生成する関数生成手段と、前記エネルギー関数を最小にする前景色画像として算出する前景色画像算出手段とを含ませるようにすることができる。
前記重み画像で設定される重みには、前記エネルギー関数における前記推定前景色画像を前記前景色画像に近付ける拘束力を制御させるようにすることができる。
前記重み画像で設定される重みは、前記割合画像における各画素に設定された第１の値とすることができる。
本発明の一側面の画像処理方法は、各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段とを含む画像処理装置の画像処理方法において、前記確定２値画像生成手段による、前記各画素の画素値が、前記入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成ステップと、前記推定前景色画像生成による、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成ステップとを含む。
本発明の一側面のプログラムは、各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段とを含む画像処理装置を制御するコンピュータに、前記確定２値画像生成手段による、前記各画素の画素値が、前記入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成ステップと、前記推定前景色画像生成による、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成ステップとを含む処理を実行させる。
本発明の一側面においては、各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素が確定領域画素とみなされて所定の第２の値に設定され、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素が未確定領域画素とみなされて所定の第３の値に設定されることで、前記割合画像に対応する確定２値画像が生成され、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値が、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定されることで、前記入力画像に対応する推定前景色画像が生成される。
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
本発明の一側面によれば、省メモリでロバストな前景色の推定が可能となり、背景色の色滲みを軽減して、新しい背景との合成など画像加工結果の画質を向上させることが可能となる。
［画像処理装置の構成例］
図１は、本発明を適用した一実施の形態の構成例を示す画像処理装置である。
図１の画像処理装置１は、入力画像Ｉより、アルファマスク画像（前景オブジェクト画像の透明度の割合を示す割合画像）Ａに基づいて、前景オブジェクト画像Ｆを色滲みなく抽出できるようにするものである。
画像処理装置１は、入力画像取得部１１、アルファマスク画像取得部１２、確定値マップ生成部１３、画素重みマップ生成部１４、推定前景色画像生成部１５、ラプラシアン行列生成部１６、エネルギー関数生成部１７、および前景色画像生成部１８から構成される。
入力画像取得部１１は、抽出しようとする前景オブジェクト画像を含む入力画像Ｉを取得し、確定値マップ生成部１３、および推定前景色画像生成部１５に供給する。
アルファマスク画像取得部１２は、入力されてくる前景オブジェクト画像の画素単位の透明度αを示す値（以下、α値とも称する）からなるアルファマスク画像（前景オブジェクト画像の透明度の割合を示す画素からなる割合画像）Ａを取得する。そして、アルファマスク画像取得部１２は、取得したアルファマスク画像Ａを確定値マップ生成部１３、画素重みマップ生成部１４、推定前景色画像生成部１５、およびラプラシアン行列生成部１６に供給する。尚、推定前景色画像生成部１５の詳細な構成については、図２を参照して後述する。
確定値マップ生成部１３は、アルファマスク画像Ａ、および入力画像Ｉより前景オブジェクト画像、または背景画像として確定している第１の画素値の画素と、そのいずれにも属しない第２の画素値からなる画素とからなる確定値マップ画像Ｓを生成する。そして、確定値マップ生成部１３は、生成した確定値マップ画像Ｓを画素重みマップ生成部１４、および推定前景色画像生成部１５に供給する。ここで、前景オブジェクト画像、または背景画像のいずれにも属していない画素は、前景オブジェクト画像における色と背景画像における色とが混合していると思われる画素である。また、確定値マップ画像Ｓにおける第１の画素値には、例えば、１が設定され、第２の画素値には、例えば、０が設定される。さらに、確定値マップ生成部１３は、確定値マップ画像Ｓの確定画素については、前景オブジェクト画像に属する画素であるか、または、背景画像に属するものであるかを識別する情報を付加する。
画素重みマップ生成部１４は、確定値マップ画像Ｓと、アルファマスク画像Ａとに基づいて、画素重みマップ画像Ｄｓを生成し、エネルギー関数生成部１７に供給する。より詳細には、画素重みマップ生成部１４は、確定値マップ画像Ｓのうち、未確定領域の画素に対応するアルファマスク画像Ａの画素値、すなわち、透明度αを画素の重みとして設定し、画素重みマップ画像Ｄｓを生成する。
推定前景色画像生成部１５は、入力画像Ｉ、アルファマスク画像Ａ、および確定値マップ画像Ｓより推定前景色画像Ｆ＾を生成し、エネルギー行列生成部１７に供給する。より詳細には、推定前景色画像生成部１５は、確定値マップ画像Ｓにおける未確定領域の各画素に対応するアルファマスク画像Ａの画素について、Sobelフィルタにより微分値を求める。そして、推定前景色画像生成部１５は、各未確定画素から確定領域の境界の画素までの経路上に存在する未確定画素の微分値の積算値を距離としたとき、その距離が最小となる確定画素を、各未確定画素の画素値に設定する。これにより、未確定画素に対応する、上述した微分値の積算値を距離としたとき最短となる前景オブジェクト画像の画素位置の画素値からなる画像が、推定前景色画像Ｆ＾として求められる。
ラプラシアン行列生成部１６は、アルファマスク画像Ａより、例えば、注目画素位置の周辺の画素の平均と分散から、局所的な領域の前景オブジェクト画像と背景画像の画素値の線形モデルを仮定し、周辺画素の寄与度を計算してラプラシアン行列Ｌを生成する。ラプラシアン行列Ｌは、行および列数がアルファマスク画像Ａの全画素数に対応した、正定値対称疎行列である。
ラプラシアン行列Ｌの各成分は、例えば、非特許文献１の例の場合、隣接画素との重みが入っており、３画素×３画素の小領域では前景オブジェクト画像の色、および背景画像の色はほぼ一定でα値のみ変化する線形モデルが仮定されている。ラプラシアン行列Ｌの各成分は、中心ピクセルの周りの３画素×３画素の小領域の平均や共分散から計算されている。この成分により隣接画素と中心画素のα値がどの程度類似しているべきかが定義される。尚、ラプラシアン行列Ｌについての詳細は、例えば、非特許文献１を参照されたい。
エネルギー関数生成部１７は、画素重みマップ画像Ｄｓ、ラプラシアン行列Ｌ、および推定前景色画像Ｆ＾に基づいて、前景色画像ＦのＲＧＢの色画像Ｆｃを構成するベクトルｘをパラメータとしたエネルギー関数Ｅを生成し、前景色画像生成部１８に供給する。
前景色画像生成部１８は、エネルギー関数Ｅが最小となるＲＧＢの色画像Ｆｃのベクトルｘを求め、各色のベクトルｘから前景色画像Ｆを求め、入力画像Ｉのうち、アルファマスク画像Ａにより定義される前景オブジェクト画像として出力する。前景色画像Ｆは、最終的に抽出されるアルファマスク画像Ａに基づいて、入力画像Ｉより抽出される前景オブジェクト画像そのものである。
［推定前傾画像生成部の構成例］
次に、図２を参照して、推定前景色画像生成部１５の詳細な構成例について説明する。
推定前景色画像生成部１５は、微分画像生成部３１、最近傍前景画素マップ生成部３２、および推定前景色画素生成部３３より構成される。
微分画像生成部３１は、アルファマスク画像Ａの各画素におけるα値を、例えば、Sobelフィルタにより微分処理し、微分結果からなる微分画像Ａ’を最近傍前景画素マップ生成部３２に供給する。尚、微分画像生成部３１は、値を微分処理することができるものであればよいので、Sobelフィルタのみならず、他のフィルタであってもよい。
最近傍前景画素マップ生成部３２は、確定値マップ画像Ｓにおける未確定領域の各画素について、確定領域まで最短距離となる確定領域の画素を探索する。この際、最近傍前景画素マップ生成部３２は、各未確領域の画素から確定領域の画素までの経路上に存在する未確定画素の微分値の積算値を経路の距離として求め、最短距離となる確定領域の画素を探索する。そして、最近傍前景画素マップ生成部３２は、探索された確定領域の画素の画素位置の情報を各画素に対応付けた最近傍前景画素マップ画像Ｎを生成し、推定前景色画素生成部３３に供給する。
推定前景色画素生成部３３は、最近傍前景画素マップ画像Ｎで設定されている画素位置に対応する入力画像Ｉの画素値を設定することにより、推定前景色画像Ｆ＾を生成し、出力する。
［前景色画像生成処理］
次に、図３のフローチャートを参照して、前景色画像生成処理について説明する。
ステップＳ１において、入力画像取得部１１およびアルファマスク画像取得部１２は、それぞれ入力画像Ｉ、およびアルファマスク画像Ａが供給されてきたか否かを判定し、入力画像Ｉ、およびアルファマスク画像Ａが供給されてくるまで、同様の処理を繰り返す。ステップＳ１において、例えば、図４，図５で示されるような、入力画像Ｉ、およびアルファマスク画像Ａが入力されてきた場合、処理は、ステップＳ２に進む。図４，図５は、人物の顔画像の一部を撮像した入力画像Ｉおよびアルファマスク画像Ａの画像例を示す図である。尚、図５のアルファマスク画像Ａは、図４の入力画像Ｉに対応したものであり、透明度α＝１に白色を、透明度α＝０に黒色を設定した画像である。また、以降においては、入力画像Ｉのうち、この髪の毛の画像を含む顔画像領域を前景オブジェクト画像とし、それ以外を背景画像として扱うものとする。
ステップＳ２において、入力画像取得部１１は、入力された入力画像Ｉを確定値マップ生成部１３、および推定前景色画像生成部１５に供給する。また、アルファマスク画像取得部１２は、入力されたアルファマスク画像Ａを確定値マップ生成部１３、画素重みマップ生成部１４、推定前景色画像生成部１５、およびラプラシアン行列生成部１６に供給する。
さらに、確定値マップ生成部１３は、アルファマスク画像Ａより前景オブジェクト画像、または背景画像として確定している所定の第１の画素値の画素と、いずれにも属しない所定の第２の画素値からなる画素とからなる確定値マップ画像Ｓを生成する。
より詳細には、確定値マップ生成部１３は、透明度αが、α＝１またはα＝０に設定された画素については、前景オブジェクト画像の色が確定した確定画素として、例えば、画素値を１に設定し、それ以外の未確定画素を０に設定し、確定値マップ画像Ｓを生成する。また、確定値マップ生成部１３は、確定画素として設定された画素のうち、透明度αがα＞０．５ならば前景確定画素、α＜０．５なら背景確定画素として設定する。例えば、確定値マップ生成部１３が、図５で示されるようなアルファマスク画像Ａに対して、確定値マップ画像Ｓを生成すると、図６で示されるような画像となる。図６においては、白色の領域Ｚ１が前景オブジェクト画像を構成する確定画素からなる確定領域を示し、黒色で示される領域Ｚ２が未確定画素からなる未確定領域を示し、領域Ｚ２を挟んで領域Ｚ１と反対側の白色の領域Ｚ３が、背景画像の確定領域を示している。
また確定画素は、α＝１またはα＝０に限るものに限らず、例えば、適当な敷居値を設定して定義しても良く、例えば、α＞０．９８かつα＜０．０２としてもよい。また、未確定画素からなる未確定領域は、後段の処理の精度を向上させるため、例えば、１画素乃至数画素程度、確定領域に対して拡張するようにしてもよい。このような処理により、例えば、入力画像Ｉがアップサンプリングされた画像などであったために、確定画素と未確定画素が補間された色として計算されても色滲みのない前景オブジェクト画像の色を精度よく計算することが可能となる。
ステップＳ３において、画素重みマップ生成部１４は、確定値マップ画像Ｓと、アルファマスク画像Ａとに基づいて、画素重みマップ画像Ｄｓを生成し、エネルギー関数生成部１７に供給する。より詳細には、画素重みマップ生成部１４は、確定値マップ画像Ｓのうち、未確定領域の画素に対応するアルファマスク画像Ａの画素値、すなわち、透明度αを画素の重みとして設定し、画素重みマップ画像Ｄｓを生成する。この画素重みマップ画像Ｄｓの各画素に対応する値の調整により、後述するエネルギー関数Ｅの特性が変化する。例えば、画素重みマップ画像Ｄｓの各画素に対応する値が大きいほど推定前景色画像に近い前景色画像が得られ易くエネルギー関数Ｅが設定される。逆に、画素重みマップ画像Ｄｓの各画素に対応する値が小さいほど、隣接する前景オブジェクト画像の画素値から補完される値に近くなり、滑らかな連続性を持つ前景オブジェクト画像の画素値が得られる。
尚、ここでは、画素重みマップ画像Ｄｓの各画素に対応する重みは、各画素の透明度α（０≦α≦１）を用いるものとしているが、重みとして設定される値は、他の値であっても良いものである。
ステップＳ４において、推定前景色画像生成部１５は、推定前景色画像処理生成処理を実行し、入力画像Ｉ、アルファマスク画像Ａ、および確定値マップ画像Ｓより推定前景色画像Ｆ＾を生成し、エネルギー行列生成部１７に供給する。
［推定前景色画像処理生成処理］
ここで、図７のフローチャートを参照して、推定前景色画像処理生成処理について説明する。
ステップＳ３１において、微分画像生成部３１は、アルファマスク画像Ａの各画素におけるα値をSobelフィルタにより微分処理し、微分値Δαからなる微分画像Ａ’を最近傍前景画素マップ生成部３２に供給する。
ステップＳ３２において、最近傍前景画素マップ生成部３２は、微分画像Ａ’に基づき、確定値マップ画像Ｓの未確定領域の各画素について、確定領域との境界上の前景オブジェクト画像の全確定画素に至る全経路上の画素の微分値Δαを積算する。そして、最近傍前景画素マップ生成部３２は、各画素について、この微分値Δαの積算値が最も小さな経路を、確定画素までの最短経路とみなし、その経路を介して到達している確定画素の画素位置を読み出す。
すなわち、図８で示されるように、最近傍前景画素マップ生成部３２は、未確定領域の画素Ｐｄから境界上の複数の確定画素Ｐｕまでの全経路ＰＡＴＨ上の画素の微分値Δαを積算し、以下の式（１）で示される演算により最小値をとる確定画素Ｐｕを探索する。
Figure 0005157768
 （１）
ここで、ｄ（Ｐｄ，Ｐｕ）は、未確定領域の画素Ｐｄから確定領域との境界上に存在する確定画素Ｐｕまでの経路ＰＡＴＨ上に存在する全ての画素の微分値Δαの絶対値の積算値のうち、積算値が最小となる確定画素Ｐｕのものであることを示している。この経路毎の、微分値Δαの積算値で定義される距離は、一般にＧｅｏｄｅｓｉｃ Ｄｉｓｔａｎｃｅと呼ばれる測地距離である。また、各経路ＰＡＴＨは、図９で示されるような、８近傍隣接関係の隣接画素間をつなぐノードとして順次結合することで設定されるものとする。すなわち、図９で示されるように、画素ＴＰが次の経路として設定可能な隣接画素は、画素Ｐ１乃至Ｐ８までの８方向となる。
尚、図８においては、領域Ｚ１１が未確定画素からなる未確定領域であり、領域Ｚ１２，Ｚ１３は、いずれも前景オブジェクト画像の確定画素からなる確定領域である。また、境界Ｂは、未画定領域と確定領域との境界であり、白色の画素ＳＦＰ１乃至ＳＦＰ８、および、黒色の画素Ｐｄは、境界Ｂ上の確定画素を示している。
また、最短経路として求められた最も近傍の確定画素までの距離（Ｇｅｏｄｅｓｉｃ Ｄｉｓｔａｎｃｅ）を画素値として設定した距離マップ画像Ｍは、例えば、図１０で示されるような画像となる。図１０の距離マップ画像Ｍにおいては、確定画素については黒色を設定し、距離に応じて明るい色が設定されており、最も遠い画素については、白色に設定されている。
ステップＳ３３において、最近傍前景画素マップ生成部３２は、未確定画素のそれぞれについて、最短経路として探索された画素位置の情報を対応付けて最近傍前景画素マップ画像Ｎを生成し、推定前景色画素生成部３３に供給する。
ステップＳ３４において、推定前景色画素生成部３３は、最近傍前景画素マップ画像Ｎに基づき、未確定画素の画素毎に設定された画素位置の入力画像Ｉにおける確定画素の画素値を読み出し、未確定画素の画素値として設定することで、推定前景色画像Ｆ＾を生成する。すなわち、例えば、図８で示されるように、推定前景色画素生成部３３は、未確定画素Ｐｕの画素値を、最短経路として探索された、最近傍前景画素である画素Ｐｄの画素位置に対応する入力画像Ｉの画素値に設定する。
尚、この際、最近傍前景画素マップ画像Ｎに設定された最短経路として選択される画素は、必ずしも適切な画素でない恐れがある。そこで、推定前景色画素生成部３３は、最短経路として選択された画素周辺であって境界上の複数の確定画素に所定の重みを付したの平均値を、未確定画素の画素値とするようにしても良い。
すなわち、図８で示されるように、画素Ｐｕに対応する未確定画素について、最短経路として設定された画素Ｐｄと、その近傍であって、境界上の確定画素ＳＦＰ１乃至ＳＦＰ８との平均値を求めて、未確定画素Ｐｕの画素値として設定するようにしてもよい。
さらに、この画素Ｐｕの近傍の画素については、例えば、Jue Wang Cohen, M.F. Optimized Color Sampling for Robust Matting.Computer Vision and Pattern Recognition, 2007.を参照されたい。
以上の処理により、未確定画素について、微分値の積算値が最小となる経路により最短で到達する前景オブジェクト画像の画素に置き換えることにより、前景オブジェクト画像における自然な色を再現することが可能となる。このため、前景オブジェクト画像と背景画像との境界近傍において、前景オブジェクト画像における背景画像の色の滲みを抑制することが可能となる。
ここで、図３のフローチャートの説明に戻る。
ステップＳ５において、ラプラシアン行列生成部１６は、アルファマスク画像Ａよりラプラシアン行列Ｌを生成し、エネルギー関数生成部１７に供給する。より詳細には、ラプラシアン行列生成部１６は、行数、列数が同じ正方行列で、画素間の関係を示すグラフ構造を、全画素数（ノード数）×全画素数の正方行列からなるラプラシアン行列を生成する。より詳細には、ラプラシアン行列生成部１６は、各行の対角成分が、同じ行の対角成分以外の成分を総和して、符号を反転して、つまり、各行はそれぞれ全部足すと０になるラプラシアン行列Ｌを生成する。
例えば、図１１で示されるように画素Ｐ１乃至Ｐ６が接続され、図中の線分により接続された画素間が隣接関係に有るものとする。図１１で示されるような関係が有る場合、ラプラシアン行列生成部１６は、例えば、以下の式（２）で示されるようなラプラシアン行列Ｌを生成する。
Figure 0005157768
 （２）
すなわち、図１１で示されるように、画素Ｐ１には、画素Ｐ２，Ｐ５が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、１行目は、画素Ｐ２，Ｐ５に対応する２，５列目に「−１」を設定し、１列目を「２」（＝｜−１｜×２）とする。
また、同様に、図１１で示されるように、画素Ｐ２には、画素Ｐ１，Ｐ３，Ｐ５が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、２行目は、画素Ｐ１，Ｐ３，Ｐ５に対応する１，３，５列目に「−１」を設定し、２列目を「３」（＝｜−１｜×３）とする。
さらに、同様に、図１１で示されるように、画素Ｐ３には、画素Ｐ２，Ｐ４が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、３行目は、画素Ｐ２，Ｐ４に対応する２，４列目に「−１」を設定し、３列目を「２」（＝｜−１｜×２）とする。
また、同様に、図１１で示されるように、画素Ｐ４には、画素Ｐ３，Ｐ５，Ｐ６が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、４行目は、画素Ｐ３，Ｐ５，Ｐ６に対応する１，３，５列目に「−１」を設定し、４列目を「３」（＝｜−１｜×３）とする。
さらに、同様に、図１１で示されるように、画素Ｐ５には、画素Ｐ１，Ｐ２，Ｐ４が接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、５行目は、画素Ｐ１，Ｐ２，Ｐ４に対応する１，２，４列目に「−１」を設定し、５列目を「３」（＝｜−１｜×３）とする。
また、同様に、図１１で示されるように、画素Ｐ６には、画素Ｐ４のみが接続されている。このため、ラプラシアン行列生成部１６は、式（２）のラプラシアン行列Ｌで示されるように、６行目は、画素Ｐ４に対応する４列目に「−１」を設定し、４列目を「１」（＝｜−１｜×１）とする。
ステップＳ６において、エネルギー関数生成部１７は、画素重みマップ画像Ｄｓ、ラプラシアン行列Ｌ、および推定前景色画像Ｆ＾に基づき、以下の式（３）で示される前景色画像Ｆをパラメータとしたエネルギー関数Ｅを生成し、前景色画像生成部１８に供給する。
ｘ＝arg min（ｘTＬｘ＋λ（ｘ−Ｆ＾）TＤｓ（ｘ−Ｆ＾））
（３）
ここで、arg min（Ｑ）、は数学記号で、関数Ｑの値が最小になるようにパラメータxの値を決定させることを示す関数である。また、ｘは生成されるべき前景色画像Ｆを構成する色画像Ｆｃにおける画素数分のベクトルである。このため、式（３）は、エネルギー関数Ｅが最小となるベクトルｘの組み合わせが求められることになる。また、ｘT，（ｘ−Ｆ＾）Tはそれぞれベクトルｘ，（ｘ−Ｆ＾）の転置を示し、Ｌはラプラシアン行列、λは正の値からなる係数を、Ｄｓは画素重みマップ画像をそれぞれ示している。
式（３）においては、「ｘTＬｘ」は、平滑化項であり、「λ（ｘ−Ｆ＾）TＤｓ（ｘ−Ｆ＾）」はデータ項である。
平滑化項は隣接する画素の値同士が滑らか（同じ）になるようにベクトルｘを決めるように作用する項である。また、データ項はベクトルｘと推定前景色画像Ｆ＾とが０となるようにすることで推定前景色画像Ｆ＾にベクトルxを近づけように作用する項である。
平滑化項とデータ項とは、相互にトレードオフの関係にあり、いずれか一方の値を優先して０（最小）にしようとすると、他方の値が大きくなる。よって、式（３）は、両者の値がバランスよく、かつ、合計が最小になるように計算される。前景色画像生成部１８は、実際の計算では、式（３）を共役勾配法やＬＵ分解により計算し最小化する。
また、係数λは、データ項の平滑化項に対する相対的な強さを調整する。また、画素重みマップ画像Ｄｓは、データ項の各行の相対的な重要度、すなわち、前景オブジェクト画像を構成する画素の画素値への影響力の大きさを設定する。すなわち、画素重みマップ画像Ｄｓに、１．０の項が存在すれば、係数λだけ拘束力が大きくなり、λが小さくなるほど拘束力が小さくなる。そして、画素重みマップ画像Ｄｓまたは係数λにより拘束力が０になると、データ項の重要度はゼロとなり、エネルギー関数Ｅは、平滑化項のみにより決定されることになる。尚、画素重みマップ画像Ｄｓは、正の値で一般には０．０乃至１．０であるが、それに限定されるものではない。
また、平滑化項やデータ項が２次式とされている(ベクトルｘを2回乗算している）のは、数学的に最小解を求めるためであり、例えば、以下の式（４）で示されるように、微分式とすることにより最小値を求めることができる。
（Ｌ＋λＤｓ）ｘ＝λＦ＾
（４）
ステップＳ７において、前景色画像生成部１８は、例えば、上述した式（４）を演算することにより、ベクトルｘを解いて、前景色画像Ｆを構成する色画像Ｆｃを求める。
ステップＳ８において、前景色画像生成部１８は、ＲＧＢ（Red Green Blue）の全色分の色画像Ｆｃが求められたか否かを判定し、全色の処理が終了していない場合、ステップＳ７に戻り、未処理の色について処理を実行する。すなわち、全ての色の色画像Ｆｃが求められるまで、ステップＳ７，Ｓ８の処理が繰り返される。
そして、ステップＳ８において、全色分の色画像Ｆｃがもつめられ、処理が終了したと判定された場合、ステップＳ９において、前景色画像生成部１８は、全色分の色画像Ｆｃより前景色画像Ｆを構成し、入力画像Ｉにおけるアルファマスク画像Ａで設定された、例えば、図１２で示されるような前景オブジェクト画像Ｆとして出力する。
以上の処理により、エネルギー関数Ｅが最小となるように、各色の前景色画像の画素値からなるベクトルｘが求められ、このベクトルｘからなる各色の色画像Ｆｃから前景色画像Ｆが求められ、前景色画像Ｆが前景オブジェクト画像Ｆとして構成される。結果として、前景オブジェクト画像と背景画像との境界付近で、前景オブジェクト画像に生じる背景画像の色の滲みを抑制することが可能となる。
尚、ステップＳ４の処理で計算した推定前景色画像Ｆ＾は入力画像として与えるようにしても良い。すなわち、Jue Wang Cohen, M.F. Optimized Color Sampling for Robust Matting.Computer Vision and Pattern Recognition, 2007.でも示されているが、推定前景色画像Ｆ＾はアルファマスク画像生成時の副産物として生成されるものである。そこで、本発明のステップＳ４の処理で再利用することで処理の高速化やメモリの節約を実現するようにしてもよい。
また、ステップＳ４の処理で計算した推定前景色画像Ｆ＾は、前景尤度値を前景オブジェクト画像の画素集合（α＝１）と背景画像の画素集合（α＝０）から統計的に求めて、最小距離を前景オブジェクト画像の画素集合を起点とした前景尤度値変化量の絶対値を積分した距離を使って求めるようにしてもよい。
さらに、ステップＳ４の処理で計算した推定前景色画像Ｆ＾は、最小距離を前景画素集合を起点としたアルファマスク画像Ａのエッジタンジェントフロー（ベクトル）の変化量の絶対値を積算した距離を使って求めても良い。エッジタンジェントフローベクトルは、たとえば、H. Kang, S. Lee, C. Chui. Coherent Line Drawing.Proc. ACM Symposium on Non-photorealistic Animation and Rendering, 2007に紹介されている手法により求めるようにしてもよい。エッジタンジェントフローベクトルの変化量ｗは、たとえば、以下の式（５）で示されるように現在の位置ｘのエッジタンジェントフローベクトルｔｉ（ｘ）と隣接する位置のエッジタンジェントフローベクトルｔｊ（ｘ）とによって求めることができる。
ｗ＝１−｜ｔｉ（ｘ）×ｔｊ（ｘ）｜
（５）
また、ステップＳ４の処理で計算した推定前景色画像Ｆ＾は、その最小距離を前景オブジェクト画像の画素集合を起点とした入力画像Ｉのエッジタンジェントフロー（ベクトル）の絶対値からなる変化量を積分した距離を使って求めるようにしても良い。
さらに、ステップＳ５で計算したラプラシアン行列Ｌは、入力画像ＩのＲＧＢ値から求めてもよい。
また、ステップ５で計算したラプラシアン行列Ｌは、前景尤度値を上記入力画像の前景画素集合と背景画素集合から統計的に求めて、その前景尤度値を用いて計算しても良い。前景尤度値は、例えば、式（６）で示されるように正規化前景尤度Ｐｂ（ｘ）を計算することで構築する。式（６）においてｘは対象画素、ｐ（Ｃx｜θGF）は前景色尤度、ｐ（Ｃx｜θGB）は背景色尤度である。上記尤度ｐ（）は、例えば、Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌによって計算される。
Ｐｂ（ｘ）＝ｐ（Ｃx｜θGF）／（ｐ（Ｃx｜θGF）＋ｐ（Ｃx｜θGB））
（６）
また前景色画像Ｆの質よりも計算時間を優先させたいような場合、ステップＳ４の処理において、推定前景色画像Ｆ＾の計算を省略して利用しないようにしてもよい。このとき、確定領域の画素位置の推定前景色画像Ｆ＾の各画素を０にし、また前景オブジェクト画像領域の画素位置以外の画素重みマップ画像Ｄｓを０にする。これにより前景画素位置のみを拘束として前景色画像を計算するので高速に処理することができる。
また、ステップＳ５の処理において、エネルギー関数Ｅの定義は入力画像Ｉの色成分のうち１つをＦｃとして取り出して行っているが、省メモリよりも処理速度を優先したい場合は３色を同時に含んだエネルギー関数Ｅを定義してもよい。
以上の如く、本発明によれば、前景オブジェクト画像と背景画像との境界付近で、前景オブジェクト画像に生じる背景画像の色の滲みを抑制することが可能となる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図１３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
本発明を適用した画像処理装置の構成例を示すブロック図である。 推定前景色画像生成部の構成例を示すブロック図である。 前景画像生成処理を説明するフローチャートである。 入力画像の画像例を示す図である。 アルファマスク画像の画像例を示す図である。 確定値マップ画像の画像例を示す図である。 推定前景色画像生成処理を説明するフローチャートである。 最短距離を説明する図である。 ８近傍隣接関係を説明する図である。 距離マップを説明する図である。 グラフ構造を説明する図である。 前景色画像の画像例を示す図である。 パーソナルコンピュータの構成例を説明する図である。
符号の説明
１ 画像処理装置， １１ 入力画像取得部， １２ アルファマスク画像取得部， １３ 確定値マップ画像生成部， １４ 画素重みマップ生成部， １５ 推定前景色画像生成部， １６ ラプラシアン行列生成部， １７ エネルギー関数生成部， １８ 前景色画像生成部， ３１ 微分画像生成部， ３２ 最近傍前景画素マップ生成部， ３３ 推定前景色画素生成部

Claims (12)

  1. 各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、
    前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段と
    を含む画像処理装置。
  2. 前記推定前景色画像生成手段は、
    前記割合画像の各画素について前記第１の値を微分処理する微分処理手段と、
    前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の前記微分処理手段の微分処理結果の積算値を、前記連続性情報の変化量の積算値からなる距離として算出する距離算出手段とを含む
    請求項１に記載の画像処理装置。
  3. 前記推定前景色画像生成手段は、
    前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記連続性情報の変化量の積算値からなる距離が最短距離となる画素に対応する、前記入力画像の画素の付近であって、前記未確定領域と前記確定領域との境界付近の複数の前記入力画像の画素の画素値を、所定の重みを付して平均化し、平均化した画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する
    請求項１に記載の画像処理装置。
  4. 前記所定の重みは、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記連続性情報の変化量の積算値からなる距離が最短距離となる画素からの距離に応じて設定される
    請求項３に記載の画像処理装置。
  5. 前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の、前記前景画像領域の画素の集合位置と前記背景画像領域の画素の集合位置とから統計的に求められる前景尤度値の変化量の絶対値を積分した値である
    請求項１に記載の画像処理装置。
  6. 前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記割合画像の各画素の、エッジタンジェントフローベクトルの変化量の絶対値を積分した値である
    請求項１に記載の画像処理装置。
  7. 前記連続性情報の変化量の積算値からなる距離は、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する、前記入力画像の各画素の、エッジタンジェントフローベクトルの変化量の絶対値を積分した値である
    請求項１に記載の画像処理装置。
  8. 前記確定２値画像より、前記未確定領域画素とみなされて前記第３の値が設定されている領域における画素のそれぞれに重みを設定し、前記確定２値画像に対応する重み画像を生成する重み画像生成手段と、
    前記割合画像の各画素がグラフ構造化された経路の情報に基づいて、ラプラシアン行列を生成する行列生成手段と、
    前記重み画像、前記ラプラシアン行列、および前記推定前景色画像から、前景色画像をパラメータとするエネルギー関数を生成する関数生成手段と、
    前記エネルギー関数を最小にする前景色画像として算出する前景色画像算出手段とを含む
    請求項１に記載の画像処理装置。
  9. 前記重み画像で設定される重みは、前記エネルギー関数における前記推定前景色画像を前記前景色画像に近付ける拘束力を制御する
    請求項８に記載の画像処理装置。
  10. 前記重み画像で設定される重みは、前記割合画像における各画素に設定された第１の値である
    請求項８に記載の画像処理装置。
  11. 各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、
    前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段と
    を含む画像処理装置の画像処理方法において、
    前記確定２値画像生成手段による、前記各画素の画素値が、前記入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成ステップと、 前記推定前景色画像生成による、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成ステップと
    を含む画像処理方法。
  12. 各画素の画素値が、入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成手段と、
    前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成手段と
    を含む画像処理装置を制御するコンピュータに、
    前記確定２値画像生成手段による、前記各画素の画素値が、前記入力画像における前景画像領域の画素値の割合を示す第１の値よりなる、前記入力画像に対応した割合画像の画素について、前記第１の値が最大値側閾値よりも大きい値である、または最小値側閾値よりも小さい値である場合、前記画素を確定領域画素とみなして所定の第２の値に設定し、前記第１の値が、前記最大値側閾値よりも大きい値でなく、かつ、前記最小値側閾値よりも小さい値でない場合、前記画素を未確定領域画素とみなして所定の第３の値に設定することで、前記割合画像に対応する確定２値画像を生成する確定２値画像生成ステップと、 前記推定前景色画像生成による、前記確定２値画像における未確定領域画素とみなされて前記所定の第３の値に設定された各画素の画素値を、前記確定領域とみなされて前記所定の第２の値に設定された画素のうち、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までを経由する画素毎に定義される連続性情報の変化量の積算値からなる、前記割合画像の各画素から、前記確定領域とみなされて前記所定の第２の値に設定された画素までの距離が最短距離となる画素に対応する、前記入力画像の画素の画素値に設定することで、前記入力画像に対応する推定前景色画像を生成する推定前景色画像生成ステップと
    を含む処理を実行させるプログラム。
JP2008229836A 2008-09-08 2008-09-08 画像処理装置および方法、並びにプログラム Expired - Fee Related JP5157768B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008229836A JP5157768B2 (ja) 2008-09-08 2008-09-08 画像処理装置および方法、並びにプログラム
US12/551,612 US8346013B2 (en) 2008-09-08 2009-09-01 Image processing apparatus, image processing method, and program
CN2009101717909A CN101673401B (zh) 2008-09-08 2009-09-08 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008229836A JP5157768B2 (ja) 2008-09-08 2008-09-08 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2010066803A JP2010066803A (ja) 2010-03-25
JP5157768B2 true JP5157768B2 (ja) 2013-03-06

Family

ID=41799345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008229836A Expired - Fee Related JP5157768B2 (ja) 2008-09-08 2008-09-08 画像処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US8346013B2 (ja)
JP (1) JP5157768B2 (ja)
CN (1) CN101673401B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683147A (zh) * 2017-01-23 2017-05-17 浙江大学 一种图像背景虚化的方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078957A1 (en) 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
US8391594B1 (en) * 2009-05-28 2013-03-05 Adobe Systems Incorporated Method and apparatus for generating variable-width border masks
US8670615B2 (en) * 2009-09-30 2014-03-11 Flashfoto, Inc. Refinement of segmentation markup
US9311567B2 (en) * 2010-05-10 2016-04-12 Kuang-chih Lee Manifold learning and matting
US8798392B2 (en) 2010-11-10 2014-08-05 Tandent Vision Science, Inc. Method and system for generating intrinsic images using a smooth illumination constraint
CZ2011154A3 (cs) * 2011-03-23 2012-06-06 Tescan A.S. Zpusob analýzy materiálu fokusovaným elektronovým svazkem s využitím charakteristického rentgenového zárení a zpetne odražených elektronu a zarízení k jeho provádení
JP6008711B2 (ja) * 2012-11-26 2016-10-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
TWI475495B (zh) * 2013-02-04 2015-03-01 Wistron Corp 圖像的識別方法、電子裝置與電腦程式產品
CN103177446B (zh) * 2013-03-13 2016-03-30 北京航空航天大学 基于邻域和非邻域平滑先验的图像前景精准提取方法
US9495755B2 (en) * 2013-10-22 2016-11-15 Nokia Technologies Oy Apparatus, a method and a computer program for image processing
US9675247B2 (en) * 2014-12-05 2017-06-13 Ricoh Co., Ltd. Alpha-matting based retinal vessel extraction
EP3357035B1 (en) * 2015-09-29 2023-05-31 Altostratus Capital LLC Method and apparatus for correction of an image
CN106991674A (zh) * 2016-01-21 2017-07-28 深圳超多维光电子有限公司 一种图像处理方法、装置及电子设备
CN114511651B (zh) * 2020-11-16 2023-11-14 阿里巴巴集团控股有限公司 特征线提取的方法和装置
CN113570501B (zh) * 2021-09-28 2021-12-28 泰山信息科技有限公司 一种图片虚化方法、装置及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
CN100337249C (zh) * 2004-04-23 2007-09-12 中国科学院计算技术研究所 一种视频运动对象分割方法
US20060029275A1 (en) * 2004-08-06 2006-02-09 Microsoft Corporation Systems and methods for image data separation
US7430339B2 (en) * 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
US20070165966A1 (en) * 2005-07-15 2007-07-19 Yissum Research Development Co. Closed form method and system for matting a foreground object in an image having a background
CN101174328B (zh) * 2006-11-01 2012-04-11 北京海尔集成电路设计有限公司 一种二值图像编解码方法
US8351713B2 (en) * 2007-02-20 2013-01-08 Microsoft Corporation Drag-and-drop pasting for seamless image composition
US7747107B2 (en) * 2007-03-06 2010-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for retargeting images
CN101198033A (zh) * 2007-12-21 2008-06-11 北京中星微电子有限公司 一种二值图像中前景图像的定位方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683147A (zh) * 2017-01-23 2017-05-17 浙江大学 一种图像背景虚化的方法
CN106683147B (zh) * 2017-01-23 2019-08-30 浙江大学 一种图像背景虚化的方法

Also Published As

Publication number Publication date
CN101673401A (zh) 2010-03-17
JP2010066803A (ja) 2010-03-25
US8346013B2 (en) 2013-01-01
CN101673401B (zh) 2013-03-27
US20100061628A1 (en) 2010-03-11

Similar Documents

Publication Publication Date Title
JP5157768B2 (ja) 画像処理装置および方法、並びにプログラム
JP5045619B2 (ja) 画像処理装置および方法、並びにプログラム
WO2011013579A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2011176748A (ja) 画像処理装置および方法、並びにプログラム
CN102246204B (zh) 用于使用标度空间来处理图像的设备和方法
US8073277B2 (en) Apparatus and methods for image restoration
US8379972B1 (en) Color decontamination for image compositing
Kumar et al. Image inpainting through metric labeling via guided patch mixing
US8879835B2 (en) Fast adaptive edge-aware matting
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
US20060245645A1 (en) Fast image and video data propagation and blending using intrinsic distances
US8233748B2 (en) Image-resolution-improvement apparatus and method
Zhang et al. GAIN: Gradient augmented inpainting network for irregular holes
JP5012967B2 (ja) 画像処理装置及び方法、並びにプログラム
KR20100084075A (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
Dang et al. Multi-resolution patch and window-based priority for digital image inpainting problem
EP3249609B1 (en) Computer-implemented method and system for processing video with temporal consistency
JP2019029938A (ja) 誤差計算器およびそのプログラム
Cao et al. Automatic motion-guided video stylization and personalization
CN103618904A (zh) 基于像素的运动估计方法及装置
US10366474B2 (en) Piecewise smooth regularization of data
Xiao et al. Optimization‐Based Gradient Mesh Colour Transfer
Liu et al. Colorization for single image super resolution
McCrackin et al. Strategic image denoising using a support vector machine with seam energy and saliency features
RU2576490C1 (ru) Способ гибридного ретуширования фона для преобразования 2d в 3d

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees