JP5849206B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本開示は、画像の一部を使用者が指定して画像処理などを行う画像処理装置において、使用者が指定した選択範囲に対して行う画像処理に関する。

表示された画像に、使用者が不要と考える不要物体（顔のシミ又はホクロ、背景における電線など）が写りこんでいる場合がある。従来、この不要物体を画像から除去し、不自然にならないように修復処理を行う機能が提案されている。すなわち、使用者が画像の中から特定の領域を不要領域として指定した後、不要領域に対して周囲の画像などを用いて修復処理を行うものである（例えば、特許文献１参照）。使用者が行う不要領域の指定方法としては、ディスプレイ上に表示された画像を参照しながら、不要物体の輪郭部分をデジタイザ、あるいはマウス等のポインティング・デバイスを用いてトレースして、画素単位で不要領域を指示するものが一般的である。

特開２０１３−０４５３１６号公報

本開示は、不要物体を除去する画像修復処理等のため、より自然な処理結果を得るために有効な画像領域指定を行う画像処理装置、画像処理方法及び画像処理プログラムを提供する。

本開示の一つの観点にかかる画像処理装置は、表示した画像の領域指定を行う画像処理装置であって、所定数の画素により構成される画像を表示する表示部、画像に対する選択操作を受け付ける入力部、及び表示部と入力部を制御する制御部を備える。制御部は、画素値と画素位置に基づいて計算された類似性に応じて画像を分割することにより複数の分割領域を生成し、入力部により受け付けられた選択操作に応じて一以上の分割領域からなる選択範囲を特定する。制御部はさらに、選択範囲に対して、同選択範囲を構成する画素数を減らす収縮処理を行い、収縮処理された選択範囲に対して、同収縮処理された選択範囲を構成する画素数を増やす膨張処理を行う。膨張処理された選択範囲を構成する画素数は、収縮処理前の選択範囲を構成する画素数よりも多い。

本開示の他の観点に係る画像処理方法は、表示装置に表示した画像の領域指定を行う画像処理方法であって、所定数の画素により構成される画像を、画素値と画素位置に基づいて計算された類似性に応じて分割することにより複数の分割領域を生成し、使用者の選択操作に応じて一以上の分割領域からなる選択範囲を特定し、選択範囲に対して同選択範囲を構成する画素数を減らす収縮処理を行い、収縮処理された選択範囲に対して同収縮処理された選択範囲を構成する画素数を増やす膨張処理を行い、膨張処理された選択範囲を構成する画素数は、収縮処理前の選択範囲を構成する画素数よりも多い。

本開示における画像処理装置、画像処理方法及び画像処理プログラムは、不要物体を除去する画像修復処理等のため、より自然な処理結果を得る画像領域指定を行うのに有効である。

実施の形態に係る画像処理装置１の概略構成を示すブロック図 同画像処理装置１の動作を示すフローチャート 同画像処理装置１によるセグメント分割処理の動作を示すフローチャート 同画像処理装置１による入力画像の表示状態を示す図 同画像処理装置１によるセグメント分割処理の初期状態を示す図 同画像処理装置１によるセグメント分割処理の処理結果を示す図 使用者による領域指定動作を説明するための図 セグメント分割におけるノイズの混入状態を示す図 同画像処理装置１による２値化画像処理の動作を示すフローチャート 選択範囲を２値化画像として生成した状態を示す図 ２値化画像の生成状態を画素単位で表示した図 ２値化画像の収縮処理後の状態を画素単位で示す図 ２値化画像の膨張処理後の状態を画素単位で示す図 膨張処理後の選択範囲を示す図 不要物体を除去する画像修復処理を説明するための図 膨張処理を実施しない場合の不具合を説明するための図 収縮処理を実施しない場合の不具合を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜１７を用いて、実施の形態１を説明する。
［１．構成］
図１は、画像処理装置１の構成を概略的に示すブロック図である。画像処理装置１は、任意の電子機器であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話機、情報端末である。画像処理装置１は、画像処理装置１内の各部位の動作を統括的に制御する制御部２（制御部の一例）、レンズや撮像素子を備え画像を撮影するカメラやスキャナなどの画像入力部３、撮影した画像などの各種情報を記録する記憶部４、画像などの映像情報を表示する液晶モニターや有機ＥＬディスプレイなどの表示部５（表示部の一例）、使用者からの各種操作の入力を受けるタッチパネルなどの操作入力部６（入力部の一例）を備えている。入力部６は、使用者の指などが表示部５の画面に接触したことを検知し、検知結果は前記制御部により判定される。

制御部２は、ＣＰＵ等のプロセッサを含み、所定のプログラムの処理を実行することによって画像処理装置１の動作を実行する。ここで記憶部４は、ハードディスクやシリコンディスク、あるいはＳＤカード（半導体メモリ）などから構成してもよい。また、キャッシュやＲＡＭなどの一時的な記憶を行うもので構成してもよい。
また操作入力部６には、マウスやタブレットなどのポインティング・デバイスを用いてもよいし、キーボードを利用してもよい。あるいは、各種方式による電子ペンなどを用いてもよい。

［２．動作］
［２−１．画像処理装置の動作］
以上のように構成された画像処理装置１の動作を、図２のフローチャートを用いて説明する。画像処理装置１の制御部２は、使用者の操作による指示に応じて、画像入力部３が撮影した画像を表示部５に表示させる。この場合、あらかじめ画像入力部３が撮影した画像を記憶部４に記憶しておき、記憶部４からその画像を読み出して表示部５に表示する（Ｓ１０１）。

次に制御部２は、画像の各画素の値の類似性に基づいて、画像を複数の小領域（セグメント）に分割するセグメント分割処理を行う（Ｓ１０２）。
そして、分割した小領域（セグメント）から使用者が１個以上の小領域を選択すると、制御部２は、画像処理の対象となる領域を指定する領域指定処理を行う（Ｓ１０３）。
次に制御部２は、使用者が選択した小領域に含まれる全ての画素を選択範囲とする２値化画像を生成するため、２値化画像処理を実施する（Ｓ１０４）。

そして制御部２は、２値化画像処理を経た選択範囲を不要領域として、画像修復処理を行う（Ｓ１０５）。
以下、セグメント分割処理（Ｓ１０２）、領域指定処理（Ｓ１０３）、２値化画像処理（Ｓ１０４）、画像修復処理（Ｓ１０５）の動作について、詳細に説明する。
［２−２．セグメント分割処理の動作］
以下に、画像の各画素の値の類似性に基づいて、画像を複数の小領域（分割領域の一例；以下、セグメントと呼ぶ）に分割するセグメント分割処理について説明する。本実施の形態では、このセグメント分割処理として、ｋ平均法（ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）に基づくセグメント分割方法を用いている。

図３は、セグメント分割処理の動作を示すフローチャートである。また図４は、処理の対象となる入力画像の液晶画面への表示状態を示す図であり、図５は、セグメント分割処理の初期状態を示す図であり、図６は、セグメント分割処理の処理結果を示す図である。
図４に示すように、画像入力部３により取得され表示部５に表示された入力画像１０には、第１被写体１１、第２被写体１２、第３被写体１３などが含まれている。これら３つの被写体の中から、第１被写体１１を、使用者が不要物体として指定する場合を例に、以下説明を続ける。

なお入力画像１０は、例えばＹＵＶ色空間で表現されるデジタルデータで、制御部２がデジタル処理を行うことができる。すなわち入力画像１０は、Ｍ×Ｎ個（例えば６４０×４８０個）の画素から構成されており、各画素は輝度Ｙ、色差Ｕ，Ｖの３つのデータ（以下画素値と呼ぶ）を有する。なお、画像のデータ形式としては、ＲＧＢ色空間やＬａｂ色空間などとの間で相互に変換可能であるので、他の色空間に変換した結果を画素値として処理してもよい。

制御部２は初期化作業として、画像１０をｋ個（ｋ：２以上の整数）の初期セグメントに分割する（Ｓ２０１）。このｋ個の初期セグメントの重心は、画像１０内に縦横均等に配置される。隣り合う重心の間隔はＳ（画素）となる。図５はこの初期化状態を示しており、一例として２０×１５個の初期セグメント２０を縦横均等に配置した場合を示している。

さらに、各セグメントには個別にユニークなラベルを付与する（Ｓ２０２）。例えば、図５のセグメントに画面の左上のセグメントを１番として、ラインスキャンするように、右下方向に増加させた番号ｋをラベルとして付与する。図示のセグメント２０のラベルは、ｋ＝５４となる。ここでラベルは、ランダムな数字でもアルファベットなどの文字でもよい。ただし、同じラベルを有するセグメントが同時に存在しないように、ユニークなものとする。

次に、制御部２は画像１０内の全画素に対してループＡの処理を行う（Ｓ２０３）。ループＡの処理としては、画像１０内の各画素に対して、ステップＳ２０４、Ｓ２０５の処理を行う。
制御部２は各画素について、各セグメントの重心に対する距離Ｄｓを算出する（Ｓ２０４）。この距離Ｄｓは、画素値と画素位置を用いて定義された類似性を示す値である。ここでは、距離Ｄｓが小さいほど、セグメントの重心に対する画素の類似性が高いと判断する。

例えば、i番目の画素の画素位置が（ｘｉ，ｙｉ）、画素値が（Ｙｉ，Ｕｉ，Ｖｉ）であった時に、ｋ番目のセグメントまでの距離Ｄｓは、以下の数式１によって算出する。

ここで、セグメントの重心は、画素位置（ｘｋ，ｙｋ）、画素値（Ｙｋ，Ｕｋ，Ｖｋ）である。このセグメント重心の初期値は、図５に示すように均等配置した後の各セグメント重心位置と、その位置における画素値を用いればよい。

またｍは、画素値に基づく距離Ｄ１と、画素位置に基づく距離Ｄ２とが、距離Ｄｓに及ぼす影響のバランスを取るための係数である。この係数ｍは、実験的あるいは経験的に予め定めておけばよい。
次に制御部２は、距離Ｄｓを用いて対象画素ｉが所属するセグメントを決定する（Ｓ２０５）。すなわち、距離Ｄｓが最も小さい重心を有するセグメントを対象画素ｉの所属セグメントと決定する。

このようなステップＳ２０４、Ｓ２０５の処理を画像１０に含まれる全ての画素について実施すること（Ｓ２０３）により、各画素の所属セグメントを決定する。すなわち、各画素が所属するセグメントのラベルを付与されたＭ×Ｎ個のデータが得られる。以下では、このデータを総称してラベル画像２１と呼ぶことにする。
次に制御部２は、ループＡの処理により所属する画素が変更された各セグメントの重心を更新する（Ｓ２０６）。各セグメントの重心を更新することで、より正確な分割処理が可能となる。制御部２は、以下の数式２に従って、新たな重心の画素位置（ｘｋ，ｙｋ）、画素値（Ｙｋ，Ｕｋ，Ｖｋ）を算出する。

ここで、数式２におけるΣはｋ番目のセグメントに含まれる全ての画素についての総和を意図しており、Ｎはｋ番目のセグメントに含まれる画素の総数である。
次に制御部２は、分割処理を終了するかどうかを判断する（Ｓ２０７）。分割処理を継続する場合（Ｓ２０７のＮｏ）は、ステップＳ２０３〜Ｓ２０６の処理を再び行い、ラベル画像２１を更新する。

このステップＳ２０７における終了判断は、例えば、数式２における重心の更新状態を監視して判断してもよい。すなわち、重心の画素位置（ｘｋ，ｙｋ）、画素値（Ｙｋ，Ｕｋ，Ｖｋ）の更新前後における変化が少なくなったらセグメント分割処理を終了（Ｓ２０７のＹｅｓ）と判断する。あるいは、Ｓ２０３〜Ｓ２０６の繰り返し回数で終了を判定してもよい。例えば、Ｓ２０３〜Ｓ２０６の処理を１０回実施した場合は、セグメント分割処理を終了するようにしてもよい。

このようにして制御部２は、ラベル画像２１の更新を繰り返す。この結果、画像１０は、図６に示すような複数のセグメント２０に分割される。上述の更新処理を行うことでセグメントの形状は変化するが、各セグメントに付与されるラベルは同じである。すなわち、図５に示されたセグメント２０のラベルは、ｋ＝５４であり、図６に示されたセグメント２０のラベルも、ｋ＝５４である。図６を見ると以下のような特徴があることがわかる、第１に、画像１０に含まれる物体（第１被写体１１、第２被写体１２、第３被写体１３）の境界と、セグメント２０の境界が一致していることである。第２に、各セグメント２０の大きさがほぼ均一であり、各物体は複数のセグメント２０から構成されていることである。しかもひとつのセグメント２０が複数の物体に跨って存在していないことがわかる。

したがって、使用者が第１被写体１１を指定する場合には、第１被写体１１に含まれるセグメントを指定するだけでよいことがわかる。従来のように、第１被写体１１の輪郭部分を慎重にトレースして、画素単位で領域を指定する必要がないため、領域指定がより簡便な作業で実行できる。
［２−３．領域指定処理の動作］
図２に示すように制御部２が、セグメント分割処理（Ｓ１０２）を行ったあと、使用者は、１個以上の小領域（セグメント）を選択して、画像処理の対象となる領域を指定する（Ｓ１０３）。使用者は、例えば第１被写体１１の内部のセグメント２２などを順次タップし、第１被写体１１に含まれる全てのセグメントを選択する。図７は、この状態を示しており、第１被写体１１に含まれる全てのセグメントが強調表示されている。

次に、図７の一部分を拡大表示した図８を用いて、ノイズの混入について説明する。同図に示すように、画像１０内の第１被写体１１と第２被写体１２の間のセグメント３３には、ノイズ領域２３ａ、２３ｂ、２３ｃが存在する。同様に、第１被写体１１と第３被写体１３との間のセグメント３４には、ノイズ領域２４ａ、２４ｂ、２４ｃが存在する。これら６個のノイズ領域は、それぞれセグメント３３や３４の内部に位置する小さな点であるが、セグメント３３や３４とは異なるセグメントに属している。すなわち、セグメント分割処理の結果ノイズ領域２３ａ、２３ｂ、２３ｃはセグメント２３の一部であり、ノイズ領域２４ａ、２４ｂ、２４ｃはセグメント２４である。

元々画像１０には、暗所などのノイズが記録されている場合がある。また、記憶部４に対して記録／再生する際のデジタルデータの圧縮／伸張時にもノイズを生じる場合がある。あるいは非常に細かい模様が点在しているような場合にも、巨視的にはノイズのように見えることがある。これらのノイズや模様の画素値（輝度や色相）によっては、上述のような飛び地が発生する場合がある。

ノイズ領域２３ｃを構成する画素を例にとって説明する。仮にこの画素の輝度や色相がセグメント２３の重心における画素値と完全に一致していたとする。しかも、周囲の画素とは全く異なる画素値であると仮定する。すると、図３のステップＳ２０４において、各セグメントの重心との距離Ｄｓを数式１に基づいて計算する際に、次のような現象が発生する。すなわち、セグメント２３の重心との距離Ｄｓを計算する場合には、画素値に基づく距離Ｄ１はゼロとなり、画素位置に基づく距離Ｄ２のみが数値を持つ。一方、セグメント３３の重心との距離Ｄｓを計算する場合には、画素位置に基づく距離Ｄ２は比較的小さな値になると思われるが、画素値に基づく距離Ｄ１は非常に大きな値となってしまう。このため、ステップＳ２０５において距離Ｄｓを基準に所属セグメントを決定すると、セグメント２３との距離が近いと判定される。一方、周囲の画素はセグメント３３に所属すると判定されるので、ノイズ領域２３ｃがセグメント２３から離れた飛び地として残ることになる。

このため使用者が、第１被写体１１の内部のセグメント２３を選択すると、本来は第１被写体１１には含まれないノイズ領域２３ａ、２３ｂ、２３ｃも、画像処理の対象領域に含まれることになる。同様に使用者が、第１被写体１１の内部のセグメント２４を選択すると、第１被写体１１には含まれないノイズ領域２４ａ、２４ｂ、２４ｃも画像処理の対象領域に含まれてしまう。

［２−４．２値化画像処理の動作］
図９は、２値化画像処理の動作を示すフローチャートである。また図１０は、選択範囲を２値化画像として生成した状態を示す図であり、図１１は図１０の一部分を拡大して表示し、２値化画像の生成状態を画素単位で表示した図である。さらに図１２は、２値化画像の収縮処理後の状態を画素単位で示した図である。図１３は、２値化画像の膨張処理後の状態を画素単位で示した図である。そして図１４は、膨張処理後の選択範囲を示した図である。

制御部２は、図９に示すフローチャートに従って、以下のように２値化画像処理を実施する。初めに、使用者が選択した小領域（セグメント）に含まれる全ての画素を選択範囲とする２値化画像を生成する（Ｓ３０１）。そして、生成した２値化画像に対して、選択範囲の収縮処理を行い（Ｓ３０２）、さらに選択範囲の膨張処理を行う（Ｓ３０３）。以下、各動作の詳細について説明する。

［２−４−１．２値化画像生成］
ステップＳ３０１の２値化画像の生成方法について説明する。図２の領域指定処理（Ｓ１０３）において、使用者は、第１被写体１１に含まれる全てのセグメントを、図７のように選択する。この使用者が選択したセグメント２２に含まれる画素は、図６に示すラベル画像２１を参照することによって、以下のように簡単に特定できる。すなわち、制御部２は、ラベル画像２１の左上から右下に向かって、全ての画素をラインスキャンしながら、各画素の所属セグメントを調べる。制御部２は、各画素が所属するセグメントが、使用者が選択したセグメント２２であるなら真、含まれないなら偽として、全ての画素について判定する。使用者が選択した他のセグメント２３、２４などについても，同様の処理を行う。制御部２は、これらの結果を順次記録し論理和を取ることにより、使用者が選択した全てのセグメントに含まれる画素の値を１（真）とし、他の画素の値をゼロ（偽）とする２値化画像を生成できる。このようにして生成した２値化画像４１の例を図１０に示す。

なお図１０の例においては、値が１となる画素を灰色で表示し、値がゼロとなる画素を白で表示しており、以降の図面についても同じように表示している。
この２値化画像４１において、灰色で示す領域は、使用者が選択した全てのセグメントに含まれる画素からなる選択範囲４２である。選択範囲４２は、第１被写体１１のエッジ形状に沿った連続領域であることがわかる。ただし、選択範囲４２には飛び地となった６つの孤立領域４３〜４８も含まれる。これらの飛び地は、図８において説明したノイズ領域２３ａ〜２３ｃ、２４ａ〜２４ｃなどに対応するものである。例えば、ノイズ領域２３ａ、２３ｂ、２３ｃはセグメント２３に所属する。よって、ラベル画像２１をラインスキャンする際には、真と判定されるので、２値化画像４１におけるノイズ領域２３ａ、２３ｂ、２３ｃの値は１となる。よって、第１被写体１１の外側に、孤立領域４３、４４、４５が生成される。同様に、ノイズ領域２４ａ、２４ｂ、２４ｃはセグメント２４に所属するため、孤立領域４６、４７、４８が生成される。

［２−４−２．選択範囲収縮処理］
次に、図１１と図１２を参照しながら、選択範囲の収縮処理（Ｓ３０２）について説明する。図１１（ａ）は、図１０に点線の四角形で示す部分領域５０を、拡大して表示するとともに、２値化画像の生成状態を画素単位で表示する。上述のように、選択範囲４２に所属する画素は値が１であり灰色で表示する。それ以外の画素は値がゼロである。図１１（ａ）には、孤立領域４３、４４、４５も表示されている。

次に制御部２は、２値化画像４１全体に対して収縮処理を行う。本実施の形態における収縮処理は、以下のように実施する。制御部２は、図１１（ｂ）に示すように、初めに、注目画素５１として値が１となる画素を選択する。このとき、制御部２は、注目画素５１を囲む８個の隣接画素について、値を判定する。８個の隣接画素のうち、１個でも値がゼロとなる画素が存在していたなら、注目画素５１の値をゼロに変更する。８個の隣接画素の値が全て１である場合のみ、注目画素５１の値は変更しない（１のままとする）。

このようにして２値化画像４１に対して、収縮処理を行った結果を、図１２（ａ）に示す。上述の収縮処理は、孤立領域４３、４４、４５の画素についても、そのまま適用されるので、定義に従って値がゼロに変更される。図１０に示した孤立領域４６，４７，４８についても同様に収縮処理が行われる。すなわち、選択範囲４２の孤立領域４３〜４８は、上述の収縮処理を実行することによって、１画素以上収縮して消去される。

この収縮処理の結果、選択範囲４２は、外側から内側に向かって狭まる（収縮する）ことがわかる。すなわち選択範囲４２は、１画素以上収縮する。
なお、上述の収縮処理は１回だけ行うのではなく、複数回連続して実行してもよい。孤立領域４３、４４、４５が複数の画素からなる場合でも、収縮処理を複数回実施すれば、より確実に消去できる。

［２−４−３．選択範囲膨張処理］
次に、図１２と図１３を参照しながら、選択範囲の膨張処理（Ｓ３０３）について説明する。本実施の形態における膨張処理は、以下のように実施する。制御部２は、図１２（ｂ）に示すように、初めに、注目画素５２として値が０となる画素を選択する。このとき、制御部２は、注目画素５２を囲む８個の隣接画素について、値を判定する。８個の隣接画素のうち、１個でも値が１となる画素が存在していたなら、注目画素５２の値を１に変更する。８個の隣接画素の値が全て０であった場合のみ、注目画素５２の値は変更しない（０のままとする）。

このようにして収縮処理後の２値化画像４１に対して、膨張処理を行った結果を、図１３（ａ）に示す。上述の膨張処理を行うことによって、選択範囲４２は、内側から外側に向かって広がる（膨張する）ことがわかる。
膨張処理をさらに続けて４回実行した結果を図１３（ｂ）に示す。選択範囲４２は、内側から外側に向かって、さらに膨張していることがわかる。すなわち選択範囲４２は、収縮処理よりも多い画素数分膨張する。

以上のようにして、収縮処理を行ったあと、膨張処理を４回連続して実行した後の２値化画像４１は、図１４に示すようになる。図１１と比較するとわかるように、選択範囲４２は内側から外側に向かって膨張している。しかし、孤立領域４３〜４８は収縮処理によって既に消去されているので、膨張処理の対象とはならず、図１４の２値化画像には存在していない。

なお、本実施の形態では膨張処理の実行回数を４回として説明したが、一例として説明したものであって、これに限られるものではない。収縮処理によって収縮した画素数と比較して、さらに多い画素数膨張させることができれば、回数は何回でもよい。
また、上記膨張処理においては、注目画素を囲む８個の隣接画素の値を判定したが、さらに外側の１６個の画素を含めて２４画素について判定してもよい。この場合には１回の膨張処理によって、膨張する画素数を増やすことができるので、制御部２の計算処理の効率がよくなる。

［２−５．画像修復処理の動作］
［２−５−１．本実施の形態による画像修復処理］
図１５は、不要物体を除去する画像修復処理を説明するための図である。
制御部２は、２値化画像処理を経た選択範囲４２を不要領域として、画像修復処理を行う（図２のＳ１０５）。処理の対象となる図１５（ａ）の画像１０に、２値化画像の選択範囲４２を重ねて表示した状態を、図１５（ｂ）に示す。選択範囲４２は、第１被写体１１のエッジ形状に沿うとともに、第１被写体１１を完全に覆っている。よって、選択範囲４２を不要領域として、制御部２が画像修復処理を行う。具体的には、選択範囲４２の画素値を変更することにより、選択範囲４２にある第１被写体１１を画像１０より除去する。これにより、図１５（ｃ）に示すように、除去したい第１被写体１１の範囲を確実に特定して画像から除去することが可能であり、その結果自然な修復処理を行うことができる。

［２−５−２．比較例による画像修復処理］
次に、ステップＳ３０２の収縮処理と、ステップＳ３０３の膨張処理を実施しない場合の不具合について説明する。
図１６は、膨張処理を実施せずに画像修復処理を行った場合の不具合を説明するための図である。図１７は、収縮処理を実施せずに画像修復処理を行った場合の不具合を説明するための図である。

初めにステップＳ３０２、Ｓ３０３の処理を共に実施しない場合、２値化画像は図１０の状態のままとなる。処理の対象となる図１６（ａ）の画像１０に、２値化画像の選択範囲４２を重ねて表示した状態を、図１６（ｂ）に示す。選択範囲４２は、第１被写体１１のエッジ形状によく沿っている。しかし、ステップＳ３０３の膨張処理を行っていないので、第１被写体１１のエッジ部を覆うことができない。そのため、選択範囲４２を不要領域として画像修復処理を行うと、図１６（ｃ）に示すように、第１被写体１１のエッジが残る不自然な修復処理結果となる。

使用者が不要物として指定する不要物は、エッジに囲まれた領域であるのが一般的である。このエッジは、不要領域の内側とも外側とも異なる画素値（輝度や色差）を有する画素の集合となる。図８を見るとわかるように、第１被写体１１、第２被写体１２、第３被写体１３は、全てエッジを有しており、２画素以上の幅を持った曲線となる。また、エッジに沿って影が存在することもあり、影を含めたエッジの幅は、さらに広くなることが多い。

このため、図２のステップＳ１０２のセグメント分割処理において、エッジの画素が第１被写体１１の内部のセグメントに所属するか、外側のセグメントに所属するかは不確定となる。このため、ステップＳ１０３の領域指定処理において、使用者が第１被写体１１に含まれる全てのセグメントを選択した場合であっても、少なくともエッジの一部は選択範囲４２には含まれないこととなる。

一方、本実施の形態の画像処理装置１では、ステップＳ３０３の膨張処理を実施しているので、選択範囲４２は、図１５（ｂ）に示すように第１被写体１１のエッジを完全に覆うことができる。
次に、ステップＳ３０２の収縮処理を実施せずに画像修復処理した場合の不具合について説明する。この場合、ステップＳ３０３の膨張処理だけを実施した選択範囲４２を不要領域として、画像修復処理を行うことになる。処理の対象となる図１７（ａ）の画像１０に、この場合の２値化画像の選択範囲４２を重ねて表示した状態を、図１７（ｂ）に示す。選択範囲４２は、第１被写体１１のエッジ形状によく沿い、これを覆っている。しかし、第２被写体１２および第３被写体１３にまで伸びた角のような領域が新たに出現している。これらの領域は、図１０に示した孤立領域４３〜４８が膨張処理によって膨張した結果である。このため、選択範囲４２を不要領域として画像修復処理を行うと、図１７（ｃ）に示すように、第２被写体１２のエッジ部に欠陥６１が生じる。同様に第３被写体１３のエッジ部にも欠陥６２を生じ、不自然な修復処理結果となる。

一方、本実施の形態の画像処理装置１では、膨張処理前にステップＳ３０２の収縮処理を実施しているので、孤立領域４３〜４８を予め消去できる。
［３．変形例］
上記実施の形態において説明したステップＳ３０２の収縮処理は、以下のような処理方法に置き換えることも可能である。すなわち、制御部２は、図１１（ｂ）に示すように、初めに注目画素５１として値が１となる画素を選択する。そして制御部２は、注目画素５１を囲む８個の隣接画素について、値を判定する。この際、値がゼロとなる画素の数をカウントして、その数ｎを閾値ｐと比較する。ｎ≧ｐの場合には、注目画素５１の値をゼロに変更する。ｎ＜ｐの場合には、注目画素５１の値は変更しない（１のままとする）。ｐの値は１〜８を選択可能である。

ｐの値をｐ＝８とした場合には、注目画素５１を囲む８個の隣接画素全てがゼロの場合のみ注目画素５１の値をゼロに変更する。この収縮処理を図１１（ａ）の２値化画像４１に対して施すと、孤立領域４３、４４、４５だけを消去することができる。すなわち、図１３（ａ）と同じ２値画像が得られるので、ステップＳ３０３の膨張処理の回数を減らすことができ、効率がよい。すなわち、閾値ｐを６以上の大きな値に設定して、この変形例の収縮処理方法をステップＳ３０２に利用する。すると、比較的広く連続した選択範囲４２には影響を与えずに、孤立して存在する孤立領域だけを収縮（または消去）できる。

［４．まとめ］
以上のように、本実施の形態における画像処理装置１は、画像を複数の小領域（セグメント）に分割した（図２のＳ１０２）後、使用者が１個以上の小領域（セグメント）を選択（同Ｓ１０３）し、選択された小領域（セグメント）に含まれる画素からなる選択範囲を特定し（図９のＳ３０１）、選択範囲を少なくとも１画素以上収縮する収縮処理を行った（（同Ｓ３０２）後、選択範囲を収縮処理よりも多い画素数分膨張させる膨張処理を行う（同Ｓ３０３）。このような画像処理装置１の処理により、図１５（ｂ）に示すように、使用者の意図通りに選択範囲４２を指定することができ、より自然な画像処理結果を得ることができる。

さらに本実施の形態における画像処理装置１は、膨張処理された選択範囲を不要領域として、画像の修復処理を行う（図２のＳ１０５）。これによって、不要物体を除去する画像修復処理において、図１５（ｃ）のように、より自然な処理結果を得ることができる。
（その他実施の形態）
上記実施の形態の各処理の一部または全部は、コンピュータプログラムにより実現されるものであってもよい。そして、画像処理装置１により実行される処理の一部または全部は、コンピュータにおいて、例えば、中央演算装置（ＣＰＵ）などのプロセッサにより行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、画像処理装置１により実行される各処理はハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
上記実施の形態による画像処理装置１は、画像処理方法または画像処理をコンピュータに実行させるコンピュータプログラムとしても実現し得る。また、そのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、上記実施形態における画像処理の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、画像表示機能を有するデジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話機、情報端末などの電子機器に適用可能である。

１ 画像処理装置
２ 制御部
３ 画像入力部
４ 記憶部
５ 表示部
６ 操作入力部
１０ 画像
１１ 第１被写体
１２ 第２被写体
１３ 第３被写体
２０ セグメント
２１ ラベル画像
２２、２３、２４ セグメント
２３ａ、２３ｂ、２３ｃ ノイズ領域
２４ａ、２４ｂ、２４ｃ ノイズ領域
３３、３４ セグメント
４１ ２値化画像
４２ 選択範囲
４３、４４、４５ 孤立領域
４６、４７、４８ 孤立領域
５１、５２ 注目画素
６１、６２ 欠陥

Claims (9)

1. 表示した画像において不要な領域を除去するための領域指定を行う画像処理装置であって、
   所定数の画素により構成される画像を表示する表示部、
   前記画像に対する選択操作を受け付ける入力部、及び
   前記表示部と前記入力部を制御する制御部、
   を備え、
   前記制御部は、前記領域指定を行うために、
   画素値と画素位置に基づいて計算された類似性に応じて前記画像を分割することにより複数の分割領域を生成し、
   前記入力部により受け付けられた選択操作に応じて一以上の前記分割領域からなる選択範囲を特定し、
   前記選択範囲に対して、前記選択範囲を構成する画素数を減らす収縮処理を行い、
   前記収縮処理された選択範囲に対して、前記収縮処理された選択範囲を構成する画素数を増やす膨張処理を行い、
   前記膨張処理された選択範囲を構成する画素数は、前記収縮処理前の選択範囲を構成する画素数よりも多い、
   画像処理装置。
2. 前記制御部は、
   前記選択範囲に対して前記収縮処理をＮ回行い、
   前記収縮処理された選択範囲に対して前記膨張処理をＭ回行う（ただし、Ｍ＞Ｎとする）、
   請求項１に記載の画像処理装置。
3. 前記制御部は、前記膨張処理された選択範囲における画素値を変更することにより前記膨張処理された選択範囲における画像の除去処理を行う、
   請求項１または２に記載の画像処理装置。
4. 前記制御部は、前記収縮処理前に、選択された前記一以上の分割領域を構成する画素とそれ以外の画素とを区別する二値化処理を行うことにより前記選択範囲を特定する、
   請求項１から３のいずれかに記載の画像処理装置。
5. 前記制御部は、前記類似性に応じて分割した前記画像に対し、更に画素値と画素位置に基づいて計算された類似性に応じて分割し、これを繰り返すことにより、前記複数の分割領域を生成する、
   請求項１から４のいずれかに記載の画像処理装置。
6. 前記制御部が前記複数の分割領域を生成することにより、選択された前記一以上の分割領域を構成する画素であって前記選択範囲に連続しない画素が生成される、
   請求項１から５のいずれかに記載の画像処理装置。
7. 前記制御部は、
   前記収縮処理により、前記選択範囲に連続しない画素を、前記選択された一以上の分割領域を構成する画素から除外する、
   請求項６に記載の画像処理装置。
8. 表示装置に表示した画像において不要な領域を除去するための領域指定を行う画像処理方法であって、
   前記領域指定を行うために、
   所定数の画素により構成される画像を、画素値と画素位置に基づいて計算された類似性に応じて分割することにより複数の分割領域を生成し、
   使用者の選択操作に応じて一以上の前記分割領域からなる選択範囲を特定し、
   前記選択範囲に対して、前記選択範囲を構成する画素数を減らす収縮処理を行い、
   前記収縮処理された選択範囲に対して、前記収縮処理された選択範囲を構成する画素数を増やす膨張処理を行い、
   前記膨張処理された選択範囲を構成する画素数は、前記収縮処理前の選択範囲を構成する画素数よりも多い、
   画像処理方法。
9. 表示装置に表示した画像において不要な領域を除去するための領域指定をコンピュータに実行させる画像処理プログラムであって、
   前記領域指定を行うために、
   所定数の画素により構成される画像を、画素値と画素位置に基づいて計算された類似性に応じて分割することにより複数の分割領域を生成し、
   使用者の選択操作に応じて一以上の前記分割領域からなる選択範囲を特定し、
   前記選択範囲に対して、前記選択範囲を構成する画素数を減らす収縮処理を行い、
   前記収縮処理された選択範囲に対して、前記収縮処理された選択範囲を構成する画素数を増やす膨張処理を行い、
   前記膨張処理された選択範囲を構成する画素数は、前記収縮処理前の選択範囲を構成する画素数よりも多い、
   画像処理プログラム。

Images