JP5811416B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、所定の画像分割処理を実行する画像処理装置、画像処理方法及びプログラムに関する。

一般に、画像内からユーザの所望する領域（例えば、被写体領域）を抽出する場合に、例えば、紙などに手描きで描いた絵を撮影した画像からその絵の部分を抽出する場合に、大津の二値化（非特許文献１参照）などで領域を区画する技術が知られているが、画像の全体の輝度のバラつき、明るさのむら、反射などにより、領域を適切に区画することができない場合があった。また、領域を抽出する技術として、画像セグメンテーションと呼ばれる技術としては、Grab Cut（非特許文献２参照）などの種々のセグメンテーション処理の方法があるが、抽出したい領域を指定することを前提としているために、領域を正確に指定することが困難となり、その指定の仕方がセグメンテーション処理にも悪影響を及ぼしてしまう。

大津展之氏の論文、判別および最小２乗基準に基づく自動しきい値選定法」、電子通信学会論文誌、Ｖｏｌ．Ｊ６３−Ｄ、Ｎｏ．４、ｐｐ．３４９−３５６（１９８０） C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactiveforeground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23,pp. 309−314, 2004

そこで、従来では、表示中の画像上で抽出対象の領域（被写体）内の一点がタップ（ユーザ指定）されると、そのタップ位置に対応する座標点を含む所定の形状（例えば、円形）の領域をその画像内に形成すると共に、この形成した領域を前景の初期領域としてグラフカット（Grab Cut）などのプログラムを利用してセグメンテーション処理を行うことにより画像内を背景画素と前景画素に分割して前景部分を抽出する処理を行うようにした技術が知られている（特許文献１参照）。

特開２０１３−２９９３０号公報

しかしながら、上述した特許文献の技術にあっては、抽出対象の一点をタップ指定するだけで、セグメンテーション処理が実行可能となるためにユーザの負担を大幅に軽減することが可能となるが、例えば、抽出対象が複雑な形状であれば、その抽出対象の全体を所定の形状（例えば、円形）の領域内に収めることができない場合があり、画像内を背景画素と前景画素に分割する処理に悪影響を及ぼしてしまうおそれがあった。

本発明の課題は、ユーザによる領域指定のための補助操作を必要とせずに、画像内からその一部の領域を精度良く切り抜くことができるようにすることである。

上述した課題を解決するために本発明の画像処理装置は、
前景と背景とに分割すべき対象画像における一部の背景画素の画素値を特定する画素値特定手段と、
前記一部の背景画素の画素値に対応する画素値を有する前記対象画像内の画素を一部の背景画素として特定する第１特定手段と、
前記対象画像内の各画素の画素値および前記一部の背景画素の位置情報を用いて、前記対象画像内の他の背景画素および前景画素を特定する第２特定手段と、
前記第２特定手段により背景画素と前景画素が特定された結果、前景画素の領域に囲まれるように背景画素の領域が存在する場合には、前景画素の領域における最も外側の輪郭に沿った領域を前記対象画像内の切り抜き領域として設定する切り抜き領域設定手段と、
を備えたことを特徴とする。

本発明によれば、ユーザによる領域指定のための補助操作を必要とせずに、画像内からその一部の領域を精度良く切り抜くことができる。

画像処理装置として適用したタブレット端末装置の基本的な構成要素を示したブロック図。 （１）は、画像メモリ３ｃから処理対象として読み出した画像データ（元画像）を例示した図、（２）は、元画像を複数の領域（１６個の領域）に区画した状態を示した図。 白色の紙に手描きで描いた絵を撮影した画像の中からその絵を切り抜くための処理を示したフローチャート。 図３の動作に続くフローチャート。 （１）、（２）は、輝度値ヒストグラムをそれぞれ例示した図。 （１）、（２）は、図５とは異なる輝度値ヒストグラムをそれぞれ例示した図。 輝度値をグループに分け、各グループに所属する輝度値の数をカウントした一覧表を示した図。 （１）は、輝度分布のピーク付近の輝度値を背景画素として指定する処理を実行した後の画像イメージを例示した図、（２）は、画像分割処理によって得られた切り抜きマスク（抜型）画像を示した図。 （１）、（２）は、一番外側の領域（輪郭）を特定する仕方を説明するための図。 （１）は、一番外側の領域（輪郭）のみを切り抜きマスク画像として採用した場合を例示した図、（２）は、その切り抜きマスク画像によって切り抜かれた画像を示した図。

以下、図１〜図１０を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてタブレット端末装置に適用した場合を例示したもので、図１は、このタブレット端末装置の基本的な構成要素を示したブロック図である。
タブレット端末装置は、その筐体全体が、例えば、Ａ５サイズの携帯型情報端末装置であり、タッチ入力機能、無線通信機能、インターネット接続機能などを備えている。このタブレット端末装置の中核となる制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのタブレット端末装置の全体動作を制御する中央演算処理装置やメモリなどを有している。

記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図３及び図４に示した動作手順に応じて本実施形態を実現するためのプログラムを記憶するプログラムメモリ３ａと、このタブレット端末装置で必要とされる各種のデータやフラグなどを一時記憶するワークメモリ３ｂと、カメラ撮影された動画などの各種の画像データを記憶する画像メモリ３ｃを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。画像メモリ３ｃは、内蔵メモリに限らず、ＳＤカードなどの着脱自在な可搬型メモリであってもよく、例えば、インターネットを介して受信取得した画像データを記憶したり、カメラ装置（図示省略）で撮影された画像データを記憶したりする。

操作部４は、押しボタン式のキーとして、図示省略したが、電源をオン／オフさせる電源キー、処理対象の動画を選択する選択キーなどを備えている。無線ＬＡＮ（Local Area Network）通信部５は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線ＬＡＮルータ（図示省略）を介してインターネットなどに接続可能となっている。タッチ表示部６は、表示パネル６ａにタッチパネル６ｂを積層配設した構成で、ソフトウェアキー（ソフトキー）としての機能名を表示したり、各種のアイコンなどを表示したり、画像データを表示したりする。このタッチ表示部６のタッチパネル６ｂは、指など（ペンなどの操作子を含む）でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用するようにしているが、光センサ方式など、その他の方式であってもよい。

図２（１）は、画像メモリ３ｃの中から処理対象として読み出した画像データ（元画像）を例示した図である。
図示の元画像は、例えば、白紙やホワイトボードの略中央部に黒インクのペンなどを使用して手描きで描いた絵（黒線で描いた鬼の顔）Ｐを撮影した画像（グレイスケール画像）を示したもので、撮影時に反射などの影響を受けてその画像全体に輝度のバラつき、明るさのむらが起き、更に画像の右側中央部に天井の蛍光灯が写り込んでしまい、画像の下半分が暗く、上半分が明るくなっている画像を例示した場合である。

図中、Ｌ１、Ｌ２は、蛍光灯の反射部分を示し、特に明るく写っている。本実施形態では、この元画像の中から白紙やホワイトボードに描いた絵Ｐを切り抜くためにその画像全体の中から輝度の高い部分を背景として特定するようにしている。すなわち、第１の色（白）を有する描画媒体に第２の色（黒）で描かれた絵（線画）Ｐを撮影した画像において、この絵（線画部分）Ｐを前景とする場合には、第１の色に近い部分を背景として特定するようにしている。この場合、元画像から絵Ｐを切り抜くための画像処理を実行するのに先だって、その画像内の各画素の輝度値（明るさの度合い）の分布をグラフ化した輝度値ヒストグラムを生成し、その輝度分布（明るさの分布）のうち、最も輝度の高い部分（明る過ぎる光沢反射部分）ではなく、ピーク付近の輝度値（最も分布の多い輝度）を背景画素の輝度として特定して所定の画像分割処理（例えば、Grab Cutのセグメンテーション処理）を実行することによりその画像内から所望する絵Ｐの領域（線画部分の領域）を切り抜くようにしている。

この画像分割処理は、画像内で指定された一部の背景画素の位置情報に基づいて画像全体を前景画素と背景画素に分割する処理であり、Grab Cutの呼ばれるセグメンテーション処理である。なお、元画像は、グレイスケール画像に限らず、勿論、カラー画像であってもよい。この場合、カラー画像のＲ（赤）、Ｇ（緑）、Ｂ（青）から輝度情報を生成して、輝度値ヒストグラムを得るようにしてもよい。また、本実施形態では描画媒体として白紙やホワイトボードを例示したが、これに限らず、色紙や黒板などを描画媒体としてもよい。

図２（２）は、元画像を複数の領域に、つまり、マトリックス状に４×４の１６個の領域に等分に区画した状態を示した図である。
本実施形態においては元画像の全体における輝度のバラつき、明るさのむらなどに対応可能するために、この元画像の全体を１６個の領域（１）〜（１６）に等分に区画した後に、領域（１）〜（１６）毎に輝度ヒストグラムを算出生成し、その輝度分布のピーク付近の輝度値を背景画素として指定してセグメンテーション処理を実行するようにしている。なお、元画像を１６等分する場合に限らず、８等分、３２等分など、その区画数や区画の仕方は任意である。

このように本実施形態において画像処理装置（タブレット端末装置）は、画像（例えば、紙に描いた絵を撮影した画像）内で指定された一部の背景画素の位置情報に基づいて画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行する分割処理手段（制御部１、プログラムメモリ３ａ）と、前記画像の輝度分布に基づいて背景画素の輝度を特定する特定手段（制御部１、プログラムメモリ３ａ）と、前記特定手段によって特定された輝度に対応する輝度を有する画素を背景画素として指定して前記所定の画像分割処理（Grab Cutのセグメンテーション処理）を実行させる制御手段（制御部１、プログラムメモリ３ａ）と、を備える構成となっている。

次に、本実施形態における画像処理装置（タブレット端末装置）の動作概念を図３及び図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図３及び図４は、画像処理装置（タブレット端末装置）の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３及び図４のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図３及び図４は、白色の紙に手描きで描いた絵を撮影した画像の中からその絵の部分を切り抜くための処理を示したフローチャートで、例えば、メニュー画面の中から切り抜き処理がユーザ操作で選択された際に実行開始されたり、切り抜き画像を別の画像に合成する際にその画像加工処理の一部として実行開始されたりする。
先ず、制御部１は、処理対象として選択された画像データ（例えば、静止画データ）を元画像として、画像メモリ３ｃから取り込む（図３のステップＳ１）。そして、この画像の全体領域をＮ等分、例えば、図２（２）に示すように１６個の領域に等分に区画すると共に（ステップＳ２）、区画した個々の領域に対して輝度値ヒストグラムを算出生成する（ステップＳ３）。そして、この元画像の全体をＲＯＩ（Region Of Interest）として指定すると共に（ステップＳ４）、その輝度分布のピーク付近の輝度値を背景画素として特定する（ステップＳ５）。

図４は、輝度分布のピーク付近の輝度値を背景画素として指定するための処理（図３のステップＳ５）を詳述するためのフローチャートである。
先ず、元画像を１６等分した各領域（１）〜（１６）をその先頭から順次指定するために各領域の個々に割り当てられているブロック番号を“０”にリセットする（ステップＳ５１）。そして、ブロック番号の値は“１６”か、つまり、最後の１６番目の領域（１６）を指定し終わったかを調べるが（ステップＳ５２）、最初は、ブロック番号が“０”で、１番目の領域（１）を指定している場合であるから、該当ブロック（領域）のヒストグラムデータを取得する（ステップＳ５３）。そして、以下、後述するステップＳ５２〜Ｓ５７の処理をブロック番号が“１６”に達するまで繰り返し実行する。

図５及び図６は、輝度値ヒストグラムを例示した図である。
図２（２）に示すように、元画像を１６等分した各領域（１）〜（１６）のうち、図５（１）は、領域（１）のヒストグラムを示し、図５（２）は、領域（７）のヒストグラムを示している。また、図６（１）は、領域（１０）のヒストグラムを示し、図６（２）は、領域（１６）のヒストグラムを示している。なお、図中、横軸は輝度値、縦軸は画素数を示し、また、図中、左側が暗い（黒い）ピクセルを示し、右側が明るい（白い）ピクセルを示している。

ここで、図２に示すように、領域（１）は、左上隅部の領域で、白紙やホワイトボードのみの領域であるために、輝度のピークがはっきりと表れている。領域（７）は、右寄り上寄りの領域で、絵Ｐが描かれた部分の領域であり、近くに蛍光灯の反射部分Ｌ１、Ｌ２が存在しているためにその影響を受けて輝度の分布は、そのピーク値よりも高い輝度を有している。領域（１０）は、左寄り下寄りの領域で、絵Ｐが描かれた部分の領域であり、領域（７）に比べて蛍光灯の反射部分Ｌ１、Ｌ２より離れているために輝度の分布は領域（７）よりも狭く、また、絵Ｐの内部の黒の線による影響を受けてピーク値よりも低い輝度を有している。領域（１６）は、右下隅部の領域で、蛍光灯の反射部分Ｌ２が多く含まれているために複数の輝度のピークを有している。

図７は、輝度値をグループに分けて、各グループに所属する輝度値の数をカウントした一覧表を示し、図示の例では３２グループに分けた場合で、「グループ番号」“０”〜“３１”に「輝度値の範囲」の「範囲最小」と「範囲最大」を対応付けた構成となっている。いま、図６（１）に示した領域（１０）のヒストグラムを例に挙げて、以下のステップＳ５３〜Ｓ５７を説明するものとすると、先ず、この領域（１０）のヒストグラムの中から一番分布数の多い輝度範囲を取得する（ステップＳ５４）。この場合、図６（１）のヒストグラムにおいて輝度のピークは、輝度値“１６”であるために「グループ番号」“１６”の輝度範囲を一番分布数の多い輝度範囲として取得する。

そして、この一番分布数の多い輝度グループ及びその二つ上のグループまでを輝度のピーク付近として特定する（ステップＳ５５）。この場合、一番分布数の多い輝度グループとしてグループ番号“１６”及びその二つ上のグループとしてグループ番号“１７”、“１８”までを輝度のピーク付近として特定する。これによって特定したピーク付近のグループの「輝度値の範囲」を背景画素の輝度として指定する（ステップＳ５６）。この場合、特定したグループ番号“１６”〜“１８”の「輝度値の範囲」“１２８”〜“１５１”が背景画素の輝度として指定される。そして、ブロック番号に“１”を加算してその値を更新（ステップＳ５７）した後、上述のステップＳ５２に戻り、ブロック番号が“１６”に達するまでステップＳ５２〜Ｓ５７の処理を繰り返す。

図８（１）は、図２（１）に示した元画像に対してその輝度分布のピーク付近の輝度値を背景画素として指定する処理（図３のステップＳ５）を実行した後の画像イメージを例示した図である。
この画像は、背景箇所を“黒”で表現した場合を示したもので、黒色部分以外の他の箇所（白色部分及び灰色部分）は、背景指定されていない箇所（線画の可能性がある箇所）を示している。

このようにして領域毎にその背景画素の輝度値を特定した後は、図３のステップＳ６に移り、領域毎に画像分割処理（Grab Cutのセグメンテーション処理）を実行する。この画像分割処理は、最初に指定された背景画素を背景であることが確定された確定画素とし、前景か背景かが未確定の対象画素については、隣接する画素における輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前景か背景かを決定する処理である。このような画像分割処理を実行した結果、図８（２）に示したような切り抜きマスク（抜型）画像が得られる。この場合、絵（線画部分）である前景画素の領域に囲まれるように背景画素の領域が存在し、絵に描いた絵の内部も切り抜いてしまうために、次のステップＳ７では、一番外側の領域（輪郭）のみを切り抜きマスク画像として採用するようにしている。つまり、前景画素の領域における最も外側の輪郭に沿った領域を画像内の切り抜き領域として設定するようにしている。

図９は、一番外側の領域（輪郭）を特定する仕方を説明するための図である。
領域（輪郭）の数え方としては、「openCv（商標名）のcvFindContours」を使用している。すなわち、図９（１）は、下地が黒色で白色の線画が四角形とその中の円形を示した画像で、図示の例では、白黒の境界線（輪郭線）が４本、つまり、四角形の外側と内側の境界線（輪郭線）、円形の外側と内側の境界線（輪郭線）の場合を示している。すなわち、一番外側に白の輪郭があり、その内側に黒の輪郭、その内側に白の輪郭、その内側に黒の輪郭がある輪郭構造となっている。図９（２）は、輪郭の数え方を図示したもので、一番目が四角形の外側の輪郭線（白の輪郭）、二番目が四角形の内側の輪郭線（黒の輪郭）、三番目が円形の外側の輪郭線（白の輪郭）、四番目が円角の内側の輪郭線（黒の輪郭）となり、この一番目が四角形の外側の輪郭線を一番外側の領域（輪郭）として特定するために、この外側の輪郭線のみを残すようにしている。

図１０（１）は、一番外側の領域（輪郭）のみを切り抜きマスク画像として採用した場合を例示した図である。
上述のようにして作成した切り抜きマスク画像を使用して、画像の切り抜き処理（図３のステップＳ８）を実行すると、図１０（２）に示すような切り抜き画像（線画部分の画像）が得られる。なお、図示の市松模様は、切り抜き画像以外の透明部分を概念的に示したもので、実際には市松模様は存在しない。このようにして得られた切り抜き画像（線画部分の画像）は、絵Ｐのみの画像であり、内部の線画も含まれたものとなる。なお、この切り抜き画像をどのように利用するかは任意であるが、別の画像内にその切り抜き画像を合成するようにしてもよい。

以上のように、本実施形態において制御部１は、画像内で指定された一部の背景画素の位置情報に基づいて画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行するに先立って、画像の輝度分布に基づいて背景画素の輝度を特定し、この輝度に対応する輝度を有する画素を背景画素として指定して画像分割処理を実行するようにしたので、ユーザによる領域指定のための補助操作を必要とせずに、画像内からその一部の領域を精度良く切り抜くことができる。その結果、例えば、白紙やホワイトボードに黒のペンなどを使用して手描きで描いた絵を撮影した画像に、撮影時に反射などの影響を受けて画像全体に輝度のバラつき、明るさのむらが起きていても、その絵の領域を精度良く特定して適切に切り抜くことが可能となる。

制御部１は、画像を複数の領域に区画し、この区画した領域毎の輝度分布に基づいて領域毎に背景画素の輝度を特定すると共に、領域毎に特定した輝度に対応する輝度を有する画素を領域毎の背景画素として指定して画像分割処理を実行させるようにしたので、全体的に緩やかな輝度の差があっても、絵の領域を精度良く特定して適切に切り抜くことが可能となる。

制御部１は、輝度値ヒストグラムのうち、最も輝度の高い部分（明る過ぎる光沢反射部分）ではなく、ピーク付近の輝度値（最も分布の多い輝度）を背景画素の輝度として特定するようにしたので、最初から明る過ぎる光沢反射部分を背景として確定せずに、前景か背景かが未確定の画素として画像分割処理を実行させることができ、絵の領域をより精度良く切り抜くことが可能となる。

処理対象となる元画像は、第１の色を有する描画媒体に第２の色で描かれた線画を撮影した画像で、制御部１は、この線画部分を前景とする場合に、第１の色に近い部分を背景として特定するようにしたので、第１の色（白）を有する描画媒体に第２の色（黒）で描かれた絵（線画）を撮影した画像において、この絵（線画部分）を前景とする場合には、第１の色に近い部分を背景とすることができ、絵の領域をより精度良く切り抜くことが可能となる。

制御部１は、画像分割処理が実行された結果、線画部分である前景画素の領域に囲まれるように背景画素の領域が存在する場合には、前景画素の領域における最も外側の輪郭に沿った領域を画像内の切り抜き領域として設定するようにしたので、絵の内部に描いた部分を切り抜かないようにすることができる。

画像分割処理は、最初に指定された背景画素を背景であることが確定された確定画素とし、前景か背景かが未確定の対象画素については、隣接する画素における輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前景か背景かを決定する処理であるから、未確定の対象画素に対して隣接する画素の輝度差から前景か背景かを決定することができ、絵の領域をより精度良く切り抜くことが可能となる。

なお、上述した実施形態においては、元画像が静止画の場合を例示したが、動画であっても同様に適用可能である。この場合、各フレーム毎に領域の切り抜き処理を行ったり、所定のフレーム間隔毎に領域の切り抜き処理を行ったりしてもよい。

また、上述した実施形態においては、元画像の全体を１６個の領域に等分に区画するようにしたが、元画像の内容に基づいてその区画数を自動決定したり、ユーザ操作により任意に設定したりするようにしてもよい。

また、上述した実施形態においては、画像内のうち、白紙やホワイトボードに相当する領域を背景とし、絵に相当する領域を前景として説明したが、この背景と前景との表現は便宜的なものであり、例えば、絵Ａの領域と絵Ｂの領域とに分割するような場合には、その一方の絵を「背景画素」、他方の絵を「前景画素」と見なしてもよい。また、切り抜く画像は、絵（線画部分）に限らず、被写体であってもよい。

上述した実施形態においては、所定の画像分割処理としてGrab Cutと呼ばれるセグメンテーション手法を使用するようにしたが、その他のセグメンテーション手法であってもよい。

上述した実施形態においては、画像処理装置としてタブレット端末装置に適用した場合を示したが、これに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーであってもよく、勿論、デジタルカメラ自体であってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
画像内で指定された一部の背景画素の位置情報に基づいて画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行する分割処理手段と、
前記画像の輝度分布に基づいて背景画素の輝度を特定する特定手段と、
前記特定手段によって特定された輝度に対応する輝度を有する画素を前記一部の背景画素として指定して前記所定の画像分割処理を実行させる制御手段と、
を備えたことを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記画像を複数の領域に区画する区画手段を更に備え、
前記特定手段は、前記区画手段によって区画された領域毎の輝度分布に基づいて領域毎に背景画素の輝度を特定し、
前記制御手段は、前記特定手段によって領域毎に特定された輝度に対応する輝度を有する画素を領域毎に前記一部の背景画素として指定して前記所定の画像分割処理を実行させる、
ことを特徴とする画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１又は請求項２に記載の画像処理装置において、
前記特定手段は、最も分布の多い輝度を背景画素の輝度として特定する、
ことを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれか１項に記載の画像処理装置において、
前記画像は、第１の色を有する描画媒体に第２の色で描かれた線画を撮影した画像であり、
前記特定手段は、前記線画部分を前景とする場合に、前記第１の色に近い部分を背景として特定する、
ことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記所定の画像分割処理が実行された結果、前記線画部分である前景画素の領域に囲まれるように背景画素の領域が存在する場合には、前景画素の領域における最も外側の輪郭に沿った領域を前記画像内の切り抜き領域として設定する切り抜き領域設定手段を更に備える、
ことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５に記載の画像処理装置において、
前記所定の画像分割処理は、最初に指定された背景画素を背景であることが確定された確定画素とし、前景か背景かが未確定の対象画素については、隣接する画素における輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前景か背景かを決定する処理である、
ことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、
画像の輝度分布に基づいて背景画素の輝度を特定するステップと、
画像内で指定された一部の背景画素の位置情報に基づいて画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行する際に、前記特定された輝度に対応する輝度を有する画素を前記一部の背景画素として指定して、前記所定の画像分割処理を実行させるステップと、
を含むことを特徴とする画像処理方法である。
（請求項８）
請求項８に記載の発明は、
画像処理装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
画像内で指定された一部の背景画素の位置情報に基づいて画像全体を前景画素と背景画素に分割する所定の画像分割処理を実行する分割処理手段、
前記画像の輝度分布に基づいて背景画素の輝度を特定する特定手段、
前記特定手段によって特定された輝度に対応する輝度を有する画素を前記一部の背景画素として指定して前記所定の画像分割処理を実行させる制御手段、
として機能させるようにしたコンピュータ読み取り可能なプログラムである。

１ 制御部
３ 記憶部
３ａ プログラムメモリ
３ｃ 画像メモリ

Claims (11)

1. 前景と背景とに分割すべき対象画像における一部の背景画素の画素値を特定する画素値特定手段と、
   前記一部の背景画素の画素値に対応する画素値を有する前記対象画像内の画素を一部の背景画素として特定する第１特定手段と、
   前記対象画像内の各画素の画素値および前記一部の背景画素の位置情報を用いて、前記対象画像内の他の背景画素および前景画素を特定する第２特定手段と、
   前記第２特定手段により背景画素と前景画素が特定された結果、前景画素の領域に囲まれるように背景画素の領域が存在する場合には、前景画素の領域における最も外側の輪郭に沿った領域を前記対象画像内の切り抜き領域として設定する切り抜き領域設定手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画素値特定手段は、前景と背景とに分割すべき対象画像の画素値のヒストグラムに基づいて一部の背景画素の画素値を特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記対象画像は、第１の色を有する描画媒体に第２の色で描かれた線画を撮影した画像であり、
   前記画素値特定手段は、前記線画部分を前景とする場合に、前記第１の色に対応する画素値を背景画素の画素値として特定する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記切り抜き領域設定手段は、前記第２特定手段により背景画素と前景画素が特定された結果、前記線画部分である前景画素の領域に囲まれるように背景画素の領域が存在する場合には、前景画素の領域における最も外側の輪郭に沿った領域を前記対象画像内の切り抜き領域として設定する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第２特定手段は、前記対象画像内の各画素の画素値および前記一部の背景画素の位置情報を用いて、前記対象画像内の背景画素および前景画素を所定の精度で推定し、この推定結果を用いて更により高い精度で前記対象画像内の背景画素および前景画素を特定する処理を繰り返し実行する
   ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記対象画像を複数の領域に区画する区画手段を更に備え、
   前記画素値特定手段は、前記区画手段によって区画された領域毎の画素値のヒストグラムに基づいて領域毎に一部の背景画素の画素値を特定し、
   前記第１特定手段は、前記領域毎に特定された一部の背景画素の画素値に基づいて、前記領域毎に一部の背景画素を特定し、
   前記第２特定手段は、前記領域毎に特定された一部の背景画素の位置情報を用いて、前記対象画像全体の背景画素および前景画素を特定する
   ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記画素値特定手段は、最も分布の多い画素値を背景画素の画素値として特定する、
   ことを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記画素値特定手段は、前景と背景とに分割すべき対象画像の輝度のヒストグラムに基づいて一部の背景画素の輝度を特定し、
   前記第１特定手段は、前記一部の背景画素の輝度に対応する輝度を有する前記対象画像内の画素を一部の背景画素として特定する
   ことを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記第２特定手段は、最初に指定された背景画素を背景であることが確定された確定画素とし、前景か背景かが未確定の対象画素については、隣接する画素における輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前景か背景かを決定する処理を行う、
   ことを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前景と背景とに分割すべき対象画像の画素値のヒストグラムに基づいて一部の背景画素の画素値を特定する処理と、
    前記一部の背景画素の画素値に対応する画素値を有する前記対象画像内の画素を一部の背景画素として特定する処理と、
    前記対象画像内の各画素の画素値および前記一部の背景画素の位置情報を用いて、前記対象画像内の他の背景画素および前景画素を特定する処理と、
    背景画素と前景画素が特定された結果、前景画素の領域に囲まれるように背景画素の領域が存在する場合には、前景画素の領域における最も外側の輪郭に沿った領域を前記対象画像内の切り抜き領域として設定する処理と、
    を含むことを特徴とする画像処理方法。
11. 画像処理装置のコンピュータを、
    前景と背景とに分割すべき対象画像の画素値のヒストグラムに基づいて一部の背景画素の画素値を特定する画素値特定手段、
    前記一部の背景画素の画素値に対応する画素値を有する前記対象画像内の画素を一部の背景画素として特定する第１特定手段、
    前記対象画像内の各画素の画素値および前記一部の背景画素の位置情報を用いて、前記対象画像内の他の背景画素および前景画素を特定する第２特定手段、
    前記第２特定手段により背景画素と前景画素が特定された結果、前景画素の領域に囲まれるように背景画素の領域が存在する場合には、前景画素の領域における最も外側の輪郭に沿った領域を前記対象画像内の切り抜き領域として設定する切り抜き領域設定手段、
    として機能させるためのプログラム。
    

Images