JP6326316B2 - 画像処理装置、撮影装置、プログラム、記録媒体 - Google Patents

Description

本発明は、撮影によって生成される画像データを処理する画像処理装置に関する。

特許文献１には、机等の台座を背景とし、この台座に載置した用紙の紙面を撮影対象として撮影する場合において、撮影画像のうち、撮影対象領域（撮影対象を示す領域）を抽出（特定）する技術が開示されている。

特開２００７−２０１９４８号公報 特開２０１３−１６８１１９号公報 特開２０１３−４０８８号公報

特許文献１の技術では、撮影対象（用紙等）が無い状態の台座を予め撮影し、その後に台座に載置した撮影対象を撮影するようになっている。続いて、撮影対象が無い台座を撮影して得られた撮影画像と、台座に載置された撮影対象を撮影して得られた撮影画像との差分画像を求め、差分画像から輪郭情報（撮影対象領域の輪郭）を抽出するようになっている。

したがって、特許文献１の技術では、撮影対象を撮影する前に、撮影対象を載置する前の台座の撮影を行わなければならず、ユーザにとって二度手間が生じるという問題がある。また、撮影位置やレイアウトを変えて撮影対象を再撮影する場合、再び撮影対象を載置する前の台座の撮影を行わなければならず、手間である。

また、特許文献１の技術では、撮影対象が無い台座を示した撮影画像と、台座に載置された撮影対象を示した撮影画像との２つの画像を保持するための記憶容量が必要になるという問題も生じる。

本発明は、記憶容量とユーザにかかる手間とを従来技術よりも抑制可能な画像処理装置を提供することを目的とする。

本発明の一態様の画像処理装置は、撮影画像から、撮影対象領域の頂点の候補である候補頂点を検出する検出部と、前記撮影画像のうち、複数の候補頂点をラインで結んで形成される領域以外の領域を背景領域とし、前記背景領域の代表色と同一または類似色の階調値の条件を設定する設定部と、前記撮影画像の画素毎に、前記条件を満たす背景色画素か否かを判定する第１判定部と、前記画素毎に、エッジを示すエッジ画素か否かを判定する第２判定部と、前記撮影画像のうち、前記背景色画素ではないと判定され前記エッジ画素と判定された画素を特定する特定部と、前記特定部に特定された画素を参照して、前記撮影画像から前記撮影対象領域を抽出する抽出部と、を備えたことを特徴とする。

本発明の一態様によれば、特許文献１のように撮影対象が無い状態の背景（机等の台座）を予め撮影した画像を要することなく撮影対象部分を高精度に抽出できるため、撮影を２度行う必要がなく、記憶容量とユーザにかかる手間とを特許文献１よりも削減できるという効果を奏する。

本発明の一実施形態の撮影装置の概略構成を示すブロック図である。 図１の撮影装置にて撮影された撮影画像を模式的に示した図である。 四隅検出部の処理内容を示すフローチャートである。 移動平均フィルタの一例を示した図である。 撮影画像に含まれる背景領域を分割して得られる八つのサブ領域を示す図である。 図５のサブ領域の各々について、参照範囲のＲチャンネルの階調値の統計量を示す表である。 図５のサブ領域の各々について、Ｒチャンネルの階調値の統計量を示す表であり、階調値の平均値が昇り順になるように並び替えた後の表である。 Ｒ，Ｇ，Ｂのチャンネル毎に生成される背景色画像を示す。 ガウシアンフィルタの一例を示した図である。 ソーベルフィルタの一例を示した図である。 エッジ検出部による処理（キャニー法）の内容を示したフローチャートである。 Ｒ，Ｇ，Ｂのチャンネル毎に生成されるエッジ画像を示す。 背景色画素ではないと判定されエッジ画素と判定された画素を示す非背景色/エッジ画像を示す図である。 第１探索処理〜第４探索処理の各々について、探索される画素列の一つを示した模式図である。 抽出部にて生成されるマスク画像を示した図である。 抽出部にて生成される抽出済画像を示した図である。 撮影画像に含まれる背景領域のうち、統計処理の対象となる４つのサブ領域を示す図である。 撮影画像に含まれる背景領域のうち、統計処理の対象となる７つのサブ領域を示す図である。

〔実施形態１〕
（撮影装置の全体構成）
以下、本発明の一実施形態の撮影装置の構成を詳細に説明する。図１は、本実施形態に係る撮影装置の概略構成を示すブロック図である。

本実施形態の撮影装置１０は、画像を撮影するカメラ機能を備えた携帯型端末装置であり、例えばタブレットが挙げられる。図１に示すように、撮影装置１０は、少なくとも、タッチパネル部１００、撮影部２００、情報処理部３００、および記憶部４００を備えている。

さらに、図示しないが、撮影装置１０は、通信部、インターネット通信部、音声操作部、音声出力部、テレビ放送受像部、ＧＰＳ（Global Positioning System）など、携帯型端末装置が標準的に備えている各種ハードウェアを備えている。

タッチパネル部１００は、画像を表示する表示部と、ユーザのタッチ操作に応じた入力信号を生成する入力部とが一体化されている装置であり、周知のタッチパネルを用いることができる。つまり、表示部はＬＣＤ（Liquid Crystal Display）などで構成され、入力部は表示部と一体化された静電容量センサなどで構成される。なお、本実施形態の撮影装置１０は、画像表示手段としてタッチパネル部１００を備えているが、画像表示手段はタッチパネル部１００に限られるものではない。つまり、撮影装置１０において、表示部と入力部とが別々に構成されていてもよく、この場合、表示部はＬＣＤ等であり、入力部はキーボード等である。

撮影部２００は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ（カメラ）である。撮影部２００は、ユーザに入力された撮影指示信号に応じて、撮影処理を行い、撮影画像を示す撮影画像データを生成する。なお、撮影画像データは、画素毎に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各チャンネルの階調値（８ビットの場合は０〜２５５）を示したカラー画像データである。

情報処理部（画像処理装置）３００は、撮影装置１０の各ハードウェアの動作を制御するブロックであり、例えば、ＣＰＵ（Central Processing Unit）を備えるマイクロコンピュータやマイクロプロセッサなどによって実現される。情報処理部３００は、記憶部４００に記憶されている各種情報および各種制御を実施するためのプログラムを取り出して情報処理を行い、情報処理の結果に基づいて撮影装置１０の各ハードウェアに制御信号や情報を送って、撮影装置１０の各ハードウェアの動作を制御する。

また、情報処理部３００は、ユーザからの入力指示に応じて書面撮影モードに移行するように設計されている。書面撮影モードとは、撮影部２００にて撮影されると、撮影によって得られた撮影画像データに対して書面用画像処理を施すモードである。書面用画像処理とは、机の上に載置されている書面（書籍や原稿等）が撮影対象であることを前提とした画像処理を指す。

つまり、情報処理部３００は、書面撮影モードに移行している場合において、撮影部２００の撮影によって撮影画像データが生成されると、撮影画像データに書面用画像処理を施した上で撮影画像データを記憶部４００に保存する。情報処理部３００にて行われる書面用画像処理については後に詳述する。

記憶部４００は、情報処理部３００が実行する各種アプリケーションプログラム、ＯＳプログラム、制御プログラム、画像処理プログラム、これらプログラムを実行するときに読み出す各種データ（設定値、テーブル等）、前記の撮影画像データを記憶する記憶領域である。記憶部４００としては、従来から公知の種々の記憶手段、例えば、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）、ハードディスクドライブ（ＨＤＤ）などを用いることができる。また、情報処理部３００に取り扱われている各種データや処理中のデータは、記憶部４００のワーキングメモリに一時的に記憶される。

（情報処理部３００）
つぎに、情報処理部３００に含まれる各ブロックを詳細に説明する。図１に示すように、情報処理部３００は、四隅検出部３０１、平滑化処理部３０２、統計処理部３０３、条件設定部３０４（設定部）、背景色判定部３０５（第１判定部）、エッジ検出部３０６（第２判定部）、特定部３０７、抽出部３０８、歪み補正部３０９、フォーマット処理部３１０を備えている。これら各部は前記の書面用画像処理を行う処理部である。

つまり、書面撮影モードが設定されている場合、撮影部２００にて撮影が行われると、この撮影によって得られた撮影画像データに対して、四隅検出部３０１、平滑化処理部３０２、統計処理部３０３、条件設定部３０４、背景色判定部３０５、エッジ検出部３０６、特定部３０７、抽出部３０８、歪み補正部３０９、フォーマット処理部３１０がこの順で画像処理を実行する。

なお、四隅検出部３０１〜抽出部３０８までの処理によって、撮影画像に含まれる撮影対象領域（撮影対象を示す領域）が抽出（特定）され、歪み補正部３０９の処理によって、当該撮影対象領域に対して歪み補正が実行され、フォーマット処理部３１０の処理によって、当該撮影対象領域を示した画像ファイルが形成される。以下、情報処理部３００に含まれる各ブロックを順に説明する。

（四隅検出部３０１）
本実施形態の撮影画像は、机の上に載置された書籍の見開き２頁の書面を撮影対象とし、机が背景として含まれるように撮影して得られた画像である。つまり、図２に示すように、撮影画像５００には、撮影対象を示す画像領域である撮影対象領域（書籍）５１０と、背景領域（机）５５０とが示されている。

四隅検出部３０１は、撮影画像５００に含まれる撮影対象領域５１０が略矩形状の書面であるとみなして、撮影対象領域５１０の頂点の候補となる候補頂点を検出するブロックである。略矩形には、通常、頂点が４つあるため、検出される候補頂点も４つとなる。

略矩形状の撮影対象領域５１０の４つの候補頂点を検出する処理としては、様々な周知の手法があり、四隅検出部３０１は周知のいずれの手法を用いてもよいが、本実施形態では、特許文献２（特開２０１３−１６８１１９）の段落[００５６]〜[０１０６]に示されている手法を用いる。以下では、この手法の処理内容の概要を説明する。

図３は、四隅検出部３０１の処理を示すフローチャートである。まず、四隅検出部３０１は、撮影画像５００の中から、エッジを構成するエッジ画素の抽出を行い、エッジ画素を「１」として非エッジ画素を「０」とするエッジ画像（２値画像）を生成する（Ｓ１）。なお、エッジ画素の抽出には様々な周知の手法があり、四隅検出部３０１は、周知のいずれの手法を用いても構わない。但し、本実施形態では、撮影画像から輝度データに変換し、輝度データに対してキャニー法によるエッジ抽出を行う。

なお、本実施形態では、エッジ検出部３０６でもキャニー法が用いられるようになっており、キャニー法を用いたエッジ抽出の内容についてはエッジ検出部３０６と共に後に詳述する。

なお、四隅検出部３０１は、キャニー法にて生成されたエッジ画像に対して膨張収縮などのモルフォロジー変換を行ってもよい。

つぎに、四隅検出部３０１は、４方向または８方向に隣接（連結）しているエッジ画素同士のグループを連結エッジ領域とし、連結エッジ領域ごとに異なるラベルを付すラベリング処理を行う（Ｓ２）。

続いて、四隅検出部３０１は、ラベル付けがされた各連結エッジ領域から、撮影対象領域５１０と背景領域５５０との境界を含む連結エッジ領域を特徴領域として抽出する処理を行う（Ｓ３）。撮影対象は、その中心を撮影画像の中心付近とし、撮影画像の中の大部分を占めるようにして撮影されるのが通常である。そこで、四隅検出部３０１は、以下の条件Ａを満たす連結エッジ領域を特徴領域として抽出する。

条件Ａ：撮影画像において左上角部を原点とし、右方向（幅方向）をｘ軸、下方向（高さ方向）をｙ軸とし、撮影画像の右端のｘ座標をＸｍａｘ、撮影画像の下端のｙ座標をＹｍａｘとする。このとき、連結エッジ領域の幅方向の長さが撮影画像の幅（Ｘｍａｘ）の１／４以上、かつ、連結エッジ領域の高さ方向の長さが撮影画像の高さ（つまりＹｍａｘ）の１／４以上であり、かつ、連結エッジ領域の中心点のｘ座標が、Ｘｍａｘ／４以上かつ３×Ｘｍａｘ／４以下で、当該中心点のｙ座標が、Ｙｍａｘ／４以上かつ３×Ｙｍａｘ／４以下である。

なお、連結エッジ領域の中心点の座標の求め方の一例として、連結エッジ領域の全画素の座標値の平均を中心点の座標とする手法が挙げられる。

続いて、四隅検出部３０１は、特徴領域の中から、四つの候補頂点から形成される略矩形領域の上辺、左辺、右辺、下辺をなす直線を特定する処理（直線抽出処理）を行う（Ｓ４）。

ここで、上辺は、撮影画像の中の上半分（つまり、ｙ座標が０からＹｍａｘ／２の範囲）に位置し、撮影画像の幅方向に平行である確率が高い。また、左辺は、撮影画像の左半分（つまり、ｘ座標が０からＸｍａｘ／２の範囲）に位置し、撮影画像の高さ方向に平行である確率が高い。右辺は、撮影画像の右半分（つまり、ｘ座標がＸｍａｘ／２からＸｍａｘの範囲）に位置し、撮影画像の高さ方向に平行である確率が高い。下辺は、撮影画像の下半分（つまり、ｙ座標がＹｍａｘ／２からＹｍａｘの範囲）に位置し、撮影画像の幅方向に平行である確率が高い。

そこで、上辺、左辺、右辺、下辺の夫々について、存在確率の高い範囲において、特定の方向に連なるエッジ画素の数が最大であり、所定長さ以上の線分状のエッジ画素群を特徴領域の中から抽出する。抽出したエッジ画素群の近似直線の式を最小二乗法にて特定する。特定された近似直線が、上辺、左辺、右辺、下辺になる。

Ｓ４による四辺の直線抽出処理が終了すると、四隅検出部３０１は、Ｓ４で求めた直線の式に基づいて交点座標を求める（Ｓ５）。すなわち、四隅検出部３０１は、左辺直線と上辺直線の交点座標を左上頂点座標、上辺直線と右辺直線の交点座標を右上頂点座標、右辺直線と下辺直線の交点座標を右下頂点座標、下辺直線と左辺直線の交点座標を左下頂点座標として求める。そして、四隅検出部３０１は、これら４つの頂点座標を候補頂点の座標とし、頂点座標を示した抽出結果情報を記憶部４００に保存する。

なお、以上において、図３の各ステップの処理の概要を述べたが、図３の各ステップの処理の具体的内容については特許文献２に示されている通りである。また、四隅検出部３０１は、特許文献２に示されている手法以外の周知の手法を用いて、４つの候補頂点の座標を求めるようになっていてもよい。

（平滑化処理部３０２）
つぎに、平滑化処理部３０２について説明する。本実施形態では、後述する統計処理部３０３において、撮影画像５００に含まれる背景領域５５０の階調値の統計量を求めるようになっている。この統計量は平均値ならびに標準偏差である。ここで、撮像素子の特性に依存したノイズが撮影画像データ（入力画像データ）に含まれてしまうと、ノイズが原因で標準偏差の値が大きく振れてしまうことがある。このノイズとしては、暗部ノイズ、熱電流あるいは撮像素子の出力バラつきによるノイズが挙げられる。このようなノイズの影響によって、背景領域のうちの互いに異なる複数の箇所で、本来はほぼ同じ階調値を示すはずなのに、大幅に異なる階調値を示すようになり、統計処理部３０３にて求められる統計値の誤差が大きくなる可能性がある。

そこで、統計処理部３０３の前段に位置する平滑化処理部３０２が、上記のようなノイズの影響を軽減あるいは除去するために、Ｒ，Ｇ，Ｂのチャンネル毎に、平滑化処理を行うようになっている。

平滑化処理を行うための手段として、移動平均フィルタや荷重平均フィルタなどの畳み込み演算を行う空間フィルタが一般的に知られている。移動平均フィルタの一例を図４に示す。同フィルタを適用することによって、撮影画像の注目画素と周辺画素との間で階調値（画素値）が平均化されることになるため、階調値の変動が緩やかになり、平滑化処理がなされることになる。

なお、平滑化処理部３０２による平滑化処理の代わりに、メディアンフィルタを用いるようになっていてもよい。

（統計処理部３０３）
統計処理部３０３は、撮影画像５００に含まれる背景領域５５０について階調値の統計処理を行うブロックである。統計処理部３０３の処理内容を具体的に説明すると以下のとおりである。

統計処理部３０３は、記憶部４００に保存されている抽出結果情報（四隅検出部３０１の処理結果を示した情報）を参照して、平滑化処理部３０２にて平滑化処理された撮影画像のなかから背景領域５５０を特定する。さらに、統計処理部３０３は、背景領域５５０を複数のサブ領域に分割し、サブ領域毎に、各領域の中心画素を中心とした６４×６４画素の参照範囲を設定する。統計処理部３０３は、サブ領域毎に、参照範囲における各チャンネル（Ｒ，Ｇ，Ｂの各チャンネル）毎の階調値の統計値を求める。求められる統計値は、参照範囲の各画素の階調値の平均値（階調平均値）と、参照範囲の各画素の階調値の標準偏差とである。

より具体的に説明すると、統計処理部３０３は、四隅検出部３０１にて検出された四つの候補頂点を直線（ライン）で結んで形成される矩形領域（図５の破線）と撮影画像５００の各辺との間の領域を背景領域５５０として扱う。さらに、統計処理部３０３は、背景領域５５０を、矩形領域の各辺（図５の破線）の各延長線によって区画される八つのサブ領域に分割し、サブ領域ごとに、前記参照範囲の統計値を求めるようになっている。

つまり、図５に示すように、背景領域５５０はサブ領域Ａ〜Ｈに分割される。そして、サブ領域ごとに、前記参照範囲について、Ｒ、Ｇ、Ｂのチャンネルごとの階調平均値（階調値の平均値）ならびに標準偏差を求める。図６は、図５のサブ領域Ａ〜Ｈの各々について、Ｒチャンネルの階調平均値ならびに標準偏差を示したものである。なお、図示を省略しているが、Ｇチャンネル、Ｂチャンネルについても、図６と同様に、図５のサブ領域Ａ〜Ｈの各々における階調平均値ならびに標準偏差が求められる。

（条件設定部３０４）
条件設定部３０４は、統計処理部３０３の統計処理の結果に基づき、背景領域５５０の代表色と同一または類似色の階調値の数値範囲（条件）を設定するブロックである。この数値範囲は、ＲＧＢの各チャンネルにおいて、（階調平均値の平均値）±（ｎ×標準偏差の平均値）の範囲とする（ｎは所定の係数）。

例えば、図６のＲチャンネルの階調平均値を昇順に並び替えを行うと図７のようになり、階調平均値が最大値および最小値になる領域を除いた６つのサブ領域の階調平均値および標準偏差から、Ｒチャンネルの階調平均値の平均値（Ｒgra.avg.）、および、標準偏差の平均値（Ｒσavg.）を算出する。

すなわち、
Ｒgra.avg.＝((56.15+57.71+59.14+61.27+68.53+76.34))/6=63.19
となる。
また、Ｒチャンネルの標準偏差の平均値Ｒσavg.は、
Ｒσavg.=((1.41+1.09+1.19+0.98+1.22+1.21))/6=1.18
となり、これらの値をベースに数値範囲を設定する。

具体的には、Ｒチャンネルについて、代表色と同一または類似色の階調値の数値範囲Ｒcandは、
（Ｒgra.avg.−ｎ×Ｒσ）≦Ｒcand≦（Ｒgra.avg.＋ｎ×Ｒσ）
となり、
所定の係数ｎを３に設定すると、
59.6≦Ｒcand≦66.7
となる。

なお、数値範囲Ｒcandは、
（Ｒgra.avg.−ｎ×Ｒσ）≦Ｒcand≦（Ｒgra.avg.＋ｎ×Ｒσ）ではなく、
勿論、（Ｒgra.avg.−ｎ×Ｒσ）＜Ｒcand＜（Ｒgra.avg.＋ｎ×Ｒσ）であってもよい。

以上の処理をＧおよびＢのチャンネルについても同様に行い、Ｒcandのほか、ＧcandおよびＢcandも求める。

なお、統計処理部３０３および条件設定部３０４において、平均値の求め方は、算術平均のみならず、加重平均や相加平均等でもよい。また、本実施形態では、係数ｎを３としているが、特に限定されるものではなく、整数だけでなく小数であってもかまわない。また、統計処理部３０３および条件設定部３０４において、平均値の代わりに中央値を用いてもよい。

（背景色判定部３０５）
背景色判定部３０５は、Ｒ，Ｇ，Ｂのチャンネル毎に、撮影画像５００の各画素について、条件設定部３０４にて設定された数値範囲を満たす背景色画素か否かの判定を行う。つまり、背景色判定部３０５は、Ｒチャンネルにおいて、階調値がＲcandになっている画素を背景色画素と判定し、それ以外の画素を背景色画素ではないと判定する。背景色判定部３０５は、Ｇチャンネルにおいて、階調値がＧcandになっている画素を背景色画素と判定し、それ以外の画素を背景色画素ではないと判定する。背景色判定部３０５は、Ｂチャンネルにおいて、階調値がＢcandになっている画素を背景色画素と判定し、それ以外の画素を背景色画素ではないと判定する。

さらに、背景色判定部３０５は、Ｒ，Ｇ，Ｂのチャンネル毎に、背景色画素か否かの判定結果を示す背景色画像を生成する。背景色画像は、背景色画素を「１」とし、背景色画素ではない画素を「０」とした２値画像である。図８は、Ｒ，Ｇ，Ｂのチャンネル毎に生成される背景色画像を示す。

なお、撮影画像５００に含まれる背景領域５５０のなかにおいて、撮像素子の特性等によって生じたホワイトノイズなどが孤立点としてあらわれ、この孤立点が背景色画素として判定されないケースがある。

そこで、背景色判定部３０５は、背景色画像に対して膨張収縮などのモルフォロジー変換を実施することにより、上記孤立点を背景色画素に変換するようになっていてもよい。これにより孤立点が除去された背景色画像を生成できる。

（エッジ検出部３０６）
エッジ検出部３０６は、Ｒ，Ｇ，Ｂのチャンネル毎に、撮影画像５００からエッジ画素の検出処理（抽出処理）を行う。具体的には、Ｒ，Ｇ，Ｂのチャンネル毎に、撮影画像５００を構成する各画素がエッジ画素（エッジを構成する画素）か否かの判定を行うことになる。

エッジ検出部３０６によるエッジ画素の検出処理としては、周知の様々なエッジ検出手法（エッジ抽出手法）を用いることができるが、本実施形態ではキャニー法（キャニーフィルタ）を用いる。キャニー法とは、ガウシアンフィルタ（図９）とソーベルフィルタ（図１０）とを用いて細線化されたエッジを検出する手法を指す。以下では、エッジ検出部３０６による処理（キャニー法）を説明する。

図１１は、エッジ検出部３０６の処理内容を示したフローチャートである。エッジ検出部３０６は、Ｒ，Ｇ，Ｂのチャンネル毎に、図１１の処理を実行するようになっている。

まず、エッジ検出部３０６は、撮影画像に対してガウシアンフィルタを用いて平滑化を行う（Ｓ１０１）。これにより、撮影画像のノイズが抑制される。

つぎに、エッジ検出部３０６は、ソーベルフィルタを用いて画素毎にエッジ強度とエッジ方向とを求める（Ｓ２０１）。具体的には、エッジ検出部３０６は、注目画素（Ｘ，Ｙ）のエッジ強度▽Ｌとエッジ方向θとを、下記の式（１）および式（２）によって求める。
▽Ｌ=√（Ｌｘ^２+Ｌｙ^２） 式（１）
θ=ｔａｎ^−１（Ｌｙ／Ｌｘ） 式（２）
Ｌｘは、ソーベルフィルタの水平方向微分値であり、Ｌｙは、ソーベルフィルタの垂直方向微分値である。

続いて、エッジ検出部３０６は、Ｓ２０１で求めたθ（エッジ方向）を量子化する（Ｓ３０１）。具体的には、０°，４５°,９０°，１３５°のいずれかの角度に量子化する。

つぎに、エッジ検出部３０６は、Ｓ２０１で求めたエッジ強度▽Ｌと、Ｓ３０１で量子化したθとを参照して、エッジを細くするための細線化処理（Ｓ４０１）を行う。細線化処理は以下に示すように実行される。
エッジ検出部３０６は、θ=０°の注目画素（Ｘ，Ｙ）について、▽Ｌ（Ｘ，Ｙ）＞▽Ｌ（Ｘ−１，Ｙ）且つ▽Ｌ（Ｘ，Ｙ）＞▽Ｌ（Ｘ＋１，Ｙ）の条件を満たす場合、▽Ｌ（Ｘ，Ｙ）の値を維持し（変更しない）、この条件を満たさない場合、▽Ｌ（Ｘ，Ｙ）の値を０に変更する。
エッジ検出部３０６は、θ=４５°の注目画素（Ｘ，Ｙ）について、▽Ｌ（Ｘ，Ｙ）＞▽Ｌ（Ｘ−１，Ｙ＋１）且つ▽Ｌ（Ｘ，Ｙ）＞▽Ｌ（Ｘ＋１，Ｙ−１）の条件を満たす場合、▽Ｌ（Ｘ，Ｙ）の値を維持し（変更しない）、この条件を満たさない場合、▽Ｌ（Ｘ，Ｙ）の値を０に変更する。
エッジ検出部３０６は、θ=９０°の注目画素（Ｘ，Ｙ）について、▽Ｌ（Ｘ，Ｙ）＞▽Ｌ（Ｘ，Ｙ−１）且つ▽Ｌ（Ｘ，Ｙ）＞▽Ｌ（Ｘ，Ｙ＋１）の条件を満たす場合、▽Ｌ（Ｘ，Ｙ）の値を維持し（変更しない）、この条件を満たさない場合、▽Ｌ（Ｘ，Ｙ）の値を０に変更する。
エッジ検出部３０６は、θ=１３５°の注目画素（Ｘ，Ｙ）について、▽Ｌ（Ｘ，Ｙ）＞▽Ｌ（Ｘ−１，Ｙ−１）且つ▽Ｌ（Ｘ，Ｙ）＞▽Ｌ（Ｘ＋１，Ｙ＋１）の条件を満たす場合、▽Ｌ（Ｘ，Ｙ）の値を維持し（変更しない）、この条件を満たさない場合、▽Ｌ（Ｘ，Ｙ）の値を０に変更する。

以上のように▽Ｌおよびθを用いることでＳ３の細線化処理を実行できる。次に、エッジ検出部３０６は、画素毎に、エッジ強度に対してヒステリシス閾値処理を行うことにより、エッジか否かの判定を行う（Ｓ５０１）。

具体的には、エッジ検出部３０６は、▽Ｌ（Ｘ，Ｙ）＞高レベル閾値であれば、注目画素（Ｘ，Ｙ）をエッジ画素と判定し、▽Ｌ（Ｘ，Ｙ）＜低レベル閾値であれば、注目画素（Ｘ，Ｙ）を非エッジ画素と判定する。なお、高レベル閾値＞低レベル閾値であり、画像データが８ビットの場合、例えば高レベル閾値は１４４であり、低レベル閾値は６４と設定される。但し、高レベル閾値＞低レベル閾値さえ成立していれば、１４４や６４という値に限定されないことはいうまでもない。

また、エッジ検出部３０６は、低レベル閾値≦▽Ｌ（Ｘ，Ｙ）≦高レベル閾値の場合、注目画素（Ｘ，Ｙ）がエッジ画素に連結（隣接）していれば注目画素（Ｘ，Ｙ）をエッジ画素と判定し、エッジ画素に連結していなければ注目画素（Ｘ，Ｙ）を非エッジ画素と判定する。

続いて、エッジ検出部３０６は、エッジ画素か否かの判定結果を示すエッジ画像を生成する（Ｓ６０１）。エッジ画像は、エッジ画素を「１」、非エッジ画素を「０」とした２値画像である。なお、エッジ検出部３０６は、当該エッジ画像に対して膨張収縮などのモルフォロジー変換を行ってもよい。

エッジ検出部３０６が、以上にて示した図１１の処理を、Ｒ，Ｇ，Ｂのチャンネル毎に実行する。これにより、Ｒ，Ｇ，Ｂのチャンネル毎にエッジ画像が生成されることになる。図１２は、Ｒ，Ｇ，Ｂのチャンネル毎に生成されるエッジ画像を示す。

なお、四隅検出部３０１によるエッジ抽出（図３のＳ１）についても、キャニー法が適用されるため、図１１の処理と同じ処理が行われる。但し、エッジ検出部３０６においては、Ｒ，Ｇ，Ｂのチャンネル毎に図１１に示すキャニー法が実行されるのに対し、四隅検出部３０１においては輝度データに対してキャニー法が実行される。

（特定部３０７）
特定部３０７は、背景色判定部３０５にて生成された背景色画像と、エッジ検出部３０６にて生成されたエッジ画像とを参照して、Ｒ，Ｇ，Ｂの全チャンネルにおいて背景色画素ではないと判定されエッジ画素と判定された画素を特定する処理を行う。

つまり、特定部３０７は、Ｒ，Ｇ，Ｂの全てのチャンネルにおいて、図８の背景色画像では背景色画素ではなく、図１２のエッジ画像ではエッジ画素になっている画素を特定する処理を行う。なお、図８の背景色画像では、０のフラグ（黒を示すフラグ）が立っている画素が背景色画素ではない画素に相当し、図１２のエッジ画像では、１のフラグ（白を示すフラグ）が立っている画素がエッジ画素に相当する。

続いて、特定部３０７は、Ｒ，Ｇ，Ｂの全チャンネルにおいて背景色画素ではないと判定されエッジ画素と判定された画素を特定する非背景色/エッジ画像を生成する。図１３は、非背景色/エッジ画像９００を示す。図１３の非背景色/エッジ画像９００は、Ｒ，Ｇ，Ｂの全チャンネルにおいて背景色画素ではないと判定されエッジ画素と判定された画素のフラグを１（白）として、それ以外の画素のフラグを０（黒）とした２値画像である。

（抽出部３０８）
抽出部３０８は、撮影部２００から入力された撮影画像５００（図２）から、撮影対象領域５１０を抽出する処理を行う。以下、抽出部３０８の処理を説明する。

本実施形態の撮影画像５００（図２）は、机等を示す背景領域５５０と、書面等を示す撮影対象領域５１０とを含む。それゆえ、エッジ検出部３０６による処理では、撮影対象領域５１０の輪郭がエッジとして検出されるが、机の上に傷等が形成されている場合には背景領域５５０においても前記傷等がエッジとして検出されることもある。

ところが、背景領域５５０のエッジ（机の上の傷等）は、上述したようにエッジとして検出されることがあるものの、背景色を示すことには変わらないため、背景色画素と判定される可能性が高い。したがって、図１３の非背景色/エッジ画像にて特定されている特定画素（背景色画素ではないと判定されエッジ画素と判定された画素）から、背景領域５５０のエッジ（机等の傷）は外されることになる。

そして、以上の点からすれば、図１３の非背景色/エッジ画像９００において、上辺に直交する方向に向けて上辺から特定画素を探索した場合に上辺から最も近い位置にある特定画素と、下辺に直交する方向に向けて下辺から特定画素を探索した場合に下辺から最も近い位置にある特定画素と、左辺に直交する方向に向けて左辺から特定画素を探索した場合に左辺から最も近い位置にある特定画素と、右辺に直交する方向に向けて右辺から特定画素を探索した場合に右辺に最も近い位置にある特定画素とからなる画素群は、撮影画像５００の撮影対象領域５１０の輪郭線に相当すると考えられる。

そこで、抽出部３０８は、図１３の非背景色/エッジ画像９００を参照して、撮影対象領域５１０の輪郭線を成す輪郭画素を抽出する。具体的に、抽出部３０８は、（ａ）撮影画像５００の上辺を構成する画素ごとに、当該画素から上辺と直交する方向に向けて並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第１探索処理と、（ｂ）撮影画像５００の下辺を構成する画素ごとに、当該画素から下辺と直交する方向に向けて並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第２探索処理と、（ｃ）撮影画像５００の左辺を構成する画素ごとに、当該画素から左辺と直交する方向に向けて並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第３探索処理と、（ｄ）撮影画像５００の右辺を構成する画素ごとに、当該画素から右辺に直交する方向に向けて並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第４探索処理とを実行する。なお、図１４は、第１探索処理〜第４探索処理の各々について、探索される画素列のうちの一つを示した模式図である。第１探索処理〜第４探索処理にて抽出された画素を輪郭画素とする。

さらに、抽出部３０８は、前記輪郭画素、および、前記輪郭画素に囲まれている画素のフラグを０（黒）とし、その他の画素のフラグを１（白）とした２値画像をマスク画像として生成する。図１５は、抽出部３０８にて生成されるマスク画像７００を示した図である。

続いて、抽出部３０８は、生成したマスク画像７００を用いて撮影画像５００にマスキング処理を行うことにより、撮影画像５００のなかから撮影対象領域５１０を抽出する。具体的には、抽出部３０８は、図１５のマスク画像７００にて前記輪郭画素および前記輪郭画素に囲まれている画素（０（黒）のフラグで示されている画素）については、撮影部２００から入力した撮影画像５００の階調値を与え、図１５のマスク画像において前記輪郭画素よりも外側に位置する画素（１（白）のフラグで示されている画素）については、所定の階調値（例えば画像データが８ビットで表される場合は「０」）を与えた抽出済画像８００を生成する。図１６は、抽出済画像８００を示す図である。図１６の抽出済画像８００は、図２の撮影画像５００から抽出された撮影対象領域５１０が示され、撮影対象領域５１０の周囲は黒色が均一に塗り潰されたベタ画像領域となっている。つまり、図１６の抽出済画像８００は、図２の撮影画像５００において撮影対象領域５１０以外の箇所が黒ベタ領域でマスキングされた画像に相当する。

（歪み補正部３０９）
歪み補正部３０９は、書面のような矩形状の撮影対象領域や、書籍の見開き頁などの若干湾曲した略矩形状の撮影対象領域に対し、撮影対象の正面の法線方向に対して傾いた方向から撮影対象を撮影することによる撮影対象物の歪みを補正するとともに、撮影対象領域の傾きを補正するブロックである。歪み補正部３０９の補正手法としては、周知の様々な手法を利用できるが、一例として特許文献３（特開２０１３−４０８８）に開示されている手法を挙げることができる。

歪み補正部３０９は、抽出部３０８にて生成された抽出済画像８００（図１６）に示されている撮影対象領域に対して歪み補正を行う。

（フォーマット処理部３１０）
フォーマット処理部３１０は、歪み補正部３０９にて歪み補正された後の抽出済画像８００を、所定フォーマットの画像ファイルに変換する。所定フォーマットとしては、ＪＰＥＧ若しくはＴＩＦＦが挙げられる。フォーマット処理部３１０は、生成した画像ファイルを記憶部４００に保存する。

本実施形態の情報処理部３００においては、以上の通り、四隅検出部３０１〜抽出部３０８の処理によって、撮影画像５００から抽出された撮影対象領域５１０を示した抽出済画像８００が生成され、歪み補正部３０９によって、抽出済画像８００に歪み補正が施され、歪み補正の施された抽出済画像８００が所定フォーマットの画像ファイルに変換されて保存されることになる。

そして、本実施形態では、エッジ検出部３０６のエッジ検出の結果と、背景色判定部３０５による背景色検出の結果とを併用して、撮影対象領域５１０を抽出している。これにより撮影対象領域５１０の抽出精度を相乗的に高めることができる。この点を以下具体的に説明する。

書籍等を撮影対象として撮影した場合、図２に示すように、撮影画像５００においては、背景領域５５０に陰影領域５２０が示されることがある（同図では、背景領域５５０のうち、書籍の上辺付近に陰影領域５２０が形成されている）。陰影領域５２０は、照明光の影響による影、背景にて映りこまれたユーザの影（意図しない影）を示す領域である。

陰影領域５２０は基本的にはグレイ色である。したがって、背景色判定部３０５が、図２に示す撮影画像５００を対象として画素毎に背景色画素か否かの判定を行うと、背景領域５５０に位置する陰影領域５２０が背景色画素として判定されないというケースが生じる。

ところが、本実施形態では、エッジ検出部３０６のエッジ検出の結果を併用しているため、陰影領域５２０が撮影対象領域５１０として抽出されることが抑制される。これは、陰影領域５２０はエッジとして検出されないし、背景色画素と判定された部分と陰影領域５２０との境界は、撮影対象領域５１０と陰影領域５２０との境界よりもエッジ強度が低いため、背景色画素と判定された部分と陰影領域５２０との境界がエッジとして判定されることは少ないからである。つまり、背景色画素か否かの判定結果を利用する手法の欠点を、エッジ検出結果を利用する手法によって補っていることになる。

これに対し、前述したように、エッジ検出部３０６による処理では、撮影対象領域５１０の輪郭がエッジとして検出されるが、机の上に傷等が形成されている場合には背景領域５５０においても前記傷等がエッジとして検出されるケースもある。

ところが、背景領域５５０の机の上の傷等は、上述したようにエッジとして検出されることがあるものの、背景色と類似する色を示すため、背景色画素と判定される可能性が高い。したがって、最終的には、抽出部３０８にて、背景領域５５０のエッジ（机の上の傷等）が撮影対象領域５１０の一部として抽出されることを抑制できる。すなわち、エッジ検出結果を利用する手法の欠点を、背景色画素か否かの判定結果を利用する手法によって補っているのである。

このように、本実施形態では、エッジ検出部３０６のエッジ検出の結果と、背景色判定部３０５による背景色検出の結果とを併用することにより、互いの欠点を補い合っているため、撮影対象領域５１０の抽出精度を相乗的に高めることができるのである。

図１６は、最終的に生成される抽出済画像８００であるが、抽出済画像８００において、図２の陰影領域５２０は、背景を成すベタ画像領域に塗り潰されており、撮影対象領域５１０と共に抽出されていないことがわかる。

また、以上の実施形態では、図５に示すように背景領域５５０を複数のサブ領域Ａ〜Ｈに分割し、サブ領域の中心位置を含む所定サイズの参照領域をサブ領域ごとに設定し、サブ領域毎に参照領域の階調値の統計処理を行うようになっている。これにより、撮影対象（書籍等）の縁や影の影響の受けにくい領域を対象として前記統計処理を行うことができるため、背景色判定部３０５の判定精度を向上させることができ、これにより撮影対象領域５１０の抽出精度も向上させることができる。

また、本実施形態では、図７に示すように、条件設定部３０４は、階調平均値が最大値および最小値になるサブ領域（Ａ、Ｅ）を除いた上で、背景の代表色と同一または類似色の数値範囲を求めている。この理由は以下の通りである。背景領域５５０の一部において、偶然、光の反射（照明の映り込み等）によって他の領域に比べ極端に階調値が高くなったり、偶然、影（撮影者の影）が形成されることによって他の領域に比べ極端に階調値が低くなったり、標準偏差が大きくなるという特異な状況が生じることがある。そこで、階調平均値が最大値および最小値になる領域を除くことにより、背景領域５５０の代表色と同一または類似色の階調値の数値範囲の算出精度を向上させているのである。

また、情報処理部３００においては、撮影画像５００から撮影対象領域５１０を抽出した抽出済画像８００（図１６）を生成できればよく、抽出済画像８００の生成とは直接関係の無い歪み補正部３０９およびフォーマット処理部３１０は特に備えられていなくてもよい。また、平滑化処理部３０２も備えられていなくてもよい。

また、エッジ検出部３０６は、キャニー法によってエッジを検出しているが、キャニー法以外の手法を用いても構わない。例えば、注目画素について、水平方向あるいは垂直方向に隣接する画素との差分を求め、差分に対して閾値処理を行うことによってエッジ画素か否かを判定してもよい。閾値は、画像データが８ビットの場合、例えば４８とする。

あるいは、図２に示すソーベルフィルタによってエッジ強度を求め、エッジ強度に対して閾値処理を行うことによってエッジ画素か否かを判定してもよい。閾値は、画像データが８ビットの場合、例えば９６に設定する。

〔実施形態２〕
実施形態１では、図５に示すように背景領域５５０を八つのサブ領域Ａ〜Ｈに分割し、サブ領域Ａ〜Ｈについて統計処理を行っているが、八つのサブ領域Ａ〜Ｈの全てについて統計処理を行う必要はない。例えば、統計処理部３０３は、図１７に示すように、八つのサブ領域のうち、四つの候補頂点を直線で結んで形成される矩形領域の上下左右に隣接する四つのサブ領域イ〜二を検出し、サブ領域イ〜二の各々において、各領域の中心画素を中心とした６４×６４画素の参照範囲を設定するようになってもよい。そして、統計処理部３０３は、サブ領域イ〜二の各々において、参照範囲における各チャンネル（Ｒ，Ｇ，Ｂの各チャンネル）毎の階調値の統計値を求める。図１７の例によれば、図５の例よりも計算量を減らせることができるというメリットを有し、図５の例によれば、図１７の例よりもサンプル量が多いため高精度であるというメリットを有する。

或いは、図１８に示すように、四つの候補頂点を直線で結んで形成される矩形領域の上辺、下辺、左辺、右辺に隣接するブロックのうち、上辺に隣接するブロックを７つのサブ領域に等間隔で分割し（図１８の「あ」〜「ま」）、サブ領域毎に、サブ領域の全画素の階調値の統計値を求めるようになっていてもよい。

〔実施形態３〕
実施形態１では撮影装置１０の一例としてタブレットを挙げたが、撮影装置１０は、撮影部２００を有する各種携帯型端末（スマートフォン、タブレット、ノートパソコン、携帯電話等）であってもよい。また、撮影装置１０は、デジタルスチルカメラ、汎用パソコン等であってもよい。

また、本実施形態の情報処理部３００は、撮影部２００を備えた撮影装置１０に備えられている必要性はなく、撮影部２００を備えない装置に設けられていても構わない。要は、カメラ付きの携帯端末から撮影画像を受信可能な装置（カメラ無しの汎用パソコンやサーバ装置）であれば情報処理部３００を設けることが可能なのである。また、複合機、大型表示装置（インフォメーションディスプレイや電子黒板等）も撮影画像を受信可能であり、複合機、大型表示装置に情報処理部３００を設けてもよい。なお、携帯端末と、パソコン、サーバ装置、複合機、大型表示装置等との間の撮影画像の通信手段としては、有線でも無線でもよい。また、インターネット等のネットワークを介した通信であってもよい。

また、携帯端末から、情報処理部３００を備えた装置へ撮影画像を送信する際、携帯端末側において、撮影対象領域の抽出処理を実施して幾何学補正処理を行う第１モードと、撮影対象領域の抽出処理および幾何学補正処理を実施しない第２モードとをユーザに選択させるようになっていてもよい。いずれのモードが選択されたかを示すモード情報が撮影画像と共に携帯端末から情報処理部３００を備えた装置へ送信され、情報処理部３００は、モード情報が第１モードを示している場合は第１モードを実行し、モード情報が第２モードを示している場合は第２モードを実行するようになっている。

〔実施形態４〕
情報処理部３００は、上述の通り、ＣＰＵを用いてソフトウェアにて実現してもよいし、集積回路等に形成された論理回路によって実現してもよい。なお、ソフトウェアによる場合、情報処理部３００は、前記ソフトウェアであるプログラムがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置等の記録媒体を備えている。上記記録媒体としては、例えば、カード、ディスク、半導体メモリ、プログラマブルな論理回路などの「一時的でない有形の媒体」であってもよい。また、上記プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに伝送されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１の情報処理部３００（画像処理装置）は、撮影画像５００から、撮影対象領域５１０の頂点の候補である候補頂点を検出する四隅検出部３０１と、撮影画像５００のうち、複数の候補頂点をラインで結んで形成される領域以外の領域を背景領域５５０とし、背景領域５５０の代表色と同一または類似色の階調値の数値範囲（条件）を設定する条件設定部３０４と、撮影画像５００の画素毎に、前記数値範囲を満たす背景色画素か否かを判定する背景色判定部３０５（第１判定部）と、前記画素毎に、エッジを示すエッジ画素か否かを判定するエッジ検出部３０６（第２判定部）と、撮影画像５００のうち、前記背景色画素ではないと判定され前記エッジ画素と判定された画素を特定する特定部３０７と、特定部３０７に特定された画素を参照して、撮影画像５００から撮影対象領域５１０を抽出する抽出部３０８と、を備えたことを特徴とする。

本発明の態様１によれば、エッジ検出部３０６のエッジ検出結果と、背景色判定部３０５の判定結果とを併用して、撮影画像より撮影対象領域５１０を抽出しており、これにより撮影対象領域５１０の抽出精度を相乗的に高めることができるという効果を奏する。

つまり、（ａ）エッジ検出部３０６のエッジ検出結果を用いずに、背景色判定部３０５の判定結果を用いて撮影対象領域５１０を抽出する構成では、背景領域５５０に含まれる陰影領域５２０が撮影対象領域５１０として抽出されるという欠点があり、（ｂ）、背景色判定部３０５の判定結果を用いずに、エッジ検出部３０６のエッジ検出結果を用いて撮影対象領域５１０を抽出する構成では、背景領域５５０に傷画像（例えば机の上の傷）がある場合に前記傷画像が撮影対象領域５１０として抽出されるという欠点がある。ところが、本願発明では、エッジ検出部３０６のエッジ検出結果を用いることにより、背景色判定部３０５の判定結果のみを用いる場合の欠点（陰影領域５２０が撮影対象領域５１０として抽出されてしまう）を抑制でき、背景色判定部３０５の判定結果を用いることによって、エッジ検出部３０６のエッジ検出結果のみを用いる場合の欠点（前記傷画像が撮影対象領域５１０として抽出されてしまう）を抑制できる。すなわち、本願発明では、エッジ検出と背景色判定とを併用することにより、互いの欠点を補い合うことができ、撮影対象の抽出精度を高めるという効果を相乗的に得ることができるのである。

また、本発明の態様１の情報処理部３００によれば、特許文献１のように撮影対象が無い状態の背景（机等の台座）を予め撮影した画像を要することなく撮影対象部分を高精度に抽出できるため、撮影を２度行う必要がなく、記憶容量とユーザにかかる手間とを特許文献１よりも削減できるという効果を奏する。

本発明の態様２の情報処理部３００は、態様１の構成に加えて、背景領域５５０に含まれる範囲を統計対象として、統計対象の階調値の統計処理を行う統計処理部３０３を備え、条件設定部３０４は、前記統計処理の結果に基づいて前記数値範囲を設定することを特徴とする。

これにより、撮影画像５００のうち、背景領域５５０の代表色と同一または類似色を示す階調値の数値範囲を高精度に設定でき、背景色画素か否かの判定を精度よく行えることができるという効果を奏する。

本発明の態様３の情報処理部３００は、態様２の構成に加えて、前記統計対象の範囲を複数のサブ領域に分割し、サブ領域の中心位置を含む所定サイズの参照領域をサブ領域ごとに設定し、所定領域毎に参照領域の階調値の統計処理を行うことを特徴とする。

本発明の態様３によれば、撮影対象（書籍等）の縁や影の影響の受けにくい領域を対象として前記統計処理を行うことができるため、背景色判定部３０５の判定精度を向上させることができ、これにより撮影対象領域５１０の抽出精度も向上させることができる。

本発明の態様４の情報処理部３００は、態様３の構成に加えて、条件設定部３０４は、前記統計処理にて求められる統計量のうち平均値または中央値が最大となるサブ領域と前記平均値または中央値が最小となるサブ領域とを除いた各サブ領域の前記統計量を参照して、前記条件を設定することを特徴とする。

本発明の態様４によれば、照明の映り込みや撮影者の影に起因して値のバラツキが大きくなる局所部分が背景領域５５０に含まれている場合であっても、この局所部分による影響を抑制できるという効果を奏する。

本発明の態様５の情報処理部３００は、態様２〜態様４のいずれかに加え、撮影画像５００に対して平滑化処理を行う平滑化処理部３０２を備え、統計処理部３０３は、前記平滑化処理の施された撮影画像５００を用いて前記統計処理を行うことを特徴とする。

本発明の態様５によれば、撮影画像５００中のノイズの影響が前記統計処理に及ぶことを抑制でき、前記統計処理の精度を向上させることができるという効果を奏する。

本発明の態様６の情報処理部３００は、態様１〜態様５のいずれかに加え、特定部３０７にて特定された画素を特定画素とすると、抽出部３０８は、（ａ）撮影画像５００の上辺を構成する画素ごとに、当該画素から上辺と直交する方向に並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第１探索処理と、（ｂ）撮影画像５００の下辺を構成する画素ごとに、当該画素から下辺と直交する方向に並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第２探索処理と、（ｃ）撮影画像５００の左辺を構成する画素ごとに、当該画素から左辺と直交する方向に並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第３探索処理と、（ｄ）撮影画像５００の右辺を構成する画素ごとに、当該画素から右辺と直交する方向に並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第４探索処理と、（ｅ）前記第１〜第４探索処理にて抽出された特定画素を輪郭として、この輪郭および輪郭に囲まれている領域を、撮影対象領域５１０として抽出する抽出処理とを実行することを特徴とする。

本発明の態様６によれば、前記背景色画素ではないと判定され且つ前記エッジ画素と判定された画素である特定画素から、撮影対象領域５１０の輪郭を特定でき、この輪郭から、撮影対象領域５１０を特定できる。

本発明の態様７の撮影装置１０は、撮影部２００と、態様１〜態様６のいずれかの情報処理部３００とを備えたことを特徴とする。

本発明の態様１〜６に係る情報処理部３００は、コンピュータによって実現してもよく、この場合には、コンピュータを情報処理部３００が備える各部として動作させることにより、情報処理部３００をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。

本発明は、撮影画像を処理する画像処理ソフトをインストール可能な装置、或いは、撮影画像を処理する画像処理回路を搭載可能な装置に適用される。このような装置として、例えば、汎用コンピュータ、サーバ装置、複合機、デジタルスチルカメラ、携帯端末（スマートフォン、タブレット、ノートパソコン、携帯電話）等が挙げられる。

１０ 撮影装置
２００ 撮影部
３００ 情報処理部（画像処理装置）
３０１ 四隅検出部
３０２ 平滑化処理部
３０３ 統計処理部
３０４ 条件設定部（設定部）
３０５ 背景色判定部（第１判定部）
３０６ エッジ検出部（第２判定部）
３０７ 特定部
３０８ 抽出部
３０９ 歪み補正部
３１０ フォーマット処理部
４００ 記憶部
５００ 撮影画像
５１０ 撮影対象領域
５２０ 陰影領域
５５０ 背景領域
７００ マスク画像
８００ 抽出済画像

Claims (9)

1. 撮影画像から、撮影対象領域の頂点の候補である候補頂点を検出する検出部と、
   前記撮影画像のうち、複数の候補頂点をラインで結んで形成される領域以外の領域を背景領域とし、前記背景領域の代表色と同一または類似色の階調値の条件を設定する設定部と、
   前記撮影画像の画素毎に、前記条件を満たす背景色画素か否かを判定する第１判定部と、
   前記画素毎に、エッジを示すエッジ画素か否かを判定する第２判定部と、
   前記撮影画像のうち、前記背景色画素ではないと判定され前記エッジ画素と判定された画素を特定する特定部と、
   前記特定部に特定された画素を参照して、前記撮影画像から前記撮影対象領域を抽出する抽出部と、を備えた画像処理装置。
2. 前記背景領域に含まれる範囲を統計対象として階調値の統計処理を行う統計処理部を備え、
   前記設定部は、前記統計処理の結果に基づいて前記条件を設定する請求項１に記載の画像処理装置。
3. 前記統計処理部は、前記統計対象の範囲を複数のサブ領域に分割し、サブ領域の中心位置を含む所定サイズの参照範囲をサブ領域ごとに設定し、サブ領域毎に参照領域の階調値の統計処理を行う請求項２に記載の画像処理装置。
4. 前記設定部は、前記統計処理にて求められる統計量のうち平均値または中央値が最大となるサブ領域と前記平均値または中央値が最小となるサブ領域とを除いた各サブ領域の前記統計量を参照して、前記条件を設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記撮影画像に対して平滑化処理を行う平滑化処理部を備え、
   前記統計処理部は、前記平滑化処理の施された前記撮影画像を用いて前記統計処理を行う請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記特定部にて特定された画素を特定画素とすると、
   前記抽出部は、（ａ）撮影画像の上辺を構成する画素ごとに、当該画素から上辺と直交する方向に並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第１探索処理と、（ｂ）撮影画像の下辺を構成する画素ごとに、当該画素から下辺と直交する方向に並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第２探索処理と、（ｃ）撮影画像の左辺を構成する画素ごとに、当該画素から左辺と直交する方向に並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第３探索処理と、（ｄ）撮影画像の右辺を構成する画素ごとに、当該画素から右辺と直交する方向に並んでいる画素列の中から当該画素に最も近い位置にある特定画素を探索する第４探索処理と、（ｅ）前記第１〜第４探索処理にて抽出された特定画素を輪郭として、この輪郭および輪郭に囲まれている領域を、前記撮影対象領域として抽出する抽出処理とを実行することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 撮影部と、請求項１から６のいずれか１項に記載の画像処理装置とを備えたことを特徴とする撮影装置。
8. コンピュータを、請求項１から６のいずれか１項に記載の画像処理装置の各部として機能させるプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images