JP4358193B2 - 画像対象の自動切抜き方法 - Google Patents

Description

本発明は、画像処理方法に関し、特に、画像対象の自動切抜き方法に関する。

現代の暮らしにおいて、スキャナはすでにかなり普及しており、企業での文書の整理や、個人が名刺や写真等を整理する際の重要なツールとなっている。しかし、目下のスキャナには、画像対象（走査済みの写真、文書、名刺など）を切り抜く際に、大部分のスキャナソフトが自動的に複数の画像対象を切り抜くことができず、単一の切抜き機能しか提供できないという大きな問題が存在する。

写真を例にあげると、ユーザが６枚の写真を走査してファイルしたい場合、一度に６枚の写真を走査すると（例えば、Ａ４サイズの紙一枚に６枚の写真をおく）、システムは自動的に６枚の写真を６つの独立な画像ファイルとして切り抜くことができず、同時に６枚の写真を表示するしかない。ユーザが６枚の写真をそれぞれ表示したい場合は、手動で各写真を切抜くか、各写真を一枚ずつ走査するかの二つの方法しかなく、いずれの方法もかなり時間がかかり面倒である。

つまり、従来のスキャナソフトでは、単一の画像対象を自動切抜きするか、手動で複数の画像対象を切抜くかしかできず、かつ定義（画定）できる単一対象画像は四辺形、つまり４点で構成される包囲領域、もしくは４本の直線が構成する包囲領域でなければならない。

しかも、従来の自動切抜き方法は、その他の欠点があり、画像対象の色と背景の色が近い場合に、画像対象の縁部についての判断に誤差が生じるので、切抜かれた画像対象の大きさもしくは内容が、元のものと異なることがある。さらに、画像角度に傾きがあるときは、自動修正できないので、往々にして切抜きの後で手動で角度を修正する必要があるなど、かなり不便である。

そこで、新たな画像対象処理方法により上記の問題を解決する必要がある。

本発明は、上記の従来の欠点に鑑みてなされたものであり、複数の画像対象を自動切抜きできる画像対象の自動切抜き方法を提供することを目的とする。

本発明は、画像対象の色と背景の色の差異がある程度を超えないとき、画像対象が含む範囲をはっきりと判別して、誤判しない画像対象の自動切抜き方法を提供することをもう一つの目的とする。

本発明は、対象を走査する際に、傾きの角度を自動修正できる画像対象の自動切抜き方法を提供することを、さらに別の目的とする。

上記の目的を達成するために、本発明に係る画像対象の自動切抜き方法は、対象輪郭検出ステップと、画像分割ステップと、画像合併ステップと、を含む。このうち、上記の対象輪郭検出ステップは、モディファイラプラシアンコンツア検出器（Modified Laplacian Contour Detector）を利用して画像対象の輪郭を検出し、二値化画像を生成する。画像分割ステップは、コネクティドコンポーネンツアルゴリズム（Connected Components Algorithm）により前記二値化画像を、一つの背景領域と複数の非背景領域とに分ける。画像合併ステップは、これら非背景領域から距離が近いものを大から小の順に合併を行い、領域の合併が合理的であるか否か判断して画像対象を切抜く。

上記対象輪郭検出ステップは、（１）各画素点について、該画素点のグレースケールから隣接する８個の画素点のグレースケールを引いて該画素点と隣接する画素点のグレースケールの差異値を求め、（２）前ステップにおいて求められた差異値に基いて、全ての正の差異値を加算して「正差異値総和」を求め、かつ全ての負の差異値を加算して「負差異値総和」を求め、（３）前記画素点のグレースケールを、その正負が「正差異値総和」と「負差異値総和」の絶対値がより大きい方と同様であり、かつその大きさが「正差異値総和」と「負差異値総和」の両者の絶対値の和になるように調整する。

上記画像合併ステップは、非背景領域において互いの距離が所定の閾値より小さいものをそれぞれ第１群に合併する第１合併ステップと、距離がより近い上記第１群を大から小の順にそれぞれ第２群に合併する第２合併ステップとを含む。

上記画像合併ステップは、さらに前記第２群が画像対象であるか否かを決めるステップを含む。

上記第２合併ステップは、さらに（ａ）各第１群を未処理と標示し、（ｂ）最大の第１群を選んで第３群とし、（ｃ）その他未処理の第１群から一つを選んで第４群とし、（ｄ）第３群と第４群を合併し、（ｅ）判断ステップを実行して、上記第３群と第４群の合併が合理的であるか否かを判断し、（ｆ）上記の合併が合理的であれば、第４群を第３群に編入して、かつ第４群を消去してステップ（ｃ）へ戻り、不合理的であれば、直接ステップ（ｃ）へ戻り、（ｇ）第３群を処理済と標示してステップ（ｂ）へ戻り、各第１群が全て処理されるまで繰り返す、などのサブステップを含む。

前段落のステップ（ｅ）の判断ステップは、以下のサブステップを含む。第３群と第４群を合併して第５群を形成し、座標軸を回転して上記第５群を軸に対して投射し、異なる回転角度から最良の回転角度および最小の長方形を求め、この長方形の長さと幅が所定の長さおよび幅と符合しないときは、上記第３群と第４群の合併が不合理的であることを表す。

本発明は、画像対象の回転角度の修正方法であって、異なる回転角度で座標軸を回転させ、画像対象を軸に対して投射し、異なる回転角度から最良の回転角度および最小の長方形を求め、この最良の回転角度を画像対象の回転角度とする。

上記の方法により、複数の画像対象を自動切抜きできるだけでなく、従来と違って、背景の色と対象の色との差異がある程度超えなくてはならない必要がない。しかも、画像対象が傾斜に配置されるときでも、修正できる。したがって、本発明の画像対象の自動切抜き方法は、多くの優れた特徴を有し、この分野での先駆者とするに足る。

以下に、本発明を実施するための最良の形態について図面を参照して説明する。

図１Ａは、本発明に係る画像対象の自動切抜き方法のフローチャートである。図１Ａに示すように、本発明に係る画像対象の自動切抜き方法は、対象輪郭検出ステップ１０１、画像分割ステップ１０２および画像合併ステップ１０３を含む。このうち、対象輪郭検出ステップ１０１は、モディファイラプラシアンコンツア検出器により画像対象の輪郭を検出して二値化画像を生成する。画像分割ステップ１０２は、コネクティドコンポーネンツアルゴリズム（ＣＣＡ）により上記二値化画像を一つの背景領域と、複数の非背景領域とに分ける。画像合併ステップ１０３は、これら非背景領域において距離がより近いものを大から小の順に合併して合理的であるか否かを判断して画像対象を切抜く。

図１Ｂは、前述の方法を説明するための図である。図に示すように、画像１０４は複数の領域１０５〜１１１を含む。対象輪郭検出ステップ１０１の作用によって領域１０５〜１１１が二値化の方式で表示される。また、画像分割ステップ１０２の作用により、領域１０５〜１１０が非背景領域と定義され、領域１１１は背景領域と定義される。次に、画像合併ステップ１０３の作用により、領域１０５〜１１０が大から小の順に合併され、その合併が合理か不合理かを判断する。全ての非背景領域が合理的に合併されたのち、正確な画像が得られる。本実施例において、合併してから群１０５と１０６になる領域１０５と１０６は、最終的に元の画像対象に符合する画像対象と判断される群１１２になるよう合併され、合併してから群１０７〜１１０になる領域１０７〜１１０は、最終的に元の画像対象に符合する画像対象と判断される群１１３になるよう合併される。

以下、図面を参照して上記の対象輪郭検出ステップ１０１、画像分割ステップ１０２および画像合併ステップ１０３について、さらに詳細に説明をする。以下に述べる図面と図１Ａおよび図１Ｂを交互に参照することで、本発明の技術特徴がよりはっきり理解できる。

図２は、本発明の対象輪郭検出ステップ１０１の詳細な手順を表す。図２に示すように、対象輪郭検出ステップ１０１は、各画素点について、該画素点のグレースケールから隣接の８個の画素点のグレースケールを引いて得られた該画素点と隣接の８個の画素点のグレースケールの差異値を求めるステップ２０１と、前ステップにおいて得られた差異値に基き、全ての正の差異値を加算して「正差異値総和」を求め、かつ全ての負の差異値を加算して「負差異値総和」を求めるステップ２０２と、該画素点のグレースケールを、その正負が「正差異値総和」と「負差異値総和」における絶対値がより大きい方と同じであり、かつその大きさが「正差異値総和」と「負差異値総和」の両者の絶対値の和となるよう調整するステップ２０３とを含む。このステップの目的は、画像を判別しやすいため、画像輪郭のエッジを強化することにある。

図３は、画像分割ステップ１０２の詳細な手順を表す。該画像分割ステップ１０２は、図１Ｂにおける画像の背景領域１１１を検出するステップ３０１と、図１Ｂにおける画像の非背景領域１０５〜１１０を検出するステップ３０２と、上記検出された背景領域および非背景領域をそれぞれ定義するステップ３０３と、を含む。注意すべきは、画像分割ステップ１０２は、従来の技術であるＣＣＡ処理により完成するが、ＣＣＡ処理は周知技術であるのでここではその原理について特に述べない。

図４Ａは、画像合併ステップ１０３の詳細な手順を表す。この詳細な手順は、非背景領域における互いの距離が所定の閾値より小さいものをそれぞれ第１群に編入するよう合併する第１合併ステップ４０１と、距離がより近い第１群をそれぞれ大から小の順で合併して第２群とし、かつ前述の合併が合理的であるか否かを判断して全ての第１群が合理的に合併されるまで繰り返される第２合併ステップ４０２とを含み、前記第１合併ステップ４０１と第２合併ステップ４０２の原理は後述する。

なお、前記第１合併ステップ４０１と第２合併ステップ４０２以外、前記第２群が画像対象であるか否かを決めるステップ４０３を含んでもよい。

図４Ｂは、上記ステップ４０１〜４０３の作用結果を説明するための図である。図に示すように、画像群４０４と画像群４０５はそれぞれ写真を走査してなる画像対象であるが、画像群４０４の領域は密集しており、画像群４０５の領域は分散している。従って、第１合併ステップ４０１の作用により、画像群４０４の複数の領域は一つの第１群４１２になるよう合併され、画像群４０５の複数の領域は複数の第１群４０６〜４０９になるよう合併される。

次に、第２合併ステップ４０２において、第１群４０６〜４０９と第１群４１２の合併を試み、かつその合併が合理的であるか否かを判断する。この合併過程は大から小の順に合併を行う。上記合併の過程および合理性についての判断の詳細な原理は後述する。本実施例において、第１群４１２自身が一つの完全な画像対象（一つの写真もしくは名刺）であるので、第１群４１２と他の第１群との合併が合理的でないと判断され、該第１群４１２を処理済みと標示して処理を行わないものとする。次に、第１群４０６および４０７を第２群４１０になるよう合併して、続いて第２群４１０を第１群４０８、４０９と合併する。このようにして、各第１群が全て合理的に合併されるまで繰り返す。最後に、完全な第２群４１１と第１群４１２（このときには、第２群となる）が生成され、この第２群４１１および第１群４１２がユーザが求める完全な対象である。そして、ステップ４０３において、各第２群は画像対象であるか否かを判断する。

図５は、本発明の第２合併ステップ４０２の好ましい実施例のフローチャートを示す。本発明をさらに詳細に理解するために、図４Ｂおよび図５を交互に参照されたい。

ステップ５０１において、図４Ｂにおける第１群４０６〜４０９および第１群４１２を全て未処理と標示する。ステップ５０２において、最大の第１群を選択して第３群とする。ステップ５０３において、その他の未処理の第１群から一つを選択して第４群とする。図４Ｂの例においては、第１群４１２を選択して第３群とし、第１群４０６を選択して第４群とする。

次に、ステップ５０４において第３群４１２と第４群４０６が合併される。続いて判断ステップ５０５において、第３群４１２と第４群４０６の合併が合理的であるか否かを判断する。その合併が合理的であれば、ステップ５０６に進み、第４群４０６を第３群４１２に編入して第２群とし、かつ第４群４０６を消去する。次にステップ５０７に進み、つまりステップ５０３に戻る。一方、その合併が不合理的であれば、直接ステップ５０５からステップ５０７に進み、つまりステップ５０３に戻る。第３群４１２が全てのその他第１群との合併を試みるまでこのサイクルを続ける。続いて、ステップ５０８に進み、第３群４１２を処理済みと標示して、ステップ５０２に戻り、全ての第１群の処理が完了するまで繰り返す。

つまり、図４Ｂの例において、まず最大の第１群４１２を選択して第３群とし、それからその他の第１群４０６〜４０９から一つ（仮に第１群４０６とする）を選んで第４群とし、さらに第３群４１２と合併して第５群とする。そして、第３群４１２と第４群４０６の合併が合理的であるか否かを判断する。その合併が合理的であれば、第４群４０６を第３群４１２に編入して、残りの第１群４０７〜４０９の中から一つを選んで第４群とし、そして第３群４１２と合併して第５群とする。一方、その合併が不合理的であれば、第４群４０６を処理せずに、残りの第１群４０７〜４０９から一を選択して第４群とし、第３群４１２と合併する。第３群となる第１群４１２を、順に第１群４０６〜４０９のそれぞれと合併を試みた後、第１群４１２を処理済みと標示する。そして、第１群４０６〜４０９からさらに一つを選択して第３群とし、上述のように合併および判断ステップを行う。

本実施例においては、第３群４１２と全てのその他第１群との合併が不合理的であるので、第３群４１２はそのまま変更しない。続いて、二番目に大きい第１群４０６を選択して第３群とする。そして、第１群４０７を選択して第４群とし、第３群４０６と合併する。その合併は合理的であると判断されるので、第４群４０７と第３群４０６は合併されて第２群４１０となる。そして、第２群４１０を第３群として、さらに第１群４０８との合併を試みる。以上のステップは、全ての第１群が合理的に第２群として合併されるまで繰り返し行われる。また、合併が合理的であるか否か判断する手順および原理は、後述する。

第２合併ステップ４０２の主要な目的は、適切に走査されなかった画像対象に対して完全な画像対象を形成するよう補償することである。上述のように、画像群４０４と画像群４０５は、本来二枚の完全な写真（または名刺）であるが、判読上のエラーにより、画像群４０５が不完全な画像群となる。本発明の第２合併ステップにより、前記画像群４０５は完全な画像対象に復元できる。

図６Ａは、本発明による合併が合理的であるか否かを判断するための回転投射ステップの詳細な手順を表す。

図６Ａに示すように、投射ステップは、異なる角度で座標軸を回転して画像対象、例えば上記第５群、を軸に対して投射するステップ６０１と、最小の投射長さと最小の長方形を得るステップ６０２と、最小の長方形と所定の長さおよび幅とを比較して、所定の長さおよび幅より大きければ、その合併は不合理であると判断し、所定の長さおよび幅と同じもしくは小さければ、その合併が合理的であると判断するステップ６０３とを含む。

図６Ｂは、図６Ａに示す回転投射ステップを説明するための図である。軸６０７〜６１０は異なる回転角度で回転する座標軸を示している。画像群６０６の幅６１２は軸６０７〜６１０でそれぞれ異なる投射長さＬ１〜Ｌ５をもつ。このうち、幅６１２と平行な軸６０７上に最小の投射長さＬ１（つまり幅６１２と同じ長さ）を有する。このようにして、幅６１２の長さおよび画像対象の回転角度６１１を求めることができる。この方法で、画像対象の合併が合理的であるか否かが判断できるだけでなく、画像対象の回転角度を定義することができる。よって、対象を走査する際に、きっちり配置せずに傾きが生じても、修正することができる。

注意すべきは、上述の第２合併ステップおよび判断ステップは本発明が提示する実施例に限られない。この分野の通常の知識を有する者であれば、各種の周知技術を用いて同じ効果を得ることができるものは、本発明の範囲に属する。また、本発明はスキャナを利用して得られた画像対象に限らず、カメラもしくはその他機材により得られた画像対象にも応用できる。

以上、本発明の実施例を図面を参照して詳述してきたが、具体的な構成は、この実施例に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても、本発明に含まれる。

本発明に係る画像対象の自動切抜き方法を説明するフローチャートである。 図１Ａに示す方法を説明するための図である。 本発明の対象輪郭検出ステップの詳細な手順を表すフローチャートである。 本発明の画像分割ステップの詳細な手順を表すフローチャートである。 本発明の画像合併ステップの詳細な手順を表すフローチャートである。 図４Ａにおける各ステップの作用結果を説明するための図である。 本発明の第２合併ステップの実施例のフローチャートである。 本発明の回転投射ステップの詳細な手順を表すフローチャートである。 図６Ａに示す回転投射ステップを説明するための図である。

符号の説明

１０４ 画像
１０５〜１１０ 非背景領域
１１１ 背景領域
１１２，１１３ 群
４０４，４０５ 画像群
４０６ 第１群、第３群、第４群
４０７ 第１群、第４群
４０８〜４０９ 第１群
４１０、４１１ 第２群
４１２ 第１群、第３群
６０６ 画像群
６０７〜６１０ 軸
６１１ 回転角度
６１２ 幅
６１３ 長さ

Claims (10)

1. モディファイラプラシアンコンツア検出器により画像対象の輪郭を検出して二値化画像を生成する対象輪郭検出ステップと、
   コネクティドコンポーネンツアルゴリズムにより前記二値化画像を一の背景領域と複数の非背景領域に分ける画像分割ステップと、
   前記複数の非背景領域において距離がより近いものを、大から小の順に合併して、画像の合併が合理的であるか否かを判断して画像対象を切抜く画像合併ステップと、
   を含む画像対象の自動切抜き方法において、
   前記対象輪郭検出ステップが、
   各画素点について、前記画素点のグレースケールから隣り合う８個の画素点のグレースケールを引いて前記画素点と隣り合う８個の画素点のグレースケールの差異を求め、
   前記グレースケールの差異値が正であるものを全て足して正差異値総和を求め、前記グレースケールの差異値が負であるものを全て足して負差異値総和を求め、
   前記画素点のグレースケールを、その正負が正差異値総和と負差異値総和における絶対値がより大きい方と同じく、その大きさが正差異値総和と負差異値総和の両者の絶対値の和になるよう調整する、
   ことを特徴とする画像対象の自動切抜き方法。
2. 前記画像合併ステップが、
   前記非背景領域において互いの距離が所定の閾値より小さいものをそれぞれ第１群に合併する第１合併ステップと、
   距離がより近い前記第１群を大から小の順にそれぞれ第２群に合併する第２合併ステップと、
   を含むことを特徴とする請求項１に記載の画像対象の自動切抜き方法。
3. 前記画像合併ステップがさらに、前記第１合併ステップおよび前記第２合併ステップの後、前記第２群が画像対象であるか否かを決めるステップを含む、
   ことを特徴とする請求項２に記載の画像対象の自動切抜き方法。
4. 前記第２合併ステップが、
   （ａ）全ての前記第１群を未処理と標示し、
   （ｂ）最大の前記第１群を選択して第３群とし、
   （ｃ）その他未処理の前記第１群から一を選択して第４群とし、
   （ｄ）前記第３群と前記第４群とを合併し、
   （ｅ）前記第３群と前記第４群の合併が合理的であるか否かを判断する判断ステップを実行し、
   （ｆ）ステップ（ｅ）の合併が合理的であれば、前記第４群を前記第３群に編入し、かつ前記第４群を消去してステップ（ｃ）に戻り、その合併が不合理的であれば、直接ステップ（ｃ）に戻り、このステップは各第１群が前記第３群との合併を試みるまで繰り返し、
   （ｇ）前記第３群を処理済と標示してステップ（ｂ）に戻り、このステップは各第１群が処理されるまで繰り返す、
   ことを特徴とする請求項２に記載の画像対象の自動切抜き方法。
5. 前記判断ステップが、
   前記第３群と前記第４群を第５群に合併するステップと、
   座標軸を回転させて前記第５群を軸に対して投射するステップと、
   異なる回転角度から最良の回転角度および最小の長方形を求めるステップとを含み、前記長方形の長さと幅が所定の長さおよび幅に符合しないときは、前記第３群と前記第４群の合併が不合理的であること示す、
   ことを特徴とする請求項４に記載の画像対象の自動切抜き方法。
6. 前記画像合併ステップが、
   前記非背景領域において互いの距離が所定の閾値より小さいものをそれぞれ第１群に合併する第１合併ステップと、
   距離がより近い前記第１群を大から小の順にそれぞれ第２群に合併する第２合併ステップと、
   を含むことを特徴とする請求項１に記載の画像対象自動切抜き方法。
7. 前記画像合併ステップがさらに、前記第１合併ステップおよび前記第２合併ステップの後、前記第２群が画像対象であるか否かを決めるステップを含む、
   ことを特徴とする請求項６に記載の画像対象の自動切抜き方法。
8. 前記第２合併ステップが、
   （ａ）全ての前記第１群を未処理と標示し、
   （ｂ）最大の前記第１群を選択して第３群とし、
   （ｃ）その他未処理の前記第１群から一を選んで第４群とし、
   （ｄ）前記第３群と前記第４群とを合併し、
   （ｅ）前記第３群と前記第４群の合併が合理的であるか否かを判断する判断ステップを実行し、
   （ｆ）ステップ（ｅ）の合併が合理的であれば、前記第４群を前記第３群に編入し、かつ前記第４群を消去してステップ（ｃ）に戻り、その合併が不合理的であれば、直接ステップ（ｃ）に戻り、このステップは各第１群が前記第３群との合併を試みるまで繰り返し、
   （ｇ）前記第３群を処理済と標示してステップ（ｂ）に戻り、このステップは各第１群が処理されるまで繰り返す、
   ことを特徴とする請求項６に記載の画像対象の自動切抜き方法。
9. 前記判断ステップが、
   前記第３群と前記第４群を第５群に合併するステップと、
   座標軸を回転させて前記第５群を軸に対して投射するステップと、
   異なる回転角度から最良の回転角度および最小の長方形を求めるステップと、
   を含み、前記長方形の長さと幅が所定の長さおよび幅に符合しないときは、前記第３群と前記第４群の合併が不合理的であること示す、
   ことを特徴とする請求項８に記載の画像対象の自動切抜き方法。
10. 各画素点について、前記画素点のグレースケールから隣接の８個の画素点のグレースケールを引いて前記画素点と隣接する８個の画素点とのグレースケールの差異を求め、
    前記グレースケールの差異値が正であるものを全て足して正差異値総和を求め、前記グレースケールの差異値が負であるものを全て足して負差異値総和を求め、
    前記画素点のグレースケールを、その正負が正差異値総和と負差異値総和における絶対値がより大きい方と同じく、その大きさが正差異値総和と負差異値総和の両者の絶対値の和になるよう調整する、
    ことを特徴とする画像対象の輪郭検出方法。

Images