JP3883696B2 - 多数の写真をスキャンしかつ検出するとともに人工エッジを除去するための方法 - Google Patents
多数の写真をスキャンしかつ検出するとともに人工エッジを除去するための方法 Download PDFInfo
- Publication number
- JP3883696B2 JP3883696B2 JP12516798A JP12516798A JP3883696B2 JP 3883696 B2 JP3883696 B2 JP 3883696B2 JP 12516798 A JP12516798 A JP 12516798A JP 12516798 A JP12516798 A JP 12516798A JP 3883696 B2 JP3883696 B2 JP 3883696B2
- Authority
- JP
- Japan
- Prior art keywords
- photo
- image
- photos
- photograph
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
- H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
- H04N1/00816—Determining the reading area, e.g. eliminating reading of margins
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0416—Performing a pre-scan
Description
【０００１】
【発明の属する技術分野】
本発明は、概して写真の走査（スキャン）を行う分野に関し、特に、焼付けを行う前に複数の人工エッジ（edge artifacts）を除去するために、スキャナ・プラテン（scanner platen）上に載置された写真の数および傾斜（skew）角度の検出を行い、デジタル画像の傾斜修正およびトリミングを行うものである。
【０００２】
【従来の技術】
図１に示すように、ユーザ１０が、スキャナ１１により写真１２をコピーしたい場合には、ユーザは、最初に、スキャナ・プラテン１４上に写真１２を頂部スライド部１６および側部スライド部１８に押し付けて置かなければならない。その後で、ユーザ１０は、入力スクリーン２１上で、４ｘ６、５ｘ７等のような写真サイズを選択しなければならない。ＡＰＳ写真フォーマットに関連するサイズを選択するための別のスクリーンも用意されている。画像を焼き付ける前、または画像をディスクにセーブする前に、スキャナ上の原点１９から固定サイズの高解像度のスキャンが行われる。この方法は、多くの商業上の製品について用いられている。
【０００３】
このモードの動作についてはいくつかの問題がある。第一の問題は、ユーザは、スキャナ上の原点のところに正しく整合させて一枚の写真をうまく置かなければならないことである。原点のところに画像が正確に置かれないと、走査領域内に画像全体が納まらず、デジタル化した画像が一つまたはそれ以上のエッジに沿って、図２に示す人工エッジ２０とも呼ばれるスキャナのプラテンの一部を含むことになる。上記人工エッジは、顧客のプリントから除去しなければならない。ある種のスキャナは、上記人工エッジを除去するために、水平または垂直エッジに沿った走査領域をトリミングするためのロジックをソフトウェアに内蔵している。しかし、画像が回転していると、上記ソフトウェアは、図３に示すように、画像ラインに沿った人工エッジ２２を除去しない。また、ユーザが数枚の写真を走査してそれら画像をディスクにセーブしたい場合には、一度に一つの画像しか処理することができず、効率が悪い。
【０００４】
【発明が解決しようとする課題】
本発明の一つの目的は、人工エッジを除去するために多数の写真を走査し、それら写真の数、位置および傾斜角度を決定し、画像のトリミングを行うための方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明の一つの特徴は、スキャナ・プラテン上に複数の写真を置くことである。複数の低解像度の画像を作るために、上記複数の写真に対して低解像度走査が行われる。複数の多角形が作られ、各多角形は少なくとも一つの低解像度の画像を含む。多角形の数が決定されるとともに、写真の数と比較される。多角形の数が写真の数より少ない場合には、重なりあった写真を分離するために置き場所の変更が行われ、低解像度走査が繰り返して行われる。各写真の傾斜角度および位置の決定が行われる。第一の写真が選択されるとともに、この第一の写真が高解像度で走査され、高解像度の画像が作成される。高解像度の画像は、傾斜修正（deskew）が行われ、人工エッジを除去するためにトリミングが行われる。
【０００６】
本発明の一つの利点は、スキャナ・プラテン上の各写真の位置または向きがどのようになっていても、複数の写真を走査することができることである。
【０００７】
【発明の実施の形態】
図１は、写真を走査するための従来技術のシステムのブロック図である；
図２は、人工エッジを示す従来技術のシステムのブロック図である；
図３は、傾斜配置された写真、走査画像およびプリントした写真上に結果として現れる人工エッジを示す従来技術のシステムのブロック図である；
図４は、写真の位置を自動的に検出し、サイズおよび傾斜角度を修正し、人工エッジを除去するための本発明によるシステムのブロック図である；
図５は、スキャナ・プラテンの表面上の複数の写真を示した概略図である；
図６は、写真を検出するためのシステムのブロック図である；
図７は、画像の閾値を決めるためのシステムのブロック図である；
図８は、階調強度を計算するためのテーブルを示した図である；
図９は、輪郭多角形抽出のフローチャートである；
図１０は、本発明の好適な実施形態で使用する輪郭ピクセル検出方法のフローチャートである；
図１１（ａ）、図１１（ｂ）および図１１（ｃ）は、それぞれ、３ｘ３ビットマップ・パターンから索引表を生成する図であり、３ｘ３ビットマップを索引表の入力に変換する図であり、索引表を使用するコマンドを生成する図である；
図１２（ａ）〜図１２（ｈ）は、８つの左エッジ検出装置の定義を示し、ここで、０＝白色ドット、１＝黒色ドット、Ｘ＝無視する値である；
図１３（ａ）〜図１３（ｈ）は、８つの右エッジ検出装置の定義を示し、ここで、０＝白色ドット、１＝黒色ドット、Ｘ＝無視する値である；
図１４は、表１の規則に基づくエッジの組み合わせによるテンプレート３ｘ３マトリックスで示した図である；
図１５（ａ）〜図１５（ｄ）は、表１の規則により生成されたテンプレート・コマンドの例を示す図である；
図１６（ａ）は方向を規定するチェーン・コード・グラフ、図１６（ｂ）はチェーン・コードの代表的な多角形ベクトルへの変換の一例を示す図である；
図１７は、スキャナ・プラテン上に傾斜配置された写真の概略図である；
図１８は、写真の位置、サイズおよび傾斜角度の計算を示したブロック図である；
図１９は、写真の傾斜角度、頂部境界および底部境界の検出を示したブロック図である；
図２０は、一番上の交点および一番下の交点の集合を示す図である；
図２１は、隣接交点間の垂直距離を示したヒストグラムである；
図２２は、最も左の交点および最も右の交点の集合を示す図である；
図２３は、写真の左右の境界の検出を概略的に示すフローチャートである；
図２４は、傾斜修正およびトリミング動作を示す概略図である。
理解し易いように、同様の要素にはできる限り同じ参照符号を使用してある。
【０００８】
図４について説明すると、この図は、その全体を参照符号３０で示す写真の傾斜角度を検出しかつ修正するためのシステムの主要な構成部材および処理段階のブロック図である。各ブロックの動作については、以降の図面を参照しながら、以下に詳細に説明する。
【０００９】
走査対象の多数の写真は、ブロック３２のスキャナのプラテン上に置かれる。上記写真の低解像度の走査は、ブロック３４で完了し、写真はブロック３６で検出され、写真の数は、ブロック３８で決定される。ブロック４０において、写真が重なりあっているかどうかの判断が行われる。写真が重なっている場合には、重なりあっている部分があるとの注意４２がオペレータに与えられ、写真が再配置される。写真が重なりあっていないと判断された場合には、ブロック４４において、写真検出の結果がタッチ・スクリーン上に表示される。オペレータは、ブロック４６において、上記スクリーンに触れて所望の写真を選択する。ブロック４８において、その写真のマッピング座標が計算され、ブロック５０において、所望の写真が高解像度で再走査される。ブロック５２において、デジタル化された画像の傾斜修正が行われ、ブロック５４において、人工エッジが除去される。その後、ブロック５６において、写真はプリントもしくは記憶される。
【００１０】
図５は、スキャナ・スライド部１６および１８、または走査原点１９とは無関係に、スキャナ・プラテン１４上にランダムに置かれた一組の写真１２を示している。例えば、９０ＤＰＩ（１インチ当たりのドット数）の低解像度の走査は、スキャナ・プラテン１４の表面全体にわたって行われ、その結果、低解像度のグレイスケール画像が作られる。
【００１１】
図６は、写真の検出についてさらに詳細に示している。低解像度グレイスケール画像５８に対して、閾値処理動作６０が行われる。これについては後でさらに詳細に説明するが、その結果、二進画像６１が得られる。その後、輪郭ベクトル化プロセス７０が実行され、それにより写真３８の数が検出される。各写真の位置、傾斜角度、幅および高さは、ブロック７８において検出される。
【００１２】
図７は、閾値処理と呼ばれるグレイスケール画像から二進画像への変換を示す。ブロック６２において、０〜２５５の数値の範囲で各ピクセルの輝度（intensity）が決定される。その後、上記輝度は、例えば、２３０というような設定値ＩＴと比較される。上記輝度がＩＴより低い場合には、ピクセルは黒であると判断される。
【００１３】
上記輝度がＩＴより高い場合には、そのピクセルに対する傾斜強さが、ブロック６４において計算される。ピクセル（ｉ，ｊ）の傾斜強さは、中心がピクセル（ｉ，ｊ）付近にある複数のピクセルのウィンドウ上で、いわゆる「ソーベル（Sobel）」傾斜オペレータを使用することにより決定される。図８に示すように、マトリックス８０は、その中心がピクセル（ｉ，ｊ）周りにある３ｘ３のウィンドウである。下記式（１）〜（３）内に集合的に定義するように、ソーベルオペレータは、各ピクセル位置（ｉ，ｊ）およびＧＹ（ｉ，ｊ）に対して水平および垂直ピクセル輝度傾斜ＧＸ（ｉ，ｊ），ＧＹ（ｉ，ｊ）に基づいて計算を行い、また傾斜強さを形成する各ピクセル位置（ｉ，ｊ）に対してＧＸ（ｉ，ｊ）およびＧＹ（ｉ，ｊ）の絶対値の合計として傾斜強さＧ（ｉ，ｊ）を形成する。
ここで、Ｇ（ｉ，ｊ）は、ピクセル位置（ｉ，ｊ）での傾斜強さである。図７について再び説明すると、数値Ｇ（ｉ，ｊ）は、ブロック６６において、例えば、５０というような定数ＧＴと比較される。Ｇの数値がＧＴより大きい場合には、ピクセルは黒であると判断される。このプロセスは、各ピクセル毎に完了するまで行われる。
【００１４】
図９を参照しながら、輪郭ベクトル化プロセス７０をさらに詳細に説明する。確立した変換数値により、輪郭ピクセルを検出しかつピクセル値を割り当てるために、二進画像６１が処理される。ブロック・ラベル９０で示す割当関数は、二進画像上を進む３ｘ３ピクセル・ウィンドウを使用して一度に一つのピクセル列に対して実行される。画像の輪郭を表すピクセルは、ブロック９２によって表されるベクトルに変換される。ベクトルのセグメントは、ボックス９４のへ入力として送られる。ボックス９４は、走査画像の輪郭を表す一つまたはそれ以上の多角形を形成するために複数のベクトルの端と端とを正しく接続する機能を表す。要するに、上記の動作、すなわち、輪郭のベクトル化は、二進画像を傾斜検出、ライン検出または画像登録技術のような写真認識システムまたは技術において役に立つ簡単な多角形の集合に変換するものである。
【００１５】
図１０について説明すると、この図は、図９の輪郭ピクセル検出ブロック９０が行う機能を詳細に示した図である。輪郭ピクセルを検出するための好適な方法論として、上記の二進画像６１である走査機能の出力とともに、写真の走査により得た３ｘ３ビットマップを用いる。この３ｘ３ビットマップは、写真上でウィンドウが走査される一瞬の間に、３ｘ３ウィンドウ内に含まれる９のピクセル値を表す。機能ボックス１０２に示すように、各３ｘ３ビットマップは、０〜５１１の範囲内の数値を持つ整数にコード化される。結果として得られた整数値は、索引表１０４への入力として使用される。索引表を用いる技術は、計算効率が高いので望ましい技術である。索引表は、後で詳細に説明する「テンプレート・コマンド」を出力する。この出力は、機能ボックス１０６に入力されるが、このボックスは、命令されたシーケンスで、テンプレート・コマンドを実行することにより、輪郭ピクセルを抽出する機能を表す。各出力輪郭ピクセルは、三つの分類、すなわち、最大点、最小点または境界点の一つに割り当てられる。
【００１６】
本発明の３ｘ３ビットマップからの、出力テンプレート・コマンドの形成についての詳細は、図１１（ａ）〜図１１（ｃ）のところで説明する。図１１（ａ）は、ＡからＩまでの九つのセルを含む３ｘ３ウィンドウを概略的に示す。周知のように、二進法システムにおいては、一つのセル内の一つのビットは、１または０どちらかの数値を取ることができる。図１１（ｂ）は、このことを特定の例により示す。ＡからＩまでのビットは、９ビットの一つの整数を形成するように特定の順序で配列されている。すでに説明したように、本発明の好適な実施形態においては、この９ビットの整数の数値は、０〜５１１の範囲内にある。その後、この整数は、図１１（ｃ）に示すように、関連テンプレート・コマンドを出力するために索引表１０４にアドレスする入力番号として使用される。
【００１７】
図１２（ａ）〜図１２（ｈ）について説明すると、これら図においては、八つの左エッジの検出部に使用されている定義は、エッジのタイプＬ０〜Ｌ７を定義するためのものである。これら数字の中、０は白色ドットを示し、１は黒色ドットを示し、Ｘは白または黒どちらかであって、システムが無視することができるドットを表す。図１２（ａ）の３ｘ３マトリックスを調べてみると、二つの隣接する１のビットは、水平で、隣接する二つの０ビットに平行とされている。このビット・パターンが表すエッジの向きは、水平であって左に向かって延びている。分かりやすくするためにエッジの向きをエッジの向きを示す矢印の方向を制御する０ビット（白色ドット）の位置の矢印により表す。エッジタイプＬ０の場合、エッジタイプＬ４と同じであるが、反転しており矢印は水平であり、反対方向を向いており、図１２（ａ）のウィンドウ内の０ビットは、１の下に位置していている。一方、図１２（ｅ）のウィンドウ内においては、０ビットが１の上に存在することに留意されたい。垂直エッジタイプＬ２およびＬ６についても、また４５度のエッジタイプＬ１、Ｌ５、Ｌ３およびＬ７についても同じことがいえることに留意されたい。図１３（ａ）〜図１３（ｈ）は、エッジタイプＲ０〜Ｒ７を表す八つの右エッジ検出装置の定義を示す。
【００１８】
表１は、各エッジタイプの組み合わせに使用するテンプレート・コマンドを示し、各組み合わせに規則番号を割り当てる。逆にいえば、各規則番号は、特定のタイプの組み合わせを識別する。
【００１９】
【表１】
【００２０】
図１４は、表１の規則に従って、エッジ組み合わせから得たテンプレートを示す。
【００２１】
表２は、特定の３ｘ３ビットマップと、その関連入力番号との関係を示す。図１３（ｂ）は、上記手順により発生した入力番号である。表２はさらに、対応する入力番号をアドレスとして索引表に適用した際の索引表２４から出力されるテンプレート・コマンドを示す。多数のビットマップ・パターンは、割当テンプレート・コマンドを持たないものであり、それ以外のビットマップ・パターンは一つ以上のテンプレート・コマンドを持つことができる。例えば、表２について説明すると、３ｘ３マトリックスの中央のセルが１であり、周囲のセルの少なくとも一つが０である場合には割当テンプレート・コマンドが存在し、そうでない場合にはコマンドの割当は行われない。
【００２２】
【表２】
【００２３】
図１５（ａ）〜図１５Ｄは、図１１（ａ）および図１１（ｂ）を用いて説明したビット割当の方法論を用いた、表入力番号３７３、１２４、１５１、および３６８に変換する四つのビット・パターンを示す。その後、各テンプレート・パターンは、どのテンプレート・コマンドをテンプレート・パターンに適用すべきかを決定するために左右のエッジ検出装置に対する八つの組み合わせと比較される。
【００２４】
【表３】
【００２５】
例えば、図１５（ａ）のテンプレートは、規則番号２、５および７で示す三つの輪郭セグメントＡ、ＢおよびＣを含む。これらの規則により、テンプレート・コマンド１、３、６、５および３が得られる。テンプレート・コマンド１は、中央のセルの数値１が、左の一番上のセルの数値１を伴っているので、輪郭セグメントＡに関連する。この関連を図１６（ａ）の矢印で示すチェーン・コードの定義と比較することにより、コマンド１が得られる。同様に、中央のセル、および右の一番上のセルのビット１からコマンド３が得られる。図１５（ａ）のマトリックスの１のパターンを見れば、このマトリックスの上の二つの行の１は、１のチェーン・コードと３のチェーン・コードとを併合したものであることがわかる。上記のような併合により、コマンド６が得られる。セル数値の第三の行を見れば、新しい内側の最大輪郭点は、コマンド５となる輪郭セグメントＣに対応することが分かる。セル値の右の列を見れば、輪郭セグメントＢを識別できる。１の中央のセル値からスタートして、関連チェーン・コードは３であると導き出される。
【００２６】
走査済みの各二進画像は、エッジタイプ（Ｌ０〜Ｌ７；Ｒ０〜Ｒ７）に割り当てられるエッジおよび／またはラインを形成する多数のピクセルを有している。この識別子は、ベクトル・セグメントの方向に関連する。一組の規則に従って、各ベクトル・セグメントは、ベクトル・セグメントがある対象物の内側のエッジを形成するのか又は対象物の外側のエッジを形成するのかによって、時計方向または反時計方向のどちらかの方向に連結して、もう一つのベクトル・セグメントを形成する。図１６（ａ）は、連結したベクトル・セグメントにより表されるチェーン・コード・ストリングの一例である。表示のチェーン・コード・ストリングは、２１２１２１ １２２２２１ １１２１１１２１１ １ ３３３３３である。このチェーン・コードを図１６（ｂ）のベクトルと比較し、図１６（ａ）の方向を示す矢印を参照すると、上記チェーン・コードの最初の数字２は垂直ベクトル素子ｅとなり、該ベクトル素子ｅは、図１６（ａ）のベクトル１により表される４５度の方向に延びるチェーン・コードの第二の数字１を示すベクトル素子ｆと連結していることが分かる。ベクトル素子ｇ〜ｊについても同じことがいえる。この点において、ライン・セグメントＤは、接続しているベクトル素子の二つの終点の間の直線により形成される。
【００２７】
次のステップは、図６のブロック３８に示すように、検出した写真の数を決定することである。輪郭をベクトル化した後で、二進画像の対象物の各輪郭がトレースされ、多角形により表される。各ベクトルは、前の節で説明したプロセスに従って、その終点のｘおよびｙ座標により表される。各多角形の境界座標、幅および高さ（対象物の輪郭）は、多角形の頂点（ベクトルの終点）の座標を使用して計算される。写真多角形の識別は、単に多角形をグループ分けすることによって行われる。（より大きい多角形内に完全に含まれるより小さい多角形である）重なり合っている多角形の中の最大の多角形は、ラベルがつけられ、写真の候補として識別される。複数の多角形の候補を比較して、Ｍ個の最大の多角形候補が、所望の写真の最も外側の輪郭であると見なされる。この場合、Ｐは一回の走査において予測される写真の数であり、ユーザが適用する。写真の検出数Ｍが、ユーザが入力した写真の数Ｐより少ない場合には、スキャナ上で何枚かの写真が重なり合っていることになるので、写真を置き直さなければならない。一枚の写真であると識別された各多角形は、傾斜角度および位置を計算するためにさらに分析される。
【００２８】
図６について再度説明すると、この図のブロック７８においては、各写真の位置、傾斜角度、幅および高さの検出が行われる。図１７は、スキャナ・プラテン１４上で検出された写真に対応する画像領域８２の概略図である。
【００２９】
図１８は、各多角形の写真の寸法および傾斜角度の計算を示すブロック図である。このブロック図において、写真の形は長方形であると仮定される。このブロック図は、多角形からスタートする。図２０にさらに詳細に示すように多角形９０を処理することにより、一番上の境界線９２および一番下の境界線９３が検出され、一番上の境界線の勾配が、その写真の傾斜角度であると見なされる。上記多角形の左の境界線９４および右の境界線９５も、同様に検出される。抽出された四本のまっすぐな境界線は、選択した写真に等しい長方形を構成するのに使用される。写真の原点としての左上の隅９６は、一番上の境界線９２と左の境界線９４との交点の位置により計算される。右上の隅９７は、一番上の境界線９２と右の境界線９５との交点の位置により計算される。その後、左下の隅９８は、左の境界線９４と一番下の境界線９３との交点の位置により計算される。写真の幅は、左上の隅９６と右上の隅９７との間の距離であり、写真の高さは左上の隅９６と左下の隅９８との間の距離である。一番上の境界線および一番下の境界線の計算方法は図１９において、左の境界線および右の境界線の計算方法は図２３においてそれぞれ説明される。
【００３０】
図２０は、未知の傾斜角度で傾いている写真の多角形の一例である。同じ間隔で並んでいる一連の垂直線が、距離Ｄｘの間隔を置いて引かれる。垂直線と多角形９０との交点が決定される。最小Ｙ値および最大Ｙ値を持つ点が記録される。垂直方向でのその長さ（Ｄｙ）が、水平方向でのその長さ（Ｄｘ）よりも長いという要件を満たす一対の隣接点が、それぞれ、二組の点から削除される。
【００３１】
次に、隣接点の垂直距離の二つのヒストグラム、すなわち、頂部交点のヒストグラム（Ｈｔ（Ｄｙ））および底部交点のヒストグラム（Ｈｂ（Ｄｙ））が計算される。二つのヒストグラムのモードを、図２１に示すように、それぞれＭｔおよびＭｂで示す。勾配の決定をさらに正確にするために、Ｍｔ＋／−Ｋ値およびＭｂ＋／−Ｋ値の範囲の外側の点は、それぞれ除去される。データをより正確にするプロセスの後で、残りの頂部交点および残りの底部交点の相関係数ＣｔおよびＣｂが、それぞれ点がどの程度同一線上にあるかを評価するために計算される。上記相関係数は、以下に述べる方法で決定される。
【００３２】
これら走査線および多角形の頂部および底部ラインの間の交点は、（ｘi，ｙi）で表される。この場合、ｉ＝１，．．．，Ｎであり、Ｎは交点の数である。相関係数（ｒry）は、以下のように表される。
【数１】
【００３３】
相関係数の数値は、その定義により０と１の間の数値とされる。相関係数が１に近づくということは、これらの点が同一線上にあることを意味し、線形最小二乗法近似がこれらの点に適用されることを意味する。回転角度θSは、適合直線、ｙ＝ａ＋ｂｘの勾配（θS＝ｂ）から読み取られる。ここで、
【数２】
である。多角形の回転角度は、走査された写真の傾斜角度であると見なされる。
【００３４】
写真の形は長方形であると仮定されるので、頂部境界線および底部境界線は平行でなければならない。それ故、点が一直線上にあるかどうかの判断には、図１９および図２３に示す二つの相関係数ＣｔおよびＣｂの中の、大きい方の数値（Ｃｍ）が使用される。Ｃｍが予め定めた域値（ＴＨ）より小さい場合には、水平の境界線または不規則な境界線が検出されたことを意味する。この条件下では、傾斜角度はいつでもゼロに設定される。このことは、頂部および底部の境界線が水平に設定されることを意味する。左右の境界線の計算は、上記ステップに類似のものである。図２２の各水平交点に対してこのプロセスのブロック図が反復して実行されるとともに、図２３の左右の境界線の計算が行われる。
【００３５】
写真原点（左上の隅）が決定された後で、検出された写真の画像の大きさ（幅および高さ）および傾斜角度が、全プラテンに対する低解像度走査から計算される。図１７の画像境界座標が再調整（スケール・アップ）されるとともに、所望の高解像度走査の座標にマッピングされる。
【００３６】
所望の写真が選択されるとともに、選択された写真に対して高解像度走査が行われる。高解像度走査を行った後で、高解像度画像は、当業者にとっては周知の標準双線画像補間（standard bilinear image interpolation）により傾斜修正が行われる。
【００３７】
図２４は、画像領域の傾斜修正を行い、トリミングすことにより人工エッジを除去する方法の概略図である。画像を傾斜修正した後に、頂部、底部および側部人工エッジを容易に除去することができる。その後、画像を、当業者にとっては周知のようにディスクに記憶したり、写真としてプリントすることができる。
【００３８】
本発明を好適な実施形態を参照しながら説明してきた。しかし、通常の当業者であれば、本発明の範囲から逸脱することなしに種々の変更および修正を行うことができることを理解されたい。
【図面の簡単な説明】
【図１】 写真を走査するための従来技術のシステムを示したブロック図である。
【図２】 人工エッジを示す従来技術のシステムを示したブロック図である。
【図３】 傾斜配置された写真、走査画像およびプリントした写真上に結果として現れる人工エッジを示す従来技術のシステムを示したブロック図である。
【図４】 写真の位置を自動的に検出し、サイズおよび傾斜角度を修正し、人工エッジを除去するための本発明によるシステムのブロック図である。
【図５】 スキャナ・プラテンの表面上の複数の写真を示した概略図である。
【図６】 写真を検出するためのシステムのブロック図である。
【図７】 画像の閾値を決定するためのシステムのブロック図である。
【図８】 階調強度を計算するためのテーブルを示した図である。
【図９】 輪郭多角形の抽出を示したフローチャートである。
【図１０】 本発明の実施形態で使用する輪郭ピクセル検出方法を示したフローチャートである。
【図１１】 ３ｘ３ビットマップによる出力テンプレート・コマンドの形成を示し、それぞれ、（ａ）は３ｘ３ビットマップ・パターンから索引表への配列、（ｂ）は３ｘ３ビットマップの索引表用入力番号への変換、（ｃ）は索引表を用いた各コマンドの発生を示す概略図である。
【図１２】 左エッジ検出装置であって、（ａ）〜（ｈ）はそれぞれ８つの定義を示す図である。
【図１３】 右エッジ検出装置であって、（ａ）〜（ｈ）はそれぞれ８つの定義を示す図である。
【図１４】 表１の規則に基づく各エッジの組み合わせから発生する複数のテンプレートを３ｘ３マトリックスで示した図である。
【図１５】 表１の規則により生成されるテンプレート・コマンドを示し、（ａ）〜（ｄ）はそれぞれ異なるテンプレートパターンに対して示された図である。
【図１６】 （ａ）は方向を規定するチェーン・コード・グラフを示し、（ｂ）はチェーン・コードの代表的な多角形ベクトルへの変換の一例を示す図である。
【図１７】 スキャナ・プラテン上に傾斜配置された写真を示した概略図である。
【図１８】 写真の位置、サイズおよび傾斜角度の計算を示したブロック図である。
【図１９】 写真の傾斜角度、頂部境界および底部境界の検出を示したブロック図である。
【図２０】 一番上の交点および一番下の交点の集合を示した図である。
【図２１】 隣接交点間の垂直距離を示したヒストグラムである。
【図２２】 最も左の交点および最も右の交点の集合を示した図である。
【図２３】 写真の左右の境界の検出を概略的に示したフローチャートである。
【図２４】 傾斜修正およびトリミング動作を概略的に示したフローチャートである。
【符号の説明】
１１ スキャナ
１２ 写真
１４ プラテン
２０ 人工エッジ
【発明の属する技術分野】
本発明は、概して写真の走査（スキャン）を行う分野に関し、特に、焼付けを行う前に複数の人工エッジ（edge artifacts）を除去するために、スキャナ・プラテン（scanner platen）上に載置された写真の数および傾斜（skew）角度の検出を行い、デジタル画像の傾斜修正およびトリミングを行うものである。
【０００２】
【従来の技術】
図１に示すように、ユーザ１０が、スキャナ１１により写真１２をコピーしたい場合には、ユーザは、最初に、スキャナ・プラテン１４上に写真１２を頂部スライド部１６および側部スライド部１８に押し付けて置かなければならない。その後で、ユーザ１０は、入力スクリーン２１上で、４ｘ６、５ｘ７等のような写真サイズを選択しなければならない。ＡＰＳ写真フォーマットに関連するサイズを選択するための別のスクリーンも用意されている。画像を焼き付ける前、または画像をディスクにセーブする前に、スキャナ上の原点１９から固定サイズの高解像度のスキャンが行われる。この方法は、多くの商業上の製品について用いられている。
【０００３】
このモードの動作についてはいくつかの問題がある。第一の問題は、ユーザは、スキャナ上の原点のところに正しく整合させて一枚の写真をうまく置かなければならないことである。原点のところに画像が正確に置かれないと、走査領域内に画像全体が納まらず、デジタル化した画像が一つまたはそれ以上のエッジに沿って、図２に示す人工エッジ２０とも呼ばれるスキャナのプラテンの一部を含むことになる。上記人工エッジは、顧客のプリントから除去しなければならない。ある種のスキャナは、上記人工エッジを除去するために、水平または垂直エッジに沿った走査領域をトリミングするためのロジックをソフトウェアに内蔵している。しかし、画像が回転していると、上記ソフトウェアは、図３に示すように、画像ラインに沿った人工エッジ２２を除去しない。また、ユーザが数枚の写真を走査してそれら画像をディスクにセーブしたい場合には、一度に一つの画像しか処理することができず、効率が悪い。
【０００４】
【発明が解決しようとする課題】
本発明の一つの目的は、人工エッジを除去するために多数の写真を走査し、それら写真の数、位置および傾斜角度を決定し、画像のトリミングを行うための方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明の一つの特徴は、スキャナ・プラテン上に複数の写真を置くことである。複数の低解像度の画像を作るために、上記複数の写真に対して低解像度走査が行われる。複数の多角形が作られ、各多角形は少なくとも一つの低解像度の画像を含む。多角形の数が決定されるとともに、写真の数と比較される。多角形の数が写真の数より少ない場合には、重なりあった写真を分離するために置き場所の変更が行われ、低解像度走査が繰り返して行われる。各写真の傾斜角度および位置の決定が行われる。第一の写真が選択されるとともに、この第一の写真が高解像度で走査され、高解像度の画像が作成される。高解像度の画像は、傾斜修正（deskew）が行われ、人工エッジを除去するためにトリミングが行われる。
【０００６】
本発明の一つの利点は、スキャナ・プラテン上の各写真の位置または向きがどのようになっていても、複数の写真を走査することができることである。
【０００７】
【発明の実施の形態】
図１は、写真を走査するための従来技術のシステムのブロック図である；
図２は、人工エッジを示す従来技術のシステムのブロック図である；
図３は、傾斜配置された写真、走査画像およびプリントした写真上に結果として現れる人工エッジを示す従来技術のシステムのブロック図である；
図４は、写真の位置を自動的に検出し、サイズおよび傾斜角度を修正し、人工エッジを除去するための本発明によるシステムのブロック図である；
図５は、スキャナ・プラテンの表面上の複数の写真を示した概略図である；
図６は、写真を検出するためのシステムのブロック図である；
図７は、画像の閾値を決めるためのシステムのブロック図である；
図８は、階調強度を計算するためのテーブルを示した図である；
図９は、輪郭多角形抽出のフローチャートである；
図１０は、本発明の好適な実施形態で使用する輪郭ピクセル検出方法のフローチャートである；
図１１（ａ）、図１１（ｂ）および図１１（ｃ）は、それぞれ、３ｘ３ビットマップ・パターンから索引表を生成する図であり、３ｘ３ビットマップを索引表の入力に変換する図であり、索引表を使用するコマンドを生成する図である；
図１２（ａ）〜図１２（ｈ）は、８つの左エッジ検出装置の定義を示し、ここで、０＝白色ドット、１＝黒色ドット、Ｘ＝無視する値である；
図１３（ａ）〜図１３（ｈ）は、８つの右エッジ検出装置の定義を示し、ここで、０＝白色ドット、１＝黒色ドット、Ｘ＝無視する値である；
図１４は、表１の規則に基づくエッジの組み合わせによるテンプレート３ｘ３マトリックスで示した図である；
図１５（ａ）〜図１５（ｄ）は、表１の規則により生成されたテンプレート・コマンドの例を示す図である；
図１６（ａ）は方向を規定するチェーン・コード・グラフ、図１６（ｂ）はチェーン・コードの代表的な多角形ベクトルへの変換の一例を示す図である；
図１７は、スキャナ・プラテン上に傾斜配置された写真の概略図である；
図１８は、写真の位置、サイズおよび傾斜角度の計算を示したブロック図である；
図１９は、写真の傾斜角度、頂部境界および底部境界の検出を示したブロック図である；
図２０は、一番上の交点および一番下の交点の集合を示す図である；
図２１は、隣接交点間の垂直距離を示したヒストグラムである；
図２２は、最も左の交点および最も右の交点の集合を示す図である；
図２３は、写真の左右の境界の検出を概略的に示すフローチャートである；
図２４は、傾斜修正およびトリミング動作を示す概略図である。
理解し易いように、同様の要素にはできる限り同じ参照符号を使用してある。
【０００８】
図４について説明すると、この図は、その全体を参照符号３０で示す写真の傾斜角度を検出しかつ修正するためのシステムの主要な構成部材および処理段階のブロック図である。各ブロックの動作については、以降の図面を参照しながら、以下に詳細に説明する。
【０００９】
走査対象の多数の写真は、ブロック３２のスキャナのプラテン上に置かれる。上記写真の低解像度の走査は、ブロック３４で完了し、写真はブロック３６で検出され、写真の数は、ブロック３８で決定される。ブロック４０において、写真が重なりあっているかどうかの判断が行われる。写真が重なっている場合には、重なりあっている部分があるとの注意４２がオペレータに与えられ、写真が再配置される。写真が重なりあっていないと判断された場合には、ブロック４４において、写真検出の結果がタッチ・スクリーン上に表示される。オペレータは、ブロック４６において、上記スクリーンに触れて所望の写真を選択する。ブロック４８において、その写真のマッピング座標が計算され、ブロック５０において、所望の写真が高解像度で再走査される。ブロック５２において、デジタル化された画像の傾斜修正が行われ、ブロック５４において、人工エッジが除去される。その後、ブロック５６において、写真はプリントもしくは記憶される。
【００１０】
図５は、スキャナ・スライド部１６および１８、または走査原点１９とは無関係に、スキャナ・プラテン１４上にランダムに置かれた一組の写真１２を示している。例えば、９０ＤＰＩ（１インチ当たりのドット数）の低解像度の走査は、スキャナ・プラテン１４の表面全体にわたって行われ、その結果、低解像度のグレイスケール画像が作られる。
【００１１】
図６は、写真の検出についてさらに詳細に示している。低解像度グレイスケール画像５８に対して、閾値処理動作６０が行われる。これについては後でさらに詳細に説明するが、その結果、二進画像６１が得られる。その後、輪郭ベクトル化プロセス７０が実行され、それにより写真３８の数が検出される。各写真の位置、傾斜角度、幅および高さは、ブロック７８において検出される。
【００１２】
図７は、閾値処理と呼ばれるグレイスケール画像から二進画像への変換を示す。ブロック６２において、０〜２５５の数値の範囲で各ピクセルの輝度（intensity）が決定される。その後、上記輝度は、例えば、２３０というような設定値ＩＴと比較される。上記輝度がＩＴより低い場合には、ピクセルは黒であると判断される。
【００１３】
上記輝度がＩＴより高い場合には、そのピクセルに対する傾斜強さが、ブロック６４において計算される。ピクセル（ｉ，ｊ）の傾斜強さは、中心がピクセル（ｉ，ｊ）付近にある複数のピクセルのウィンドウ上で、いわゆる「ソーベル（Sobel）」傾斜オペレータを使用することにより決定される。図８に示すように、マトリックス８０は、その中心がピクセル（ｉ，ｊ）周りにある３ｘ３のウィンドウである。下記式（１）〜（３）内に集合的に定義するように、ソーベルオペレータは、各ピクセル位置（ｉ，ｊ）およびＧＹ（ｉ，ｊ）に対して水平および垂直ピクセル輝度傾斜ＧＸ（ｉ，ｊ），ＧＹ（ｉ，ｊ）に基づいて計算を行い、また傾斜強さを形成する各ピクセル位置（ｉ，ｊ）に対してＧＸ（ｉ，ｊ）およびＧＹ（ｉ，ｊ）の絶対値の合計として傾斜強さＧ（ｉ，ｊ）を形成する。
【００１４】
図９を参照しながら、輪郭ベクトル化プロセス７０をさらに詳細に説明する。確立した変換数値により、輪郭ピクセルを検出しかつピクセル値を割り当てるために、二進画像６１が処理される。ブロック・ラベル９０で示す割当関数は、二進画像上を進む３ｘ３ピクセル・ウィンドウを使用して一度に一つのピクセル列に対して実行される。画像の輪郭を表すピクセルは、ブロック９２によって表されるベクトルに変換される。ベクトルのセグメントは、ボックス９４のへ入力として送られる。ボックス９４は、走査画像の輪郭を表す一つまたはそれ以上の多角形を形成するために複数のベクトルの端と端とを正しく接続する機能を表す。要するに、上記の動作、すなわち、輪郭のベクトル化は、二進画像を傾斜検出、ライン検出または画像登録技術のような写真認識システムまたは技術において役に立つ簡単な多角形の集合に変換するものである。
【００１５】
図１０について説明すると、この図は、図９の輪郭ピクセル検出ブロック９０が行う機能を詳細に示した図である。輪郭ピクセルを検出するための好適な方法論として、上記の二進画像６１である走査機能の出力とともに、写真の走査により得た３ｘ３ビットマップを用いる。この３ｘ３ビットマップは、写真上でウィンドウが走査される一瞬の間に、３ｘ３ウィンドウ内に含まれる９のピクセル値を表す。機能ボックス１０２に示すように、各３ｘ３ビットマップは、０〜５１１の範囲内の数値を持つ整数にコード化される。結果として得られた整数値は、索引表１０４への入力として使用される。索引表を用いる技術は、計算効率が高いので望ましい技術である。索引表は、後で詳細に説明する「テンプレート・コマンド」を出力する。この出力は、機能ボックス１０６に入力されるが、このボックスは、命令されたシーケンスで、テンプレート・コマンドを実行することにより、輪郭ピクセルを抽出する機能を表す。各出力輪郭ピクセルは、三つの分類、すなわち、最大点、最小点または境界点の一つに割り当てられる。
【００１６】
本発明の３ｘ３ビットマップからの、出力テンプレート・コマンドの形成についての詳細は、図１１（ａ）〜図１１（ｃ）のところで説明する。図１１（ａ）は、ＡからＩまでの九つのセルを含む３ｘ３ウィンドウを概略的に示す。周知のように、二進法システムにおいては、一つのセル内の一つのビットは、１または０どちらかの数値を取ることができる。図１１（ｂ）は、このことを特定の例により示す。ＡからＩまでのビットは、９ビットの一つの整数を形成するように特定の順序で配列されている。すでに説明したように、本発明の好適な実施形態においては、この９ビットの整数の数値は、０〜５１１の範囲内にある。その後、この整数は、図１１（ｃ）に示すように、関連テンプレート・コマンドを出力するために索引表１０４にアドレスする入力番号として使用される。
【００１７】
図１２（ａ）〜図１２（ｈ）について説明すると、これら図においては、八つの左エッジの検出部に使用されている定義は、エッジのタイプＬ０〜Ｌ７を定義するためのものである。これら数字の中、０は白色ドットを示し、１は黒色ドットを示し、Ｘは白または黒どちらかであって、システムが無視することができるドットを表す。図１２（ａ）の３ｘ３マトリックスを調べてみると、二つの隣接する１のビットは、水平で、隣接する二つの０ビットに平行とされている。このビット・パターンが表すエッジの向きは、水平であって左に向かって延びている。分かりやすくするためにエッジの向きをエッジの向きを示す矢印の方向を制御する０ビット（白色ドット）の位置の矢印により表す。エッジタイプＬ０の場合、エッジタイプＬ４と同じであるが、反転しており矢印は水平であり、反対方向を向いており、図１２（ａ）のウィンドウ内の０ビットは、１の下に位置していている。一方、図１２（ｅ）のウィンドウ内においては、０ビットが１の上に存在することに留意されたい。垂直エッジタイプＬ２およびＬ６についても、また４５度のエッジタイプＬ１、Ｌ５、Ｌ３およびＬ７についても同じことがいえることに留意されたい。図１３（ａ）〜図１３（ｈ）は、エッジタイプＲ０〜Ｒ７を表す八つの右エッジ検出装置の定義を示す。
【００１８】
表１は、各エッジタイプの組み合わせに使用するテンプレート・コマンドを示し、各組み合わせに規則番号を割り当てる。逆にいえば、各規則番号は、特定のタイプの組み合わせを識別する。
【００１９】
【表１】
図１４は、表１の規則に従って、エッジ組み合わせから得たテンプレートを示す。
【００２１】
表２は、特定の３ｘ３ビットマップと、その関連入力番号との関係を示す。図１３（ｂ）は、上記手順により発生した入力番号である。表２はさらに、対応する入力番号をアドレスとして索引表に適用した際の索引表２４から出力されるテンプレート・コマンドを示す。多数のビットマップ・パターンは、割当テンプレート・コマンドを持たないものであり、それ以外のビットマップ・パターンは一つ以上のテンプレート・コマンドを持つことができる。例えば、表２について説明すると、３ｘ３マトリックスの中央のセルが１であり、周囲のセルの少なくとも一つが０である場合には割当テンプレート・コマンドが存在し、そうでない場合にはコマンドの割当は行われない。
【００２２】
【表２】
図１５（ａ）〜図１５Ｄは、図１１（ａ）および図１１（ｂ）を用いて説明したビット割当の方法論を用いた、表入力番号３７３、１２４、１５１、および３６８に変換する四つのビット・パターンを示す。その後、各テンプレート・パターンは、どのテンプレート・コマンドをテンプレート・パターンに適用すべきかを決定するために左右のエッジ検出装置に対する八つの組み合わせと比較される。
【００２４】
【表３】
例えば、図１５（ａ）のテンプレートは、規則番号２、５および７で示す三つの輪郭セグメントＡ、ＢおよびＣを含む。これらの規則により、テンプレート・コマンド１、３、６、５および３が得られる。テンプレート・コマンド１は、中央のセルの数値１が、左の一番上のセルの数値１を伴っているので、輪郭セグメントＡに関連する。この関連を図１６（ａ）の矢印で示すチェーン・コードの定義と比較することにより、コマンド１が得られる。同様に、中央のセル、および右の一番上のセルのビット１からコマンド３が得られる。図１５（ａ）のマトリックスの１のパターンを見れば、このマトリックスの上の二つの行の１は、１のチェーン・コードと３のチェーン・コードとを併合したものであることがわかる。上記のような併合により、コマンド６が得られる。セル数値の第三の行を見れば、新しい内側の最大輪郭点は、コマンド５となる輪郭セグメントＣに対応することが分かる。セル値の右の列を見れば、輪郭セグメントＢを識別できる。１の中央のセル値からスタートして、関連チェーン・コードは３であると導き出される。
【００２６】
走査済みの各二進画像は、エッジタイプ（Ｌ０〜Ｌ７；Ｒ０〜Ｒ７）に割り当てられるエッジおよび／またはラインを形成する多数のピクセルを有している。この識別子は、ベクトル・セグメントの方向に関連する。一組の規則に従って、各ベクトル・セグメントは、ベクトル・セグメントがある対象物の内側のエッジを形成するのか又は対象物の外側のエッジを形成するのかによって、時計方向または反時計方向のどちらかの方向に連結して、もう一つのベクトル・セグメントを形成する。図１６（ａ）は、連結したベクトル・セグメントにより表されるチェーン・コード・ストリングの一例である。表示のチェーン・コード・ストリングは、２１２１２１ １２２２２１ １１２１１１２１１ １ ３３３３３である。このチェーン・コードを図１６（ｂ）のベクトルと比較し、図１６（ａ）の方向を示す矢印を参照すると、上記チェーン・コードの最初の数字２は垂直ベクトル素子ｅとなり、該ベクトル素子ｅは、図１６（ａ）のベクトル１により表される４５度の方向に延びるチェーン・コードの第二の数字１を示すベクトル素子ｆと連結していることが分かる。ベクトル素子ｇ〜ｊについても同じことがいえる。この点において、ライン・セグメントＤは、接続しているベクトル素子の二つの終点の間の直線により形成される。
【００２７】
次のステップは、図６のブロック３８に示すように、検出した写真の数を決定することである。輪郭をベクトル化した後で、二進画像の対象物の各輪郭がトレースされ、多角形により表される。各ベクトルは、前の節で説明したプロセスに従って、その終点のｘおよびｙ座標により表される。各多角形の境界座標、幅および高さ（対象物の輪郭）は、多角形の頂点（ベクトルの終点）の座標を使用して計算される。写真多角形の識別は、単に多角形をグループ分けすることによって行われる。（より大きい多角形内に完全に含まれるより小さい多角形である）重なり合っている多角形の中の最大の多角形は、ラベルがつけられ、写真の候補として識別される。複数の多角形の候補を比較して、Ｍ個の最大の多角形候補が、所望の写真の最も外側の輪郭であると見なされる。この場合、Ｐは一回の走査において予測される写真の数であり、ユーザが適用する。写真の検出数Ｍが、ユーザが入力した写真の数Ｐより少ない場合には、スキャナ上で何枚かの写真が重なり合っていることになるので、写真を置き直さなければならない。一枚の写真であると識別された各多角形は、傾斜角度および位置を計算するためにさらに分析される。
【００２８】
図６について再度説明すると、この図のブロック７８においては、各写真の位置、傾斜角度、幅および高さの検出が行われる。図１７は、スキャナ・プラテン１４上で検出された写真に対応する画像領域８２の概略図である。
【００２９】
図１８は、各多角形の写真の寸法および傾斜角度の計算を示すブロック図である。このブロック図において、写真の形は長方形であると仮定される。このブロック図は、多角形からスタートする。図２０にさらに詳細に示すように多角形９０を処理することにより、一番上の境界線９２および一番下の境界線９３が検出され、一番上の境界線の勾配が、その写真の傾斜角度であると見なされる。上記多角形の左の境界線９４および右の境界線９５も、同様に検出される。抽出された四本のまっすぐな境界線は、選択した写真に等しい長方形を構成するのに使用される。写真の原点としての左上の隅９６は、一番上の境界線９２と左の境界線９４との交点の位置により計算される。右上の隅９７は、一番上の境界線９２と右の境界線９５との交点の位置により計算される。その後、左下の隅９８は、左の境界線９４と一番下の境界線９３との交点の位置により計算される。写真の幅は、左上の隅９６と右上の隅９７との間の距離であり、写真の高さは左上の隅９６と左下の隅９８との間の距離である。一番上の境界線および一番下の境界線の計算方法は図１９において、左の境界線および右の境界線の計算方法は図２３においてそれぞれ説明される。
【００３０】
図２０は、未知の傾斜角度で傾いている写真の多角形の一例である。同じ間隔で並んでいる一連の垂直線が、距離Ｄｘの間隔を置いて引かれる。垂直線と多角形９０との交点が決定される。最小Ｙ値および最大Ｙ値を持つ点が記録される。垂直方向でのその長さ（Ｄｙ）が、水平方向でのその長さ（Ｄｘ）よりも長いという要件を満たす一対の隣接点が、それぞれ、二組の点から削除される。
【００３１】
次に、隣接点の垂直距離の二つのヒストグラム、すなわち、頂部交点のヒストグラム（Ｈｔ（Ｄｙ））および底部交点のヒストグラム（Ｈｂ（Ｄｙ））が計算される。二つのヒストグラムのモードを、図２１に示すように、それぞれＭｔおよびＭｂで示す。勾配の決定をさらに正確にするために、Ｍｔ＋／−Ｋ値およびＭｂ＋／−Ｋ値の範囲の外側の点は、それぞれ除去される。データをより正確にするプロセスの後で、残りの頂部交点および残りの底部交点の相関係数ＣｔおよびＣｂが、それぞれ点がどの程度同一線上にあるかを評価するために計算される。上記相関係数は、以下に述べる方法で決定される。
【００３２】
これら走査線および多角形の頂部および底部ラインの間の交点は、（ｘi，ｙi）で表される。この場合、ｉ＝１，．．．，Ｎであり、Ｎは交点の数である。相関係数（ｒry）は、以下のように表される。
【数１】
相関係数の数値は、その定義により０と１の間の数値とされる。相関係数が１に近づくということは、これらの点が同一線上にあることを意味し、線形最小二乗法近似がこれらの点に適用されることを意味する。回転角度θSは、適合直線、ｙ＝ａ＋ｂｘの勾配（θS＝ｂ）から読み取られる。ここで、
【数２】
【００３４】
写真の形は長方形であると仮定されるので、頂部境界線および底部境界線は平行でなければならない。それ故、点が一直線上にあるかどうかの判断には、図１９および図２３に示す二つの相関係数ＣｔおよびＣｂの中の、大きい方の数値（Ｃｍ）が使用される。Ｃｍが予め定めた域値（ＴＨ）より小さい場合には、水平の境界線または不規則な境界線が検出されたことを意味する。この条件下では、傾斜角度はいつでもゼロに設定される。このことは、頂部および底部の境界線が水平に設定されることを意味する。左右の境界線の計算は、上記ステップに類似のものである。図２２の各水平交点に対してこのプロセスのブロック図が反復して実行されるとともに、図２３の左右の境界線の計算が行われる。
【００３５】
写真原点（左上の隅）が決定された後で、検出された写真の画像の大きさ（幅および高さ）および傾斜角度が、全プラテンに対する低解像度走査から計算される。図１７の画像境界座標が再調整（スケール・アップ）されるとともに、所望の高解像度走査の座標にマッピングされる。
【００３６】
所望の写真が選択されるとともに、選択された写真に対して高解像度走査が行われる。高解像度走査を行った後で、高解像度画像は、当業者にとっては周知の標準双線画像補間（standard bilinear image interpolation）により傾斜修正が行われる。
【００３７】
図２４は、画像領域の傾斜修正を行い、トリミングすことにより人工エッジを除去する方法の概略図である。画像を傾斜修正した後に、頂部、底部および側部人工エッジを容易に除去することができる。その後、画像を、当業者にとっては周知のようにディスクに記憶したり、写真としてプリントすることができる。
【００３８】
本発明を好適な実施形態を参照しながら説明してきた。しかし、通常の当業者であれば、本発明の範囲から逸脱することなしに種々の変更および修正を行うことができることを理解されたい。
【図面の簡単な説明】
【図１】 写真を走査するための従来技術のシステムを示したブロック図である。
【図２】 人工エッジを示す従来技術のシステムを示したブロック図である。
【図３】 傾斜配置された写真、走査画像およびプリントした写真上に結果として現れる人工エッジを示す従来技術のシステムを示したブロック図である。
【図４】 写真の位置を自動的に検出し、サイズおよび傾斜角度を修正し、人工エッジを除去するための本発明によるシステムのブロック図である。
【図５】 スキャナ・プラテンの表面上の複数の写真を示した概略図である。
【図６】 写真を検出するためのシステムのブロック図である。
【図７】 画像の閾値を決定するためのシステムのブロック図である。
【図８】 階調強度を計算するためのテーブルを示した図である。
【図９】 輪郭多角形の抽出を示したフローチャートである。
【図１０】 本発明の実施形態で使用する輪郭ピクセル検出方法を示したフローチャートである。
【図１１】 ３ｘ３ビットマップによる出力テンプレート・コマンドの形成を示し、それぞれ、（ａ）は３ｘ３ビットマップ・パターンから索引表への配列、（ｂ）は３ｘ３ビットマップの索引表用入力番号への変換、（ｃ）は索引表を用いた各コマンドの発生を示す概略図である。
【図１２】 左エッジ検出装置であって、（ａ）〜（ｈ）はそれぞれ８つの定義を示す図である。
【図１３】 右エッジ検出装置であって、（ａ）〜（ｈ）はそれぞれ８つの定義を示す図である。
【図１４】 表１の規則に基づく各エッジの組み合わせから発生する複数のテンプレートを３ｘ３マトリックスで示した図である。
【図１５】 表１の規則により生成されるテンプレート・コマンドを示し、（ａ）〜（ｄ）はそれぞれ異なるテンプレートパターンに対して示された図である。
【図１６】 （ａ）は方向を規定するチェーン・コード・グラフを示し、（ｂ）はチェーン・コードの代表的な多角形ベクトルへの変換の一例を示す図である。
【図１７】 スキャナ・プラテン上に傾斜配置された写真を示した概略図である。
【図１８】 写真の位置、サイズおよび傾斜角度の計算を示したブロック図である。
【図１９】 写真の傾斜角度、頂部境界および底部境界の検出を示したブロック図である。
【図２０】 一番上の交点および一番下の交点の集合を示した図である。
【図２１】 隣接交点間の垂直距離を示したヒストグラムである。
【図２２】 最も左の交点および最も右の交点の集合を示した図である。
【図２３】 写真の左右の境界の検出を概略的に示したフローチャートである。
【図２４】 傾斜修正およびトリミング動作を概略的に示したフローチャートである。
【符号の説明】
１１ スキャナ
１２ 写真
１４ プラテン
２０ 人工エッジ
Claims (1)
- 多数の写真を走査しかつ検出するとともに人工エッジを除去するための方法であって；
スキャナ上に複数の写真を設置するステップと；
複数の低解像度画像を作成するために低解像度走査を行うステップと；
少なくとも一つの前記低解像度画像を含む複数の多角形を形成するステップと；
前記多角形の数を決定するステップと；
前記多角形の前記数を前記写真の数と比較するステップと；
前記多角形の前記数が前記写真の数よりも少ない場合には、重なりあった写真を再配置し、前記低解像度走査を行うとともに以降のステップを反復して行うステップと；
前記各写真の傾斜角度および位置を決定するステップと；
第一の写真を選択するステップと；
高解像度画像を作成するために前記第一の写真を高解像度で走査するステップと；
前記高解像度画像の傾斜修正を行うステップと；
複数の人工エッジを除去するために前記高解像度画像をトリミングするステップと；
からなることを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US831,272 | 1992-02-07 | ||
| US08/831,272 US5974199A (en) | 1997-03-31 | 1997-03-31 | Method for scanning and detecting multiple photographs and removing edge artifacts |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH118755A JPH118755A (ja) | 1999-01-12 |
| JP3883696B2 true JP3883696B2 (ja) | 2007-02-21 |
Family
ID=25258697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12516798A Expired - Fee Related JP3883696B2 (ja) | 1997-03-31 | 1998-03-31 | 多数の写真をスキャンしかつ検出するとともに人工エッジを除去するための方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5974199A (ja) |
| JP (1) | JP3883696B2 (ja) |
| DE (1) | DE19814075B4 (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6201901B1 (en) * | 1998-06-01 | 2001-03-13 | Matsushita Electronic Industrial Co., Ltd. | Border-less clock free two-dimensional barcode and method for printing and reading the same |
| US6456732B1 (en) * | 1998-09-11 | 2002-09-24 | Hewlett-Packard Company | Automatic rotation, cropping and scaling of images for printing |
| US6271935B1 (en) * | 1998-09-23 | 2001-08-07 | Xerox Corporation | Method to remove edge artifacts from skewed originals |
| US6377703B1 (en) * | 1998-11-10 | 2002-04-23 | Seiko Epson Corporation | Apparatus and method for determining an area encompassing an image for scanning the image |
| AUPQ027799A0 (en) | 1999-05-10 | 1999-06-03 | Canon Information Systems Research Australia Pty Ltd | Altering the shape of an artwork |
| US6728005B1 (en) * | 1999-09-10 | 2004-04-27 | Hewlett-Packard Development Company, L.P. | Method for automatic removal of image artifacts |
| US6683984B1 (en) | 2000-07-31 | 2004-01-27 | Hewlett-Packard Development Company, L.P. | Digital imaging device with background training |
| JP3878401B2 (ja) * | 2000-09-14 | 2007-02-07 | シャープ株式会社 | 画像処理装置、画像処理方法およびそれを記録した記録媒体 |
| AUPR788101A0 (en) * | 2001-09-24 | 2001-10-18 | Canon Information Systems Research Australia Pty Ltd | Scanning and detecting a number of images |
| US6914597B2 (en) * | 2001-10-17 | 2005-07-05 | Hewlett-Packard Development Company, L.P. | System for bi-directional video signal transmission |
| US6970606B2 (en) * | 2002-01-16 | 2005-11-29 | Eastman Kodak Company | Automatic image quality evaluation and correction technique for digitized and thresholded document images |
| US7068855B2 (en) * | 2002-07-16 | 2006-06-27 | Hewlett-Packard Development Company, L.P. | System and method for manipulating a skewed digital image |
| US7027666B2 (en) * | 2002-10-01 | 2006-04-11 | Eastman Kodak Company | Method for determining skew angle and location of a document in an over-scanned image |
| WO2004104920A2 (en) * | 2003-05-20 | 2004-12-02 | Koninklijke Philips Electronics N.V. | Estimating an edge orientation |
| KR20060012629A (ko) * | 2003-05-20 | 2006-02-08 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 에지 오리엔테이션 추정 |
| JP2005115417A (ja) | 2003-10-02 | 2005-04-28 | Canon Inc | 画像読取処理装置、画像読取処理方法、プログラムおよび記憶媒体 |
| US6956587B1 (en) * | 2003-10-30 | 2005-10-18 | Microsoft Corporation | Method of automatically cropping and adjusting scanned images |
| JP4033198B2 (ja) * | 2004-02-27 | 2008-01-16 | カシオ計算機株式会社 | 画像処理装置、画像投影装置、画像処理方法及びプログラム |
| JP4277768B2 (ja) * | 2004-05-14 | 2009-06-10 | セイコーエプソン株式会社 | 写真イメージ領域抽出装置およびコピー装置 |
| US7574071B2 (en) * | 2004-10-05 | 2009-08-11 | Seiko Epson Corporation | Method and apparatus for resizing images |
| KR100777462B1 (ko) * | 2005-01-19 | 2007-11-21 | 삼성전자주식회사 | 스캐닝장치, 그것을 구비하는 스캐닝시스템 및 스캐닝방법 |
| US20070002375A1 (en) * | 2005-06-30 | 2007-01-04 | Lexmark International, Inc. | Segmenting and aligning a plurality of cards in a multi-card image |
| JP2007020122A (ja) * | 2005-07-11 | 2007-01-25 | Canon Inc | 画像処理装置、画像処理装置の制御方法およびプログラム |
| JP4945962B2 (ja) * | 2005-08-30 | 2012-06-06 | 富士ゼロックス株式会社 | 電子文書管理システム、廃棄処理装置、および廃棄処理方法 |
| US8619313B2 (en) * | 2005-10-28 | 2013-12-31 | Hewlett-Packard Development Company, L.P. | Scanning device with plural image capture zones on a platen |
| US7742659B2 (en) * | 2006-05-09 | 2010-06-22 | Arcsoft, Inc. | Edge based auto order supporting rotation algorithm |
| JP2008059081A (ja) * | 2006-08-29 | 2008-03-13 | Sony Corp | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
| JP5241631B2 (ja) * | 2008-07-04 | 2013-07-17 | キヤノン株式会社 | 画像処理方法、画像処理装置及びプログラム |
| US9547799B2 (en) * | 2008-07-17 | 2017-01-17 | Sharp Laboratories Of America, Inc. | Methods and systems for content-boundary detection |
| US8326078B2 (en) * | 2009-01-27 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | System and method for removing artifacts from a digitized document |
| US8873864B2 (en) * | 2009-12-16 | 2014-10-28 | Sharp Laboratories Of America, Inc. | Methods and systems for automatic content-boundary detection |
| US8682075B2 (en) | 2010-12-28 | 2014-03-25 | Hewlett-Packard Development Company, L.P. | Removing character from text in non-image form where location of character in image of text falls outside of valid content boundary |
| US9495735B2 (en) * | 2011-05-31 | 2016-11-15 | Steelcase Inc. | Document unbending systems and methods |
| JP2013090177A (ja) * | 2011-10-19 | 2013-05-13 | Shimoda Oa System Corp | 画像処理プログラムおよび画像処理装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2834457B2 (ja) * | 1988-11-25 | 1998-12-09 | キヤノン株式会社 | 画像レイアウト装置 |
| EP0461817A3 (en) * | 1990-06-15 | 1993-11-18 | American Telephone & Telegraph | Image segmenting apparatus and methods |
| JPH067360U (ja) * | 1991-07-30 | 1994-01-28 | 大日本スクリーン製造株式会社 | 画像読取装置 |
| JPH08153209A (ja) * | 1994-11-29 | 1996-06-11 | Dainippon Printing Co Ltd | 一括画像入力による印刷用画像データの作成方法および作成装置 |
-
1997
- 1997-03-31 US US08/831,272 patent/US5974199A/en not_active Expired - Lifetime
-
1998
- 1998-03-30 DE DE19814075A patent/DE19814075B4/de not_active Expired - Lifetime
- 1998-03-31 JP JP12516798A patent/JP3883696B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH118755A (ja) | 1999-01-12 |
| DE19814075A1 (de) | 1998-10-01 |
| US5974199A (en) | 1999-10-26 |
| DE19814075B4 (de) | 2009-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3883696B2 (ja) | 多数の写真をスキャンしかつ検出するとともに人工エッジを除去するための方法 | |
| US7567708B2 (en) | Apparatus and method for image processing | |
| US6738154B1 (en) | Locating the position and orientation of multiple objects with a smart platen | |
| US9805281B2 (en) | Model-based dewarping method and apparatus | |
| JP2930612B2 (ja) | 画像形成装置 | |
| US6898316B2 (en) | Multiple image area detection in a digital image | |
| JP4101290B2 (ja) | 書式処理時の自動ページ登録及び自動領域検出のためのシステム及び方法 | |
| US5892854A (en) | Automatic image registration using binary moments | |
| KR101737338B1 (ko) | 주석이 달린 문서 이미지들로부터 클린 문서를 복원하기 위한 시스템 및 방법 | |
| US20090034848A1 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method | |
| JP2001109895A (ja) | 複数のディジタル画像の処理方法 | |
| JPH03201866A (ja) | 圧縮形態のデータを含むデータから画像スキュー角度を決定する方法 | |
| JP2001101426A (ja) | ディジタル画像処理方法 | |
| JP4582204B2 (ja) | 画像処理装置、画像変換方法、およびコンピュータプログラム | |
| US6771842B1 (en) | Document image skew detection method | |
| US9131193B2 (en) | Image-processing device removing encircling lines for identifying sub-regions of image | |
| JP5005732B2 (ja) | 画像形成装置及び画像処理方法 | |
| JP4140519B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
| US20100177959A1 (en) | Color form dropout using dynamic geometric solid thresholding | |
| JP4208520B2 (ja) | 画像処理装置および画像処理方法、プログラムおよび記憶媒体 | |
| EP0975146B1 (en) | Locating the position and orientation of multiple objects with a smart platen | |
| JP7301529B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6974791B2 (ja) | 画像処理装置、および、コンピュータプログラム | |
| JP2010287178A (ja) | 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体 | |
| US20020164087A1 (en) | System and method for fast rotation of binary images using block matching method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061115 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |