JP4027454B2 - ドキュメント画像傾き決定方法 - Google Patents

ドキュメント画像傾き決定方法

Info

Publication number
JP4027454B2
JP4027454B2 JP07675697A JP7675697A JP4027454B2 JP 4027454 B2 JP4027454 B2 JP 4027454B2 JP 07675697 A JP07675697 A JP 07675697A JP 7675697 A JP7675697 A JP 7675697A JP 4027454 B2 JP4027454 B2 JP 4027454B2
Authority
JP
Japan
Prior art keywords
document image
image
pixel
pixels
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07675697A
Other languages
English (en)
Other versions
JPH1031748A (ja
Inventor
ダニエル・アール・トゥリッター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JPH1031748A publication Critical patent/JPH1031748A/ja
Application granted granted Critical
Publication of JP4027454B2 publication Critical patent/JP4027454B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • G06T3/606Rotation of whole images or parts thereof by memory addressing or mapping

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Character Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像処理システムに関するもので、特に、(1)人手の介入またはオリジナル・ドキュメント上にテキストまたはその他の傾き検出情報の存在を必要とすることなく傾き補正を実行し、また(2)画像の形状に関係なく画像トリミングを実行する画像処理システムに関するものである。
【0002】
【従来の技術】
周知の通り、ドキュメント(すなわち、写真またはテキスト文書のようなオリジナルの物理的オブジェクト)が、スキャナによって走査される時、オリジナル・ドキュメントのディジタル画像が典型的に生成される。しかし、オリジナル・ドキュメントのディジタル画像は、スキャナから取得されるディジタル画像全体内で傾きを見せることが多い。既知の通り、走査画像は典型的にはドキュメントの画像および背景情報を含む。走査画像の範囲内のドキュメント画像の傾きは、走査のためオリジナル・ドキュメントを給紙する自動ドキュメント供給メカニズムをスキャナが使用する場合に特に発生する可能性がある。加えて、オリジナル・ドキュメントのサイズがスキャナの走査区域に対して比較的小さい場合、走査画像は、相当量の背景情報を含むことがある。図1は、このような問題を内包する走査画像10を示す。
【0003】
図1に見られるように、走査画像10はオリジナル・ドキュメントのドキュメント画像11を含む。走査画像10の残りの領域は、あらかじめ決められたピクセル・パターンを典型的に持つ背景12である。ドキュメント画像11は走査画像10の内部で傾いていて、背景12は走査画像10のかなりの部分を占めている。走査画像10がディスプレイ上に表示されるかまたは印刷装置によって印刷される時、ドキュメント画像11は、典型的には、比較的不快で貧弱な視覚品質を持つ。加えて、傾いた画像は、その画像データが他のソフトウェア・プログラムによって更に処理される時エラーを引き起こす可能性もある。
【0004】
傾き問題を検出し補正することを試みた従来技術がいくつかある。例えば、米国特許第4,941,189号は、走査行に沿ってテキスト文字を探索する傾き補正技術を記載している。また、米国特許第5,452,374号は、走査画像をテキストおよび非テキスト区域へ区分して、次にその区分に基づいて傾き情報を決定する別の技術を記載している。
【0005】
しかし、これらの従来技術は、オリジナル・ドキュメントが少くともなんらかのテキストを含むことを必要としている。従来技術は、ドキュメントにおける1または複数行のテキストの検出に依存する。廉価なフォト・スキャナおよびマルチメディア・パーソナル・コンピュータの出現で、今日では、スキャナは、単にテキスト・ドキュメントを走査するだけでなく、写真やその他の画像ドキュメントを走査するために使用される。しかし、写真は典型的にはテキスト・データを含まない。従って、従来技術の傾き検出および補正技術は写真画像走査に適用できない。加えて、写真は種々のサイズおよび形状を持つことができるので、写真の走査画像から背景情報を切り取ることは、典型的には困難である。
【0006】
【発明が解決しようとする課題】
走査ドキュメントにおけるテキストの存在を必要とすることなく走査画像の傾き情報を検出するいくつかの先行技術が提案されている。米国特許第5,093,653号および米国特許第4,533,959号はそのような先行技術を開示している。しかし、これらの先行技術は、(米国特許第5,093,653号の場合のように)人手の介入を必要とするか、または(米国特許第4,533,959号の場合のように)オリジナル・ドキュメントに特別のマークを必要とする。
【0007】
従って、オリジナル・ドキュメント上にテキストまたは特別の傾き検出情報の存在を必要とすることなく、また人手の介入を必要とすることなく、走査画像に関する傾き補正を行うことができる技術、および、オリジナルのサイズや形状に関係なく走査画像に関して画像切り取りを行うことができる技術が求められている。
【0008】
【課題を解決するための手段】
本発明は、(1)オリジナル・ドキュメント上のテキスまたはその他の傾き検出情報の存在、または(2)人手の介入、を必要とすることなく、コスト効率のすぐれた形態で、走査される画像の傾き角度を決定する手段を提供する。これは、走査画像の範囲内のドキュメント画像の稜線を決定し、その稜線を使用してドキュメント画像の傾きを決定することによって達成される。稜線の決定は、ドキュメント画像に属する走査画像ピクセルの各走査行の最初または最後のドキュメント画像ピクセルの位置(すなわち走査行に沿ったドキュメント画像の稜線ピクセルの位置)を特定することによって行われる。これは、ピクセルの各走査行を背景ピクセルを含むあらかじめ決められた走査行と比較することによって達成される。次に、ドキュメント画像の傾き角度が、走査画像において検出された稜線の勾配を計算することによって決定される。
【0009】
加えて、ドキュメント画像の境界が決定される。この決定は、(1)走査画像のドキュメント画像の最初の走査行に関する最初のドキュメント画像ピクセルおよび最後のドキュメント画像ピクセル、(2)走査画像のドキュメント画像の最後の走査行に関する最初のドキュメント画像ピクセルおよび最後のドキュメント画像ピクセル、(3)走査画像のドキュメント画像の最左端のドキュメント画像ピクセル、および(4)走査画像のドキュメント画像の最右端のドキュメント画像ピクセル、のそれぞれの位置を特定することによって達成される。
【0010】
発明の課題を解決する手段として、本発明は、各走査行が複数のピクセルを含む複数の走査行を持つ走査画像の内側に位置するドキュメント画像の傾きを決定する方法として、上記走査画像の1つの走査行のピクセルを受け取るステップ、上記ドキュメント画像に属するピクセルの中から該走査行の最初および最後のドキュメント画像ピクセルの位置を特定するステップ、当該走査行の上記最初および最後のドキュメント画像ピクセルが、前の走査行の最初および最後のドキュメント画像ピクセルを持つ稜線セグメントを継続するものであれば、上記稜線セグメントを当該走査行の上記最初および最後のドキュメント画像ピクセルへ延伸させるステップと、処理すべき走査行すべてについて、ピクセルを受け取り、ピクセル位置を特定し、稜線セグメントを延伸する上記各ステップを繰り返すステップ、および上記稜線セグメントがあらかじめ決められた長さの値より長い場合該稜線セグメントの勾配を決定することによって上記傾き角度を決定するステップからなるドキュメント画像傾き決定方法を含む。
【0011】
【発明の実施の形態】
図2は、本発明の1つの実施形態に従って(図3および図4において示される)傾き補正および画像切り取り機構202を実施することができる(図3および図4において示される)画像処理システム200を実現するコンピュータ・システム100を示す。図2がコンピュータ・システム100の基本コンポーネントのいくつかを示しているが、図示されているコンポーネントに限定する意図も、またシステムに他のコンポーネントまたはコンポーネントの組合せを除外する意図もない。画像処理システム200および傾き補正および画像切り取り機構202の詳細は図3ないし図13を参照して後述される。
【0012】
1つの実施形態において、コンピュータ・システム100は、スキャナを備えたパーソナル・コンピュータ、スキャナを備えたノートブック・コンピュータ、スキャナを備えたパームトップ・コンピュータ、スキャナを備えたワークステーションまたはスキャナを備えたメインフレーム・コンピュータのいずれかであることができる。別の実施形態においては、コンピュータ・システム100は、また、コンピュータ・システムのコンポーネントの一部またはすべてを備えた走査システムである。
【0013】
図2に見られるように、コンピュータ・システム100はデータおよびその他の情報を伝送するバス101を含む。コンピュータ・システム100は、また、データおよび命令を処理するためバス101に接続するプロセッサ102を含む。プロセッサ102は、例えば既知の市販されているプロセッサまたはマイクロプロセッサである。メモリ104がまたコンピュータ・システム100に備わる。メモリ104はバス101に接続され、プロセッサ102によって実行されるべき情報および命令を典型的には記憶する。メモリ104は、また、コンピュータ・システム100の表示装置121上に表示されるべきビットマップ画像のフレームを記憶するフレーム・バッファ(図2に図示されていない)を含むこともある。
【0014】
メモリ104は、種々のタイプのメモリ形態で実施され得る。例えば、メモリ104は、RAMや非揮発性メモリによって実施される。加えて、メモリ104は、RAM、ROM、電気的に消去可能でプログラム可能非揮発メモリ等の組み合わせによって実施されることもある。
【0015】
コンピュータ・システム100は、また、バス101に接続された大容量記憶装置107を含む。大容量記憶装置107はデータおよびその他の情報を記憶する。また、大容量記憶装置107はシステムおよびアプリケーションのプログラムを記憶する。プログラムは、プロセッサ102によって実行されるが、プロセッサ102による実行の前にメモリ104へダウンロードされる必要がある。
【0016】
表示装置121は、コンピュータ・システム100のユーザに情報を表示するためバス101に接続される。バス101に接続されるキーボードまたはキー・パッド入力装置122がシステムに含まれる。更に付加的コンピュータ・システム100の入力装置として、マウス、トラック・ボール、トラックパッドまたはカーソル方向キー等のようなカーソル制御装置123が接続される。カーソル制御装置123は、方向情報およびコマンド選択をプロセッサ102へ通知し、表示装置121上のカーソル運動を制御するためバス101に接続される。コンピュータ・システム100に含められる可能性のあるもう1つの装置はハード・コピー装置124である。ハード・コピー装置124は、紙またはフィルムのようなタイプの媒体上にテキストや画像情報を印刷するためコンピュータ・システム100において使用される。
【0017】
更に、コンピュータ・システム100は画像スキャナ125を含む。画像スキャナ125を使用して、オリジナル・ドキュメント(すなわち写真またはテキスト・ドキュメントのようなオリジナルの物理的ドキュメント)がコンピュータ・システム100によって更に処理することができるディジタル化された画像に変換される。本発明の1つの実施形態において、画像スキャナ125は、1走査行幅の走査区域を持つファックス機械型画像スキャナである。走査区域の長さは、走査行の幅である。この場合、画像スキャナ125の走査ヘッドは、走査行全体の像を形成する。各走査の後にオリジナル・ドキュメントをフィードするドキュメント給送メカニズムが提供される。本発明の別の1つの実施形態においては、画像スキャナ125は、比較的大きい走査区域を持つ複写機型画像スキャナである。この種のスキャナの場合、オリジナル・ドキュメントはスキャナの走査窓に相対するように置かれ、スキャナの走査ヘッドが各走査の後1つの方向に移動する。
【0018】
コンピュータ・システム100はまたその他の周辺装置126を含む。その他の装置126には、ディジタル信号処理装置、モデム、CD−ROMドライブが含まれる。コンピュータ・システム100は、上述されたコンポーネントの一部を備えていない場合でも機能することができる。例えば、コンピュータ・システム100はハード・コピー装置124なしでも機能する。
【0019】
上述のように、コンピュータ・システム100は、(図3および図4において示される)本発明の傾き補正および画像切り取り機構202を含む(図3および図4において示される)画像処理システム200を含む。1つの実施形態において、画像処理システム200は、プロセッサ102によって実行され、スキャナ125から受け取った走査データと対話する一連のソフトウェア・プログラムとして実施される。しかし、画像処理システム200が離散的ハードウェアまたはファームウェアの形態で実施することも認められることであろう。同様に、傾き補正および画像切り取り機構202も、プロセッサ102によって実行されるソフトウェア・プログラムとして、あるいは、画像処理システム200内の離散的ハードウェアまたはファームウェアの形態で実施することができる。本明細書の以下の記述において、画像処理システム200は、傾き補正および画像切り取り機構202と共に、ソフトウェア・プログラムの形態で詳細に説明される。
【0020】
図3に見られるように、画像処理システム200は、傾き補正および画像切り取りプログラム202に加えて、走査制御プログラム203および画像形成プログラム204を含む。プログラム202ないし204のすべては、コンピュータ・システム100(図2)の大容量記憶装置107に典型的には記憶される。これらプログラムは、プロセッサ102によって実行される前に、大容量記憶装置107からメモリ104へロードされる。
【0021】
走査制御プログラム203は、スキャナ125および画像形成プログラム204と交信する。走査制御プログラム203の機能は、スキャナ125の走査動作を制御し、オリジナル・ドキュメント150の走査画像をスキャナ125から受け取ることである。よく知られているように、ドキュメントの走査画像は典型的にドキュメントのディジタル画像(すなわちドキュメント画像)およびなにがしかの背景画像を含む。走査制御プログラム203は、典型的にはスキャナ125に関するスキャナ・ドライバ・プログラムである。1つの実施形態において、走査制御プログラム203は、ヒューレット・パッカード社によって製作され販売されているHP DeskScanアプリケーション・プログラムである。代替的に、走査制御プログラム203はどのようなスキャナ・ドライバ・プログラムでもよい。
【0022】
上述のように、走査制御プログラム203は、ドキュメント150を走査するためスキャナ125を制御する。オリジナル・ドキュメント150は種々の形状および大きさを持つことができる。例えば、ドキュメント150は、矩形、多角形、円形または卵形をしている。図5は、走査制御プログラム203によって取得されたドキュメント150の走査画像300の1例を示す。図5に見られるように、ドキュメント150のドキュメント画像301は、走査画像300の内側に傾き、傾き角度αを持つ。走査画像300からわかるように、走査ドキュメント150は矩形の形状を持つ。図7は、走査制御プログラム203によって取得されたドキュメント150の別の走査画像400を示し、この場合ドキュメント150は楕円形状を持つ。図5および図7は、走査画像300および400の範囲内にかなりの背景があることを示している。
【0023】
図3に示されるように、画像処理システム200において画像形成プログラム204を使用して、走査制御プログラム203から受け取ったオリジナル・ドキュメント150の走査画像(例えば図5または図7の走査画像300または400)が処理される。画像形成プログラム204は、典型的には、走査画像を表示装置121上に表示するかまたはハード・コピー装置124で印刷することができるように、オリジナル・ドキュメント150の走査画像を処理する。画像形成プログラム204の処理機能は、典型的には、走査画像の再サンプリングおよび補間を含む。画像形成プログラム204は、典型的には、装置特有の画像ドライバ・プログラムを含む。例えば、画像形成プログラム204は、既知のディスプレイ・ドライバ・プログラムまたは既知のプリンタ・ドライバ・プログラムを含むことができる。
【0024】
1つの実施形態において、画像形成プログラム204は、米国カリフォルニア州所在のStorm Technology, Inc.社によって製作および販売されているEasyPhoto画像形成プログラムである。別の1つの実施形態では、画像形成プログラム204は、米国カリフォルニア州所在のAdobe Systems, Inc.社によって製作販売されているPhotoshop画像形成プログラムである。代替的には、画像形成プログラム204はいかなる既知の画像処理システムでもよい。画像処理システム200の傾き検出および画像切り取りプログラム202はプログラム203および画像形成プログラム204と対話する。傾き検出および画像切り取りプログラム202はドキュメント150の走査画像のデータを走査制御プログラム203から受け取る。次に、傾き検出および画像切り取りプログラム202は、ドキュメント画像の傾きを補正し、あるいは、走査画像の範囲内の背景画像のすべてを除去することができるように、走査画像の範囲内のドキュメント150のドキュメント画像の傾き角度および境界を検出する。
【0025】
傾き検出および画像切り取りプログラム202は、先ずドキュメント画像の稜線を検出し、次にその稜線の勾配を決定することによって、走査画像の範囲内のドキュメント画像(例えば図5のドキュメント画像301)の傾き角度を検出する。これにより、ドキュメント画像上にテキストまたは特別の傾き検出マークの存在を必要とすることなく、ドキュメント画像の傾き角度検出が可能となると共に、画像形成プログラム204が人手の介入なしにドキュメント画像の傾き補正を行うことができることとなる。
【0026】
更に、傾き検出および画像切り取りプログラム202は、走査画像の範囲内において、ドキュメント画像の最初の走査行に関する最初および最後のドキュメント画像ピクセルの位置、ドキュメント画像の最後の走査行に関する最初および最後のドキュメント画像ピクセルの位置、ドキュメント画像の最左端の画像ピクセルの位置、およびドキュメント画像の最右端のドキュメント画像ピクセルの位置を特定することによって、ドキュメント画像(例えば図5のドキュメント画像301)の境界を検出する。次に、これら6つのピクセルの位置情報を使用して、傾き補正後の走査画像におけるドキュメント画像の範囲(すなわち境界)が計算される。次に、この情報が画像形成プログラム204に提供され、それにより、画像形成プログラム204が、走査画像のトリミングまたは刈り取りを行って、背景の大部分またはすべてが取り除かれたドキュメント画像を作成することができる。
【0027】
傾き検出および画像切り取りプログラム202は、走査画像の内側のドキュメント画像の走査行各々の最初および最後のピクセル位置を特定することによって走査画像の範囲内のドキュメント画像の傾き角度および境界情報を検出する。これを実施するため、傾き検出および画像切り取りプログラム202は、走査画像におけるピクセルの各走査行を境界ピクセルのあらかじめ定められた走査行と比較する。この比較によって、ドキュメント画像の境界稜線セグメントが生成される。次に、傾き検出および画像切り取りプログラム202は、ドキュメント画像の各稜線セグメントの長さを決定し、稜線セグメントの傾きを計算する。もしも傾き検出および画像切り取りプログラム202が稜線セグメントが十分長くないと判断すれば、プログラム202は、その稜線セグメントの傾きを計算しない。更に、傾き検出および画像切り取りプログラム202がドキュメント画像が複数の傾き角度を持つ(すなわちドキュメント画像における1つの稜線セグメントの傾きが別の1つの稜線セグメントの傾きと等しくない)と判断すれば、プログラム202は、ドキュメント画像が非矩形形状を持つと判断する。この場合、傾き検出および画像切り取りプログラム202は、ドキュメント画像が傾いているか否かに関係なく、ドキュメント画像の傾き角度をゼロにセットする。言い換えると、傾き検出および画像切り取りプログラム202は、ドキュメント画像が(円、楕円または多角形のような)非矩形形状を持つと判断すれば、画像の傾きを検出しない。その代わりに、プログラム202は、走査画像から背景の大部分またはすべてを切り取ることができるようにするためドキュメント画像の境界情報のみを提供する。
【0028】
更に、傾き検出および画像切り取りプログラム202が、検出されたドキュメント画像が矩形形状でないと判断すると、プログラム202は、6つのピクセルのすべてを含む最も小さい矩形を定義し、これを画像形成プログラム204に通知する。画像形成プログラムは、(図8に例が示されているように)この矩形の内部全体を切り取られたドキュメント画像として受け取る。この場合、すべての背景情報が切り取られるとは限らない。以下に、ドキュメント150が矩形形状を持つ場合の傾き検出および画像切り取りプログラム202の動作の詳細を図5および図6を参照して記述し、ドキュメント150が矩形形状を持たない場合の傾き検出および画像切り取りプログラム202の動作の詳細を図7および図8を参照して記述する。
【0029】
図3、図5および図6に見られるように、傾き検出および画像切り取りプログラム202は、走査画像300を検査して、キュメント画像301の最初の走査行の最初および最後のドキュント画像ピクセルの位置を特定する。図5に見られるように、プログラム202は、走査画像300の最初の走査行がドキュメント画像301の最初の走査行であることを認識する。次に、プログラム202は、ドキュメント画像301の最初の走査行の最初のドキュメント画像ピクセル311および最後のドキュメント画像ピクセル312の位置を定める。傾き検出および画像切り取りプログラム202がドキュメント画像301の他の走査行の最初のドキュメント画像ピクセルおよび最後のドキュメント画像ピクセルの検査を続けるに従って、稜線セグメント304、305、306および307が作成されて行く。加えて、最左端のドキュメント画像ピクセル313および最右端のドキュメント画像ピクセル314の位置が特定される。また、ドキュメント画像301の最後の走査行の最初で最後のドキュメント画像ピクセル(すなわち315および316)の位置が特定される。図5からわかるように、ドキュメント画像301の最後の走査行の最初のドキュメント画像ピクセル315は、最後の走査行の最後のドキュメント画像ピクセル316と重なる。
【0030】
ドキュメント画像の稜線セグメント304−307が作成された後、傾き検出および画像切り取りプログラム202は傾き角度αを計算し、傾き角度αおよびピクセル311−316から計算された切り取り境界と共に画像形成プログラム204へ送る。
【0031】
上述のように、傾き検出および画像切り取りプログラム202は、また、ドキュメント画像の傾き角度αを計算する際ドキュメント画像が矩形形状であるか否かを判断する。傾き検出および画像切り取りプログラム202がドキュメント画像が(図7のドキュメント画像401のように)矩形形状でないと判断すれば、プログラム202はドキュメント画像の傾き角度を計算せず、傾き角度をゼロにセットする。傾き検出および画像切り取りプログラム202は、ドキュメント画像が複数の傾き角度を持っていないか否かを判断することによってドキュメント画像が矩形形状であるか否かを判断する。ドキュメント画像が多角形のような非矩形形状をもつ場合、傾き角度は複数となる。加えて、プログラム202は、ドキュメント画像の稜線セグメントがあらかじめ決められた長さより長いか否かを検出することによって、ドキュメント画像が矩形形状であるか否かを判断する。あらかじめ決められた長さより短い稜線セグメントは破棄され、そのような稜線セグメントについては傾き角度は計算されない。すべての検出されたセグメントが破棄されれば、プログラム202はドキュメント画像が(例えば楕円または円形のような)非矩形形状を持つと判断し、やはりドキュメント画像の傾き角度を計算しない。このような場合、プログラム202はドキュメント画像の6つの境界ピクセルの位置のみを特定するだけである。図9ないし図11には、傾き検出および画像切り取りプログラム202の動作の流れが示されている。この動作の流れを以下詳述する。
【0032】
図3、図7および図8に見られるように、ドキュメント150が卵形のドキュメント画像401を持つ時、図3の傾き検出および画像切り取りプログラム202は、傾き角度が異なったり稜線の長さがあらかじめ決められたものより短い複数の稜線を検出する。1つの実施形態においては、あらかじめ決められた稜線の長さは約25ピクセルを含む。代替実施形態において、あらかじめ決められた稜線の長さは約25ピクセル以上または以下とすることもできる。
【0033】
プログラム202が、ドキュメント画像401が矩形でないことを検出すると、プログラム202は6つの境界ピクセル(すなわちドキュメント画像の最初の走査行に関する最初および最後のドキュメント画像ピクセル、ドキュメント画像の最後の走査行に関する最初および最後のドキュメント画像ピクセル、ドキュメント画像の最左端の画像ピクセルおよびドキュメント画像の最右端のドキュメント画像ピクセルという6つのピクセル)の位置を特定するだけである。図7からわかるように、ドキュメント画像401の最初の走査行の最初および最後のドキュメント画像ピクセル411および412は互いに重なり、ドキュメント画像401の最後の走査行の最初および最後のドキュメント画像ピクセル415および416も互いに重なっている。
【0034】
次に、図3、図5および図6に見られるように、画像形成プログラム204は、傾き検出および画像切り取りプログラム202から受け取った傾き角度αに従ってドキュメント画像301の傾きを補正し、6つのドキュメント画像ピクセル311−316に従って走査画像300の背景302のすべてを削除する。画像形成プログラム204が実行する上記補正および削除は既知の方法を使用して実行されるので、本明細書ではその詳細な記述は省略する。図6に処理されたドキュメント画像301aが示されている。
【0035】
図5および図6に見られるように、図6の処理済みドキュメント画像301aは、走査画像の背景がない点を除き図5の未処理ドキュメント画像301と同一である。加えて、処理済みドキュメント画像301aは傾いていない。更に図6の処理済みドキュメント画像301aは切り取り稜線を持たない。これは、画像形成プログラムがドキュメント画像ピクセル311−316に基づいて図5のドキュメント画像310をトリミンングした結果である。
【0036】
図7のドキュメント画像401を処理する場合、傾き検出および画像切り取りプログラム202は、6つの境界ピクセル411−416のピクセル情報のみを画像形成プログラム204に送る。これら6つの境界ピクセル411−416に基づいて、画像形成プログラム204は、これらのピクセルすべてとドキュメント画像401を含む最も小さい矩形400aを作成する。画像形成プログラム204は、次に、矩形400aの外側にある図7の走査画像400のすべてを切り落として画像401の刈り取り済みドキュメント画像を作成する。
【0037】
図3に見られるように、傾き検出および画像切り取りプログラム202は走査制御プログラム203とのインターフェースを持つので、傾き検出および画像切り取りプログラム202は、走査制御プログラム203がスキャナを制御して1走査行の走査を完了すると同時に、走査制御プログラム203からその1走査行のピクセルを受け取る。このようにして、傾き検出および画像切り取りプログラム202は走査制御プログラム203の動作と並列して動作する。この結果、傾き検出および画像切り取りプログラム202は、制御プログラム203がドキュメント150の走査を完了すると同時に、ドキュメント150のドキュメント画像の傾き角度および境界情報を決定することができる。
【0038】
しかしながら、傾き検出および画像切り取りプログラム202の構成が上述のものに限定されない点は理解されるべきであろう。図4は、画像処理システム200の別の1つの実施形態を示し、この場合傾き検出および画像切り取りプログラム202は画像形成プログラム204とのみインターフェースを持つ。この形態では、ドキュメント150全体が走査されその走査画像が走査制御プログラム203から画像形成プログラム20へ送られた後、傾き検出および画像切り取りプログラム202はドキュメント150のドキュメント画像の傾き角度および境界情報を検出する。
【0039】
図9および図10は、ドキュメント画像の稜線セグメントおよび6つの境界ピクセルを作成する際の傾き検出および画像切り取りプログラム202の動作手順を示す。図11は、図9および図10の動作手順によって作成されたドキュメント画像の稜線セグメントおよび6つの境界ピクセルに基づいてドキュメント画像の傾き角度を検出する場合の傾き検出および画像切り取りプログラム202の動作手順を示す。図12は、矩形ドキュメント画像における稜線セグメント作成の様態を示し、図13は、円形または楕円形ドキュメント画像における稜線セグメント作成の様態を示す。図12および図13を参照しながら図9、図10および図11の詳細を以下記述する。
【0040】
プロセスはステップ500から始まる。ステップ501および502において、背景ピクセルの走査行のカラー値がセットされる。この値は、走査画像の各走査行のピクセルのカラーと比較して各走査行の最初と最後の画像ピクセルを特定するための基準値としてセットされる。代替的実施形態では、各ピクセルの輝度値だけが使用される。この場合、輝度は、約1/4の赤、1/2の緑および1/8の青として計算される。また別の実施形態では、ピクセルのカラー(あるいは輝度)が対応する基準背景ピクセルのカラー(あるいは輝度)とあらかじめ決められたしきい値より大きく相違する時、そのピクセルは画像ピクセルとみなされる。しきい値は、スキャナの背景の予想される変動性に基づいて決定される定数である。更に別の実施形態では、ピクセルのカラー(あるいは輝度)が対応する基準背景ピクセルのカラー(あるいは輝度)とあらかじめ決められたしきい値より大きく相違しかつその隣接するピクセルのカラー(あるいは輝度)がまた対応する基準背景ピクセルのカラー(あるいは輝度)とあらかじめ決められたしきい値より大きく相違する場合その走査行のピクセルは画像ピクセルとみなされる。この実施形態がスキャナのノイズに対して強力である。
【0041】
ステップ503で、走査画像の走査のすべてが処理されたか否か判断される。すべて完了していれば、ステップ504ないしステップ506において、走査画像内のドキュメント画像の傾き角度が計算される。図9に見られるように、ステップ505はドキュメント画像が非矩形形状であるかを判断するために実行される。(図3および図4の)プログラム202は、ステップ505において、ドキュメント画像の複数稜線セグメントに関して異なる傾き角度が見出されるか否かを判断することによって、非矩形であるか否かを決定する。非矩形であれば、プログラム202はドキュメント画像の傾き角度を計算せず、ステップ507aにおいて、傾き角度をゼロにセットする。ステップ505でドキュメント画像の複数稜線セグメントに関して異なる傾き角度が検出されなければ、ステップ506においてドキュメント画像の傾き角度が計算される。いずれの場合でも、プログラム202は、ステップ507で切り取り境界を計算し、ステップ523で処理を終了する。
【0042】
ステップ503で走査画像がまだ完全に検査されていないと判断されると、ステップ508へ進み、次の未検査走査行(r)のピクセルが取得される。次に、ステップ509において、走査行rのピクセルの各々のカラーが背景走査行の背景ピクセルの各々のカラーと比較され、一致しているか否か判断される。一致している場合(すなわち走査行rのピクセルすべてが背景ピクセルと一致する場合)、プログラム202はステップ510を経てステップ503へ戻る。ステップ509でいずれかのピクセルが背景と一致しない場合、対応する背景ピクセルと異なるカラーを持つ最初のドキュメント画像ピクセル(ピクセルc1)の位置が特定される。値rは、初期的にゼロにセットされ、新たな走査行が検査される度毎に増分される。
【0043】
次にプロセスはステップ512へ進み、境界ピクセルの記憶が更新される。現在時の最初と最後のピクセルを記憶された6つの境界ピクセルと比較することによってこれら6つのピクセルが更新される必要があるか否かが判断される。これらの6つのピクセルの位置の値は初期的にゼロにセットされる。例えば、現在時最初のピクセルの位置の値が記憶された左端のピクセルのそれより小さければ、記憶された左端のピクセルは、現在時の最初のピクセルと置き換えられる。このようにして最終的には6つの境界ピクセルが決定される。
【0044】
次に、図10のステップ513において、走査行rの最初のドキュメント画像ピクセルが現在までの左の稜線セグメントを継続しているか否かが判断される。そうであれば、ステップ514においてその稜線セグメントの作成を継続する。例えば、図12に見られるように、走査行700が現在検査中の走査行rであり、ピクセル710が走査行の最初のピクセルと判断されるとすれば、図10のステップ513において、ピクセル710が稜線セグメント701を継続していると判断され、ステップ714において、稜線セグメント701がピクセル710へ延伸される。同様に、図13は円形または楕円形ドキュメント画像の稜線セグメント801および802の作成形態を示している。
【0045】
図10のステップ513の判断が否定であれば、ステップ515において当該左稜線セグメントの作成は終了する。次に、ステップ516において、この最初のピクセルを基にして新しい左稜線セグメントが開始される。次に、ステップ517ないしステップ522において走査行rの最後のピクセルc2の位置の特定が実行される。図9および図10に見られるように、ステップ517−522は、走査行の最初のピクセルに関するステップ511−516と、処理が走査行の最後のピクセルに対するものである点を除いて基本的に同一である。
【0046】
図11は、検出された稜線セグメントに基づく傾き情報更新のプロセスを示す。このプロセスは、図9および図10のステップ504、510、515および521においてセグメント作成が終了される場合に、実行される。セグメントが短すぎると破棄される(ステップ602)。ステップ604においてドキュメント画像が非長方形を持つと判断されると、傾き角度はゼロにセットされ後続のセグメントは破棄される。そうでなければ、検出されたセグメントの勾配を使用して傾き角度推定値が更新される。
【0047】
以上、本発明は、上述のように特定の実施形態を参照して記述された。しかしながら、本発明の理念および有効範囲を逸脱することなく上述の実施形態に対し種々の修正および変更を行うことが可能である点は当業者にとって明らかであろう。
【0048】
本発明には、例として次のような実施様態が含まれる。
(1)各走査行が複数のピクセルを含む複数の走査行を持つ走査画像の内側に位置するドキュメント画像の傾きを決定する方法であって、上記走査画像の1つの走査行のピクセルを受け取るステップ(A)と、上記ドキュメント画像に属するピクセルの中から該走査行の最初および最後のドキュメント画像ピクセルの位置を特定するステップ(B)と、当該走査行の上記最初および最後のドキュメント画像ピクセルが、前の走査行の最初および最後のドキュメント画像ピクセルを持つ稜線セグメントを継続するものであれば、上記稜線セグメントを当該走査行の上記最初および最後のドキュメント画像ピクセルへ延伸させるステップ(C)と、処理すべき走査行すべてについて、ピクセルを受け取り、ピクセル位置を特定し、稜線セグメントを延伸する上記ステップ(A)、(B)および(C)を繰り返すステップと、上記稜線セグメントがあらかじめ決められた長さの値より長い場合該稜線セグメントの勾配を決定することによって上記傾き角度を決定するステップ(D)と、を含むドキュメント画像傾き決定方法。
(2)上記走査画像が、ドキュメント画像のドキュメント画像ピクセルおよび走査画像の背景ピクセルを含み、上記ステップ(B)があらかじめ決められた背景ピクセルの走査行を受け取るステップ(B1)および走査画像の走査行ピクセルを対応する走査行の上記あらかじめ決められた背景ピクセルと比較して、上記ドキュメント画像に属するピクセルの中から該走査行の最初および最後のドキュメント画像ピクセルの位置を特定するステップ(B2)を更に含む、上記(1)に記載のドキュメント画像傾き決定方法。
(3)上記ステップ(B2)が、上記最初および最後のドキュメント画像ピクセルのカラーをその対応する背景ピクセルのカラーと比較するステップ(i)、上記最初および最後のドキュメント画像ピクセルの隣接ピクセルのカラーをその対応する背景ピクセルのカラーと比較するステップ(ii)、上記最初および最後のドキュメント画像ピクセルのカラーがその対応する背景ピクセルのカラーと異なり、上記最初および最後のドキュメント画像ピクセルの隣接ピクセルのカラーがその対応する背景ピクセルのカラーと異なる場合、該最初および最後のドキュメント画像ピクセルが実際に走査行に沿ったドキュメント画像の最初および最後のドキュメント画像ピクセルであると判断するステップ(iii)を更に含む、上記(2)に記載のドキュメント画像傾き決定方法。
【0049】
(4)上記背景ピクセルの各々のカラーが約1/4の赤、1/2の緑および1/8の青である、上記(3)に記載のドキュメント画像傾き決定方法。
(5)上記ステップ(C)が、当該走査行の上記最初および最後のドキュメント画像ピクセルが稜線セグメントを継続するものでない場合、当該稜線セグメントの作成および延伸を終了し、当該走査行の最初および最後のドキュメント画像ピクセルを通る新しい稜線セグメントを生成するステップ(C1)および上記ステップ(A)および(B)を繰り返すステップ(C2)を更に含む、上記(1)に記載のドキュメント画像傾き決定方法。
(6)上記ステップ(D)が、当該稜線セグメントが前の稜線セグメントに対して垂直または平行であるか否かおよび当該稜線セグメントがあらかじめ決められた長さ値より長いか否かを判断することによってドキュメント画像が矩形形状を有するか否かを決定するステップ(a)、およびドキュメント画像が矩形形状を有していない場合傾き角度をゼロにセットするステップ(b)を更に含む、上記(5)に記載のドキュメント画像傾き決定方法。
(7)上記あらかじめ決められた長さ値が約25個のピクセルに等しい、上記(6)に記載のドキュメント画像傾き決定方法。
【0050】
(8)各走査行が複数のピクセルから構成される複数の走査行を持つ走査画像の内側に位置するドキュメント画像の境界を決定する方法であって、走査行の各々を背景ピクセルのあらかじめ決められた走査行と照合し、当該ドキュメント画像の最初の走査行に関する最初および最後のドキュメント画像ピクセル、当該ドキュメント画像の最後の走査行に関する最初および最後のドキュメント画像ピクセル、当該ドキュメント画像の最左端の画像ピクセルおよび当該ドキュメント画像の最右端のドキュメント画像ピクセルのそれぞれの位置を特定するステップと、位置が特定された上記6個のドキュメント画像ピクセルを相互に接続して上記キュメント画像の境界を定義するステップと、を含むドキュメント画像境界決定方法。
(9)上記ドキュメント画像が複数の傾き角度を有するか否かを判断するステップを更に含む、上記(8)に記載のドキュメント画像境界決定方法。
(10)上記ドキュメント画像が複数の傾き角度を持つ場合、最初の走査行の最初および最後のドキュメント像ピクセルを通る第1の水平線、最後の走査行の最初および最後のドキュメント画像ピクセルを通る第2の水平線、最左端ドキュメント画像ピクセルを通る第1の垂直線、および最右端ドキュメント画像ピクセルを通る第2の垂直線を引くことによってドキュメント画像の境界を定義するステップを更に含む上記(9)に記載のドキュメント画像境界決定方法。
【0051】
(11)記憶媒体と、各走査行が複数のピクセルを含む複数の走査行を持つ走査画像の内側に位置するドキュメント画像の傾きを決定する機能を持ち上記記憶媒体に記憶されるコンピュータ・プログラムと、を備える装置であって、上記コンピュータ・プログラムが、上記走査画像の1つの走査行のピクセルを受け取る第1の命令セットと、上記ドキュメント画像に属するピクセルのうち該走査行の最初および最後のドキュメント画像ピクセルの位置を特定する第2の命令セットと、当該走査行の上記最初および最後のドキュメント画像ピクセルが、前の走査行の最初および最後のドキュメント画像ピクセルを持つ稜線セグメントを継続するものであれば、上記稜線セグメントを当該走査行の上記最初および最後のドキュメント画像ピクセルへ延伸させる第3の命令セットと、上記稜線セグメントがあらかじめ決められた長さの値より長い場合該稜線セグメントの勾配を決定することによって上記傾き角度を決定する第4の命令セットと、を含む、ドキュメント画像傾き決定装置。
(12)上記走査画像がドキュメント画像のドキュメント画像ピクセルおよび走査画像の背景ピクセルを含み、上記第2の命令セットが、あらかじめ決められた背景ピクセルの走査行を受け取る上記第2の命令セットの第1のサブセット、上記最初および最後のドキュメント画像ピクセルのカラーをその対応する背景ピクセルのカラーと比較する上記第2の命令セットの第2のサブセット、上記最初および最後のドキュメント画像ピクセルの隣接ピクセルのカラーをその対応する背景ピクセルのカラーと比較する上記第2の命令セットの第3のサブセット、上記最初および最後のドキュメント画像ピクセルのカラーがその対応する背景ピクセルのカラーと異なり上記最初および最後のドキュメント画像ピクセルの隣接ピクセルのカラーがその対応する背景ピクセルのカラーと異なる場合、該最初および最後のドキュメント画像ピクセルが実際に走査行に沿ったドキュメント画像の最初および最後のドキュメント画像ピクセルであるか否かを判断する上記第2の命令セットの第4のサブセットを含む、上記(11)に記載のドキュメント画像傾き決定装置。
(13)上記背景ピクセルの各々のカラーが約1/4の赤、1/2の緑および1/8の青である、上記(12)に記載のドキュメント画像傾き決定装置。
(14)上記第3の命令セットが、当該走査行の上記最初および最後のドキュメント画像ピクセルが稜線セグメントを継続するものでない場合、当該稜線セグメントを終了し、当該走査行の最初および最後のドキュメント画像ピクセルを通る新しい稜線セグメントを生成する上記第3の命令セットの第1のサブセットを含む、上記(13)に記載のドキュメント画像傾き決定装置。
(15)上記第4の命令セットが、当該稜線セグメントが前の稜線セグメントに対して垂直または平行であるか否かおよび当該稜線セグメントがあらかじめ決められた長さ値より長いか否かを判断することによってドキュメント画像が矩形形状を有するか否かを決定する上記第4の命令セットの第1のサブセット、およびドキュメント画像が矩形形状を有していない場合傾き角度をゼロにセットする上記第4の命令セットの第2のサブセットを含む、上記(14)に記載のドキュメント画像傾き決定装置。
(16)あらかじめ決められた長さ値が約25個のピクセルに等しい、上記(15)に記載のドキュメント画像傾き決定装置。
【0052】
(17)記憶媒体と、各走査行が複数のピクセルを含む複数の走査行を持つ走査画像の内側に位置するドキュメント画像の境界を決定する機能を持ち上記記憶媒体に記憶されるコンピュータ・プログラムと、を備える装置であって、上記コンピュータ・プログラムが、走査行の各々を背景ピクセルのあらかじめ決められた走査行と照合し、当該ドキュメント画像の最初の走査行に関する最初および最後のドキュメント画像ピクセル、当該ドキュメント画像の最後の走査行に関する最初および最後のドキュメント画像ピクセル、当該ドキュメント画像の最左端の画像ピクセルおよび当該ドキュメント画像の最右端のドキュメント画像ピクセルのそれぞれの位置を特定する第1の命令セットと、上記位置を特定した6個のドキュメント画像ピクセルを相互に接続して上記キュメント画像の境界を定義する第2の命令セットと、を備えるドキュメント画像境界決定装置。
(18)ドキュメント画像が複数の傾き角度を有するか否かを判断する第3の命令セットを上記コンピュータ・プログラムが更に含む、上記(17)に記載のドキュメント画像境界決定装置。
(19)上記ドキュメント画像が複数の傾き角度を持つ場合、最初の走査行の最初および最後のドキュメント像ピクセルを通る第1の水平線、最後の走査行の最初および最後のドキュメント画像ピクセルを通る第2の水平線、最左端ドキュメント画像ピクセルを通る第1の垂直線、および最右端ドキュメント画像ピクセルを通る第2の垂直線を作成することによって上記ドキュメント画像の境界を定義する第4の命令セットを上記コンピュータ・プログラムが更に含む、上記(18)に記載のドキュメント画像境界決定装置。
【0053】
【発明の効果】
本発明によって、オリジナル・ドキュメント上にテキストまたは特別の傾き検出情報の存在を必要とすることなく、また人手の介入を必要とすることなく、走査画像に関する傾き補正を行うことが可能となり、更に、オリジナルのサイズや形状に関係なく走査画像に関して画像切り取りを行うことが可能となり、これによって、画像処理システムの処理効率が大幅に向上する。
【図面の簡単な説明】
【図1】走査されるドキュメントの傾いた画像を示す概念図である。
【図2】画像処理システムを実施するコンピュータ・システムを示すブロック図である。
【図3】本発明の1つの実施形態に従う傾き補正および画像切り取り機構を含む画像処理システムを示すブロック図である。
【図4】画像処理システムにおける傾き補正および画像切り取り機構の図3とは異なる実施形態を示すブロック図である。
【図5】図3および図4の画像処理システムによって生成されたドキュメント画像であるが、図3および図4の傾き補正および画像切り取り機構によって処理される前のドキュメント画像を示す概念図である。
【図6】図3および図4の傾き補正および画像切り取り機構によって処理された後の図5のドキュメント画像の概念図である。
【図7】図3および図4の画像処理システムによって生成されたドキュメント画像であるが、図3および図4の傾き補正および画像切り取り機構によって処理される前の図5とは別のドキュメント画像を示す概念図である。
【図8】図3および図4の傾き補正および画像切り取り機構によって処理された後の図7のドキュメント画像の概念図である。
【図9】図10および図11と共に、図3および図4の傾き補正および画像切り取り機構の動作の流れ図である。
【図10】図9および図11と共に、図3および図4の傾き補正および画像切り取り機構の動作の流れ図である。
【図11】図9および図10と共に、図3および図4の傾き補正および画像切り取り機構の動作の流れ図である。
【図12】ドキュメント画像が矩形形状を含む場合図3および図4の傾き補正および画像切り取り機構によってドキュメント画像の傾き角度および境界情報が取得される方法を示すブロック図である。
【図13】ドキュメント画像が非矩形形状を含む場合図3および図4の傾き補正および画像切り取り機構によってドキュメント画像の傾き角度および境界情報が取得される方法を示すブロック図である。
【符号の説明】
10 走査画像
11 ドキュメント画像
12 背景
100 コンピュータ・システム
101 バス
102 プロセッサ
104 メモリ
107 大容量記憶装置
121 ディスプレイ
122 キーボード
123 ポインティング・デバイス
124 ハードコピー・デバイス
125 画像スキャナ
126 その他の周辺装置
150 オリジナル・ドキュメント
202 傾き検出および画像切り取り機構またはプログラム
203 走査制御プログラム
204 画像形成プログラム
300、400 走査画像
301、401 ドキュメント画像
301a、401a 処理済みドキュメント画像
304、305、306、307、701、702、801、802 稜線セグメント
311、411 最初の走査行の最初のピクセル
312、412 最初の走査行の最後のピクセル
313、413 最左端のピクセル
315、415 最後の走査行の最初のピクセル
316、416 最後の走査行の最後のピクセル
314、414 最右端のピクセル
710、711、712、713、714 ピクセル
700、720、810、820 走査行

Claims (7)

  1. 各走査行が複数のピクセルを含む複数の走査行を持つ走査画像の内側に位置するドキュメント画像の傾きを、画像処理システムによって決定する方法であって、傾き検出手段が、走査制御手段から上記走査画像の1つの走査行のピクセルを受け取るステップ(A)と、該傾き検出手段が、上記ドキュメント画像に属するピクセルの中から該走査行の最初および最後のドキュメント画像ピクセルの位置を特定するステップ(B)と、該傾き検出手段が、当該走査行の上記最初および最後のドキュメント画像ピクセルが、前の走査行の最初および最後のドキュメント画像ピクセルを持つ稜線セグメントを継続するものであれば、上記稜線セグメントを当該走査行の上記最初および最後のドキュメント画像ピクセルへ延伸させるステップ(C)と、該傾き検出手段が、処理すべき走査行すべてについて、ピクセルを受け取り、ピクセル位置を特定し、稜線セグメントを延伸する上記ステップ(A)、(B)および(C)を繰り返すステップと、該傾き検出手段が、上記稜線セグメントがあらかじめ決められた長さの値より長い場合該稜線セグメントの勾配を決定することによって上記傾き角度を決定するステップ(D)と、を含むドキュメント画像傾き決定方法。
  2. 上記走査画像が、ドキュメント画像のドキュメント画像ピクセルおよび走査画像の背景ピクセルを含み、上記ステップ(B)があらかじめ決められた背景ピクセルの走査行を受け取るステップ(B1)および走査画像の走査行ピクセルを対応する走査行の上記あらかじめ決められた背景ピクセルと比較して、上記ドキュメント画像に属するピクセルの中から該走査行の最初および最後のドキュメント画像ピクセルの位置を特定するステップ(B2)を更に含む、請求項1に記載のドキュメント画像傾き決定方法。
  3. 上記ステップ(B2)が、上記最初および最後のドキュメント画像ピクセルのカラーをその対応する背景ピクセルのカラーと比較するステップ(i)、上記最初および最後のドキュメント画像ピクセルの隣接ピクセルのカラーをその対応する背景ピクセルのカラーと比較するステップ(ii)、上記最初および最後のドキュメント画像ピクセルのカラーがその対応する背景ピクセルのカラーと異なり、上記最初および最後のドキュメント画像ピクセルの隣接ピクセルのカラーがその対応する背景ピクセルのカラーと異なる場合、該最初および最後のドキュメント画像ピクセルが実際に走査行に沿ったドキュメント画像の最初および最後のドキュメント画像ピクセルであると判断するステップ(iii)を更に含む、請求項2に記載のドキュメント画像傾き決定方法。
  4. 上記背景ピクセルの各々のカラーが約1/4の赤、1/2の緑および1/8の青である、請求項3に記載のドキュメント画像傾き決定方法。
  5. 上記ステップ(C)が、当該走査行の上記最初および最後のドキュメント画像ピクセルが稜線セグメントを継続するものでない場合、当該稜線セグメントの作成および延伸を終了し、当該走査行の最初および最後のドキュメント画像ピクセルを通る新しい稜線セグメントを生成するステップ(C1)および上記ステップ(A)および(B)を繰り返すステップ(C2)を更に含む、請求項1に記載のドキュメント画像傾き決定方法。
  6. 上記ステップ(D)が、当該稜線セグメントが前の稜線セグメントに対して垂直または平行であるか否かおよび当該稜線セグメントがあらかじめ決められた長さ値より長いか否かを判断することによってドキュメント画像が矩形形状を有するか否かを決定するステップ(a)、およびドキュメント画像が矩形形状を有していない場合傾き角度をゼロにセットするステップ(b)を更に含む、請求項5に記載のドキュメント画像傾き決定方法。
  7. 上記あらかじめ決められた長さ値が約25個のピクセルに等しい、請求項6に記載のドキュメント画像傾き決定方法。
JP07675697A 1996-04-04 1997-03-28 ドキュメント画像傾き決定方法 Expired - Fee Related JP4027454B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US628,044 1996-04-04
US08/628,044 US5901253A (en) 1996-04-04 1996-04-04 Image processing system with image cropping and skew correction

Publications (2)

Publication Number Publication Date
JPH1031748A JPH1031748A (ja) 1998-02-03
JP4027454B2 true JP4027454B2 (ja) 2007-12-26

Family

ID=24517206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07675697A Expired - Fee Related JP4027454B2 (ja) 1996-04-04 1997-03-28 ドキュメント画像傾き決定方法

Country Status (4)

Country Link
US (1) US5901253A (ja)
EP (1) EP0800148B1 (ja)
JP (1) JP4027454B2 (ja)
DE (1) DE69713941T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1911526B (zh) * 2005-08-10 2010-08-18 金烈水 一种高效率静电除尘器

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920406A (en) * 1997-06-13 1999-07-06 Hewlett-Packard Co. Margin seeking for multiple copy jobs
US6360026B1 (en) * 1998-03-10 2002-03-19 Canon Kabushiki Kaisha Method for determining a skew angle of a bitmap image and de-skewing and auto-cropping the bitmap image
US6310984B2 (en) * 1998-04-09 2001-10-30 Hewlett-Packard Company Image processing system with image cropping and skew correction
KR100264331B1 (ko) * 1998-05-26 2000-08-16 윤종용 원고 비틀림 보정 장치 및 방법
US6271935B1 (en) * 1998-09-23 2001-08-07 Xerox Corporation Method to remove edge artifacts from skewed originals
US20010022675A1 (en) * 1998-09-23 2001-09-20 Xerox Corporation Electronic image registration for a scanner
JP2000224393A (ja) * 1999-01-29 2000-08-11 Konica Corp 画像読取装置及び複写装置
US6449397B1 (en) * 1999-04-05 2002-09-10 Mustek Systems Inc. Image processing system for scanning a rectangular document
EP1071285A1 (en) * 1999-07-19 2001-01-24 Texas Instruments Inc. Vertical compensation in a moving camera
US7912295B1 (en) * 1999-09-28 2011-03-22 Transpacific Optics Llc Method for auto-cropping a scanned image
US6683984B1 (en) 2000-07-31 2004-01-27 Hewlett-Packard Development Company, L.P. Digital imaging device with background training
DE10043318B4 (de) * 2000-08-18 2005-07-21 Mustek System, Inc. Verfahren zum automatischen Beschneiden eines abgetasteten Bildes im Echtzeitbetrieb
US7145699B2 (en) * 2001-03-30 2006-12-05 Sharp Laboratories Of America, Inc. System and method for digital document alignment
US6980332B2 (en) * 2001-06-26 2005-12-27 Hewlett-Packard Development Company, L.P. System and method of automated scan workflow assignment
GB0116113D0 (en) * 2001-06-30 2001-08-22 Hewlett Packard Co Tilt correction of electronic images
US7079707B2 (en) * 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
GB2378340A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Generation of an image bounded by a frame or of overlapping images
US6970607B2 (en) * 2001-09-05 2005-11-29 Hewlett-Packard Development Company, L.P. Methods for scanning and processing selected portions of an image
US6839459B2 (en) * 2001-09-19 2005-01-04 Hewlett-Packard Development Company, L.P. Method and apparatus for three-dimensional shadow lightening
US20030083835A1 (en) * 2001-10-29 2003-05-01 Chung-Wei Cheng Image-autocrop method for calibrating image-input
US20030095722A1 (en) * 2001-11-19 2003-05-22 Regimbal Laurent A. Method and apparatus to detect and compensate for skew in a printing device
US7538903B2 (en) * 2002-07-11 2009-05-26 Stone Cheng Method for scanning by using a virtual frame holder
US7068855B2 (en) * 2002-07-16 2006-06-27 Hewlett-Packard Development Company, L.P. System and method for manipulating a skewed digital image
US7148990B2 (en) * 2002-08-15 2006-12-12 Hewlett-Packard Development Company, L.P. System and method for producing a photobook
US7068856B2 (en) 2002-09-17 2006-06-27 Lockheed Martin Corporation Method and system for determining and correcting image orientation angle
US7133573B2 (en) * 2002-11-26 2006-11-07 Eastman Kodak Company Document skew accommodation
JP3690391B2 (ja) * 2003-01-23 2005-08-31 セイコーエプソン株式会社 画像編集装置、画像のトリミング方法、及びプログラム
US7457010B2 (en) * 2003-05-29 2008-11-25 Hewlett-Packard Development Company, L.P. System and method for fast scanning
TWI267800B (en) * 2003-06-13 2006-12-01 Lite On Technology Corp Automatic correction method of tilted image
US7424672B2 (en) * 2003-10-03 2008-09-09 Hewlett-Packard Development Company, L.P. System and method of specifying image document layout definition
US20050088711A1 (en) * 2003-10-24 2005-04-28 Daniel Stuart W. Scanning device with preview
US20050097046A1 (en) 2003-10-30 2005-05-05 Singfield Joy S. Wireless electronic check deposit scanning and cashing machine with web-based online account cash management computer application system
US7668404B2 (en) * 2004-06-30 2010-02-23 Lexmark International, Inc. Method and system of deskewing an image using monochrome conversion to separate foreground from background
US7262781B2 (en) 2004-07-27 2007-08-28 Hewlett-Packard Development Company, L.P. Document creation system and related methods
US20060098243A1 (en) * 2004-11-08 2006-05-11 Lexmark International, Inc. Determining a gray background value and/or skew of a scanned document
US9329827B2 (en) * 2004-12-29 2016-05-03 Funmobility, Inc. Cropping of images for display on variably sized display devices
US20070002375A1 (en) * 2005-06-30 2007-01-04 Lexmark International, Inc. Segmenting and aligning a plurality of cards in a multi-card image
US8054513B2 (en) * 2005-07-20 2011-11-08 Brother Kogyo Kabushiki Kaisha Image displaying method, image display apparatus and facsimile apparatus for displaying effective data on display screen
US20080311551A1 (en) * 2005-08-23 2008-12-18 Mazer Corporation, The Testing Scoring System and Method
US20070097451A1 (en) * 2005-10-27 2007-05-03 Kumar Marappan Multiple document scanning
JP2007174479A (ja) * 2005-12-26 2007-07-05 Fuji Xerox Co Ltd 読取制御システム
US8577166B1 (en) * 2006-03-31 2013-11-05 Google Inc. Optimizing web site images using a focal point
US7689004B2 (en) * 2006-09-12 2010-03-30 Seiko Epson Corporation Method and apparatus for evaluating the quality of document images
US8708227B1 (en) 2006-10-31 2014-04-29 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US8799147B1 (en) 2006-10-31 2014-08-05 United Services Automobile Association (Usaa) Systems and methods for remote deposit of negotiable instruments with non-payee institutions
US7873200B1 (en) 2006-10-31 2011-01-18 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US8351677B1 (en) 2006-10-31 2013-01-08 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
EP2111588A2 (en) * 2007-02-13 2009-10-28 Nidvid, Inc. Media editing system and method
US10380559B1 (en) 2007-03-15 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for check representment prevention
US8959033B1 (en) 2007-03-15 2015-02-17 United Services Automobile Association (Usaa) Systems and methods for verification of remotely deposited checks
US7991244B2 (en) * 2007-04-30 2011-08-02 Hewlett-Packard Development Company, L.P. Variable skew correction system and method
US8433127B1 (en) 2007-05-10 2013-04-30 United Services Automobile Association (Usaa) Systems and methods for real-time validation of check image quality
US8538124B1 (en) 2007-05-10 2013-09-17 United Services Auto Association (USAA) Systems and methods for real-time validation of check image quality
US8731297B1 (en) * 2007-09-28 2014-05-20 Amazon Technologies, Inc. Processing a digital image of content to remove border artifacts
US20090086275A1 (en) * 2007-09-28 2009-04-02 Jian Liang Processing a digital image of content
US9058512B1 (en) 2007-09-28 2015-06-16 United Services Automobile Association (Usaa) Systems and methods for digital signature detection
US9898778B1 (en) 2007-10-23 2018-02-20 United Services Automobile Association (Usaa) Systems and methods for obtaining an image of a check to be deposited
US8358826B1 (en) * 2007-10-23 2013-01-22 United Services Automobile Association (Usaa) Systems and methods for receiving and orienting an image of one or more checks
US9159101B1 (en) 2007-10-23 2015-10-13 United Services Automobile Association (Usaa) Image processing
US9892454B1 (en) 2007-10-23 2018-02-13 United Services Automobile Association (Usaa) Systems and methods for obtaining an image of a check to be deposited
US8290237B1 (en) 2007-10-31 2012-10-16 United Services Automobile Association (Usaa) Systems and methods to use a digital camera to remotely deposit a negotiable instrument
US8320657B1 (en) 2007-10-31 2012-11-27 United Services Automobile Association (Usaa) Systems and methods to use a digital camera to remotely deposit a negotiable instrument
US7900822B1 (en) 2007-11-06 2011-03-08 United Services Automobile Association (Usaa) Systems, methods, and apparatus for receiving images of one or more checks
US8838489B2 (en) 2007-12-27 2014-09-16 Amazon Technologies, Inc. On-demand generating E-book content with advertising
US10380562B1 (en) 2008-02-07 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for mobile deposit of negotiable instruments
US8064729B2 (en) * 2008-04-03 2011-11-22 Seiko Epson Corporation Image skew detection apparatus and methods
US8351678B1 (en) 2008-06-11 2013-01-08 United Services Automobile Association (Usaa) Duplicate check detection
US9547799B2 (en) * 2008-07-17 2017-01-17 Sharp Laboratories Of America, Inc. Methods and systems for content-boundary detection
JP4640470B2 (ja) * 2008-08-18 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および撮像装置
US8422758B1 (en) 2008-09-02 2013-04-16 United Services Automobile Association (Usaa) Systems and methods of check re-presentment deterrent
US10504185B1 (en) 2008-09-08 2019-12-10 United Services Automobile Association (Usaa) Systems and methods for live video financial deposit
US9165388B2 (en) * 2008-09-22 2015-10-20 International Business Machines Corporation Method of automatic cropping
US8391599B1 (en) 2008-10-17 2013-03-05 United Services Automobile Association (Usaa) Systems and methods for adaptive binarization of an image
KR20100070060A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 촬상 장치, 촬상 방법 및 프로그램
US8405840B2 (en) * 2008-12-18 2013-03-26 Sharp Laboratories Of America, Inc. Systems and methods for minimizing re-imaging procedures for an imaging device
US8452689B1 (en) 2009-02-18 2013-05-28 United Services Automobile Association (Usaa) Systems and methods of check detection
US10956728B1 (en) 2009-03-04 2021-03-23 United Services Automobile Association (Usaa) Systems and methods of check processing with background removal
EP2249307B1 (en) 2009-05-05 2019-07-03 InterDigital Madison Patent Holdings Method for image reframing
EP2449531B1 (en) 2009-07-02 2017-12-20 Hewlett-Packard Development Company, L.P. Skew detection
US8542921B1 (en) 2009-07-27 2013-09-24 United Services Automobile Association (Usaa) Systems and methods for remote deposit of negotiable instrument using brightness correction
US9779392B1 (en) 2009-08-19 2017-10-03 United Services Automobile Association (Usaa) Apparatuses, methods and systems for a publishing and subscribing platform of depositing negotiable instruments
EP2469834B1 (en) * 2009-08-19 2021-04-21 Nec Corporation Image processing method, image processing device, and program
US8977571B1 (en) 2009-08-21 2015-03-10 United Services Automobile Association (Usaa) Systems and methods for image monitoring of check during mobile deposit
US8699779B1 (en) 2009-08-28 2014-04-15 United Services Automobile Association (Usaa) Systems and methods for alignment of check during mobile deposit
US8873864B2 (en) * 2009-12-16 2014-10-28 Sharp Laboratories Of America, Inc. Methods and systems for automatic content-boundary detection
US8571313B2 (en) * 2010-03-22 2013-10-29 Sharp Laboratories Of America, Inc. Methods and systems for estimation of document skew in an image
US9129340B1 (en) 2010-06-08 2015-09-08 United Services Automobile Association (Usaa) Apparatuses, methods and systems for remote deposit capture with enhanced image detection
US9858604B2 (en) 2010-09-24 2018-01-02 Amazon Technologies, Inc. Vendor interface for item delivery via 3D manufacturing on demand
US9898776B2 (en) 2010-09-24 2018-02-20 Amazon Technologies, Inc. Providing services related to item delivery via 3D manufacturing on demand
US9672550B2 (en) 2010-09-24 2017-06-06 Amazon Technologies, Inc. Fulfillment of orders for items using 3D manufacturing on demand
US8412588B1 (en) 2010-09-24 2013-04-02 Amazon Technologies, Inc. Systems and methods for fabricating products on demand
US9684919B2 (en) 2010-09-24 2017-06-20 Amazon Technologies, Inc. Item delivery using 3D manufacturing on demand
US8860989B2 (en) * 2011-12-15 2014-10-14 Kodak Alaris Inc. Scanner with exception preview
US10380565B1 (en) 2012-01-05 2019-08-13 United Services Automobile Association (Usaa) System and method for storefront bank deposits
JP5887943B2 (ja) * 2012-01-16 2016-03-16 富士ゼロックス株式会社 画像読取装置及び画像形成装置
US10552810B1 (en) 2012-12-19 2020-02-04 United Services Automobile Association (Usaa) System and method for remote deposit of financial instruments
CN103325099A (zh) * 2013-07-11 2013-09-25 北京智诺英特科技有限公司 图像校正方法和装置
US11138578B1 (en) 2013-09-09 2021-10-05 United Services Automobile Association (Usaa) Systems and methods for remote deposit of currency
US9645923B1 (en) 2013-09-10 2017-05-09 Google Inc. Generational garbage collector on multiple heaps
US9286514B1 (en) 2013-10-17 2016-03-15 United Services Automobile Association (Usaa) Character count determination for a digital image
US10402790B1 (en) 2015-05-28 2019-09-03 United Services Automobile Association (Usaa) Composing a focused document image from multiple image captures or portions of multiple image captures
US10308430B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distribution and retrieval of inventory and materials using autonomous vehicles
US10310500B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Automated access to secure facilities using autonomous vehicles
US10310499B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distributed production of items from locally sourced materials using autonomous vehicles
US10573106B1 (en) 2017-03-22 2020-02-25 Amazon Technologies, Inc. Personal intermediary access device
US10147249B1 (en) 2017-03-22 2018-12-04 Amazon Technologies, Inc. Personal intermediary communication device
WO2019117968A1 (en) 2017-12-15 2019-06-20 Hewlett-Packard Development Company, L.P. Correction of feed skewed images
CN108256530B (zh) * 2017-12-29 2021-12-07 北京城市网邻信息技术有限公司 图像识别方法、装置和设备
WO2019172916A1 (en) * 2018-03-08 2019-09-12 Hewlett-Packard Development Company, L.P. Digital representation
US10896012B2 (en) 2018-03-13 2021-01-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP7094733B2 (ja) * 2018-03-13 2022-07-04 キヤノン株式会社 画像処理装置、プログラム、画像処理方法
US11030752B1 (en) 2018-04-27 2021-06-08 United Services Automobile Association (Usaa) System, computing device, and method for document detection
US10917410B2 (en) 2018-10-11 2021-02-09 Bank Of America Corporation Dynamic profile control system
US10839243B2 (en) 2018-10-11 2020-11-17 Bank Of America Corporation Image evaluation and dynamic cropping system
US10846527B2 (en) 2018-10-11 2020-11-24 Bank Of America Corporation Enterprise profile management and control system
US10824856B2 (en) 2018-10-11 2020-11-03 Bank Of America Corporation Item validation and image evaluation system
US10832050B2 (en) 2018-12-06 2020-11-10 Bank Of America Corporation Enhanced item validation and image evaluation system
US10825279B2 (en) 2018-12-06 2020-11-03 Bank Of America Corporation Item validation and image evaluation system with feedback loop
US11392130B1 (en) 2018-12-12 2022-07-19 Amazon Technologies, Inc. Selecting delivery modes and delivery areas using autonomous ground vehicles
WO2021061810A1 (en) 2019-09-26 2021-04-01 Amazon Technologies, Inc. Autonomous home security devices
US10796562B1 (en) 2019-09-26 2020-10-06 Amazon Technologies, Inc. Autonomous home security devices
CN111091505B (zh) * 2019-11-26 2022-06-24 浙江大学 基于古典概型的影印图像倾斜纠正方法
US11216960B1 (en) 2020-07-01 2022-01-04 Alipay Labs (singapore) Pte. Ltd. Image processing method and system
CN112132851A (zh) * 2020-11-25 2020-12-25 恒银金融科技股份有限公司 一种针对金融票据图像旋转角度的计算方法
US11900755B1 (en) 2020-11-30 2024-02-13 United Services Automobile Association (Usaa) System, computing device, and method for document detection and deposit processing

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462024A (en) * 1981-03-24 1984-07-24 Rca Corporation Memory scanning address generator
JPS5887652A (ja) * 1981-11-19 1983-05-25 Ricoh Co Ltd 画像処理装置
JPS58134368A (ja) * 1982-02-05 1983-08-10 Ricoh Co Ltd 文書画像処理装置
US4802229A (en) * 1983-04-12 1989-01-31 Canon Kabushiki Kaisha Image processing system
US4723297A (en) * 1984-09-27 1988-02-02 Siemens Aktiengesellschaft Method for automatic correction of character skew in the acquisition of a text original in the form of digital scan results
JPS61262982A (ja) * 1985-05-17 1986-11-20 Casio Comput Co Ltd 画像情報認識装置
JPH0661103B2 (ja) * 1986-07-22 1994-08-10 日本電気株式会社 回転図形生成装置
US4876730A (en) * 1987-02-25 1989-10-24 Lundy Electronics & Systems, Inc. Optical character reader with skew recognition
US4941189A (en) * 1987-02-25 1990-07-10 Lundy Electronics & Systems, Inc. Optical character reader with skew recognition
JP2829006B2 (ja) * 1988-11-10 1998-11-25 株式会社リコー 画像処理装置
JP2940960B2 (ja) * 1989-10-31 1999-08-25 株式会社日立製作所 画像の傾き検出方法および補正方法ならびに画像情報処理装置
US5189711A (en) * 1989-11-24 1993-02-23 Isaac Weiss Automatic detection of elliptical shapes
US5187753A (en) * 1989-12-08 1993-02-16 Xerox Corporation Method and apparatus for identification and correction of document skew
US5245676A (en) * 1989-12-21 1993-09-14 Xerox Corporation Determination of image skew angle from data including data in compressed form
JPH0455986A (ja) * 1990-06-26 1992-02-24 Toshiba Corp 画像処理装置
US5020123A (en) * 1990-08-03 1991-05-28 At&T Bell Laboratories Apparatus and method for image area identification
US5233168A (en) * 1991-09-30 1993-08-03 Pitney Bowes Inc. Method of deskewing an image
US5289297A (en) * 1991-10-02 1994-02-22 Xerox Corporation Converting lines to other colors
US5452374A (en) * 1992-04-06 1995-09-19 Ricoh Corporation Skew detection and correction of a document image representation
US5517587A (en) * 1994-09-23 1996-05-14 International Business Machines Corporation Positioning method and apparatus for line scanned images
US5528387A (en) * 1994-11-23 1996-06-18 Xerox Corporation Electronic image registration for a scanner

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1911526B (zh) * 2005-08-10 2010-08-18 金烈水 一种高效率静电除尘器

Also Published As

Publication number Publication date
US5901253A (en) 1999-05-04
EP0800148A2 (en) 1997-10-08
DE69713941T2 (de) 2002-11-14
DE69713941D1 (de) 2002-08-22
EP0800148B1 (en) 2002-07-17
EP0800148A3 (en) 1998-11-25
JPH1031748A (ja) 1998-02-03

Similar Documents

Publication Publication Date Title
JP4027454B2 (ja) ドキュメント画像傾き決定方法
US6430320B1 (en) Image processing system with automatic image cropping and skew correction
JP5001256B2 (ja) スキャンされたデータを処理するシステムおよび方法
US7567708B2 (en) Apparatus and method for image processing
JP2006303899A (ja) 画像処理装置、画像処理システム、および画像処理プログラム
US7149349B2 (en) Scanning and detecting a number of images
US7068855B2 (en) System and method for manipulating a skewed digital image
JP2005324540A (ja) 印刷装置および印刷方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP3698136B2 (ja) 画像処理装置および画像処理プログラム
EP2782065A1 (en) Image-processing device removing encircling lines for identifying sub-regions of image
JP2005045793A (ja) Xラベルを用いて画像の平滑性及び鮮鋭度を保持する適応型ハーフトーンスキーム
JP3615333B2 (ja) 罫線消去装置
US8031944B2 (en) Image processing method and image processing apparatus
JP2005045799A (ja) 部分的テンプレート照合を用いた画質向上
CN115187989A (zh) 图像的处理方法、装置、电子设备、扫描笔和存储介质
JP3830350B2 (ja) カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体
JP4136819B2 (ja) 画像処理装置及びプログラム
JP3899800B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JPH10336428A (ja) 画像処理装置
JP4577845B2 (ja) 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体
JP2004088499A (ja) 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム
JP2002152507A (ja) 異物検出処理装置および異物検出処理プログラム
JP2007065864A (ja) 画像処理装置、画像処理方法、画像形成装置、画像形成方法、原稿読み取り装置、及び原稿読み取り方法
JP5875551B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
AU2002301153B2 (en) Scanning and Detecting a Number of Images

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060704

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060929

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070515

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071010

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees