JP3976802B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP3976802B2
JP3976802B2 JP28049794A JP28049794A JP3976802B2 JP 3976802 B2 JP3976802 B2 JP 3976802B2 JP 28049794 A JP28049794 A JP 28049794A JP 28049794 A JP28049794 A JP 28049794A JP 3976802 B2 JP3976802 B2 JP 3976802B2
Authority
JP
Japan
Prior art keywords
page number
information
page
image processing
heading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28049794A
Other languages
Japanese (ja)
Other versions
JPH08137909A (en
Inventor
規明 松井
圭三 伊勢村
雅弘 芹澤
徳治 金子
弘一 高橋
敏 金子
昌宣 平
浩彦 岸本
明彦 佐藤
水野  善夫
泰生 深田
芳弘 細見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP28049794A priority Critical patent/JP3976802B2/en
Priority to US08/556,700 priority patent/US5940583A/en
Publication of JPH08137909A publication Critical patent/JPH08137909A/en
Priority to US09/313,736 priority patent/US6014459A/en
Application granted granted Critical
Publication of JP3976802B2 publication Critical patent/JP3976802B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、原稿中の見出し情報とページ番号情報とに基づいて目次を作成する画像処理装置及び画像処理方法に関するものである。
【0002】
【従来の技術】
従来、OCRを用いた文字認識においては、主として文字の清書や翻訳処理等が行われている。
【0003】
【発明が解決しようとする課題】
しかしながら、OCRによって認識した文字を用いて自動的に目次を編集するような機能は提案されていなかった。また、ページがバラバラの原稿や、ページ番号が付されていない原稿の目次を編集することは困難であった。
【0004】
本発明は、上記課題を解決するために成されたもので、自動的、且つ高速にページ番号順に並んだ目次を作成し、利用者の利便性を向上させた画像処理装置及び画像処理方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、原稿の各ページに対して見出し情報があるか否かを判断する判断手段と前記判断手段で見出し情報があると判断したページから、該見出し情報を抽出する抽出手段と、前記抽出手段により見出し情報が抽出された場合、当該抽出された見出し情報を含むページに記載されているページ番号に基づきページ番号情報を取得する取得手段と、前記抽出手段により抽出された見出し情報と、前記取得手段により取得された当該見出し情報を含むページのページ番号情報とを対応付けて蓄積する蓄積手段と、前記判断手段で見出し情報がないと判断したページに関しては、当該ページのページ番号は取得しないように制御する制御手段と、前記蓄積手段により蓄積された前記見出し情報と前記ページ番号情報とを各見出し情報に対応付けられたページ番号情報に基づいてソートし、目次を作成する作成手段とを有することを特徴とする。
【0011】
また、上記目的を達成するために、本発明の画像処理方法は、原稿の各ページに対して見出し情報があるか否かを判断する判断工程と前記判断工程で見出し情報があると判断したページから、該見出し情報を抽出する抽出工程と、前記抽出工程で見出し情報が抽出された場合、当該抽出された見出し情報を含むページに記載されているページ番号に基づきページ番号情報を取得する取得工程と、前記抽出工程で抽出した見出し情報と、前記取得工程で取得した当該見出し情報を含むページのページ番号情報とを対応付けて蓄積する蓄積工程と、前記判断工程で見出し情報がないと判断したページに関しては、当該ページのページ番号は取得しないように制御する制御工程と、前記蓄積工程で蓄積した前記見出し情報と前記ページ番号情報とを各見出し情報に対応付けられたページ番号情報に基づいてソートし、目次を作成する作成工程とを有することを特徴とする。
【0015】
【実施例】
以下、図面を参照しながら本発明に係る好適な一実施例を詳細に説明する。
【0016】
[第1の実施例]
まずはじめに、OCRの原理を図1を参照して説明する。
【0017】
図において、原稿101は画像読取部104の露光系102により走査され、ミラー103及びレンズ105を介してCCD106に結像され、A/D変換器107により二値化された後、画像処理部108に入力される。次に、画像処理部108において、二値化データは画像メモリ110に記憶され、1文字切出部111で二値化データから1文字ずつのイメージ(文字パターン)が切り出され、文字認識部112で文字認識される。尚、画像処理部108には、文字認識のための辞書が内蔵されている。そして、1文字ずつ文字変換された文字が編集部113で文字編集される。
【0018】
図2は、第1の実施例における画像複写装置の構造を示す断面図である。図において、1は原稿給送手段となる原稿給送装置(DF)であり、載置された原稿を1枚ずつ、或いは2枚連続に原稿台ガラス面2上の所定位置に給送する。3はランプ、走査ミラー5〜7等で構成されるスキャナである。原稿給送装置装置1により原稿が原稿台ガラス面2に載置されると、スキャナ3が所定の方向に往復走査され、原稿反射光が走査ミラー5〜7を介してレンズ8を通過してイメージセンサ部9に結像される。10は不図示のレーザスキャナ部等で構成される露光制御部であり、コントローラ部の画像信号制御部(不図示)から出力される画像データに基づいて変調された光ビームが感光体11に照射される。12,13は現像器であり、感光体11に形成された静電潜像を所定色の現像剤(トナー)で可視化する。14,15は定形サイズの記録媒体が積載収納されている被転写紙積載部であり、記録媒体が給送ローラの駆動によりレジストローラ配設位置まで給送され、感光体11に形成される画像との画像先端合わせタイミングが取られた状態で再給紙される。
【0019】
16は転写分離帯電器であり、感光体11に現像されたトナー像を被転写紙に転写した後、感光体11より分離して搬送ベルトを介して搬送する。17は定着部17であり、被転写紙に転写されたトナー像を定着させる。18は排紙ローラであり、画像形成の終了した被転写紙をトレー20に積載排紙する。19は方向フラッパであり、画像形成の終了した被転写紙の搬送方向を排紙口と内部搬送方向に切り換え、多重/両面画像形成プロセスに備える。
【0020】
<操作部の説明>
図3は、実施例における操作部の構成を示す図である。図3において、301は画像形成装置への通電を制御する電源スイッチである。302はリセットキーであり、スタンバイ中は標準モードに復帰させるキーとして動作する。303はコピースタートキーである。304はクリアキーであり、数値をクリアするときに用いる。305はIDキーであり、このIDキー305により特定の操作者に対して複写動作を可能にし、その他の操作者に対しては、IDキーによりIDを入力しない限り複写動作を禁止することが可能となる。306はストップキーであり、コピーを中断したり、中止したりするときに用いるキーである。307はガイドキーであり、各機能を知りたいときに使用するキーである。308は上カーソルキーであり、各機能設定画面においてポインタを上に移動させるキーである。309は下カーソルキーであり、各機能設定画面においてポインタを下に移動させるキーである。310は右カーソルキーであり、各機能設定画面においてポインタを右に移動させるキーである。311は左カーソルキーであり、各機能設定画面においてポインタを左に移動させるキーである。312はOKキーであり、各機能設定画面において、これで良い場合にこのキーを押す。313は各機能設定画面において、後述する表示画面の右下に出力されたことを実行する時にこのキーを押す。
【0021】
314は定形縮小キーであり、定形サイズを他の定形サイズに縮小する時に使用する。315は等倍コピーを選択するときに使用する。316は定形拡大キーであり、定形サイズを他の定形サイズに拡大するときに使用する。317はカセット選択キーであり、コピーするカセット段を選択する。318はコピー濃度調整キーであり、濃度を薄くする。319はAEキーであり、原稿の濃度に対してコピー濃度を自動的に調整する。320はコピー濃度調整キーであり、濃度を濃くする。321はソーターの動作を指定するキーである。322は予熱キーであり、予熱モードのON/OFFに使用する。323は割り込みキーであり、コピー中に割り込みコピーを行いたいときに押す。324はテンキーであり、数値の入力を行うときに使用する。
【0022】
325はマーカ処理キーであり、トリミング、マスキング、部分処理(輪郭処理、網処理、影付け処理、ネガポジ処理)を設定する。326はパターン化処理キーであり、色をパターン化して表現したり、色を濃度差で表現したりするときに使用する。327は色消去キーであり、特定色を消去したいときに使用する。328は画質キーであり、画質の設定を行いたいときに使用する。329はネガポジキーであり、ネガポジ処理を行うときに使用する。330はイメージクリエイトキーであり、輪郭処理、影付け処理、網処理、斜体、ミラー処理、リピート処理を行うときに使用する。331はトリミングキーであり、エリアを指定し、トリミングをするときに使用する。332はマスキングキーであり、エリアを指定し、マスキングをするときに使用する。333は部分処理キーであり、エリアを指定し、その後、部分処理(輪郭処理、網処理、影付け処理、ネガポジ処理)を指定する。334は枠消しキーであり、モードに合わせて枠消しを行うときに使用する。モードには、シート枠消し(シートサイズに対して枠を作成する。)、原稿枠消し(原稿サイズに合わせて枠を作成する。原稿サイズ指定あり。)、ブック枠消し(ブックの見開きサイズに合わせて枠と中央に空白を作成する。ブック見開きサイズ指定あり。)がある。
【0023】
335は綴じ代キーであり、用紙の一端に綴じ代を作成したいときに使用する。336は移動キーであり、移動を行いたいときに使用する。移動には、平行移動(上下左右)、センター移動、コーナー移動、指定移動(ポイント指定)がある。337はズームキーであり、複写倍率を25%〜400%まで、1%刻みで設定できる。また主走査、副走査を独立に設定できる。338はオート変倍キーであり、複写紙のサイズに合わせて自動的に拡大縮小する。また主走査、副走査を独立にオート変倍できる。339は拡大連写キーであり、1枚の原稿を複数枚に拡大して複写を行うときに使用する。340は縮小レイアウトキーであり、複数の原稿を1枚に拡大縮小して複写を行うときに使用する。343は連写キーであり、原稿台ガラス面の複写領域を左右に2分割し、自動的に2枚にコピーする連続複写を行いたいときに使用する(ページ連写、両面連写)。344は両面キーであり、両面の出力を行いたいときに使用する(片面両面、ページ連写両面、両面両面)。
【0024】
345は多重キーであり、多重を行いたいときに使用する(多重、ページ連写多重)。346はメモリキーであり、メモリを使用したモードを行いたいときに使用する(メモリ合成、エリア合成、すかし合成)。347はプロジェクタキーであり、プロジェクタを使用するときに使用する。348はプリンタキーであり、プリンタ時の設定を行うときに使用する。350は原稿混載キーであり、フィダーを使用してコピーを取るとき、原稿サイズが混載しているときに使用する。351はモードメモリキーであり、複写設定された複写モードを登録するとき、また登録された複写モードを呼び出すときに使用する。352は複写モードか目次作成モードかの切り換えを行うキーである。そして、360は表示画面であり、装置の状態、複写枚数、複写倍率、複写用紙サイズを表示し、複写モード設定中では、設定する内容を表示する。
【0025】
図4は、OCRと画像複写装置で構成される実施例の構成ブロック図であり、以下、図4を参照して目次自動作成の動作を説明する。
【0026】
まず、目次を作成したいページ番号付きの原稿をDF401によってスキャナ部402へ送り込み、送られてきた原稿をスキャナ部402において読み込む。スキャナ部402によって読み込まれた画像をOCR403において文字認識し、認識された文字から原稿の見出しとページ番号の抽出を行う。原稿中に見出しがある場合は、見出しとページ番号を対にしてメモリ405に蓄積する。次に、画像処理部404において、メモリ405に蓄積された見出しをページ順に整理し、プリンタ部406において、整理された見出しを目次として出力する。尚、見出しを整理する際に、出力する目次の訂正書換が必要な場合は、付随の操作部407入力により訂正書換を行う。
【0027】
次に、上述した画像処理部404の処理を図5に示すフローチャートに従って以下に説明する。
【0028】
まず、ステップS101において、原稿が有るか無いかをチェックし、原稿が有る場合はステップS102に進み、図4のスキャナ部402にて原稿の入力を行い、更にステップS103で、OCR403によって原稿の文字認識を行う。次に、ステップS104において、原稿の文字データの中に見出しが有るか無いかをチェックし、原稿の文字データの中に見出しが有る場合は見出しを抽出し、続くステップS105で、ページ番号が有るか無いかをチェックする。ここで、ページ番号が有る場合はステップS108に進み、抽出した見出しとページ番号を対にしてメモリ405に登録する。尚、上述の見出し抽出及びページ番号抽出については図7及び図8を用いて更に後述する。
【0029】
また、ステップS105において、ページ番号が無い場合はステップS106に進み、操作部407の表示部にエラー表示を行い、次のステップS107で、操作部407にてページ番号の修正(入力)等を行う。そして、修正が終了するとステップS108に進み、上述の登録処理を行う。
【0030】
一方、上述のステップS104で原稿の文字データの中に見出しが無い場合、ステップS108で登録処理が終了した場合はステップS109に進み、原稿の交換を行う。原稿の交換は、図1のDF(原稿給送装置)401等によって行う。そして、ステップS101の原稿有無チェックに戻ることにより、次の原稿を入力する。
【0031】
以上の処理により、原稿の読み込みが全て終了するとステップS110に進み、メモリ405内に見出しとページ番号のデータが有るか無いかをチェックする。ここで、見出しとページ番号のデータが有る場合はステップS111に進み、メモリ405に登録されているページ番号を、数の少ない順にソートすることにより、目次を作成するためのデータを作る。次に、ステップS112において、プリンタ部406にデータを送ることによって目次の出力を開始し、終了する。また、ステップS110でメモリ405内に見出しとページ番号のデータが無い場合はステップS113に進み、目次作成が不可能であることを操作部407の表示部に表示して、終了する。
【0032】
次に、上述の修正処理を図6に示すフローチャートに従って以下に説明する。
まず、ステップS201において、メモリ405から修正したいデータを読み出し、次のステップS202において、操作部407により見出しやページ番号の修正を行い。その後、目次修正を終了すると、ステップS203で修正内容をメモリ405に再登録し、修正処理を終了する。
【0033】
次に、上述の見出し抽出処理について図7に示すフローチャートに従って以下に説明する。
【0034】
まず、ステップS301において、OCR403によって文字認識された文字データのヒストグラムを取り、続くステップS302において、ヒストグラムの平均文字サイズ以上の文字列を抜き出す。その後、抽出が終了するとステップS303において、抽出文字列の列チェックを行い、抜き出した文字列同士の左右のスペース、即ちヒストグラムの文字列間スペースが一定基準以内である場合はそのまま終了する。また、ヒストグラムの文字列間スペースが一定基準以上空いている場合はステップS304に進み、抽出文字列の行チェックを行う。
【0035】
ここで、図9に示すサンプル原稿を参照して具体的に説明する。図において、502,503はヒストグラムの文字列の上下の行スペースが一定基準以上空いている場合を示し、504は一定基準以内である場合を示すものである。つまり、ステップS304において、図9の502,503のように、ヒストグラムの文字列の上下の行スペースが一定基準以上空いている場合はステップS305に進み、それぞれの抽出文字列を別々の文字列として認識する。また、図9の504のように、上下の行スペースが一定基準以内の場合はステップS306に進み、それぞれの抽出文字列を一つの文字列として認識する。
【0036】
上述の認識処理が終了すると、ステップS307に進み、メモリ405へ登録を行い、続くステップS308において、メモリ内文字列チェックを行う。この処理は、それぞれのメモリ登録文字列を調べ、ヒストグラムの違い(大きさ)があるかどうかを確認する処理である。ここで、ヒストグラムの違い(大きさ)がなければ終了するが、ある場合はステップS309に進み、文字のヒストグラムの多い順にレベルを付けて終了する。ここで、レベルとは、図10に示す602と602の関係を表す。
【0037】
次に、上述のページ番号抽出処理について図8に示すフローチャートに従って以下に説明する。
【0038】
まず、ステップS401において、上述の見出し抽出と同様に、OCR403によって文字認識された文字データのヒストグラムを取り、ステップS402において、ヒストグラムの平均文字サイズ以下の数字(図9の501)を抜き出す。次に、ステップS403において、抽出数字の行列チェックを行い、抜き出した数字の上下左右のスペース、即ちヒストグラムの文字列間スペースが一定基準以上空いている場合はステップS404に進み、ページ番号としてメモリ405に登録する。また、抜き出した数字の上下左右のスペースが一定基準以上空いていない場合はステップS405に進み、表示部にエラー表示を行う。
【0039】
また、図10に示す601,602のように、見出し抽出処理のレベル設定により同一原稿上に見出しが2つ以上ある場合は、図10に示す603のように、レベル設定された見出しに対してページ番号を出力する。
【0040】
[第2の実施例]
次に、本発明に係る第2の実施例を図面を参照しながら以下に説明する。
【0041】
第2の実施例では、ページ番号が無い原稿に対して目次を作成する場合を例に説明する。この場合、まず最初に原稿の複写動作を行い、複写された原稿に複写機の機能の一つであるアドオン、即ち、多重(複数回複写動作を行う)でページ番号を、予め決められた位置に記録する。また、ページメモリを有する複写装置の場合は、一度のスキャンで複写画像とページ番号データをメモリ上で合成し、複写する。尚、装置構成は前述した第1の実施例と同様であり、その説明は省略する。
【0042】
図11は、第2の実施例での画像処理部404の処理を示すフローチャートである。
【0043】
まず、ステップS501において、原稿が有るか無いかをチェックし、原稿がある場合はステップS502に進み、ページカウンタを+1することによって、ページ番号との対応をとる。次に、ステップS503では、スキャナ部402によって原稿の入力を行い、続くステップS504でOCR403によって原稿の文字認識を行う。そして、ステップS505において、原稿の文字データの中に見出しが有るか無いかをチェックし、原稿の文字データの中に見出しが有る場合は見出しの抽出を行い、ステップS506で、見出しとページ枚数のカウントによるページ番号を対にしてメモリ405に登録する。また、ステップS505で見出しが無い場合、ステップS506でメモリ登録が終了した場合、ステップS507に進み、原稿交換を行う。そして、ステップS501の原稿有無チェックに戻り、次の原稿を入力する。
【0044】
以上の処理により、原稿の読み込みが全て終了するとステップS508に進み、メモリ405内に見出しとページ番号のデータが有るか無いかをチェックし、見出しとページ番号のデータが有る場合はステップS509に進み、プリンタ部406にメモリ405内の見出しとページ番号のデータを送ることにより、目次の出力を開始する。また、ステップS508で、見出しとページ番号のデータが無い場合はステップS510に進み、目次作成が不可能である旨を操作部407の表示部に表示して終了する。
【0045】
以上説明した実施例によれば、例えばページ番号付き原稿でページがバラバラであった場合や、ページ番号なしの原稿の場合も、目次を作成したい原稿を入力するだけで簡単に目次を作成することが可能となる。
【0046】
尚、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器から成る装置に適用しても良い。また、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。
【0047】
【発明の効果】
以上説明したように、本発明によれば、見出し情報がないと判断したページに関して当該ページのページ番号を取得しないように制御し、処理を早くすることが可能となり、また見出し情報をページ番号順にソートして目次を作成するので、原稿画像を読み取らせる順序が異なっていてもページ番号順に並べて目次を作成することが可能となる。また、原稿画像のページに抜けがあったとしても文字認識して得たページ番号情報を用いるので見出し情報とページ番号情報との対応がずれることもない。
【0048】
【図面の簡単な説明】
【図1】OCRの原理を説明するための図である。
【図2】実施例における画像複写装置の構造を示す断面図である。
【図3】画像複写装置の操作部の構成を示す図である。
【図4】OCRと画像複写装置からなる実施例での構成を示すブロック図である。
【図5】第1の実施例における画像処理部の処理を示すフローチャートである。
【図6】実施例における修正処理を示すフローチャートである。
【図7】実施例における見出し抽出処理を示すフローチャートである。
【図8】実施例におけるページ番号抽出処理を示すフローチャートである。
【図9】サンプルの原稿を示す図である。
【図10】サンプルの作成目次を示す図である。
【図11】第2の実施例における画像処理部の処理を示すフローチャートである。
【符号の説明】
401 DF
402 スキャナ部
403 OCR
404 画像処理部
405 メモリ
406 プリンタ部
407 操作部
[0001]
[Industrial application fields]
The present invention relates to an image processing apparatus and an image processing method for creating a table of contents based on heading information and page number information in a document .
[0002]
[Prior art]
Conventionally, in character recognition using OCR, character clearing, translation processing, and the like are mainly performed.
[0003]
[Problems to be solved by the invention]
However, a function for automatically editing a table of contents using characters recognized by OCR has not been proposed. Also, it has been difficult to edit the table of contents of a manuscript whose pages are disjoint or a manuscript with no page number.
[0004]
The present invention has been made to solve the above-described problems , and provides an image processing apparatus and an image processing method that automatically and quickly creates a table of contents arranged in the order of page numbers to improve user convenience. The purpose is to provide.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the image processing apparatus of the present invention, determination means for determining whether there is title information for each page of the document from the page it is determined that there is header information by said determining means Extracting means for extracting the header information; and acquiring means for acquiring page number information based on a page number described in a page including the extracted header information when the header information is extracted by the extracting means; A storage unit that stores the header information extracted by the extraction unit and the page number information of the page including the header information acquired by the acquisition unit in association with each other, and the determination unit determines that there is no heading information. wherein the terms pages, control means for the page number of the page is controlled so as not to acquire, and the title information stored by the storage means And sorted by the over-di number information in the page number information associated with each heading information, characterized in that it has a creating means for creating a table of contents.
[0011]
In order to achieve the above object, an image processing method of the present invention, a determination step of determining whether there is title information for each page of the document, it determines that there is a header information at the determination step acquired from the page, an extraction step of extracting該見out information, if the header information in the extraction step is extracted, to obtain a page number information based on the page number on the page containing the headline information the extracted Determining that there is no heading information in the determination step, a storage step of storing the process, the heading information extracted in the extraction step, and the page number information of the page including the heading information acquired in the acquisition step in association with each other the respect to the page, a control step of the page number of the page is controlled so as not to get the the title information stored in the storage step and said page number information Sorted on the basis of the page number information associated with each heading information, characterized in that it has a creation step of creating a table of contents.
[0015]
【Example】
Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the drawings.
[0016]
[First embodiment]
First, the principle of OCR will be described with reference to FIG.
[0017]
In the figure, a document 101 is scanned by an exposure system 102 of an image reading unit 104, imaged on a CCD 106 via a mirror 103 and a lens 105, binarized by an A / D converter 107, and then image processing unit 108. Is input. Next, in the image processing unit 108, the binarized data is stored in the image memory 110, and an image (character pattern) for each character is cut out from the binarized data by the one-character cutting unit 111, and the character recognition unit 112 is cut out. Character recognition. The image processing unit 108 has a built-in dictionary for character recognition. Then, the character that has been converted character by character is edited by the editing unit 113.
[0018]
FIG. 2 is a sectional view showing the structure of the image copying apparatus in the first embodiment. In the figure, reference numeral 1 denotes a document feeder (DF) serving as a document feeder, which feeds placed documents one by one or two consecutively to a predetermined position on the platen glass surface 2. A scanner 3 includes a lamp, scanning mirrors 5 to 7 and the like. When the original is placed on the original table glass surface 2 by the original feeder 1, the scanner 3 is reciprocally scanned in a predetermined direction, and the original reflected light passes through the lens 8 via the scanning mirrors 5-7. An image is formed on the image sensor unit 9. An exposure control unit 10 includes a laser scanner unit (not shown) and the like, and irradiates the photoconductor 11 with a light beam modulated based on image data output from an image signal control unit (not shown) of the controller unit. Is done. Reference numerals 12 and 13 denote developing units that visualize the electrostatic latent image formed on the photoconductor 11 with a developer (toner) of a predetermined color. Reference numerals 14 and 15 denote transfer paper stacking portions on which fixed-size recording media are stacked and stored, and the recording media are fed to the position where the registration rollers are arranged by driving the feeding rollers, and are formed on the photoconductor 11. Are fed again in a state where the image leading edge alignment timing is taken.
[0019]
A transfer separation charger 16 transfers the toner image developed on the photoconductor 11 onto a transfer paper, and then separates the toner image from the photoconductor 11 and conveys it via a conveyance belt. Reference numeral 17 denotes a fixing unit 17 that fixes the toner image transferred to the transfer paper. Reference numeral 18 denotes a paper discharge roller that stacks and discharges the transfer paper on which image formation has been completed onto the tray 20. Reference numeral 19 denotes a direction flapper which switches the transport direction of the transfer-receiving paper on which image formation has been completed to the paper discharge port and the internal transport direction, and prepares for a multiplex / double-side image forming process.
[0020]
<Description of operation unit>
FIG. 3 is a diagram illustrating a configuration of the operation unit in the embodiment. In FIG. 3, reference numeral 301 denotes a power switch for controlling energization to the image forming apparatus. Reference numeral 302 denotes a reset key which operates as a key for returning to the standard mode during standby. Reference numeral 303 denotes a copy start key. A clear key 304 is used to clear a numerical value. Reference numeral 305 denotes an ID key. The ID key 305 allows a specific operator to perform a copying operation, and other operators can prohibit the copying operation unless an ID is input using the ID key. It becomes. Reference numeral 306 denotes a stop key, which is used when the copying is interrupted or stopped. Reference numeral 307 denotes a guide key, which is used when it is desired to know each function. Reference numeral 308 denotes an up cursor key, which is a key for moving the pointer upward on each function setting screen. Reference numeral 309 denotes a down cursor key, which is a key for moving the pointer down on each function setting screen. A right cursor key 310 is a key for moving the pointer to the right in each function setting screen. Reference numeral 311 denotes a left cursor key, which is a key for moving the pointer to the left on each function setting screen. Reference numeral 312 denotes an OK key which is pressed on each function setting screen when this is acceptable. In the function setting screen 313, the user presses this key when executing the output to the lower right of the display screen described later.
[0021]
A standard size reduction key 314 is used to reduce the standard size to another standard size. Reference numeral 315 is used to select the same size copy. A standard enlargement key 316 is used to enlarge the standard size to another standard size. Reference numeral 317 denotes a cassette selection key for selecting a cassette stage to be copied. Reference numeral 318 denotes a copy density adjustment key for decreasing the density. Reference numeral 319 denotes an AE key, which automatically adjusts the copy density with respect to the density of the original. 320 is a copy density adjustment key for increasing the density. Reference numeral 321 denotes a key for designating the operation of the sorter. A preheat key 322 is used to turn on / off the preheat mode. Reference numeral 323 denotes an interrupt key which is pressed to perform interrupt copying during copying. Reference numeral 324 denotes a numeric keypad which is used when inputting numerical values.
[0022]
Reference numeral 325 denotes a marker processing key, which sets trimming, masking, and partial processing (contour processing, halftone processing, shadowing processing, and negative / positive processing). Reference numeral 326 denotes a patterning processing key, which is used when a color is expressed in a pattern or a color is expressed by a density difference. A color deletion key 327 is used when a specific color is to be deleted. Reference numeral 328 denotes an image quality key, which is used to set image quality. A negative / positive key 329 is used when performing negative / positive processing. An image create key 330 is used when performing contour processing, shadowing processing, halftone processing, italic, mirror processing, and repeat processing. Reference numeral 331 denotes a trimming key, which is used to designate an area and perform trimming. A masking key 332 is used to specify an area and perform masking. A partial processing key 333 designates an area, and then designates partial processing (contour processing, halftone processing, shadowing processing, negative / positive processing). Reference numeral 334 denotes a frame erase key which is used when performing frame erase according to the mode. Modes include sheet frame erase (creates a frame for the sheet size), document frame erase (creates a frame that matches the document size, document size is specified), and book frame erase (for book spread size) In addition, a blank is created in the frame and the center. The book spread size is specified.).
[0023]
A binding margin key 335 is used when it is desired to create a binding margin at one end of the sheet. Reference numeral 336 denotes a movement key which is used when a movement is desired. The movement includes parallel movement (up / down / left / right), center movement, corner movement, and designated movement (point designation). Reference numeral 337 denotes a zoom key, which can set the copy magnification from 25% to 400% in increments of 1%. Also, main scanning and sub-scanning can be set independently. Reference numeral 338 denotes an automatic scaling key which automatically enlarges / reduces according to the size of the copy paper. In addition, the main scanning and sub-scanning can be automatically changed automatically. Reference numeral 339 denotes an enlargement continuous shooting key which is used when one original is enlarged to a plurality of sheets for copying. Reference numeral 340 denotes a reduction layout key which is used when a plurality of originals are enlarged and reduced to be copied. Reference numeral 343 denotes a continuous key, which is used to perform continuous copying in which the copy area on the platen glass surface is divided into left and right parts and automatically copied to two sheets (page continuous shooting, double-sided continuous shooting). Reference numeral 344 denotes a double-sided key, which is used when both-side output is desired (single-sided double-sided, page continuous double-sided, double-sided double-sided).
[0024]
Reference numeral 345 denotes a multiplex key which is used when multiplexing is desired (multiplexing, page continuous shooting multiplexing). A memory key 346 is used when a mode using a memory is desired (memory synthesis, area synthesis, watermark synthesis). A projector key 347 is used when the projector is used. Reference numeral 348 denotes a printer key, which is used for setting at the time of printer. A document mixed key 350 is used when copying using the feeder and when document sizes are mixed. Reference numeral 351 denotes a mode memory key, which is used when registering a copy mode for which copying has been set and for calling up a registered copy mode. Reference numeral 352 denotes a key for switching between the copy mode and the table of contents creation mode. Reference numeral 360 denotes a display screen that displays the status of the apparatus, the number of copies, the copy magnification, and the copy paper size, and displays the contents to be set when the copy mode is set.
[0025]
FIG. 4 is a block diagram showing the configuration of the embodiment constituted by the OCR and the image copying apparatus. Hereinafter, the operation for automatically creating the table of contents will be described with reference to FIG.
[0026]
First, a document with a page number for which a table of contents is to be created is sent to the scanner unit 402 by the DF 401, and the sent document is read by the scanner unit 402. The image read by the scanner unit 402 is recognized by the OCR 403, and the document headline and page number are extracted from the recognized characters. If there is a heading in the document, the heading and page number are stored in the memory 405 as a pair. Next, the image processing unit 404 arranges the headings stored in the memory 405 in page order, and the printer unit 406 outputs the organized headings as a table of contents. When organizing the headings, if it is necessary to rewrite the table of contents to be output, the rewrite is performed by inputting the operation unit 407 attached thereto.
[0027]
Next, the processing of the above-described image processing unit 404 will be described with reference to the flowchart shown in FIG.
[0028]
First, in step S101, it is checked whether or not there is a document. If there is a document, the process proceeds to step S102, where the document is input by the scanner unit 402 in FIG. Recognize. Next, in step S104, it is checked whether or not there is a heading in the character data of the document. If there is a heading in the character data of the document, the heading is extracted, and in step S105, the page number is present. Check whether or not. If there is a page number, the process advances to step S108, and the extracted heading and page number are registered in the memory 405 as a pair. The above-described headline extraction and page number extraction will be further described later with reference to FIGS.
[0029]
If there is no page number in step S105, the process proceeds to step S106, an error is displayed on the display unit of the operation unit 407, and the page number is corrected (input) by the operation unit 407 in the next step S107. . When the correction is completed, the process proceeds to step S108, and the above-described registration process is performed.
[0030]
On the other hand, if there is no heading in the character data of the document in step S104 described above, if the registration process is completed in step S108, the process proceeds to step S109, where the document is exchanged. The document replacement is performed by a DF (document feeder) 401 in FIG. Then, by returning to the document presence check in step S101, the next document is input.
[0031]
As a result of the above processing, when all the reading of the document is completed, the process proceeds to step S110, where it is checked whether or not there is data of a heading and a page number in the memory 405. If there is headline and page number data, the process proceeds to step S111, and the page numbers registered in the memory 405 are sorted in ascending order to create data for creating a table of contents. In step S112, the table of contents is output by sending data to the printer unit 406, and the process ends. If there is no headline and page number data in the memory 405 in step S110, the process proceeds to step S113, indicating that a table of contents cannot be created on the display unit of the operation unit 407, and the process ends.
[0032]
Next, the correction process described above will be described below according to the flowchart shown in FIG.
First, in step S201, data to be corrected is read from the memory 405, and in the next step S202, a headline and a page number are corrected by the operation unit 407. Thereafter, when the table of contents correction is completed, the correction contents are re-registered in the memory 405 in step S203, and the correction process is ended.
[0033]
Next, the headline extraction process described above will be described below according to the flowchart shown in FIG.
[0034]
First, in step S301, a histogram of character data recognized by the OCR 403 is taken, and in a subsequent step S302, character strings that are equal to or larger than the average character size of the histogram are extracted. Thereafter, when the extraction is completed, in step S303, the extracted character strings are checked. If the left and right spaces between the extracted character strings, that is, the space between the character strings in the histogram is within a certain standard, the processing ends. If the space between the character strings in the histogram is more than a certain standard, the process proceeds to step S304 to check the line of the extracted character string.
[0035]
Here, a specific description will be given with reference to the sample document shown in FIG. In the figure, 502 and 503 indicate the case where the upper and lower line spaces of the character string of the histogram are more than a certain reference, and 504 indicates the case where the space is within a certain reference. That is, in step S304, as shown in 502 and 503 in FIG. 9, when the upper and lower line spaces of the histogram character string are more than a certain standard, the process proceeds to step S305, and each extracted character string is set as a separate character string. recognize. If the upper and lower line spaces are within a certain standard as indicated by reference numeral 504 in FIG. 9, the process proceeds to step S306, and each extracted character string is recognized as one character string.
[0036]
When the recognition process described above is completed, the process proceeds to step S307, where registration is performed in the memory 405, and in-step character string check is performed in step S308. This process is a process for checking each memory registration character string and checking whether there is a difference (size) in the histogram. If there is no difference (size) between the histograms, the process ends. If there is a histogram, the process proceeds to step S309, and the process ends with the levels in descending order of the histogram of characters. Here, the level represents the relationship between 602 and 602 shown in FIG.
[0037]
Next, the page number extraction process described above will be described below in accordance with the flowchart shown in FIG.
[0038]
First, in step S401, similarly to the above-described headline extraction, a histogram of character data recognized by the OCR 403 is taken. Next, in step S403, a matrix check of the extracted numbers is performed, and if the upper, lower, left, and right spaces of the extracted numbers, that is, the space between the character strings in the histogram is more than a certain standard, the process proceeds to step S404 and the page number is stored in the memory 405. Register with. If the upper, lower, left, and right spaces of the extracted numbers are not more than a certain standard, the process proceeds to step S405, and an error is displayed on the display unit.
[0039]
In addition, when there are two or more headings on the same document due to the level setting of the headline extraction process as indicated by 601 and 602 shown in FIG. 10, the level-set headlines as shown by 603 shown in FIG. Output page number.
[0040]
[Second Embodiment]
Next, a second embodiment according to the present invention will be described below with reference to the drawings.
[0041]
In the second embodiment, a case where a table of contents is created for a document having no page number will be described as an example. In this case, first, a copy operation of the original is performed, and an add-on which is one of the functions of the copying machine is performed on the copied original, that is, a page number is set in a predetermined position by multiplexing (multiple copy operations are performed). To record. In the case of a copying apparatus having a page memory, the copy image and page number data are combined on the memory and copied in a single scan. The apparatus configuration is the same as that of the first embodiment described above, and a description thereof will be omitted.
[0042]
FIG. 11 is a flowchart showing the processing of the image processing unit 404 in the second embodiment.
[0043]
First, in step S501, it is checked whether or not there is a document. If there is a document, the process proceeds to step S502, and the page counter is incremented by one to take correspondence with the page number. Next, in step S503, the document is input by the scanner unit 402, and in step S504, character recognition of the document is performed by the OCR 403. In step S505, it is checked whether or not there is a heading in the character data of the document. If there is a heading in the character data of the document, the heading is extracted. In step S506, the heading and the number of pages are calculated. A page number by counting is registered in the memory 405 as a pair. If no headline is found in step S505, or if memory registration is completed in step S506, the process advances to step S507 to replace the document. Then, the process returns to the document presence check in step S501, and the next document is input.
[0044]
When all the reading of the original is completed by the above processing, the process proceeds to step S508, where it is checked whether or not there is a headline and page number data in the memory 405. If there is a headline and page number data, the process proceeds to step S509. Then, the heading and page number data in the memory 405 are sent to the printer unit 406 to start outputting the table of contents. In step S508, if there is no headline and page number data, the process proceeds to step S510, a message indicating that the table of contents cannot be created is displayed on the display unit of the operation unit 407, and the process ends.
[0045]
According to the above-described embodiment, for example, even when a page with a page number is divided or when a page has no page number, it is possible to easily create a table of contents simply by inputting a document for which a table of contents is to be created. Is possible.
[0046]
The present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Needless to say, the present invention can also be applied to a case where the object is achieved by supplying a program to a system or apparatus.
[0047]
【The invention's effect】
As described above, according to the present invention, it is possible to control not to acquire the page number of a page for which it is determined that there is no heading information, thereby speeding up the processing. Since the table of contents is created by sorting in order, the table of contents can be created in the order of page numbers even if the order in which the document images are read is different. Even if there is a missing page in the document image, the page number information obtained by character recognition is used, so that the correspondence between the heading information and the page number information does not shift.
[0048]
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the principle of OCR.
FIG. 2 is a cross-sectional view showing the structure of the image copying apparatus in the embodiment.
FIG. 3 is a diagram illustrating a configuration of an operation unit of the image copying apparatus.
FIG. 4 is a block diagram showing a configuration in an embodiment including an OCR and an image copying apparatus.
FIG. 5 is a flowchart illustrating processing of an image processing unit in the first embodiment.
FIG. 6 is a flowchart showing correction processing in the embodiment.
FIG. 7 is a flowchart illustrating headline extraction processing in the embodiment.
FIG. 8 is a flowchart showing page number extraction processing in the embodiment.
FIG. 9 is a diagram illustrating a sample document.
FIG. 10 is a diagram showing a table of contents for creating a sample.
FIG. 11 is a flowchart illustrating processing of an image processing unit in a second embodiment.
[Explanation of symbols]
401 DF
402 Scanner unit 403 OCR
404 Image processing unit 405 Memory 406 Printer unit 407 Operation unit

Claims (12)

原稿の各ページに対して見出し情報があるか否かを判断する判断手段と
前記判断手段で見出し情報があると判断したページから、該見出し情報を抽出する抽出手段と、
前記抽出手段により見出し情報が抽出された場合、当該抽出された見出し情報を含むページに記載されているページ番号に基づきページ番号情報を取得する取得手段と、
前記抽出手段により抽出された見出し情報と、前記取得手段により取得された当該見出し情報を含むページのページ番号情報とを対応付けて蓄積する蓄積手段と、
前記判断手段で見出し情報がないと判断したページに関しては、当該ページのページ番号は取得しないように制御する制御手段と、
前記蓄積手段により蓄積された前記見出し情報と前記ページ番号情報とを各見出し情報に対応付けられたページ番号情報に基づいてソートし、目次を作成する作成手段とを有することを特徴とする画像処理装置。
Determining means for determining whether or not there is heading information for each page of the manuscript;
Extraction means for extracting the heading information from the page determined by the determination means as having heading information;
When the header information is extracted by the extraction means, an acquisition means for acquiring page number information based on a page number described in a page including the extracted header information;
Storage means for storing the header information extracted by the extraction means and the page number information of the page including the header information acquired by the acquisition means in association with each other;
With respect to the page determined by the determination means that there is no heading information, control means for controlling not to acquire the page number of the page;
Image processing comprising: creation means for sorting the heading information and the page number information stored by the storage means based on page number information associated with each heading information to create a table of contents apparatus.
前記抽出手段は、文字認識機能を用いて、前記見出し情報を抽出することを特徴とする請求項1記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the extraction unit extracts the heading information using a character recognition function. 前記抽出手段は、前記原稿の文字認識された文字データのヒストグラムに基づいて、前記見出し情報を抽出することを特徴とする請求項2記載の画像処理装置。  The image processing apparatus according to claim 2, wherein the extraction unit extracts the heading information based on a histogram of character data of the document that has been character-recognized. 前記作成手段により作成された目次を訂正する訂正手段を更に有することを特徴とする請求項1記載の画像処理装置。  The image processing apparatus according to claim 1, further comprising a correcting unit that corrects the table of contents created by the creating unit. 目次の作成が不可能である場合には、その旨を報知する報知手段を更に有することを特徴とする請求項1記載の画像処理装置。  2. The image processing apparatus according to claim 1, further comprising notifying means for notifying that it is impossible to create a table of contents. 前記取得手段で文字認識により前記ページ番号情報を取得できなかった場合、ページ番号の修正入力を行う入力手段を更に有することを特徴とする請求項1記載の画像処理装置。  The image processing apparatus according to claim 1, further comprising an input unit that performs correction input of a page number when the acquisition unit cannot acquire the page number information by character recognition. 原稿の各ページに対して見出し情報があるか否かを判断する判断工程と
前記判断工程で見出し情報があると判断したページから、該見出し情報を抽出する抽出工程と、
前記抽出工程で見出し情報が抽出された場合、当該抽出された見出し情報を含むページに記載されているページ番号に基づきページ番号情報を取得する取得工程と、
前記抽出工程で抽出した見出し情報と、前記取得工程で取得した当該見出し情報を含むページのページ番号情報とを対応付けて蓄積する蓄積工程と、
前記判断工程で見出し情報がないと判断したページに関しては、当該ページのページ番号は取得しないように制御する制御工程と、
前記蓄積工程で蓄積した前記見出し情報と前記ページ番号情報とを各見出し情報に対応付けられたページ番号情報に基づいてソートし、目次を作成する作成工程とを有することを特徴とする画像処理方法。
A determination step for determining whether there is heading information for each page of the manuscript;
An extraction step of extracting the heading information from the page determined to have the heading information in the determination step ;
When heading information is extracted in the extraction step, an acquisition step of acquiring page number information based on the page number described in the page including the extracted heading information;
An accumulation step of associating and accumulating the header information extracted in the extraction step and the page number information of the page including the header information acquired in the acquisition step;
For a page determined to have no heading information in the determination step, a control step for controlling not to acquire the page number of the page;
An image processing method comprising: a creation step of sorting the heading information and the page number information stored in the storage step based on page number information associated with each heading information to create a table of contents .
前記抽出工程は、文字認識機能を用いて、前記見出し情報を抽出することを特徴とする請求項7記載の画像処理方法。  The image processing method according to claim 7, wherein the extraction step extracts the heading information using a character recognition function. 前記抽出工程は、前記原稿の文字認識された文字データのヒストグラムに基づいて、前記見出し情報を抽出することを特徴とする請求項8記載の画像処理方法。  9. The image processing method according to claim 8, wherein the extraction step extracts the heading information based on a histogram of character data of the document that has been character-recognized. 前記作成工程で作成した目次を訂正する訂正工程を更に有することを特徴とする請求項7記載の画像処理方法。  The image processing method according to claim 7, further comprising a correction step of correcting the table of contents created in the creation step. 目次の作成が不可能である場合には、その旨を報知する報知工程を更に有することを特徴とする請求項7記載の画像処理方法。  The image processing method according to claim 7, further comprising a notifying step for notifying that a table of contents cannot be created. 前記取得工程は、前記文字認識により前記ページ番号情報を取得できなかった場合、ページ番号の修正入力をユーザに行わせることによりページ番号情報を 取得する入力工程を更に含むことを特徴とする請求項7記載の画像処理方法。The acquisition step, the character if it can not acquire the page number information by the recognition, the claims and further comprising an input step of acquiring the page number information by causing the correction input of the page number to the user 8. The image processing method according to 7.
JP28049794A 1994-11-15 1994-11-15 Image processing apparatus and image processing method Expired - Fee Related JP3976802B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP28049794A JP3976802B2 (en) 1994-11-15 1994-11-15 Image processing apparatus and image processing method
US08/556,700 US5940583A (en) 1994-11-15 1995-11-13 Image forming apparatus
US09/313,736 US6014459A (en) 1994-11-15 1999-05-18 Image forming apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28049794A JP3976802B2 (en) 1994-11-15 1994-11-15 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JPH08137909A JPH08137909A (en) 1996-05-31
JP3976802B2 true JP3976802B2 (en) 2007-09-19

Family

ID=17625918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28049794A Expired - Fee Related JP3976802B2 (en) 1994-11-15 1994-11-15 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP3976802B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137728A (en) * 1998-11-02 2000-05-16 Fujitsu Ltd Document analyzing device and program recording medium
KR101188393B1 (en) 2004-07-12 2012-10-05 삼성전자주식회사 Electronic document publishing method by continuous photographing a document, and apparatus thereof
US20060210171A1 (en) * 2005-03-16 2006-09-21 Kabushiki Kaisha Toshiba Image processing apparatus
JP4789516B2 (en) 2005-06-14 2011-10-12 キヤノン株式会社 Document conversion apparatus, document conversion method, and storage medium
JP4899880B2 (en) * 2007-01-18 2012-03-21 富士ゼロックス株式会社 Image processing apparatus, image processing system, and image processing program
JP4521452B2 (en) 2008-03-27 2010-08-11 シャープ株式会社 Image forming apparatus, image forming method, and program
JP4934124B2 (en) * 2008-10-28 2012-05-16 シャープ株式会社 Image forming apparatus
JP5742979B1 (en) * 2014-02-10 2015-07-01 富士ゼロックス株式会社 Image processing apparatus, image reading apparatus, and program

Also Published As

Publication number Publication date
JPH08137909A (en) 1996-05-31

Similar Documents

Publication Publication Date Title
US6963721B2 (en) Image forming apparatus having function of automatically selecting one of sheet feeders, method of controlling the image forming apparatus and storage medium
US5930001A (en) Copier which rotates an image based on the recognition of an extracted character from various directions
US5809183A (en) Method and apparatus for recognizing character information at a variable magnification
US6249353B1 (en) Image editing apparatus
US5555099A (en) Reproduction apparatus and method with proof set page numbering
EP1492017B1 (en) Printer driver with tab sheet function
JPH05216315A (en) Image forming device
US6014459A (en) Image forming apparatus
JP3563783B2 (en) Composite image forming device
JP3976802B2 (en) Image processing apparatus and image processing method
EP0833210B1 (en) Image forming apparatus for storing document image in memory in a one document feeding operation and the method thereof
EP0695077A1 (en) Digital image forming apparatus
JPH08137882A (en) Method and device for image processing
JP3624058B2 (en) Image processing apparatus and layout processing method of image processing apparatus
JPH08181853A (en) Copying method/device
JPH08249323A (en) Image forming device and its processing method
JPH10107998A (en) Image processing unit, layout processing method for the image processing unit and storage medium storing program readable by computer
JP2926835B2 (en) Image processing device
JPH08139880A (en) Image forming device and its control method
JP4104275B2 (en) Image forming apparatus
JP2007124489A (en) Image forming apparatus
JPH1042127A (en) Image processor and layout edit output method for the image processor
JP2007006193A (en) Image forming apparatus
JPH09307739A (en) Image forming method and device therefor
JP2005051382A (en) Image forming apparatus

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20031003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees