JP4165046B2 - 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
JP4165046B2
JP4165046B2 JP2001254758A JP2001254758A JP4165046B2 JP 4165046 B2 JP4165046 B2 JP 4165046B2 JP 2001254758 A JP2001254758 A JP 2001254758A JP 2001254758 A JP2001254758 A JP 2001254758A JP 4165046 B2 JP4165046 B2 JP 4165046B2
Authority
JP
Japan
Prior art keywords
character
image
data
image processing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001254758A
Other languages
English (en)
Other versions
JP2003067670A (ja
Inventor
葉子 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2001254758A priority Critical patent/JP4165046B2/ja
Publication of JP2003067670A publication Critical patent/JP2003067670A/ja
Application granted granted Critical
Publication of JP4165046B2 publication Critical patent/JP4165046B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体に関する。
【0002】
【従来の技術】
最近の画像認識装置は、読取に関する条件の良い原稿(例えば標準的なフォントの文字のみで構成された原稿)であれば、当該原稿を読み取った文字画像を極めて高い精度で文字コードとして認識可能である。文字コードに応じて得られた文字コードデータは、キーワード検索が可能なこと、容量が小さいこと、拡大縮小して出力しても画質劣化が少ないことなどの利点を有している。しかしながら、原稿上の文字の品質が悪かったり、原稿上の文字等のレイアウトが複雑であると、文字画像を文字コードとして認識する認識精度が大きく低下し、誤認識される文字画像が増加してしまう。
【0003】
このような問題に対し、誤認識されている可能性が高い文字画像を文字コードデータに変換することなく、文字画像データ(例えばビットマップ形式の画像データ)のまま出力する技術が提案されている。この技術によれば、原稿上の文字と一致しない文字コードデータを出力してしまうことがない。
【0004】
【発明が解決しようとする課題】
しかしながら、誤認識されている可能性が高い文字画像のみを文字画像データとして出力した場合、文字画像データと文字コードデータとの間で、フォント、線幅(太さ)あるいはサイズなどの形状の差異が生じてしまい、ユーザに違和感を与えるといった問題があった。
【0005】
図25は、文字コードデータの出力時のフォントがセリフ系である場合の従来の出力結果の一例を示す図、図26は、文字コードデータの出力時のフォントがサンセリフ系である場合の従来の出力結果の一例を示す図である。セリフ系のフォントとは、線の端部に飾り形状を有するフォントをいい、サンセリフ系のフォントとは、線の端部に飾り形状を有しないフォントをいう。図中矩形枠で囲まれた「k」の部分は、誤認識されている可能性が高い文字画像が文字画像データとして出力された部分であり、文字コードデータとして出力された他の部分と、線幅あるいは線の端部の形状が相違している。
【0006】
本発明の目的は、画像データ中の文字画像から文字コードを認識して得られた文字コードデータと文字画像から文字コードデータに変換することなく切り出された文字画像データとが混在する画像を出力する場合において、双方の混在によりユーザに与える違和感を低減することができる画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することである。
【0007】
【課題を解決するための手段】
本発明の目的は、下記する手段により達成される。
【0008】
(1)画像データ中の文字画像から文字コードを認識して文字コードデータを得る文字認識手段と、前記文字認識手段による認識の確からしさの度合いである文字認識確度が所定値より低い文字画像を検出する検出手段と、文字認識確度が所定値より低い文字画像に基づいて得られ文字を表す所定の画像データである文字画像データを、前記文字コードデータの出力時のフォントに応じて変形する変形手段とを有することを特徴とする画像処理装置。
【0009】
(2)前記変形手段は、前記文字画像データをベクタデータに変換するベクタ変換手段と、前記文字画像データの近傍に位置される前記文字コードデータの出力時のフォントに応じて、前記ベクタデータにおける線の幅を設定する線幅設定手段とを有することを特徴とする上記(1)に記載の画像処理装置。
【0010】
(3)前記変形手段は、前記文字画像データの近傍に位置される前記文字コードデータの出力時のフォントに応じて、前記ベクタデータにおける線の端部の形状を補正する端部形状補正手段をさらに有することを特徴とする上記(2)に記載の画像処理装置。
【0011】
(4)前記変形手段は、前記文字画像データの近傍に位置される前記文字コードデータの出力時のフォントに応じて、前記文字画像データにおける線の幅を補正する線幅補正手段を有することを特徴とする上記(1)に記載の画像処理装置。
【0012】
(5)前記線幅補正手段は、前記文字画像データにおける注目画素の値を当該注目画素の周囲の所定サイズ内での最小値または最大値に置換するファイルタ処理を行うことにより、前記線の幅を補正することを特徴とする上記(4)に記載の画像処理装置。
【0013】
(6)前記文字コードデータおよび前記文字画像データの変形後のデータを有する電子ファイルを作成するファイル作成部をさらに有することを特徴とする上記(1)〜(5)に記載の画像処理装置。
【0014】
(7)原稿を読み取ることによって画像データを得る読取手段をさらに有することを特徴とする上記(1)〜(6)に記載の画像処理装置。
【0015】
(8)画像データ中の文字画像から文字コードを認識して文字コードデータを得る段階と、前記認識の確からしさの度合いである文字認識確度が所定値より低い文字画像を検出する段階と、文字認識確度が所定値より低い文字画像に基づいて得られ文字を表す所定の画像データである文字画像データを、前記文字コードデータの出力時のフォントに応じて変形する段階とを有することを特徴とする画像処理方法。
【0016】
(9)画像データ中の文字画像から文字コードを認識して文字コードデータを得る手順と、前記認識の確からしさの度合いである文字認識確度が所定値より低い文字画像を検出する手順と、文字認識確度が所定値より低い文字画像に基づいて得られ文字を表す所定の画像データである文字画像データを、前記文字コードデータの出力時のフォントに応じて変形する手順とをコンピュータに実行させるための画像処理プログラム。
【0017】
(10)上記(9)に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0018】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。
【0019】
図1は、本発明の第1実施形態に係る画像処理装置を含むネットワークシステムの構成を示す図である。
【0020】
図1に示すネットワークシステムは、スキャナ、プリンタ、およびコピー等の機器の機能を1台に搭載したMFP(multi-function peripheral)と呼ばれるデジタル複合機20、データベースサーバ40、およびプリンタ60を有しており、これらの機器は、ネットワーク10を介して相互に通信可能に接続されている。なお、ネットワーク10上の機器の種類および台数は、実際には図1に示す例に限定されない。
【0021】
ネットワーク10は、イーサネット(登録商標)、トークンリング、FDDI(fiber distributed data interface)、無線LAN(IEEE802.11)などのLAN、いくつかのLAN同士を接続してなるWAN、あるいはインターネット(the Internet)である。
【0022】
図2は、デジタル複合機20の構成の一例を示すブロック図である。
【0023】
デジタル複合機20は、CPU21、ROM22、記憶部23、操作パネル部24、原稿読取部25、印刷部26、画像処理部27、ネットワークインタフェース28、および上記各部の間で信号をやり取りするためのバス29を有している。
【0024】
CPU21は、プログラムにしたがって各部の制御および各種の演算処理を行う。ROM22は、各種のプログラムおよびデータを記憶する。記憶部23は、画像データなどの各種データを記憶するとともに、各種処理を実行する際の作業領域を提供する。記憶部23は、たとえばハードディスクとRAMとから構成される。
【0025】
操作パネル部24は、たとえばユーザが各種操作指示を行うための操作部と各種の表示を行うための表示部とから構成される。
【0026】
原稿読取部25は、原稿を読み取って画像データを取得する。具体的には、原稿読取部25は、所定の読取位置にセットされた原稿に光を当て、その反射光をCCDなどの受光素子を用いて電気信号に変換し、この電気信号から画像データを作成する。原稿読取部25は、自動原稿搬送装置(ADF)を備えていてもよい。印刷部26は、各種データを用紙などの記録材に印刷する。
【0027】
画像処理部27は、原稿を読み取って得られた画像データに対し、領域分離、画像補正、圧縮、ファイル作成などの各種処理を行う。ネットワークインタフェース28は、ネットワーク10に接続しネットワーク10上の他の機器と通信するためのインタフェースである。
【0028】
図3は、画像処理部27の構成の一例を示すブロック図である。
【0029】
画像処理部27は、領域分離部31、画像圧縮部32、およびファイル作成部33を有している。
【0030】
領域分離部31は、画像データを、文字画像が存在する文字領域、図形画像が存在する図形領域、および写真画像が存在する写真領域に分離する。画像圧縮部32は、各領域内の画像に対して、領域の種類に応じた圧縮処理を施す。ファイル作成部33は、圧縮処理が行われた画像に基づいて、所定形式のファイルを作成する。
【0031】
図4は、本発明の一実施形態に係る画像処理装置としての機能を有するデータベースサーバ40の構成の一例を示すブロック図である。
【0032】
データベースサーバ40は、CPU41、ROM42、記憶部43、入力装置44、ディスプレイ45、ネットワークインタフェース46、および上記各部の間で信号をやり取りするためのバス47を有している。
【0033】
データベースサーバ40のCPU、ROM、記憶部、およびネットワークインタフェースは、上記したデジタル複合機20と同様の機能を有しているため、その説明を省略する。入力装置44は、ユーザが各種の操作や指示を行うための装置であり、具体的には例えばキーボードやマウスなどである。ディスプレイ45は、各種の表示を行う。
【0034】
図5は、画像処理用アプリケーション50の内容を示す図である。この画像処理用アプリケーション50は、データベースサーバ40におけるたとえば記憶部43のハードディスクに記憶される。
【0035】
画像処理用アプリケーション50は、ファイル読み込み部51、文字認識部52、ベクタ変換部53、文字認識後処理部54、およびファイル作成部55を有している。
【0036】
ファイル読み込み部51は、受信されたファイルから圧縮された画像を領域別に取り出して伸長(解凍)する。文字認識部52は、文字画像から文字コードを認識して文字コードデータを得る。また、文字認識部52は、認識の確からしさの度合いである文字認識確度を出力する。ベクタ変換部53は、画像データからベクタデータを生成する。文字認識後処理部54は、文字認識部52による文字認識処理が行われた後の文字画像に対して、後述するビットマップ文字の変形処理などの所定の処理を行う。ファイル作成部55は、各種の処理後に得られたデータに基づいて、所定形式のファイルを作成する。
【0037】
図1に示すネットワークシステムにおける動作指示は、デジタル複合機20の操作パネル部24を通して行うことができる。たとえば、操作パネル部24上にはスキャン&ファイルボタンとスキャン&プリントボタンとが表示される。スキャン&ファイルボタンが操作された場合、デジタル複合機20は原稿読取動作を開始し、読み取って得られた画像データに所定の画像処理が施されて作成されたファイルは、データベースサーバ40に送信され、文字認識等の画像処理がなされた後、所定形式のファイルとしてデータベースサーバ40内の記憶部43に保存される。また、スキャン&プリントボタンが操作された場合、読み取って得られた画像データに所定の画像処理が施されて作成されたファイルは、プリンタ60に送信され、用紙などの記録材に印刷される。
【0038】
次に、図6〜図8を参照して、デジタル複合機20の操作パネル部24上でスキャン&ファイルボタンが操作された場合のネットワークシステムにおける画像処理の手順について説明する。
【0039】
まず、図6を参照して、デジタル複合機20における画像処理の手順について説明する。なお、図6のフローチャートにより示されるアルゴリズムは、たとえばROM22にプログラムとして記憶されており、CPU21によって実行される。
【0040】
ステップS101では、原稿を読み取って得られたカラーの画像データに対し、RGB表色系からYCrCb表色系へと色空間の変換が行われる。YCrCb表色系では、明度成分(Y)と色成分(Cr、Cb)とが分離されるため、それぞれを独立して取り扱うことができる。ただし、RGB表色系のままで後の処理を行うことも可能である。また、YCrCb表色系の代わりに他の表色系を用いることも可能である。
【0041】
なお、RGB表色系からYCrCb表色系への色空間の変換は、
Y = C11*R + C12*G + C13*B
Cb = C21*R + C22*G + C23*B
Cr = C31*R + C32*G + C33*B
の線形変換の式により行われる。ここで、C11〜C33の係数はあらかじめ与えられる。
【0042】
ステップS102では、得られた画像データから、文字画像が存在する文字領域が分離されて抽出される。文字領域の分離は、任意の方法を用いて行うことができる。本実施形態では、たとえば、画像データがDCT(離散コサイン変換)により周波数成分に分解され、画像データから特定の周波数成分が多い微小領域が検出される。そして、検出された近隣の微小領域同士が連結されることにより、文字領域の分離抽出が行われる。
【0043】
ステップS103では、YCrCb表色系で表されたカラーの画像データから分離された文字領域に対して、2値化処理が行われる。2値化処理に用いられる閾値は、文字領域ごとに明度Yに関するヒストグラムを作成することによって求められる。すなわち、作成されたヒストグラムから文字画像の背景に当たる背景画像のピークが検出され、検出されたピークの明度に基づいて、文字画像と背景画像とを明確に区別できる閾値が算出される。
【0044】
ステップS104では、分離された文字領域内の文字画像が、元のカラーの画像データから消去される。ここで、分離された矩形の文字領域全体が消去されるのではなく、文字領域内の文字画像の部分のみが消去され、消去後の部分が周囲の背景画像により補完される。なお、消去される部分は、2値化処理後の文字画像をたとえば2〜3画素膨張させることにより求められる。文字画像の膨張処理は、たとえば、文字領域内における注目画素の値を当該注目画素の周囲の所定サイズ(N×Nの画素)内での最小値に置換するN×N最小値ファイルタ処理により行われる。
【0045】
ステップS105では、文字画像が消去されて除去された後の画像データから、写真領域と図形領域とが分離されて抽出される。ここで、図形領域とは、線やベタ絵などのたとえばパソコンで作成された画像が存在する領域をいう。写真領域とは、写真や絵柄などの連続的に変化する階調のある画像が存在する領域をいう。図形領域と写真領域とを区別して分離することにより、それぞれの領域に応じて、適切な解像度、色データのビット数、および圧縮アルゴリズムが適用され得る。
【0046】
写真領域および図形領域の分離は、任意の方法を用いて行うことができる。本実施形態では、たとえば、まず領域の境界が検出され、境界により規定された領域が所定の微小領域に分割されて、各微小領域内でそれぞれ明度Yに関するヒストグラムが作成される。ヒストグラムの形状から明度の連続性が検出され、連続性の高い微小領域が写真微小領域、連続性の低い領域が図形微小領域と判別される。そして、領域内における写真微小領域と判別された微小領域の数と図形微小領域と判別された微小領域の数とを比較することにより、当該領域が写真領域であるかまたは図形領域であるかが判別される。
【0047】
このようにして、画像データは、文字領域、写真領域、および図形領域に分離される。ここで、写真領域は、図形領域とは重ならず、文字領域は、他の2種類の領域上に重ねられ得る。
【0048】
ステップS106では、各領域内の画像に対し、YCrCb表色系からRGB表色系へと色空間の変換が行われる。
【0049】
ステップS107では、文字領域内の文字画像に対し、圧縮処理が行われる。すなわち、文字画像は、たとえば、1画素が1ビットで表された1ビット画像データと領域ごとに設定された色データとに変換された後、MMR(modified modified READ)あるいはJBIG(joint bi-level image experts group)などの1ビット画像データに適したアルゴリズムにより圧縮される。
【0050】
ステップS108では、写真領域内の写真画像に対し、圧縮処理が行われる。すなわち、写真画像はまず、たとえば、より低い解像度に解像度変換される。解像度変換を行わない場合、写真画像は、原稿上の網点によるモアレの発生を防止するため、スムージング処理が施される。次いで、写真画像は、JPEG(joint photographic experts)などのカラーの写真画像に適したアルゴリズムにより圧縮される。
【0051】
ステップS109では、図形領域内の図形画像に対し、圧縮処理が行われる。すなわち、図形画像は、たとえば、減色処理が施された後、Flate圧縮などの方法により圧縮される。
【0052】
ステップS110では、圧縮された各画像が合成されて1つのファイルが作成される。すなわち、各領域内の画像に対してそれぞれの画像に適したその他の画像処理が施された後、圧縮された各画像が合成され、たとえばPDF(Portable Document Format)ファイルなどの所定形式のファイルが作成される。ここで、作成されたファイルは、データベースサーバ40に送信される。圧縮された各画像が合成されたファイルを送信することにより、容量の大きいデータがネットワーク10上に送信されることを防止することができる。ただし、圧縮処理を省略することも可能である。
【0053】
次に、図7および図8を参照して、データベースサーバ40における画像処理の手順について説明する。なお、図7および図8のフローチャートにより示されるアルゴリズムは、たとえばROM42にプログラムとして記憶されており、CPU41によって実行される。
【0054】
ステップS201では、デジタル複合機20から受信したファイルの読み込みが行われる。すなわち、受信したファイルにおいて既に分離されている各領域内の画像が記憶部43の作業領域に読み込まれる。
【0055】
ステップS202では、読み込まれた画像が、それぞれの画像の種類に応じた方法で伸長される。ここで、伸長された文字画像は文字認識部52に入力される。また、伸長された図形画像はベクタ変換部53に入力され、図形が点や線などの構成要素の座標値として表されたベクタデータが生成される。
【0056】
ステップS203では、文字認識処理が行われる。すなわち、文字認識部52に入力された文字画像から文字コードが認識される。ここで、文字画像から、行や単語などの文字画像ブロックの認識、および個々の文字画像の切り出しが行われた後、1文字づつ文字コードが認識される。文字画像から文字コードを認識する方法は、たとえば、各文字画像の特徴量とあらかじめ記憶されている辞書パターンとの一致の度合い、および単語辞書における合致する単語の有無などの基準により行われる。また、文字認識部52は、文字コードのほか、文字コードを認識する確からしさの度合いである文字認識確度と、各文字画像の外接矩形の位置および大きさを示す外接矩形データとを出力する。文字認識確度は、例えば10段階で与えられ、値が大きいと文字認識確度が高いことを意味する。
【0057】
ステップS204では、個々の文字画像の色が、文字認識部52から出力された当該文字画像の外接矩形に対応する位置において検出される。
【0058】
ステップS205では、文字認識部52から出力された文字認識確度に基づいて、個々の文字画像をコード化文字に変換して文字コードデータとして出力するか否かが判定される。文字コードデータは、文字が文字コードとして表されたコード化文字を有するデータである。
【0059】
ここで、たとえば文字認識確度が所定の閾値以上である文字画像は、コード化文字に変換されて文字コードデータとして出力される。一方、文字認識確度が所定の閾値より小さい文字画像は、コード化文字に変換されずに文字画像データとして出力される。ここで、文字画像データは、文字認識確度が所定の閾値より小さい文字画像に基づいて得られ、文字が画素の集まりとして表されたビットマップ文字を有する所定の画像データである。なお、ステップS204で検出された色データは、コード化文字、あるいはビットマップ文字の色として指定される。
【0060】
ステップS206では、コード化文字のサイズが算出される。すなわち、まず文字画像の外接矩形データにおける文字高さに基づいて、フォントサイズがポイント数で算出された後、文字高さが元の原稿上の文字と同じになるように調整される。次いで、コード化文字の文字幅が外接矩形データに合致するように調整されることにより、コード化文字の文字幅および文字間隔が元の原稿上の文字と同じになるように調整される。
【0061】
具体的には、コード化文字の出力時のフォント(出力フォント)のフォントメトリックデータがあらかじめ記憶されているため、フォントサイズの算出は、文字画像の外接矩形データにおける文字高さと出力フォントの文字高さデータとの比を計算することにより行うことができる。元の原稿上の文字のフォントと出力フォントとはたいていの場合異なるため、コード化文字のフォントサイズの値自体は、元の原稿上の文字のフォントサイズと僅かに異なるかもしれないが、上記の方法によれば、出力時の文字高さは元の原稿上の文字高さと同じになる。フォントサイズの算出は、個々のコード化文字単位で行われる場合、文字高さが正確になるが、前後の統一性を考慮して、好ましくは、単語、あるいは行単位程度で行われる。
【0062】
また、コード化文字の文字幅は、文字画像の外接矩形データにおける文字幅と、算出されたフォントサイズの場合の出力フォントの文字幅との比を計算することにより求めることができる。文字幅の調整は、外接矩形の間隔から求められる文字間隔の値と、水平方向文字倍率との2つを設定することにより可能である。文字幅の調整は、個々のコード化文字単位で行われる場合、文字幅が正確になるが、前後の統一性を考慮して、文字間隔および水平方向文字倍率の両方を設定し、好ましくは、単語、あるいは行単位程度で文字幅が同じになるように行われる。
【0063】
ステップS203〜S206の処理により、コード化文字に関する出力フォント、文字コード、フォントサイズ、文字位置、文字間隔、および文字色などのデータが得られる。
【0064】
ステップS207では、ステップS205で得られた文字画像データにおけるビットマップ文字の変形処理が行われる。
【0065】
次に、図8を参照して、ビットマップ文字の変形処理の手順について説明する。
【0066】
ステップS301では、注目するビットマップ文字がベクタ変換され、文字が点や線などの構成要素の座標値として表されたベクタ文字を有する文字ベクタデータが生成される。
【0067】
ビットマップ文字をベクタ変換する場合、図形領域内の画像をベクタ変換するときの通常のベクタ変換処理よりも、後述する線幅の設定や線の端部形状の補正を考慮して、ビットマップ文字の変換に適した図形認識のパラメータが設定される。たとえば、文字の1本のストローク(線部分)が、属性としての線幅を備えた1本の線要素として認識されるように、線幅検出のパラメータが比較的大きく設定される。線幅検出のパラメータとは、1つの線として認識することができる最大線幅の閾値である。仮に、線幅検出のパラメータを小さく設定すると、1本のストロークは輪郭線とその内部の色データとから構成されるベクタデータに変換されてしまうため好ましくない。また、文字のストロークに合わせて、優先的に線要素における左・上が始点、右・下が終点となるようにパラメータが統一して設定される。さらに、線幅変更の許容値を示すパラメータが、セリフ系のフォントを考慮して、比較的大きい値に設定される。これにより、線幅が途中で変化する線が1つの線として認識される。セリフ系のフォントとは、前述したように、線の端部における飾り形状であるセリフを有するフォントをいう。また、ベクタ変換処理においては、先に短い方の線要素が認識された後、長い方の他の線要素との統合処理が行われ得る。たとえば、2つの線要素が近い角度で連結されている場合、1つの線要素として統合される。このとき、線幅変更の許容値を示すパラメータを比較的大きく設定しておくことにより、たとえば線幅の異なる2つの線要素が1つの線要素に統合される。なお、上記のパラメータは、文字の大きさに応じて設定される。
【0068】
図9は、ビットマップ文字Aとビットマップ文字がベクタ変換されて得られたベクタ文字の線要素Bとを重ねて例示する図である。図9において、「k」の文字はセリフ系のフォントであるため、セリフの部分B1、B2が1つの線として認識されている。
【0069】
ステップS302では、図10に示すように、ベクタ文字の線要素からセリフの部分が削除される。ここで、線の長さが所定の閾値よりも短く、かつ他の線との連結部がT型(図9のB1)またはL型(図9のB2)である線要素が、セリフの部分とみなされる。なお、セリフの部分とみなされる線の長さの閾値は、文字の大きさに応じて設定される。
【0070】
ステップS303では、注目するビットマップ文字の近傍に位置されるコード化文字(たとえばビットマップ文字に隣接するコード化文字、以下同じ)の出力フォントにおける線幅が算出される。ここで、出力フォントがサンセリフ系のフォントである場合、線幅は文字のストロークの角度(方向)に関係ないので、1つの値が得られる。一方、出力フォントがセリフ系のフォントである場合、線幅は文字のストロークの角度により異なるので、線幅W1および線幅W2(線幅W1<線幅W2)の2つの値が得られる。なお、出力フォントの線幅は特定のフォントサイズでのデータとして記憶されているため、近傍のコード化文字のフォントサイズに応じて比例計算することにより算出される。
【0071】
ステップS304では、出力フォントがセリフ系のフォントであるか否かが判断される。セリフ系のフォントである場合(ステップS303:YES)、ステップS305の処理が実行され、セリフ系のフォントでない場合(ステップS303:NO)、ステップS309の処理が実行される。
【0072】
ステップS305では、ベクタ文字を構成する直線要素の線幅が設定される。ここで、図11に示すように、直線要素の線幅は、当該直線要素の角度に応じて線幅W1または線幅W2(線幅W1<線幅W2)に設定される。図13は、直線要素の角度と線幅との対応テーブルの一例を示す図である。図13に示されるように、直線要素が水平または右上がり、すなわち直線要素の角度α(度)がα=0または0<α<90であれば、直線要素の線幅が線幅W1に設定される。一方、直線要素が垂直または右下がり、すなわち直線要素の角度α(度)がα=90または90<α<180であれば、直線要素の線幅が線幅W2に設定される。
【0073】
ステップS306では、ベクタ文字を構成する曲線要素の線幅が設定される。図14は、ビットマップ文字Cとビットマップ文字がベクタ変換されて得られたベクタ文字の曲線要素Dとを重ねて例示する図、図15は、認識されたベクタ文字の曲線要素Dのみを示す図である。曲線要素の線幅は、たとえば図16に示すように、曲線要素Dの内部集合と、曲線要素Dを水平方向に線幅W2だけずらした曲線要素Dtの内部集合との排他的OR部分を作成することにより設定される。
【0074】
ステップS307では、ベクタ文字を構成する線要素の端部の形状が補正される。ここで、図12に示すように、線要素の端部Eの形状は、当該線要素の角度や端部の外接矩形内における位置などの条件に応じて補正される。
【0075】
図17は、線要素の角度などの条件と端部形状との対応テーブルの一例を示す図である。図17に示されるように、たとえば、線要素が水平、すなわち線要素の角度α(度)がα=0の場合、端部の外接矩形内における位置によって場合分けされ、さらに線要素の始点かまたは終点かによって場合分けされて、線要素の端部形状が決定される。図17に示される端部形状は、ベクタデータとしてあらかじめ記憶部43に記憶される。具体的には、記憶部43に記憶されている端部形状のベクタデータにベクタ文字の大きさに応じて所定の倍率を掛けた後、ベクタ文字を構成する線要素の端部に端部形状のベクタデータを付加することにより、線要素の端部形状の補正が行われる。ただし、線要素の端部形状の補正方法は、上記方法に必ずしも限定されるものではなく、たとえば端部形状のみがビットマップデータなどの画像データで与えられてもよい。
【0076】
ステップS308では、ベクタ文字におけるコーナー部の形状が補正される。図18は、コーナー部の外接矩形内における位置などの条件とコーナー部形状との対応テーブルの一例を示す図である。図18に示すように、たとえば文字「E」などに含まれる直角のコーナー部には図示のようなセリフが追加される。また、たとえば文字「V」などに含まれるその他のコーナー部は、図示のように線幅の大きい方の線要素の端部を他方の線要素に沿って切除することにより、コーナー部形状の補正が行われる。
【0077】
一方、ステップS309では、出力フォントがサンセリフ系のフォントなので、ベクタ文字を構成する線要素の線幅が、ステップS303で得られた1つの値に設定される。また、ステップS310では、線要素の端部形状が、線要素のストローク方向に直交する端面を有する四角形状に設定される。
【0078】
なお、ステップS301〜S308の処理は、すべてのビットマップ文字に対して行われる。
【0079】
ステップS311では、データベースサーバ40において後述するステップで作成されるファイルの形式がベクタデータに対応しているか否かが判断される。たとえばPDFファイルなどのベクタデータに対応したファイル形式の場合(ステップS311:YES)、ステップS312の処理が実行され、ベクタデータに対応していないファイル形式の場合(ステップS311:NO)、ステップS313の処理が実行される。
【0080】
ステップS312では、線幅の設定および端部形状の補正などの処理が行われた後のベクタ文字を有する文字ベクタデータが記憶部43に記憶される。
【0081】
ステップS313では、線幅の設定および端部形状の補正などの処理が行われた後のベクタ文字がビットマップデータにラスタライズされ、文字ビットマップデータとして記憶部43に記憶される(ステップS314)。
【0082】
最後に、図7のステップS208に戻り、写真画像データ、図形画像がベクタ変換されて生成されたベクタデータ、文字コードデータ、および文字画像データの変形後のデータ(図8の場合、文字ベクタデータまたは文字ビットマップデータ)が合成されて、たとえばPDFファイルなどの所定の1つのファイルが作成される。そして、作成されたファイルは、記憶部43に保存され、ユーザの利用に供される。
【0083】
このように、第1実施形態によれば、文字認識確度が所定値より低い文字画像に基づいて得られた文字画像データを、その近傍の文字コードデータの出力時のフォントに応じて変形することができる。したがって、文字コードデータと文字画像データとが混在する画像を出力する場合でも、両者の差異を目立たなくすることができ、ユーザに与える違和感を低減することができる。特に、両者の線幅の相違により文字列の一部がボールド文字に誤認されてしまうことを防止することができる。
【0084】
次に、図19を参照して、本発明の第2実施形態に係るビットマップ文字の変形処理の手順について説明する。なお、図19のフローチャートにより示されるアルゴリズムは、たとえばデータベースサーバ40のROM42にプログラムとして記憶されており、CPU41によって実行される。
【0085】
この第2実施形態は、上述した第1実施形態と、画像処理におけるビットマップ文字の変形処理(図7のS207)の内容(図8参照)が相違している。その他の点は、第1実施形態と同様であるため説明を省略する。
【0086】
まず、ステップS401では、注目するビットマップ文字の近傍に位置されるコード化文字の出力フォントにおけるフォントサイズが算出される。ここで、フォントサイズの算出は、たとえばディセンダのないコード化文字(「E」「A」など)の文字高さをポイント数に換算することにより求められる。
【0087】
ステップS402では、注目するビットマップ文字が拡大/縮小される。ビットマップ文字の拡大/縮小は、ステップS401でフォントサイズが算出されたコード化文字の当該フォントサイズに対応する文字高さと、当該コード化文字に対応する文字画像の外接矩形データの文字高さとの比較に基づいて行われる。
【0088】
ステップS403では、注目するビットマップ文字の近傍に位置されるコード化文字の出力フォントにおける所定の線幅が算出される。さらに、算出された線幅は、後述する線幅の補正処理に備えて、出力画像の解像度に応じた画素数に変換される。
【0089】
なお、出力フォントの文字高さ、文字幅、および線幅は、特定のフォントサイズでのデータとして記憶されているため、実際のコード化文字のフォントサイズに応じて比例計算することにより算出される。
【0090】
ステップS404では、ステップS403で線幅が算出されたコード化文字に対応する文字画像についての線幅が検出される。ステップS403でコード化文字において算出される線幅の位置は文字コードに応じてあらかじめ決められており、当該位置において文字画像の線幅が検出される。
【0091】
図20は、線幅の検出方法の一例を説明するための図である。たとえば、図20に示すような「I」を表す文字画像の線幅を検出する場合、(x1,(y1+y2)/2)を始点、(x2,(y1+y2)/2)を終点とする線上において、1つ目のピーク(「I」の場合)を示す部分のたとえば黒画素の数を数えることにより線幅が検出される。ただし、「I」を表す文字画像の外接矩形の左上および右下の座標をそれぞれ(x1,y1)、(x2,y2)とする。なお、黒画素の数を求める際のピークの位置は、文字コードに応じてあらかじめ決められる。
【0092】
ステップS405では、注目するビットマップ文字の縦線の幅が補正される。ここで、ステップS404で検出された文字画像における線幅と、ステップS403で算出されたコード化文字の出力フォントにおける線幅との相違に相当する画素数の差が、線幅の補正量とされる。
【0093】
図21は、縦線幅の補正に用いられるフィルタの一例を説明するための図である。縦線幅の補正量がたとえばマイナスn画素(n画素分減少)である場合、図21に示すような1×n(サイズ)の最小値フィルタ(白画素が0、黒画素が1で表される場合)が用いられる。ただし、図21では、1×3の最小値フィルタが例示されている。最小値フィルタ処理は、ビットマップ文字における注目画素の値を当該注目画素の周囲の所定サイズ内での最小値に置換する処理である。したがって、1×nの最小値フィルタを用いることにより、横方向にn画素分、縦線の幅を減少させることができる。逆に、縦線の幅を増加させる場合、ビットマップ文字における注目画素の値を当該注目画素の周囲の所定サイズ内での最大値に置換する最大値フィルタ処理が行われる。
【0094】
ステップS406では、注目するビットマップ文字の横線の幅が補正される。
【0095】
図22は、横線幅の補正に用いられるフィルタの一例を説明するための図である。横線幅の補正量がたとえばマイナスm画素(m画素分減少)である場合、図22に示すようなm×1(サイズ)の最小値フィルタ(白画素が0、黒画素が1で表される場合)が用いられる。ただし、図22では、3×1の最小値フィルタが例示されている。m×1の最小値フィルタを用いることにより、縦方向にm画素分、横線の幅を減少させることができる。逆に、横線の幅を増加させる場合、最大値フィルタ処理が行われる。
【0096】
なお、ステップS401〜S406の処理は、すべてのビットマップ文字に対して行われる。
【0097】
ステップS407では、ステップS401〜S406の処理に基づく変形後のビットマップ文字を有する文字画像データが記憶部43に記憶される。
【0098】
図23および図24は、第2実施形態に係るビットマップ文字の変形処理が施された場合の出力結果の一例を示す図であり、図23は、出力フォントがセリフ系の場合、図24は、出力フォントがサンセリフ系の場合を示す。図中において矩形枠で囲まれた部分がビットマップ文字を示しており、それ以外の部分がコード化文字を示している。このように、ビットマップ文字の変形処理が施されない場合の出力結果である図25および図26と比べて、第2実施形態に係るビットマップ文字の変形処理を施すことにより、文字コードデータと文字画像データとの差異が目立たなくなっていることがわかる。しかも、第2実施形態によれば、第1実施形態と比較してより簡易な構成により、ビットマップ文字における線の幅の補正を行うことができる。
【0099】
本発明は、上記した実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。
【0100】
たとえば上記実施形態では、文字認識処理およびビットマップ文字の変形処理などの画像処理がデータベースサーバ40で行われる場合について説明したが、デジタル複合機20ですべての画像処理が行われてもよい。
【0101】
また、領域分離処理がデジタル複合機20で行われる場合について説明したが、データベースサーバ40で行われてもよい。この場合、デジタル複合機20において、画像データ全体が1つの方式で圧縮処理されるか、あるいは圧縮処理が省略される。
【0102】
さらに、デジタル複合機20は、必ずしも印刷機能を備えている必要はなく、たとえばデジタル複合機の代わりにネットワークスキャナなどの他の機器が使用されてもよい。
【0103】
また、データベースサーバ40の代わりにパソコンが使用されてもよく、この場合、デジタル複合機20から送信されたファイルはパソコンで受信され、当該ファイルに対して図7および図8などに示される画像処理がパソコンで行われる。パソコンで画像処理が行われる場合、画像処理の対象となる画像データは、たとえばデジタルカメラで取り込まれた画像データ、あるいはパソコンに保存されている画像データであってもよい。
【0104】
本発明による画像処理における制御または演算を行う各手段、および画像処理方法は、専用のハードウェア回路、またはプログラムされたコンピュータのいずれによっても実現することが可能である。上記プログラムは、例えばフレキシブルディスクやCD−ROMなどのコンピュータ読み取り可能な記録媒体によって提供されてもよい。また、上記プログラムは、単独でアプリケーションソフトとして提供されてもよいし、あるいは装置の一機能としてその装置に組み込まれていてもよい。
【0105】
【発明の効果】
以上説明したように、本発明によれば、文字認識確度が所定値より低い文字画像に基づいて得られた文字画像データを、その近傍の文字コードデータの出力時のフォントに応じて変形することができる。したがって、文字コードデータと文字画像データとが混在する画像を出力する場合でも、両者の差異を目立たなくすることができ、ユーザに与える違和感を低減することができる。特に、両者の線幅の相違により文字列の一部がボールド文字に誤認されてしまうことを防止することができる。
【図面の簡単な説明】
【図1】 本発明の第1実施形態に係る画像処理装置を含むネットワークシステムの構成を示す図である。
【図2】 デジタル複合機の構成の一例を示すブロック図である。
【図3】 画像処理部の構成の一例を示すブロック図である。
【図4】 データベースサーバの構成の一例を示すブロック図である。
【図5】 画像処理用アプリケーションの内容を示す図である。
【図6】 デジタル複合機における画像処理の手順を示すフローチャートである。
【図7】 データベースサーバにおける画像処理の手順を示すフローチャートである。
【図8】 ビットマップ文字の変形処理の手順を示すフローチャートである。
【図9】 ビットマップ文字とビットマップ文字がベクタ変換されて得られたベクタ文字の線要素とを重ねて例示する図である。
【図10】 セリフの部分が削除されたベクタ文字の線要素を示す図である。
【図11】 直線要素の線幅の設定を説明するための図である。
【図12】 線要素の端部形状の補正を説明するための図である。
【図13】 直線要素の角度と線幅との対応テーブルの一例を示す図である。
【図14】 ビットマップ文字とビットマップ文字がベクタ変換されて得られたベクタ文字の曲線要素とを重ねて例示する図である。
【図15】 認識されたベクタ文字の曲線要素のみを示す図である。
【図16】 曲線要素の線幅の設定を説明するための図である。
【図17】 線要素の角度などの条件と端部形状との対応テーブルの一例を示す図である。
【図18】 コーナー部の外接矩形内における位置などの条件とコーナー部形状との対応テーブルの一例を示す図である。
【図19】 第2実施形態に係るビットマップ文字の変形処理の手順を示すフローチャートである。
【図20】 線幅の検出方法の一例を説明するための図である。
【図21】 縦線幅の補正に用いられるフィルタの一例を説明するための図である。
【図22】 横線幅の補正に用いられるフィルタの一例を説明するための図である。
【図23】 第2実施形態に係るビットマップ文字の変形処理が施された出力結果の一例を示す図であって、出力フォントがセリフ系の場合を示す。
【図24】 第2実施形態に係るビットマップ文字の変形処理が施された出力結果の一例を示す図であって、出力フォントがサンセリフ系の場合を示す。
【図25】 従来の出力結果の一例を示す図であって、出力フォントがセリフ系の場合を示す。
【図26】 従来の出力結果の一例を示す図であって、出力フォントがサンセリフ系の場合を示す。
【符号の説明】
10…ネットワーク、
20…デジタル複合機、
21…CPU、
22…ROM、
23…記憶部、
25…原稿読取部、
27…画像処理部、
31…領域分離部、
32…画像圧縮部、
33…ファイル作成部、
40…データベースサーバ、
41…CPU、
42…ROM、
43…記憶部、
50…画像処理用アプリケーション、
51…ファイル読み込み部、
52…文字認識部、
53…ベクタ変換部、
54…文字認識後処理部、
55…ファイル作成部、
60…プリンタ。

Claims (10)

  1. 画像データ中の文字画像から文字コードを認識して文字コードデータを得る文字認識手段と、
    前記文字認識手段による認識の確からしさの度合いである文字認識確度が所定値より低い文字画像を検出する検出手段と、
    文字認識確度が所定値より低い文字画像に基づいて得られ文字を表す所定の画像データである文字画像データを、前記文字コードデータの出力時のフォントに応じて変形する変形手段と
    を有することを特徴とする画像処理装置。
  2. 前記変形手段は、
    前記文字画像データをベクタデータに変換するベクタ変換手段と、
    前記文字画像データの近傍に位置される前記文字コードデータの出力時のフォントに応じて、前記ベクタデータにおける線の幅を設定する線幅設定手段と
    を有することを特徴とする請求項1に記載の画像処理装置。
  3. 前記変形手段は、
    前記文字画像データの近傍に位置される前記文字コードデータの出力時のフォントに応じて、前記ベクタデータにおける線の端部の形状を補正する端部形状補正手段をさらに有することを特徴とする請求項2に記載の画像処理装置。
  4. 前記変形手段は、
    前記文字画像データの近傍に位置される前記文字コードデータの出力時のフォントに応じて、前記文字画像データにおける線の幅を補正する線幅補正手段
    を有することを特徴とする請求項1に記載の画像処理装置。
  5. 前記線幅補正手段は、前記文字画像データにおける注目画素の値を当該注目画素の周囲の所定サイズ内での最小値または最大値に置換するファイルタ処理を行うことにより、前記線の幅を補正することを特徴とする請求項4に記載の画像処理装置。
  6. 前記文字コードデータおよび前記文字画像データの変形後のデータを有する電子ファイルを作成するファイル作成部をさらに有することを特徴とする請求項1〜5に記載の画像処理装置。
  7. 原稿を読み取ることによって画像データを得る読取手段をさらに有することを特徴とする請求項1〜6に記載の画像処理装置。
  8. 画像データ中の文字画像から文字コードを認識して文字コードデータを得る段階と、
    前記認識の確からしさの度合いである文字認識確度が所定値より低い文字画像を検出する段階と、
    文字認識確度が所定値より低い文字画像に基づいて得られ文字を表す所定の画像データである文字画像データを、前記文字コードデータの出力時のフォントに応じて変形する段階と
    を有することを特徴とする画像処理方法。
  9. 画像データ中の文字画像から文字コードを認識して文字コードデータを得る手順と、
    前記認識の確からしさの度合いである文字認識確度が所定値より低い文字画像を検出する手順と、
    文字認識確度が所定値より低い文字画像に基づいて得られ文字を表す所定の画像データである文字画像データを、前記文字コードデータの出力時のフォントに応じて変形する手順と
    をコンピュータに実行させるための画像処理プログラム。
  10. 請求項9に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2001254758A 2001-08-24 2001-08-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体 Expired - Fee Related JP4165046B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001254758A JP4165046B2 (ja) 2001-08-24 2001-08-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001254758A JP4165046B2 (ja) 2001-08-24 2001-08-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2003067670A JP2003067670A (ja) 2003-03-07
JP4165046B2 true JP4165046B2 (ja) 2008-10-15

Family

ID=19082871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001254758A Expired - Fee Related JP4165046B2 (ja) 2001-08-24 2001-08-24 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4165046B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4717380B2 (ja) * 2004-06-09 2011-07-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、その画像処理装置を含む画像処理システム
JP4510535B2 (ja) * 2004-06-24 2010-07-28 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP4873554B2 (ja) 2006-12-25 2012-02-08 株式会社リコー 画像配信装置および画像配信方法
JP5601027B2 (ja) * 2010-05-24 2014-10-08 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5742291B2 (ja) * 2011-02-25 2015-07-01 セイコーエプソン株式会社 画像形成装置、および画像形成方法
JP6281739B2 (ja) * 2013-11-13 2018-02-21 富士ゼロックス株式会社 処理装置及びプログラム
JP6769045B2 (ja) * 2016-02-29 2020-10-14 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム

Also Published As

Publication number Publication date
JP2003067670A (ja) 2003-03-07

Similar Documents

Publication Publication Date Title
US8384964B2 (en) Image processing apparatus and image processing method
JP4772888B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体
US7970225B2 (en) Image processing device, image processing method, image processing program and computer-readable recording medium on which the program is recorded
US8320019B2 (en) Image processing apparatus, image processing method, and computer program thereof
EP1349371B1 (en) Image processing apparatus, image processing program and storage medium storing the program
JP5180670B2 (ja) 画像処理装置及び画像処理方法
US8184337B2 (en) Image processing apparatus and method to output a print image embedded with information indicating a region obtained by merging a region on an input image corresponding to a specified image region, and a surrounding region of that region on the input image
US8395813B2 (en) Subtractive color method, subtractive color processing apparatus, image forming apparatus, and computer-readable storage medium for computer program
JP2001351066A (ja) 文書認識処理のための装置、方法及び記録媒体
JP2008042325A (ja) 電子ファイルの生成においてその生成に係る入力データを処理するための方法、装置、およびコンピュータプログラム
JP4582204B2 (ja) 画像処理装置、画像変換方法、およびコンピュータプログラム
JP4496602B2 (ja) 画像処理方法および画像処理装置
JP6362632B2 (ja) 画像処理装置、画像処理方法
JP2010056827A (ja) 画像処理装置および画像処理プログラム
US8229214B2 (en) Image processing apparatus and image processing method
JP4582200B2 (ja) 画像処理装置、画像変換方法、およびコンピュータプログラム
JP4165046B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP5005732B2 (ja) 画像形成装置及び画像処理方法
JP2010146218A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP3899872B2 (ja) 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
US20090290797A1 (en) Image processing for storing objects separated from an image in a storage device
JP5517028B2 (ja) 画像処理装置
JP2008193234A (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP2004242075A (ja) 画像処理装置および方法
JP3906723B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040423

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060228

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080721

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130808

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees