JP5197464B2 - 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 - Google Patents
画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP5197464B2 JP5197464B2 JP2009080442A JP2009080442A JP5197464B2 JP 5197464 B2 JP5197464 B2 JP 5197464B2 JP 2009080442 A JP2009080442 A JP 2009080442A JP 2009080442 A JP2009080442 A JP 2009080442A JP 5197464 B2 JP5197464 B2 JP 5197464B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- document
- page
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
電子文書には、生成された画像データとテキストデータとが関連付けて保存されている。このため、電子文書を閲覧するユーザは、適宜のキーワードを用いて、電子文書に含まれる所望の情報を検索することができる。
ここで、文字とは、英数字、かな文字、及び記号等である。
透明テキストを含むPDF形式の電子文書に対してキーワード検索を行なった場合、透明テキストが検索される。しかしながら、描画された透明テキストは不可視であるため、ユーザには、あたかも文書画像内の文字画像が検索されているかのように見える。
例えば、キーワードの前半の文字列と後半の文字列とが、1行目の行末と2行目の行頭とに分かれて配置されている場合、文字認識結果のテキストデータにおいては、キーワードの中途に、2行目の本文に振られているルビの文字列が含まれることがある。
このような不都合を解消するために、フォントの違いに基づいて本文とルビとを区別し、本文のみのテキストデータとルビのみのテキストデータとを個別に生成する技術が提案されている(特許文献2参照)。
この場合、ルビに邪魔されずに本文をキーワード検索することができる。
従って、文書画像の傾きを検出し(特許文献3参照)、検出結果に基づいて画像データを補正し、補正後の画像データに対して文字認識処理を施すことが望ましい。
1頁目の透明テキストと2頁目の透明テキストとは連続していない。従って、透明テキスト全体を検索したとしても、1頁目の原稿及び2頁目の原稿に跨って配置されているキーワードの検索漏れが生じる。
また、文字抽出手段は、一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を抽出する。第1頁の前頁は存在しないため、第1頁の文書に係る先頭文字を抽出する必要はない。
キーワード検索は、一の頁の文書に係る文字列データ及び次の頁の文書に係る文字列データ夫々に対して実行される。このため、一の頁の文書及び次の頁の文書に跨って配置されている文字列を含むキーワードを検索した場合に、検索漏れが生じる虞がある。
このため、一連の文字列が一の頁の文書及び次の頁の文書に跨って配置されている場合であっても、分断されたり一部が欠けたりすることなく、一連の文字列の文字列データが、一の頁の文書に係る文字列データに含まれる。
このため、一連の文字列が一の頁の文書及び次の頁の文書に跨って配置されている場合であっても、分断されたり一部が欠けたりすることなく、一連の文字列の文字列データが、次の頁の文書に係る文字列データに含まれる。
しかも、文字列データには不可視の色が指定されているため、一の頁の文書画像に次の頁の先頭文字の文字画像が含まれて見えることはない。同様に、次の頁の文書画像に一の頁の末尾文字の文字画像が含まれて見えることはない。
文字記憶手段には、意味を成す文字列が予め記憶されている。
文字抽出手段は、一の頁の文書の末尾文字、及び、次の頁の文書の先頭文字を夫々抽出する。
文字生成手段は、文字抽出手段が抽出した末尾文字及び先頭文字をこの順に合成することによって、新たな文字列を生成する。
文字判定手段は、文字生成手段が生成した新たな文字列を、文字記憶手段に記憶してある文字列と比較する。このことによって、文字判定手段は、文字生成手段が生成した新たな文字列が、意味を成す文字列であるか否かを判定する。
一方、文字判定手段が、意味を成す文字列ではないと判定した場合、意味を成す文字列が、一の頁の文書及び次の頁の文書に跨って配置されていないことがわかる。例えば、一の頁の文書の末尾部分及び次の頁の文書の先頭部分夫々に、完全無欠の語句が配置されている。
このため、文字判定手段が否と判定した場合は、文字埋込手段による文字列データの埋め込みは実行されない。
この結果、意味を成す文字列の文字列データを、一の頁の文書に係る文字列データと次の頁の文書に係る文字列データとに夫々含ませることができる。
従って、意味を成す文字列として文字記憶手段に予め記憶させておく文字列を適切に設定することによって、検索漏れを更に抑制することができる。
画像受付手段は、画像読取装置が読み取った文書の画像データを受け付ける。このために、本発明の画像処理装置は、画像読取装置に直結されているか、又は、インターネット若しくはLAN(Local Area Network)等を介して画像読取装置に接続されている。或いは、本発明の画像処理装置と画像読取装置とが、デジタル複合機に組み込まれている。なお、本発明の画像処理装置は、画像読取装置が読み取った文書の画像データを、例えば画像読取装置に直結されているPCから受信する構成でもよい。
画像受付手段が受け付けた画像データには、文字認識手段が認識した文字列が、不可視の色が指定された検索可能な文字列データとして埋め込まれる。
従って、本発明の画像処理装置は、原稿から電子文書を生成する場合に特に有用である。
本発明の画像処理装置は、画像データに埋め込まれている文字列データに対してキーワード検索を行なう際に、検索漏れが生じることを抑制することができる。このため、本発明の画像形成装置は、検索漏れの発生が抑制されている文字列データが埋め込まれた画像データに基づいて、記録シート上に画像を形成することができる。
なお、本発明のコンピュータプログラムは、コンピュータに画像生成処理又は画像圧縮処理等を実行させるための一連の画像処理プログラムに組み入れられた構成であってもよい。
なお、本発明の記録媒体には、本発明のコンピュータプログラムが組み込まれている前記一連の画像処理プログラムが記録されていてもよい。
この結果、画像データが示す文書画像においては、一連の文字列が、頁の境界の前後に分割配置されていたとしても、文字列データに対するキーワード検索の際に、検索漏れが生じることを抑制することができる。
本実施の形態では、画像処理装置が画像形成装置の一部をなす形態を例示する。
図1及び図2は、本発明の実施の形態1に係る画像処理装置2を含む画像形成装置1の内部の機能構成を夫々示すブロック図である。図1は、画像形成装置1がコピー機能を実現する場合の機能構成を示し、図2は、画像形成装置1がscan to e-mail機能を実現する場合の機能構成を示している。
画像形成装置1は、コピー機能、scan to e-mail機能、プリンタ機能、ファクシミリ通信機能、及びスキャナ機能等を有するデジタル複合機である。
操作パネル17は、ユーザが画像形成装置1を操作するための操作ボタン及びテンキー等の操作部と、液晶ディスプレイ等で構成される表示部とを備える。操作パネル17を用いてユーザが入力した指示又は数値等は、制御部10に与えられる。
制御部10には、画像形成装置1の制御中枢であるCPU(Central Processing Unit)と、画像形成装置1を作動させるためのコンピュータプログラムが予め記憶されているROMと、CPUの作業領域として用いられるRAMとが含まれている。制御部10は、操作パネル17を介してユーザから与えられた指示又は数値等に応じて、画像形成装置1の各部を制御する。
画像形成装置1がscan to e-mail機能を実現する場合、図2に示すように、画像入力装置11から画像処理装置2へ画像データが出力され、画像処理装置2から送受信装置14へ画像データが出力される。このとき、画像データが画像出力装置13に入力されることはない。
以下では、まず、図1及び図2夫々を参照しながら画像形成装置1の各部について詳述する。
画像入力装置11で読み取った原稿の枚数P(PはP≧1の自然数)を示す枚数情報は、制御部10に与えられる。
ここで、画像入力装置11の原稿読み取り部分の構成を詳述する。
画像入力装置11は、原稿を静止させた状態で読み取る静止読取モードと、原稿を搬送しながら原稿の一面を読み取る搬送読取モードと、原稿を搬送しながら原稿の両面を読み取る両面読取モードとを有する。
このために、画像入力装置11は、イメージセンサ部153及び読取部154を備える。
読取部154は、第1コンタクトガラス151に載置されている原稿を走査することによって原稿を読み取る。このために、原稿押さえマット157は、第1コンタクトガラス151上に載置された原稿を押さえる。
第1走査ユニット163は、第1コンタクトガラス151に沿って図中の左から右へ一定速度Vで移動しながら、原稿を露光するものである。このために、第1走査ユニット163は、例えば露光ランプを用いてなる光源162と、原稿からの反射光を第2走査ユニット164へ導く第1反射ミラー167とを有している。
第2走査ユニット164は、第1走査ユニット163に追随して一定速度V/2で移動しながら、第1反射ミラー167からの反射光を、第2反射ミラー168及び第3反射ミラー169でこの順に反射することによって、結像レンズ165へ導く。
CCD166は、結像レンズ165からの光をアナログ信号に変換する。
以上のような読取部154は、静止読取モードでは、第1コンタクトガラス151の一端部Pに相対する位置から、図示しない原稿サイズ検知手段で検出された原稿サイズに応じて所定距離だけ移動する。
原稿サイズ検知手段は、画像入力装置11内に配置されたフォトトランジスタ等の光電変換素子を用いて、第1コンタクトガラス151に載置された原稿の主走査方向及び副走査方向夫々の原稿サイズを検知する。なお、原稿サイズ検知手段は、操作パネル17を用いてユーザが選択した原稿のサイズを検知する構成でもよい。
両面読取モードでは、イメージセンサ部153と読取部154とが同時的に原稿の両面を読み取る。このため、例えば、読取部154が原稿の表面を読み取るように設定されている場合、イメージセンサ部153で読み取られた原稿の裏面の画像データは、例えば記憶部12に一旦格納され、読取部154で読み取られた原稿の表面の画像データが、画像処理装置2へ出力されて、各種処理を施される。
裏面の画像データは、表面の画像データの処理が終了した後で、記憶部12から読み出されて画像処理装置2へ出力される。
以上のような画像入力装置11の各部のうち、イメージセンサ部153、整合ローラ対155、原稿搬送路156、原稿押さえマット157、及び上側原稿搬送ガイド158等が、上部筐体(原稿カバー)160を構成している。また、第1コンタクトガラス151、第2コンタクトガラス152、読取部154、及び遮光部材159等が、下部筐体161を構成している。
上部筐体160は、下部筐体161に対して開閉可能に構成されている。
このために、送受信装置14は、図示しない公衆電話回線網、LAN又はインターネット等の通信ネットワークに接続可能であり、ファクシミリ又は電子メール等の通信方法により、通信ネットワークを介して画像形成装置1の外部へ画像データを送信する。例えば、操作パネル17を用いてユーザがscan to e-mail機能を選択した場合、画像データは、ネットワークカード、モデム等を用いてなる送受信装置14によってe-mailに添付され、設定された送信先へ送信される。
A/D変換部20は、画像入力装置11から画像処理装置2へ入力されたRGBのアナログ信号からなる画像データを受け付け、受け付けたアナログ信号をRGBのデジタル信号(即ちRGB信号)からなる画像データに変換し、変換後の画像データをシェーディング補正部21へ出力する。
シェーディング補正部21は、A/D変換部20から入力された画像データに対して、画像入力装置11の照明系、結像系及び撮像系で生じる各種の歪みを取り除く処理を行なう。次いで、シェーディング補正部21は、歪みを取り除いた画像データを入力処理部22へ出力する。
入力処理部22にて画像処理された画像データは、記憶部12に記憶される。
原稿補正部24は、記憶部12から画像データを読み出し、原稿検知部4から入力された検知結果に基づき、読み出した画像データに対して、傾き補正処理を施す。原稿補正部24にて傾き補正処理が施された画像データは、記憶部12に記憶される。
更に、原稿補正部24は、傾き補正処理が施された画像データを記憶部12から読み出し、原稿検知部4から入力された判定結果に基づき、読み出した画像データに対して、方向補正処理を施す。原稿補正部24にて方向補正処理が施された画像データは、色補正部25及び領域分離部30夫々へ出力される。
この後、記憶部12から読み出された圧縮ファイルは、図示しないJPEG伸張部に引き渡されて復号化処理が施されてから、色補正部25及び領域分離部30夫々へ出力される。又は、記憶部12から読み出された圧縮ファイルは、送受信装置14へ引き渡されることによって、画像形成装置1の外部へ送信される。
記憶部12に記憶されている圧縮ファイルの管理及び圧縮ファイルの引き渡し等の動作制御は、制御部10が行なう。
次いで、空間フィルタ処理部27は、処理後のCMYK信号からなる画像データを出力階調補正部28へ出力する。
中間調生成部29では、出力階調補正部28から入力された画像データに対して、領域分離部30から入力された領域識別信号に基づき、領域の種類に応じた階調再現処理が施される。次いで、中間調生成部29は、処理後の画像データを画像出力装置13へ出力する。
出力階調補正部28における出力γ補正処理及び中間調生成部29における階調再現処理は、夫々、画像出力装置13にて記録シート上に形成される文書画像の画質を向上させるためのものである。
A/D変換部20、シェーディング補正部21、及び入力処理部22夫々の動作は、コピー機能を実現する場合と同様である。
原稿検知部4及び原稿補正部24夫々の動作は、コピー機能を実現する場合と略同様である。
また、原稿補正部24は、方向補正処理を施した後の画像データを、色補正部25及び領域分離部30夫々へ出力し、更に、記憶部12に記憶させる。
色補正部25は、原稿補正部24から入力された画像データを、一般に普及している表示装置の表示特性に適合した画像データ(例えば、sRGB規格の画像データ)に変換する。以下では、区別のため、色補正部25によって変換された後の画像データを、R’G’B’信号からなる画像データという。次いで、色補正部25は、R’G’B’信号に変換後の画像データを、黒色生成/下色除去部26へ出力する。
空間フィルタ処理部27は、黒色生成/下色除去部26から入力されたR’G’B’信号に対して、領域分離部30から入力された領域識別信号に基づき、デジタルフィルタによる空間フィルタ処理(強調処理及び平滑化処理)を行なう。
次いで、空間フィルタ処理部27は、処理後のR’G’B’信号からなる画像データを出力階調補正部28へ出力する。
図4は、出力階調補正部28で用いられるγ曲線の一例を示す特性図である。図4の横軸は出力階調補正部28に入力されたR’G’B’信号のレベルを示し、縦軸は出力階調補正部28から出力されるR’G’B’信号のレベルを示している。
次いで、出力階調補正部28は、処理後の画像データを中間調生成部29へ出力する。
中間調生成部29は、出力階調補正部28から入力された画像データを、そのままフォーマット化処理部31へ出力する。
図5は、原稿検知部4の内部構成を示すブロック図である。
原稿検知部4は、信号変換部41、2値化処理部42、解像度変換部43、原稿傾き検知部44、及びレイアウト解析部45を備える。
原稿検知部4では、まず、傾き検知処理が実行される。この場合、原稿検知部4では、入力処理部22にて画像処理された画像データが、記憶部12から読み出される。読み出された画像データは、信号変換部41に入力される。
ここで、画像入力装置11で原稿を読み取る際の主走査方向及び副走査方向を、x座標方向及びy座標方向とする。このとき、座標(x,y)は画像上の画素の位置を示し、座標によって各画素を特定することができる。
座標(x,y)の画素におけるRGB信号の強度をRGB値(Rxy,Gxy,Bxy)と表わし、輝度信号の強度を輝度値Yxyと表わすと、輝度値Yxyは下記の式(1)を用いて求められる。
Yxy=0.30×Rxy+0.59×Gxy+0.11×Bxy…(1)
なお、信号変換部41は、RGB値をL* a* b* 表色系(CIE1976。CIE:Commission Internationale de l' Eclairage :国際照明委員会)における均等色空間上の座標(L*値:明度。a* 値,b* 値:色度)に変換する構成でもよい。又は、信号変換部41は、G信号からなる画像データを2値化処理部42へ出力する構成でもよい。
8ビットの画像データを2値化する場合、2値化処理部42は、例えば、閾値を“128”とし、注目画素の画素値が“128”以上であれば、この画素値を“1”に変換し、“128”未満であれば、“0”に変換することを全画素に対して実行する。
解像度変換部43は、2値化処理部42から入力された画像データの解像度を、公知のニアレストネイバー法、バイリニア法、又はバイキュービック法等を用いて、第1の解像度(例えば300dpi)、又は第1の解像度よりも更に低い第2の解像度(例えば75dpi)に低解像度化する。
傾き検知処理を実行する場合、解像度変換部43は、第1の解像度に低解像度化した画像データを原稿傾き検知部44へ出力する。
このために、原稿傾き検知部44は、入力された画像データ、即ち2値の画像データに基づいて、画素値“0”の黒画素と画素値“1”の白画素との境界点を複数個抽出し、抽出した境界点夫々の座標を求める。次いで、原稿傾き検知部44は、求めた座標に基づいて回帰直線を求め、求めた回帰直線の回帰計数bを得る。最後に、原稿傾き検知部44は、下記の式(2)を用いて傾き角度θを求める。
tanθ=b…(2)
信号変換部41は、方向補正処理が施された画像データ(即ちRGB信号からなる画像データ)を、輝度信号からなる画像データに変換して、2値化処理部42へ出力する。
解像度変換部43は、2値化処理部42から入力された画像データの解像度を、第1の解像度及び第2の解像度に低解像度化して、レイアウト解析部45へ出力する。つまり、解像度変換部43からレイアウト解析部45へは、第1の解像度に低解像度化された2値の画像データと、第2の解像度に低解像度化された2値の画像データとが両方とも出力される。
図6には、記録シートSに形成されている文書画像が例示されており、文書画像には、複数個の文字H,H,…が含まれている。
レイアウト解析部45は、解像度変換部43から入力された画像データの内、第2の解像度に低解像度化された画像データに基づいて、文書画像のレイアウトを解析し、レイアウト解析結果と、解像度変換部43から入力された画像データの内、第1の解像度に低解像度化された画像データとを文字認識部5へ出力する。
このために、レイアウト解析部45は、図6に破線で示すような各文字Hの外接矩形Qを求め、求めた外接矩形Q,Q,…同士の主走査方向の距離Lx ,Lx ,…と副走査方向の距離Ly ,Ly ,…とを求める。そして、レイアウト解析部45は、距離Lx ,Lx ,…の平均値が距離Ly ,Ly ,…の平均値よりも小さい(又は大きい)場合に、文書画像が横書きである(又は縦書きである)と判定する。
図6に示す文字領域の場合、距離Lx <距離Ly であるため、レイアウト解析部45は、横書きであるというレイアウト解析結果を文字認識部5へ出力する。
画像データには、主走査方向にI個の画素が含まれ、副操作方向にJ個の画像が含まれるものとする。ただし、定数I,J夫々は“2”以上の自然数である。
レイアウト解析部45は、まず,画像データに含まれるj番目のラインを注目ラインとし、黒画素にラベリングを行なう。ただし、変数jは1≦j≦J−1の自然数である。
このとき、主走査方向に連結している黒画素夫々には、同じラベルが与えられ、連結していない黒画素夫々には、異なるラベルが与えられる。
このとき、主走査方向に連結している黒画素夫々には、同じラベルが与えられ、連結していない黒画素夫々には、異なるラベルが与えられる。ただし、この時点では、j+1番目のラインの黒画素に与えられるラベルは、j番目以下のラインの黒画素に与えられているラベルのいずれとも異なるものである。
連結していると判定した場合、レイアウト解析部45は、連結している黒画素夫々に、同じラベルを与える。
以上のような処理を、レイアウト解析部45は、変数jが定数J−1に達するまで繰り返す。
更に、レイアウト解析部45は、同じラベルが与えられている領域夫々を、一の文字Hを形成する文字領域であると判定し、各文字領域の上端、下端、左端、及び右端の画素位置に基づいて、外接矩形Qを求める。
仮に、過剰に高い解像度の画像データに基づいてレイアウトを解析すると、レイアウト解析部45の演算負荷が無駄に重くなる。
文字認識部5は、認識処理部51、描画コマンド生成部52、及び辞書記憶部53を備える。
レイアウト解析部45から出力されたレイアウト解析結果及び画像データは、認識処理部51に入力される。認識処理部51には、画像入力装置11で読み取った原稿の枚数Pを示す枚数情報が、制御部10から入力される。
認識処理部51は、入力されたレイアウト解析結果、画像データ、及び枚数情報に基づいて、後述する図11及び図12に示すテキスト認識処理を実行する。テキスト認識処理には、公知の文字認識処理が含まれている。
このため、辞書記憶部53には、各文字の字形データを有する字形辞書データと、一般的な単語のデータを有する単語辞書データとが予め記憶されている。
このような辞書記憶部53は、本発明における文字記憶手段として機能する。
即ち、図8に示す文書画像D11,D12は、意味を成す文字列が頁の境界の前後に分割配置されていない文書画像である。
図9(b)に示すように、第2頁の文書画像D22の先頭部分には、「ーキャンペーンを、開催いたします。」という17文字分の文字画像が含まれている。更に詳細には、第1行に「ーキャンペーンを、」という文字画像が含まれている。
即ち、図9に示す文書画像D21,D22は、意味を成す文字列が頁の境界の前後に分割配置されている文書画像である。
同様に、図9(a)に示す文書画像D21の画像データには、「最新機種を取り揃え、携帯電話サマ」という透明テキストが埋め込まれ、図9(b)に示す文書画像D22の画像データには、「ーキャンペーンを、開催いたします。」という透明テキストが埋め込まれる。
図10は、図9に示す文書画像D21,D22の画像データに埋め込まれる透明テキストT21,T22を例示する模式図である。図10(a)は第1頁の透明テキストT21を示し、図10(b)は第2頁の透明テキストT22を示している。
図10に示すように、文書画像D21の画像データには、「最新機種を取り揃え、携帯電話サマー」という透明テキストT21が埋め込まれ、文書画像D22の画像データには、「サマーキャンペーンを、開催いたします。」という透明テキストT22が埋め込まれている。
更に、ユーザが、文書画像D21,D22の電子文書に対して、文書画像D21,D22上に存在する「サマーキャンペーン」という言葉をキーワードにして検索を実行しても、検索漏れは生じない。何故ならば、「サマーキャンペーン」という透明テキストが、第2頁の文書画像D22の画像データに埋め込まれている透明テキストT22に含まれているからである。
ただし、本文の透明テキストに1行分(又は複数行分)の透明テキストを追加することによるデータ量の増加が顕著になるという問題がある。
図11に示すように、まず、認識処理部51は、変数kを“1”にリセットする(S11)。
次に、認識処理部51は、原稿の枚数を示す枚数情報が制御部10から入力されたか否かを判定し(S12)、入力されていない場合は(S12でNO)、S12の処理を繰り返し実行する。枚数情報が入力された場合(S12でYES)、認識処理部51は、S13以降の処理を実行する。
レイアウト解析結果と画像データとが入力された場合(S13でYES)、認識処理部51は、第k頁の画像データに基づいて、公知の文字認識処理を実行する(S14)。
そして、認識処理部51は、以上のような処理を、第k頁の画像データに含まれる文字領域夫々に対応する文字を全て特定するまで繰り返し実行する。
ところで、特定された文字が、文書中の何行目の何番目に配されている文字であるかという情報は、特定された文字に対応する文字領域に含まれている画素の座標と、レイアウト解析結果とに基づいて求めることができる。
描画コマンドとは、透明テキストをPDF形式の画像データに埋め込むためのものであり、透明テキストに含まれる各文字の配置が、文書画像内の文字画像の配置に対応するように生成される。S15の処理が実行されることによって生成される描画コマンドは、フォーマット化処理部31において第k頁の本文の透明テキストを、第k頁の画像データに埋め込むためのものである。
P=1である場合(S16でYES)、認識処理部51は、全頁に対するテキスト認識処理が終了したことを示す終了情報を、描画コマンド生成部52へ出力し(S17)、最後に、処理をS11へ戻す。
S16の処理が実行されることによって、終了情報が入力された描画コマンド生成部52は、生成した描画コマンドを全てフォーマット化処理部31へ出力する。
k=1である場合(S18でYES)、S14を実行したことによって、第1頁の画像データに対する文字認識処理が終了したため、認識処理部51は、第1頁に係る文字認識結果に基づいて、後述するように、末尾文字を抽出する(S19)。
S19の処理完了後、認識処理部51は、変数kに“2”をセットして(S20)、処理をS13へ戻す。
更に、認識処理部51は、変数kが枚数Pに等しいか否かを判定する(S22)。
k=Pである場合(S22でYES)、S14を実行したことによって、第P頁の画像データに対する文字認識処理が終了したため、認識処理部51は、S23の処理を実行することなく、S24へ処理を移す。
図8(a)に示す文書画像D11の画像データに対してS14の文字認識処理を施した場合、最終行の文字認識結果として「げる効果があります。」という10文字が得られ、図8(b)に示す文書画像D12の画像データに対してS14の文字認識処理を施した場合、第1行の文字認識結果として「生鮮食品では、緑黄色」という10文字が得られる。
認識処理部51は、得られた文字認識結果に基づいて、認識した文字からなる1行分の文字列を分解する。このとき、認識処理部51は、1行分の文字列を分解する手法として、例えば形態素解析を用いる。
同様に、「生鮮食品では、緑黄色」という1行分の文字列は、「生鮮」という2個の文字と、「食品」という2個の文字と、「では、」という3個の文字と、「緑黄色」という3個の文字とに分解される。認識処理部51は、第2頁の第1行の先頭文字として、「生鮮」を抽出する。
認識処理部51は、得られた文字認識結果に基づいて、認識した文字からなる1行分の文字列を分解する。
同様に、「ーキャンペーンを、」という1行分の文字列は、「ー」という1個の文字と、「キャンペーン」という6個の文字と、「を、」という2個の文字とに分解される。認識処理部51は、第2頁の第1行の先頭文字として、「ー」を抽出する。
図8に示す文書画像D11,D12については、第1頁の末尾文字「あります。」と第2頁の先頭文字「生鮮」とがこの順に合成されることによって、新たな文字列「あります。生鮮」が生成される。
図9に示す文書画像D21,D22については、第1頁の末尾文字「サマ」と第2頁の先頭文字「ー」とがこの順に合成されることによって、新たな文字列「サマー」が生成される。
図9に示す文書画像D21,D22に係る新たな文字列「サマー」は、意味を成す文字列である、と判定される。
S26の処理が実行されることによって、描画コマンド補正命令が入力された描画コマンド生成部52は、入力された描画コマンド補正命令に基づいて、描画コマンドを補正する。
この結果、描画コマンドは補正されずに描画コマンド生成部52からフォーマット化処理部31へ出力されるため、フォーマット化処理部31においては、図8に示す文書画像D11,D12の画像データに、透明テキストT11,T12が埋め込まれる。
k<Pである場合(S27でNO)、全頁に対するテキスト認識処理がまだ終了していないため、認識処理部51は、変数kを“1”インクリメントして(S28)、処理を図11に示すS13へ戻す。
図12に示すように、k=Pである場合(S27でYES)、全頁に対するテキスト認識処理が終了したため、認識処理部51は、処理を図11に示すS17へ移す。
また、認識処理部51がS26の処理を実行し、描画コマンド生成部52が描画コマンド補正処理を実行することによって、フォーマット化処理部31は、本発明における文字埋込手段として機能する。
また、図8〜図10には、ヘッダ及びフッタが存在しない文書画像を例示してある。このため、以下に、ヘッダ及び/又はフッタが存在する文書画像について説明する。
「お得意様セール」という1行分の文字列は、「お得意様」という4個の文字と、「セール」という3個の文字とに分解される。
更に、認識処理部51がS24の処理を実行することによって、各2行分の末尾文字と先頭文字とを組み合わせてなる4種類の新たな文字列が生成される。
認識処理部51は、合成結果1として、新たな文字列「1お得意様」を生成し、合成結果2として、新たな文字列「1ー」を生成する。また、認識処理部51は、合成結果3として、新たな文字列「サマお得意様」を生成し、合成結果4として、新たな文字列「サマー」を生成する。
合成結果4が意味を成す文字列であるため、認識処理部51は、S26の処理を実行する。この結果、描画コマンド生成部52にて、文書画像D31,D32に係る描画コマンドが補正される。
描画コマンド生成部52は、第1頁及び第2頁の透明テキストに、文字の追加を最小限にして、新たな文字列「サマー」が含まれるように、第1頁及び第2頁夫々に係る描画コマンドを補正する。
また、第2頁に係る補正された描画コマンドは、先頭文字「ー」の透明テキストの前方側に連続して、末尾文字「サマ」の透明テキストが第2頁の画像データに埋め込まれるようにするためのものである。
仮に、認識処理部51が各6行以上の末尾文字及び先頭文字を抽出する構成である場合、末尾文字と先頭文字とを合成してなる新たな文字列の種類数が無駄に増大する虞がある。
ヘッダ及び/又はフッタの有無が指示されない画像形成装置1の場合、認識処理部51は、複数行分の文字を抽出する手順、及び、1行分の文字を抽出する手順のいずれかの一方を常に実行する構成であればよい。
この結果、画像データが示す文書画像においては、透明テキストに対するキーワード検索の際に、検索漏れが生じることを抑制することができる。
透明テキストは、表示画面には表示されず、また、記録シートには記録されない。従って、一の頁の文書画像に次の頁の先頭文字の文字画像が無用に含まれて見えたり、次の頁の文書画像に一の頁の末尾文字の文字画像が無用に含まれて見えたりすることはない。
図15は、本発明の実施の形態2に係る画像処理装置2を含む画像形成装置1がscan to e-mail機能を実現する場合の機能構成を示すブロック図である。図15に示すブロック図は、実施の形態1の図2に示すブロック図に対応する。
本実施の形態の画像形成装置1は、実施の形態1の画像形成装置1と略同様の構成である。以下では、実施の形態1との差異について説明し、その他、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
一方、図15に示すように、本実施の形態の領域分離部30は、入力処理部22の後段、且つ原稿検知部4の前段に設けられている。
このため、入力処理部22は、画像処理後の画像データを、記憶部12に記憶させると共に、領域分離部30へ出力する。また、原稿補正部24が、領域分離部30へ画像データを出力することはない。
領域分離部30は、領域識別信号を、空間フィルタ処理部27、出力階調補正部28、及び文字認識部5夫々へ出力する。
図16は、本発明の実施の形態3に係る画像処理装置2を含む画像形成装置1がscan to e-mail機能を実現する場合の機能構成を示すブロック図である。図16に示すブロック図は、実施の形態1の図2に示すブロック図に対応する。
本実施の形態の画像形成装置1は、実施の形態1の画像形成装置1と略同様の構成である。以下では、実施の形態1との差異について説明し、その他、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
このため、入力処理部22は、画像処理後の画像データを、記憶部12に記憶させると共に、原稿種別自動判別部32へ出力する。
原稿種別自動判別部32は、判別結果を原稿検知部4及び文字認識部5へ出力し、文字認識部5は、入力された判定結果をフォーマット化処理部31へ出力する。
実施の形態1〜3では、画像処理装置が画像形成装置の一部をなす形態を例示したが、本実施の形態においては、画像処理装置がスキャナ装置の一部をなす形態を例示する。ただし、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
スキャナ装置は、画像処理装置6と、制御部10、画像入力装置11、記憶部12、及び操作パネル17を備えている。画像処理装置6の出力側には、図示しない通信ケーブル又は通信ネットワークを介してPC又はデジタル複合機等の図示しないホスト装置が接続されている。
原稿補正部61の動作は、実施の形態1においてscan to e-mail機能を実現する場合の原稿補正部24の動作と略同様である。ただし、原稿補正部24は、方向補正処理を施した後の画像データを、色補正部62へ出力し、更に、記憶部12に記憶させる。
フォーマット化処理部63の動作は、実施の形態1においてscan to e-mail機能を実現する場合のフォーマット化処理部31の動作と略同様である。ただし、フォーマット化処理部63は、色補正部62から入力された画像データをPDF形式の画像データに変換する。更に、フォーマット化処理部63は、生成した電子文書を前記ホスト装置へ送信する。
以上のようなスキャナ装置は、実施の形態1の画像形成装置1と同様の効果を奏する。
本実施の形態では、汎用のコンピュータを用いて本発明の実施の形態に係る画像処理装置を実現した形態を例示する。
図18は、本発明の実施の形態5に係る画像処理装置7の機能構成を示すブロック図である。
本実施の形態に係る画像処理装置7は、汎用コンピュータ(例えばPC)を用いてなる。
記憶部74は、例えばハードディスクを用いてなる。記憶部74の記憶領域の一部には、実施の形態1の辞書記憶部53に記憶されている字形辞書データ及び単語辞書データと同様の字形辞書データ及び単語辞書データが予め記憶されている。このような記憶部74は、本発明における文字記憶手段として機能する。
また、画像処理装置7は、操作部75と表示部76とを備えている。
操作部75は、ユーザが画像処理装置7を操作するためのキーボード又はポインティングデバイス等である。操作部75を用いてユーザが入力した指示又は数値等は、CPU71に与えられる。
表示部76は、例えば液晶ディスプレイを用いてなり、CPU71に制御されて、各種の情報を表示する。
CPU71は、ファクシミリ又は電子メール等の通信方法によって、通信部77を介し、画像処理装置7の外部へデータを送信する。
CPU71は、I/F78を介して、後述する画像読取装置82から送信された画像データを受信する。このようなCPU71は、本発明における画像受付手段として機能する。
図19及び図20は、本発明の実施の形態5に係る画像処理装置7で実行される電子文書生成処理の手順を示すフローチャートである。このような電子文書生成処理は、I/F78を介して画像データを受信した場合に自動的に実行される。なお、CPU71は、後述するS31の処理を実行する前に、傾き検知処理及び天地判定処理等を実行し、実行結果に基づいて画像データを補正する構成でもよい。
次に、CPU71は、第1の解像度を有する第k頁の画像データに基づいて、公知の文字認識処理を実行する(S36)。S36は、図11に示すS14に対応する。
S36における文字認識処理の終了後、CPU71は、S36における文字認識結果に基づいて、第k頁の描画情報を生成する(S37)。S37で生成される描画情報は、第k頁の本文の透明テキストを第k頁の画像データに埋め込むためのものであり、実施の形態1の描画コマンド生成部52が生成する描画コマンドに対応する。
P=1である場合(S38でYES)、CPU71は、実施の形態1のフォーマット化処理部31と同様にして、画像データをPDF形式の画像データに変換する(S39)。PDF形式の画像データに変換すべき画像データは、S32で低解像度化されていない画像データである。この画像データに対して、CPU71は、予め前処理を施してもよい。この前処理とは、例えば、実施の形態1の色補正部25、空間フィルタ処理部27、及び出力階調補正部28夫々で実行される画像処理と同様の画像処理である。
CPU71は、生成された電子文書を記憶部74に記憶させるか、又は、実施の形態1の送受信装置14と同様にして、生成された電子文書をe-mailに添付した上で、通信部77を介して画像処理装置7の外部へ送信する。
S40の処理終了後、CPU71は、電子文書生成処理を終了する。
k=1である場合(S41でYES)、S36を実行したことによって、第1頁の画像データに対する文字認識処理が終了したため、CPU71は、第1頁に係る文字認識結果に基づき、実施の形態1の認識処理部51と同様にして、末尾文字を抽出する(S42)。
S42の処理完了後、CPU71は、変数kに“2”をセットして(S43)、処理をS36へ戻す。
更に、CPU71は、変数kが枚数Pに等しいか否かを判定する(S52)。
k=Pである場合(S52でYES)、S36を実行したことによって、第P頁の画像データに対する文字認識処理が終了したため、CPU71は、S53の処理を実行することなく、S54へ処理を移す。
更に、CPU71は、実施の形態1の認識処理部51と同様にして、S54で生成した文字列が、意味を成す文字列であるか否かを判定する(S55)。このために、CPU71は、記憶部74に記憶されている単語辞書データを参照し、単語辞書データが示す文字列と、S54で生成した文字列とを比較して、これらが一致するか否かを判定する。
S54で生成した文字列が、意味を成す文字列ではない場合(S55でNO)、CPU71は、S56の処理を実行せずに、後述するS57へ処理を移す。
k<Pである場合(S57でNO)、全頁に対するテキスト認識処理がまだ終了していないため、CPU71は、変数kを“1”インクリメントして(S58)、処理をS36へ戻す。
k=Pである場合(S57でYES)、全頁に対するテキスト認識処理が終了したため、CPU71は、処理をS39へ移す。
本実施の形態においては、図19及び図20に示す電子文書生成処理が、I/F78を介して画像データを受信した場合に自動的に実行される場合を例示したが、これに限定されるものではない。例えば、I/F78を介して画像データを受信した場合には、受信した画像データが記憶部74に一旦記憶され、ユーザが操作部75を用いて電子文書生成命令を入力したときに、電子文書生成処理が実行される構成でもよい。或いは、ユーザが操作部75を用いて生成した画像データ、又は通信部77を介して受信した画像データ等に対して、電子文書生成処理が実行されてもよい。
また、本発明の効果がある限りにおいて、実施の形態1〜3で開示した画像形成装置1、実施の形態4で開示したスキャナ装置、又は実施の形態5で開示した画像処理装置7に、実施の形態1〜5に開示されていない構成要素が含まれていてもよい。
11 画像入力装置(画像読取装置)
13 画像出力装置(画像形成手段)
2 画像処理装置
31 フォーマット化処理部(文字埋込手段)
51 認識処理部(画像受付手段、文字抽出手段、文字生成手段、文字判定手段、文字認識手段)
53 辞書記憶部(文字記憶手段)
7 画像処理装置
71 CPU(画像受付手段、文字抽出手段、文字生成手段、文字判定手段、文字認識手段、文字埋込手段)
74 記憶部(文字記憶手段)
80 記録媒体
81 コンピュータプログラム
82 画像読取装置
Claims (8)
- 文書に含まれる文字を抽出する文字抽出手段、及び、文字列データを画像データに埋め込む文字埋込手段を備える画像処理装置にて、複数頁の文書夫々に含まれる文字列を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込む画像処理方法であって、
前記文字抽出手段は、最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出し、
前記文字埋込手段は、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込むか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込むことを特徴とする画像処理方法。 - 複数頁の文書夫々に含まれる文字列を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込む画像処理装置において、
最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出する文字抽出手段と、
前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出手段が抽出した先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込むか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出手段が抽出した末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込む文字埋込手段と
を備えることを特徴とする画像処理装置。 - 意味を成す文字列を予め記憶してある文字記憶手段と、
前記文字抽出手段が抽出した末尾文字及び先頭文字をこの順に合成することによって、新たな文字列を生成する文字生成手段と、
該文字生成手段が生成した文字列を、前記文字記憶手段に記憶してある文字列と比較することによって、前記文字列が意味を成す文字列であるか否かを判定する文字判定手段と
を更に備え、
前記文字埋込手段は、前記文字判定手段が意味を成す文字列であると判定した場合に、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出手段が抽出した先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込み、且つ、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出手段が抽出した末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込むようにしてあることを特徴とする請求項2に記載の画像処理装置。 - 前記文字抽出手段は、前記末尾部分の複数行夫々の行末に位置する1又は複数個の末尾文字、及び、前記先頭部分の複数行夫々の行頭に位置する1又は複数個の先頭文字を夫々抽出するようにしてあり、
前記文字生成手段は、前記文字抽出手段が抽出した各複数行分の末尾文字及び先頭文字の組み合わせをこの順に合成することによって、新たな文字列を生成するようにしてあり、
前記文字埋込手段は、前記文字判定手段が意味を成す文字列であると判定した場合に、前記文字生成手段が生成した文字列の内、前記文字判定手段が意味を成す文字列であると判定した文字列が、前記一の頁の文書の画像データに埋め込まれる前記文字列データの末尾部分及び前記次の頁の文書の画像データに埋め込まれる前記文字列データの先頭部分夫々に含まれるようにして、前記一の頁の文書の画像データ及び前記次の頁の文書の画像データ夫々に前記文字列データを埋め込むようにしてあることを特徴とする請求項3に記載の画像処理装置。 - 画像読取装置が読み取った文書の画像データを受け付ける画像受付手段と、
該画像受付手段が受け付けた画像データに基づいて、文書に含まれる文字を認識する文字認識手段と
を更に備え、
前記文字認識手段が認識した文字を、前記文字列データとして前記画像受付手段が受け付けた画像データに埋め込むようにしてあることを特徴とする請求項2から4の何れかひとつに記載の画像処理装置。 - 請求項2から5のいずれかひとつに記載の画像処理装置と、
記録シート上に画像を形成する画像形成手段と
を備えることを特徴とする画像形成装置。 - コンピュータに、複数頁の文書夫々に含まれる文字を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込ませるためのコンピュータプログラムであって、
コンピュータに、最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出させる文字抽出ステップと、
コンピュータに、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出ステップで抽出された先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込ませるか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出ステップで抽出された末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込ませる文字埋込ステップと
を実行させることを特徴とするコンピュータプログラム。 - 請求項7に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009080442A JP5197464B2 (ja) | 2009-03-27 | 2009-03-27 | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009080442A JP5197464B2 (ja) | 2009-03-27 | 2009-03-27 | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010231654A JP2010231654A (ja) | 2010-10-14 |
JP5197464B2 true JP5197464B2 (ja) | 2013-05-15 |
Family
ID=43047379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009080442A Active JP5197464B2 (ja) | 2009-03-27 | 2009-03-27 | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5197464B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6938318B2 (ja) * | 2017-10-03 | 2021-09-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7226023B2 (ja) * | 2019-03-29 | 2023-02-21 | ブラザー工業株式会社 | 画像処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004280514A (ja) * | 2003-03-17 | 2004-10-07 | Toppan Forms Co Ltd | Pdfファイル及びpdfファイル作成システム |
JP2006331308A (ja) * | 2005-05-30 | 2006-12-07 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
JP4402138B2 (ja) * | 2007-06-29 | 2010-01-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
-
2009
- 2009-03-27 JP JP2009080442A patent/JP5197464B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010231654A (ja) | 2010-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5280425B2 (ja) | 画像処理装置、画像読取装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体 | |
JP4772888B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体 | |
US8363963B2 (en) | Apparatus, method and computer readable medium that associates a plurality of possible word recognition results with an image | |
JP7387339B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
US20100141991A1 (en) | Image processing apparatus, image forming apparatus, and image processing method | |
JP5972578B2 (ja) | 画像処理装置、画像形成装置、プログラム、記録媒体 | |
JPH08289094A (ja) | 文書イメージスキャン方法及びその装置 | |
JP4362538B2 (ja) | 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 | |
US11341733B2 (en) | Method and system for training and using a neural network for image-processing | |
JP2011008549A (ja) | 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体 | |
US8300944B2 (en) | Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, image processing system, and storage medium | |
US8184912B2 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method | |
JP2012118863A (ja) | 画像読取装置、画像形成装置、画像読取方法、プログラムおよびその記録媒体 | |
US7986838B2 (en) | Image processing apparatus and image processing method | |
JP2009015819A (ja) | 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 | |
JP6607490B2 (ja) | 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 | |
JP5197464B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 | |
JP3899872B2 (ja) | 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体 | |
US20220166896A1 (en) | Image reading device and image reading method | |
JP2010287178A (ja) | 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体 | |
JP4396710B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
US20080043269A1 (en) | Method and apparatus for processing image containing picture and characters | |
JP2010273119A (ja) | 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 | |
US11134171B1 (en) | Image reading apparatus, image forming apparatus, and image reading method that perform image processing for each area | |
JP2010286917A (ja) | 画像処理装置、画像読取装置、複合機、画像処理方法、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5197464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |