JP5992956B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5992956B2
JP5992956B2 JP2014109397A JP2014109397A JP5992956B2 JP 5992956 B2 JP5992956 B2 JP 5992956B2 JP 2014109397 A JP2014109397 A JP 2014109397A JP 2014109397 A JP2014109397 A JP 2014109397A JP 5992956 B2 JP5992956 B2 JP 5992956B2
Authority
JP
Japan
Prior art keywords
character recognition
setting
image
image data
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014109397A
Other languages
English (en)
Other versions
JP2015225459A (ja
Inventor
新一 木村
新一 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2014109397A priority Critical patent/JP5992956B2/ja
Priority to US14/715,082 priority patent/US9449223B2/en
Publication of JP2015225459A publication Critical patent/JP2015225459A/ja
Application granted granted Critical
Publication of JP5992956B2 publication Critical patent/JP5992956B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Description

本発明は、画像処理装置に関するものである。
ある装置では、文字認識(OCR:Optical Character Recognition)処理で、原稿画像内の文字を検出している(例えば特許文献1参照)。
原稿画像内には、様々な言語で様々なサイズの文字が含まれている可能性があるため、文字認識率を高くするために、良好な画質の原稿画像に対してOCR処理を行うことが望ましい。
特開平9−114918号公報
しかしながら、原稿画像の画質を高くするほど、画像データのサイズが大きくなってしまい、OCR処理時間が長くなってしまう。
本発明は、上記の問題に鑑みてなされたものであり、必要に応じて、文字認識率が低下しないようにしつつ短時間でOCR処理を行う画像処理装置を得ることを目的とする。
本発明に係る画像処理装置は、原稿画像の1ページごとに文字認識用画像データを生成する画像処理部と、前記画像処理部により生成された前記文字認識用画像データに対して文字認識処理を行う文字認識処理部とを備える。そして、前記画像処理部は、(a)ある画質設定であるページの文字認識用画像データを生成し、(b)前記あるページの文字認識用画像データに対する前記文字認識処理の処理時間に基づいて、前記あるページの画質設定とは異なる画質設定で次ページの文字認識用画像データを生成するか否かを判定し、(c)前記あるページの画質設定とは異なる画質設定で次ページの文字認識用画像データを生成すると判定した場合、前記あるページの原稿種別および原稿サイズの少なくとも一方に基づいて前記次ページの画質設定を特定し、特定した前記画質設定で前記次ページの文字認識用画像データを生成する。前記画質設定は、カラー設定、階調数設定、解像度設定、およびフィルター設定の少なくとも1つを含み、前記フィルター設定は、前記文字認識用画像データ内の所定濃度以下の濃度値を所定の最低濃度に変換する処理のオン/オフ設定、および前記文字認識用画像データ内の所定濃度以上の濃度値を所定の最高濃度に変換する処理のオン/オフ設定の少なくとも1つを含む。そして、前記画像処理部は、前記あるページのカラー設定および解像度設定をカラーおよびデフォルト解像度として前記あるページの文字認識用画像データを生成し、前記あるページの文字認識用画像データに対する前記文字認識処理の処理時間が所定閾値以上である場合、前記あるページの原稿種別が文字原稿に設定されているときには、前記次ページのカラー設定をモノクロとし、前記あるページの原稿種別が文字原稿に設定されていないときには、前記あるページの原稿サイズが所定サイズを超えていれば、前記次ページの解像度設定を、前記デフォルト解像度より低い所定の解像度とする。

本発明によれば、必要に応じて、文字認識率が低下しないようにしつつ短時間でOCR処理を行う画像処理装置を得ることができる。
図1は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図2は、図1に示す画像処理装置の動作を説明するフローチャートである。
以下、図に基づいて本発明の実施の形態を説明する。
図1は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
図1に示す画像処理装置は、複合機であって、画像読取装置1、画像入力部2、画像処理部3、OCR処理部4、表示部5、操作部6、印刷制御部7、印刷装置8、状態記憶部9、ファイル作成部10、データ通信部11、およびシステム制御部12を備える。
画像読取装置1は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データを生成する。
画像入力部2は、画像読取装置1により生成された原稿画像の画像データまたはデータ通信部11により受信された原稿画像の画像データを取得する。
画像処理部3は、画像入力部2により取得された原稿画像の画像データから、原稿画像の1ページごとに文字認識用画像データを生成する。画像処理部3は、各ページについての画質設定で文字認識用画像データを生成する。
画像処理部3は、(a)ある画質設定で、あるページの文字認識用画像データを生成し、(b)あるページの文字認識用画像データに対する、OCR処理部4による文字認識処理(以下、OCR処理という)の処理時間に基づいて、そのページの画質設定とは異なる画質設定で次ページの文字認識用画像データを生成するか否かを判定し、(c)そのページの画質設定とは異なる画質設定で次ページの文字認識用画像データを生成すると判定した場合、そのページの原稿種別および原稿サイズの少なくとも一方に基づいて次ページの画質設定(つまり、OCR処理時間が短くなるような画質設定)を特定し、特定した画質設定で次ページの文字認識用画像データを生成する。
一般的に、OCR処理の処理時間は、文字認識用画像データのデータサイズに依存するほか、原稿画像内のオブジェクト(文字、線画、罫線など)の数に依存する。そのため、計測される処理時間は、原稿画像の内容に応じて変化する。
この実施の形態では、画質設定は、カラー設定、階調数設定、解像度設定、およびフィルター設定の少なくとも1つ(ここでは、すべて)を含む。
カラー設定は、文字認識用画像データをモノクロまたはカラーに指定する。
階調数設定は、文字認識用画像データの階調数を指定する。
例えば、カラー設定および階調数設定によって、256階調のカラーで文字認識用画像データが生成されたり、256階調のグレイスケールで文字認識用画像データが生成されたり、2値化画像で文字認識用画像データが生成されたりする。
フィルター設定は、文字認識用画像データ内の所定濃度以下の濃度値を所定の最低濃度(ここでは0%)に変換する処理のオン/オフ設定、および文字認識用画像データ内の所定濃度以上の濃度値を所定の最高濃度(ここでは100%)に変換する処理のオン/オフ設定の少なくとも1つ(ここでは両方)を含む。
例えば、文字認識用画像データが8ビットRGBカラーデータである場合、上述のオン/オフ設定がオンにされるときには、色成分のすべてが所定濃度以下の濃度値である画素について、所定の最低濃度(R,G,B)=(255,255,255)とされ、色成分のすべてが所定濃度以上の濃度値である画素について、所定の最低濃度(R,G,B)=(0,0,0)とされる。
なお、上述のオン/オフ設定がオンにされると、データサイズは減少しないものの、原稿画像のコントラストが高くなり、OCR処理において文字認識が行いやすくなり、OCR処理時間が短くなる。
OCR処理部4は、画像処理部3により生成された文字認識用画像データに対してOCR処理を行い、原稿画像内の文字を検出する。
表示部5は、例えば液晶ディスプレイ、インジケーターなどを含み、当該画像処理装置の状態、OCR処理の画質設定の変更などを表示する。操作部6は、例えばタッチパネル、ハードキーなどを含み、ユーザー操作を受け付け、電気信号として出力する。
印刷制御部7は、印刷装置8を制御して原稿画像などの印刷を印刷装置8に実行させる。印刷装置8は、例えば電子写真方式で原稿画像を印刷用紙に印刷する。
状態記憶部9は、当該画像処理装置の状態、各種設定などを記憶する記憶装置である。
ファイル作成部10は、原稿画像のラスターイメージデータと、OCR処理部4の文字認識により得られたテキストとを含むファイルを作成する。例えば、ファイル作成部10は、原稿画像のラスターイメージデータのレイヤーと、OCR処理部4の文字認識により得られたテキストのレイヤーとを含むPDF(Portable Document Format)ファイルを作成する。
データ通信部11は、例えばネットワークインターフェイスなどであって、パーソナルコンピューターなどの端末装置とデータ通信し、原稿画像の画像データを端末装置から受信したり、ファイル作成部10により作成されたファイルを所定のプロトコルで端末装置へ送信したりする。
システム制御部12は、画像読取装置1、画像入力部2、画像処理部3、OCR処理部4、表示部5、操作部6、印刷制御部7、印刷装置8、状態記憶部9、ファイル作成部10、およびデータ通信部11を制御して各種ジョブを実行する。
なお、上述の画像入力部2、画像処理部3、OCR処理部4、印刷制御部7、ファイル作成部10、およびシステム制御部12は、所定のプログラムを実行するコンピューター、ASIC(Application Specific Integrated Circuit)などで実現される。
次に、上記画像処理装置の動作について説明する。図2は、図1に示す画像処理装置の動作を説明するフローチャートである。
システム制御部12は、データ通信部11を介して外部の端末装置から、または操作部6からユーザーによる所定のジョブ(例えば、スキャントゥセンド)の実行指示を受け付けると、そのジョブの一部として以下の処理を各部に実行させる。
この実施の形態における画像処理装置では、OCR処理の設定として、「手動(文字認識精度優先)」、「手動(文字認識速度優先)」、および「自動」の3つがある。「手動(文字認識精度優先)」の場合、データサイズの比較的大きい文字認識用画像データが使用され、OCR処理時間は長くなる。「手動(文字認識速度優先)」の場合、データサイズの比較的小さい文字認識用画像データが使用され、OCR処理時間は短くなる。「自動」の場合、以下のようにOCR処理が実行される。
まず、画像処理部3は、原稿の第1ページの画像データから、デフォルトの画質設定で第1ページの文字認識用画像データを生成し、OCR処理部4は、生成された文字認識用画像データに対してOCR処理を実行する(ステップS1)。
なお、デフォルトの画質設定は、上述の「手動(文字認識精度優先)」の場合の画質設定と同一であり、例えば、256階調カラー、600dpi、およびフィルター設定すべてオフとされる。
画像処理部3は、OCR処理部4による第1ページについてのOCR処理の処理時間を計測し(ステップS1)、処理時間が所定の閾値以上であるか否かを判定する(ステップS2)。
処理時間が所定の閾値以上ではない場合、画像処理部3は、ステップS1でOCR処理されたページが最終ページであるか否か(つまり、後続のページが存在するか否か)を判定する(ステップS3)。
画像処理部3は、ステップS1でOCR処理されたページが最終ページではない場合、次のページに対して、デフォルト画質設定で、次の文字認識用画像データを生成し、OCR処理部4は、生成された文字認識用画像データに対してOCR処理を実行する(ステップS1)。そして、画像処理部3は、OCR処理部4によるそのページについてのOCR処理の処理時間を計測し(ステップS1)、処理時間が所定の閾値以上であるか否かを判定する(ステップS2)。
このようにして、1ページ分のOCR処理の処理時間が所定の閾値以上とならなければ、各ページの文字認識用画像データがデフォルト画質設定で生成され、OCR処理される。
一方、あるページについてのOCR処理の処理時間が所定の閾値以上となった場合、画像処理部3は、次ページの文字認識用画像データについての画質設定を、OCR処理時間が短くなるようにデフォルト画質設定とは異なる画質設定とする。
具体的には、画像処理部3は、ユーザーによってジョブ実行指示において原稿種別が文字原稿に設定されているか否かを判定し(ステップS4)、原稿種別が文字原稿に設定されている場合、次ページのカラー設定をモノクロとする(ステップS5)。なお、次ページのカラー設定をモノクロとする場合、次ページの階調数設定を、上述のあるページの階調数設定から変更しないようにしてもよいし、上述の処理時間に応じて階調数を設定するようにしてもよい。例えば、上述の処理時間が所定の閾値以上である場合、階調数設定を変更せず、上述の処理時間が所定の閾値未満の場合、階調数設定を2(つまりモノクロ2値)とするようにしてもよい。
一方、原稿種別が文字原稿に設定されていない場合には、画像処理部3は、ユーザーによってジョブ実行指示において設定された原稿サイズ(あるいは、画像読取装置1で自動検出された原稿サイズ)が所定サイズ(ここでは、A4)を超えているか否かを判定する(ステップS6)。
原稿サイズが所定サイズを超えている場合、画像処理部3は、次ページの解像度設定を、デフォルト解像度(デフォルト画質設定における解像度設定の値)より低い所定の解像度(例えば、デフォルト解像度の半分)とする(ステップS7)。
また、原稿サイズが所定サイズを超えていない場合には、画像処理部3は、次ページのフィルター設定において、文字認識用画像データ内の所定濃度以下の濃度値を所定の最低濃度に変換する処理のオン/オフ設定、および文字認識用画像データ内の所定濃度以上の濃度値を所定の最高濃度に変換する処理のオン/オフ設定のうちの少なくとも1つ(ここでは、両方)をオンに設定する(ステップS8)。
このようにして、次ページの文字認識用画像データについての画質設定を決定した後、画像処理部3は、決定した画質設定で次ページの文字認識用画像データを生成し、OCR処理部4は、その文字認識用画像データに対してOCR処理を実行する(ステップS9)。さらに、その後、最終ページまで、画像処理部3およびOCR処理部4は、同一の画質設定で、後続のページの文字認識用画像データを順番に生成し、その文字認識用画像データに対してOCR処理を実行する。
以上のように、上記実施の形態によれば、画像処理部3は、原稿画像の1ページごとに文字認識用画像データを生成し、OCR処理部4は、画像処理部3により生成された文字認識用画像データに対してOCR処理を行う。そして、画像処理部3は、(a)ある画質設定であるページの文字認識用画像データを生成し、(b)あるページの文字認識用画像データに対するOCR処理の処理時間に基づいて、あるページの画質設定とは異なる画質設定で次ページの文字認識用画像データを生成するか否かを判定し、(c)あるページの画質設定とは異なる画質設定で次ページの文字認識用画像データを生成すると判定した場合、あるページの原稿種別および原稿サイズの少なくとも一方に基づいて次ページの画質設定を特定し、特定した画質設定で次ページの文字認識用画像データを生成する。
これにより、1ページのOCR処理時間が長い場合、次ページの文字認識用画像データの画質設定を原稿種別および原稿サイズに応じて変更することで、文字認識率が低下しないようにしつつ短時間でOCR処理が行われる。
なお、上述の実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。
例えば、上記実施の形態において、ステップS9において、画像処理部3およびOCR処理部4は、画質設定の変更後、所定のページ数の後続ページについて、文字認識用画像データの生成およびOCR処理を実行した後、画質設定をデフォルト画質設定に戻し、ステップS1から、文字認識用画像データの生成およびOCR処理を継続するようにしてもよい。
本発明は、例えば、スキャナー、複合機などの画像形成装置に適用可能である。
3 画像処理部
4 OCR処理部(文字認識処理部の一例)

Claims (2)

  1. 原稿画像の1ページごとに文字認識用画像データを生成する画像処理部と、
    前記画像処理部により生成された前記文字認識用画像データに対して文字認識処理を行う文字認識処理部とを備え、
    前記画像処理部は、(a)ある画質設定であるページの文字認識用画像データを生成し、(b)前記あるページの文字認識用画像データに対する前記文字認識処理の処理時間に基づいて、前記あるページの画質設定とは異なる画質設定で次ページの文字認識用画像データを生成するか否かを判定し、(c)前記あるページの画質設定とは異なる画質設定で次ページの文字認識用画像データを生成すると判定した場合、前記あるページの原稿種別および原稿サイズの少なくとも一方に基づいて前記次ページの画質設定を特定し、特定した前記画質設定で前記次ページの文字認識用画像データを生成し、
    前記画質設定は、カラー設定、階調数設定、解像度設定、およびフィルター設定の少なくとも1つを含み、
    前記フィルター設定は、前記文字認識用画像データ内の所定濃度以下の濃度値を所定の最低濃度に変換する処理のオン/オフ設定、および前記文字認識用画像データ内の所定濃度以上の濃度値を所定の最高濃度に変換する処理のオン/オフ設定の少なくとも1つを含み、
    前記画像処理部は、前記あるページのカラー設定および解像度設定をカラーおよびデフォルト解像度として前記あるページの文字認識用画像データを生成し、前記あるページの文字認識用画像データに対する前記文字認識処理の処理時間が所定閾値以上である場合、前記あるページの原稿種別が文字原稿に設定されているときには、前記次ページのカラー設定をモノクロとし、前記あるページの原稿種別が文字原稿に設定されていないときには、前記あるページの原稿サイズが所定サイズを超えていれば、前記次ページの解像度設定を、前記デフォルト解像度より低い所定の解像度とすること、
    を特徴とする画像処理装置。
  2. 前記画像処理部は、前記あるページの文字認識用画像データに対する前記文字認識処理の処理時間が所定閾値以上である場合、前記あるページの原稿種別が文字原稿に設定されておらず、かつ、前記あるページの原稿サイズが所定サイズを超えていないときには、前記次ページのフィルター設定において、前記文字認識用画像データ内の所定濃度以下の濃度値を所定の最低濃度に変換する処理のオン/オフ設定、および前記文字認識用画像データ内の所定濃度以上の濃度値を所定の最高濃度に変換する処理のオン/オフ設定のうちの少なくとも1つをオンに設定することを特徴とする請求項記載の画像処理装置。
JP2014109397A 2014-05-27 2014-05-27 画像処理装置 Expired - Fee Related JP5992956B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014109397A JP5992956B2 (ja) 2014-05-27 2014-05-27 画像処理装置
US14/715,082 US9449223B2 (en) 2014-05-27 2015-05-18 Image processing device and image forming apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014109397A JP5992956B2 (ja) 2014-05-27 2014-05-27 画像処理装置

Publications (2)

Publication Number Publication Date
JP2015225459A JP2015225459A (ja) 2015-12-14
JP5992956B2 true JP5992956B2 (ja) 2016-09-14

Family

ID=54702155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014109397A Expired - Fee Related JP5992956B2 (ja) 2014-05-27 2014-05-27 画像処理装置

Country Status (2)

Country Link
US (1) US9449223B2 (ja)
JP (1) JP5992956B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022128202A (ja) * 2021-02-22 2022-09-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム、及び情報処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114918A (ja) 1995-10-18 1997-05-02 Oki Electric Ind Co Ltd 光学式文字読取装置
JP3545624B2 (ja) * 1999-01-08 2004-07-21 日本電信電話株式会社 画像認識システム性向上方法、装置、および画像認識システム性能向上プログラムを記録した記録媒体
JP2007166287A (ja) * 2005-12-14 2007-06-28 Fuji Xerox Co Ltd 画像処理装置、および画像処理方法
JP5066977B2 (ja) * 2007-03-29 2012-11-07 富士ゼロックス株式会社 画像処理装置、画像形成装置、及びプログラム
JP4772888B2 (ja) * 2009-03-27 2011-09-14 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体
JP2012073749A (ja) * 2010-09-28 2012-04-12 Kyocera Mita Corp 画像形成装置及び画像形成プログラム
US8619340B2 (en) * 2010-10-29 2013-12-31 Xerox Corporation Augmenting page orientation direction detection in a digital document processing environment
JP2013161268A (ja) * 2012-02-06 2013-08-19 Fuji Xerox Co Ltd 画像処理装置およびプログラム

Also Published As

Publication number Publication date
US9449223B2 (en) 2016-09-20
JP2015225459A (ja) 2015-12-14
US20150347834A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
US8995024B2 (en) Image processing apparatus, image processing method, and program
US11095794B2 (en) Information processing, method and storage medium for generating a gray image print data from color image data
JP4925933B2 (ja) 画像処理方法及び画像処理装置
JP5863001B2 (ja) 画像処理装置、画像形成装置およびプログラム
US20160086063A1 (en) Image forming device and method and non-transitory computer readable medium
US10528854B2 (en) Image forming apparatus performing print processing in color or black-and-white print modes by analyzing pixel information of image data generated when a print job is input
JP2015156204A (ja) プリンタドライバ、プリンタドライバ用印刷制御方法、プリンタドライバ用印刷制御プログラム、及び記録媒体
JP5992956B2 (ja) 画像処理装置
JP6087334B2 (ja) 画像処理装置及び画像形成装置
US10356276B2 (en) Image processing apparatus, image forming apparatus, and computer readable medium
JP2016107617A (ja) 画像形成装置、画像形成方法及び画像形成プログラム
JP2016115963A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008092167A (ja) データ処理装置
US11140299B2 (en) Image processing apparatus, image forming system, and non-transitory computer readable medium storing program
US10873672B2 (en) Image processing apparatus, method of controlling image processing apparatus, and storage medium
US8675246B2 (en) Image processing device and program
JP2010268138A (ja) 色調整装置、色調整方法、プログラム
JP5990217B2 (ja) 画像処理装置、画像形成装置、およびそれらの制御方法
JP6413450B2 (ja) 画像処理装置、画像形成装置およびプログラム
US12041213B2 (en) Image processing apparatus in which full color document images are printed in monochrome, image processing method, and storage medium
JP6292061B2 (ja) 情報処理装置およびプログラム
JP5595141B2 (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム
JP7457079B2 (ja) 画像形成装置、情報処理システム、情報処理プログラムおよび情報処理方法
JP2016220120A (ja) 画像形成装置、モノクロ印刷方法、及びプリンタドライバ
JP5675867B2 (ja) 画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160318

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160318

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160818

R150 Certificate of patent or registration of utility model

Ref document number: 5992956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees