JP5089308B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5089308B2
JP5089308B2 JP2007244104A JP2007244104A JP5089308B2 JP 5089308 B2 JP5089308 B2 JP 5089308B2 JP 2007244104 A JP2007244104 A JP 2007244104A JP 2007244104 A JP2007244104 A JP 2007244104A JP 5089308 B2 JP5089308 B2 JP 5089308B2
Authority
JP
Japan
Prior art keywords
character
image data
determined
image processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007244104A
Other languages
English (en)
Other versions
JP2009077146A (ja
JP2009077146A5 (ja
Inventor
直樹 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007244104A priority Critical patent/JP5089308B2/ja
Priority to US12/212,778 priority patent/US8175397B2/en
Publication of JP2009077146A publication Critical patent/JP2009077146A/ja
Publication of JP2009077146A5 publication Critical patent/JP2009077146A5/ja
Application granted granted Critical
Publication of JP5089308B2 publication Critical patent/JP5089308B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables

Description

本発明は、画像データから各種オブジェクトを分離し、分離されたオブジェクトに画像処理を行う画像処理装置に関する。
近年、デジタルカメラやイメージスキャナ等の普及により、写真画像のデジタル化を簡単に行えるようになった。特に、パーソナルコンピュータ(以下、PCという。)にデジタル化された写真画像を取り込み、画像ファイルとして保存し、アプリケーションプログラムを使ってその画像ファイルの加工と編集を行うことができるようになった。さらに、加工又は編集された写真画像の画像ファイルを文書や図面等の電子ドキュメントにレイアウトすることにより、写真画像が組み込まれた電子ドキュメントを作成できる。
また、SCAN/COPY/PRINT/FAX等の機能を有するデジタル複合機とPCとをLANやインターネット等の通信ネットワークを介して接続することができる。これによって、PCは、デジタルカメラで撮影した写真画像が組み込まれた文書や図面等の電子ドキュメントをデジタル複合機に送信することができ、デジタル復号機は、受け取った電子ドキュメントを印刷出力することができる。
一方、画像データを複数のオブジェクト分解し、各オブジェクトに対して画像処理・符号化処理を行うことによって、画質を維持しつつ画像データを高圧縮する画像処理システムも知られている。また、特許文献1には、画像データから文字オブジェクトを抽出し、文字オブジェクトの輪郭を抽出し、ユーザが指定した変倍指定に応じて、抽出した輪郭を平滑化するかしないかの処理を切り替えることで画像歪みを抑える手法が開示されている。
特開平5−211607号公報
上述した従来技術は、画像データから文字オブジェクトを抽出した後に、抽出した文字オブジェクトの特質を考慮せずに、常に、輪郭抽出処理等のベクトルデータ(ベクトル画像)への変換処理を行うものである。一般的に輪郭抽出処理に要する時間は長いため、オブジェクトの特質を考慮せずにベクトルデータへの変換処理を行うことは、機器のパフォーマンスを低下させる要因になる。
そこで、本発明は、オブジェクトの特質に応じてベクトルデータへの変換処理を行うか否かを判定する画像処理装置を提供することを目的とする。
本発明の画像処理装置は、入力した原稿から取得した画像データを圧縮して、復号化した画像データに対してオブジェクトを分離する分離手段と、前記分離されたオブジェクトの種類を判定する第1の判定手段と、前記第1の判定手段で判定されたオブジェクトの種類が文字オブジェクトであると判定された場合、該文字オブジェクトのサイズを取得し、該取得された文字オブジェクトのサイズが閾値以上であれば、前記文字オブジェクトの画像データをベクトルデータに変換すると判定し、前記第1の判定手段により属性がグラフィックスまたは線画オブジェクトであると判定された場合、該グラフィックスまたは線画オブジェクトに設定されるジョブの種類を取得し、該取得されたグラフィックスまたは線画オブジェクトオブジェクトに設定されるジョブの種類が送信であれば、前記グラフィックスまたは線画オブジェクトの画像データをベクトルデータに変換すると判定する、第2の判定手段と、前記第1の判定手段で文字オブジェクトと判定されたオブジェクトのうち、前記第2の判定手段で文字オブジェクトのサイズが閾値以上であると判定されたオブジェクトをベクトルデータに変換し、前記閾値未満であるオブジェクトをベクトルデータに変換せず、前記第1の判定手段でグラフィックスまたは線画オブジェクトと判定されたオブジェクトのうち、設定されたジョブの種類が送信であると判定されたオブジェクトはベクトルデータに変換し、コピーであると判定されたオブジェクトはベクトルデータに変換しない、ベクトル変換手段とを備えることを特徴とする。
本発明の画像処理方法は、入力した原稿から取得した画像データを圧縮して、復号化した画像データに対してオブジェクトを分離する分離ステップと、前記分離されたオブジェクトの種類を判定する第1の判定ステップと、前記第1の判定ステップで判定されたオブジェクトの種類が文字オブジェクトであると判定された場合、該文字オブジェクトのサイズを取得し、該取得された文字オブジェクトのサイズが閾値以上であれば、前記文字オブジェクトの画像データをベクトルデータに変換すると判定し、前記第1の判定ステップにより属性がグラフィックスまたは線画オブジェクトであると判定された場合、該グラフィックスまたは線画オブジェクトに設定されるジョブの種類を取得し、該取得されたグラフィックスまたは線画オブジェクトオブジェクトに設定されるジョブの種類が送信であれば、前記グラフィックスまたは線画オブジェクトの画像データをベクトルデータに変換すると判定する、第2の判定ステップと、前記第1の判定ステップで文字オブジェクトと判定されたオブジェクトのうち、前記第2の判定ステップで文字オブジェクトのサイズが閾値以上であると判定されたオブジェクトをベクトルデータに変換し、前記閾値未満であるオブジェクトをベクトルデータに変換せず、前記第1の判定ステップでグラフィックスまたは線画オブジェクトと判定されたオブジェクトのうち、設定されたジョブの種類が送信であると判定されたオブジェクトはベクトルデータに変換し、コピーであると判定されたオブジェクトはベクトルデータに変換しない、ベクトル変換ステップとを備えることを特徴とする。
本発明によれば、画像データからオブジェクトを分離した後に、分離したオブジェクトの特質に応じて、ベクトルデータへの変換処理を行うか否かを判定するため、機器のパフォーマンスを上げることができる。
(実施例1)
本発明の実施例1を、図面を参照して説明する。
図1は、本発明の画像処理装置を用いた画像処理システムの構成例を示すブロック図である。
画像処理システムは、画像処理装置100、サーバ107、PC108を備える。画像処理装置は、例えば、SCAN/COPY/PRINT/FAXなどの機能を有するデジタル複合機に搭載される。
画像処理装置100は、スキャナ部101、コントローラ102、プリンタ部103、操作部104、メモリ105を備える。スキャナ部101は、原稿から画像データを読み込み、読み込んだ画像データをコントローラ102に出力する。コントローラ102は、画像処理装置100全体を統括的に制御する。また、コントローラ102は、スキャナ部101から画像データを受け取り、受け取ったが像データをメモリ105に格納する。操作部104は、ユーザインタフェースを提供し、ユーザから印刷に関する各種指示を受け付ける。例えば、操作部104は、ユーザからの指示にしたがい、画像データの印刷条件を設定する。プリンタ部103は、ユーザが操作部104を介して設定した印刷条件に従い画像形成を行い、形成された画像を用紙に印刷する。画像処理装置100は、LAN等のネットワーク106により、画像データを管理するサーバ107と、画像処理装置100に対して印刷指示を行うPC108とに接続される。
図2は、画像処理装置100が有する各種機能を示すブロック図である。
スキャナ画像処理部202は、操作部104が設定した印刷条件に従い、スキャナ部101から受け取った画像データに対して色補正処理等の画像処理を行い、画像処理後の画像データを画像圧縮符号化部203に出力する。
画像圧縮符号化部203は、スキャナ画像処理部202から受け取った画像データをJPEG等の公知の圧縮伸張技術を用いて圧縮符号化する。
画像データ記憶部204は、圧縮符号化された画像データを記憶する。
画像伸張復号化部205は、画像データ204に記憶された画像データを読み出し、JPEG等の公知の圧縮伸張技術を用いて復号化する。
印刷用画像処理部206は、画像伸張復号化部205又は後述するフォーマット変換部214から受け取った画像データに対して印刷出力用の画像処理を行い、プリンタ部106に出力する。
復号した画像データをそのまま印刷する場合、画像伸張復号部205は、復号された画像データを印刷用画像処理部206に出力する。これに対して、復号された画像データに含まれるオブジェクトを分離する場合、画像伸張復号部205は、復号した画像データをオブジェクト分離部208に出力する。
オブジェクト分離部208は、受け取った画像データに含まれる文字、図、線、表等のオブジェクトを分離する。すなわち、オブジェクト分離部208は、画像データに含まれるオブジェクトの属性(文字、図形、線、表等の属性)を以下に述べる手法により判定し、判定した属性を各オブジェクトに付与する。
オブジェクト分離部208は、受け取った画像データを2値化処理し、2値化された画像データに含まれる黒画素からなる輪郭線を追跡することにより、当該輪郭線で囲まれるブロックを抽出する。また、面積の大きい黒画素からなるブロックについては、そのブロックの内部にある白画素からなる輪郭線を追跡することにより、当該輪郭線で囲まれるブロックを抽出する。さらに、白画素からなる輪郭線で囲まれるブロックが一定面積以上の場合には、そのブロックの内部にある黒画素からなる輪郭線を追跡することにより、当該輪郭線で囲まれるブロックを抽出する。このようにして、オブジェクト分離部208は、受け取った画像データから黒画素からなるブロックを抽出する。次いで、オブジェクト分離部208は、抽出した黒画素からなるブロックをその大きさ及び形状に基づき分類し、文字、図、線、表等のオブジェクトを分離する。例えば、抽出したブロックの縦横比が、ほぼ1であり、かつ、一定範囲内の大きさのブロックを文字相当のオブジェクトと判定し、文字相当のオブジェクトが近接して整列された部分を文字オブジェクトとして分離する。また、扁平な形状のブロックを線オブジェクトとして分離する。また、所定の大きさ以上のブロックで、かつ、整列された四角形の白画素からなるブロックを内含するオブジェクトを表オブジェクトとして分離する。また、不定形のブロックが散在しているオブジェクトを写真オブジェクトとして分類する。また、任意形状のブロックを図形オブジェクトとして分離する。図13は、オブジェクトを分離する前の画像データを示し、図14は、分離したオブジェクトを示す。図14からわかるように、図13に示す画像データに含まれる文字オブジェクト、線オブジェクト、写真オブジェクトが分離される。
輪郭抽出・関数近似部209は、オブジェクト分離部208から受け取った画像データをベクトルデータ(ベクトル画像)に変換する。すなわち、輪郭抽出・関数近似部209は、当該画像データの輪郭を抽出し、抽出した輪郭を直線や曲線で関数近似することにより、画像データをベクトルデータに変換する。ベクトルデータとは,座標データと数式の組み合わせによって直線や曲線を定義することで画像を表現したものである。
圧縮符号化部210は、オブジェクト分離部208が分離したオブジェクトを圧縮符号化する。例えば、オブジェクト分離部208が写真オブジェクトとして分離したオブジェクトをJPEG等の公知の圧縮伸張技術を用いて圧縮符号化する。
メタデータ作成部211は、輪郭検出・関数近似部209と圧縮符号化部210から受け取った各データの意味を示すメタデータをそれぞれ作成する。
メタデータ合成部212は、メタデータ作成部211から受け取った各メタデータを合成する。
データ合成部213は、輪郭検出・関数近似部209と圧縮符号部210から受け取った各データを合成する。
フォーマット変換部214は、メタデータ合成部212の出力とデータ合成部213の出力を合成して、PDFやXML等のフォーマットにフォーマット変換する。次いで、フォーマット変換部214は、フォーマット変換した画像データを印刷用画像処理部206に出力し又はネットワークを介してサーバ107等に送信する。
図3、図4は、画像処理装置100が行う処理の流れを示すフローチャートである。以下、図2に示す構成に基づいて画像処理装置100が行う処理の流れを説明する。
S301において、操作部104は、ユーザからの指示にしたがい、ジョブの種類や原稿モード等を設定する。ジョブの種類としては、コピー、送信、保存等がある。原稿モードとは、ユーザが入力する原稿の種別を選択するモードであって、例えば、文字モード、写真モード、文字/写真モード等のことである。
S302において、ユーザが操作部104上のスタートボタンを押すと、スキャナ部101は、原稿を読み取り、読み取った画像データをスキャナ画像処理部202に出力する。
S303において、スキャナ画像処理部202は、スキャナ部101から受け取った画像データに対して、色補正処理等の画像処理を施し、画像圧縮符号化部203に出力する。
S304において、画像圧縮符号化部203は、スキャナ画像処理部202から受け取った画像データを圧縮符号化し、画像データ記憶部204に出力する。圧縮符号化は、JPEG等の公知の圧縮伸張技術を用いて行われる。
S305において、画像データ記憶部204は、画像圧縮符号化部203から受け取った圧縮画像データを記憶する。例えば、画像データ記憶部204は、画像処理装置100の外部に存在する記憶装置、画像処理装置100に内蔵されたハードディスクである。
S306において、画像伸張復号化部205は、画像データ記憶部204から圧縮画像データを読み出し、それを復号化する。圧縮画像データの復号は、JPEG等の公知の圧縮伸張技術を用いて行われる。
S307において、コントローラ102は、S301で設定された原稿モードに応じて、復号化された画像データに対して行う処理を切り替える。すなわち、原稿モードが写真モードの場合にはS322の処理に進み、文字写真モード又は文字モードの場合にはS308の処理に進む。
原稿モードが写真モードの場合には、画像処理装置100は、以下の処理を行う。
S322において、コントローラ102は、ジョブの種類がコピーである場合であって変倍処理が必要かどうかを判定し、変倍処理が必要である場合には、S323において、変倍処理を行い、変倍された画像データを印刷用画像処理部206に出力する。変倍処理には、周知の手法を用いることができる。
S325において、印刷用画像処理部206は、受け取った画像データに対して印刷用の画像処理を行い、プリンタ部106に出力する。印刷用の画像処理とは、例えば、周知の色補正処理等のことである。
S326において、プリンタ部106は、印刷用の画像処理が施された画像データを受け取り、印刷出力する。
原稿モードが文字写真モード又は文字モードの場合には、以下の処理を行う。
S308において、オブジェクト分離部208は、画像伸張復号化部205から受け取った画像データから文字、図、線、表等のオブジェクトを分離する。オブジェクトの分離を行うにあたり、オブジェクト分離部208は、操作部104で設定された原稿モードに応じて、オブジェクトの種類を判定する基準を変更する。例えば、原稿モードが文字モードの場合には、オブジェクト分離部208は、オブジェクトが文字オブジェクトと判定されやすいような基準にする。一方、文字/写真モードの場合には、オブジェクト分離部208は、オブジェクトを文字オブジェクトと判定する基準を上げて、文字だけをより確実に文字オブジェクトと判定するようにする。クリップアートオブジェクト又はグラフィック・線画オブジェクトの判定においても、原稿モードに応じて、オブジェクトの判定基準を変更する。
図9は、原稿モードと、文字オブジェクトの判定基準の関係を示した図である。図9で示す関係は、一例であって、原稿モードと、文字オブジェクトの判定基準の関係は任意に設定可能である。
図9によると、原稿モードが文字モードの場合には、文字オブジェクトの判定基準が低いため、オブジェクトが文字オブジェクトと判定される割合が高くなる。これに対して、原稿モードが写真モードの場合には、文字オブジェクトの判定基準が高いため、オブジェクトが文字オブジェクトと判定される割合が低くなる。
S311において、オブジェクト分離部208は、文字オブジェクトと判定されたオブジェクトが実際に文字かどうかの判定を更に行なう。当該オブジェクトが文字の場合には、S314の処理に進み、文字でない場合には、S320の処理に進む。
S314において、コントローラ102は、ベクトルデータに変換する文字の大きさを設定する。
図10は、文字の大きさと、当該文字の画像データをベクトルデータに変換するか否(ベクトル化処理のON/OF)の関係を表すテーブルである。テーブルには、文字の大きさ(ポイント数)が10〜30の場合には、文字の画像データをベクトルデータに変換し、文字の大きさが5又は40〜70の場合には、文字の画像データをベクトルデータに変換しないという条件が登録されている。
S317において、コントローラ102は、上記テーブルを参照することによって、文字の画像データをベクトルデータに変換するか否かを判定する。コントローラ102は、文字の画像データをベクトルデータに変換すると判定した場合にはS318の処理に進み、文字の画像データをベクトルデータに変換しないと判定した場合にはS320の処理に進む。
S318において、輪郭抽出・関数近似部209は、文字の輪郭データを抽出する。
S319において、輪郭抽出・関数近似部209は、抽出した文字の輪郭データを直線や曲線で関数近似する。関数近似は、周知の手法を用いて行うことができる。
S320において、コントローラ102は、関数近似した文字の輪郭データの変倍が必要か否かの判定を行ない、変倍が必要と判定した場合には、S321の処理に進み、変倍が必要でないと判定した場合には、S324の処理に進む。
S321において、コントローラ102は、関数近似した文字の輪郭データを変倍する。
S324において、コントローラ102は、関数近似した文字の輪郭データをビットマップデータに変換(ラスタライズ)する。
ラスタライズされた文字の輪郭データは、前述したメタデータ作成部211、メタデータ合成部212、データ合成部213、フォーマット変換部214で所定の処理が行われた後に、画像データとしてプリンタ画像処理部325に出力される。
S325において、プリンタ画像処理部325は、受け取った画像データに印刷用の画像処理を行う。
S326において、プリンタ部106は、印刷用の画像処理が施された画像データを受け取り、印刷出力する。
S312において、コントローラ102は、グラフィックス・線画と判定されたオブジェクトがどのような画像であるかを判定する。本例では、コントローラ102は、当該オブジェクトが有彩色か無彩色かを判定し、S315の処理に進む。
S315において、コントローラ102は、S312での判定結果(有彩色又は無彩色)と、ジョブの種類に応じて、グラフィックス・線画の画像データをベクトルデータに変換するか否かを判定する。例えば、ジョブの種類がコピーでオブジェクトが有彩色の場合には、当該画像データをベクトルデータに変換しないと判定する。また、ジョブの種類がコピーで、オブジェクトが無彩色の場合は、当該画像データをベクトルデータに変換すると判定する。また、ジョブの種類が送信である場合には、有彩色か無彩色かに関わらず当該画像データをベクトルデータに変換すると判定する。
S313において、コントローラ102は、クリップアートと判定されたオブジェクトがどのような画像であるかを判定する。本例では、コントローラ102は、当該オブジェクト内の色数を判定し、S316の処理に進む。
S316において、コントローラ102は、S313での判定結果(色数)と、ジョブの種類とに応じて、クリップアートの画像データをベクトルデータに変換するか否かを判定する。例えば、ジョブの種類がコピーであって色数が64の場合は、当該画像データをベクトルデータに変換しないと判定する。また、ジョブの種類が送信で色数が64の場合に、当該画像データをベクトルデータに変換すると判定する。
S315又はS316においてベクトルデータに変換すると判定されたオブジェクトに対しては、コントローラ102は、前述したS318〜S326の処理を行う。これに対して、ベクトルデータに変換しないと判定されたオブジェクトに対しては、コントローラ102は、S320〜S326の処理を行う。
S317においてベクトルデータに変換しないと判定されたオブジェクトに対しては、コントローラは、S320〜S326の処理を行う。
(実施例2)
本発明の実施例2を、図面を参照して説明する。
実施例2における画像処理システムの構成及び画像処理装置の構成は、実施例1の構成と同じである。
図5、図6は、画像処理装置100による処理の流れを示すフローチャートである。以下、図2に示す画像処理装置の構成を参照して、画像処理装置100の処理の流れを説明する。
S401において、操作部104は、ユーザからの指示にしたがい、ジョブの種類、原稿モード、変倍率等を設定する。ジョブの種類としては、コピー、送信、保存等がある。原稿モードとは、ユーザが入力する原稿の種別を選択するモードであって、例えば、文字モード、写真モード、文字/写真モード等のことである。
S402において、ユーザが操作部104上のスタートボタンを押すと、スキャナ部101は、原稿を読み取り、読み取った画像データをスキャナ画像処理部202に出力する。
S403において、スキャナ画像処理部202は、スキャナ部101から受け取った画像データに対して、色補正処理等の画像処理を施し、画像圧縮符号化部203に出力する。
S404において、画像圧縮符号化部203は、スキャナ画像処理部202から受け取った画像データを圧縮符号化し、画像データ記憶部204に出力する。圧縮符号化は、JPEG等の公知の圧縮伸張技術を用いて行われる。
S405において、画像データ記憶部204は、画像圧縮符号化部203から受け取った圧縮画像データを記憶する。例えば、画像データ記憶部204は、画像処理装置100の外部に存在する記憶装置、画像処理装置100に内蔵されたハードディスクである。
S406において、画像伸張復号化部205は、画像データ記憶部204から圧縮画像データを読み出し、それを復号化する。圧縮画像データの復号は、JPEG等の公知の圧縮伸張技術を用いて行われる。
S407において、コントローラ102は、S401で設定された原稿モードに応じて、復号された画像データに対して行う処理を切り替える。すなわち、原稿モードが写真モードの場合にはS422の処理に進み、文字写真モード又は文字モードの場合にはS408の処理に進む。
原稿モードが写真モードの場合には、以下の処理を行う。
S422において、コントローラ102は、ジョブの種類がコピーである場合、S401で設定された変倍率に基づいて変倍処理を行うか否かを判定する。変倍処理を行うと判定した場合には、コントローラ102は、S423において変倍処理を行い、変倍された画像データを印刷用画像処理部206に出力する。変倍処理は、周知の手法を用いることができる。例えば、設定された変倍率が140%である場合に変倍処理を行うと判定する。
S425において、印刷用画像処理部206は、受け取った画像データに対して印刷用の画像処理を施し、プリンタ部106に出力する。印刷用の画像処理とは、例えば、周知の色補正処理等のことである。
S426において、プリンタ部106は、印刷用の画像処理が施された画像データを受け取り、印刷出力する。
原稿モードが文字写真モード又は文字モードの場合には、以下の処理を行う。
S408において、オブジェクト分離部208は、画像伸張復号部205から受け取った画像データから文字、図、線、表等のオブジェクトを分離する。オブジェクトの分離を行うにあたり、オブジェクト分離部208は、操作部104で設定された原稿モード及び変倍率に応じて、オブジェクトの種類を判定する基準を変更する。例えば、原稿モードが文字モードで、変倍率が200%である場合には、オブジェクトが文字オブジェクトと判定されやすいような基準にする。原稿モードが写真モードで、変倍率が200%である場合には、オブジェクトを文字オブジェクトと判定する基準を上げて、文字だけをより確実に文字オブジェクトと判定するようにする。クリップアートオブジェクト又はグラフィック・線画オブジェクトの判定においても、原稿モード及び変倍率の設定に応じて、オブジェクトの判定基準を変更する。
S411において、オブジェクト分離部208は、文字オブジェクトと判定されたオブジェクトが実際に文字かどうかの判定を更に行なう。当該オブジェクトが文字の場合には、S414の処理に進み、文字でない場合には、S421の処理に進む。
S414において、コントローラ102は、変倍率を設定する。
図11は、変倍率と、オブジェクトの画像データをベクトルデータに変換するか否(ベクトル化処理のON/OF)かの対応関係を表すテーブルである。テーブルには、変倍率(%)が25〜70及び141〜800の場合には、文字の画像データをベクトルデータに変換し、変倍率が81〜122の場合には、文字の画像データをベクトルデータに変換しないという条件が登録されている。
S417において、コントローラ102は、上記テーブルを参照することによって、文字の画像データをベクトルデータに変換するか否かを判定する。コントローラ102は、文字の画像データをベクトルデータに変換すると判定した場合にはS418の処理に進み、文字の画像データベクトルデータに変換しないと判定した場合にはS420の処理に進む。
S418において、輪郭抽出・関数近似部209は、文字の輪郭データを抽出する。
S419において、輪郭抽出・関数近似部209は、抽出した文字の輪郭データを直線や曲線で関数近似する。関数近似は、周知の手法を用いて行うことができる。
S420において、コントローラ102は、関数近似した文字の輪郭データの変倍が必要かどうかの判定を行ない、変倍が必要と判定した場合には、S421の処理に進み、変倍が必要でないと判定した場合には、S424の処理に進む。
S421において、コントローラ102は、関数近似した文字の輪郭データを変倍する。
S424において、コントローラ102は、関数近似した文字の輪郭データをビットマップデータに変換(ラスタライズ)する。
ラスタライズされた文字の輪郭データは、前述したメタデータ作成部211、メタデータ合成部212、データ合成部213、フォーマット変換部214で所定の処理が行われた後に、画像データとしてプリンタ画像処理部325に出力される。
S425において、プリンタ画像処理部325は、受け取った画像データに印刷用の画像処理を行う。
S426において、プリンタ部106は、印刷用の画像処理が施された画像データを受け取り、印刷出力する。
S412において、コントローラ102は、グラフィックス・線画と判定されたオブジェクトがどのような画像であるかを判定する。本例では、コントローラ102は、当該オブジェクトが有彩色か無彩色かを判定し、S415の処理に進む。
S415において、コントローラ102は、S412での判定結果(有彩色又は無彩色)と、ジョブの種類に応じて、グラフィックス・線画の画像データをベクトルデータに変換するか否かを判定する。例えば、ジョブの種類がコピーでオブジェクトが有彩色の場合は、当該画像データをベクトルデータに変換しないと判定する。また、ジョブの種類がコピーでオブジェクトが無彩色の場合は、当該画像データをベクトルデータに変換すると判定する。また、ジョブの種類が送信である場合には、有彩色か無彩色かに関わらず当該画像データをベクトルデータに変換すると判定する。
S413において、コントローラ102は、クリップアートと判定されたオブジェクトがどのような画像であるかを判定する。本例では、コントローラ102は、当該オブジェクトに含まれる色数を判定し、S416の処理に進む。
S416において、コントローラ102は、S413での判定結果(色数)と、ジョブの種類とに応じて、クリップアートの画像データをベクトルデータに変換するか否かを判定する。例えば、ジョブの種類がコピーであって、色数が64の場合は、当該画像データをベクトルデータに変換しないと判定する。また、ジョブの種類が送信で、色数が64の場合に、当該画像データをベクトルデータに変換すると判定する。
S415又はS416においてベクトルデータに変換すると判定されたオブジェクトに対しては、コントローラ102は、前述したS418〜S426の処理を行う。これに対して、ベクトルデータに変換すると判定されたオブジェクトに対しては、コントローラ102は、S420〜S426の処理を行う。
S417においてベクトルデータに変換しないと判定されたオブジェクトに対しては、S420〜S426の処理を行う。
(実施例3)
本発明の実施例3を、図面を参照して説明する。
実施例3における画像処理システムの構成及び画像処理装置の構成は、実施例1の構成と同じである。以下、図2に示す画像処理装置の構成を参照して、画像処理装置100の処理の流れを説明する。
図7、図8は、画像処理装置100による処理の流れを示すフローチャートである。以下、図2に示す画像処理装置の構成を参照して、画像処理装置100の処理の流れを説明する。
S501において、操作部104は、ユーザからの指示にしたがい、ジョブの種類、原稿モード、印刷部数等を設定する。ジョブの種類としては、コピー、送信、保存等がある。原稿モードとは、ユーザが入力する原稿の種別を選択するモードであって、例えば、文字モード、写真モード、文字/写真モード等のことである。
S502において、ユーザが操作部104上のスタートボタンを押すと、スキャナ部101は、原稿を読み取り、読み取った画像データをスキャナ画像処理部202に出力する。
S503において、スキャナ画像処理部202は、スキャナ部101から受け取った画像データに対して、色補正処理等の画像処理を施し、画像圧縮符号化部203に出力する。
S504において、画像圧縮符号化部203は、スキャナ画像処理部202から受け取った画像データを圧縮符号化し、画像データ記憶部204に出力する。圧縮符号化は、JPEG等の公知の圧縮伸張技術を用いて行われる。
S505において、画像データ記憶部204は、画像圧縮符号化部203から受け取った圧縮画像データを記憶する。例えば、画像データ記憶部204は、画像処理装置100の外部に存在する記憶装置、画像処理装置100に内蔵されたハードディスクである。
S506において、画像伸張復号化部205は、画像データ記憶部204から圧縮画像データを読み出し、それを復号化する。圧縮画像データの復号は、JPEG等の公知の圧縮伸張技術を用いて行われる。
S507において、コントローラ102は、S501で設定された原稿モードに応じて、復号された画像データに対して行う処理を切り替える。すなわち、原稿モードが写真モードの場合にはS522の処理に進み、文字写真モード又は文字モードの場合にはS508の処理に進む。
原稿モードが写真モードの場合には、以下の処理を行う。
S522において、コントローラ102は、ジョブの種類がコピーである場合、S501で設定された印刷部数に基づいて変倍処理を行うかどうかを判定する。コントローラ102は、変倍処理を行うと判定した場合には、S523において変倍処理を行い、変倍された画像データを印刷用画像処理部206に出力する。変倍処理は、周知の手法を用いることができる。例えば、設定された印刷部数が2部である場合に変倍処理を行うと判定する。
S525において、印刷用画像処理部206は、受け取った画像データに対して印刷用の画像処理を施し、プリンタ部106に出力する。印刷用の画像処理とは、例えば、周知の色補正処理等のことである。
S526において、プリンタ部106は、印刷用の画像処理が施された画像データを受け取り、印刷出力する。
原稿モードが文字写真モード又は文字モードの場合には、以下の処理を行う。
S508において、オブジェクト分離部208は、画像伸張復号部205から受け取った画像データから文字、図、線、表等のオブジェクトを分離する。オブジェクトの分離を行うにあたり、オブジェクト分離部208は、操作部104で設定された原稿モード及び印刷部数に応じて、オブジェクトの種類を判定する基準を変更する。例えば、原稿モードが文字モードで印刷部数が20部である場合には、オブジェクトが文字オブジェクトと判定されやすいような基準にする。原稿モードが文字/写真モードで印刷部数が20部である場合には、オブジェクトを文字オブジェクトと判定する基準を上げて、文字だけをより確実に文字オブジェクトと判定するようにする。クリップアートオブジェクト又はグラフィック・線画オブジェクトの判定においても、印刷部数の設定に応じて、オブジェクトの判定基準を変更する。
図12は、印刷部数と、文字オブジェクトの判定基準の関係を示した図である。図12で示す関係は、一例であって、印刷部数と、文字オブジェクトの判定基準の関係は任意に設定可能である。
図12によると、印刷部数が1部の場合には、文字オブジェクトと判定する基準が高くなるため、オブジェクトが文字と判定される割合が低くなる。これに対して、印刷部数が20部の場合には、文字オブジェクトと判定する基準が低いため、オブジェクトが文字オブジェクトと判定される割合が高くなる。
S511において、オブジェクト分離部208は、文字オブジェクトと判定されたオブジェクトが実際に文字かどうかの判定を更に行なう。当該オブジェクトが文字の場合には、S514の処理に進み、文字でない場合には、S520の処理に進む。
S514において、コントローラ102は、ベクトルデータに変換する文字の大きさを設定する。
S517において、コントローラ102は、図7に示すテーブルを参照することによって、文字の画像データをベクトルデータに変換する否かを判定する。コントローラ102は、当該画像データをベクトルデータに変換すると判定した場合にはS518の処理に進み、当該画像データをベクトルデータに変換しないと判定した場合にはS520の処理に進む。
S518において、輪郭抽出・関数近似部209は、文字の輪郭データを抽出する。
S519において、輪郭抽出・関数近似部209は、抽出した文字の輪郭データを直線や曲線で関数近似する。関数近似は、周知の手法を用いて行うことができる。
S520において、コントローラ102は、関数近似した文字の輪郭データの変倍が必要かどうかの判定を行ない、変倍が必要と判定した場合には、S521の処理に進み、変倍が必要でないと判定した場合には、S524の処理に進む。
S521において、コントローラ102は、関数近似した文字の輪郭データを変倍する。
S524において、コントローラ102は、関数近似した文字の輪郭データをビットマップデータに変換(ラスタライズ)する。
ラスタライズされた文字の輪郭データは、前述したメタデータ作成部211、メタデータ合成部212、データ合成部213、フォーマット変換部214で所定の処理が行われた後に、画像データとしてプリンタ画像処理部325に出力される。
S525において、プリンタ画像処理部325は、受け取った画像データに印刷用の画像処理を行う。
S526において、プリンタ部106は、印刷用の画像処理が施された画像データを受け取り、印刷出力する。
S512において、コントローラ102は、グラフィックス・線画と判定されたオブジェクトがどのような画像であるかを判定する。本例では、コントローラ102は、当該オブジェクトが有彩色か無彩色かを判定し、S515の処理に進む。
S515において、コントローラ102は、S512での判定結果(有彩色又は無彩色)と、ジョブの種類に応じて、グラフィックス・線画の画像データをベクトルデータに変換するか否かを判定する。例えば、ジョブの種類がコピーで、オブジェクトが有彩色の場合は、当該画像データをベクトルデータに変換しないと判定する。また、ジョブの種類がコピーで、オブジェクトが無彩色の場合は、当該画像データをベクトルデータに変換すると判定する。また、ジョブの種類が送信である場合には、有彩色か無彩色かに関わらず当該画像データをベクトルデータに変換すると判定する。
S513において、コントローラ102は、クリップアートと判定されたオブジェクトがどのような画像であるかを判定する。本例では、コントローラ102は、当該オブジェクトに含まれる色数を判定し、S516の処理に進む。
S516において、コントローラ102は、S513での判定結果(色数)と、ジョブの種類とに応じて、クリップアートの画像データをベクトルデータに変換するか否かを判定する。例えば、ジョブの種類がコピーであって、色数が64の場合は、当該画像データをベクトルデータに変換しないと判定する。また、ジョブの種類が送信で、色数が64の場合に、当該画像データをベクトルデータに変換すると判定する。
S515又はS516においてベクトルデータに変換するとオブジェクトに対しては、コントローラ102は、前述したS518〜S526の処理を行う。これに対して、ベクトルデータに変換すると判定されたオブジェクトに対しては、コントローラ102は、S520〜S526の処理を行う。
S517においてベクトルデータに変換しないと判定されたオブジェクトに対しては、S520〜S526の処理を行う。
(他の実施例)
本発明は、システム、装置、方法、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体の実施形態をとることができる。また、本発明は、複数の機器から構成されるシステム又は1つの装置に適用可能である。
本発明の実施形態には、記録媒体又はネットワークを介して、前述した本発明の機能を実現するコンピュータプログラムをシステム又は装置に供給し、そのシステム又は装置が備えるコンピュータがそのプログラムを実行することが含まれる。記録媒体はコンピュータ読み取り可能な記録媒体である。よって、実施例には、本発明の機能を実現するコンピュータプログラム自体も含まれる。コンピュータプログラムは、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等を含む。記録媒体は、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD等である。プログラムの供給方法としては、例えば、クライアントコンピュータのブラウザを用いてインターネットからハードディスク等の記録媒体にダウンロードする方法がある。この方法では、インターネットからコンピュータプログラムのファイル、又は、圧縮され自動インストール機能を含むファイルをダウンロードする。また、実施形態には、コンピュータプログラムを構成するプログラムコードを複数のファイルに分割し、各ファイルを異なるサーバからダウンロードすることが含まれる。また、実施形態には、コンピュータプログラムのファイルを複数のユーザに対してダウンロードさせるサーバも含まれる。
コンピュータが、コンピュータプログラムを実行することによって、前述した実施形態の機能が実現され得る。また、そのコンピュータプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても、前述した実施形態の機能が実現され得る。
記録媒体から読み出されたコンピュータプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後においても前述した実施形態の機能が実現され得る。すなわち、コンピュータプログラムの指示に基づき、機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。
本発明を適用可能な画像処理システムの構成を示す概略ブロック図である 本発明の画像処理装置の構成を示すブロック図である。 本発明の実施例1の処理内容を示すフローチャートである。 本発明の実施例1の処理内容を示すフローチャートである。 本発明の実施例2の処理内容を示すフローチャートである。 本発明の実施例2の処理内容を示すフローチャートである。 本発明の実施例3の処理内容を示すフローチャートである。 本発明の実施例3の処理内容を示すフローチャートである。 原稿モードと、文字オブジェクトの判定基準の関係を示した図である。 文字の大きさと、当該文字の画像データをベクトルデータに変換するか否の関係を表すテーブルを示す図である。 変倍率と、オブジェクトの画像データをベクトルデータに変換するか否かの対応関係を表すテーブルを示す図である。 印刷部数と、文字オブジェクトの判定基準の関係を示す図である。 オブジェクトに分離する前の画像データを示す図である。 オブジェクトに分離した後の画像データを示す図である。
符号の説明
100 画像処理装置
101 スキャナ部
102 コントローラ
103 プリンタ部
104 操作部
107 サーバ
108 PC

Claims (9)

  1. 入力した原稿から取得した画像データを圧縮して、復号化した画像データに対してオブジェクトを分離する分離手段と、
    前記分離されたオブジェクトの種類を判定する第1の判定手段と、
    前記第1の判定手段で判定されたオブジェクトの種類が文字オブジェクトであると判定された場合、該文字オブジェクトのサイズを取得し、該取得された文字オブジェクトのサイズが閾値以上であれば、前記文字オブジェクトの画像データをベクトルデータに変換すると判定し
    前記第1の判定手段により属性がグラフィックスまたは線画オブジェクトであると判定された場合、該グラフィックスまたは線画オブジェクトに設定されるジョブの種類を取得し、該取得されたグラフィックスまたは線画オブジェクトオブジェクトに設定されるジョブの種類が送信であれば、前記グラフィックスまたは線画オブジェクトの画像データをベクトルデータに変換すると判定する、第2の判定手段と、
    前記第1の判定手段で文字オブジェクトと判定されたオブジェクトのうち、前記第2の判定手段で文字オブジェクトのサイズが閾値以上であると判定されたオブジェクトをベクトルデータに変換し、前記閾値未満であるオブジェクトをベクトルデータに変換せず、
    前記第1の判定手段でグラフィックスまたは線画オブジェクトと判定されたオブジェクトのうち、設定されたジョブの種類が送信であると判定されたオブジェクトはベクトルデータに変換し、コピーであると判定されたオブジェクトはベクトルデータに変換しない、
    ベクトル変換手段と
    を備えることを特徴とする画像処理装置。
  2. 前記第1の判定手段でオブジェクトの種類を決定するための判定基準は、前記入力した原稿に指定される原稿モードであることを特徴とする請求項1に記載の画像処理装置。
  3. 前記原稿モードには、文字モード、写真モード及び文字/写真モードが含まれることを特徴とする請求項2記載の画像処理装置。
  4. 前記第1の判定手段でオブジェクトの種類を決定するための判定基準は、前記入力した原稿に指定される原稿モードに加えて、前記オブジェクトの変倍率又は前記オブジェクトを印刷する際の部数に関する情報も含まれることを特徴とする請求項2に記載の画像処理装置。
  5. 入力した原稿から取得した画像データを圧縮して、復号化した画像データに対してオブジェクトを分離する分離ステップと、
    前記分離されたオブジェクトの種類を判定する第1の判定ステップと、
    前記第1の判定ステップで判定されたオブジェクトの種類が文字オブジェクトであると判定された場合、該文字オブジェクトのサイズを取得し、該取得された文字オブジェクトのサイズが閾値以上であれば、前記文字オブジェクトの画像データをベクトルデータに変換すると判定し
    前記第1の判定ステップにより属性がグラフィックスまたは線画オブジェクトであると判定された場合、該グラフィックスまたは線画オブジェクトに設定されるジョブの種類を取得し、該取得されたグラフィックスまたは線画オブジェクトオブジェクトに設定されるジョブの種類が送信であれば、前記グラフィックスまたは線画オブジェクトの画像データをベクトルデータに変換すると判定する、第2の判定ステップと、
    前記第1の判定ステップで文字オブジェクトと判定されたオブジェクトのうち、前記第2の判定ステップで文字オブジェクトのサイズが閾値以上であると判定されたオブジェクトをベクトルデータに変換し、前記閾値未満であるオブジェクトをベクトルデータに変換せず、
    前記第1の判定ステップでグラフィックスまたは線画オブジェクトと判定されたオブジェクトのうち、設定されたジョブの種類が送信であると判定されたオブジェクトはベクトルデータに変換し、コピーであると判定されたオブジェクトはベクトルデータに変換しない、
    ベクトル変換ステップと
    を備えることを特徴とする画像処理方法。
  6. 前記第1の判定ステップでオブジェクトの種類を決定するための判定基準は、前記入力した原稿に指定される原稿モードであることを特徴とする請求項5に記載の画像処理方法。
  7. 前記原稿モードには、文字モード、写真モード及び文字/写真モードが含まれることを特徴とする請求項6記載の画像処理方法。
  8. 前記第1の判定ステップでオブジェクトの種類を決定するための判定基準は、前記入力した原稿に指定される原稿モードに加えて、前記オブジェクトの変倍率又は前記オブジェクトを印刷する際の部数に関する情報も含まれることを特徴とする請求項6に記載の画像処理方法。
  9. コンピュータに請求項6に記載の画像処理方法を実行させるためのプログラム。
JP2007244104A 2007-09-20 2007-09-20 画像処理装置 Expired - Fee Related JP5089308B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007244104A JP5089308B2 (ja) 2007-09-20 2007-09-20 画像処理装置
US12/212,778 US8175397B2 (en) 2007-09-20 2008-09-18 Device adaptively switching image processes in accordance with characteristic of object included in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007244104A JP5089308B2 (ja) 2007-09-20 2007-09-20 画像処理装置

Publications (3)

Publication Number Publication Date
JP2009077146A JP2009077146A (ja) 2009-04-09
JP2009077146A5 JP2009077146A5 (ja) 2010-11-04
JP5089308B2 true JP5089308B2 (ja) 2012-12-05

Family

ID=40472838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007244104A Expired - Fee Related JP5089308B2 (ja) 2007-09-20 2007-09-20 画像処理装置

Country Status (2)

Country Link
US (1) US8175397B2 (ja)
JP (1) JP5089308B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147583B2 (ja) * 2008-07-23 2013-02-20 キヤノン株式会社 画像処理装置及び方法
JP6176008B2 (ja) * 2013-09-09 2017-08-09 コニカミノルタ株式会社 画像読取装置、画像処理方法および画像処理プログラム
JP2015103919A (ja) * 2013-11-22 2015-06-04 キヤノン株式会社 情報処理装置、システム、方法およびプログラム
CN103942552B (zh) * 2014-02-11 2017-02-08 北京大学 一种基于骨架指导的文字图像矢量化方法及系统
CN107292936B (zh) * 2017-05-18 2020-08-11 湖南大学 一种汉字字体矢量化方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195147A (en) * 1989-05-02 1993-03-16 Ricoh Company, Ltd. Image forming apparatus
US5054098A (en) * 1990-05-21 1991-10-01 Eastman Kodak Company Method of detecting the skew angle of a printed business form
US5448692A (en) 1991-03-27 1995-09-05 Ricoh Company, Ltd. Digital image processing device involving processing of areas of image, based on respective contour line traces
JP3149221B2 (ja) * 1991-03-27 2001-03-26 株式会社リコー 画像処理装置
US6728404B1 (en) * 1991-09-12 2004-04-27 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
JPH05211607A (ja) 1992-01-31 1993-08-20 Canon Inc 画像処理装置及び方法
JP2918465B2 (ja) * 1994-11-14 1999-07-12 大日本スクリーン製造株式会社 画像処理方法
JP2004326616A (ja) * 2003-04-25 2004-11-18 Kyocera Mita Corp 画像処理装置制御データ作成プログラム及び記録媒体
JP4217575B2 (ja) * 2003-09-29 2009-02-04 キヤノン株式会社 画像処理装置、画像処理方法ならびにプログラム、記憶媒体
JP4266784B2 (ja) * 2003-11-14 2009-05-20 キヤノン株式会社 画像処理システム及び画像処理方法
JP4185858B2 (ja) * 2003-12-15 2008-11-26 キヤノン株式会社 画像処理装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
US20090083318A1 (en) 2009-03-26
JP2009077146A (ja) 2009-04-09
US8175397B2 (en) 2012-05-08

Similar Documents

Publication Publication Date Title
US8331671B2 (en) Image processing apparatus and image encoding method related to non-photo image regions
JP4960817B2 (ja) 画像処理装置、および画像処理方法
JP5137759B2 (ja) 画像処理装置
JP2007060619A (ja) 画像処理装置、画像圧縮方法、画像圧縮プログラム及び記録媒体
JP5089308B2 (ja) 画像処理装置
JP4579759B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP4416782B2 (ja) 画像処理装置、決定装置、変更装置、および画像処理方法
JP2008146110A (ja) 画像読取装置及びその制御方法、プログラム並びに記憶媒体
JP5178490B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
EP2040451B1 (en) Information processing apparatus and information processing method
JP4960796B2 (ja) 画像処理装置、画像処理方法ならびにそのプログラム及び記憶媒体
JP2008283586A (ja) 画像処理装置、画像処理装置の制御方法、プログラム、および記憶媒体
WO2003077534A1 (fr) Processeur d'image et dispositif d'impression d'image
JP3899872B2 (ja) 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
US8654404B2 (en) Image processing apparatus, image processing method and memory medium
JP2008124996A (ja) 画像処理装置、および画像処理方法
JP2009296218A (ja) 領域判別方法、画像圧縮方法、画像圧縮装置、およびコンピュータプログラム
JP2008148263A (ja) 画像形成装置及びその制御方法
JP4411244B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5979950B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP4548606B2 (ja) 画像処理装置および画像処理プログラム
JP2009147705A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6279025B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2006140970A (ja) 画像処理装置および画像入出力装置およびそれらの方法
JP2006082339A (ja) 画像印刷装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100921

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100921

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120705

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20120709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120911

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5089308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees