JP5573524B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP5573524B2
JP5573524B2 JP2010203555A JP2010203555A JP5573524B2 JP 5573524 B2 JP5573524 B2 JP 5573524B2 JP 2010203555 A JP2010203555 A JP 2010203555A JP 2010203555 A JP2010203555 A JP 2010203555A JP 5573524 B2 JP5573524 B2 JP 5573524B2
Authority
JP
Japan
Prior art keywords
image processing
processing
image data
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010203555A
Other languages
English (en)
Other versions
JP2012059143A (ja
Inventor
太郎 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2010203555A priority Critical patent/JP5573524B2/ja
Publication of JP2012059143A publication Critical patent/JP2012059143A/ja
Application granted granted Critical
Publication of JP5573524B2 publication Critical patent/JP5573524B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Color, Gradation (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Record Information Processing For Printing (AREA)

Description

本発明は、複数のDSPを用いて画像処理を並列に実行する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
画像はデータ量が膨大であり、また画像処理を高速かつリアルタイムで実行する必要があるため、通常、階調処理やガンマ変換などの画像処理を行うDSP(デジタル信号プロセッサ)を並列に実行させている。
例えば、高速に伸長処理する場合には、CMYKそれぞれの伸長回路を並列に実行させ、高速処理する必要がない場合は、1つの伸長回路を時分割処理する装置がある(特許文献1を参照)。
しかし、従来、複数のDSPで並列処理を実行する画像処理装置においては、DSPに入力される、編集処理の内容や画像種に関わらず、処理負荷の大きい、例えば高画質処理を実行しているため消費電力が大きくなるという問題がある。
また、ユーザーが環境に配慮して省エネや省電力となる集約コピー、縮小コピー、トナーセーブ処理などの処理を選択した場合は、処理内容を削減したり、あるいは軽減することが望ましいが、上記したDSPの並列処理では、処理内容を削減することなく処理を実行するため、消費電力を削減できないという問題もある。
本発明は、上記した課題に鑑みてなされたもので、
本発明の目的は、画像処理の内容に応じて、並列処理を実行するDSPの数と入力画像データとの接続パスを決定すると共に、DSPの数に応じて画像処理の内容を削減することにより、消費電力を削減した画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
本発明は、原稿の画像データに対して所定の画像処理を設定する設定手段と、複数の色版毎に前記画像データに対して前記所定の画像処理を並列に実行する複数の画像処理手段と、前記所定の画像処理に応じて前記並列に実行する前記画像処理手段の数を、前記色版数より少ない数に制御し、前記色版数より少ない数の前記画像処理手段に割り当てる色版の画像データを決定し、前記色版数より少ない数の前記画像処理手段に割り当てる色版の画像データもしくは画像処理内容を削減し、前記画像処理手段に複数の色版の画像データを割り当てることによって、少なくとも一個の画像処理手段を実行させない制御手段を備えたことを最も主要な特徴とする。
本発明によれば、ユーザーが選択した編集処理の内容に応じて並列処理を実行するDSPの数と入力画像データとの接続パスを決定し、また決定したDSPの数に応じて画像処理の内容を削減しているので、効果的に消費電力を削減することができる。
本発明に係るデジタル画像処理装置の全体構成を示す。 第1、第2の画像処理部の構成を示す。 実施例1の高画質化処理を説明する図である。 実施例1の集約処理(文字写真原稿)を説明する図である。 実施例1の集約処理(文字原稿)を説明する図である。 実施例2の写真原稿を説明する図である。 実施例2の色相分布の処理を説明する図である。 実施例3の加工処理を説明する図である。 実施例4の加工処理を説明する図である。 実施例5の操作表示装置の画面を示す。
以下、発明の実施の形態について図面により詳細に説明する。本発明は、DSPで画像処理を実行する際に、ユーザーが選択した編集処理の内容に応じて並列処理を実行するDSPの個数と入力画像データとの接続パスを決定し、決定したDSPの個数に応じて画像処理の内容を削減する。
以下に示す実施例は、デジタルカラー複写機をベースにFAX(ファクシミリ)機能、プリンタ機能、スキャナ機能、ドキュメントボックス機能などを複合したMFP(複合機)に本発明の画像処理装置を適用した例を示す。
図1は、本発明に係るデジタル画像処理装置(MFP)の全体構成を示す。MFPは、図1に示すように、読み取り装置101と、第1の画像処理部102と、バス制御装置103と、第2の画像処理部104と、HDD105と、CPU106と、メモリ107と、プロッタI/F装置108と、プロッタ装置109と、操作表示装置110と、回線I/F装置111と、外部I/F装置112と、S.B.113と、ROM114等を備えている。このMFPは、外部装置であるFAX115やPC116とデータ通信可能に接続されている。
読み取り装置101は、CCD光電変換素子からなるラインセンサとA/Dコンバータとそれら駆動回路を具備し、セットされた原稿をスキャンして得られる原稿の濃淡情報に基づいて、RGB各8ビットのデジタル画像データを生成して第1の画像処理部102に出力する。
第1の画像処理部102は、読取り装置101から入力されるデジタル画像データに対して、予め定めた特性に統一する処理を施して出力する。統一された特性の画像データは、画像処理装置の内部に蓄積され、その後再利用する場合に、出力先の変更に適した特性で出力される。その詳細は後述する。
バス制御装置103は、画像処理装置内で必要な画像データや制御コマンド等の各種データの送受信を行うデータバスの制御装置であり、複数種のバス規格間のブリッジ機能を有している。本実施例では、バス制御装置103は、第1の画像処理部102、第2の画像処理部104、CPU106とはPCI−Expressバスで接続し、また、HDD105とはATAバスで接続してASIC化されている。
第2の画像処理部104は、第1の画像処理部102で予め定めた特性を統一されたデジタル画像データに対し、ユーザーから指定される出力先に適した画像処理を施して出力する。その詳細は後述するが、複数のDSPで実施する。
HDD(蓄積装置)105は、電子データを保存するための大型の記憶装置であり、主にデジタル画像データを蓄積する。本実施例では、IDEを拡張して規格化されているATAバス接続のハードディスクを使用する。
CPU106は、画像処理装置を制御するマイクロプロセッサである。本実施例では、CPUコア単体に+αの機能を追加したIntegrated CPUを使用し、例えば、PMC社のRM11100で、汎用規格I/Fとの接続機能や、クロスバースイッチを使ったこれらバス接続機能がインテグレートされたCPUを使用する。
メモリ107は、複数種のバス規格間をブリッジする際の速度差や、接続された部品自体の処理速度差を吸収するために、一時的にデータを記憶し、CPU106が本画像処理装置の制御を行う際に、プログラムや中間処理データを一時的に記憶する揮発性メモリである。CPU106は、高速処理が求められるため、通常起動時にROM114に記憶されたブートプログラムによりシステムを起動し、その後は高速にアクセス可能なメモリ107に展開されたプログラムによって処理を行う。本実施例では、メモリ107としてDIMMを使用する。
プロッタI/F装置108は、CMYKのデジタル画像データを受け取ると、プロッタ装置109の専用I/Fに出力するバスブリッジ処理を行う。本実施例では、汎用規格I/FとしてPCI−Expressバスを使用する。
プロッタ装置109は、CMYKからなるデジタル画像データを受け取ると、レーザービームを用いた電子写真プロセスを使用して、転写紙に受け取った画像データを出力する。S.B.113は、チップセットのひとつで、South Bridgeと呼ばれる汎用の電子デバイスである。主にPCI−ExpressとISAブリッジを含むCPUシステムを構築する際に使用されるバスのブリッジ機能を汎用回路化したもので、ROM114との間をブリッジしている。ROM114は、CPU106がMFPの制御を行う際のプログラム(ブートプログラムを含む)が格納されるメモリである。
操作表示装置110は、MFPとユーザーのインターフェースを行う部分であり、LCD(液晶表示装置)とキースイッチから構成され、装置の各種状態や操作方法をLCDに表示し、ユーザーからのキースイッチ入力を検知する。本実施例では、PCI−Expressバスを介してCPU106と接続されている。回線I/F装置111は、PCI−Expressバスと電話回線を接続する装置であり、電話回線を介して各種データの送受信を行う。FAX115は、通常のファクシミリであり、電話回線を介してMFPと画像データの送受信を行う。外部I/F装置112は、PCI−Expressバスと外部装置を接続する装置であり、この装置により本画像処理装置(MFP)は外部装置と各種データのやり取りを行うことが可能になる。本実施例では、その接続I/Fにネットワーク(イーサネット(登録商標))を使用する。すなわち、MFPは、外部I/F装置112を介してネットワークに接続されている。PC116はパーソナルコンピュータであり、インストールされたアプリケーションソフトやドライバを介して、ユーザーは画像処理装置(MFP)に対して各種制御や画像データの入出力を行う。
まず基本となる通常のコピー動作処理を説明し、次いで、画像処理パスの切り替えについて説明する。
(コピー動作)
上記構成の画像処理装置のコピー動作の概略を説明する。ユーザーは読取り装置101に原稿をセットし、所望するモード等の設定とコピー開始の入力を操作表示装置110により行う。操作表示装置110は、ユーザーから入力された情報を、機器内部の制御コマンドデータに変換して発行する。発行された制御コマンドデータはCPU106に通知される。
CPU106はコピー開始の制御コマンドデータに従って、コピー動作プロセスのプログラムを実行し、コピー動作に必要な設定や動作を実行する。以下に動作プロセスを説明する。
S1.読取り装置101で原稿をスキャンして得られるRGB各8ビットのデジタル画像データは、第1の画像処理部102でスキャナに関する補正処理が行われ、CMYK画像データとして、バス制御装置103に送られる。
S2.バス制御装置103は、第1の画像処理部102からのCMYK画像データを受け取ると、CPU106を介してメモリ107に蓄積する。
S3.次に、メモリ107に蓄積されたCMYK画像データは、CPU106およびバス制御装置103を介して、第2の画像処理部104に送られる。
S4.第2の画像処理部104は、受け取ったCMYK画像データを、プロッタ出力用に階調処理を行って、プロッタ出力用のCMYKデータに変換し、プロッタI/F装置108を介して、プロッタ装置109に送られる。
S5.プロッタ装置109は、受け取ったCMYK画像データを転写紙に出力し、原稿のコピーが生成される。
図2(a)は、第1の画像処理部102の構成を示す。像域分離処理部201は、読み取り装置101から受け取ったRGB画像データを1画素ごとに文字か絵柄(網点)かなどを判定し、その判定結果を後述のフィルタ処理などで利用する。
地肌除去処理部202は、読み取り装置101から受け取ったRGB画像データの地肌部をラインごとに追従しながら算出し、適切な地肌値を除去する処理を行う。通常の白い紙の原稿だけでなく、新聞紙や色紙などの地肌を除去し、白い原稿として出力する効果もある。
γ変換部203は、読み取り装置101から受け取ったRGB画像データの明るさを画像データの種類に応じて変換する。標準的な原稿(文字写真原稿)では、明度リニアに近い特性に変換する。主に階調性の補正、グレーバランスの補正などを行う。
孤立点除去処理部204は、画像データ中の孤立点を検出し、それを削除する。
フィルタ処理部205は、像域分離処理201で得られる分離情報に応じて、RGB画像データの文字部に対して鮮鋭性を向上し、RGB画像データの絵柄部(網点部)に対して平滑処理を行い、滑らかな階調性を重視する処理を施す。
色変換部206は、RGB画像データの色を一旦予め定めた特性に変換する。本実施例では色空間がAdobe(登録商標)−RGBのような色空間になるように変換する。その後、3D−LUTなどの非線形変換法により、出力の形式にあった色空間に変換する。ここではコピー動作であるため、CMYK各8ビットに変換する。
変倍処理部207は、CMYK画像データのサイズ(解像度)をプロッタ装置109の再現性能に従ってサイズ(解像度)変換を行う。本実施例ではサイズ(解像度)を600dpiに変換した。
図2(b)は、第2の画像処理部104の構成を示す。エッジ抽出処理部301では、CMYK画像データより、エッジ部、絵柄部などを切り分ける。エッジ抽出は、1次微分フィルタや2次微分フィルタなどを用いて上下、左右、斜め方向の注目画素のエッジ量をそれぞれ算出して、その最大の値をエッジ量として求める。
γ変換処理部302では、CMYK画像データをプロッタの特性に合わせることで、なめらかな階調表現を出力可能とする。また、エッジ抽出処理で抽出したエッジ部・絵柄部に応じて、γ変換を切り替えてもよい。
階調処理部303では、CMYK各8ビットのデータをプロッタで再現可能なビット数に変換する。本実施例では、2ビットに変換する。通常の文字写真原稿での処理は、エッジ抽出処理部301のエッジ抽出結果により、文字と絵柄部の閾値を変化させながら、疑似中間調処理の誤差拡散処理を実施する。
また、トナーチリ抑制処理部304では、階調処理後のデータに対して、図2(c)に示すように、線の中央部よりも周縁部の画素値を低減する、トナーチリ抑制制御も実施される。
以上がコピー動作の処理である。
以下、本発明の画像処理パスの切り替えを説明する。
図3(a)は、最速ライン周期で高画質化処理を実行する第2の画像処理部104の構成(書き込み部)を示す。
前述したように、メモリ107にCMYKの画像データもしくは符号化された画像データが格納されていて、転写紙に印字するために、メモリ107→バス制御装置103→入力切替装置405→DSP(401〜404)→プロッタI/F装置108→プロッタ装置109の順番に画像データが送信される。すなわち、第2の画像処理部104は、入力切替装置405と複数個のDSP401〜404から構成されている。
DSP(401〜404)は、図2(b)のエッジ抽出処理部301〜階調処理部303の画像処理を主に実施するが、それぞれの処理は基本的に色版ごとに独立に処理する。つまり、他の色版に依存する処理が無い。そのため、1つのDSPが、書き込みのライン周期に対して、実行可能な版の数を1版当たりの処理時間より算出し、DSPの個数を決定する。図3(a)は、通常の原稿を最速のライン周期で高画質化処理を行う場合に、DSPを4個使用する例を示す。
図3(b)は、DSPの個数を見積もるための情報を示す。図3(b)において、ライン周期とは、書き込み装置によりポリゴンモーターが1/N回転することで、1ライン分のレーザービームが走査する時間であり、レーザーがセンサに触れることで書き込みI/F装置、第2の画像処理部104の入力切替装置401へライン同期信号が伝播される。DSPでは、その入力の同期信号間、言い換えるとライン周期間に、1ライン分の処理を完了させる必要がある。次に、主走査画像サイズは、DSPに入力される画素数を表し、最大コア周波数はDSPのコアのSTEP数に依存する。
本実施例のDSPは、画像処理に使用されるSIMD型のプロセッサ(複数のPEが一列に並び、1命令で複数画素を同時に実行可能なプロセッサ:空間並列処理)で、本実施例では、PE数を1000とする。
また、1000画素を一度に並列演算可能であるので、この1000画素という数値を1SIMD画素と呼ぶことにする。また、主走査の左端画素から1000個の画素の演算を1SIMD目の演算、次の1000個の画素の演算を2SIMD目演算のように「SIMD目」という用語を使用する。本実施例では、図3(b)に示すように、主走査画素が5000画素のため、1ライン中に1SIMD目処理、2SIMD目処理、3SIMD目処理、4SIMD目処理、5SIMD目処理の5つの処理が存在する。
図3(b)のように、ライン周期が100μSec、DSPのコア周波数が100MHzの場合を想定し、そこから1SIMD画素当たりでの命令ステップ数を算出すると、100×100÷5=2000step/SIMDとなる(厳密には、入力デバイスからの転送クロックやコアへの転送時間なども考慮する必要があるが、ここでは省略する)。
すなわち、1SIMD画素当たり2000step以内に処理が完了すれば、システム的に問題ない。ここで、図3(a)に示す画像処理システムにおけるstep数を、図3(c)に示す(高画質化処理の場合の1版当たりのSTEP数となる)。なお、本実施例で示すstep数は一例である。
図3(c)の処理内容は、搭載される画像処理として最も高画質化処理である。エッジ抽出処理では、9×9のマトリクスサイズからなる、1次微分の縦、横、右斜め、左斜めの4パターンを用いたマトリクス演算(注目画素とマトリクス係数との積和演算)を行い、二次微分でも同様の4パターン、計8パターンを用いたマトリクス演算を行い、エッジ量を求める。9×9のフィルタマトリクスであるため自由度が増し、複雑で高精度な演算が可能となる。
ガンマ変換処理は、CMYK8ビットの情報をそのまま8ビットの情報に変換するものであり、エッジ量に応じて、ガンマ変換のパラメータを変更することでエッジ、非エッジに対応した適切な処理を行うことが可能となる。
階調処理は、エッジ量や濃度などの特徴量に応じて閾値マトリクス(8×8)を切り替える4ビット出力の誤差拡散処理とする。エッジ量や濃度値に応じた閾値マトリクスの種類を6種類とする(4ビット出力であるため、閾値マトリクスは15個あり、6×15=90枚のマトリクスを保持する)。
図3(c)に示すように、最大の高画質化処理を行う場合、1版では2000STEPに納まるが、2版処理を行うと、1200×2=2400STEPとなり、2版ではライン周期の間に処理を完了できない。従って、図3(a)に示すように、DSP1個当たり1版の処理しか実行できず、4版処理するシステムのため、4個のDSPを使用する構成を採ることになる。
しかし、図3(a)の構成を採り、かつ図3(c)の高画質化処理を常に実行するため、ユーザーが選択した編集処理の内容に応じて効果的に消費電力を削減することができない。
そこで、前述したコピー動作を行う際に、ユーザーが操作表示装置110に設定した書誌情報を基に画像処理パスを切り替える。
(1)原稿種類が文字写真(画質モードとして文字写真を設定)であり、編集処理が4in1集約コピー(4枚の原稿を1枚の用紙にコピーする処理を4in1と表記)である実施例
図4(a)は、集約された文字写真原稿を処理する場合の実施例の構成を示す。
前述したコピー動作と相違する処理を説明する。
S1.集約処理のため、第1の画像処理部102は、変倍処理を行い、原稿画像を1/4の大きさにする。
S2.前述した処理と同様である。
S3.4ページ分の画像をメモリ107に蓄積し、CPU106が合成処理を行う。
S4.集約動作を行うことにより、入力切替処理装置405は、最高の高画質化処理を不要と判断し、メモリ107、バス制御装置103より入力されたCMYK画像データに対して、C、Mの2版を一つのDSP401に入力し、Y、Kの2版をもう一つのDSP403に入力するように、画像処理パスを切り替える。そして、処理を実行しない残り2つのDSP402、404の電源を落とす。これにより、図3(a)の構成と比べて大幅に電力を削減できる。
DSPはASICなどと異なり、コアでの処理内容を自由に変更可能であるため、文字写真原稿が選択された場合には、図4(b)のように処理内容を変更する(4in1の集約処理が施された文字写真原稿のSTEP数(1版当たり))。また、そのときのSTEP数を図4(b)に示す。
処理の削減は、入力される画像データとして、種々のデータ(文字、図、写真、地図など)があり、どの種類の画像データが入力しても、比較的画質の劣化が少なくなるよう、どの処理に対しても均等に削減する。
すなわち、エッジ処理は、9×9のマトリクス演算ではなく、7×7のマトリクス演算に変更することで、DSPの演算量が大幅に削減されるため、図4(b)のように、STEP数は500から300に減少する。この場合、特徴量を算出する自由度が低下するが、本来文字は小さく、高精度のエッジ抽出処理は不要である。
γ変換処理では、8ビット情報を6ビット情報に削減する。6ビットに削減する場合には、8ビットの上位6ビットでテーブルデータを参照することで実行し、下位2ビットを参照しないため、その分だけSTEP数が少なくなる。ただし、γ変換では入力画像の下位2ビット情報を使用しないが、出力画像は8ビットのままである(出力は常に8ビット共通にしないと余計な処理が増え、逆にSTEP数が削減できない場合がある)。これにより、階調性や色の再現性が多少低下するが、元々解像度が1/4であるため、階調性を1/4に下げても画質上、問題はない。
階調処理は、閾値プレーンの数を少なくし、4ビット出力を3ビット出力(実際のデータサイズは4ビットに合わせる)にすることで、600Stepが500Stepとなり、100Step減少する。γ変換処理と同様に、元々のサイズの1/4であるため、階調性をそれほど重視しなくても問題ない。
トナーチリ制御処理において、4in1などの集約原稿に対しては、ユーザーはトナーチリに配慮した高画質化を要求していないので、トナーチリ制御処理を削除する。
文字写真原稿の場合には、上記したように、全ての版で高画質化処理を削減することにより、1版当たり550STEP減の950STEPとなり、許容STEP数の2000に対して950STEP/版×2版=1900STEPとなり、一つのDSPが2版処理を実行することが可能となり、図4(a)に示す構成を採ることができる。
(2)原稿種類が文字原稿(画質モードとして文字を設定)であり、編集処理が4in1集約コピーである実施例
S1.〜S3.は、文字写真原稿の場合と同様である。
S4.文字写真原稿の場合と同様に、4in1処理を行うことで高画質化処理は不要であるが、文字写真原稿と異なるのは、文字原稿の場合は、画像データ中に文字しかない、もしくは文字が重要視されているため、文字に最適な処理を行い、それ以外の処理を省略する。
文字で最も重視されるのが、黒文字を鮮明に出力し、K版の先鋭性を高めることである。一方、CMY版は色の相違が再現できれば、色の再現性などは重視されないので、CMY版はそれほど高画質化処理を必要としない。文字写真原稿では、様々な種類の画像データがあるため、上記したような処理の削減はできない。
従って、K版の処理を削減させずに、その他のCMY版の処理を大幅に削減することで、図5(a)に示すように、入力切替装置405は、K版の画像データを一つのDSP401に入力し(すなわち、K版は変更しない)、C、M、Y版の画像データをもう一つのDSP404に入力するように画像処理パスを切り替える。残り二つのDSP402、403の電源を落とすことで、図3(a)の構成と比べて大幅に電力を削減できる。
前述したように、K版は最も重視される色版であるため、処理を削減しない。むしろ、文字原稿のときは、許容STEP数に余裕があれば、処理量を増やしても良い。一方、CMY版に関しては、文字原稿がさほど重視されないため、図4(b)の場合よりも1版当たりのSTEP数を削減した、図5(b)のようになる(4in1集約処理が施された文字原稿の場合のSTEP数(1版当たり))。
CMY版のエッジ抽出処理は、5×5のフィルタ処理とすることで、9×9のフィルタと比較すると、約1/3に演算処理量が削減され、500STEPが200STEPになり、300STEP減となる。CMY版のエッジ量は、文字原稿に大きな影響を与えないが、エッジ情報は文字原稿に重要であるので、8種類のフィルタ演算を行う。
γ変換処理は、8ビット情報を4ビット情報に変更することで200STEPが100STEPになり、100STEP減となる。文字原稿は、階調性や色再現性を重視しないので、ビット情報を大幅に削減しても問題ない。
階調処理は、γ変換処理と同様の理由で4ビット出力を2ビット出力(実際のデータサイズは4ビットに合わせる)に変更することで、600STEPが350STEPになり、250STEP減少する。
上記したようにCMY版の処理を変更すると、1版当たりのSTEP数の合計が650STEPとなり、許容STEP数2000にCMY版、3版分の処理が収まるため、図5(a)に示すようなDSPの接続構成となる。
以上のように、入力される原稿の種類や編集内容に応じて、画像処理の削減方法やDSPの接続構成(画像処理パス)が変更される。
本実施例では、集約処理を例にして説明したが、ユーザーが省エネ、省電力を重視している処理であれば、本発明は上記した集約処理に限定されず、例えば、縮小処理、低解像度処理、圧縮率大での処理、両面印刷、トナーセーブ処理、裏紙印刷、N色印刷(フルカラー印刷ではない)、地紋印刷処理などにも適用できる。
集約処理や縮小処理では、解像度が小さく、もしくは縮小された画像の場合、文字サイズが小さく、絵柄部の解像力が弱いため高画質処理を行っても高画質化への寄与が小さいため、その分、高画質処理を軽減し、消費電力を低減することで、ユーザーはより大きなメリットが得られる。トナーセーブ処理が施されている画像の場合、色再現性や階調性が低減し、高画質処理を行っても高画質化への寄与が小さいため、その分、高画質処理を軽減し、消費電力を低減することで、ユーザーはより大きなメリットが得られる。モノクロ印刷、2色印刷などの1色以上の指定色印字処理の場合、色再現性が大きく低減し、高画質処理を行っても高画質化への寄与が小さいため、その分、高画質処理を軽減し消費電力を低減することで、ユーザーはより大きなメリットが得られる。両面印刷などの場合、裏写りの影響などのため、色再現性や階調性などが低減し、高画質処理を行っても高画質化への寄与が小さいため、その分、高画質処理を軽減し、消費電力を低減することで、ユーザーはより大きなメリットが得られる。
また、集約印刷、トナーセーブ、指定色印字、両面印刷を行うユーザーは省エネをより重視する傾向が強いため、その省エネをより積極的に推進し、ユーザーの意図した処理を行うことが可能となる。
実施例2は、原稿種類が写真原稿(画質モードとして写真を設定)である場合の実施例である。図6(a)は、ある色相領域に色データが集中している画像例を示す。実施例2では、集中している色域の色版データを重点に処理を行い、それ以外の色版データの処理を低減することにより、電力を削減する。
実施例1の通常のコピー動作と相違する点を説明する。
S1.とS2.は実施例1と同様である。
S3.とS4.第2の画像処理部104に送信される前に、CPU106は、CMYKの色版情報を基に、画像データがどのような色相分布であるのかを調べる。
図6(b)に示すように、画素の分布がMとYの間に大きく偏っているため、CPU106は、M版とY版の処理を重視し、K版とC版の処理を低減する。従って、図7(a)または図4(a)に示すように入力切替装置405により、画像処理パスを切り替える。すなわち、図7(a)では、M版とY版の処理内容は変更せず、C版とK版のみ処理を軽減した場合であり、C版とK版を合わせて一つのDSP401で処理する。
M版とY版は、高画質化処理のまま処理を低減せずに、C版とK版のみ、図7(b)のように処理を低減する(K版C版の処理を低減した場合のSTEP数)。
写真原稿中には、エッジを重視する必要がないため、エッジ処理のフィルタ演算を5×5で、かつ一次微分のみを実施することで500STEPが100STEPになり、400STEP減少する。
γ変換処理、階調処理は、写真原稿で重要である階調性に関する処理であるので、基本的に処理内容を低減しない。
トナーチリ抑制処理は、基本的にエッジ部に効果的な処理であるため、写真原稿ではさほど重要でないため、トナーチリ抑制処理を削除することで100STEP削減となる。これにより、合計900STEPとなり、許容STEP数が2000のシステムでは、CK版の2色が1つのDSPで処理可能となる。
図4(a)では、M版とY版の処理を少し低減し、K版とC版の処理をそれよりも大きく低減することで、処理STEPが大きいM、Yの何れかと、処理STEPの小さいK、Cの何れかを組み合わせることで、図4(a)に示すように、2個のDSPで構成する。
図4(a)の場合は、M版とY版は、できるだけ写真画像に影響の少ないエッジ処理のマトリクスサイズの9×9を7×7に変更し、トナーチリ抑制処理を実施することで、1版当たりの処理が1100STEPとなる(図4(b)を参照)。
図7(b)のように、K版、C版は900STEPまで低減すれば、1100STEP+900STEP=2000STEPとなり、許容STEP数と丁度、同じになり、2個のDSPで実現できる。
なお、図6(b)の色相分布で、低彩度の画素の分布が多ければ、K版を重視して処理する。
実施例2では、画像データの色情報に応じて、DSPの画像処理パスを切り替えることで、図7(a)では、DSP1個分の消費電力が削減され、図4(a)では、DSP2個分の消費電力が削減される。
加工処理として、スタンプ合成、フォーマット合成などの合成処理がある。図8(a)は、通常の合成処理(フォーマット合成、スタンプ印字など)の場合の画像処理の構成を示す。
すなわち、予めMFPに登録している(HDD105に蓄積されている)画像データと読み取り装置101から入力した画像データを合成するための第2の画像処理部104の構成を示す。
まず、画像の登録処理は、前述したコピー動作のS1.S2.と同様の動作でメモリ107に蓄積する。その際に、操作表示装置110に、登録処理であることを設定しておく(蓄積する画像データをAとする。)
次いで、登録する画像データAと合成する画像データ(画像データBとする)を読み取り装置101にセットし、操作表示装置110より画像データAを選択して、合成処理用の設定を行い、その設定データが制御コマンドデータに変換され、CPU106に送信されると、CPU106は、HDD105に蓄積された画像データBをメモリ107に一旦展開し、その後、第2の画像処理部104の外付けMEM501に送信する。外付けMEM501は、DSPと1対1で接続されていて、DSPの画像バッファ(ここでは登録用の画像蓄積)や演算用のデータ保管用として使用する。なお、DSPが、前述した図2(b)の処理を全て実行し、階調処理後のデータが外付けMEM501に蓄積される。また、画像データAが外付けMEM501に送信されると同時に画像データBのコピー動作も開始される。
S1.S2.通常のコピー動作と同じ
S3.S4.入力切り替え装置405は、第2の画像処理部104に送られてきた画像データBのC、M版をDSP1(401)で実行し、Y、K版をDSP2(403)で実行するように切り替え、図2(b)の画像処理を全て実施する。K版のみ図2(b)の全ての画像処理を実施した後に、外付けMEM501に蓄積されている諧調処理後の画像データBと合成処理を行う。合成処理は、OR合成やAND合成などを行う。
上記した処理は、図3(c)と同じ処理であるため、STEP数が同じであり、許容STEP数を3500とする。また、合成処理は、DDR(SDRAM)のアクセス制御やデータの並び替え制御などにより500STEP必要とする。その場合、DSP1は1400×2=2800STEP(<3500)で、DSP2は1400+500+1400=3300STEP(<3500)となり、何れも図8(a)のように、一つのDSPが二版の処理が可能となる。なお、上記構成は、一版のみ合成処理を行う場合の構成である。
次に、文字原稿に、加工処理として、地紋画像を付加(合成)する実施例3を説明する。
図8(b)は、地紋合成を行う場合の実施例3の構成を示す。合成される画像データAが地紋データである場合、地紋データは文字部や絵柄部にも付加され、鮮鋭性や色再現性が著しく劣化するため、ユーザーは通常、高画質化処理を要求していない。
従って、実施例1と同様にCMY版を図5(a)のように削減することで、650STEP/版×3版=1950STEP(<3500STEP)となり、CMY版の処理をDSP1個で実行可能となる。
また、文字原稿に対して地紋合成を行う版はK版であるが、内部メモリを削減するために、図4(b)に示す程度まで処理を低減させる(地紋があると黒文字の鮮鋭性などが重視されない)。
ただし、DSP2(404)は、図8(a)に比べて、Y版の処理が無くなり、さらにK版もフィルタのサイズを小さく、閾値プレーンを減らすことにより、ラインバッファ量やテンポラリ領域、パラメータの格納領域が大幅に減少する。その減少した分の内部のメモリ容量を地紋合成処理に用いることで、外付けMEM501を使用することなく、内部メモリ502だけで地紋処理が実施可能となる。つまり、外付けMEM501を使用しないように、内部メモリ502を節約し、かつ画質を劣化させない画像処理を選択する。
DSP2(404)が外付けMEM501を使用する場合、内部メモリのみの使用に比べて、チップ外までアクセスしなければならず、外付けMEM501の方が、消費電力が大きい。従って、本実施例では、地紋原稿は元々高画質化処理を必要としていないので、高画質処理の一部機能を低下させ、その分、外付けMEMにアクセスしないことにより、消費電力を削減している。
本実施例は、CMYKデータに対する合成処理を例に説明したが、例えば、4色に加えて透明トナーを使用する、5色印刷にも適用できる。
すなわち、DSP1がCMYKデータを実行し、DSP2が透明トナーを実行するシステムにおいて、透明トナーを使用しない場合は、DSP1のみが処理を実行し、DSP2の電源を落とすことにより、消費電力を削減する。透明トナーを使用する際に、うろこ状やブロック状など様々な形態のデータを透明トナーで合成するが、そのような場合にはDSP2の外付けMEMを使用する。一方、地紋印刷を行う場合は、前述したようにユーザーは高画質を要求していないので、通常、高画質原稿用の透明トナーは使用されない。地紋印刷のみ、画像データパスを切り替え、CMYデータをDSP1で実行し、Kデータ(+地紋)をDSP2と外付けMEMで実行することで、消費電力が削減されるだけでなく、外付けMEMが地紋処理と透明トナー処理で共用され、コスト削減の効果も得られる。
実施例4は、文字写真原稿に対して、加工処理として集約処理を行い、加工処理で実施する処理の度合い(強度)に応じて画像処理パスを切り替える実施例である。
図9(a)は、実施例4の処理フローチャートを示す。まず、操作表示装置110において、ユーザーが加工処理を設定し(S10)、CPU106は、加工処理が集約処理であるか否かを判定し(S11)、集約処理でない場合は(S11でN)、省エネよりも画質を重視しているので、図3(a)のDSP4個を使用した第2の画像処理部104のシステムを構成し、図3(c)の最高画質の処理を実施する(S14)。
集約処理をする場合(S11でY)、CPU106は、その集約内容が2in1〜8in1内であるか否かを確認する(S12)。2in1〜8in1よりも大きい場合(S12でN)、すなわち16in1以降(基本Nin1のNは2のべき乗)では、DSP1個を使用した図9(b)のような第2の画像処理部104のシステムを構成し、図9(c)の処理内容を実施する(S15)。
すなわち、その処理内容を簡単に説明すると、エッジ抽出処理では、文字などが小さい(原画像の1/16以下)ので、エッジ抽出処理のマトリクスサイズを小さくしても画質による影響が少ない。また、階調処理では、SIMD演算に不適な誤差拡散処理ではなく、SIMD演算に適したディザ処理を実施する。誤差拡散処理の方が、解像力、鮮鋭性に優れているが、16in1以上の処理では、ユーザーが鮮鋭性を要求していないこと、原稿が写真原稿であることなどにより、ディザ処理でも画質上、問題はない。階調処理によりSTEP数を大幅の削減できるため、γ変換処理では処理内容を低減することなく実行し、高画質化を実現する。すなわち、DSPの苦手な処理を得意な処理へ変更することで、実行する処理STEP数を多くし、その分、他の処理を低減させないことにより、画質の劣化を抑制している。
集約処理が2in1〜8in1である場合は(S12でY)、S15の処理よりも画質がよく、S14の処理よりも消費電力が少ない処理にする必要がある。具体的には、DSPを2個使用した図4(a)のシステムを構成し、図4(b)の画像処理内容を実施する。
本実施例では、集約処理を例に説明したが、本発明はこれに限定されず、ユーザーが画質よりも省エネを重視する種々の加工処理や、解像度、縮小率の大小、トナーやインクセーブ率の大小、圧縮率や圧縮方法、ファイル形式、N色印刷などにも適用して、適宜、画像処理パスを切り替えるようにしてもよい。
上記した実施例1〜4は、画像処理装置がユーザーの省エネを検知した実施例である。
実施例5は、ユーザーが操作表示装置110に、省エネモードを設定する実施例である。操作表示装置110に、図10に示すような画面を出力し、ユーザーが省エネのレベルを選択し、そのレベルに合った画像処理を実施させる。
すなわち、図10において、省エネを大に設定する程、DSPの実行する個数を減らし、高画質化処理の機能を削減する。逆に省エネを小に設定する程、DSPの実行する個数を増やし、最高画質の処理に近づける。つまり、ユーザーは、高画質と省エネというトレードオフに対してもバランスを考慮して省エネのレベルを選択して使用することが可能となる。
例えば、実施例1において、省エネレベルを大に設定すれば、第2の画像処理部104の画像処理を、1個のDSPが全ての演算を実行し、省エネレベルを中に設定すれば、DSPを2個使用し、省エネレベルを小に設定すれば、DSPを4個使用して画像処理を実行することになる。
このように、本実施例によれば、高画質よりも消費電力の低減を望む場合に、ユーザーが操作表示装置上から容易にその設定を選択することができ、ユーザーの利便性を向上させることができる。
上記した実施例では、CMYK画像データで説明したが、本発明はこれに限定されず、RGB画像データ、YCrCb画像データ、Lab画像データにも同様に適用することができ、また、画像データのフォーマットに限定されるものではない。特に、Lab画像やYCrCb画像では、Lデータとabデータ、YデータとCrCbデータで特性が異なるため、ユーザーの設定条件や入力画像の特性データに応じて、Lデータ(Yデータ)の処理とab(CrCbデータ)データの処理の重要度を変更して、画像処理パスの切り替えを行うようにする。つまり、一般的には、色相を表すabデータよりも輝度を表すLデータの方が人間の目には敏感であるため、Lデータの処理を重視し、abデータの処理を低減することで、できる限り高画質化を維持しつつ、その処理を低減した分、実行するDSPの個数を(1つ以上)減らすことででき、消費電力の削減が可能となる。
本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(CPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ROMなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。
101 読み取り装置
102 第1の画像処理部
103 バス制御装置
104 第2の画像処理部
105 HDD
106 CPU
107 メモリ
108 プロッタI/F装置
109 プロッタ装置
110 操作表示装置
111 回線I/F装置
112 外部I/F装置
113 S.B.
114 ROM
115 FAX
116 PC
特開2005−96343号公報

Claims (11)

  1. 原稿の画像データに対して所定の画像処理を設定する設定手段と、複数の色版毎に前記画像データに対して前記所定の画像処理を並列に実行する複数の画像処理手段と、前記所定の画像処理に応じて前記並列に実行する前記画像処理手段の数を、前記色版数より少ない数に制御し、前記色版数より少ない数の前記画像処理手段に割り当てる色版の画像データを決定し、前記色版数より少ない数の前記画像処理手段に割り当てる色版の画像データもしくは画像処理内容を削減し、前記画像処理手段に複数の色版の画像データを割り当てることによって、少なくとも一個の画像処理手段を実行させない制御手段を備えたことを特徴とする画像処理装置。
  2. 前記画像処理内容の削減は、
    ラインごとに行い、かつ、前記画像処理手段に複数の色版の画像データを割り当てられるように削減を行う請求項1記載の画像処理装置。
  3. 前記制御手段は、前記色版の内、C、M、Y版の画像データもしくは画像処理内容を削減し、K版の画像データを削減しないことを特徴とする請求項1又は2記載の画像処理装置。
  4. 原稿の画像データに対して所定の画像処理を設定する設定手段と、複数の色版毎に前記画像データに対して前記所定の画像処理を並列に実行する複数の画像処理手段と、前記所定の画像処理に応じて前記並列に実行する前記画像処理手段の数を、前記色版数より少ない数に制御し、前記色版数より少ない数の前記画像処理手段に割り当てる色版の画像データを決定し、前記色版数より少ない数の前記画像処理手段に割り当てる色版の内、C、M、Y版の画像データもしくは画像処理内容を前記C、M、Y版の画像データの画素分布に応じて削減し、少なくとも一個の画像処理手段を実行させない制御手段を備えたことを特徴とする画像処理装置。
  5. 前記制御手段は、前記所定の画像処理が加工処理であるとき、前記加工処理の加工度合いに応じて、前記並列に実行させる前記画像処理手段の数を決定することを特徴とする請求項1乃至4のいずれかに記載の画像処理装置。
  6. 原稿の画像データに対して所定の画像処理を設定する設定手段と、複数の色版毎に前記画像データに対して前記所定の画像処理を並列に実行する複数の画像処理手段と、前記所定の画像処理に応じて前記並列に実行する前記画像処理手段の数を、前記色版数より少ない数に制御し、前記色版数より少ない数の前記画像処理手段に割り当てる色版の画像データと、前記所定の画像処理が加工処理である場合、前記加工処理の加工度合いに応じて、前記並列に実行させる前記画像処理手段の数と、を決定する制御手段を備え、
    前記画像処理手段は、前記画像データを蓄積する蓄積手段を備え、所定の色版の画像処理手段が地紋合成処理を実行するとき、前記制御手段は、合成される地紋データが前記蓄積手段に格納できるように前記所定の色版の画像データを削減し、他の色版の画像データを削減して一個の画像処理手段により実行させることを特徴とする請求項5記載の画像処理装置。
  7. 前記画像処理手段の処理の軽減の度合い、及び、消費電力の削減の度合いを設定する操作表示装置を備えていることを特徴とする請求項1乃至6のいずれかに記載の画像処理装置。
  8. 前記加工処理は、集約処理、縮小処理、トナーセーブ処理、1色以上の指定色印字処理、両面印刷処理の何れかの処理であることを特徴とする請求項6記載の画像処理装置。
  9. 原稿の画像データに対して所定の画像処理を設定する設定工程と、複数の色版毎に前記画像データに対して前記所定の画像処理を並列に実行する複数の画像処理工程と、前記所定の画像処理に応じて前記並列に実行する前記画像処理工程の数を、前記色版数より少ない数に制御し、前記色版数より少ない数の前記画像処理工程に割り当てる色版の画像データを決定し、前記色版数より少ない数の前記画像処理工程に割り当てる色版の画像データもしくは画像処理内容を削減し、前記画像処理工程に複数の色版の画像データを割り当てることによって、少なくとも一個の画像処理工程を実行させない制御工程を備えたことを特徴とする画像処理方法。
  10. 請求項9記載の画像処理方法をコンピュータに実現させるためのプログラム。
  11. 請求項9記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2010203555A 2010-09-10 2010-09-10 画像処理装置、画像処理方法、プログラムおよび記録媒体 Expired - Fee Related JP5573524B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010203555A JP5573524B2 (ja) 2010-09-10 2010-09-10 画像処理装置、画像処理方法、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010203555A JP5573524B2 (ja) 2010-09-10 2010-09-10 画像処理装置、画像処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2012059143A JP2012059143A (ja) 2012-03-22
JP5573524B2 true JP5573524B2 (ja) 2014-08-20

Family

ID=46056139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010203555A Expired - Fee Related JP5573524B2 (ja) 2010-09-10 2010-09-10 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP5573524B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5051327B1 (ja) * 2012-03-22 2012-10-17 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2019124137A1 (ja) * 2017-12-19 2019-06-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7166853B2 (ja) 2017-12-19 2022-11-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7314533B2 (ja) * 2019-03-07 2023-07-26 富士フイルムビジネスイノベーション株式会社 画像処理装置およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4442899B2 (ja) * 2004-06-22 2010-03-31 キヤノン株式会社 画像処理装置及び画像処理方法
JP2010153992A (ja) * 2008-12-24 2010-07-08 Panasonic Corp 画像処理装置および固体撮像装置

Also Published As

Publication number Publication date
JP2012059143A (ja) 2012-03-22

Similar Documents

Publication Publication Date Title
JP4476203B2 (ja) 画像処理装置、プログラムおよび画像処理方法
JP5678584B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20070285525A1 (en) Image forming apparatus and image forming method
JP4368833B2 (ja) 画像処理装置、画像処理方法、画像形成装置、プログラム、および記録媒体
US8451476B2 (en) Image processing apparatus, image processing method, and computer program product
JP2007081747A (ja) 画像処理装置
JP2007043698A (ja) 画像処理方法、画像出力方法、画像処理システム及び画像出力装置。
KR20190013657A (ko) 화상 처리 장치, 화상 처리 방법, 및 기억 매체
JP5440188B2 (ja) 画像形成装置
JP5573524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010166506A (ja) 画像出力装置、画像出力方法、画像出力プログラム及び記録媒体
JP2010028314A (ja) 画像処理装置及び方法並びにプログラム
JP4908382B2 (ja) 画像処理装置及び画像処理方法
JP2007251835A (ja) 画像処理装置および画像処理方法
JP2007194810A (ja) 画像処理装置
JP4814162B2 (ja) 画像処理装置及び画像処理方法
JP2008113364A (ja) 画像処理回路、プログラム、画像処理方法及び画像処理装置
JP4524578B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5090969B2 (ja) 画像処理装置
JP2010087550A (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体
JPH10224648A (ja) 画像処理装置及び方法
JP4877279B2 (ja) 画像処理装置、画像処理プログラム
JP4974072B2 (ja) 画像処理装置
JP2021197717A (ja) 画像処理装置、および、コンピュータプログラム
JP2004135217A (ja) 画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130621

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140616

R151 Written notification of patent or utility model registration

Ref document number: 5573524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees