JP3877385B2 - 画像処理パラメータ決定装置およびその方法 - Google Patents

画像処理パラメータ決定装置およびその方法 Download PDF

Info

Publication number
JP3877385B2
JP3877385B2 JP19514897A JP19514897A JP3877385B2 JP 3877385 B2 JP3877385 B2 JP 3877385B2 JP 19514897 A JP19514897 A JP 19514897A JP 19514897 A JP19514897 A JP 19514897A JP 3877385 B2 JP3877385 B2 JP 3877385B2
Authority
JP
Japan
Prior art keywords
image
image processing
processing parameter
correction
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19514897A
Other languages
English (en)
Other versions
JPH1127535A (ja
Inventor
公博 中塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Screen Holdings Co Ltd
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd, Dainippon Screen Manufacturing Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP19514897A priority Critical patent/JP3877385B2/ja
Priority to US09/107,854 priority patent/US6229625B1/en
Publication of JPH1127535A publication Critical patent/JPH1127535A/ja
Application granted granted Critical
Publication of JP3877385B2 publication Critical patent/JP3877385B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、原画の画像データを記録用画像データへと変換する画像変換装置に対して設定される画像処理パラメータを決定する画像処理パラメータ決定装置およびその方法に関する。
【0002】
【従来の技術】
一般に、原画の画像データを記録用画像データへと変換する画像変換装置では、ノイズ除去、色変換、階調変換、サイズ変換、画像の鮮鋭化等の各種の画像処理を原画の画像に対して施すことにより、高品質の画像を得ている。これら各種の画像処理の内容は、固定的なものではなく、原画によっても、あるいはどの様な出力画像としたいかという要望によっても異なってくる。画像処理の内容を定めるこれら条件は画像処理パラメータの形で画像処理装置に設定されており、画像処理パラメータを最適に調整することにより高品質な画像出力が可能となる。
【0003】
従来、この種の画像変換装置においては、出力画像の品質の向上を目的として、次のような装置が提案されていた。この装置は、所定のパラメータ変換規則から求めた画像処理パラメータを画像変換装置に設定して画像変換を行ない、その結果得られた記録用画像によってオペレータに画像の評価を促し、オペレータからのその評価に基づく修正画像処理パラメータの入力があると、その修正画像処理パラメータとなるように上記パラメータ変換規則を修正するものである(特開平4−14431号公報)。この構成によれば、一度求めた画像処理パラメータに対してユーザからの入力に基づく補正を行なうことができ、ユーザの好みを細かく反映した高品質の画像を得ることが可能である。
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来の装置は、修正された画像処理パラメータの値を直接入力する構成であることから、オペレータに対して画像処理の熟練者としての能力を課すものであった。というのは、記録用画像から必要と感じる画質の調整量と実際に必要な修正画像処理パラメータの値との相関は、例えば原画の被写体の種類(人物、静物、風景等の区別)等によって微妙な違いがあり、こうした違いを見分けるにはある程度の熟練を必要とするからである。
【0005】
この発明の画像処理パラメータの決定装置およびその方法は、画像処理に習熟していないオペレータでも高品質な画像を得ることができるようにすることを目的としている。
【0006】
【課題を解決するための手段およびその作用・効果】
前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。
【0007】
本発明の画像処理パラメータ決定装置は、
原画の画像データを記録用画像データへと変換する画像変換装置に対して設定される画像処理パラメータを決定する装置であって、
前記原画の画像データを分析することによって、前記原画の画像についての各種情報を生成する画像情報生成手段と、
前記原画の画像を記録する際に参照すべき条件を表現したキーワードを得る第1入力手段と、
前記画像情報生成手段により生成された各種情報と前記第1入力手段により得られたキーワードとに基づいて、前記画像処理パラメータを推論する推論手段と、
前記推論手段により求められた画像処理パラメータを前記画像変換装置に設定する設定手段と、
該設定手段による設定により前記画像変換装置から得られる記録用画像データを、表示手段に表示する表示制御手段と、
前記表示手段から前記記録用画像データを見た操作者による操作を受けて前記推論手段により求められた画像処理パラメータの増減の程度を指示する操作スイッチの操作量を得る第2入力手段と、
前記第2入力手段により得られた操作量と前記第1入力手段により得られたキーワードとを受けて、前記推論手段により求められた画像処理パラメータの補正量を推論する補正量推論手段と、
該補正量推論手段により求められた補正量に基づき、前記推論手段により求められた画像処理パラメータを補正して、前記画像変換装置に設定される画像処理パラメータを定める補正手段と を備えることを、その要旨としている。
【0008】
上記画像処理パラメータ決定装置(以下、基本構成の画像処理パラメータ装置とも呼ぶ)によれば、原画の画像についての各種情報とキーワードとから、推論手段により画像処理パラメータが推論される。さらに、その求められた画像処理パラメータの増減が操作スイッチから指示されると、その操作スイッチの操作量と上記キーワードとから、補正量推論手段により上記画像処理パラメータの補正量が推論される。この補正量は、操作スイッチの操作量に加えて上記キーワードも反映するものであり、画像処理パラメータは、この補正量に基づき、補正手段により補正される。
【0009】
したがって、オペレータにとっては操作スイッチによって画像処理パラメータの増減を指示するだけで、原画の画像についてのキーワードを反映した画像処理パラメータを決定することができる。この結果、画像処理に習熟していないオペレータでも最適な画像処理パラメータを決定することができる。
【0011】
また、操作者は、表示手段に表示された記録用画像データを見ることにより、その記録用画像データの画像処理パラメータの強弱を知ることができることから、この強弱に応じて操作スイッチを操作すればすむ。
【0012】
上記構成の画像処理パラメータ決定装置において、前記補正手段により求められた画像処理パラメータを前記画像変換装置に設定する第2設定手段と、該第2設定手段による設定により前記画像変換装置から得られる記録用画像データを、表示手段に表示する第2表示制御手段と、外部からの操作指令を得る指令入力手段と、該指令入力手段により得られた操作指令に応じて前記表示制御手段と第2表示制御手段とを切り替えて実行する切替制御手段とを備える構成とすることもできる。
【0013】
この構成によれば、外部から操作指令を送るだけで、画像処理パラメータを補正後の画像と補正前の画像とを表示手段に切り替えて表示することができる。このため、オペレータにとって変換前後の画像の比較が容易となり、変換後の画像の評価を正確に行なうことができる。
【0014】
また、基本構成の画像処理パラメータ決定装置において、前記キーワード単位で前記補正の実行回数を管理するとともに、前記補正量推論手段により求められた補正量に対して前記補正の実行回数の重みを与え、新たに求められた前記補正量に対して値1の重みを与える重み付き平均の演算を行ない、その演算結果を前記補正手段に送る重み付き平均演算手段を備える構成とすることもできる。
【0015】
この構成によれば、キーワード毎に区別して過去の補正量の平均を求めることができる。この平均値は操作回数が多くなるにつれ収束し、これによりユーザの好みの傾向を学習することができる。
【0016】
さらに、基本構成の画像処理パラメータ決定装置において、前記推論手段はファジー推論を行なうものである構成としてもよい。この構成によれば、複合的な情報から折衷案的な結論を得ることができ、高精度の推論が可能となる。
【0017】
この発明の画像処理パラメータ決定方法は、
原画の画像データを記録用画像データへと変換する画像変換装置に対して設定される画像処理パラメータを決定する方法であって、
(a) 前記原画の画像データを分析することによって、前記原画の画像についての各種情報を生成する工程と、
(b) 前記原画の画像を記録する際に参照すべき条件を表現したキーワードを得る工程と、
(c) 前記工程(a)により生成された各種情報と前記工程(b)により得られたキーワードとに基づいて、前記画像処理パラメータを推論する工程と、
(g) 前記工程(c)により求められた画像処理パラメータを前記画像変換装置に設定する工程と、
(h) 該工程(g)による設定により前記画像変換装置から得られる記録用画像データを、表示手段に表示する工程と、
(d) 前記表示手段から前記記録用画像データを見た操作者による操作を受けて前記工程(c)により求められた画像処理パラメータの増減の程度を指示する操作スイッチの操作量を得る工程と、
(e) 前記工程(d)により得られた操作量と前記工程(b)により得られたキーワードとを受けて、前記工程(c)により求められた画像処理パラメータの補正量を推論する工程と、
(f) 該工程(e)により求められた補正量に基づき、前記工程(c)により求められた画像処理パラメータを補正して、前記画像処理装置に設定される画像処理パラメータを定める工程と を備えることを、その要旨としている。
【0018】
この構成の画像処理パラメータ決定方法は、前述した画像処理パラメータ決定装置と同様な作用・効果を有しており、画像処理に習熟していないオペレータでも最適な画像処理パラメータを決定することができる。
【0019】
【発明の他の態様】
この発明は、次のような他の態様も含んでいる。この態様は、コンピュータシステムのマイクロプロセッサによって実行されることによって、上記の発明の各工程または各手段を実現するソフトウェアプログラムを格納した携帯型記憶媒体である。
【0020】
【発明の実施の形態】
次に、本発明の実施の形態を実施例に基づき説明する。
【0021】
A.装置の構成と概略動作
図1は、本発明の実施例を適用する画像処理パラメータ決定装置を組み込んだ画像処理システムの構成を示すブロック図である。この画像処理システムは、画像読取装置10と、画像処理装置20と、画像記録装置50とで構成されている。画像読取装置10は、カラー画像の画像データを読み取る入力スキャナやデジタルカメラ等によって実現される。ここでは、原画の画像を画素ごとに読み取った色成分ごとの画像データ(R,G,B信号)DR ,DG,DBを出力する。なお、画像読取装置10は、画像データを記憶する磁気ディスク、あるいは他の装置との通信回線等によって実現される構成としてもよい。
【0022】
画像処理装置20は、ワークステーションまたはパーソナルコンピュータ等のコンピュータシステムによって実現される。ここでは、画像読取装置10から受け取った画像データDR,DG,DB を記録用のY,M,C,Kの画像データDY ,DM,DC,DK に変換する。また、この変換後の画像データDY,DM,DC ,DKを画像記録装置50に送る。
【0023】
画像記録装置50は、画像データを記録するイメージセッタやカラープリンタ等によって実現される。例えば、イメージセッタの場合、画像処理装置20で変換した記録用の画像データDY,DM,DC,DKを網点画像信号に変換して、露光用レーザビームをON/OFF変調することによって感光フィルム等に露光・記録して、Y,M,C,K のそれぞれについての画像を記録した色分解フィルムを作成する。なお、画像記録装置50は、磁気ディスクあるいは通信回線等によって実現される構成として、記録用の画像データDY,DM,DC,DKをそのまま記録もしくは転送するようにしてもよい。
【0024】
画像処理装置20のCPU22には、バス24を介してフレームメモリ26、補正データメモリ27およびメインメモリ28が接続されている。また、入出力インタフェイス30を介して、キーボード32と、ポインティングデバイスとしてのマウス34と、表示手段としてのカラーCRT36と、各種データを一時的に記憶するハードディスク装置38およびフレキシブルドライブ装置40が接続されている。キーボード32とマウス34は、固定点や移動点の座標を指定する座標点入力手段として使用され、また、後述するキーワード情報の入力を行なうため入力手段としても使用される。さらに、画像入出力インタフェイス42を介して画像読取装置10と画像記録装置50に接続されている。
【0025】
メインメモリ28は、画像処理装置20の各機能(詳細には、この発明の推論手段、補正量推論手段および補正手段の各機能と画像変換装置の機能)を実現するためのソフトウェアプログラム(アプリケーションプログラム)を記憶している。これらの各部の機能は、後ほど詳しく説明するが、CPU22がソフトウェアプログラムを実行することによってそれぞれ実現される。
【0026】
これらの各部の機能を実現するソフトウェアプログラムは、フロッピディスクやCD−ROM等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供される。コンピュータは、その記録媒体からソフトウェアプログラムを読み取って内部記憶装置(上記メインメモリ28が該当する)または外部記憶装置(ハードディスク装置38、フレキシブルドライブ装置40等が該当する)に転送する。あるいは、通信経路を介してコンピュータにソフトウェアログラムを供給するようにしてもよい。詳しくは、画像処理装置20をモデムが接続された構成とし、モデムは通信回線に接続され、通信回線はサーバを含むネットワークに接続された構成とする。これにより、サーバは、通信回線を介してソフトウェアプログラムを画像処理装置20に供給するプログラム供給装置としての機能を有することになる。
【0027】
コンピュータプログラムの機能を実現する時には、内部記憶装置に格納されたコンピュータプログラムがCPU22によって実行される。また、記録媒体に記録されたコンピュータプログラムをコンピュータが読み取ってCPU22によって直接実行するようにしてもよい。
【0028】
図2は、画像処理装置20の各機能を示す機能ブロック図である。なお、この図2における画像変換部102、分析部104、画像処理パラメータ推論部106、パラメータ補正値推論部108、重み付き平均演算部110、パラメータ補正演算部112などは、CPU22がソフトウェアプログラムを実行することによってそれぞれ実現される。画像読取装置10の出力信号DR,DG,DB (読取り画素数低減のためにプリスキャンされた画像データ)はフレームメモリ26に格納された後、分析部104によって自動分析され、原画の画像の特徴を示す情報(画像特徴情報)d1、ここでは、ヒストグラム情報、画像周波数情報、ノイズ量情報、原稿倍率情報が求められる。
【0029】
一方、オペレータは、原画の画像を記録する際に個々の画像に適した画像補正条件を決定し、それらを被写体キーワードd2と仕上がりキーワードd3といった2つのキーワードとして入力する。この入力は、この発明の第1入力手段に相当し、CRT36に表示された操作画面からマウス34を操作して行なわれる。
【0030】
上記画像特徴情報d1、被写体キーワードd2および仕上がりキーワードd3は、この発明の推論手段に相当する画像処理パラメータ推論部106に送られ、ファジー推論により各種の画像処理パラメータPが決定される。画像処理パラメータPは、補正データメモリ27に格納された後述するパラメータ補正データに基づく補正演算を、この発明の補正手段に相当するパラメータ補正演算部112により受ける。パラメータ補正演算部112の補正結果は、補正済みの画像処理パラメータPとして、画像変換部(画像変換装置)102に送られる。
【0031】
画像変換部102では、フレームメモリ26に格納された画像データDR,DG,DBに対して、画像処理パラメータPに基づく調整がなされた色分解処理等が行なわれる。色分解処理等の結果、記録用の画像データDY,DM,DC,DKが生成されるが、この画像データDY,DM,DC,DKは、一旦、CRT36に送られ、画像データDY,DM,DC,DKに基づく画像の表示がなされる。オペレータはこの画像の表示を見ることで、画像の色、階調、鮮鋭度等を確認し、CRT36に表示された操作画面から微調整データd4を入力する(この発明の第2入力手段に相当する)。
【0032】
微調整データd4と前述した被写体キーワードd2と仕上がりキーワードd3とは、この発明の補正量推論手段に相当するパラメータ補正値推論部108に送られる。パラメータ補正値推論部108では、ファジー推論により、画像処理パラメータ推論部106で決定される各種画像処理パラメータPに対する微調整量が決定される。この微調整量は、パラメータ補正データCPとして重み付き平均演算部110に送られ、重み付き平均演算の処理が施された値が補正データメモリ27に格納される。
【0033】
補正データメモリ27に格納されたパラメータ補正データは、前述したように、パラメータ補正演算部112に送られ、画像処理パラメータPに反映される。この結果、画像変換部102により生成される記録用の画像データDY,DM,DC,DKは、操作画面から入力した微調整データd4の補正を受けたものとなり、オペレータによる意図が反映された画像を画像記録装置50に記録することが可能となる。
【0034】
B.詳細動作
図3および図4は、画像処理装置20のCPU22で実行される画像処理ルーチンを示すフローチャートである。図示するように、CPU22は、処理が開始されると、まず、画像読取装置10がスキャナの場合、この画像読取装置10により原画をプリスキャンして得られた画像データDR ,DG,DBをフレームメモリ26から読み込む処理を行なう(ステップS210)。次いで、その画像データDR,DG,DB を分析して、原画の画像の特徴を示す画像特徴情報d1を求める処理を行なう(ステップS220)。この分析処理は、図2で示した分析部104に相当し、画像特徴情報d1として、ヒストグラム情報、画像周波数情報、ノイズ量情報、原稿倍率情報が求められる。
【0035】
次いで、原画の画像を記録する際に個々の画像に適した画像補正条件である被写体キーワードd2と仕上がりキーワードd3とを読み込む処理を行なう(ステップS230,S240)。両キーワードd2,d3は、オペレータによって、CRT36に表示された操作画面からマウス34を用いて、次のようにして入力されたものである。
【0036】
図5は、両キーワードd2,d3を入力するための操作画面に現われるダイアログボックスDBを示す説明図である。オペレータは、[被写体の選択]のボタンBT1をマウス34を用いてクリックすることにより、図6に示すような、「一般」、「肌物」、「風景」、「機械物」といった言葉の中から、被写体の主題を表わす被写体キーワードd2を選択する。また、[仕上がりの選択]のボタンBT2をクリックすることにより、図7に示すような、「標準」、「明るく」、「暗く」、「シャープに」、「ソフトに」といった一般的な形容詞を用いた言葉の中から、仕上がりの状態を表わす仕上がりキーワードd3を選択する。
【0037】
図3に戻り、続いて、CPU22は、ステップS230で読み込まれた被写体キーワードd2が配列中の何番目に当たるかを変数iにセットし(ステップS242)、また、ステップS240で読み込まれた仕上がりキーワードd3が配列中の何番目に当たるかを変数jにセットする(ステップS244)。例えば、図6に示す例で被写体キーワードd2として「肌物」が読み込まれたときには、変数iは値2となる。図7に示す例で仕上がりキーワードd3として「シャープに」が読み込まれたときには、変数jは値4となる。その後、CPU22は、ファジー推論により各種画像処理パラメータPを決定する処理を行なう(ステップS250)。
【0038】
ステップS250の処理の詳細について次に説明する。この処理は、図2の画像処理パラメータ推論部106に相当し、ステップS220で求めた画像特徴情報d1と、ステップS230,S240で入力した両キーワードd2,d3を入力情報として、適切な処理済み画像を得るために必要な各種画像処理パラメータPをファジー推論により決定する。ここで、画像処理パラメータPを導出決定する画像処理としては、▲1▼ノイズ除去等の前処理、▲2▼画像のダイナミックレンジ変更(ハイライト/シャドー点の変更、トーンの変更)、▲3▼カラーコレクション等の色修正処理、▲4▼USM(Un Sharp Masking)等の画像鮮鋭化処理、等がある。
【0039】
入力情報である画像特徴情報d1,被写体キーワードd2および仕上がりキーワードd3は、抽象度の高い情報であり、出力情報である上記画像処理パラメータPは、具体的な情報である。したがって、ステップS250の処理は、抽象度の高い情報から具体的情報へのインタープリッタ(翻訳機)の役割を果たす。このインタープリッタには、熟練者としてのオペレータの判断プロセスを移植する必要があり、それらがファジープロダクションルールによって示されている。なお、このファジープロダクションルールはメインメモリ28に予め記憶されている。
【0040】
ファジープロダクションルールの一例について次に説明する。推論する画像処理パラメータがシャープネスの強さ(ゲイン)であるとする。今、被写体キーワードd2として「肌物」が、仕上がりキーワードd3として「シャープに」が入力されたとする。これら入力情報に対する画像処理パラメータPを決定するファジープロダクションルールは、例えば次のように記述されている。
【0041】
IF 被写体が「肌物」 THEN シャープネスゲインを「やや弱め」にせよ
IF 仕上がりが「シャープに」 THEN シャープネスゲインを「やや強め」にせよ
【0042】
また、画像特徴情報d1のノイズ量情報が「やや多い」というように入力されたとすると、ファジープロダクションルールは、例えば次のように記述されている。
【0043】
IF ノイズ量が「やや多い」 THEN シャープネスゲインを「弱め」にせよ
【0044】
ステップS250では、一例として、以上のルールから折衷的にシャープネスゲインの画像処理パラメータが推論されることになる。
【0045】
ステップS250で画像処理パラメータPが決定されると、次いで、その画像処理パラメータPを、メインメモリ28内の所定のデータ領域に格納する処理を行なう(ステップS260)。メインメモリ28には、被写体キーワードd2の種類の数mと仕上がりキーワードd3の種類の数nとを掛けて得られるm×n個のデータ配列E11,E12,…,E1n,E21,E22,…,E2n,…,Em1,Em2,…,Emnが予め用意されている。ステップS260では、このデータ配列E11〜Emnの中から、上記ステップS242、S244でセットした変数i,jにより定まる配列要素(データ領域)Eijを選択して、そのデータ領域Eijに上記画像処理パラメータPを格納する。なお、データ領域Eijに格納された画像処理パラメータを以下「Pij」と記すことにする。
【0046】
続いて、図4に示すように、CPU22は、データ領域Eijに格納された画像処理パラメータPijに、パラメータ補正データCPijを加算する処理を行なう(ステップS270)。パラメータ補正データCPijは、補正データメモリ27に格納されるm×n個のデータ配列の内の上記変数i,jにより定まる配列要素に格納されるデータであり、後述するステップS330により更新される。なお、ステップS260からこのステップS270に処理が移ってきた時点では、パラメータ補正データCPijは、この画像処理が起動した際の初期値である値0のままであり、ステップS270の加算処理が実行されてもパラメータPijの値に変化はない。
【0047】
その後、CPU22は、ステップS280に処理を移して、画像変換処理を実行する。この画像変換処理は、図2の画像変換部102に相当し、ステップS210で読み取った画像データDR,DG,DB に対して、画像処理パラメータPijに基づく調整がなされた色分解処理が行なわれる。ここで、色分解処理の結果、記録用の画像データDY,DM,DC,DKが生成されるが、この画像データDY,DM,DC,DKは、その後、CRT36に送られ、記録用画像データDY,DM,DC,DKに基づく画像の表示がなされる(ステップS290)。
【0048】
オペレータはCRT36に表示された画像を見て、画像の色、階調、鮮鋭度等を確認し、微調整が必要であるか否かを判断する。この判断結果は、オペレータによって、図5に示したダイアログボックスDB中の「微調整」のボタンBT3がクリックされたか、あるいは「確定」のボタンBT4がクリックされたかから、CPU22は判定している(ステップS300)。即ち、「確定」のボタンBT4がクリックされた場合には、オペレータは微調整が不要であると判断したとし、一方、「微調整」のボタンBT3がクリックされた場合には、オペレータは微調整が必要であると判断したとする。ステップS300で、微調整が必要であると判定されると、CPU22は、ステップS310に処理を進める。
【0049】
ステップS310では、CPU22は、その微調整データd4を入力するための操作画面をCRT36に表示する。図8は、微調整データd4を入力するための操作画面に現われるダイアログボックスDB2の一例を示す説明図である。オペレータは、スライドキーKYをマウス34を用いてスライドすることにより、シャープネスゲインを強い側もしくは弱い側にどの程度変化させるかを設定する。CPU22は、このシャープネスゲインの強弱を微調整データd4として読み込む(ステップS310)。続いて、ファジー推論によりパラメータ補正データ(計算用パラメータ補正データ)Aijを決定する処理を行なう(ステップS320)。
【0050】
ステップS320の処理の詳細について次に説明する。この処理は、図2のパラメータ補正値推論部108に相当し、ステップS230,S240で読み込んだ被写体キーワードd2,仕上がりキーワードd3と、ステップS310で読み込んだ微調整データd4とを入力情報として、ステップS250で決定した画像処理パラメータを補正するために必要なパラメータ補正データをファジー推論により決定する。
【0051】
このファジー推論により記述されているファジープロダクションルールは次のようなものである。このファジープロダクションルールでは、前件部として上記微調整データd4が用いられる。図9は、微調整データd4のメンバシップ関数を、スライドキーKYの操作量と共に示す説明図である。図9に示すように、今、スライドキーKYの操作量が75[%]の位置とすると、この値をメンバシップ関数を示すグラフの横軸に照らし合わせると、「G」と「F」といった定義関数の値を得ることができる。この定義関数を前件部に用いて、被写体キーワードd2が「肌物」が選択された場合を例にあげると、ファジープロダクションルールは、例えば次のように記述される。
【0052】
IF 微調整量が「F」 AND 被写体が「肌物」
THEN シャープネスゲイン補正値を「+1」にせよ
IF 微調整量が「G」 AND 被写体が「肌物」
THEN シャープネスゲイン補正値を「+2」にせよ
【0053】
ステップS320では、一例として、以上の2つのルールから折衷的に計算用パラメータ補正データAijが推論決定されることになる。なお、計算用パラメータ補正データAijは、パラメータ補正データCPijと同様に、m×n個のデータ配列の内の上記変数i,jにより定まる配列要素に格納されている。
【0054】
ステップS320で計算用パラメータ補正データAijが決定されると、続いて、補正データメモリ27に格納されたパラメータ補正データCPijに重み付けをして、その計算用パラメータ補正データAijとの平均値を求める重み付け平均処理を実行する(ステップS330)。以下、この重み付け平均処理の詳細について説明する。
【0055】
図10は、図4のステップS330でサブルーチンコールされて実行される重み付け平均処理を示すフローチャートである。図示するように、この重み付け平均処理が開始されると、CPU22は、まず、前回の実行時に補正データメモリ27に格納されたパラメータ補正データCPijを読み出す(ステップS332)。なお、補正データメモリ27には、各パラメータ補正データCPijに対となって、パラメータ補正データCPijの更新回数(操作回数)kが後述するステップ338により格納されるようになっており、このステップS332では、補正データメモリ27からパラメータ補正データCPijとともに、操作回数kの値も読み出している。
【0056】
その後、補正データメモリ27から読み出したパラメータ補正データCPijおよび操作回数kと、ステップS320で求めた計算用パラメータ補正データAijとを、次式(1)に代入することにより、新たなパラメータ補正データCPijを算出する(ステップS334)。
【0057】
CPij=(k×CPij+Aij)/(k+1) …(1)
【0058】
上式(1)は、旧のパラメータ補正データCPijに対して操作回数kの重み付けを、ステップS320で求めた計算用パラメータ補正データAijに対して値1の重み付けをして両者の平均値を求めるものである。この平均値は新たなパラメータ補正データCPijとして、値1だけインクリメントした操作回数kの値(ステップS336)とともに、補正データメモリ27内の変数i,jで特定されるデータ領域に格納される(ステップS338)。その後、この重み付け平均処理を抜ける。
【0059】
図4に処理は戻って、ステップS330の重み付け平均処理を終えると、CPU22は、ステップS270に処理を戻す。ステップS270では、ステップS330で求めたパラメータ補正データCPijを画像処理パラメータPijに加算することにより、新たな画像処理パラメータPを決定する。その後、ステップS280,S290と処理を進めて、この新たな画像処理パラメータを用いた画像変換処理が実行され、この変換後の記録用画像データは再びCRT36に表示されることになる。これにより、図5に示したダイアログボックスDB2で微調整後の画像についても、オペレータは評価することができる。
【0060】
そこで、オペレータは微調整後の画像に再度、不満があれば、ステップS310以降に処理を進めて、再び画像の調整を行なうことができ、一方、微調整後の画像に満足した場合には、ステップS300で、CPU22は微調整は必要ないと判定して、この画像処理ルーチンの実行を終了する。
【0061】
なお、このフローチャートには、特に明示しなかったが、図5に示したダイアログボックスDB2で、「変換前」のボタンBT5がクリックされたときには、変換前の記録用画像データがCRT36に表示される構成となっている。また、「変換後」のボタンBT6がクリックされたときには、変換後の記録用画像データがCRT36に表示される構成となっている。
【0062】
この構成によれば、ボタンをクリックするだけで、変換前後の画像を切り替えて表示することができることから、変換前後の画像の比較が容易となる。この結果、変換後の画像の評価を正確に行なうことができる。
【0063】
以上詳述してきた、この実施例の画像処理画像処理パラメータ決定装置によれば、原画の画像についての画像特徴情報d1と、被写体キーワードd2と仕上がりキーワードd3の両キーワードとから、画像処理パラメータPijが推論される。さらに、その求められた画像処理パラメータPijの増減がオペレータによってダイアログボックスDB2から指示されると、その微調整量と上記両キーワードd1,d2とから、画像処理パラメータの補正量が推論される。微調整量と推論決定される補正量とは、被写体等によって異なる場合があり、例えば、肌物ではシャープネスを大幅に強く入れることは画像の荒れ等が発生して好ましくないので、微調整量に対する補正変化量を、他の被写体が選択されている場合よりも小さくする必要がある。この実施例では、微調整量から定まる補正量が、被写体キーワードd2と仕上がりキーワードd3とに基づいて推論決定されていることから、上述したように被写体に応じて補正変化量を調整することができる。
【0064】
したがって、オペレータにとってはダイアログボックスDB2等の操作画面から画像処理パラメータの増減を指示するだけで、原画の画像についてのキーワードを反映した画像処理パラメータを決定することができる。この結果、画像処理に習熟していないオペレータでも最適な画像処理パラメータを決定することができる。
【0065】
また、この実施例では、旧のパラメータ補正データCPijに対して操作回数kの重み付けを、新たに推論したパラメータ補正データAijに対して値1の重み付けをして両者の平均値を求めることにより、新たなパラメータ補正データCPijを求めている。この構成によれば、キーワードd2,d3毎に区別して過去の補正量の平均を求めることができる。この平均値は操作回数が多くなるにつれ収束し、これによりユーザの傾向を学習することができる。このため、微調整データd4の入力を切り替えてやるだけで、ユーザの好みに細かく反映した高品質の画像を得ることができる。
【0066】
さらに、この実施例での推論決定はファジー推論によりなされている。この構成によれば、複合的な情報から折衷案的な結論を得ることができ、高精度の推論が可能となる。従来のAIセットアップでは、原稿に忠実なセットアップを行なうことが前提であったために、オーバ露光やアンダー露光の原稿のように、セットアップ時に大幅なトーン補正が必要とされる原稿はセットアップがうまくできなかった。これは、セットアップに必要なパラメータが複雑に絡んでいて、オペレータが設定することは困難であり、また自動セットアップ化を重視するために多くのパラメータが固定化されていたためである。この実施例では、オペレータが簡単なキーワードを入力するだけで、画像処理パラメータをファジー推論することで、原稿によってはオリジナルに忠実なセットアップが、また原稿によっては、劇的に変更された画像処理パラメータを設定することが可能となる。
【0067】
さらに、画像読取装置10や画像記録装置の変更等、処理対象が変更となる場合には、ファジー推論におけるファジープロダクションルールを入れ替えるだけで対応することができる。
【0068】
なお、この発明は上記の実施例に限られるものではなく、その要旨を逸脱しないような範囲において種々の態様において実施することが可能である。
【0069】
例えば、前記実施例では、第1入力手段として得るキーワードを、被写体キーワードd2と仕上がりキーワードd3との2つのキーワードとしていたが、これに替えて、いずれか一方のキーワードとしてもよく、あるいは、アンダー露光、オーバ露光等の露光状態を示すキーワード等、他のキーワードを付加した3つ以上のキーワードとする構成としてもよい。また、この実施例のように製版用スキャナに限るものではなく、原画の画像を記録用画像データに変換して画像再生を行なう装置、例えば、プリンタ、ファクシミリ装置、複写機や電子黒板等の装置にも適用可能である。
【図面の簡単な説明】
【図1】本発明の実施例を適用する画像処理パラメータ決定装置を組み込んだ画像処理システムの構成を示すブロック図である。
【図2】画像処理装置20の各機能を示す機能ブロック図である。
【図3】画像処理装置20のCPU22で実行される画像処理ルーチンの前半部分を示すフローチャートである。
【図4】その画像処理ルーチンの後半部分を示すフローチャートである。
【図5】被写体キーワードd2および仕上がりキーワードd3を入力するための操作画面に現われるダイアログボックスDBを示す説明図である。
【図6】被写体キーワードd2の選択肢を示す説明図である。
【図7】仕上がりキーワードd3の選択肢を示す説明図である。
【図8】微調整データd4を入力するための操作画面に現われるダイアログボックスDB2の一例を示す説明図である。
【図9】微調整データd4のメンバシップ関数を、スライドキーKYの操作量と共に示す説明図である。
【図10】図4のステップS330でサブルーチンコールされて実行される重み付け平均処理を示すフローチャートである。
【符号の説明】
10…画像読取装置
20…画像処理装置
22…CPU
24…バス
26…フレームメモリ
27…補正データメモリ
28…メインメモリ
30…入出力インタフェイス
32…キーボード
34…マウス
36…カラーCRT
38…ハードディスク装置
40…フレキシブルドライブ装置
42…画像入出力インタフェイス
50…画像記録装置
102…画像変換部
104…分析部
106…画像処理パラメータ推論部
108…推論部
110…平均演算部
112…パラメータ補正演算部
P…画像処理パラメータ
CP…パラメータ補正データ
d1…画像特徴情報
d2…被写体キーワード
d3…キーワード
d4…微調整データ

Claims (5)

  1. 原画の画像データを記録用画像データへと変換する画像変換装置に対して設定される画像処理パラメータを決定する装置であって、
    前記原画の画像データを分析することによって、前記原画の画像についての各種情報を生成する画像情報生成手段と、
    前記原画の画像を記録する際に参照すべき条件を表現したキーワードを得る第1入力手段と、
    前記画像情報生成手段により生成された各種情報と前記第1入力手段により得られたキーワードとに基づいて、前記画像処理パラメータを推論する推論手段と、
    前記推論手段により求められた画像処理パラメータを前記画像変換装置に設定する設定手段と、
    該設定手段による設定により前記画像変換装置から得られる記録用画像データを、表示手段に表示する表示制御手段と、
    前記表示手段から前記記録用画像データを見た操作者による操作を受けて前記推論手段により求められた画像処理パラメータの増減の程度を指示する操作スイッチの操作量を得る第2入力手段と、
    前記第2入力手段により得られた操作量と前記第1入力手段により得られたキーワードとを受けて、前記推論手段により求められた画像処理パラメータの補正量を推論する補正量推論手段と、
    該補正量推論手段により求められた補正量に基づき、前記推論手段により求められた画像処理パラメータを補正して、前記画像変換装置に設定される画像処理パラメータを定める補正手段と
    を備える画像処理パラメータ決定装置。
  2. 請求項記載の画像処理パラメータ決定装置であって、
    前記補正手段により求められた画像処理パラメータを前記画像変換装置に設定する第2設定手段と、
    該第2設定手段による設定により前記画像変換装置から得られる記録用画像データを、表示手段に表示する第2表示制御手段と、
    外部からの操作指令を得る指令入力手段と、
    該指令入力手段により得られた操作指令に応じて前記表示制御手段と第2表示制御手段とを切り替えて実行する切替制御手段と
    を備える画像処理パラメータ決定装置。
  3. 請求項1記載の画像処理パラメータ決定装置であって、
    前記キーワード単位で前記補正の実行回数を管理するとともに、
    前記補正量推論手段により求められた補正量に対して前記補正の実行回数の重みを与え、新たに求められた前記補正量に対して値1の重みを与える重み付き平均の演算を行ない、その演算結果を前記補正手段に送る重み付き平均演算手段を備える画像処理パラメータ決定装置。
  4. 前記推論手段はファジー推論を行なうものである請求項1記載の画像処理パラメータ決定装置。
  5. 原画の画像データを記録用画像データへと変換する画像変換装置に対して設定される画像処理パラメータを決定する方法であって、
    (a) 前記原画の画像データを分析することによって、前記原画の画像についての各種情報を生成する工程と、
    (b) 前記原画の画像を記録する際に参照すべき条件を表現したキーワードを得る工程と、
    (c) 前記工程(a)により生成された各種情報と前記工程(b)により得られたキーワードとに基づいて、前記画像処理パラメータを推論する工程と、
    (g) 前記工程(c)により求められた画像処理パラメータを前記画像変換装置に設定する工程と、
    (h) 該工程(g)による設定により前記画像変換装置から得られる記録用画像データを、表示手段に表示する工程と、
    (d) 前記表示手段から前記記録用画像データを見た操作者による操作を受けて前記工程(c)により求められた画像処理パラメータの増減の程度を指示する操作スイッチの操作量を得る工程と、
    (e) 前記工程(d)により得られた操作量と前記工程(b)により得られたキーワードとを受けて、前記工程(c)により求められた画像処理パラメータの補正量を推論する工程と、
    (f) 該工程(e)により求められた補正量に基づき、前記工程(c)により求められた画像処理パラメータを補正して、前記画像処理装置に設定される画像処理パラメータを定める工程と を備える画像処理パラメータ決定方法。
JP19514897A 1997-07-04 1997-07-04 画像処理パラメータ決定装置およびその方法 Expired - Fee Related JP3877385B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP19514897A JP3877385B2 (ja) 1997-07-04 1997-07-04 画像処理パラメータ決定装置およびその方法
US09/107,854 US6229625B1 (en) 1997-07-04 1998-06-30 Apparatus for determining image processing parameter, method of the same, and computer program product for realizing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19514897A JP3877385B2 (ja) 1997-07-04 1997-07-04 画像処理パラメータ決定装置およびその方法

Publications (2)

Publication Number Publication Date
JPH1127535A JPH1127535A (ja) 1999-01-29
JP3877385B2 true JP3877385B2 (ja) 2007-02-07

Family

ID=16336241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19514897A Expired - Fee Related JP3877385B2 (ja) 1997-07-04 1997-07-04 画像処理パラメータ決定装置およびその方法

Country Status (2)

Country Link
US (1) US6229625B1 (ja)
JP (1) JP3877385B2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3725454B2 (ja) * 2001-01-17 2005-12-14 セイコーエプソン株式会社 画像ファイルの出力画像調整
JP2002314803A (ja) * 2001-01-17 2002-10-25 Seiko Epson Corp 画像ファイルの生成および出力
WO2002075518A1 (fr) * 2001-03-15 2002-09-26 Seiko Epson Corporation Commande d'impression et commande de traitement d'image
JP4105426B2 (ja) * 2001-11-15 2008-06-25 ソニー株式会社 画像情報伝達方法及び画像情報処理装置
US6891977B2 (en) * 2002-02-27 2005-05-10 Eastman Kodak Company Method for sharpening a digital image without amplifying noise
US7221807B2 (en) * 2002-03-29 2007-05-22 Sharp Laboratories Of America, Inc. Methods and systems for digital image characteristic adjustment using a neural network
JP4007052B2 (ja) * 2002-05-07 2007-11-14 セイコーエプソン株式会社 画像処理制御データ更新装置
JP4055998B2 (ja) * 2003-04-15 2008-03-05 本田技研工業株式会社 距離検出装置、距離検出方法、及び距離検出プログラム
US8749839B2 (en) 2005-03-24 2014-06-10 Kofax, Inc. Systems and methods of processing scanned data
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
US9137417B2 (en) 2005-03-24 2015-09-15 Kofax, Inc. Systems and methods for processing video data
JP5217250B2 (ja) * 2007-05-28 2013-06-19 ソニー株式会社 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
US8774516B2 (en) 2009-02-10 2014-07-08 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US8958605B2 (en) 2009-02-10 2015-02-17 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9349046B2 (en) 2009-02-10 2016-05-24 Kofax, Inc. Smart optical input/output (I/O) extension for context-dependent workflows
TWI481811B (zh) * 2011-01-24 2015-04-21 Hon Hai Prec Ind Co Ltd 機台狀態偵測系統及方法
US9058580B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9058515B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9514357B2 (en) 2012-01-12 2016-12-06 Kofax, Inc. Systems and methods for mobile image capture and processing
US9483794B2 (en) 2012-01-12 2016-11-01 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
EP2973226A4 (en) 2013-03-13 2016-06-29 Kofax Inc CLASSIFICATION OF OBJECTS ON DIGITAL IMAGES RECORDED BY MOBILE DEVICES
US9208536B2 (en) 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
JP2014186372A (ja) * 2013-03-21 2014-10-02 Toshiba Corp 図絵描画支援装置、方法、及びプログラム
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
EP2992481A4 (en) 2013-05-03 2017-02-22 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
US9386235B2 (en) 2013-11-15 2016-07-05 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10003814B2 (en) * 2015-05-06 2018-06-19 Mediatek Inc. Image processor, display image processing method and associated electronic device
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
JP2017191323A (ja) * 2017-05-22 2017-10-19 フリュー株式会社 写真シール作成装置、表示制御方法、およびプログラム
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
WO2021216048A1 (en) * 2020-04-21 2021-10-28 Hewlett-Packard Development Company, L.P. Color correction of an image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69032318T2 (de) * 1989-08-31 1998-09-24 Canon Kk Vorrichtung zur Bildverarbeitung
JP2612358B2 (ja) * 1990-02-27 1997-05-21 株式会社日立製作所 画像処理装置
JP2521843B2 (ja) * 1990-10-04 1996-08-07 大日本スクリーン製造株式会社 セットアップパラメ―タ決定特性を修正する方法及び自動セットアップ装置
US5751450A (en) * 1996-05-22 1998-05-12 Medar, Inc. Method and system for measuring color difference

Also Published As

Publication number Publication date
US6229625B1 (en) 2001-05-08
JPH1127535A (ja) 1999-01-29

Similar Documents

Publication Publication Date Title
JP3877385B2 (ja) 画像処理パラメータ決定装置およびその方法
JP3457562B2 (ja) 画像処理装置及び方法
US6469805B1 (en) Post raster-image processing controls for digital color image printing
JP3652756B2 (ja) 画像処理方法及び装置
US5748335A (en) Image reading apparatus with A/D conversion and adjustment thereof
JP2521843B2 (ja) セットアップパラメ―タ決定特性を修正する方法及び自動セットアップ装置
US20020036696A1 (en) Image processing method, image processing apparatus and recording medium storing program therefor
JPH11150656A (ja) 画像処理方法および装置、並びにその処理を実行するためのプログラムを記録した記録媒体
JP2011018354A (ja) 画像修整プログラムを記録した媒体、画像修整装置および画像修整方法
JP2964492B2 (ja) 画像処理装置及び画像処理方法
JP4904798B2 (ja) 複数画像修整装置、コンピュータプログラム、および記録媒体
JPH05336287A (ja) 画像形成装置
US5383032A (en) Image processing system
JP2884549B2 (ja) 製版用スキャナシステムおよび製版用スキャナ
JPH06103927B2 (ja) トーンカーブ設定方法
JP2001223891A (ja) 画像処理方法
JP4083823B2 (ja) 画像処理装置
JPH11167633A (ja) 画像解析方法およびその装置
JPH02105677A (ja) 画像入出力システム及び信号処理条件の設定方法
JP2000105820A (ja) モノト―ン変換装置、モノト―ン変換方法およびモノト―ン変換プログラムを記録した媒体
JP3209757B2 (ja) 色補正方法
JPH11154235A (ja) 画像の参照濃度値の抽出方法およびその装置、並びに画像処理装置
JP2002051225A (ja) 画像処理装置及び方法
JP2557537B2 (ja) 濃度信号変換特性の設定装置
JP2574021B2 (ja) 画像入出力装置及び信号処理条件の自動設定方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040716

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040803

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091110

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091110

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131110

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees