JP6576174B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6576174B2 JP6576174B2 JP2015175837A JP2015175837A JP6576174B2 JP 6576174 B2 JP6576174 B2 JP 6576174B2 JP 2015175837 A JP2015175837 A JP 2015175837A JP 2015175837 A JP2015175837 A JP 2015175837A JP 6576174 B2 JP6576174 B2 JP 6576174B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- recovery
- sharpness reduction
- sharpness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 138
- 238000003672 processing method Methods 0.000 title description 2
- 230000009467 reduction Effects 0.000 claims description 326
- 238000003384 imaging method Methods 0.000 claims description 252
- 238000012937 correction Methods 0.000 claims description 152
- 238000011084 recovery Methods 0.000 claims description 108
- 238000004364 calculation method Methods 0.000 claims description 49
- 230000000875 corresponding effect Effects 0.000 claims description 29
- 230000006866 deterioration Effects 0.000 claims description 19
- 230000015556 catabolic process Effects 0.000 claims description 15
- 238000006731 degradation reaction Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 9
- 230000002411 adverse Effects 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000007812 deficiency Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 190
- 230000008569 process Effects 0.000 description 137
- 230000015572 biosynthetic process Effects 0.000 description 38
- 230000006870 function Effects 0.000 description 18
- 238000007639 printing Methods 0.000 description 13
- 230000007423 decrease Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001131 transforming effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
- Image Processing (AREA)
Description
従来、鮮鋭性向上のための画像処理装置として、特許文献1に記載の技術がある。この技術は、画像形成対象である画像データの作成過程における空間周波数特性と、画像データを出力する出力モードにおける空間周波数特性とに基づいて、画像処理システム全体の理想的な空間周波数特性(目標伝達特性)を実現するように、当該画像データの補正特性を設定するものである。
しかしながら、上記特許文献1に記載の技術にあっては、画像形成装置側において、上記のようなユーザによって鮮鋭低下の回復(補正)の程度が調整された情報を取得することはできない。そのため、ユーザよって鮮鋭性が様々な回復状態に調整された撮像画像が与えられた場合、画像形成装置側の処理において適正なプリント鮮鋭回復ができない。
そこで、本発明は、撮像装置から入力された撮像画像を画像形成装置で出力する際に、撮像装置から様々な回復状態に調整された撮像画像が入力された場合であっても、画像形成装置での出力に適正な画像回復を行うことを目的とする。
このように、撮像画像において発生している撮像系に起因する鮮鋭低下に関する情報を取得するので、撮像装置側で画像劣化(鮮鋭低下)の補正(回復)処理が行われているか否かや、どの程度補正(回復)されているか等を特定することができる。したがって、撮像装置側の画像回復処理に応じた画像形成装置側の画像回復処理を行うことができる。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
(第一の実施形態)
図1は、第一の実施形態における画像処理システムの構成例を示す図である。
画像処理システム100は、撮像装置10と、画像形成装置20とを備える。撮像装置10と画像形成装置20とは、例えば、USB(Universal Serial Bus)やIEEE1394等のシリアルバスインタフェイス、または回路等によって接続されている。
撮像装置10は、例えばデジタルカメラ等の画像入力装置であり、撮像センサ部101、撮像パラメータ取得部102、撮像UI(ユーザインターフェース)部103、撮像情報表示部104、第一設定情報算出部105、撮像画像処理部106、データ記憶部107、及びデータ出力部108を備える。
撮像パラメータ取得部102は、図2に示す撮像パラメータ保持部112から、当該撮像パラメータ保持部112に保持された第一鮮鋭低下情報と第一補正情報とを読み出し、取得する。ここで、第一鮮鋭低下情報とは、撮像装置10の撮像系(撮像部)に起因する画像劣化(鮮鋭低下)に関する情報であり、第一補正情報とは、上記撮像部の鮮鋭低下を補正するための情報である。より具体的には、第一鮮鋭低下情報は、撮像光学系の種々の収差に由来する画像劣化(鮮鋭度の低下)を表す情報であり、点広がり関数(PSF:Point Spread Function)であるp(x,y)、またはp(x,y)をフーリエ変換した空間周波数特性で表す。ここで、(x,y)は、実空間における画像の座標を示す。また、第一補正情報は、空間フィルタ係数h(x,y)で表す。この第一補正情報は、第一鮮鋭低下情報の逆関数(逆フィルタ)である。
撮像画像処理部106は、第一設定情報算出部105で算出した第一設定情報g(x,y)を用いて、被写体画像に対して撮像部の光学的な鮮鋭低下を補正する画像回復処理を施し、撮像画像を生成する。撮像画像処理部106は、生成した撮像画像を撮像情報表示部104に表示させる。
データ記憶部107は、撮像画像処理部106で生成した撮像画像を格納する。また、同時に、当該撮像画像に対応した第一鮮鋭低下情報と第一設定情報とが保存可能な場合には、これらの保存も行う。
データ出力部108には、ケーブル等を介して画像形成装置20を接続したり、メモリカード等の記録媒体を接続したりすることができる。そして、データ出力部108は、データ記憶部107に格納した撮像画像を、画像形成装置20に直接出力したり上記の記録媒体等に出力したりする。
画像形成装置20は、例えばプリンタ等であり、画像処理部20Aを備える。画像処理部20Aは、データ取得部201と、画像形成パラメータ取得部202と、形成UI(ユーザインターフェース)部203と、形成情報表示部204と、第二設定情報算出部205と、変倍処理部206と、形成データ記憶部207と、画像形成処理部208と、を備える。また、画像形成装置20は、画像形成部(画像形成系)209をさらに備える。
データ取得部201は、撮像装置10や当該撮像装置10で撮像した撮像画像が記録された記録媒体等から、撮像装置10で撮像した撮像画像を取得する。このとき、データ取得部201は、撮像画像に対応した第一鮮鋭低下情報及び第一設定情報が取得可能か否かの判定を行い、取得可能である場合はこれらの取得も行う。
形成UI部203は、形成情報表示部204に後述する形成指示情報をユーザに入力させるための入力画面を表示させると共に、当該入力画面からユーザが入力した形成指示情報を取得する。ユーザによる形成指示情報の入力は、形成情報表示部204によってタッチパネルに表示された画面に対してタッチペン等を用いて行われてもよいし、各種スイッチや十字キーなどの操作部(入力部)の操作により行われてもよい。この形成UI部203は、上記形成指示情報として、画像の出力サイズに関する情報を取得する。
変倍処理部206は、撮像画像を画像形成部209で形成する解像度へ変倍する。この変倍処理部206は、ユーザによって指示された出力サイズに応じた変倍率で撮像画像を変倍し、変倍した撮像画像を形成データ記憶部207に出力する。なお、ここでいう変倍とは、拡大と縮小の両方を含むものとする。
図4は、撮像装置10のハードウェア構成の一例である。
撮像装置10は、CPU11と、ROM12と、RAM13と、外部メモリ14と、撮像部15と、入力部16と、表示部17と、通信I/F18と、システムバス19とを備える。CPU11は、撮像装置10における動作を統括的に制御するものであり、システムバス19を介して、各構成部(12〜18)を制御する。ROM12は、CPU11が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ14や着脱可能な記憶媒体(不図示)に記憶されていてもよい。RAM13は、CPU11の主メモリ、ワークエリア等として機能する。すなわち、CPU11は、処理の実行に際してROM12から必要なプログラム等をRAM13にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
図5は、撮像装置10で実行する画像処理手順の一例を示すフローチャートである。図5に示される処理は、図4に示すCPU11が、ROM12もしくは外部メモリ14に格納されたプログラムを読み出して実行することにより実現される。本実施形態では、この図5の処理は、例えば、ユーザから撮像装置10に対する撮影開始指示が入力されたタイミングで開始されるものとする。ただし、図5の処理の開始のタイミングは上記のタイミングに限らない。
先ずステップS1で、撮像装置10は、撮像センサ部101によって被写体画像であるRGBデータを撮影する。ここでは、撮像されたRGBデータを、それぞれ、rt(x,y)、gt(x,y)、bt(x,y)とする。これら被写体画像rt、gt、btは、一旦データメモリに格納される。
g(x,y)=h(x,y)×p1+dlt(x,y)……(1)
ここで、dlt(x、y)は係数の中心位置に1.0、中心以外の係数は0.0を持つデルタ関数である。
このように、第一設定情報g(x,y)は、第一補正情報h(x,y)と第一編集値p1との積に基づき表される。
すなわち、p1=1.0の場合、図8に示すように、空間フィルタ係数g(x,y)で表される第一設定情報1101は第一補正情報h(x,y)にデルタ関数dlt(x、y)を加えたものと等しくなり、撮像装置10の鮮鋭低下分を補正するような第一設定情報が設定される。このときの第一設定情報の空間周波数応答は、下段に示す空間周波数特性1102である。
さらに、p1=0.0の場合には、図8に示すように、空間フィルタ係数g(x,y)で表される第一設定情報1105は、係数中心以外は0(デルタ関数)となり、鮮鋭低下を補正しないことを意味する。このときの第一設定情報の空間周波数応答は、下段に示す空間周波数特性1106に示すものとなる。
図5に戻って、上記のステップS2で、撮像装置10が、ユーザが鮮鋭低下を補正する意思がないと判断した場合には、ステップS7に移行し、空間フィルタ係数g(x,y)である第一設定情報を0(第一編集値p1=0.0)とする。すなわち、鮮鋭低下を補正しないようにする。
rs(x,y)=rt(x,y)*g(x,y) ………(2)
gs(x,y)=gt(x,y)*g(x,y) ………(3)
bs(x,y)=bt(x,y)*g(x,y) ………(4)
ここで、上記の「*」はコンボリューション(畳み込み積分、積和)を示す。このように、撮像画像は、第一設定情報を用いて被写体画像の畳み込み処理により生成される。
なお、このステップS8では、撮像装置10は、ユーザが、撮像情報表示部104によって表示した撮像画像生成ボタン(不図示)を押したことを示す情報を取得したタイミングで、撮像画像を生成するようにしてもよい。また、上述の処理はRGBに対してのコンボリューションを行ったが、RGBからYCbCr等に変換した後、輝度Y信号にのみコンボリューション処理を行っても良い。あるいは、上述のコンボリューション処理を、高速フーリエ変換等で行っても良い。その場合は、高速フーリエ変換を用いて空間周波数領域に変換した後、積算処理を行った後、高速フーリエ逆変換をする。
ここで、ステップS13では、第一設定情報は対応する撮像画像のタグに保存してもよいし、当該撮像画像の付加情報として保存してもよい。また、第一設定情報は、空間フィルタ係数で表されるg(x,y)をフーリエ変換して得られる空間周波数特性として保存してもよい。さらに、第一設定情報として、第一編集値p1を保存してもよい。
以上のように、撮像装置10は、被写体画像に対して撮像部に起因する画像劣化(鮮鋭低下)を補正する画像回復処理(鮮鋭低下補正処理)を施し、撮像画像を生成する。このとき、ユーザの指示により、鮮鋭低下の補正の程度(強度)が調整される。
なお、上述の例では第一編集値p1として強度値を指定する場合について説明したが、鮮鋭低下を回復する空間周波数の値を指定してもよい。例えば、指定した空間周波数値以下の鮮鋭低下を補正(回復)するようにした場合、指定した空間周波数値が大きい場合は補正(回復)する周波数帯の範囲が広いため、補正(回復)の程度は大きくなる。逆に、指定した空間周波数値が小さい場合は補正(回復)する周波数帯の幅が狭いため、補正(回復)の程度は小さくなる。
したがって、撮像部の鮮鋭低下情報や、鮮鋭低下補正のための情報(実際に画像回復処理に用いた補正量)は、画像形成装置20へ伝わらないこともあり得る。そこで、画像形成装置20では、第一画像情報が取得できたか否かに応じて、適正なプリント鮮鋭回復ができるよう画像処理を実施する。
図9は、画像形成装置20で実行する画像処理手順の一例を示すフローチャートである。図9に示される処理は、画像形成装置20を構成するCPUが、ROMもしくは外部メモリに格納されたプログラムを読み出して実行することにより実現される。本実施形態では、この図9の処理は、例えば、ユーザが画像形成部209による撮像画像の出力開始指示が入力されたタイミングで開始されるものとする。ただし、図9の処理の開始のタイミングは上記のタイミングに限らない。
ステップS24では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報のみに基づいて、画像回復処理に用いる第二設定情報k(x,y)を算出する(第一の設定方法)。このステップS24では、画像形成装置20は、撮像装置10において発生する鮮鋭低下の程度が不明であるため、画像形成部209の鮮鋭低下のみを補正する第二設定情報k(x,y)を算出する。
先ず、画像形成装置20は、画像形成パラメータ保持部212から空間周波数特性で与えられる第二鮮鋭低下情報1201を取得し、図10に示すように、第二鮮鋭低下情報1201に対して逆特性算出処理1202を行い、第二鮮鋭低下情報の逆特性1203を求める。この逆特性1203は、画像形成部209の鮮鋭低下を理想的に補正するための第二補正情報である。なお、第二鮮鋭低下情報1201を取得する代わりに、予め第二補正情報を保持しておくことでも、同様の機能を実現できる。
なお、第二補正情報は、第二鮮鋭低下情報1201の逆特性1203そのものに限定されるものではなく、第二鮮鋭低下情報に基づいて鮮鋭低下を補正するために生成されたものであれば良い。
次に、この逆特性1203に対してフーリエ逆変換処理1204を行い、空間フィルタ係数k(x,y)1205を得る。この空間フィルタ係数k(x,y)が、画像形成部209の鮮鋭低下のみを補正する第二設定情報である。
なお、上記第一の設定方法として、図10に示すように、第二鮮鋭低下情報のみに基づいて第二設定情報k(x,y)を設定する方法について説明したが、撮像部の鮮鋭低下を極力予測した上で、当該予測分を補正するよう第二設定情報k(x,y)を設定する方法を採用してもよい。
ステップS26では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報と、撮像装置10の鮮鋭低下を示す第一鮮鋭低下情報とに基づいて、第二設定情報k(x,y)を算出する(第二の設定方法)。このステップS26では、画像形成装置20は、第一設定情報(撮像装置10においてどの程度鮮鋭低下が補正されたか)は特定できないが、第一鮮鋭低下情報(撮像装置10においてどの程度鮮鋭低下が発生するか)は明確であるため、撮像装置10の鮮鋭低下成分を調整しつつ、画像形成部209の鮮鋭低下を補正する第二設定情報k(x,y)を算出する。
この図11に示すように、先ず、画像形成装置20は、空間周波数特性で与えられる第一鮮鋭低下情報1301に対して変倍処理1302を行う。この変倍処理1302では、上記のステップS22で実施した変倍に対応して、空間周波数の軸を[cycles/degree]から[cycles/mm]に変更する処理を行う。これにより、プリント解像度換算の第一鮮鋭低下情報1303を得る。
撮像装置10において鮮鋭低下補正がなされていない場合には、この逆特性1305を用いて撮像画像に対する画像回復処理を行うことで、撮像部の鮮鋭低下を適正に補正することができる。しかしながら、このステップS26では、第一設定情報が不明であるため、上記の逆特性1305を用いた画像回復処理では過補正となるおそれがある。
上記調整値αは、0.0以上1.0以下の値を取り得る。本実施形態では、等倍印刷(変倍なし)の場合は調整値を0.5とし、拡大の場合は0.5よりも小さく、縮小の場合は0.5よりも大きい値を設定する。さらに、拡大されればされるほど、より小さな調整値を設定し、縮小されればされるほど、より大きな調整値を設定するようにしてもよい。すなわち、拡大の場合は補正を弱め、縮小の場合は補正を強める傾向にする。この理由について、以下に説明する。
そこで、本実施形態では、仮に撮像装置10側で補正してしたとしてもそれほど画像弊害にならず、且つ撮像装置10側で補正していないとしても多少は回復できる程度として、調整値を0.5に設定する。また、撮像装置10で撮影した画像の弊害(リンギングやオーバーシュート等)が視認され易いのは、縮小印刷の場合よりも拡大印刷の場合である。これは、拡大印刷の方が撮影した画像1ピクセル当たりのサイズが大きくなるためである。そのため、拡大の場合は調整値αを0.5よりも小さく、弊害が目立ちにくい縮小の場合は調整値を0.5より大きくすることが好ましい。
このようにする理由は、一定の周波数以上のパワースペクトル、振幅スペクトルが多い場合には、補正により色域外へのクリッピングが生じやすくなり、リンギングやオーバーシュート等の画像弊害が発生する可能性が高くなるためである。なお、この調整値(補正の程度)は、拡大/縮小前の空間周波数特性から求めても良い。
具体的には、画像を拡大すればするほど、紙面上の空間周波数[cycles/mm]は下がる(拡大すれば、細かい縞も、大きな縞となって印刷される)。この場合、拡大すればするほど、紙面上の空間周波数特性において、一定の周波数[cycles/mm]以上のパワースペクトル、振幅スペクトル成分となる量は小さくなる。すなわち、画像を拡大すればするほど、画像の拡大率に応じた調整値α1は小さくなるが、紙面上の空間周波数特性に応じた調整値α2は大きくなる。
図11に戻って、画像形成部209の鮮鋭低下分の補正については、上述した図10に示す第一の設定方法と同様の処理を行う。すなわち、画像形成装置20は、空間周波数特性で与えられる第二鮮鋭低下情報1308に対して逆特性算出処理1309を行い、第二鮮鋭低下情報の逆特性1310を求める。この逆特性1310が、画像形成部209の鮮鋭低下分を補正するための情報となる。なお、第二鮮鋭低下情報1308ではなく、予め鮮鋭性低下分を補正する第二補正情報を保持しておくことでも、同様の機能を実現できる。また、このとき取得する第二補正情報は、第二鮮鋭低下情報1308の逆特性1309そのものではなく、逆特性よりも少し弱い(空間周波数特性が低い)特性でも良いし、逆特性よりも少し強い(空間周波数特性が高い)特性でも良い。
なお、ステップS26においても、上述したステップS24での処理と同様に、画像弊害が発生しない程度の更なる鮮鋭低下の補正を追加してもよい。
図9のステップS27では、画像形成装置20は、S21において取得した第一設定情報g(x,y)が0であるか否かを判定する。そして、画像形成装置20は、第一設定情報が0ではないと判断した場合にはステップS28に移行し、第一設定情報が0であると判断した場合にはステップS29に移行する。
この図13に示すように、先ず、画像形成装置20は、撮像装置10の鮮鋭低下分の補正について、上述した図12に示す第三の設定方法と同様の処理を行う。すなわち、画像形成装置20は、空間周波数特性で与えられる第一鮮鋭低下情報1501に対して変倍処理1502を行う。この変倍処理1502では、上記のステップS22で実施した変倍に対応して、空間周波数の軸を[cycles/degree]から[cycles/mm]に変更する処理を行う。これにより、プリント解像度換算の第一鮮鋭低下情報1503を得る。
rp(x,y)=rs(x,y)*k(x,y) ………(5)
gp(x,y)=gs(x,y)*k(x,y) ………(6)
bp(x,y)=bs(x,y)*k(x,y) ………(7)
ここで、上記の「*」はコンボリューション(畳み込み積分、積和)を示す。このように、形成画像は、第二設定情報を用いて撮像画像の畳み込み処理により生成される。なお、このステップS30では、例えば、形成情報表示部204によって表示した形成画像生成ボタン(不図示)を押したことを示す情報を取得したタイミングで、形成画像を生成するようにしてもよい。また、上述の処理はRGBに対してのコンボリューション処理であるが、RGB→YCbCr等に変換した後、輝度信号Yにのみコンボリューション処理を行っても良い。また、上述のコンボリューション処理を、高速フーリエ変換等で行っても良い。その場合は、高速フーリエ変換を用いて空間周波数領域に変換した後、積算処理を行った後、高速フーリエ逆変換をする。
以上のように、本実施形態では、画像形成装置20において、少なくとも撮像装置10における撮像画像の生成過程において実施され得る画像回復処理に関する情報を取得し、撮像装置10側におけるMTF補正に応じた補正を行う。したがって、鮮鋭性が様々な回復状態に調整された撮像画像を入力した場合であっても、撮像装置10側における鮮鋭低下の補正(回復)の程度に応じて適正なプリント鮮鋭補正を行うことができる。
なお、図12において、各処理1407及び1409は第一の算出手段の一例に相当し、各処理1402及び1404は第二の算出手段の一例に相当し、各処理1413及び1416は第三の算出手段の一例に相当し、各処理1411及び1415は第四の算出手段の一例に相当している。
さらにこの場合、上記第一画像回復フィルタを、変倍処理部206で実施する変倍処理の変倍率が大きいほど補正(回復)の強度が弱まるように算出する。例えば、画像形成装置20は、上記変倍率が大きいほど強度が弱まるように算出してもよい。このように、画像弊害が視認し易い拡大印刷の場合は、画像弊害が視認し難い縮小印刷の場合と比較して補正(回復)の強度を弱める。これにより、プリント物を好適なものとすることができる。
上述の第一の実施形態では、第一設定情報、および第一鮮鋭低下情報を用いて、鮮鋭性回復を行う第二設定情報を算出した。第二の実施形態では、第一鮮鋭低下情報を用いずに、鮮鋭性回復を行う例をさらに詳しく説明する。
なお、上述の第一の実施形態においては、第一設定情報算出部105は、第一編集値p1と第一補正情報h(x,y)とに基づいて、回復処理に用いる第一設定情報g(x,y)を算出した。また、この第一設定情報は、空間フィルタ係数g(x,y)と第一編集値p1とのセットであってもよいし、第一補正情報h(x,y)と第一編集値p1とのセットであってもよいとした。
第二の実施形態では、第一設定情報は、第一補正情報h(x,y)と、第一編集値p1をセットで保持した場合を例に説明する。すなわち、撮像装置10は、上記(1)式(1)で示したg(x,y)=h(x,y)×p1+dlt(x、y)のうち、第一補正情報h(x,y)と第一編集値p1を第一設定情報として保持する。なお、dlt(x、y)は常に一定で、明示的に保持する必要はない。
なお、この組み合わせの保持の例は一例であり、その他の組み合わせで保持しても良い。
図15は、画像形成装置20において実行する鮮鋭性回復を示す画像処理手順の一例を示すフローチャートである。上記フローチャートは、図9のフローチャートに対応する。なお、本実施形態においては、図15のフローチャート以外は第一の実施形態と同じであるため、説明を省略する。
先ずステップS41で、画像形成装置20は、撮像装置10から撮像画像を取得し、ステップS42に移行する。ステップS42では、画像形成装置20は、ステップS41で取得した撮像画像をプリントの解像度へ変倍する。このステップS42では、第一の実施形態と同様、形成UI部203からユーザが指定した出力サイズに関する情報を取得し、指示された出力サイズに応じた変倍率で上記の変倍処理を実行する。変倍した撮像画像は、形成データメモリに一旦保持する。
ステップS46では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報と、第一設定情報(h(x、y)、p1)とに基づいて、第二設定情報k(x,y)を算出する(第二の設定方法)。このステップS46では、画像形成装置20は、第一編集値のp1を用いて、撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分の合計を補正する第二設定情報を算出する。
図15に戻って、第一設定情報における編集値p1が1であると判断した場合にはステップS47に移行する。図15のステップS47では、画像形成装置20は、画像形成部209の鮮鋭低下を示す第二鮮鋭低下情報と、第一設定情報(h(x、y)、p1)とに基づいて、第二設定情報k(x,y)を算出する(第三の設定方法)。このステップS47の処理は、第一設定情報が1であり十分な補正がなされているため、修正処理が必要ない点で、ステップS46の処理とは異なる。このステップS47では、画像形成装置20は、単純に画像形成部209の鮮鋭低下分を補正する第二設定情報を算出する。この処理は、第一の実施形態のS24(図10)と同様の処理である。また、プリント解像度への変倍率(拡大率)、または空間周波数特性に応じて、回復の調整率を決めても良い。
これにより、画像形成装置20は、撮像装置10の鮮鋭低下情報が特定できない場合であっても、撮像装置10の鮮鋭低下分を適切に補正することができる。つまり、画像形成装置20は、第一編集値p1に基づいて第一補正情報h(x,y)を(1−p1)倍する修正処理を行うことで、撮像装置10において中途半端に行われた回復処理を補正することができる。
上述の、第一および第二の実施形態では、少なくとも撮像部の光学的な鮮鋭低下を補正するための情報として第一設定情報を取得し、鮮鋭性回復に用いる方法を示した。第三の実施形態では、撮像部の光学的な鮮鋭低下を補正するための情報として、撮像画像の鮮鋭性(画像劣化)と相関のある付加情報を取得する場合について説明する。ここで付加情報とは、撮像部における撮像のためのパラメータである。具体的には、付加情報は、フォーカス位置、絞り値(f値)、焦点距離、画像の位置情報(像高もしくは画像中心からの距離)、スティッチサイズ、画像の表面形状情報、光沢(偏光)情報などを含む。以降の説明では、上記の付加情報を第三設定情報とする。
図17は、画像形成装置20において実行する画像処理手順の一例を示すフローチャートである。図17に示される処理は、画像形成装置20を構成するCPUが所定のプログラムを読み出して実行することにより実現され得る。この図17の説明では、第三設定情報として、フォーカス位置を例に挙げて説明する。
ステップS51からステップS54では、画像形成装置20は、図15のステップS41からステップS44と同様の処理を行う。
ステップS55では、画像形成装置20では、S51において取得した撮像画像に対応する第三設定情報を取得できたか否かを判定する。そして、第三設定情報が取得できなかったと判断した場合には、ステップS56に移行し、第三設定情報を取得できたと判断した場合にはステップS57に移行する。第三の実施形態においては、画像形成装置20は、第三設定情報として、撮像画像におけるフォーカス情報fcsの情報の取得ができたか否かを判定する。フォーカス情報fcsは、撮像画像において、どの位置でフォーカスが合致したかを示す情報である。このfcs情報は、撮像画像と同じ画像サイズ(撮像画像と同じ解像度)の領域の中で、フォーカスが合致している場合に1、フォーカスが合致していない場合に0の値をとるものとする。例えば画像全体でフォーカスが合致している場合は、すべて1の値が設定されている。画像の一部分のみのフォーカスが合致している場合は、該一部分の領域のみ1の値が設定されている。なお、上述の例では、撮像画像と同じ画像サイズ分と同じ領域を設定した例を示したが、撮像画像よりも、サイズの小さな領域で設定されていてもよい。
そして、画像形成装置20は、ステップS55において第三設定情報が取得できなかったと判断した場合にはS56に移行し、第二の実施形態と同様に図16に示す処理により第二設定情報k(x,y)を算出する(第二の設定方法)。このステップS56では、画像形成装置20は、第一設定情報のp1をもとに撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分の合計を補正する第二設定情報を算出する。
ステップS55において第三設定情報を取得できたと判断した場合にはステップS57に移行する。ステップS57では、画像形成装置20は、画像形成部209の鮮鋭低下を示す第二鮮鋭低下情報と、第一設定情報(h(x、y)、p1)と、第三設定情報(フォーカス情報fcs)とに基づいて、第二設定情報k(x,y)を算出する(第三の設定方法)。このステップS57では、画像形成装置20は、第三設定情報(フォーカス情報fcs)と、第一設定情報のp1とを用いて、撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分の合計を補正する第二設定情報を算出する。
なお、上述の場合は、フォーカス情報fcsが0か1の2値(1ビット)のため、鮮鋭性回復(向上)、鮮鋭性低減の2種類の処理を実施した。フォーカス情報fcsが多値(たとえば8ビット)などの場合は、その値に応じて、鮮鋭性回復(向上)や鮮鋭性低減の強度を設定してもよい。
上述の例では、撮影の付加情報としてフォーカス情報fcsに基づいて補正する方法を説明した。しかしながら、上述の第三設定情報はフォーカス情報fcsに限定されるものではない。第三設定情報は絞り値(f値)fnumであってもよく、絞り値fnumの大きさによって、鮮鋭性回復(向上)の強度を設定してもよい。絞りを大きくすると画像全体の鮮鋭性が向上するため、絞りが大きい(絞り値fnumが大きい)場合には、より鮮鋭性を向上したいと意図された画像である考えることができる。そこで、画像形成装置20は、絞り値fnumが大きいほど、鮮鋭性補正量を大きくするような処理をしてもよい。
さらに、第三設定情報は、焦点距離であってもよい。第三設定情報が焦点距離である場合にも、第三設定情報が絞り値fnumである場合と同様の効果がある。例えば、焦点距離が遠くなるほど、フォーカス情報fcsが0(フォーカス不合致)となる領域の鮮鋭性が低減する傾向がある。そこで、画像形成装置20は焦点距離が大きく(遠く)かつ、フォーカス情報fcsが0(フォーカス不合致)となる領域は、より鮮鋭性を低減するような処理を行ってもよい。
ただし、画像の連結(つなぎ、スティッチ)撮影などがなされている場合は、単純に像高(画像中心からの距離)だけから、鮮鋭性の向上の程度を算出することはできない。連結された画像は、画像中心が複数存在するため、画像形成装置20は、スティッチ画像の特徴量を考慮して、鮮鋭性回復処理を施してもよい。ここで、スティッチ画像の特徴量は、繋ぎ合わされた画像の数(縦横連結数)、画像を連結した位置、連結した画像のサイズなどを含む。
以上説明したように、本実施形態では、画像形成装置20は、撮像画像の画像劣化と相関のある付加情報を取得可能である。そして、画像形成装置20は、取得した付加情報を用いて画像回復情報(例えば第二設定情報)を設定する。付加情報としては、フォーカス位置、絞り値、焦点距離、画像の位置情報、繋ぎ合わされた画像の数、画像の表面形状情報、画像の光沢情報の少なくとも1つを活用することができる。これにより、より適切に鮮鋭低下を補正することができる。
上記第一の実施形態においては、画像形成装置20において、第一鮮鋭低下情報が取得できない場合には(図9のステップS23でNo)、第二鮮鋭低下情報のみに基づいて第二設定情報を設定する場合について説明した。しかしながら、画像形成装置20は、第一鮮鋭低下情報が取得できず、第二鮮鋭低下情報が取得できなかった場合でも、第一設定情報が取得できた場合には、当該第一設定情報に基づいて第二設定情報を設定してもよい。
この場合、第一設定情報に比例するように第二設定情報を設定してもよい。例えば、空間周波数特性で与えられる第一設定情報をフーリエ逆変換することで、撮像装置10で実施した画像回復処理で用いた画像回復フィルタ(第三画像回復フィルタ)を算出し、当該フィルタによる画像回復強度に比例する画像回復強度を有する画像回復フィルタ(第四画像回復フィルタ)を第二設定情報としてもよい。さらに、この場合、例えば、第一設定情報が所定の値以上の場合に第二設定情報が一定値となるよう設定してもよい。すなわち、第三画像回復フィルタによる画像回復強度が所定値以上であるとき、第四画像回復フィルタによる画像回復強度を一定値としてもよい。
ここでは、第一編集値p1に応じて第二編集値p2の上限値を設定しており、第一鮮鋭低下情報は不明である。そこで、仮に撮像装置10の鮮鋭低下の程度が比較的小さくてもそれほど過補正とならずに画像弊害を抑制でき、且つ撮像装置10の鮮鋭低下の程度が比較的大きくても多少は鮮鋭低下を回復できる程度として、合計値p1+p2を1.7に設定する。なお、ここでは合計値p1+p2が1.7を超える範囲を編集不可能範囲としているが、1.7に限定されるものではなく、1.5や、2.0、3.0等の値であってもよい。このように、第二編集値p2の上限値を設定することにより、ユーザが第二編集値p2を大きくしすぎてしまうことに起因する過補正を防止することができる。
上述した第二設定情報のデフォルト値をq(x、y)と定義すると、編集後の第二設定情報q2(x,y)は、第二編集値p2(≧0)によって次式で表される。なお、上記例のqは、第二鮮鋭低下情報に基づいてのみ設定されたものとする(この場合、画像形成部209の鮮鋭低下を理想的に補正する)。
q2(x,y)=q(x,y)×p2 ………(8)
すなわち、第二編集値p2の値が小さいほど、編集後の第二設定情報q2は、補正の強度として小さくなる。
さらに、上記実施形態においては、画像処理装置20Aが画像形成装置20に搭載されている場合について説明したが、画像処理装置20Aは別装置に搭載されていてもよい。例えば、撮像装置10と画像処理装置20Aが搭載された装置とを通信可能に接続すると共に、画像処理装置20Aが搭載された装置と画像形成部209を備える画像形成装置とを通信可能に接続した画像処理システムにも適用可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (18)
- 撮像系で撮像された撮像画像を取得する第一の取得手段と、
前記撮像画像において発生している前記撮像系に起因する鮮鋭低下に関する第一画像情報を取得する第二の取得手段と、
前記撮像画像に対する、前記第一画像情報に応じた回復処理を特定する特定手段と、
前記撮像画像に基づいて記録媒体上に画像を形成する画像形成系に起因する鮮鋭低下に関する第二画像情報を取得する第三の取得手段と、
前記第一画像情報と前記第二画像情報とに基づいて、前記撮像系に起因する鮮鋭低下と前記画像形成系に起因する鮮鋭低下の少なくとも一方を補正するための画像回復情報を設定する設定手段と、
前記撮像画像に対して、前記画像回復情報を用いて回復処理により補正を施す補正手段と、を有し、
前記設定手段は、前記特定手段による回復処理の特定結果に応じて、前記画像回復情報を設定することを特徴とする画像処理装置。 - 前記第二の取得手段は、前記撮像系において実施され得る回復処理に関する第一画像回復情報と、前記撮像系に起因する鮮鋭低下に関する第一画像劣化情報とを前記第一画像情報として取得し、
前記設定手段は、前記第一画像回復情報及び前記第一画像劣化情報と、前記第二画像情報とに基づいて、前記画像回復情報を設定することを特徴とする請求項1に記載の画像処理装置。 - 前記設定手段は、
前記第二の取得手段で取得した第一画像劣化情報に基づいて、前記撮像系に起因する鮮鋭低下を補正するための第一画像回復フィルタを算出する第一の算出手段と、
前記第二の取得手段で取得した第一画像回復情報に基づいて、前記撮像系において実施された回復処理をキャンセルするキャンセルフィルタを算出する第二の算出手段と、前記第二画像情報に基づいて、前記画像形成系に起因する鮮鋭低下を補正するための第二画像回復フィルタを算出する第三の算出手段と、
前記第一の算出手段で算出した第一画像回復フィルタと、前記第二の算出手段で算出したキャンセルフィルタと、前記第三の算出手段で算出した第二画像回復フィルタとを合成し、その結果を前記画像回復情報として算出する第四の算出手段と、を備えることを特徴とする請求項2に記載の画像処理装置。 - 前記特定手段は、前記撮像系において回復処理が実施されたか否かを判定し、
前記特定手段により前記回復処理が実施されていないと判定されたとき、
前記第二の算出手段は前記キャンセルフィルタを零として算出することを特徴とする請求項3に記載の画像処理装置。 - 前記特定手段は、前記第二の取得手段により第一画像劣化情報及び第一画像回復情報を取得できたか否かを判定することにより、撮像系において回復処理が実施されたか否かを判定し、
前記特定手段が前記第一画像劣化情報を取得でき、且つ前記第一画像回復情報を取得できなかったと判定したとき、
前記第一の算出手段は、前記第一画像回復フィルタを、前記第一画像回復情報を取得できた場合と比較して、前記撮像系に起因する鮮鋭低下を補正する強度を弱めるように算出し、前記第二の算出手段は前記キャンセルフィルタを零として算出することを特徴とする請求項3に記載の画像処理装置。 - 前記補正手段は、前記画像形成系における画像の出力サイズに応じた変倍率で前記撮像画像を変倍する変倍手段をさらに備え、前記変倍手段により変倍された前記撮像画像に対して前記回復処理を実施するように構成されており、
前記第一の算出手段は、前記第一画像回復フィルタを、前記変倍率に応じて強度が変化するように算出することを特徴とする請求項3に記載の画像処理装置。 - 前記第二の取得手段は、前記撮像系において実施され得る回復処理に関する第一画像回復情報と、前記撮像系に起因する鮮鋭低下の回復の程度を示した編集値とを前記第一画像情報として取得し、
前記設定手段は、前記第一画像回復情報及び前記編集値と、第二画像回復情報とに基づいて、前記画像回復情報を設定することを特徴とする請求項1に記載の画像処理装置。 - 前記設定手段は、
前記第一画像回復情報と、前記編集値とに基づいて、前記撮像系において実施された回復処理による前記撮像系に起因する鮮鋭低下の回復の不足分を補正するための第三画像回復フィルタを算出する第四の算出手段と、
前記第二画像情報に基づいて、前記画像形成系に起因する鮮鋭低下を補正するための第四画像回復フィルタを算出する第五の算出手段と、
前記第三画像回復フィルタと、前記第四画像回復フィルタとを合成し、その結果を前記画像回復情報として算出する第六の算出手段と、を備えることを特徴とする請求項7に記載の画像処理装置。 - 前記第二の取得手段は、さらに前記撮像画像の鮮鋭低下と相関のある付加情報を前記第一画像情報として取得し、
前記設定手段は、前記第一画像回復情報および前記編集値と、前記付加情報と、前記第二画像回復情報とに基づいて、前記画像回復情報を設定することを特徴とする請求項7に記載の画像処理装置。 - 前記付加情報は、
フォーカス位置、絞り値、焦点距離、画像の位置情報、繋ぎ合わされた画像の数、画像の表面形状情報、画像の光沢情報の少なくとも1つであることを特徴とする請求項9に記載の画像処理装置。 - 前記第三の取得手段により前記第二画像情報を取得できたか否かを判定する判定手段をさらに備え、
前記設定手段は、
前記第一画像情報に基づいて、前記撮像系において実施された回復処理に用いた第五画像回復フィルタを算出する第七の算出手段と、
前記判定手段により前記第二画像情報を取得できなかったと判定されたとき、前記第五画像回復フィルタによる画像回復強度に比例する画像回復強度を有する第六画像回復フィルタを、前記画像回復情報として算出する第八の算出手段と、
を備えることを特徴とする請求項1に記載の画像処理装置。 - 前記第八の算出手段は、
前記第五画像回復フィルタによる画像回復強度が所定値以上であるとき、前記第六画像回復フィルタの画像回復強度を一定値とすることを特徴とする請求項11に記載の画像処理装置。 - 前記補正手段は、
前記画像形成系における画像の出力サイズに応じた変倍率で前記撮像画像を変倍する変倍手段をさらに備え、前記変倍手段により変倍された前記撮像画像に対して前記回復処理を実施するように構成されており、
前記設定手段は、
前記変倍率に応じた前記画像回復情報を設定することを特徴とする請求項1に記載の画像処理装置。 - 前記設定手段は、
前記補正手段による前記回復処理の結果、補正後の撮像画像に画像弊害が発生しないよう前記画像回復情報を調整する調整手段をさらに備え、
前記画像弊害は、画像のクリッピング、リンギング、ノイズの増加、及び色ずれの少なくとも1つであることを特徴とする請求項1に記載の画像処理装置。 - 前記設定手段は、
前記第三の取得手段で取得した第二画像情報に基づいて、前記画像形成系に起因する鮮鋭低下を補正するための第二画像回復フィルタを算出する第三の算出手段と、
前記第三の算出手段で算出した前記第二画像回復フィルタを、前記第二の取得手段で取得した第一画像回復情報に応じて変化する編集可能範囲内で編集し、前記画像回復情報とする編集手段と、をさらに備えることを特徴とする請求項1に記載の画像処理装置。 - 前記第三の算出手段で算出した前記第二画像回復フィルタの編集強度の入力を受け付けるユーザインターフェースを表示する表示手段をさらに備え、
前記編集手段は、ユーザが入力した編集強度で前記第二画像回復フィルタを編集するように構成されており、
前記第一画像回復情報は、前記撮像系において実施された前記回復処理による画像回復強度を示す情報であり、
前記画像回復強度が強いほど、前記編集強度の上限値が小さく設定されていることを特徴とする請求項15に記載の画像処理装置。 - 撮像系で撮像された撮像画像を取得するステップと、
前記撮像画像において発生している前記撮像系に起因する鮮鋭低下に関する第一画像情報を取得する第二の取得ステップと、
前記撮像画像に対する、前記第一画像情報に応じた回復処理を特定する特定ステップと、
前記撮像画像に基づいて記録媒体上に画像を形成する画像形成系に起因する鮮鋭低下に関する第二画像情報を取得するステップと、
前記特定ステップにおける回復処理の特定結果に応じて、前記第一画像情報と前記第二画像情報とに基づいて、前記撮像系に起因する鮮鋭低下と前記画像形成系に起因する鮮鋭低下との少なくとも一方を補正するための画像回復情報を設定するステップと、
前記撮像画像を、前記画像回復情報を用いた回復処理により補正するステップと、を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1〜16のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/882,939 US9508130B2 (en) | 2014-10-17 | 2015-10-14 | Image processing apparatus, image processing method, and storage medium for performing image restoration |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014212997 | 2014-10-17 | ||
JP2014212997 | 2014-10-17 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016082579A JP2016082579A (ja) | 2016-05-16 |
JP2016082579A5 JP2016082579A5 (ja) | 2018-10-04 |
JP6576174B2 true JP6576174B2 (ja) | 2019-09-18 |
Family
ID=55959360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015175837A Active JP6576174B2 (ja) | 2014-10-17 | 2015-09-07 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6576174B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7356218B2 (ja) * | 2018-02-15 | 2023-10-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7016835B2 (ja) | 2019-06-06 | 2022-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
-
2015
- 2015-09-07 JP JP2015175837A patent/JP6576174B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016082579A (ja) | 2016-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9508130B2 (en) | Image processing apparatus, image processing method, and storage medium for performing image restoration | |
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
US10958888B2 (en) | Image processing apparatus, image processing method and storage medium for storing program | |
US9349161B2 (en) | Image processing apparatus and image processing method with edge enhancement | |
JP5343726B2 (ja) | 画像処理装置、及び画像処理プログラム | |
JP2010092461A (ja) | 画像処理装置及び画像処理方法 | |
JP5275325B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 | |
CN105960658B (zh) | 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质 | |
JP5539208B2 (ja) | デジタルカラー画像を変換する方法、装置、コンピュータプログラム | |
US20210183090A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP4788393B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP5102552B2 (ja) | 画像処理システム、撮像装置及び出力装置 | |
JP5496036B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6576174B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
TWI387353B (zh) | 畫素插補電路、畫素插補方法及記錄媒體 | |
US8896729B2 (en) | Image processing apparatus and image processing method | |
JP4492706B2 (ja) | 撮影場面の判定および撮影場面に応じた画像処理 | |
JP4006590B2 (ja) | 画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラム | |
JP4883057B2 (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
JP2017041764A (ja) | 画像処理装置、および画像処理方法 | |
JP4099366B2 (ja) | 画像処理装置、画像読取装置、画像形成装置及び画像処理方法 | |
JP2013127804A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
JP5109804B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
JP5353382B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190820 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6576174 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |