JP6361169B2 - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP6361169B2
JP6361169B2 JP2014041365A JP2014041365A JP6361169B2 JP 6361169 B2 JP6361169 B2 JP 6361169B2 JP 2014041365 A JP2014041365 A JP 2014041365A JP 2014041365 A JP2014041365 A JP 2014041365A JP 6361169 B2 JP6361169 B2 JP 6361169B2
Authority
JP
Japan
Prior art keywords
value
luminance
distribution
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014041365A
Other languages
English (en)
Other versions
JP2015166968A (ja
Inventor
河内 亮太
亮太 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014041365A priority Critical patent/JP6361169B2/ja
Publication of JP2015166968A publication Critical patent/JP2015166968A/ja
Application granted granted Critical
Publication of JP6361169B2 publication Critical patent/JP6361169B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置及び画像処理プログラムに関する。
良好な処理後画像を提供することを目的とする画像処理装置が特許文献1に開示されている。この画像処理装置は、画像の明るさに関する成分の値の画素数に関するヒストグラムから、該画像の明るさの分布を判別し、該判別に基づいて、明るさに関する成分を補正する。
特開2003−274427号公報
しかしながら、従来の画像処理装置では、画素値のコントラストを良好にするなどの目的で、明るさに関する成分の分布を補正する場合、該成分の値が主たる領域に比べて極端に大きいまたは小さい領域があると、該小さな領域の影響により、主たる領域の明るさの幅が十分な大きさにならず、適切な明るさの分布が得られないことがあるという問題がある。
本発明は、前記の点に鑑みてなされたものであり、明るさが他の領域に比べて極端に大きいまたは小さい領域があっても、適切な明るさの分布が得られる画像処理装置及び画像処理プログラムを提供することを目的とする。
本発明の一態様は、画像を構成する画素の輝度値の分布を算出する輝度値分布算出部と、前記画素のうち輝度値に関する所定の条件を満たす画素を抽出する対象画素抽出部と、前記対象画素抽出部で抽出した画素の輝度値に基づいて前記輝度値分布を補正する輝度値分布補正部とを備え、前記対象画素抽出部は、前記画像の輝度値の累積密度分布を生成し、前記累積密度分布のクォンタイル関数の微分値を算出し、前記微分値に基づいて前記所定の条件を満たす輝度値を有する画素を抽出する、画像処理装置である。
また、本発明の一態様は、コンピュータに、画像を構成する画素の輝度値の分布を算出する算出手順と、前記画素のうち輝度値に関する所定の条件を満たす画素を抽出する抽出手順と、抽出した画素の輝度値に基づいて前記輝度値の分布を補正する補正手順と、を実行させ、前記抽出手順において、前記画像の輝度値の累積密度分布を生成し、前記累積密度分布のクォンタイル関数の微分値を算出し、前記微分値に基づいて前記所定の条件を満たす輝度値を有する画素を抽出する、画像処理プログラムである。
本発明によれば、画像処理装置及び画像処理プログラムは、明るさが他の領域に比べて極端に大きいまたは小さい領域があっても、適切な明るさの分布を得ることが出来る。
本発明の一実施形態における画像処理装置10の構成を示す概略ブロック図である。 同実施形態における対象画素抽出部13の動作を説明するフローチャートである。 同実施形態におけるヒストグラム生成部12が生成するヒストグラムの例を示すグラフである。 同実施形態における対象画素抽出部13が生成するクォンタイル関数値の例を示すグラフである。 同実施形態における対象画素抽出部13が生成するクォンタイル関数値の微分値の例を示すグラフである。 同実施形態における原画像Iおよび処理結果等の例を示す図である。
本発明の一実施形態について図面を参照して詳細に説明する。図1は、画像処理装置10の構成を示す概略ブロック図である。画像処理装置10は、入力された原画像Iに対して、明るさの分布を補正し、該補正結果である補正画像I’を出力する。画像処理装置10は、輝度値生成部11と、ヒストグラム生成部12と、対象画素抽出部13と、輝度分布補正部17とを含んで構成される。
輝度値生成部11には、原画像I(補正前画像)を構成する画素各々の赤、緑、青各々の画素値が入力される。輝度値生成部11は、画素各々の輝度値Yを、該画素の赤、緑、青の画素値を用いて算出する。本実施形態では、輝度値として、以下の式(1)を用いて算出される輝度値Yを用いる。なお、式(1)において、Rは赤の画素値であり、Gは緑の画素値であり、Bは青の画素値である。
Y=0.299×R+0.587×G+0.114×B ・・・(1)
また、輝度値Yを算出する式における、R、G、B各々に乗じる係数を、他の値とするなどして、輝度値として、輝度値Y以外の明るさを表す値を用いるようにしてもよい。
ヒストグラム生成部12(輝度値分布算出部)は、輝度値生成部11が生成した輝度値各々の画素数を表すヒストグラム(輝度値の分布)を生成する。対象画素抽出部13は、ヒストグラム生成部12が生成したヒストグラムのうち、輝度値に関する所定の条件を満たす画素を抽出する。例えば、対象画素抽出部13は、ヒストグラムのうち、両端の少なくとも一方を除いた部分を抽出する。より具体的には、対象画素抽出部13は、ヒストグラム中の主たる分布とは別に、両端のいずれか一方に、相対的に小さな分布があるときに、該小さな分布を除いた部分を抽出する。なお、対象画素抽出部13による抽出方法の詳細は、後述する。
輝度分布補正部17(輝度値分布補正部)は、対象画素抽出部13が抽出した部分を参照して、原画像Iの輝度値の分布を補正する。輝度分布補正部17は、倍率算出部14、オフセット設定部15、画素値変換部16を含んで構成される。倍率算出部14には、対象画素抽出部13が抽出したヒストグラムが、対象画素抽出部13から入力される。倍率算出部14は、入力されたヒストグラムのダイナミックレンジ(原ダイナミックレンジ)が、所定のダイナミックレンジ(目標ダイナミックレンジ)となるように、画素値を拡大又は縮小するための倍率αを算出する。
ここで、ヒストグラムのダイナミックレンジは、該ヒストグラムに含まれる輝度値の分布の幅であり、ヒストグラム中で、画素数が0でない輝度値の最大値と最小値との差である。例えば、倍率算出部14は、目標ダイナミックレンジ「r.cont.adj」を、原ダイナミックレンジ「r.cont.src」で除算した値を、倍率αとする。なお、目標ダイナミックレンジ「r.cont.adj」は、ユーザが定めた値でもよいし、画素値の定義域の幅と等しい値など、予め設定されている値でもよい。
オフセット設定部15には、対象画素抽出部13が抽出したヒストグラムが、対象画素抽出部13から入力される。オフセット設定部15は、上述の倍率αが乗算された画素値をオフセットさせるためのオフセット値OFを、入力されたヒストグラムを参照して定める。具体的には、オフセット設定部15は、入力されたヒストグラムのうち、輝度値の最小値をオフセット値OFとする。
なお、オフセット設定部15は、オフセット値OFを、入力されたヒストグラムに加えて、倍率算出部14が算出した倍率αを参照して、定めてもよい。例えば、入力されたヒストグラムの最小値に、倍率αを乗じた値をオフセット値OFとしてもよいし、入力されたヒストグラムの最小値に倍率αを乗じた値と、入力されたヒストグラムの最小値との差をオフセット値OFとしてもよい。また、オフセット設定部15は、上述したオフセット値を定める複数の方法を用いて、オフセット値の候補を複数定め、定めた複数の候補の中から、オフセット値OFを選択してもよい。
画素値変換部16には、倍率算出部14が算出した倍率αと、オフセット設定部15が定めたオフセット値OFが入力される。画素値変換部16は、原画像Iを構成する画素各々の画素値に、倍率αを乗じた後、オフセット値OFを引いた値を、補正画像I’の画素値として出力する。
図2は、対象画素抽出部13の動作を説明するフローチャートである。対象画素抽出部13は、入力されたヒストグラムを積分することで、各輝度値に対する該輝度値以下の画素数を表す累積密度分布を生成する。さらに、対象画素抽出部13は、生成した累積密度分布から、その逆関数であるクォンタイル(quantile)関数値q(n)を生成する(S1)。このクォンタイル関数値q(n)は、原画像Iにおける各画素を輝度値順にソートしたときに、輝度値が小さい方から数えたときの順番/全画素数×100=nに対する、その輝度値である。以降、このnをインデックスという。なお、ここでは、クォンタイル関数値を、100/分割数N%毎に、0%から100%まで算出する。分割数Nは、予め設定された正の数である。
次に、対象画素抽出部13は、ステップS1にて算出したクォンタイル関数値q(n)について、各インデックスnにおける微分値dq(n)を算出する(S2)。本実施形態では、クォンタイル関数値q(n)の微分値として、近似値である1次差分値dq(n)=q(n)−q(n−100/分割数N)を用いる。なお、クォンタイル関数値q(n)の微分値として、q(n+100/分割数N)−q(n)や、2次差分値、あるいは、より高次の差分値などを用いるようにしてもよい。
次に、対象画素抽出部13は、上端側から予め決められた画素数のインデックスを、上端側で除外されるインデックスの下限値である上端側閾値q_uとする。同様に、対象画素抽出部13は、下端側から予め決められた画素数のインデックスを、下端側で除外されるインデックスの上限値である下端側閾値q_lとする。対象画素抽出部13は、上述の上端側閾値q_uと下端側閾値q_lを下記の式(2)、(3)にて算出する(S3)。
q_l=ign×N ・・・(2)
q_u=N×(ign−1)+1 ・・・(3)
ここで、ign(0<ign<0.5)は、対象画素抽出部13による抽出の際に除外される割合の上限を決めるパラメータであり、予め設定される。2×ignの割合が、除外される割合の上限となる。なお、q_lを算出する際のignと、q_uを算出する際のignとを異なる値としても良い。
次に、対象画素抽出部13は、ステップS2で算出した微分値dq(n)の平均値mean(dq)、標準偏差sd(dq)を算出する(S4)。次に、対象画素抽出部13は、ステップS4にて算出した平均値mean(dq)から、所定の重みw×標準偏差sd(dq)以上、微分値が離れているインデックス群を、除外インデックス候補xo_dqとして算出する(S5)。除外インデックス候補xo_dqは、以下の式(4)で定義できる。なお、所定の重みwは、予め設定されている値である。
xo_dq=arg{dq>mean(dq)+w×sd(dq) or dq<mean(dq)−w×sd(dq)} ・・・(4)
次に、対象画素抽出部13は、除外インデックス候補xo_dqの中に、上端側閾値q_u以上のものがあるか否かを判定する(S6)。上端側閾値q_u以上のものがあると判定したときは(S6−Yes)、対象画素抽出部13は、該当する除外インデックス候補xo_dqの最小値を、上端側の除外インデックスxo_uとして選択し(S7)、ステップS9に進む。このステップS7における除外インデックスxo_uの選択は、以下の式(5)で表せる。
xo_u=argmin{xo_dq≧q_u} ・・・(5)
また、ステップS6にて、上端側閾値q_u以上のものがないと判定したときは、対象画素抽出部13は、全画素(100%)を上端側の除外インデックスとして選択し(S8)、ステップS9に進む。
ステップS9では、対象画素抽出部13は、除外インデックス候補xo_dqの中に、下端側閾値q_l以下のものがあるか否かを判定する。下端側閾値q_l以下のものがあると判定したときは(S9−Yes)、対象画素抽出部13は、該当する除外インデックス候補xo_dqの最大値を、下端側の除外インデックスとして選択し(S10)、ステップS12に進む。このステップS10における除外インデックスxo_lの選択は、以下の式(6)で表せる。
xo_l=argmax{xo_dq≦q_l} ・・・(6)
また、ステップS9にて、下端側閾値q_l以下のものがないと判定したときは、対象画素抽出部13は、0(0%)を下端側の除外インデックスとして選択し(S11)、ステップS12に進む。
ステップS12では、対象画素抽出部13は、ヒストグラム生成部12から入力されたヒストグラムのうち、下端側の除外インデックスにおける輝度値から、上端側の除外インデックスにおける輝度値までを抽出して、倍率算出部14と、オフセット設定部15とに入力し、処理を終了する。なお、各除外インデックスにおける輝度値は、nを除外インデックスとしたときの、ステップS1にて算出したクォンタイル関数値q(n)である。
図3は、ヒストグラム生成部12が生成するヒストグラムの例を示すグラフである。図3において、横軸は輝度値、縦軸は画素数である。すなわち、ヒストグラム生成部12が生成するヒストグラムは、輝度値各々に対して、原画像I中に含まれる該輝度値の画素数を対応付けたものである。なお、図3に示すヒストグラムにおいて、輝度値の範囲は0から1.0である。図3に示す例では、主たる分布は、輝度値が0から0.1付近にあるが、該主たる分布から上端側に離れ、輝度値0.6を越えた辺りに、小さな分布がある。すなわち、このヒストグラムは、画像のほぼ全体は、輝度値0から0.1程度で非常に暗いということ、そして、画像の一部、小さな領域だけが、輝度値0.6以上という、これらの輝度値からは大きく離れて明るいということを表している。
図4は、対象画素抽出部13が生成するクォンタイル関数値の例を示すグラフである。図4において、横軸は画素数/全画素数[%]、縦軸は輝度値である。図4に示すグラフでは、画素数/全画素数[%]が、100%の直前になるまで、輝度値は0.1付近までしか上がらず、100%の点のみが、輝度値0.6を越えたところにある。すなわち、図3のヒストグラムの場合と同様に、このグラフは、画像のほぼ全体は、輝度値0から0.1程度で非常に暗いということ、そして、画像の一部、小さな領域だけが、輝度値0.6以上になっているということを表している。
図5は、対象画素抽出部13が生成するクォンタイル関数値の微分値の例を示すグラフである。図5のグラフは、図4のグラフのクォンタイル関数値の1次差分値をプロットしたグラムである。図5の縦軸は、輝度値の1次差分値、横軸は、画素数/全画素数[%]である。図5に示すグラフでは、画素数/全画素数[%]が、0%から100%の直前になるまでは、1次差分値は0.1を遥かに下回る非常に小さな値であり、100%の点のみが、1次差分値が0.5を越えたところにある。すなわち、クォンタイル関数値の微分値が大きいということは、該インデックスに対応する輝度値付近の画素数が少ないということを意味している。したがって、クォンタイル関数値の微分値を参照することで、画素数の少ない輝度値を抽出することができる。
図6は、原画像Iおよび処理結果等の例を示す図である。図6において、画像I1は、原画像Iの例である。画像I1は、画像全体の輝度が小さく、画像の内容を把握することができないが、白い丸で囲った領域B1内に、全体に比べて輝度が大きい小さな領域がある。ヒストグラム生成部12が生成したヒストグラムを輝度分布補正部17に直接入力する画像処理装置が、このような画像I1を処理した場合の処理結果が、画像I1”である。画像I”は、多少の改善は見られるものの、画像全体が暗すぎる。一方、画像I1を、画像処理装置10が処理した場合の処理結果は、画像I1’である。画像I1’は、画像I1”に比較して、より適切な輝度値の分布が得られているため、画像の大部分の様子を把握することができる。
なお、本実施形態では、原画像Iが、該原画像Iを構成する画素各々の赤、緑、青の画素値により表される場合を説明したが、輝度値と、赤の色差値、青の色差値で表されるYUV形式など、他の形式により表される場合でも、本実施形態と同様にして輝度値の分布を補正することができる。
また、本実施形態では、輝度分布補正部17は、画素値に倍率αを乗じた後にオフセット値を引いているが、輝度値の分布の幅を表す値に基づき、輝度値の分布を補正するものであれば、どのようなものでもよい。例えば、画素値に倍率αを乗じるだけで、オフセット値を引かないもの、倍率αを乗じる変わりに、γ補正や、予め設定されている変換テーブルを用いるなど、画素値を非線形に変換するものであってもよい。
このように、本実施形態における画像処理装置は、原画像Iを構成する画素の輝度値の分布を算出するヒストグラム生成部12と、該画素のうち、輝度値に関する所定の条件を満たす画素を抽出する対象画素抽出部13と、該抽出した部分の画素値に基づいて、原画像Iの輝度値の分布を補正する輝度分布補正部17とを備える。
輝度値が主たる領域に比べて極端に大きいまたは小さい領域があると、ヒストグラム中の主たる分布とは別に、両端のいずれか一方に、小さな分布ができるが、上述の構成により、該小さな分布を除いたヒストグラムに基づいて、輝度値の分布を補正することができるので、上述のような極端に大きいまたは小さい領域があっても、該領域の影響を受けずに、適切な明るさの分布を得ることができる。
さらに、本実施形態における画像処理装置において、対象画素抽出部13は、原画像Iを構成する画素の輝度値のクォンタイル関数の微分値を算出し、該微分値に基づいて所定の条件を満たす輝度値を有する画素を抽出する。
輝度値が主たる領域に比べて極端に大きいまたは小さい領域と、主たる領域との間では、輝度値のクォンタイル関数の微分値が大きな値となるので、対象画素抽出部13は、輝度値が主たる領域に比べて極端に大きいまたは小さい領域を検出し、該領域のみを除くことができる。このため、該領域の大きさや有無にかかわらず、画像処理装置10は、適切な明るさの分布を得ることができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
なお、上記に説明した画像処理装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
10…画像処理装置 11…輝度値生成部 12…ヒストグラム生成部 13…対象画素抽出部 14…倍率算出部 15…オフセット設定部 16…画素値変換部 17…輝度分布補正部

Claims (5)

  1. 画像を構成する画素の輝度値の分布を算出する輝度値分布算出部と、
    前記画素のうち輝度値に関する所定の条件を満たす画素を抽出する対象画素抽出部と、
    前記対象画素抽出部で抽出した画素の輝度値に基づいて前記輝度値分布を補正する輝度値分布補正部と
    を備え
    前記対象画素抽出部は、前記画像の輝度値の累積密度分布を生成し、前記累積密度分布のクォンタイル関数の微分値を算出し、前記微分値に基づいて前記所定の条件を満たす輝度値を有する画素を抽出する、
    画像処理装置。
  2. 前記対象画抽出部は、前記微分値の平均値から所定の値以内にある微分値を有する画素を、前記所定の条件を満たす画素として抽出する
    請求項に記載の画像処理装置。
  3. 前記輝度値分布補正部は、
    前記輝度値分布のダイナミックレンジを拡大又は縮小する倍率を算出する倍率算出部と、
    前記画像を構成する画素各々の画素値を、算出した前記倍率を用いて変換する画素値変換部と
    を備える請求項1または請求項に記載の画像処理装置。
  4. 前記輝度値分布補正部は、オフセット値を決定するオフセット設定部をさらに有し、
    前記画素値変換部は、前記画像を構成する画素各々の画素値を、算出した前記倍率と、前記オフセット値とを用いて変換する
    請求項に記載の画像処理装置。
  5. コンピュータに、
    画像を構成する画素の輝度値の分布を算出する算出手順と、
    前記画素のうち輝度値に関する所定の条件を満たす画素を抽出する抽出手順と、
    抽出した画素の輝度値に基づいて前記輝度値の分布を補正する補正手順と、
    を実行させ、
    前記抽出手順において、前記画像の輝度値の累積密度分布を生成し、前記累積密度分布のクォンタイル関数の微分値を算出し、前記微分値に基づいて前記所定の条件を満たす輝度値を有する画素を抽出する、
    画像処理プログラム。
JP2014041365A 2014-03-04 2014-03-04 画像処理装置及び画像処理プログラム Active JP6361169B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014041365A JP6361169B2 (ja) 2014-03-04 2014-03-04 画像処理装置及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014041365A JP6361169B2 (ja) 2014-03-04 2014-03-04 画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2015166968A JP2015166968A (ja) 2015-09-24
JP6361169B2 true JP6361169B2 (ja) 2018-07-25

Family

ID=54257805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014041365A Active JP6361169B2 (ja) 2014-03-04 2014-03-04 画像処理装置及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6361169B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236751B1 (en) * 1998-09-23 2001-05-22 Xerox Corporation Automatic method for determining piecewise linear transformation from an image histogram
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping

Also Published As

Publication number Publication date
JP2015166968A (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
KR102170686B1 (ko) 화이트 밸런스 보정 장치 및 방법
JP5889431B2 (ja) 画像処理装置及び画像処理方法
EP2819392A1 (en) Image processing apparatus, image forming system, and computer program product
US8649625B2 (en) Method, device and program for measuring image quality adjusting ability, and method, device and program for adjusting image quality
JP5870598B2 (ja) 画像のホワイトバランス処理方法及び装置
EP3211892A1 (en) Method and device for image display based on metadata, and recording medium therefor
JP2015171099A5 (ja)
US9734585B2 (en) Image processing apparatus, image processing method, and storage medium for determining whether a target pixel is a character
JP5847341B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2012165146A (ja) 画像処理装置及び方法
JP4872508B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US9998631B2 (en) Information processing apparatus, method for processing information, and computer program
JP6361169B2 (ja) 画像処理装置及び画像処理プログラム
US10140731B2 (en) Image processing apparatus, image processing method, and storage medium
CN108476310B (zh) 投影装置、投影系统及非暂时性计算机可读记录介质
CN105654456B (zh) 信息处理方法及电子设备
JP2016066990A (ja) 階調補正の評価方法、および演算装置
JP5127627B2 (ja) 画像処理装置
JP6287102B2 (ja) 画像調整装置
US20180063380A1 (en) Image processing device
JP6187119B2 (ja) 画像色調整装置、画像色調整方法、およびプログラム
JP2015166969A (ja) 画像処理装置及び画像処理プログラム
JP2010026690A (ja) 画像処理装置
JP5204327B1 (ja) 画像処理装置、および画像処理方法
JP6229548B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161229

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R150 Certificate of patent or registration of utility model

Ref document number: 6361169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250