JP6860377B2 - Mtf測定用チャート - Google Patents

Mtf測定用チャート Download PDF

Info

Publication number
JP6860377B2
JP6860377B2 JP2017033818A JP2017033818A JP6860377B2 JP 6860377 B2 JP6860377 B2 JP 6860377B2 JP 2017033818 A JP2017033818 A JP 2017033818A JP 2017033818 A JP2017033818 A JP 2017033818A JP 6860377 B2 JP6860377 B2 JP 6860377B2
Authority
JP
Japan
Prior art keywords
chart
mtf
division
roi
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017033818A
Other languages
English (en)
Other versions
JP2018138904A (ja
Inventor
顕一郎 正岡
顕一郎 正岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2017033818A priority Critical patent/JP6860377B2/ja
Publication of JP2018138904A publication Critical patent/JP2018138904A/ja
Application granted granted Critical
Publication of JP6860377B2 publication Critical patent/JP6860377B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮像系の解像度の空間周波数特性を表すMTFを測定するMTF測定装置で利用されるMTF測定用チャートに関する。
高解像度テレビジョンの最大の特徴は、高い空間解像度であり、カメラの解像度特性が重要となる。現行のハイビジョンカメラの解像度測定として、図14に示すように、複数の空間周波数を有する矩形波が空間的に配置されたインメガサイクルチャートを用いる手法が知られている。
このインメガサイクルチャートを用いる手法では、波形モニタから矩形波の変調度の空間周波数特性を表すCTF(Contrast Transfer Function)を読み取ることで、解像度測定を行っている。インメガサイクルチャートを用いる手法は、波形モニタから目視で読み取れる手軽さはあるが、サンプリングの位相やカメラノイズの影響で波形の振幅が変動する。また、インメガサイクルチャートを用いる手法は、レンズ中央と周辺でカメラの解像度特性が異なるため、800TVL/phに相当するチャート中央における矩形波応答だけ測定することが多い。さらに、インメガサイクルチャートを用いる手法は、所望の空間周波数を得るために撮像画角を正確にチャートサイズにフレーミングする必要があるが、4K/8Kカメラでは広角レンズを使うことが多いので、サイズの大きいインメガチャートが必要になり、非現実的である。
そこで、インメガサイクルチャートに代わり、Slanted-edge法が提案されている(特許文献1,2、非特許文献1,2)。このSlanted-edge法は、チャートサイズが比較的小さくてフレーミングが不要な手法であり、僅かに傾いたエッジ画像を撮像して、そのエッジの広がりから、正弦波の変調度の空間周波数特性を表すMTF(Modulation Transfer Function)を算出している。以下、Slanted-edge法の手順を示す。
まず、Slanted-edge法では、チャートを撮像したチャート画像からエッジを含む長方形の関心領域(ROI:Region Of Interest、図15)を選択する。次に、Slanted-edge法では、図16(a)に示すように、ISO12233に準拠したアルゴリズム(非特許文献2)、又は、より精度の高いアルゴリズム(特許文献1、非特許文献1)を用いて、関心領域からエッジを検出する。次に、Slanted-edge法では、図16(b)に示すように、関心領域の各画素を、エッジ傾きθに沿って、サブピクセルで等間隔に区分した水平軸に投影する。そして、Slanted-edge法では、図17に示すように、それぞれの区分けに投影された複数の画素の画素値の平均値を求め、オーバーサンプリング(ISO12233の場合、4倍オーバーサンプリング)されたエッジ広がり関数を求める。さらに、Slanted-edge法では、そのエッジ広がり関数を微分して求まる線広がり関数を算出し、線広がり関数を離散フーリエ変換して絶対値を求めることにより、DC成分からサンプリング周波数を超える帯域のMTFを求める。MTF測定結果の一例を図18に示す。
このように、Slanted-edge法では、エッジを水平からわずかに傾いた方向にすれば垂直方向のMTFが測定できる。エッジを画像周辺部に位置させて測定すれば、画像周辺部の水平方向又は垂直方向のMTFが測定できる。一般には、カメラの画素構造や画像処理などにより解像度特性の異方性が考えられる場合は、多方向のMTF測定が必要になる。ISO12233のSlanted-edge法は、水平方向と垂直方向の2方向のMTFしか測定できないが、図19のようなスターバーストチャートを用いて多方向のMTFを測定することができる(特許文献2)。このチャートは2値画像であり、偶数個のエッジが等間隔の角度で配置されている。各エッジのROIは、既知の角度だけ回転して垂直方向からわずかに傾いたエッジとする。そして、図20のように水平方向に投影し、各エッジのオーバーサンプリングされたエッジ広がり関数を得て、その後ISO12233のSlanted-edge法と同様にMTFを求める。図21に結果例(レーダーチャート)を示す。
特開2015−94701号公報 特開2010−237177号公報(特許第5193113号公報)
例えば、HDTV(High Definition Television)、UHDTV(Ultra High Definition Television)等の超高精細映像用のレンズでは、アスペクト比が16:9のチャートにおいて、対角線上で中心から4つの頂点までの距離が40%又は80%の位置で放射方向や円周方向のMTFを測定することが多い。図22には、距離が40%の位置でMTFを測定したときの測定結果表示画面を図示した。そこで超高精細映像用のレンズとMTFの測定結果を比較するために、撮像系(カメラシステム)のMTFを測定したいという要望がある。
そこで、本発明は、超高精細映像用の撮像系に対応したMTF測定用チャートを提供することを課題とする。
前記した課題に鑑みて、本発明に係るMTF測定用チャートは、撮像系の解像度の空間周波数特性を表すMTFを測定するMTF測定装置で利用されるMTF測定用チャートであって、矩形状のチャート面のアスペクト比が16:9であり、前記チャート面の所定位置を中心とし、前記中心を通過して所定の傾斜角だけ傾斜する水平軸に、前記中心側より前記チャート面の外周側で間隔が広くなるような区分位置を予め設定し、前記中心を通過して前記傾斜角だけ傾斜する垂直軸及び前記チャート面の対角軸に前記水平軸と等距離の前記区分位置を予め設定し、前記水平軸と前記垂直軸と前記対角軸との区分位置で直交する区分線を接続した八角形の区分領域、及び、前記水平軸及び前記対角軸の区分線と前記チャート面の長辺とを接続した八角形の区分領域を、前記中心を基準として同心円状に配置し、前記チャート面の中心、最も外周側の前記区分領域と当該区分領域に隣接する前記区分領域との境界が前記チャート面の長辺に接する第1端点、前記チャート面の長辺上で前記第1端点から予め設定した距離の第2端点を頂点とする放射領域を、前記中心を基準として点対称に配置し、隣接する前記区分領域にコントラストが異なる色を配色し、前記放射領域を前記最も外周側の区分領域と同色で配色した構成とした。
かかる構成によれば、MTF測定用チャートは、超高精細映像と同一のアスペクト比を有するので、超高精細映像用の撮像系でMTFを測定できる。さらに、MTF測定用チャートは、チャート面の外周側に大きな区分領域を同心円状に配置したので、撮像系の画角に関わらず、所望の区分領域にROIを設定できる。このとき、MTF測定用チャートは、八角形の区分領域に円周方向でROIを設定できるので、放射方向のMTFを測定できる。なお、アスペクト比とは、チャート面の幅及び高さの比を表す。
また、前記した課題に鑑みて、本発明に係るMTF測定用チャートは、撮像系の解像度の空間周波数特性を表すMTFを測定するMTF測定装置で利用されるMTF測定用チャートであって、矩形状のチャート面のアスペクト比が16:9であり、前記チャート面の所定位置を中心とし、前記中心を通過する水平線及び垂直線を所定の傾斜角だけ傾斜させ、傾斜させた前記水平線及び前記垂直線のそれぞれと、前記チャート面の対角線とで前記チャート面を区分する放射領域を複数形成し、前記対角線を傾斜させず、隣接する前記放射領域にコントラストが異なる色を配色した構成とした。
かかる構成によれば、MTF測定用チャートは、超高精細映像と同一のアスペクト比を有するので、超高精細映像用の撮像系でMTFを測定できる。さらに、MTF測定用チャートは、放射方向でROIを設定できるので、円周方向のMTFを測定できる。
本発明によれば、以下のような優れた効果を奏する。
本発明に係るMTF測定用チャートは、超高精細映像と同一のアスペクト比を有するので、超高精細映像用の撮像系でMTFを測定することができる。
本発明の第1実施形態に係るMTF測定用チャートのパターン図である。 図1のMTF測定用チャートの傾斜角を説明する説明図である。 本発明の第2実施形態に係るMTF測定用チャートのパターン図である。 図3のMTF測定用チャートの区分領域を説明する説明図である。 図3のMTF測定用チャートの傾斜角を説明する説明図である。 図3のMTF測定用チャートの全体を利用するときの放射領域を説明する説明図である。 図3のMTF測定用チャートの半分を利用するときの放射領域を説明する説明図である。 本発明の第3実施形態に係るMTF測定装置の構成を示すブロック図である。 第3実施形態において、図1のチャート画像で40%の位置にROIを設定する手法を説明する説明図である。 第3実施形態において、図3のチャート画像で40%の位置にROIを設定する手法を説明する説明図である。 第3実施形態において、図1のチャート画像で80%の位置にROIを設定する手法を説明する説明図である。 第3実施形態において、図3のチャート画像で80%の位置にROIを設定する手法を説明する説明図である。 図8のMTF測定装置の動作を示すフローチャートである。 従来のインメガサイクルチャートを説明する説明図である。 従来のSlanted-edge法におけるROIを説明する説明図である。 従来のSlanted-edge法において、(a)はエッジの検出を説明する説明図であり、(b)はエッジプロファイルの生成を説明する説明図である。 従来のSlanted-edge法におけるMTFの測定を説明する説明図である。 従来のSlanted-edge法においるMTFの測定結果を示すグラフである。 従来の多方向のMTF測定用チャートのパターン図である。 従来の多方向のMTF測定用チャートを用いた場合において、(a)はROIの回転を説明する説明図であり、(b)はエッジプロファイルの生成を説明する説明図である。 従来の多方向のMTF測定用チャートを用いた場合において、MTFの測定結果を表すレーダチャートである。 従来の超高精細映像用のレンズにおけるMTFの測定結果表示画面の一例を示す図である。
本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の部材には同一の符号を付し、説明を省略した。
まず、第1,2実施形態として、MTF測定用チャートについて説明する。次に、第3実施形態として、MTF測定用チャートを用いるMTF測定装置について説明する。
(第1実施形態)
<MTF測定用チャートのパターン>
図1,図2を参照し、本発明の第1実施形態に係るMTF測定用チャートCHについて説明する。
MTF測定用チャートCHは、MTFを測定するMTF測定装置1で利用される(図8参照)。つまり、撮像系2がMTF測定用チャートCHを撮像し、その撮像画像(チャート画像)を用いて、MTF測定装置1がMTFを測定する。
図1,図2に示すように、MTF測定用チャートCHは、矩形状のチャート面のアスペクト比(幅W:高さH)が16:9である。また、MTF測定用チャートCHは、チャート面の所定位置を中心位置Oとし、中心位置Oを通過する水平線L及び垂直線Lを所定の傾斜角φだけ傾斜させる。そして、MTF測定用チャートCHは、傾斜させた水平線L及び垂直線Lのそれぞれと、チャート面の対角線Lとでチャート面を区分する放射領域Bを複数形成する。さらに、MTF測定用チャートCHは、隣接する放射領域Bにコントラストが異なる色を配色する。
MTF測定用チャートCHは、チャート面の幅W及び高さHが半分となる位置を中心位置Oとする。また、MTF測定用チャートCHは、中心位置Oから放射状に広がる水平線L、垂直線L及び対角線Lにより区分された8個の放射領域B〜Bを有する。この対角線Lは、チャート面の4隅となる頂点同士を結んでおり、チャート面の中心位置Oを通過する。また、放射領域Bは、チャート面の矩形内側の端に達しており、中心位置Oを頂点とした直角三角形状のような形状である。
MTF測定用チャートCHは、同色の放射領域Bが隣接しないように、各放射領域Bを白色又は黒色で配色する。具体的には、放射領域B,B,B,Bは、白色とする。また、放射領域B,B,B,Bは、黒色とする。従って、MTF測定用チャートCHは、放射領域B〜Bで白色及び黒色が交互に表れる。
MTF測定用チャートCHは、放射領域Bと同数の境界を有する。つまり、MTF測定用チャートCHは、放射領域B,Bの境界、放射領域B,Bの境界、…、放射領域B,Bの境界というように、8本の境界を有する。各境界は、直線状であり、中心位置Oから放射状に伸びている。
Slanted-edge法では、多様な位相を測定できるように、傾斜角φが予め設定されている。そして、Slanted-edge法では、MTFを測定する際、MTF測定用チャートCHを傾斜角φだけ傾斜させる。ここで、MTF測定用チャートCHの境界を水平方向又は垂直方向に設け、このMTF測定用チャートCHを傾斜角φだけ回転させて壁面に添付することや、撮像系2を傾斜角φだけ回転させて配置することが考えられる。しかし、MTFを測定する際、MTF測定用チャートCH又は撮像系2を正確に回転させるのは困難、かつ、手間を要する。そこで、本実施形態では、MTF測定用チャートCHのパターン自体を傾斜させている。
MTF測定用チャートCHは、水平線L及び垂直線Lを時計回りに傾斜角φだけ傾斜させる(図2)。この傾斜角φは、MTF測定上、数度(例えば、2°以上5°以下)であればよい。その結果、MTF測定用チャートCHは、水平方向に対して、放射領域B,Bの境界、放射領域B,Bの境界も傾斜角φだけ傾斜する。さらに、MTF測定用チャートCHは、垂直方向に対して、放射領域B,Bの境界、放射領域B,Bの境界も傾斜角φだけ傾斜する。このように、MTF測定用チャートCHは、傾斜角φだけパターン自体が傾斜しているので、垂直方向及び水平方向に傾斜角φだけ傾斜したエッジが形成されるので、垂直方向及び水平方向のMTFが測定可能となる。なお、MTF測定用チャートCHは、対角線Lを傾斜させる必要がない。
なお、図2では、説明を容易にするため、MTF測定用チャートCHの配色を省略した。また、図2では、水平方向及び垂直方向の軸線を一点鎖線で図示したが、MTF測定用チャートCHに軸線を描く必要はない。
<MTF測定用チャートの製造方法>
次に、MTF測定用チャートCHの製造方法の一例について説明する。
MTF測定用チャートCHは、矩形状のチャート部材に図1のパターンを配色することで、製造可能である。このチャート部材は、特に制限されないが、例えば、紙、フィルム、ガラス又は金属である。
チャート部材が紙の場合、図1のパターンをチャート部材に印刷し、MTF測定用チャートCHを製造できる。また、チャート部材がフィルムの場合、写真撮影によりMTF測定用チャートCHを製造できる。
また、チャート部材がガラスの場合、図1のパターンをクロム等で蒸着すればよい。さらに、チャート部材が金属の場合、図1のパターンで白色部分をカットすると共に、ナイフエッジ処理を施せばよい。
このように、チャート部材をガラス又は金属とすることで、MTF測定時にMTF測定用チャートCHが撓みにくくなる。
[作用・効果]
以上のように、MTF測定用チャートCHは、超高精細映像と同一のアスペクト比を有するので、超高精細映像用の撮像系2でMTFを測定することができる。さらに、MTF測定用チャートCHは、放射方向(対角方向、水平方向及び垂直方向)にROIを設定できるので、円周方向のMTFを測定することができる(図9参照)。
(第2実施形態)
<MTF測定用チャートのパターン>
図3,図4を参照し、本発明の第2実施形態に係るMTF測定用チャートCHについて説明する。
図3,図4に示すように、MTF測定用チャートCHは、矩形状のチャート面のアスペクト比が16:9である。また、MTF測定用チャートCHは、チャート面の所定位置を中心位置Oとし、中心位置Oを通過して傾斜角φだけ傾斜する水平軸Aに、中心側よりチャート面の外周側で間隔が広くなるような区分位置Pを予め設定する。また、MTF測定用チャートCHは、中心位置Oを通過して傾斜角φだけ傾斜する垂直軸A及びチャート面の対角軸Aに区分位置P,Pを予め設定する。
また、MTF測定用チャートCHは、水平軸Aと垂直軸Aと対角軸Aとの区分位置P,P,Pで直交する区分線N,N,Nを接続した八角形の区分領域C〜Cを、中心位置Oを基準として同心円状に配置する。さらに、MTF測定用チャートCHは、水平軸A及び対角軸Aの区分線NH2,ND2とチャート面の長辺Lとを接続した八角形の区分領域C10,C11を、中心位置Oを基準として同心円状に配置する。
また、MTF測定用チャートCHは、チャート面の中心位置O、第1端点T、第2端点Tを頂点とする放射領域Dを、中心位置Oを基準として点対称で形成する(図6参照)。そして、MTF測定用チャートCHは、隣接する区分領域Cにコントラストが異なる色を配色すると共に、放射領域Dを最も外周側の区分領域C11と同色で配色する。
<<区分領域>>
まず、区分領域Cについて詳細に説明する。図4に示すように、MTF測定用チャートCHは、11個の区分領域C〜C11を、チャート面の中心位置Oを基準として配置する。ここで、区分領域C〜Cは、その直径がチャート面の高さH未満なので、チャート面に八角形の各辺が収まる。従って、区分領域C〜Cは、中心位置Oを基準として、同心円状に配置する。一方、区分領域C10,C11は、その直径がチャート面の高さH以上なので、八角形の上下がチャート面に収まらない。このため、区分領域C10,C11は、チャート面の長辺Lを八角形の上下の辺として利用する。また、区分領域C10,C11は、区分領域C〜Cと同様、中心位置Oを基準として配置する。
区分領域Cを描くため、MTF測定用チャートCHは、チャート面の中心位置Oから放射状に広がる対角軸A、水平軸A、及び、垂直軸Aを設定する。図5に示すように、水平軸A及び垂直軸Aは、水平方向及び垂直方向に対して、傾斜角φだけ時計回りに傾斜する。この傾斜角φは、MTF測定上、数度(例えば、2°以上5°以下)であればよい。そして、MTF測定用チャートCHは、対角軸A、水平軸A、及び、垂直軸Aのそれぞれに区分位置P,P,Pを設定する。
ここで、撮像系2のズーム倍率を調整することで、同じ形状の撮像画像を取得可能とするため、水平軸Aでは、チャート面の中心側より外周側の方が、隣接する区分位置P,PH2の間隔が広くなる。具体的には、チャート面の中心位置Oから外周までの全長(=幅W/2)に対し、中心位置Oから区分位置P,PH2までの距離の比が任意の等比級数で表される。本実施形態では、40%及び80%の位置で放射方向や円周方向のMTFを測定するために、全長に対して、中心位置Oから区分位置P,PH2までの距離の比を√2の等比級数とする。従って、区分位置P,PH2は、全長に対して、5√2%、10/√2%、10%、10√2%、20/√2%、20%、20√2%、40/√2%、40%、40√2%、80%の距離に位置する。この他、40%及び80%の位置でMTFを測定する場合、前記した距離の比を2^(1/n)の等比級数としてもよい(但し、nは正の整数)。
なお、等比級数やMTFの測定位置は、前記した例に限定されない。例えば、20%及び60%の位置でMTFを測定する場合、前記した距離の比を3^(1/n)の等比級数としてもよい。
以下、区分領域Cの例を説明する。この場合、水平軸A上で、中心位置Oからの距離が40%となる区分位置Pに区分線Nを2本設定する。また、垂直軸A上で、中心位置Oからの距離が40%となる区分位置Pに区分線Nを2本設定する。さらに、図4に示すように、対角軸A上で、中心位置Oからの距離が40%となる区分位置Pにおいて、法線を区分線Nとして4本設定する。その後、区分線N,N,Nを互いに接続するように延長し、区分領域Cを形成する。従って、区分領域Cは、区分線N,N,Nに挟まれた領域となる。
なお、区分領域C〜Cは、区分領域Cと同様に形成できる。具体的には、区分領域C〜Cは、中心位置Oからの距離が等比級数となる区分位置(図4不図示)において、区分領域Cと同様の手順で形成できる。
続いて、区分領域C11の例を説明する。MTF測定用チャートCHは、チャート面の高さHが幅W未満なので、水平軸Aと等距離で全区分位置を垂直軸Aに設定できない。このため、区分位置PH2,PD2は、水平軸A及び対角軸Aのみに設定され、垂直軸Aでは設定していない。
区分線NH2,ND2は、水平軸A及び対角軸A上で、中心位置Oからの距離が80%となる区分位置PH2,PD2において、区分線N,Nと同様の手順で設定できる。また、垂直軸Aの区分線が未設定のため、チャート面の長辺Lを垂直軸Aの区分線の代わりに利用する。つまり、区分領域C11は、2本の区分線NH2、4本の区分線ND2、2本のチャート面の長辺Lで構成されている。従って、区分領域C11は、区分線NH2,ND2及びチャート面の長辺Lに挟まれた領域となる。
なお、区分領域C10は、区分領域C11と同様に形成できる。具体的には、区分領域C10は、中心位置Oからの距離が40√2%となる区分位置(図4不図示)において、区分領域C11と同様の手順で形成できる。
なお、図4では、説明を容易にするため、MTF測定用チャートCHの配色を省略した。また、図4では、説明を容易にするため、対角軸A、水平軸A、及び、垂直軸Aと、区分位置P,P,P,PD2,PH2とを図示したが、これらをMTF測定用チャートCHに描く必要はない。
<<放射領域>>
次に、放射領域Dについて詳細に説明する。
図6に示すように、MTF測定用チャートCHは、チャート面の中心位置O、第1端点T、第2端点Tを頂点とする放射領域D〜Dを有する。つまり、放射領域Dは、中心位置Oを頂点とし、第1端点Tと第2端点Tとの線分を底辺とする三角形の領域となる。
第1端点Tは、最も外側の区分領域C11と区分領域C11に隣接する区分領域C10との境界がチャート面の長辺Lに接する点である。
第2端点Tは、チャート面の長辺L上で、第1端点Tから幅W方向で中央側に、予め設定した距離に位置する点である。第1端点Tから第2端点Tまでの距離は、任意の値で設定できる。
ここで、放射領域Dの役割について説明する。この放射領域Dは、撮像系2のズームイン及びズームアウトに対応するため、ROIの設定位置を表すマーカとしての役割を有する。前記したように、放射領域Dの第1端点Tは、40%の位置を表している。従って、上下の第1端点Tを結ぶ線分Lを求め、線分Lに交わる区分領域Cの境界にROI(不図示)を設定すればよい。
図6に示すように、MTF測定用チャートCHの全体を利用する場合、線分Lに交わる区分領域C,C10の境界にROIを設定する(図10参照)。
なお、図6では、説明を容易にするため、区分領域C10,C11を破線で図示すると共に、他の区分領域Cの図示及びMTF測定用チャートCHの配色を省略した。また、線分Lを実際に描く必要はない。
さらに、図7に示すように、MTF測定用チャートCHの半分を利用する場合を考える。このとき、幅W及び高さHを半分にしたときのMTF測定用チャートCHの長辺と、中心位置Oから第1端点Tまでの直線との接点を端点T1Aとする。この場合、上下の端点T1Aを結ぶ線分LB2を求め、線分LB2に交わる区分領域C,Cの境界にROI(不図示)を設定する。
なお、図7では、MTF測定用チャートCHとして利用する範囲を実線で図示し、それ以外の範囲を点線で図示した。また、図7では、説明を容易にするため、区分領域C,C8を破線で図示すると共に、他の区分領域Cの図示及びMTF測定用チャートCHの配色を省略した。また、線分LB2を実際に描く必要はない。
図3に戻り、MTF測定用チャートCHの説明を続ける。
MTF測定用チャートCHは、同色の区分領域Cが隣接しないように、各区分領域Cを白色又は黒色で配色する。具体的には、区分領域C,C,C,C,C,C11は、黒色とする。また、区分領域C,C,C,C,C10は、黒色とする。従って、MTF測定用チャートCHは、区分領域C〜C11で白色及び黒色が交互に表れる。さらに、MTF測定用チャートCHは、放射領域D〜Dを、第1端点Tで接する最も外側の区分領域C11と同色(黒色)で配色する。
MTF測定用チャートCHは、区分領域C,Cの境界、区分領域C,Cの境界、…、区分領域C10,C11の境界を有する。各境界は、区分領域Cが八角形状であるから、円周方向に伸びている。さらに、MTF測定用チャートCHは、白色の区分領域C,C,C,C,C10と放射領域D〜Dとの境界を有する。
なお、MTF測定用チャートCHの製造方法は、第1実施形態と同様のため、説明を省略する。
[作用・効果]
以上のように、MTF測定用チャートCHは、超高精細映像と同一のアスペクト比を有するので、超高精細映像用の撮像系2でMTFを測定することができる。さらに、MTF測定用チャートCHは、円周方向にROIを設定できるので、放射方向のMTFを測定することができる(図10参照)。
さらに、MTF測定用チャートCHは、チャート面の外周側に大きな区分領域Cを同心円状に配置したので、撮像系2のズームイン又はズームアウトに関わらず、所望の区分領域CにROIを設定できる。さらに、MTF測定用チャートCHは、放射領域Dの位置を参照することで、ROIの設定位置を容易に把握することができる。
(第3実施形態)
[MTF測定装置の構成]
以下、図8を参照して、本発明の第3実施形態に係るMTF測定装置1の構成について説明する。このMTF測定装置1は、MTF測定用チャートCHを用いて、MTFを測定するものである。すなわち、MTF測定装置1は、MTF測定用チャートCHを撮像した画像でMTFを測定する際、コントラストの異なる放射領域に跨ったROIにおいて、その方向に応じた空間周波数特性を測定する。よって、空間周波数特性を測定したい方向に応じて、適宜、どのMTF測定用チャートCHを用いるかを決めればよい。第3実施形態では、図1のMTF測定用チャートCHを用いることとする。
図8に示すように、MTF測定装置1は、チャート画像記憶手段10と、画像位置特定手段11と、画像抽出手段12と、演算手段13と、グラフ生成手段14とを備える。ここでは、MTF測定装置1は、被測定対象となる超高精細映像用の撮像系2と、MTF測定装置1を操作するユーザインタフェースを提供する表示装置3とを接続しているものとする。
チャート画像記憶手段10は、被測定対象の撮像系2で、図1のMTF測定用チャートCHを撮像した画像(チャート画像)を記憶するものであって、ハードディスク等の一般的な記憶装置である。
画像位置特定手段11は、MTF測定用チャートCHを撮像したチャート画像から、MTF測定を行うROIの画像の位置を特定するものである。ここでは、画像位置特定手段11は、チャート中心取得手段111と、基準ROI領域情報取得手段112と、相対位置判定手段113と、角度別ROI領域特定手段114と、を備える。
チャート中心取得手段111は、チャート画像記憶手段10に記憶されているチャート画像において、放射線状の境界の中心位置O(図1)を取得するものである。このチャート中心取得手段111は、表示装置3にチャート画像を表示し、例えば、タッチペン31等のポインティングデバイス(入力手段)によって、操作者が中心を指定することで、チャート画像の中心位置Oを取得する。なお、このチャート中心取得手段111は、チャート画像において、エッジ検出により放射領域Bの境界である複数の直線を抽出し、この直線の交点によって中心位置Oを求めることとしてもよい。
ここで、チャート中心取得手段111は、中心位置Oが設定された場合、当該中心位置Oがチャート画像の中心座標(0,0)となるように、座標系を設定し、チャート画像の各画素の座標をシフトすることとする。なお、チャート画像の中心座標が既知の場合には、他のチャート画像を入力するときの座標を、その中心が中心座標(0,0)になるように入力することで、次のチャート画像の中心位置Oの取得を省略することもできる。
このチャート中心取得手段111は、取得した中心位置Oを相対位置判定手段113及び角度別ROI領域特定手段114に出力する。
基準ROI領域情報取得手段112は、チャート画像において、水平方向又は垂直方向のコントラストが異なる放射領域Bに跨った矩形領域を指定されることで、測定基準となる基準ROIの領域を示す領域情報を取得するものである。このとき、基準ROI領域情報取得手段112は、チャート面の中心位置Oからの距離が40%となる位置に基準ROIを指定させる。つまり、図9に示すように、基準ROIの中心が、チャート面の中心位置Oからの距離が40%の場所に位置する。
ここで、基準ROI領域情報取得手段112は、表示装置3に表示されたチャート画像で、例えば、タッチペン31等のポインティングデバイスによって、操作者が矩形領域を指定することで、基準ROIの位置及び大きさを領域情報として取得する。
例えば、図9に示すように、チャート画像IMGCHにおいて、放射領域B,Bが隣接している垂直境界付近で、かつ、中心位置Oよりも上側の領域Rを基準ROIとして指定する。図9では、縦軸及び横軸が中心座標(0,0)を基準とした座標系を表す。
この他、放射領域B,Bが隣接している水平境界付近で、かつ、中心位置Oよりも左側の領域Rを基準ROIとして指定してもよい。
この基準ROI領域情報取得手段112は、基準ROIの領域情報(座標値)を、相対位置判定手段113に出力する。
相対位置判定手段113は、基準ROI領域情報取得手段112で取得した基準ROIの領域情報と、チャート中心取得手段111で取得した中心位置Oとに基づいて、基準ROIの中心位置に対する相対位置を判定するものである。すなわち、相対位置判定手段113は、基準ROIが、中心位置Oに対して、どの方向(上下左右)に存在する画像であるのかを判定する。この相対位置判定手段113は、判定結果を角度別ROI領域特定手段114に出力する。
角度別ROI領域特定手段114は、チャート画像の中心位置Oを基準として、予め定めた角度で基準ROIを回転した角度別ROIを特定するものである。
この角度別ROI領域特定手段114は、相対位置判定手段113で判定した相対位置に基づいて、角度別ROIの位置と回転方向(及びその角度)を特定する。このとき、角度別ROI領域特定手段114は、中心位置Oからの距離が40%となる位置で角度別ROIを特定する。つまり、図9に示すように、角度別ROIの中心が、中心位置Oからの距離が40%の場所に位置する。
例えば、図9に示すように、チャート画像IMGCHで基準ROI(R)が選択された場合を考える。この場合、角度別ROI領域特定手段114は、基準ROI(R)を、中心位置Oを基準として、時計回りに、放射領域Bの境界の方向60°,90°,120°,…,300°だけ回転した位置で角度別ROI(R,R,…,R)を特定する。この角度別ROIは、基準ROIを回転したものであるため、方向の違いはあるが、基準ROIと同じ大きさである。
このように、角度別ROI領域特定手段114は、基準ROIの領域を所定の角度だけ回転させて角度別ROIの領域を特定するため、各角度別ROIは、その領域内にコントラストが異なるエッジが含まれていることになる。
なお、角度別ROI領域特定手段114は、特定した角度別ROI(基準ROIを含む)の領域情報(座標値)を画像抽出手段12に出力する。
画像抽出手段12は、画像位置特定手段11で特定された各角度別のROIの画像を、チャート画像から抽出するものである。ここでは、画像抽出手段12は、ROI抽出手段121と、ROI回転手段122と、を備える。
ROI抽出手段121は、画像位置特定手段11で特定された各角度別ROI(基準ROIを含む)の画像を、チャート画像記憶手段10から抽出して読み出すものである。ROI抽出手段121は、抽出した画像(角度別ROI)を図示を省略したメモリに記憶し、ROI回転手段122に通知する。
ROI回転手段122は、ROI抽出手段121で抽出した角度別ROIを、中心位置Oを基準に、基準ROIからの回転角に応じて座標変換を行うことで、当該基準ROIの位置に相当する位置に回転させた回転角度別ROIを生成するものである。
このROI回転手段122は、各角度別ROIの画素値の座標値(なお、この座標系は任意でよい)を、極座標系に変換し、回転角に応じて回転させた後、デカルト座標系(xy座標値)に変換することで、各角度別ROIの回転後の座標と対応する画素値を求めることができる。
以上説明したように、画像抽出手段12は、チャート画像から、基準ROIとともに、所定の方向ごとの角度別ROIを基準ROIと同一の向き、略同一形状となる回転角度別ROIとして抽出することができる。この各方向のROI(角度別ROI、回転角度別ROI)は、画素構造(の傾き)は異なるが、略同じエッジ画像となる。また、各ROIのエッジは、撮像系2のひずみがなく、中心位置Oが正しく選択されていれば、同じ傾き角度となる。
演算手段13は、ROI(基準ROI、回転角度別ROI)から、MTFを演算するものである。ここでは、演算手段13は、エッジプロファイル生成手段131と、トリミング手段132と、MTF算出手段133と、を備える。
エッジプロファイル生成手段131は、各ROIのエッジ傾きを検出し、当該エッジの向きに応じたエッジプロファイルを生成するものである。例えば、エッジプロファイル生成手段131は、チャート画像における水平方向及び垂直方向の軸を2軸とする座標系(xy座標系)において、ROI(基準ROI、回転角度別ROI)のxy座標値とその画素値とからエッジ傾きを求める。このエッジ傾きは、正規累積密度関数等によるフィッティングにより求めることができる。また、このフィッティングは、エッジ傾きを求めるためだけに行うだけで、画像に完全にフィッティングさせる必要はない。
そして、エッジプロファイル生成手段131は、基準ROIが垂直方向にエッジを含んだ画像である場合(すなわち、図9のRを基準ROIとした場合)、ROI(基準ROI、回転角度別ROI)ごとに、エッジ傾きに沿って画素値を水平方向の軸(x軸)に投影し、平均化することでエッジプロファイルを生成する。なお、平均化する軸のビンのサイズは、画素よりも小さいサイズを用いることとする。例えば、1画素の1/4又は1/8の幅をビンのサイズとする。そして、エッジプロファイル生成手段131は、生成した回転角ごとのROIのエッジプロファイルをトリミング手段132に出力する。
ここで、基準ROI(R)の場合、エッジプロファイル生成手段131は、基準ROI内でエッジeを検出し、そのエッジ傾きθeに沿って、基準ROIの各画素値をx軸に投影し、x座標のビンごとに画素値を平均化する(図16参照)。
一方、基準ROI以外(つまり、角度別ROI)の場合、ROI回転手段122が、角度別ROIを基準ROI相当の位置に回転させることで、回転角度別ROIを予め生成している。従って、エッジプロファイル生成手段131は、回転角度別ROI内でエッジeを検出し、そのエッジ傾きθeに沿って、回転角度別ROIの各画素値をx軸に投影し、x座標のビンごとに入った画素値の平均を得る(図20参照)。
これによって、エッジプロファイル生成手段131は、水平方向、垂直方向以外にも、任意の角度に対応した方向のエッジに対して、エッジプロファイルを生成することができる。
トリミング手段132は、エッジプロファイル生成手段131で生成した各ROIのエッジプロファイルの長さが同じになるように、最短のエッジプロファイルを基準として、各エッジプロファイルをトリミングするものである。例えば、最短のエッジプロファイルの長さ以下とすると、全てのROIについて、同一の空間周波数ステップ幅でMTFが算出されることになる。
MTF算出手段133は、回転角度別ROI及び基準ROIごとに、MTFを算出するものである。このMTF算出手段133は、一般的なSlanted-edge法を用いて、エッジプロファイルから、MTFを算出する。すなわち、MTF算出手段133は、ROIごとに、エッジプロファイルを順次微分することで線広がり関数(LSF)を求めた後、離散フーリエ変換を行うことでMTFを求める。
これによって、MTF算出手段133は、図9のROI(R〜R)において、R,Rについては水平周波数成分、R,Rについては垂直周波数成分、それ以外のROIについては、それぞれの方向に対応したMTFを得ることができる。なお、MTF算出手段133は、算出したMTFをグラフ生成手段14に出力する。
以上説明したように、演算手段13は、画像抽出手段12によってチャート画像より抽出された測定対象画像から、予め定めたチャート画像の放射領域Bにおける境界の方向に応じて、任意の方向のMTFを算出することができる。
グラフ生成手段14は、MTF算出手段133で算出したMTFをグラフ化するものである。このグラフ生成手段14は、例えば、横軸に周波数、縦軸にMTFをとった座標上にMTF算出手段133で算出したMTFをプロットする。
また、グラフ生成手段14は、放射領域Bの境界の方向ごと(例えば、0°,60°,90°,120°,…,300°)の放射状の軸上に、MTF算出手段133で算出したMTFの値をプロットし、軸上にプロットした点を連結することでレーダチャートを生成してもよい。
このグラフ生成手段14で生成されたグラフは、例えば、表示装置3に出力され、操作者が撮像系2のMTFの解析結果を視認することができる。
このように、MTF測定装置1は、MTF測定用チャートCHを撮像したチャート画像から、円周方向のMTFを測定することができる。また、MTF測定装置1は、角度別ROIを基準ROI相当の画像に回転して処理するため、正確に円周方向のMTFを測定することができる。
なお、MTF測定装置1は、図1のMTF測定用チャートCHに代えて、図3のMTF測定用チャートCHを用いて、放射方向のMTFを測定することもできる。この場合、MTF測定装置1は、図10に示すように、円周方向にROI(R〜R)を設定する。
さらに、MTF測定装置1は、図11,図12に示すように、MTF測定用チャートCH,CHのそれぞれに、中心位置Oからの距離が80%の位置にROI(R〜R,R〜R)を設定することもできる。なお、ROI(R,R)は、チャート面の高さHが足りないので、中心位置Oからの距離が40%の位置に設定している。
[MTF測定装置の動作]
次に、図13を参照して、MTF測定装置1の動作について説明する(適宜図8参照)。
まず、MTF測定装置1は、撮像系2によって、MTF測定用チャートCHを撮像し、撮像したチャート画像をチャート画像記憶手段10に記憶する(ステップS1)。
そして、MTF測定装置1は、画像位置特定手段11のチャート中心取得手段111によって、表示装置3上にチャート画像を表示し、操作者によって中心を指定されることで、チャート画像の中心位置Oを取得する(ステップS2)。
さらに、MTF測定装置1は、画像位置特定手段11の基準ROI領域情報取得手段112によって、表示装置3上に表示されたチャート画像において、操作者によって領域を指定されることで、基準ROIの領域情報(位置及び大きさ)を取得する(ステップS3)。なお、このステップS2,S3の動作は、その順序を入れ替えて行ってもよい。
そして、MTF測定装置1は、相対位置判定手段113によって、ステップS2で取得したチャート画像の中心位置Oと、ステップS3で取得した基準ROIの領域情報とに基づいて、基準ROIの位置がチャート画像の中心位置に対して上、下、左又は右の何れの位置(相対位置)を指定されたのか判定する(ステップS4)。
そして、MTF測定装置1は、角度別ROI領域特定手段114によって、ステップS4で判定した相対位置に基づいて、ステップS2で取得した中心位置を中心として、予め定めた角度だけ、基準ROIを回転した角度別ROIを特定する(ステップS5)。
その後、MTF測定装置1は、画像抽出手段12のROI抽出手段121によって、ステップS5で特定された角度別ROI(基準ROIを含む)の画像を、チャート画像記憶手段10に記憶されているチャート画像から抽出して読み出す(ステップS6)。
また、MTF測定装置1は、画像抽出手段12のROI回転手段122によって、ステップS6で読み出した角度別ROIを、中心位置Oを基準に、基準ROIからの回転角に応じて、当該基準ROIの位置に相当する位置に回転させた回転角度別ROIを生成する(ステップS7)。
そして、MTF測定装置1は、演算手段13のエッジプロファイル生成手段131によって、各ROIのエッジ傾きに応じて、水平又は垂直の軸にROIの画素値を投影することで、エッジプロファイルを生成する(ステップS8)。
さらに、MTF測定装置1は、演算手段13のトリミング手段132によって、各ROIのエッジプロファイルの長さが同じになるように、最短のエッジプロファイルを基準として、各エッジプロファイルをトリミングする(ステップS9)。
その後、MTF測定装置1は、演算手段13のMTF算出手段133によって、ステップS9でトリミングされた各ROIのエッジプロファイルについて、線広がり関数(LSF)を求めた後、離散フーリエ変換を行うことでMTFを算出する(ステップS10)。
そして、MTF測定装置1は、グラフ生成手段14によって、ステップS10で算出したMTFをプロットしたグラフを生成し、表示装置3に出力する(ステップS11)。
以上の動作により、MTF測定装置1は、MTF測定用チャートCHを撮像したチャート画像から、円周方向のMTFを測定することができる。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、MTF測定用チャートは、白色及び黒色を逆に配色してもよい。さらに、MTF測定用チャートは、白色又は黒色に代えて、第3色(例えば、灰色)を配色してもよい。
前記した実施形態では、図2に示すように、MTF測定用チャートCHを時計回りに傾斜させることとして説明したが、本発明は、これに限定されない。つまり、MTF測定用チャートCHは、傾斜角φを負値にして、反時計回りに傾斜角φだけ傾斜させてもよい。
B,B〜B 放射領域
C,C〜C11 区分領域
CH,CH MTF測定用チャート
D,D〜D 放射領域
対角軸
水平軸
垂直軸
対角線
水平線
垂直線
チャート面の長辺
、N,N,ND2,NH2 区分線
O 中心位置(中心)
,P,P,PD2,PH2 区分位置
1 MTF測定装置
10 チャート画像記憶手段
11 画像位置特定手段
12 画像抽出手段
13 演算手段
14 グラフ生成手段
111 チャート中心取得手段
112 基準ROI領域情報取得手段
113 相対位置判定手段
114 角度別ROI領域特定手段
121 ROI抽出手段
122 ROI回転手段
131 エッジプロファイル生成手段
132 トリミング手段
133 MTF算出手段

Claims (6)

  1. 撮像系の解像度の空間周波数特性を表すMTFを測定するMTF測定装置で利用されるMTF測定用チャートであって、
    矩形状のチャート面のアスペクト比が16:9であり、
    前記チャート面の所定位置を中心とし、前記中心を通過して所定の傾斜角だけ傾斜する水平軸に、前記中心側より前記チャート面の外周側で間隔が広くなるような区分位置を予め設定し、前記中心を通過して前記傾斜角だけ傾斜する垂直軸及び前記チャート面の対角軸に前記水平軸と等距離の前記区分位置を予め設定し、
    前記水平軸と前記垂直軸と前記対角軸との区分位置で直交する区分線を接続した八角形の区分領域、及び、前記水平軸及び前記対角軸の区分線と前記チャート面の長辺とを接続した八角形の区分領域を、前記中心を基準として同心円状に配置し、
    前記チャート面の中心、最も外周側の前記区分領域と当該区分領域に隣接する前記区分領域との境界が前記チャート面の長辺に接する第1端点、前記チャート面の長辺上で前記第1端点から予め設定した距離の第2端点を頂点とする放射領域を、前記中心を基準として点対称に配置し、
    隣接する前記区分領域にコントラストが異なる色を配色し、前記放射領域を前記最も外周側の区分領域と同色で配色したことを特徴とするMTF測定用チャート。
  2. 前記水平軸の区分位置は、前記チャート面の中心から短辺までの全長に対する前記中心から当該区分位置までの距離の比が等比級数で表される位置に予め設定されたことを特徴とする請求項1に記載のMTF測定用チャート。
  3. 前記区分領域及び前記放射領域に、白色、黒色、又は、白色及び黒色以外の第3色を配色したことを特徴とする請求項1又は請求項2に記載のMTF測定用チャート。
  4. 撮像系の解像度の空間周波数特性を表すMTFを測定するMTF測定装置で利用されるMTF測定用チャートであって、
    矩形状のチャート面のアスペクト比が16:9であり、
    前記チャート面の所定位置を中心とし、前記中心を通過する水平線及び垂直線を所定の傾斜角だけ傾斜させ、傾斜させた前記水平線及び前記垂直線のそれぞれと、前記チャート面の対角線とで前記チャート面を区分する放射領域を複数形成し、
    前記対角線を傾斜させず、
    隣接する前記放射領域にコントラストが異なる色を配色したことを特徴とするMTF測定用チャート。
  5. 前記放射領域に、白色、黒色、又は、白色及び黒色以外の第3色を配色したことを特徴とする請求項4に記載のMTF測定用チャート。
  6. 前記傾斜角が2度以上5度以下であることを特徴とする請求項1から請求項5の何れか一項に記載のMTF測定用チャート。
JP2017033818A 2017-02-24 2017-02-24 Mtf測定用チャート Active JP6860377B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017033818A JP6860377B2 (ja) 2017-02-24 2017-02-24 Mtf測定用チャート

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017033818A JP6860377B2 (ja) 2017-02-24 2017-02-24 Mtf測定用チャート

Publications (2)

Publication Number Publication Date
JP2018138904A JP2018138904A (ja) 2018-09-06
JP6860377B2 true JP6860377B2 (ja) 2021-04-14

Family

ID=63450784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017033818A Active JP6860377B2 (ja) 2017-02-24 2017-02-24 Mtf測定用チャート

Country Status (1)

Country Link
JP (1) JP6860377B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7340381B2 (ja) * 2019-08-07 2023-09-07 日本放送協会 空間周波数比測定装置およびそのプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100623679B1 (ko) * 2004-01-16 2006-09-18 김용욱 휴대폰 카메라 렌즈의 포커스 조정장치
JP5193113B2 (ja) * 2009-03-31 2013-05-08 日本放送協会 Mtf測定装置およびmtf測定プログラム
JP6061133B2 (ja) * 2012-11-06 2017-01-18 リーダー電子株式会社 テストチャート及びその使用方法
US20150109613A1 (en) * 2013-10-18 2015-04-23 Point Grey Research Inc. Apparatus and methods for characterizing lenses

Also Published As

Publication number Publication date
JP2018138904A (ja) 2018-09-06

Similar Documents

Publication Publication Date Title
JP5193113B2 (ja) Mtf測定装置およびmtf測定プログラム
JP6302219B2 (ja) Mtf測定装置およびmtf測定プログラム
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
JP5493105B2 (ja) 距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置
JP6806587B2 (ja) Mtf測定装置およびそのプログラム
JP6061133B2 (ja) テストチャート及びその使用方法
JP5249813B2 (ja) Mtf測定用チャート、mtf測定装置およびmtf測定プログラム
JP7503443B2 (ja) ディスプレイmtf測定装置およびそのプログラム
JP6860377B2 (ja) Mtf測定用チャート
JP6742180B2 (ja) Mtf測定装置及びそのプログラム
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP6923915B2 (ja) カラー物体の3次元形状とカラー情報とを同時に取得可能な計測方法、計測装置、計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
JP2019194577A (ja) Mtf測定装置およびそのプログラム
JP6748504B2 (ja) Mtf測定用チャート
JP6795998B2 (ja) Mtf測定装置およびそのプログラム
JP6317611B2 (ja) ディスプレイ表示パターン生成装置及びそのプログラム
JP7340381B2 (ja) 空間周波数比測定装置およびそのプログラム
JP6967382B2 (ja) Mtf測定装置およびそのプログラム
CN115631245A (zh) 一种校正方法、终端设备及存储介质
JP4796295B2 (ja) カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
JP2018041169A (ja) 情報処理装置およびその制御方法、プログラム
JP7432377B2 (ja) ディスプレイmtf測定装置およびそのプログラム
JP2023042806A (ja) Mtf測定用チャート
JP2024035861A (ja) ディスプレイ変調度測定装置およびそのプログラム
JP2005091115A (ja) 奥行計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210326

R150 Certificate of patent or registration of utility model

Ref document number: 6860377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250