JP5970873B2 - 画像処理装置、画像処理方法、およびプロジェクター - Google Patents
画像処理装置、画像処理方法、およびプロジェクター Download PDFInfo
- Publication number
- JP5970873B2 JP5970873B2 JP2012051925A JP2012051925A JP5970873B2 JP 5970873 B2 JP5970873 B2 JP 5970873B2 JP 2012051925 A JP2012051925 A JP 2012051925A JP 2012051925 A JP2012051925 A JP 2012051925A JP 5970873 B2 JP5970873 B2 JP 5970873B2
- Authority
- JP
- Japan
- Prior art keywords
- straight line
- pattern
- image
- detected
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
画像処理装置であって、
光変調装置を有する投写部から被投写面に投写された所定の形状を有するパターンが撮像されたパターン画像に基づいて前記パターンを検出するパターン検出部と、
前記被投写面の枠の少なくとも一部が撮像された枠の画像に基づいて、前記被投写面の1つの枠辺につき2本ずつ、合計8本の直線を検出して、前記被投写面の隅ごとに交差する関係にある2本の直線をそれぞれ検出する直線検出部と、
前記光変調装置における前記パターンの座標と、前記パターン画像から検出された前記パターンの座標とに基づいて、撮像された画像における座標を前記光変調装置における座標に変換するための座標変換係数を算出する座標変換係数算出部と、
前記隅ごとに前記検出された2本の直線と前記座標変換係数とに基づいて前記枠の頂点を求め、該頂点に基づき台形歪み補正を行うための補正値を算出する補正値算出部と、
を備える、画像処理装置。
また、本発明は以下の適用例として実現することが可能である。
図1は、本発明の画像処理装置の実施形態としてのプロジェクター10のハードウェア構成を示す説明図である。プロジェクター10は、画像を表す画像光を投写して、スクリーン30などの被投写面上に画像を表示させる。
図2は、図1に示した画像処理回路120の具体的な構成を示すブロック図である。図示するように、画像処理回路120は、パターン出力部121と、パターン検出部122と、直線検出部123と、座標変換部124と、補正値算出部125と、歪み補正部126と、を備えている。
図3は、プロジェクター10による初期スクリーン枠補正処理の流れを示すフローチャートである。スクリーン枠補正処理は、表示画像の外周の各辺がスクリーン枠に一致するように、入力画像に対して台形歪み補正を行う一連の処理である。初期スクリーン枠補正処理は、例えば、プロジェクター10の設置後に、ユーザーからのリモコン181を通じた指示に応じて実行される。なお、初期スクリーン枠補正処理は、例えば電源オンや画像信号の入力などに応じて自動的に実行されるものとしてもよい。
次に、自動スクリーン枠補正処理を行う場合について説明する。自動スクリーン枠補正処理とは、プロジェクター10の移動が検知された場合に、自動的に台形歪み補正を行うための処理である。自動スクリーン枠補正処理においても、スクリーン枠直線をスクリーン30の隅ごとに2本ずつ、合計8本検出する点や、スクリーン30の隅ごとに座標変換係数を算出する点においては、上述した初期スクリーン枠補正処理と同様である。しかし、初期スクリーン枠補正処理においては、測定用パターン(ステップS110)と、黒画像(ステップS140)とを別々に投写していたのに対し、自動スクリーン枠補正処理では、スクリーン枠直線検出用の黒領域と、座標変換係数算出用の測定点との両方を含む測定用パターンを、台形歪み補正後の画像上に重畳して投写する(ステップS50)点が異なる。以下、これらの相違点を中心に、自動スクリーン枠補正処理について説明する。
以上、本発明の一実施形態について説明したが、本発明はこのような実施形態に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができる。
上述の初期スクリーン枠補正処理におけるステップS110、および自動スクリーン枠補正処理におけるステップS50で使用される測定用パターンは、4点の測定点を有するパターン領域を4つ備えることで、合わせて16点の測定点を有している。しかし、測定用パターンの有する測定点の数は、これに限られず、合わせて4点以上であればよい。測定点が4点以上あれば、カメラ座標からパネル座標への射影変換を行うための座標変換係数を算出することができる。例えば、各測定領域に1つの測定点を有することとしてもよいし、4点の測定点を備える1つの測定領域からなる測定用パターンであってもよい。また、測定点の形状は、画像処理により検出可能な形状であれば、例えば四角形状や十字形状などであってもよい。さらに、初期スクリーン枠補正処理におけるステップS110では、測定点を検出可能であれば、黒領域部分を備えない測定点のみを有する測定用パターンを使用することもできる。
上述の初期スクリーン枠補正処理におけるステップS140では、ステップS150でスクリーン枠直線を検出するために、全面黒画像を投写しているが、投写する黒画像は全面黒画像でなくともよい。図12は、ステップS140において、スクリーン枠直線を検出するために投写する黒画像の例を示す図である。例えば図12(A)に示す黒画像PT3のように、表示画像の黒領域がスクリーン枠SCFと重なるように、中央に例えば背景領域を有し、外周に黒領域Kを有する黒画像であってもよい。また、図12(B)に示す黒画像PT4のように、液晶パネル130のそれぞれの隅に、黒領域Ka、Kb、Kc、Kdを有する黒画像であってもよい。また、上述の初期スクリーン枠補正処理および自動スクリーン枠補正処理で説明した黒領域(L字型黒領域や黒画像を含む)は、完全な黒に限定されない。例えば、色にかかわらず輝度が低い(例えば0%から10%の輝度)領域でもよい。
上述の初期スクリーン枠補正処理におけるステップS150では、直線検出部123は測定点を結んで作製される線分C3D4を3等分して、その幅をスクリーン枠SCF方向に対してエッジ検出を行っているが(図7参照)、エッジ検出を行う幅はこれに限られない。エッジ検出を行う幅は任意に設定可能である。
上述のスクリーン枠補正処理においては、スクリーン枠直線をカメラ座標からパネル座標へと変換した後に直線の交点を求めているが、カメラ座標上で直線の交点を求めてから、その交点を座標変換係数を用いてパネル座標へ変換して、枠の頂点を求めてもよい。
スクリーン30の設置状況によっては、照明がスクリーン30に対して写りこんだり、スクリーン枠の色が部分的に異なったりすることにより、エッジ検出によっては8本のスクリーン枠直線を検出できない場合がある。このような場合においても、プロジェクター10は、上述のスクリーン枠補正処理を行うことができる。図13は、エッジ検出により8本のスクリーン枠直線の一部が検出されない場合の処理について説明するための図である。図13(A)に示すパネル画像では、スクリーン枠直線LA1iと交差する関係にあるはずのスクリーン枠直線LA2i(図8(A)参照)が検出されていない。このような場合、直線検出部123は、スクリーン枠直線LA2iと同一のスクリーン枠SCF上にあると推定されるスクリーン枠直線LD2iを延長して、検出されなかったスクリーン枠直線LA2iを補完する(図13(B))。上述のスクリーン枠補正処理においては、スクリーン枠直線を8本に分けて検出しているため、このように検出されないスクリーン枠直線が存在しても、近似すると推定されるスクリーン枠直線で補完することができる。そのため、枠画像において検出されない直線が存在しても、台形歪み補正を行うことができる。
図14は、直線検出部123が、枠画像のエッジ検出に際してスクリーン枠直線を誤検出した場合の処理について説明するための図である。図14(A)に示すパネル画像では、同一のスクリーン枠上にあると推定されるスクリーン枠直線LA2iとスクリーン枠直線LD2iとが離れて検出されている。このようなスクリーン枠直線に基づいて頂点を求めて台形歪み補正を行うと、スクリーン枠と表示画像の各辺とが一致しない可能性がある。このような事態を防ぐため、直線検出部123はまず、同一のスクリーン枠上にあると推定される2本のスクリーン枠直線LA2iとスクリーン枠直線LD2iとの位置および傾きの関係値を求める。例えば、パネル画像における中線Lとそれぞれのスクリーン枠直線との交点を算出して、それぞれの交点間の距離hを算出する(図14(A))。また、直線検出部123は、スクリーン枠直線LA2iの傾きの絶対値m2と、スクリーン枠直線LD2iの傾きの絶対値m1を算出し、その差分の絶対値|m1−m2|を求める。そして、距離hがあらかじめ定めた既定値以下であるか否か、また、傾きの絶対値m1、m2の差分の絶対値|m1−m2|があらかじめ定めた既定値以下であるか否かをそれぞれ判定する。判定の結果、少なくともどちらか一方が既定値以上である場合には、スクリーン枠直線LA2iとスクリーン枠直線LD2iのうち一方の値を破棄する。図14(A)では、スクリーン枠直線LA2iとスクリーン枠直線LD2iとの傾きはほぼ等しいため、|m1−m2|は既定値内であるが、距離hが既定値以上である。直線検出部123は、図14(A)に示すような位置関係にある場合には、より測定点から離れて位置しているスクリーン枠直線LA2iを破棄し、スクリーン枠直線LD2iを延長してスクリーン枠直線LA2iを補完する(図14(B))。
上述のステップS180で投写する自動スクリーン枠補正処理により求められる台形歪み補正後の入力画像として、現在の補正値と、現在の補正値を算出する以前に算出した補正値(従前の補正値)との中間の補正値を算出して、その中間の補正値に基づいて台形歪み補正を行った画像を表示することもできる。例えば、まず、第5回目の処理により算出した補正値と第6回目の処理により算出した補正値との中間の補正値を算出する。そして、その中間の補正値に基づいて台形歪み補正を行った画像を表示した後に、第6回目の処理により算出した補正値に基づいて台形歪み補正を行った入力画像を表示することとしてもよい。さらに、中間の補正値を複数(例えば3〜4つ)算出して、それらに基づいて台形歪み補正を行った画像を順に表示した後に、第6回目の補正値に基づいて台形歪み補正を行った入力画像を表示してもよい。また、自動スクリーン枠補正処理を行っている間は、現在の補正値と、現在の補正値を算出する以前に算出した補正値との中間の補正値に基づいて台形歪み補正を行った画像を表示し、自動スクリーン枠補正処理が終わった後に、現在の補正値に基づいて台形歪み補正を行った画像を表示しても良い。こうすることで、入力画像を滑らかに変化させて表示することができるので、ユーザーは台形歪み補正後の入力画像をより違和感なく確認することができる。
上述のステップS50では、スクリーン枠直線検出用の黒領域と、座標変換係数算出用の測定点との両方を含む測定用パターンを、台形歪み補正後の画像上に重畳して投写しているが、黒領域と、測定点と、台形歪み補正後の画像とを交互に時分割で表示することとしてもよい。また、ステップS50において、測定点を表示し続け、黒領域と台形歪み補正後の画像とを交互に時分割で表示することとしてもよい。
上述のステップS185では、所定時間が経過した場合に映像に重畳していた測定用パターンPT2を消去しているが、所定時間は、ステップS155で枠画像から直接スクリーン枠直線が8本検出できなかった場合に、長くするように設定することができる。エッジ検出によりスクリーン枠直線が8本検出できなくとも、上述の変形例で述べたようにスクリーン枠直線を補完することは可能である。しかし、補完したスクリーン枠直線よりも実際に枠画像から検出したスクリーン枠直線のほうが、カメラレンズの歪みの影響を反映しているため、その歪みを解消したより適切な台形歪み補正後の入力画像を算出できる。そのため、スクリーン枠直線が検出できなかった場合は、測定用パターンPT2を入力画像から消去するまでの時間を長くすることで、ユーザーはスクリーン枠直線を枠画像から検出可能な位置に、プロジェクター10を設置しなおすことができる。
上述の実施形態では、振動検知部129はプロジェクター10の備えるジャイロセンサーから振動を検知することとしているが、振動検知部129は、ジャイロセンサーに代えて、加速度センサーなど他の振動検知センサーを備えてもよい。また、振動検知部129は、センサーによらず、背景画像の変化を解析することにより、プロジェクター10の振動を検知することとしてもよい。
上述の実施形態において、台形歪み補正後の入力画像Nが表示される領域には、台形歪み補正後の入力画像Nの枠線のみを表す画像や、台形歪み補正後の入力画像Nの枠線内を枠線外の色とは異なる色(例えば白や青など)で塗りつぶした画像などを表示してもよい。これらの画像を表示することとすれば、台形歪み補正を行うための処理負担が軽減されるので、補正後の入力画像の形状を高速に表示することができる。なお、これらの画像は、液晶パネルの画像形成枠と相似形であることが好ましく、同じであることがより好ましい。
上述の実施形態におけるプロジェクター10は、初期スクリーン枠補正処理と自動スクリーン枠補正処理とを行うこととしているが、どちらか一方のスクリーン枠補正処理のみを行うこととしてもよい。
上述の実施形態では、プロジェクター10は、光変調装置として透過型の液晶パネル130を用いた例を説明したが、光変調装置は透過型の液晶パネル130に限定されない。例えば、光変調装置としてデジタル・マイクロミラー・デバイス(DMD:Digital Micro−Mirror Device)や、反射型の液晶パネル等を用いて、照明光学系140からの光を変調する構成にしてもよい。また、小型CRT(陰極線管)上の映像を被投写面に投写するCRTプロジェクターでもよい。
上述の実施形態では、本発明の画像処理装置をプロジェクターに適用したが、図2に示した画像処理回路120を画像処理装置として捉えることも可能である。また、上述の実施形態では、画像処理回路がハードウェア的にスクリーン枠補正処理を行うこととしたが、CPUがプログラムの実行によりソフトウェア的にスクリーン枠補正処理を実行することとしてもよい。
30…スクリーン
102…バス
110…A/D変換部
120…画像処理回路
121…パターン出力部
122…パターン検出部
123…直線検出部
124…座標変換部
125…補正値算出部
126…歪み補正部
129…振動検知部
130…液晶パネル
132…液晶パネル駆動部
140…照明光学系
150…投写光学系
152…投写レンズ
154…レンズ駆動部
160…CPU
170…ROM
171…測定用パターン記憶部
175…RAM
180…リモコン制御部
181…リモコン
190…撮像部
200…ケーブル
A、B、C、D…パターン領域
AL、BL、CL、DL…L字型黒領域
A1、B2、C3、D4…測定点
LA1、LA2、LB1、LB2、LC1、LC2、LD1、LD2、LA1i、LA2i、LB1i、LB2i、LC1i、LC2i、LD1i、LD2i…スクリーン枠直線
K、Ka、Kb、Kc、Kd…黒領域
h…距離
N…台形歪み補正後の入力画像
H…背景領域
V…交点
SCF…スクリーン枠
CF…カメラ枠
L…中線
PF…測定用パターン枠
PT1、PT2…測定用パターン
PT3、PT4…黒画像
Claims (9)
- 画像処理装置であって、
光変調装置を有する投写部から被投写面に投写された所定の形状を有するパターンが撮像されたパターン画像に基づいて前記パターンを検出するパターン検出部と、
前記被投写面の枠の少なくとも一部が撮像された枠の画像に基づいて、前記被投写面の1つの枠辺につき2本ずつ、合計8本の直線を検出して、前記被投写面の隅ごとに交差する関係にある2本の直線をそれぞれ検出する直線検出部と、
前記光変調装置における前記パターンの座標と、前記パターン画像から検出された前記パターンの座標とに基づいて、撮像された画像における座標を前記光変調装置における座標に変換するための座標変換係数を算出する座標変換係数算出部と、
前記隅ごとに前記検出された2本の直線と前記座標変換係数とに基づいて前記枠の頂点を求め、該頂点に基づき台形歪み補正を行うための補正値を算出する補正値算出部と、
を備える、画像処理装置。 - 請求項1記載の画像処理装置であって、
前記パターンは前記光変調装置の隅ごとに位置し、
前記座標変換係数算出部は、前記被投写面の隅ごとにそれぞれ前記座標変換係数を算出し、
前記補正値算出部は、検出された前記被投写面の隅ごとに交差する関係にある2本の直線と、該隅に対応する前記座標変換係数とに基づいて、前記頂点を求める、画像処理装置。 - 請求項1または請求項2に記載の画像処理装置であって、
前記直線検出部は、前記被投写面の1つの枠辺上にある2本の直線のうち1の直線が検出されない場合には、他の1の直線に基づいて前記検出されない直線を推定する、画像処理装置。 - 請求項1から請求項3までのいずれか一の請求項記載の画像処理装置であって、
前記直線検出部は、前記被投写面の1つの枠辺上にあると推定される検出された2本の直線の位置の関係および傾きの関係の少なくとも一方の関係が所定の関係を満たさない場合には、検出された2本のうちの一方の直線を破棄し、他方の直線に基づいて一方の直線を推定する、画像処理装置。 - 請求項4記載の画像処理装置であって、
前記直線検出部は、前記位置の関係が前記所定の関係を満たさない場合には、前記検出された2本の直線のうち前記パターンとの距離が遠い直線を破棄し、前記パターンとの距離が近い直線に基づいて前記一方の直線を推定する、画像処理装置。 - 請求項4または請求項5に記載の画像処理装置であって、
前記直線検出部は、前記傾きの関係が所定の関係を満たさない場合には、前記検出された2本の直線のうち前記検出された2本の直線が存在すると推定される枠辺との傾きがより異なる直線を破棄し、前記枠辺との傾きがより近い直線に基づいて前記一方の直線を推定する、画像処理装置。 - 請求項1から請求項6までのいずれか一の請求項記載の画像処理装置であって、
前記補正値算出部は、前記直線検出部が前記隅ごとに前記検出された2本の直線を前記光変調装置における座標に変換した後に、前記枠の頂点を求める、画像処理装置。 - 請求項1から請求項7までのいずれか一の請求項記載の画像処理装置と、台形歪み補正部と、前記投写部と、を備えるプロジェクター。
- 画像処理方法であって、
光変調装置を有する投写部から被投写面に投写された所定の形状を有するパターンが撮像されたパターン画像に基づいて前記パターンを検出する工程と、
被投写面の枠の少なくとも一部が撮像された枠画像に基づいて、前記被投写面の1つの枠辺につき2本ずつ、合計8本の直線を検出して、前記被投写面の隅ごとに交差する関係にある2本の直線をそれぞれ検出する工程と、
前記光変調装置における前記パターンの座標と、前記パターン画像から検出された前記パターンの座標とに基づいて、撮像された画像における座標を前記光変調装置における座標に変換するための座標変換係数を算出する工程と、
前記隅ごとに前記検出された2本の直線と前記座標変換係数とに基づいて前記枠の頂点を求め、該頂点に基づき台形歪み補正を行うための補正値を算出する工程と、を備える、画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012051925A JP5970873B2 (ja) | 2012-03-08 | 2012-03-08 | 画像処理装置、画像処理方法、およびプロジェクター |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012051925A JP5970873B2 (ja) | 2012-03-08 | 2012-03-08 | 画像処理装置、画像処理方法、およびプロジェクター |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013187764A JP2013187764A (ja) | 2013-09-19 |
JP5970873B2 true JP5970873B2 (ja) | 2016-08-17 |
Family
ID=49388830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012051925A Active JP5970873B2 (ja) | 2012-03-08 | 2012-03-08 | 画像処理装置、画像処理方法、およびプロジェクター |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5970873B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11240475B2 (en) | 2018-04-17 | 2022-02-01 | Sony Corporation | Information processing apparatus and method |
CN110677634B (zh) * | 2019-11-27 | 2021-06-29 | 成都极米科技股份有限公司 | 投影仪的梯形校正方法、装置、系统及可读存储介质 |
CN112995624B (zh) * | 2021-02-23 | 2022-11-08 | 峰米(北京)科技有限公司 | 用于投影仪的梯形误差校正方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009206800A (ja) * | 2008-02-27 | 2009-09-10 | Seiko Epson Corp | 画像処理装置、プロジェクタ、画像処理方法 |
JP5251202B2 (ja) * | 2008-03-27 | 2013-07-31 | セイコーエプソン株式会社 | プロジェクタの投射画像の歪補正方法、及びプロジェクタ |
JP5266953B2 (ja) * | 2008-08-19 | 2013-08-21 | セイコーエプソン株式会社 | 投写型表示装置および表示方法 |
JP2010273289A (ja) * | 2009-05-25 | 2010-12-02 | Seiko Epson Corp | 電子情報ボードシステム、コンピューター端末およびキャリブレーション方法 |
JP2011199717A (ja) * | 2010-03-23 | 2011-10-06 | Seiko Epson Corp | 投写型表示装置および画像表示方法 |
-
2012
- 2012-03-08 JP JP2012051925A patent/JP5970873B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013187764A (ja) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6015037B2 (ja) | 画像処理装置、画像処理方法、およびプロジェクター | |
JP3994290B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP3925521B2 (ja) | スクリーンの一部の辺を用いたキーストーン補正 | |
JP5266953B2 (ja) | 投写型表示装置および表示方法 | |
JP5266954B2 (ja) | 投写型表示装置および表示方法 | |
JP3871061B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP3722146B1 (ja) | プロジェクタおよび画像補正方法 | |
US9723281B2 (en) | Projection apparatus for increasing pixel usage of an adjusted projection area, and projection method and program medium for the same | |
JP6244638B2 (ja) | 投影装置、投影方法及び投影プログラム | |
US7839543B2 (en) | Document imager, document stillness detection method, and computer program product | |
JP5910157B2 (ja) | 画像投射装置 | |
JP5493340B2 (ja) | 投写型表示装置および配置関係検出方法 | |
JP2020112711A (ja) | プロジェクターの制御方法、プロジェクターおよび投写システム | |
JP5239611B2 (ja) | 投写型表示装置および画像の補正方法 | |
JP5541031B2 (ja) | プロジェクター、およびプロジェクターの制御方法 | |
JP5970873B2 (ja) | 画像処理装置、画像処理方法、およびプロジェクター | |
US9830842B2 (en) | Display apparatus for performing control to change a position on an image where an additional image is superimposed | |
JP6205755B2 (ja) | プロジェクタ装置、プロジェクタシステム、プロジェクタ制御方法及びプロジェクタ制御プログラム | |
US10657622B2 (en) | Controlling projected image frame rate in response to determined projection surface curvature | |
JP6064699B2 (ja) | 画像処理装置、プロジェクター及び画像処理方法 | |
JP2014187515A (ja) | プロジェクター及びプロジェクターの制御方法 | |
JP6015692B2 (ja) | プロジェクター、投射状態調整方法及び投射状態調整プログラム | |
JP2005286573A (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP5565500B2 (ja) | 投写型表示装置及びその制御方法、その制御プログラム | |
JP2012114689A (ja) | プロジェクター、およびプロジェクターの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5970873 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |