JP6242009B2 - 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 - Google Patents
広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 Download PDFInfo
- Publication number
- JP6242009B2 JP6242009B2 JP2014139020A JP2014139020A JP6242009B2 JP 6242009 B2 JP6242009 B2 JP 6242009B2 JP 2014139020 A JP2014139020 A JP 2014139020A JP 2014139020 A JP2014139020 A JP 2014139020A JP 6242009 B2 JP6242009 B2 JP 6242009B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- terminal
- wide area
- browsing
- area image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
撮影側端末は、
閲覧側端末と共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶した第1の広域画像共有記憶手段と、
広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
を有し、
閲覧側端末は、
撮影側端末と共有する広域画像を記憶した第2の広域画像共有記憶手段と、
広域画像に対して、撮影側端末から受信したカメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
を有することを特徴とする。
閲覧側端末の撮影領域枠計算手段は、フレームの4頂点を、カメラ姿勢の射影変換行列によって変換した四角形の枠を、撮影領域枠とすることも好ましい。
撮影側端末の第1の広域画像共有記憶手段は、複数の撮影画像からパノラマ画像を生成し、当該パノラマ画像を閲覧側端末へ送信し、
閲覧側端末の第2の広域画像共有記憶手段は、撮影側端末から受信したパノラマ画像を記憶することも好ましい。
撮影側端末のフレーム送信手段は、カメラ姿勢のみを閲覧側端末へ送信し続ける中で、周期的又はユーザ選択の撮影画像をカメラ姿勢に対応付けて送信することも好ましい。
閲覧側端末の画像描画手段は、撮影側端末から受信した撮影画像を逐次連続的に、広域画像に重畳して描画することも好ましい。
閲覧側端末の画像描画手段は、撮影側端末から受信した最新の撮影画像のみを、広域画像に重畳して描画することも好ましい。
閲覧側端末の前記画像描画手段は、撮影側端末から受信した撮影画像のうち、閲覧者が指定した撮影画像のみを広域画像に重畳して描画することも好ましい。
撮影側端末は、点対応計算手段に入力される撮影画像に対して、ダウンサンプリングによって1枚の撮影画像の解像度を低減させるべく変換するダウンサンプリング手段を更に有することも好ましい。
撮影側端末について、
点対応計算手段及びカメラ姿勢計算手段は、撮影画像が広域画像に対して点対応を計算できない場合、撮影画像と直近の他の撮影画像との間の射影変換行列と、直近の他の撮影画像と広域画像との間の射影変換行列との積を、カメラ姿勢として算出する
ことも好ましい。
閲覧側端末と共有する、当該カメラに映るであろう広域画像を記憶した第1の広域画像共有記憶手段と、
広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
を有し、閲覧側端末のディスプレイに、広域画像に対してカメラ姿勢の撮影領域枠を重畳的に描画させる
ことを特徴とする。
撮影側端末と共有する広域画像を記憶した第2の広域画像共有記憶手段と、
広域画像に対して、撮影側端末から受信したカメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
を有することを特徴とする。
閲覧側端末と共有する、当該カメラに映るであろう広域画像を記憶した第1の広域画像共有記憶手段と、
広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
してコンピュータを機能させ、閲覧側端末のディスプレイに、広域画像に対してカメラ姿勢の撮影領域枠を重畳的に描画させる
ことを特徴とする。
撮影側端末と共有する広域画像を記憶した第2の広域画像共有記憶手段と、
広域画像に対して、撮影側端末から受信したカメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
してコンピュータを機能させることを特徴とする。
撮影側端末及び閲覧側端末は、相互に共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶しており、
撮影側端末が、広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する第1のステップと、
撮影側端末が、画像間の点対応から、カメラ姿勢としての射影変換行列を計算する第2のステップと、
撮影側端末が、カメラ姿勢を、閲覧側端末へ送信する第3のステップと、
閲覧側端末が、広域画像に対して、撮影側端末から受信したカメラ姿勢の撮影領域枠を計算する第4のステップと、
広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する第5のステップと
を有することを特徴とする。
図3は、本発明における映像転送システムのシーケンス図である。
撮影側端末1によれば、カメラモジュール102は、例えば連写や動画によって被写体を撮影した撮影画像(フレーム)を逐次、映像転送プログラムへ出力する。
第1の広域画像共有記憶部11は、閲覧側端末と共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶する。広域画像としては、複数の撮影画像から生成したパノラマ画像であってもよい。生成されたパノラマ画像は、閲覧側端末2へ送信される。そして、広域画像は、撮影側端末1と閲覧側端末2との両方で共有される(図3のS31参照)。被写体が既知である場合は、被写体の撮影画像を撮影側端末1と閲覧側端末2とで事前に共有しておいてもよい。尚、第1の広域画像共有記憶部11は、広域画像から予め抽出した特徴点集合を記憶しておくことも好ましい。これら特徴点集合は、点対応計算部12によって直ぐに参照される。
広域画像生成部15は、カメラモジュール102からの撮影画像を逐次に記憶し、複数の撮影画像から1枚のパノラマ画像を生成するものであってもよい。
点対応計算部12は、カメラモジュール102から撮影画像を入力すると共に、第1の広域画像共有記憶部11に記憶された広域画像(パノラマ画像)を参照する。そして、点対応計算部12は、広域画像と撮影画像との間の特徴点の点対応を計算する。具体的には、撮影画像から局所特徴量を抽出し、一方の撮影画像の特徴点pと広域画像の特徴点p'との間の点対応P={(p, p')}を計算する(図3のS32参照)。
座標p=(x,y)、方向θ、局所特徴ベクトルf
尚、点対応を検出する撮影画像及び広域画像間では、その特徴ベクトルについて同じ次元数である。
(1)局所特徴点間の距離に基づいて点対応をソートし、距離が所定閾値以下の点対応のみを用いる。
(2)局所特徴点間の距離に基づいて点対応をソートし、距離が1番目に近いものと2番目に近いものを探索し、それらの距離の比(2番目との距離に対する1番目との距離)が所定閾値以下のものを用いる。
(3)その他、計算コストに優れるバイナリ特徴量や、SSD(Sum of Squared Difference)、正規化相互相関(NCC)等も用いることもできる。
他の実施形態として、ダウンサンプリング部16は、撮影画像に対して、ダウンサンプリング(例えばピクセル数の減少)によって1枚の撮影画像の解像度を低減させるべく変換する。低解像度に変換された撮影画像は、点対応計算部12へ出力される。これによって、点対応計算部12及びカメラ姿勢計算部13の計算量を削減することができる。
カメラ姿勢計算部13は、点対応計算部12から出力された撮影画像と広域画像との間の点対応を入力し、カメラ姿勢としての射影変換行列を計算する(図3のS33参照)。
(1)目標画像の特徴点に対して所定閾値以下の近くに射影されれば、inlierと判定する。
(2)逆に、所定閾値よりも遠くに射影されれば、outlierと判定する。図5によれば、outlierは、破線で表されている。
この処理を複数回実行した後、inlierの数が所定閾値以上となったHomography行列Hのみを採用する。
広域画像に対する撮影画像のカメラ姿勢: 射影変換行列H61
この場合、射影変換行列の誤差が蓄積しないため、カメラ姿勢の精度が高くなる。
これは、撮影画像が、広域画像に対して認識対象を見失った状態である。この場合、点対応計算部12及びカメラ姿勢計算部13は、撮影画像(最新の入力フレーム)と直近の他の撮影画像(バッファフレーム)との間の射影変換行列と、直近の他の撮影画像(バッファフレーム)と広域画像との間の射影変換行列との積を、カメラ姿勢として算出する。
バッファフレームに対する撮影画像のカメラ姿勢: 射影変換行列H65
広域画像に対するバッファフレームのカメラ姿勢: 射影変換行列H51
広域画像に対する撮影画像のカメラ姿勢: H65・H51
この場合、射影変換行列の誤差が蓄積し、カメラ姿勢の精度が比較的低くなる。
フレーム送信部14は、以下のように、基本ケースと応用ケースとがある。
(基本ケース)広域画像に対するカメラ姿勢のみを、閲覧側端末2へ送信する。即ち、撮影画像を逐次、閲覧側端末2へ送信することはない。カメラ姿勢の情報のみであれば、数十キロバイト程度の少ないデータ量であるため、低い伝送帯域であっても、連続的に送信することができる。
閲覧側端末2のプログラムは、第2の広域画像共有記憶部21と、撮影領域枠計算部22と、画像描画部23とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
第2の広域画像共有記憶部21は、撮影側端末1と共有する広域画像を記憶する。広域画像は、撮影側端末1から受信したパノラマ画像であってもよい。被写体が既知である場合、事前に設定しておいてもよい。
撮影領域枠計算部22は、第2の広域画像共有記憶部21に記憶された広域画像に対して、撮影側端末1から受信したカメラ姿勢の撮影領域枠を計算する。具体的には、フレームの4頂点を、カメラ姿勢の射影変換行列によって変換した四角形の枠を、撮影領域枠とする。但し、撮影領域を示す4点は必ずしもフレームの四隅である必要はなく、事前に指定したフレーム内の任意の4点でもよい。また、点数を限定する必要はなく、射影変換行列によって変換された1点を撮影位置(撮影領域)として計算してもよい。
画像描画部23は、広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する。
(第1のパターン)画像描画部23は、撮影側端末1から受信した全ての撮影画像を逐次連続的に、広域画像に重畳して描画する。
101 通信インタフェース
102 カメラモジュール
11 第1の広域画像共有記憶部
12 点対応計算部
13 カメラ姿勢計算部
14 フレーム送信部
15 広域画像生成部
16 ダウンサンプリング部
2 閲覧側端末
201 通信インタフェース
203 ディスプレイ
21 第2の広域画像共有記憶部
22 撮影領域枠計算部
23 画像描画部
Claims (14)
- カメラを有する撮影側端末と、ディスプレイを有する閲覧側端末とが、ネットワークを介して接続された映像転送システムにおいて、
撮影側端末は、
閲覧側端末と共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶した第1の広域画像共有記憶手段と、
前記広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
前記カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
を有し、
閲覧側端末は、
撮影側端末と共有する前記広域画像を記憶した第2の広域画像共有記憶手段と、
前記広域画像に対して、撮影側端末から受信した前記カメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
前記広域画像に、前記撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
を有することを特徴とする映像転送システム。 - 閲覧側端末の前記撮影領域枠計算手段は、フレームの4頂点を、前記カメラ姿勢の射影変換行列によって変換した四角形の枠を、前記撮影領域枠とする
ことを特徴とする請求項1に記載の映像転送システム。 - 撮影側端末の第1の広域画像共有記憶手段は、複数の撮影画像からパノラマ画像を生成し、該パノラマ画像を閲覧側端末へ送信し、
閲覧側端末の第2の広域画像共有記憶手段は、撮影側端末から受信した前記パノラマ画像を記憶する
ことを特徴とする請求項1又は2に記載の映像転送システム。 - 撮影側端末の前記フレーム送信手段は、前記カメラ姿勢のみを閲覧側端末へ送信し続ける中で、周期的又はユーザ選択の撮影画像をカメラ姿勢に対応付けて送信する
ことを特徴とする請求項1から3のいずれか1項に記載の映像転送システム。 - 閲覧側端末の前記画像描画手段は、撮影側端末から受信した撮影画像を逐次連続的に、前記広域画像に重畳して描画する
ことを特徴とする請求項4に記載の映像転送システム。 - 閲覧側端末の前記画像描画手段は、撮影側端末から受信した最新の撮影画像のみを、前記広域画像に重畳して描画する
ことを特徴とする請求項4に記載の映像転送システム。 - 閲覧側端末の前記画像描画手段は、撮影側端末から受信した撮影画像のうち、閲覧者が指定した撮影画像のみを広域画像に重畳して描画する
ことを特徴とする請求項4に記載の映像転送システム。 - 撮影側端末は、前記点対応計算手段に入力される撮影画像に対して、ダウンサンプリングによって1枚の撮影画像の解像度を低減させるべく変換するダウンサンプリング手段を更に有する
ことを特徴とする請求項1から7のいずれか1項に記載の映像転送システム。 - 撮影側端末について、
前記点対応計算手段及び前記カメラ姿勢計算手段は、撮影画像が広域画像に対して点対応を計算できない場合、撮影画像と直近の他の撮影画像との間の射影変換行列と、直近の他の撮影画像と広域画像との間の射影変換行列との積を、カメラ姿勢として算出する
ことを特徴とする請求項1から8のいずれか1項に記載の映像転送システム。 - ディスプレイを有する閲覧側端末とネットワークを介して接続されると共に、カメラを有する撮影側端末において、
閲覧側端末と共有する、当該カメラに映るであろう広域画像を記憶した第1の広域画像共有記憶手段と、
前記広域画像と、前記カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
前記カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
を有し、閲覧側端末のディスプレイに、前記広域画像に対して前記カメラ姿勢の撮影領域枠を重畳的に描画させる
ことを特徴とする撮影側端末。 - 請求項10に記載の撮影側端末とネットワークを介して接続されると共に、ディスプレイを有する閲覧側端末において、
撮影側端末と共有する前記広域画像を記憶した第2の広域画像共有記憶手段と、
前記広域画像に対して、撮影側端末から受信した前記カメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
前記広域画像に、前記撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
を有することを特徴とする閲覧側端末。 - ディスプレイを有する閲覧側端末とネットワークを介して接続されると共に、カメラを有する撮影側端末に搭載されたコンピュータを機能させるプログラムにおいて、
閲覧側端末と共有する、当該カメラに映るであろう広域画像を記憶した第1の広域画像共有記憶手段と、
前記広域画像と、前記カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
前記カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
してコンピュータを機能させ、閲覧側端末のディスプレイに、前記広域画像に対して前記カメラ姿勢の撮影領域枠を重畳的に描画させる
ことを特徴とする撮影側端末用のプログラム。 - 請求項10に記載の撮影側端末とネットワークを介して接続されると共に、ディスプレイを有する閲覧側端末に搭載されたコンピュータを機能させるプログラムにおいて、
撮影側端末と共有する前記広域画像を記憶した第2の広域画像共有記憶手段と、
前記広域画像に対して、撮影側端末から受信した前記カメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
前記広域画像に、前記撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
してコンピュータを機能させることを特徴とする閲覧側端末用のプログラム。 - カメラを有する撮影側端末と、ディスプレイを有する閲覧側端末とが、ネットワークを介して接続されたシステムにおける映像転送方法において、
撮影側端末及び閲覧側端末は、相互に共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶しており、
撮影側端末が、前記広域画像と、前記カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する第1のステップと、
撮影側端末が、画像間の点対応から、カメラ姿勢としての射影変換行列を計算する第2のステップと、
撮影側端末が、前記カメラ姿勢を、閲覧側端末へ送信する第3のステップと、
閲覧側端末が、前記広域画像に対して、撮影側端末から受信した前記カメラ姿勢の撮影領域枠を計算する第4のステップと、
前記広域画像に、前記撮影領域枠を重畳的に描画して、ディスプレイに表示する第5のステップと
を有することを特徴とする映像転送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014139020A JP6242009B2 (ja) | 2014-07-04 | 2014-07-04 | 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014139020A JP6242009B2 (ja) | 2014-07-04 | 2014-07-04 | 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016019053A JP2016019053A (ja) | 2016-02-01 |
JP6242009B2 true JP6242009B2 (ja) | 2017-12-06 |
Family
ID=55234010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014139020A Active JP6242009B2 (ja) | 2014-07-04 | 2014-07-04 | 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6242009B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018225806A1 (ja) * | 2017-06-08 | 2018-12-13 | ナーブ株式会社 | 情報管理システム及び情報管理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4170469B2 (ja) * | 1998-10-19 | 2008-10-22 | アジア航測株式会社 | 検査点位置取得方法および装置 |
JP2003346185A (ja) * | 2002-05-24 | 2003-12-05 | Olympus Optical Co Ltd | 情報表示システム及び携帯情報端末 |
JP2005038021A (ja) * | 2003-07-15 | 2005-02-10 | Ricoh Co Ltd | 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム |
JP2005069757A (ja) * | 2003-08-21 | 2005-03-17 | National Institute Of Advanced Industrial & Technology | 中心窩広視野画像を利用したカメラ位置姿勢推定方法及びシステム |
JP2006340091A (ja) * | 2005-06-02 | 2006-12-14 | Canon Inc | カメラサーバ、ビューワ、画像表示システム及び画像配信方法 |
JP2012109852A (ja) * | 2010-11-18 | 2012-06-07 | Nec Corp | 遠隔画像表示システム、装置および方法 |
JP2013009202A (ja) * | 2011-06-24 | 2013-01-10 | Toshiba Corp | カメラ方向調整装置及びカメラ方向調整方法 |
JP5949501B2 (ja) * | 2012-11-29 | 2016-07-06 | ブラザー工業株式会社 | 作業補助システムおよびプログラム |
-
2014
- 2014-07-04 JP JP2014139020A patent/JP6242009B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016019053A (ja) | 2016-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170019595A1 (en) | Image processing method, image processing device and display system | |
US8798387B2 (en) | Image processing device, image processing method, and program for image processing | |
JP5423406B2 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
US9159169B2 (en) | Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program | |
WO2011118282A1 (ja) | 世界座標系データベースを利用したサーバ及び端末 | |
JP6230113B2 (ja) | 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム | |
JP6384856B2 (ja) | 予測カメラ姿勢に基づくarオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法 | |
CN111402404B (zh) | 全景图补全方法、装置、计算机可读存储介质及电子设备 | |
JP7164589B2 (ja) | 室内測位方法、装置、機器および記憶媒体 | |
JP2016005263A (ja) | 複数の撮影画像からパノラマ画像を生成する画像生成システム、端末、プログラム及び方法 | |
JP6192107B2 (ja) | 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム | |
Wang et al. | Panoramic image mosaic based on SURF algorithm using OpenCV | |
JP6242009B2 (ja) | 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 | |
JP6146869B2 (ja) | 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム | |
JP6154759B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム | |
JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
JP2013238987A (ja) | 情報表示装置、情報入力装置、情報表示プログラム及び情報入力プログラム | |
JP2008203538A (ja) | 画像表示システム | |
JP2014014011A (ja) | 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 | |
JP6306822B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP6156930B2 (ja) | 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末、及びプログラム | |
JP6071142B2 (ja) | 画像変換装置 | |
JP6847420B2 (ja) | 速度推定装置、速度推定方法、及び速度推定プログラム | |
JP6820821B2 (ja) | 撮影画像からカメラの位置姿勢の類似度を算出する装置、プログラム及び方法 | |
WO2016185556A1 (ja) | 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6242009 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |