JP5939902B2 - 制御装置及び制御装置の制御方法 - Google Patents
制御装置及び制御装置の制御方法 Download PDFInfo
- Publication number
- JP5939902B2 JP5939902B2 JP2012140100A JP2012140100A JP5939902B2 JP 5939902 B2 JP5939902 B2 JP 5939902B2 JP 2012140100 A JP2012140100 A JP 2012140100A JP 2012140100 A JP2012140100 A JP 2012140100A JP 5939902 B2 JP5939902 B2 JP 5939902B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- tilt
- zoom
- displayed
- pan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 75
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000009826 distribution Methods 0.000 claims description 17
- 238000005520 cutting process Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims 2
- 238000003860 storage Methods 0.000 description 40
- 238000012545 processing Methods 0.000 description 27
- 238000012544 monitoring process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 230000006854 communication Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Description
また、撮像可能な画角の映像に対して、その中の矩形を指定して切り出して、電子的にPTZ駆動させたように表示させる、いわゆる電子PTZなども実現されてきている(特許文献1)。
また、パノラマ領域上でいくつかの矩形を指定した場合に、それらを含むように物理PTZを駆動した上で、それぞれを電子PTZで切り出して配送可能にするカメラなども実現されてきている(特許文献2)。
本発明は前述の問題点に鑑み、複数のPTZ駆動系を明快に操作できるようにすることを目的とする。
(第1の実施形態)
本実施形態の代表図を図3に示す。
図1は、監視カメラ(カメラサーバー)100とビューワークライアント(制御装置)200による監視カメラシステムの詳細を説明するブロック図である。
監視カメラ(撮像装置)100は、CPU110、1次記憶装置120、2次記憶装置130、ビデオキャプチャI/F 140、制御I/F 150、ネットワークI/F 190が内部バス180を介して相互に接続されている。
2次記憶装置130はFDDやHDD、フラッシュメモリ、CD-ROMドライブ等に代表される不揮発性を持った記憶装置で、OSや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。
制御I/F 150には雲台155が接続され、雲台155のパン機構、チルト機構、ローテーション機構、ズーム機構の状態を得たり、操作指示に従って雲台155を制御したりする第1の制御を行う。
1次記憶装置220は、監視カメラ100の1次記憶装置120と同様のものである。
2次記憶装置230は、監視カメラ100の2次記憶装置130と同様のものである。
キーボード240、及びマウス250には指示を与える一般的な入力装置が接続される。
ディスプレイ260には、表示を行う一般的な出力装置が接続される。
ネットワークI/F 290は、ネットワーク195と接続するためのI/Fであり、監視カメラ100のネットワークI/F 190と同様のもので、ネットワークI/F 190と相互に接続できるようにするものである。本実施形態においては、雲台155のパン・チルト・ズームの制御を行うための第1の指示を入力する第1の入力部、及び映像を処理してパン・チルト・ズームの制御を実現するための第2の指示を入力する第2の入力部として機能する。
また、カメラサーバー100の2次記憶装置130には、複数PTZ(パン・チルト・ズーム)データ370、可動範囲値380、撮像データ390などが保存される。
また、図2のビューワークライアント200の2次記憶装置230には、配送データ490などが保存される。
S401では、複数PTZデータ370や可動範囲値380を読み込み、初期化処理を行う。本実施形態の複数PTZデータ370は、第一に物理PTZ、第二に電子PTZの値を持つ。例えば、正面を原点として、撮像画角をパン方向±180度・チルト方向±90度を中心とした画角0〜180度と言う極座標などで物理PTZを表す。また、撮像画角の映像の左上を原点として解像度X×Yの座標で左上座標を定めた幅W高さHの電子的PTZを表す。
S410では、撮像データ390が更新されたか否かを判断する。更新された場合はS411に進み、更新されていない場合はS420に進む。
S411においては、電子PTZの指定の有無を判断する。撮像された映像を電子的に切り出して、電子的パン・チルト・ズームする第2の電子PTZ制御(第2の電子的パン・チルト・ズーム制御)、第2の電子PTZ操作(第2の電子的パン・チルト・ズーム操作)が行われる。電子PTZの指定が有る場合はS412で撮像データ390を切り出した映像を配信する。電子PTZの指定がない場合はS413で撮像データ390をそのまま配送する。その後S402でイベントを待つ。なお、電子PTZは、ビューワークライアント(制御装置)200において、切り出しとして実行することもできる。
S421では、複数PTZデータ370や可動範囲値380を回答する。その後、S402でイベントを待つ。
S430では、複数PTZ設定イベントの有無を判断し、複数PTZ設定イベントが有った場合はS431に進み、無かった場合はS490に進む。
S490では、終了イベントを受け取ったか否かを判断する。終了イベントを受け取ると、配送プログラム320は終了する。終了イベントを受け取らない場合はS402でイベントを待つ。
S501では、カメラサーバー(監視カメラ)100の配送プログラム320に設定問い合わせを行い、複数PTZデータ370や可動範囲値380を得て初期設定を行う。
具体的には、図3で示した操作パネル32のように、可動範囲を示す可動範囲枠33、物理PTZ状態を示す物理PTZ枠34、電子PTZ状態を示す電子PTZ枠35をディスプレイ260に表示する。例えば、可動範囲表示においては極座標を「(-180、+90)-(+180、-90)」の2次元座標にマッピングした矩形33を表示し、その中に物理PTZの位置に画角の矩形34を置き、さらにその中に電子PTZの矩形35を置いて表示する。
可動範囲の矩形33は、従来からある全可動範囲を撮影して得られるパノラマ画像を表示するようにすると、より状況が分かりやすい。
S510では、物理PTZに相当する枠34が、ビューワークライアント200のマウス250、あるいはキーボード240などのインターフェースによって操作されたか否かを判断する。操作されなかった場合はS520に進む。操作された場合、S511に進んで一般的なGUIの処理にならって、枠34をアクティブな状態にして、その矩形を移動させたり、変形させたりする。このように、物理PTZに相当する枠34を移動、変形させることにより、枠34を操作するマウス250等の操作結果を表示する。
S512に進み、その後の枠34が示す座標によって算出される物理PTZの値をサーバー100に複数PTZ設定イベントとして送付される。その後、S502でイベントを待つ。
S522に進み、その後の枠35が示す座標によって算出される電子PTZの値をサーバー100に複数PTZ設定イベントとして送付される。その後S502でイベントを待つ。
S590では、終了イベントを受け取ったか否かを判断する。終了イベントを受け取ると、操作プログラム420は終了する。終了イベントを受け取らない場合はS502でイベントを待つ。
このようにすることで、物理的パン・チルト・ズーム制御を行う物理PTZ制御である第1の制御と、映像を処理してパン・チルト・ズームの制御を実現する第2の制御とをビューワー31に表示することができる。これにより、第1の制御の第1の操作結果と、第2の制御の第2の操作結果をビューワー31に表示することができる。したがって、それぞれの、可動範囲内での状態を表示しながらパン・チルト・ズーム駆動することが可能となり、複数のPTZ駆動系でも操作を明快にすることができる。
第1の実施形態では、複数のPTZ駆動系がカメラサーバー(監視カメラ)100にあったが、ビューワークライアント(制御装置)200を含めたシステムの中に有ってもよい。本実施形態のシステムの構成図は、第1の実施形態の図1と同様である。
表示プログラム411は、第1の実施形態の表示プログラム410とほぼ同等であり、扱うデータが配送データ490から切り出しデータ480に変わったものである。すなわち、2次記憶装置230の切り出しデータ480が更新されたことで、ディスプレイ260上に表示されているビューワー上の画像を更新して表示する。これは、一般的な表示処理で従来からある技術であるため、詳細な説明は省略する。
操作プログラム421は、第1の実施形態の操作プログラム420とほぼ同等であり、前述した図5のフローチャートにおけるS501と、S522と、S583と同等のステップでの処理が異なる。
操作プログラム421のS501と同等のステップでは、カメラサーバー100の配送プログラム320に設定問い合わせを行い、物理PTZデータ370や可動範囲値380を得る。また、2次記憶装置230から切り出し範囲値470を読み出して、初期設定を行う。
S601では、切り出し範囲値470等を読み込んで初期化が行われる。その後、S602でイベントを待ち、イベントが有った場合にはS610に進む。
S610では、配送データ490が更新されたか否かを判断する。配送データ490が更新されなかった場合はS620に進む。また、更新された場合はS611に進み、切り出し位置460が有るか否かを判断する。切り出し位置460が有る場合は、S612に進んで配送データ490を切り出して切り出しデータ480を更新する。
ここで、切り出し位置460のデータは、例えば撮像画角の映像の左上を原点として解像度「X×Y」の座標で左上座標を定めた幅W高さHの電子的PTZを表す値で実現される。
S690では、終了イベントを受け取ったか否かを判断する。終了イベントを受け取ると、切り出しプログラム430は終了する。終了イベントを受け取らない場合はS602でイベントを待つ。
このようにすることで、カメラサーバー100の物理PTZと、ビューワークライアント200のビューワー31での切り出しなどの複数のPTZ駆動系でも操作を明快にすることができる。
第1の実施形態、第2の実施形態では、複数のPTZ駆動系が、2つのPTZ駆動系であったが、実際に3つ以上有ってもよい。
本実施形態のシステムの構成図は、第1の実施形態と同様である。
また、システム構成の1次記憶装置220上で第1の実施形態の操作プログラム420の代わりに操作プログラム422が起動する。
操作プログラム422は、第1の実施形態の操作プログラム420に、枠36の操作の処理S730〜S732が加わり、S582、S583のステップに対応する処理が異なる。
S701〜S722及びS780、S781、S790は、それぞれS501〜S522及びS580、S581、S590と同等である。
S730では、切り出しに相当する枠36が、S510、S520と同様にインターフェースによって操作されたか否かを判断する。操作されなかった場合はS780に進み、操作された場合はS731に進む。S731では、一般的なGUIの処理にならって、枠36をアクティブな状態にして、その矩形を移動させたり、変形させたりする。このように、切り出しに相当する枠36を移動、変形させることにより、枠36を操作するマウス250等の操作結果を表示する。
S732において、その後の枠36が示す座標によって算出される切り出し位置の値が切り出しプログラム430に送付される。その後、S702でイベントを待つ。これにより、表示される映像を電子的に切り出す第3の切り出し制御と、第3の切り出し制御を操作する第3の切り出し操作とを行う第3の操作を実現することが可能となる。
S782では、予め定められた方法で非アクティブな枠が描画される。例えば、S781で物理PTZ枠34が新たに描画された場合、その中央内側に電子PTZ枠35が予め定められたサイズで描画され、さらにその中央内側に切り出し枠36が予め定められたサイズで描画される。
第1の実施形態〜第3の実施形態では、複数のPTZ駆動系の操作が制限なく行われたが、制限することでより好適で明快な操作を提供することもできる。
本実施形態のシステムの構成図は、第1の実施形態と同様である。また、システム構成の1次記憶装置220上で第3の実施形態の操作プログラム422の代わりに操作プログラム423が起動する。
操作プログラム423は、第3の実施形態の操作プログラム422の処理を説明する、図7のフローチャートにおけるS721、S731の処理が異なる。
本実施形態の操作プログラム423においては、S721と同様の処理では、電子PTZに相当する枠35が操作される際に、物理PTZに相当する枠34の内側の領域のみに限定される。従来からあるようなGUIの手法で、枠34の外に枠35を操作しようとした場合に、枠34の外側の領域の操作を禁止するように、予め定められた処理が行なわれる。例えば、警告音が鳴らされたり、操作が無効にされたり、物理PTZに相当する枠34の中央に電子PTZに相当する枠35が設定されたりする、等の処理が行われる。
こうすることで、枠34に枠35が包含され、枠35に枠36が包含されるように操作を限定して、複数のPTZ操作系でも操作を明確にすることができる。
第1の実施形態〜第4の実施形態では、複数のPTZ駆動系の操作を常に明快に表示させていたが、必要に応じた表示にさせることもできる。
本実施形態のシステムの構成図は、第1の実施形態と同様である。また、システム構成の1次記憶装置220上で、第1の実施形態の操作プログラム420の代わりに操作プログラム424が起動する。
S901では、S501と同様に初期化を行い、デフォルトの表示モードとして例えば物理PTZ枠34と電子PTZ枠35を有効にしたモードで表示する。
S902では、イベントを待ち、イベントが有った場合にはS910に進む。
S910〜S922は、第1の実施形態の操作プログラム420のS510〜S522と同様である。
S941では、一般的なGUIの処理にならって、枠37の矩形を移動させたり、変形させたりする。S942に進み、その後の枠37が示す座標によって、予め定められた算出方法で決められる物理PTZの値と電子PTZの値とを、サーバー100に複数PTZ設定イベントとして送付する。その後、S902でイベントを待つ。
S951の判定の結果、枠37が無効な表示モードで有ればS952に進んでそれを切り替えて、枠34と枠35を無効にして枠37を有効にする。枠34と枠35を無効にする際は非アクティブな状態にすると共に非表示にするため、S910やS920でイベントが処理されることはなくなる。
その後、S902に戻りイベントを待つ。
S981では、アクティブにされている枠を対象とみなして操作される。
その後、S982では、予め定められた方法で非アクティブの枠が描画される。例えば、S981で物理PTZ枠34が新たに描画された場合、その中央内側に電子PTZ枠35が予め定められたサイズで描画される。
その後、S983では、従来からあるようなGUIの手法で、枠34と枠35が示す座標によって算出される物理PTZの値と電子PTZの値が、サーバー100に複数PTZ設定イベントとして送付される。その後、S902でイベントを待つ。
S990で、終了イベントを受け取ると、操作プログラム424は終了する。
また、例えば、ユーザーがビューワークライアント200側で高画質にすることを望む場合に枠37で求めた画像がなるべくカメラ側で切り出さずに物理PTZを利用して、配送データ490を高画質にできているかどうかを確認できる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
195 ネットワーク
200 ビューワークライアント(制御装置)
Claims (10)
- パン・チルト・ズームを物理的及び電子的に制御可能な撮像装置から配信映像を入力する入力手段と、
前記パン・チルト・ズームを物理的及び電子的に制御可能な撮像装置に物理的なパン・チルト・ズームの設定値を前記撮像装置に送出し、前記撮像装置が撮像データから配信映像を切り出すための電子パン・チルト・ズームの設定値を前記撮像装置に送出する送出手段と、
前記入力手段が入力した配信映像から、設定された位置による切り出しを行う切り出し手段と、
前記撮像装置のパン・チルト・ズームを物理的に制御して撮影可能な範囲を示す第1の枠を表示し、前記撮像装置の前記物理的なパン・チルト・ズームの設定値による位置を示す第2の枠を前記第1の枠の中に操作可能に表示し、前記撮像装置が前記配信映像を切り出す前記電子パン・チルト・ズームの設定値による位置を示す第3の枠を前記第2の枠の中に操作可能に表示し、前記入力手段が入力した配信映像から切り出す位置を示す第4の枠を前記第3の枠の中に操作可能に表示する表示制御手段とを有し、
前記送出手段は、前記表示制御手段により表示された前記第2の枠の操作結果に応じて、前記物理的なパン・チルト・ズームの設定値を前記撮像装置に送出し、前記表示制御手段により表示された前記第3の枠の操作結果に応じて、前記電子パン・チルト・ズームの設定値を前記撮像装置に送出し、
前記切り出し手段は、前記表示制御手段により表示された前記第4の枠の操作結果に応じて、前記入力手段が入力した配信映像から切り出しを行うことを特徴とする制御装置。 - 前記表示制御手段は、前記第2、前記第3、及び、前記第4の枠を移動操作可能に表示することを特徴とする請求項1に記載の制御装置。
- 前記表示制御手段は、前記第4の枠を変形操作可能に表示することを特徴とする請求項1又は2に記載の制御装置。
- 前記表示制御手段は、前記第4の枠を、前記第3の枠の外に出ない範囲で操作可能に表示することを特徴とする請求項1〜3の何れか1項に記載の制御装置。
- パン・チルト・ズームを物理的及び電子的に制御可能な撮像装置と、
請求項1〜4の何れか1項に記載の制御装置とを有することを特徴とする監視カメラシステム。 - パン・チルト・ズームを物理的及び電子的に制御可能な撮像装置から配信映像を入力する入力工程と、
前記パン・チルト・ズームを物理的及び電子的に制御可能な撮像装置に物理的なパン・チルト・ズームの設定値を前記撮像装置に送出し、前記撮像装置が撮像データから配信映像を切り出すための電子パン・チルト・ズームの設定値を前記撮像装置に送出する送出工程と、
前記入力工程で入力した配信映像から、設定された位置による切り出しを行う切り出し工程と、
前記撮像装置のパン・チルト・ズームを物理的に制御して撮影可能な範囲を示す第1の枠を表示し、前記撮像装置の前記物理的なパン・チルト・ズームの設定値による位置を示す第2の枠を前記第1の枠の中に操作可能に表示し、前記撮像装置が前記配信映像を切り出す前記電子パン・チルト・ズームの設定値による位置を示す第3の枠を前記第2の枠の中に操作可能に表示し、前記入力工程において入力した配信映像から切り出す位置を示す第4の枠を前記第3の枠の中に操作可能に表示する表示制御工程を有し、
前記送出工程では、前記表示制御工程で表示された前記第2の枠の操作結果に応じて、前記物理的なパン・チルト・ズームの設定値を前記撮像装置に送出し、前記表示制御工程で表示された前記第3の枠の操作結果に応じて、前記電子パン・チルト・ズームの設定値を前記撮像装置に送出し、
前記切り出し工程では、前記表示制御工程で表示された前記第4の枠の操作結果に応じて、前記入力工程で入力した配信映像から切り出しを行うことを特徴とする制御装置の制御方法。 - 前記表示制御工程では、前記第2、前記第3、及び、前記第4の枠を移動操作可能に表示することを特徴とする請求項6に記載の制御装置の制御方法。
- 前記表示制御工程では、前記第4の枠を変形操作可能に表示することを特徴とする請求項6又は7に記載の制御装置の制御方法。
- 前記表示制御工程では、前記第4の枠を、前記第3の枠の外に出ない範囲で操作可能に表示することを特徴とする請求項6〜8の何れか1項に記載の制御装置の制御方法。
- 請求項1〜4の何れか1項に記載の制御装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012140100A JP5939902B2 (ja) | 2012-06-21 | 2012-06-21 | 制御装置及び制御装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012140100A JP5939902B2 (ja) | 2012-06-21 | 2012-06-21 | 制御装置及び制御装置の制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014007468A JP2014007468A (ja) | 2014-01-16 |
JP2014007468A5 JP2014007468A5 (ja) | 2015-07-23 |
JP5939902B2 true JP5939902B2 (ja) | 2016-06-22 |
Family
ID=50104868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012140100A Expired - Fee Related JP5939902B2 (ja) | 2012-06-21 | 2012-06-21 | 制御装置及び制御装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5939902B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298884B2 (en) * | 2014-05-09 | 2019-05-21 | Honeywell International Inc. | System and method of precision remote PTZ control of IP cameras |
KR101736439B1 (ko) * | 2015-12-14 | 2017-05-16 | 한국건설기술연구원 | 터널관제용 cctv 레일 시스템 및 그의 제어 방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3841033B2 (ja) * | 2002-08-28 | 2006-11-01 | ソニー株式会社 | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 |
JP4514515B2 (ja) * | 2004-05-25 | 2010-07-28 | 株式会社日立国際電気 | カメラシステム |
JP2008131185A (ja) * | 2006-11-17 | 2008-06-05 | Canon Inc | ネットワークカメラシステム及び配信方法 |
JP5682168B2 (ja) * | 2010-07-30 | 2015-03-11 | ソニー株式会社 | カメラ装置、カメラシステム、制御装置、及びプログラム |
-
2012
- 2012-06-21 JP JP2012140100A patent/JP5939902B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014007468A (ja) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10594988B2 (en) | Image capture apparatus, method for setting mask image, and recording medium | |
TWI422218B (zh) | Control devices, camera systems and programs for monitoring camera systems | |
JP6786378B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5040760B2 (ja) | 画像処理装置、撮像装置、表示制御方法およびプログラム | |
JP7013210B2 (ja) | 撮像装置、撮像方法、表示装置および表示方法 | |
CN108780581B (zh) | 信息处理装置、信息处理方案以及程序 | |
WO2013175980A1 (ja) | 撮像装置、撮像装置の制御方法、および、記録媒体 | |
JP5955130B2 (ja) | カメラ制御装置及びカメラ制御方法 | |
JP5939902B2 (ja) | 制御装置及び制御装置の制御方法 | |
JP6261191B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
US10715732B2 (en) | Transmission apparatus, setting apparatus, transmission method, reception method, and storage medium | |
JP5963571B2 (ja) | 画像表示装置及び監視カメラシステム | |
JP6980450B2 (ja) | 制御装置、制御方法、及びプログラム | |
JP6486437B2 (ja) | 撮像装置、設定方法、および、プログラム | |
JP6826481B2 (ja) | 映像表示装置、映像表示装置の制御方法及びプログラム | |
JP6401480B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2012065027A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6836306B2 (ja) | 撮像制御装置、その制御方法、プログラム及び記録媒体 | |
JP5917175B2 (ja) | 撮像装置、撮像装置の配信方法、撮像システムおよびプログラム | |
JP6362090B2 (ja) | ネットワークカメラのプリセット位置の表示方法 | |
JP2010074400A (ja) | 構図判定装置、構図判定方法、プログラム | |
JP6253681B2 (ja) | 撮像装置、設定方法、および、プログラム | |
JP2019115057A (ja) | 撮像装置、撮像装置の制御方法、および、プログラム | |
JP6544922B2 (ja) | 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150608 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160517 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5939902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |