JP6126501B2 - カメラ設置シミュレータ及びそのコンピュータプログラム - Google Patents

カメラ設置シミュレータ及びそのコンピュータプログラム Download PDF

Info

Publication number
JP6126501B2
JP6126501B2 JP2013182200A JP2013182200A JP6126501B2 JP 6126501 B2 JP6126501 B2 JP 6126501B2 JP 2013182200 A JP2013182200 A JP 2013182200A JP 2013182200 A JP2013182200 A JP 2013182200A JP 6126501 B2 JP6126501 B2 JP 6126501B2
Authority
JP
Japan
Prior art keywords
camera
subject
attribute
shooting
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013182200A
Other languages
English (en)
Other versions
JP2015050693A (ja
Inventor
小川 雄三
雄三 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Priority to JP2013182200A priority Critical patent/JP6126501B2/ja
Publication of JP2015050693A publication Critical patent/JP2015050693A/ja
Application granted granted Critical
Publication of JP6126501B2 publication Critical patent/JP6126501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、カメラ設置シミュレータ及びそのプログラムに係り、更に詳しくは、地図上に1又は2以上のカメラを仮想的に配置し、当該カメラの配置を検証するためのカメラ設置シミュレータの改良に関する。
カメラを用いて監視を行う場合、監視目的を考慮してカメラが設置される。例えば、金融機関の窓口を監視する場合であれば、紙幣を判別できるようにカメラを設置する必要がある。また、侵入者の人相を特定することが目的であれば、被写体の上半身が大きく映るようにカメラを設置する必要がある。一方、複数人の行動を全体として把握することが目的であれば、全員が映るようにカメラを設置する必要がある。つまり、監視目的に応じた大きさ及び鮮明さで被写体が撮影されるようにカメラを設置する必要があった。
しかしながら、撮影画面に表示される被写体の大きさや鮮明さは、カメラから被写体までの距離、カメラの画角、被写体の撮影軸に対する角度などによって変化する。このため、実際にカメラを設置することなく、撮影される被写体の大きさ及び鮮明さを把握し、カメラの位置、画角などを決定することは容易ではなかった。
そこで、従来は、カメラを実際に設置し、文字などが表示された評価ボードを持った人を撮影し、当該評価ボードの撮影画像を確認した上で、カメラの位置、画角などを調整するという作業を繰り返していた。このため、カメラ設置時の作業効率が悪いという問題があった。特に、カメラが高所に設置される場合、上記作業に多大な労力を要するという問題があった。
一方、カメラの設置前に、カメラを設置する位置を決定することができるカメラ設置シミュレータが従来から知られている(例えば、特許文献1)。特許文献1のカメラ設置シミュレータでは、地図上にカメラを配置すれば、その正確な撮影範囲を地図上に表示することができる。このため、カメラを実際に設置することなく、監視対象エリアをカバーすることができるカメラの位置や向きを決定することができるが、所望の大きさ及び鮮明さで被写体が撮影されるように、カメラの位置や画角を客観的に決定することは難しかった。
特開2009−105802号公報
本発明は、上記事情に鑑みてなされたものであり、カメラの設置前に、カメラの撮影画像上における被写体の大きさ及び鮮明さを表示することができるカメラ設置シミュレータを提供することを目的とする。
また、本発明は、カメラの設置前に、カメラの撮影画像上における被写体の大きさ及び鮮明さを具体的かつ客観的に表示することができるカメラ設置シミュレータを提供することを目的とする。
また、本発明は、撮影画像上における被写体の大きさ及び鮮明さに応じて、監視エリアを2以上の領域に分割し、地図上に表示することができるカメラ設置シミュレータを提供することを目的とする。
また、本発明は、コンピュータを用いて上記カメラ設置シミュレータを実現するためのコンピュータプログラムを提供することを目的とする。
本発明の第1の態様によるカメラ設置シミュレータは、カメラの水平位置、設置高さ及び画角を含むカメラ属性を保持するカメラ属性記憶手段と、被写体の水平位置及びサイズを含む被写体属性を保持する被写体属性記憶手段と、上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの画角の比に対応する撮影指標を求める撮影指標生成手段と、上記撮影指標を表示する撮影指標表示手段とを備えて構成される。
このような構成により、カメラから見た被写体の睨み角及びカメラの画角の比に対応する撮影指標を表示することができる。従って、実際にカメラを設置することなく、カメラの撮影画像上において被写体がどの程度の大きさで表示され、その細部がどの程度鮮明に表示されるのかを容易かつ客観的に把握することができる。
なお、カメラから見た被写体の睨み角とは、カメラの位置から被写体の両端を撮影することができる最小画角を意味する。また、撮影指標は、例えば、カメラの画角に対する被写体の睨み角の比として求められる被写体レシオであってもよいし、被写体レシオを2以上の範囲に区分した撮影クラスであってもよい。
本発明の第2の態様によるカメラ設置シミュレータは、カメラの水平位置、設置高さ及び垂直画角を含むカメラ属性を保持するカメラ属性記憶手段と、被写体のサイズを含む被写体属性を保持する被写体属性記憶手段と、監視エリアの地図を保持する地図記憶手段と、上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの垂直画角の比からなる被写体レシオに応じた2以上のクラス領域に上記監視エリアを分割するクラス領域分割手段と、上記地図上に上記カメラのシンボルが配置されるとともに、上記クラス領域が示された配置図を生成する配置図生成手段とを備えて構成される。
このような構成により、被写体レシオに応じて、監視エリアを2以上のクラス領域に分割し、これらのクラス領域を地図上に表示することができる。従って、被写体が地図上のどこに存在すれば、どのような大きさ及び鮮明さで撮影画面上に表示されるのかを容易に把握することができる。
本発明の第3の態様によるカメラ設置シミュレータは、上記構成に加えて、上記被写体レシオを2以上の範囲に区分し、監視目的が互いに異なる2以上の撮影クラスに対応づけて記憶する撮影クラス定義記憶手段を備え、上記クラス領域が、上記撮影クラスに対応する領域となる。
このような構成により、被写体レシオから推奨される監視目的に応じて、監視エリアを2以上のクラス領域に分割し、これらのクラス領域を地図上に表示することができる。従って、被写体が地図上のどこに存在すれば、どの監視目的に適した大きさ及び鮮明さで撮影することができるのかを容易に把握することができる。
本発明の第4の態様によるカメラ設置シミュレータは、上記構成に加えて、上記地図上にシンボルが配置された2以上の上記カメラのいずれか1つを注目カメラとしてユーザが選択する注目カメラ選択手段を備え、上記クラス領域分割手段が、上記注目カメラに関する上記被写体レシオに応じて、上記地図を2以上のクラス領域に分割するように構成される。
この様な構成により、2以上のカメラのシンボルが地図上に表示されている場合に、これらのカメラのいずれか一つが注目カメラとしてユーザにより選択される。そして、当該注目カメラに関する被写体レシオに基づいて、監視エリアが2以上のクラス領域に分割され、地図上に表示される。このため、2以上のカメラを配置した場合であっても、クラス領域が地図上で重複することがなく、見やすく表示することができる。
本発明の第5の態様によるカメラ設置シミュレータは、上記構成に加えて、上記被写体属性には、上記被写体の水平位置が含まれ、上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの垂直画角の比に対応する撮影指標を求める撮影指標生成手段と、上記撮影指標を表示する撮影指標表示手段とを備えて構成される。
この様な構成により、ユーザが水平位置を指定した被写体について撮影指標を表示することができる。このため、地図上にクラス領域を表示するだけでなく、被写体の水平位置をユーザが指定すれば、当該被写体の撮影指標を表示することができる。
本発明の第6の態様によるカメラ設置シミュレータは、上記構成に加えて、上記撮影指標生成手段が、上記地図上にシンボルが配置された2以上の上記被写体について上記撮影指標をそれぞれ求め、上記撮影指標表示手段が、2以上の上記撮影指標を上記被写体に対応づけて表示するように構成される。
この様な構成により、2以上の被写体のシンボルが地図上に表示されている場合に、各被写体の撮影指標を求め、各被写体に対応づけて撮影指標を表示することができる。
本発明の第7の態様によるカメラ設置シミュレータは、上記構成に加えて、上記カメラ属性及び上記被写体属性に基づいて、上記カメラの撮影画像を仮想的に生成する撮影画像生成手段を備え、上記撮影指標表示手段が、上記撮影画像内に表示される上記被写体にそれぞれ対応づけて2以上の撮影指標を表示するように構成される。
このような構成によれば、カメラ属性及び被写体属性に基づいて仮想的に生成された撮影画像を表示するとともに、撮影画像内に表示される被写体ごとに撮影指標を表示することができる。このため、仮想的な撮影画像内に表示された被写体を確認しながら、その撮影指標を把握することができる。
本発明の第8の態様によるカメラ設置シミュレータ用プログラムは、カメラの水平位置、設置高さ及び垂直画角を含むカメラ属性を保持するカメラ属性記憶機能と、被写体の水平位置及びサイズを含む被写体属性を保持する被写体属性記憶機能と、上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの垂直画角の比に対応する撮影指標を求める撮影指標生成機能と、上記撮影指標を表示する撮影指標表示機能とを実現するための手順からなる。
本発明の第9の態様によるカメラ設置シミュレータ用プログラムは、カメラの水平位置、設置高さ及び垂直画角を含むカメラ属性を保持するカメラ属性記憶機能と、被写体のサイズを含む被写体属性を保持する被写体属性記憶機能と、監視エリアの地図を保持する地図記憶機能と、上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの垂直画角の比からなる被写体レシオに応じた2以上のクラス領域に上記監視エリアを分割する領域分割機能と、上記地図上に上記カメラのシンボルが配置されるとともに、上記クラス領域が示された配置図を生成する配置図生成機能とを実現するための手順からなる。
本発明によるカメラ設置シミュレータを用いることにより、カメラの撮影画像上における被写体の大きさ及び鮮明さを表示することができる。このため、カメラを実際に設置することなく、被写体の撮影状態を容易に把握することができる。特に、被写体レシオに対応する撮影指標を表示することにより、撮影画像上における被写体の大きさ及び鮮明さを具体的かつ客観的に把握することができる。
また、本発明によるカメラ設置シミュレータを用いることにより、被写体レシオに応じて、監視エリアを2以上のクラス領域に分割し、これらのクラス領域を地図上に表示することができる。このため、地図上の全領域にわたって、どの位置に被写体があれば、どのような撮影状態になるのかを把握することができる。従って、カメラの設置前に、カメラの位置を容易に決定することができる。
本発明の実施の形態1によるカメラ設置シミュレータ100の表示画面の一例を示した図である。 撮影クラスCL1〜CL4に対応する撮影状態の一例を示した図である。 被写体レシオRsの算出方法の一例についての説明図である。 本発明の実施の形態によるカメラ設置シミュレータ100の機能構成の要部について一構成例を示したブロック図である。 本発明の実施の形態2によるカメラ設置シミュレータ100の表示画面の一例を示した図である。 本発明の実施の形態2によるカメラ設置シミュレータ100の表示画面の他の例を示した図である。
実施の形態1.
図1は本発明の実施の形態1によるカメラ設置シミュレータ100の表示画面の一例を示した図である。この表示画面は、平面表示領域A1、立体表示領域A2、映像表示領域A3、カメラリスト領域A4及びオブジェクトボタン領域A5により構成される。
<平面表示領域A1>
平面表示領域A1は、カメラ20、被写体11及び直方体12及び壁13の配置を示す配置図が表示される領域である。配置図は、監視エリアの地図10上に、カメラ20、被写体11、直方体12、壁13などのシンボルが重畳された画像である。また、配置図には、カメラ20に対応する水平視野21h及びクラス領域CA1〜CA4も重畳して表示されている。
地図10は、監視エリア内の様子を示す平面図であり、ユーザが画像ファイルを指定することにより予め与えられる。監視エリアは、カメラ20を用いて監視しようとする領域であり、屋内又は屋外のいずれであってもよい。
被写体11は、カメラ20により撮影される仮想的な監視対象であり、ユーザによって地図10上に配置される。ユーザは被写体11の位置(水平位置)を指定することができ、1又は2以上の被写体11を地図10上に配置することができる。本実施の形態では、被写体11が身長170cmの人であるものとするが、被写体11は、そのサイズが既知の移動体であれば人以外でもよい。例えば、車を被写体11にすることもできる。
直方体12及び壁13は、カメラ20の視野を遮る構造物であり、いずれもユーザによって地図10上に配置される。ユーザは、直方体12の幅、奥行き、高さ及び位置(水平位置)を指定することができ、壁13の高さ及び両端の位置(水平位置)を指定することができる。
カメラ20は、静止画又は動画を撮影するための撮像装置であり、カメラ20の位置(水平位置)を指定するユーザ操作に基づいて、カメラ20が地図10上に配置される。例えば、カメラリスト領域A4内のカメラを選択し、平面表示領域A1内へドラッグするマウス操作を行うことにより、カメラ20が地図10上に配置される。このとき、カメラ20のシンボルが地図10上に表示されるとともに、当該カメラ20の水平視野21h及びクラス領域CA1〜CA4も地図10上に表示される。
カメラ20の位置、方位角及び水平画角は、その後のユーザ操作により変更することができる。例えば、カメラ20の位置は、当該カメラ20のシンボルに対するマウス操作で変更することができ、方位角及び水平画角は、水平視野21hに対するマウス操作で変更することができる。カメラ20の位置及び方位角を変更すれば、当該カメラ20のシンボルだけでなく、水平視野21h及びクラス領域CA1〜CA4も変化する。また、水平視野21h及びクラス領域CA1〜CA4は、カメラ20の水平画角を変更した場合にも変化する。
水平視野21hは、カメラ20の視野が基準水平面14と交差する領域、つまり、カメラ20によって撮影可能な基準水平面14上の領域である。基準水平面14は、高さが予め指定された水平面であり、立体表示領域A2に示されている。本実施の形態では、地面が基準水平面14となる場合について説明する。図中では、地図10上に2つのカメラ20が配置され、当該カメラ20にそれぞれ対応する2つの水平視野21hが表示されている。
クラス領域CA1〜CA4は、地図10上の領域を2以上に分割して得られる領域であり、それぞれがカメラ20の撮影クラスCL1〜CL4に対応している。図中では、境界線を破線で表示することにより、4つのクラス領域CA1〜CA4を表示しているが、色分けなどの他の方法により表示することもできる。また、上記境界線はカメラ20の位置を中心とする同心円であり、カメラ20に一番近いクラス領域CA1が円形状になり、その他のクラス領域CA2〜CA4がリング形状になる。
撮影クラスCL1〜CL4は、被写体11の撮影状態を示す数値を2以上の範囲に区分したものである。ここでいう「撮影状態」とは、撮影画像として表示される被写体11の大きさ及び鮮明さを意味し、この撮影状態を示す数値には、後述する被写体レシオRsを用いることができる。このため、撮影クラスCL1〜CL4は、被写体レシオRsの範囲として定義され、被写体11の撮影状態を示す指標として用いられる。このような撮影状態の指標を「撮影指標」と呼ぶことにする。
つまり、ある被写体11をあるカメラ20で撮影する場合に、その撮影状態が、撮影クラスCL1〜CL4のいずれに該当するのかがわかれば、当該被写体11が、どのような大きさ及び鮮明さで撮影画像上に表示できるのかを具体的かつ客観的に把握することができる。従って、撮影クラスCL1〜CL4に基づいて、監視エリアを4つのクラス領域CA1〜CA4に分割し、これらのクラス領域CA1〜CA4を地図10上に表示すれば、被写体11がどの位置にあれば、どのような大きさ及び鮮明さで撮影できるのかを地図10上の全領域にわたって把握することができる。
一般に、カメラ20から被写体11までの距離が短くなれば、当該カメラ20の撮影画像内に表示される被写体11は大きくかつ鮮明になる一方、被写体11までの距離が長くなれば、被写体11が小さくかつ不鮮明になることは自明である。しかしながら、被写体11がどの位置にあれば、どのような大きさ及び鮮明さで撮影できるのかを具体的に把握することは容易でない。そこで、カメラ設置シミュレータ100では、監視エリアをクラス領域CA1〜CA4に分割し、各クラス領域CA1〜CA4を地図10上に表示することにより、従来は定性的にしか把握できなかった被写体11の位置と、撮影状態との関係を容易かつ客観的に把握することを可能にしている。
地図10上に2以上のカメラ20が配置されている場合、全てのカメラ20について、クラス領域CA1〜CA4を表示することもできるが、本実施の形態では、ユーザが選択した注目カメラについてのみクラス領域CA1〜CA4を表示し、他のカメラ20についてはクラス領域CA1〜CA4を表示していない。このため、カメラ20の数が多くなり、地図10上に多数のクラス領域CA1〜CA4が重複して表示されることにより見づらくなるのを防止している。
<立体表示領域A2>
立体表示領域A2は、カメラ20の垂直視野21vが表示される領域である。ユーザがカメラ20を地図10上に配置すれば、立体表示領域A2に、当該カメラ20のシンボルが表示されるとともに、当該カメラ20の垂直視野21vも表示される。さらに、被写体11のシンボルも立体表示領域A2内に表示される。
垂直視野21vは、カメラ20の視野を鉛直面で切断した断面であり、カメラ20の撮影軸を含む鉛直面上における撮影可能な領域を示している。また、立体表示領域A2には、基準水平面14(地面)及び水平面15が示されている。水平面15は、カメラ20と同じ高さの水平面である。
被写体11は、撮影軸を含む鉛直面内に配置されているか否かにかかわらず、カメラ20の視野内に存在する全ての被写体11が、立体表示領域A2に表示される。例えば、被写体11をカメラ20の撮影軸を含む鉛直面に投影することにより、カメラ20の視野内に存在する全ての被写体11を立体表示領域A2に表示することができる。
カメラ20の設置高さ、仰俯角及び垂直画角は、カメラ配置後のユーザ操作により変更することができる。例えば、カメラ20の設置高さは、当該カメラ20のシンボルに対するマウス操作で変更することができ、カメラ20の仰俯角及び垂直画角は、垂直視野21vに対するマウス操作で変更することができる。カメラ20の設置高さ及び仰俯角を変更すれば、カメラ20のシンボルの設置高さ及び傾きが変化し、垂直視野21vも変化する。また、垂直視野21vは、カメラ20の垂直画角を変更した場合にも変化する。
さらに、カメラ20の設置高さを変更することにより、平面表示領域A1内に表示される水平視野21h及びクラス領域CA1〜CA4も変化する。また、水平視野21hは、カメラ20の仰俯角を変更した場合にも変化するが、クラス領域CA1〜CA4は、カメラ20の仰俯角を変更しても変化しない。
なお、地図10上に2以上のカメラ20が配置されている場合、立体表示領域A2には、ユーザが選択した注目カメラのシンボル及び垂直視野21vが表示され、その他のカメラ20のシンボル及び垂直視野21vは表示されない。
<映像表示領域A3>
映像表示領域A3には、カメラ20による撮影画像が表示される。この撮影画像は、演算処理により疑似的に生成された静止画像であり、地図10、被写体11、直方体12及び壁13が含まれる。撮影画像を生成する演算処理には、射影変換などを含む周知の演算処理が用いられる。
映像表示領域A3には、注目カメラの撮影画像が表示され、その他のカメラ20の撮影画像は表示されない。また、映像表示領域A3には、被写体11の撮影クラスCL1〜CL4が表示される。映像表示領域A3内に表示される撮影クラスCL1〜CL4は、当該撮影画像内に映っている被写体11に対応づけて表示される。図中では、各被写体11の近傍に撮影クラスCL1〜CL4を示す記号「XL」、「L」、「M」及び「S」が表示されている。
<カメラリスト領域A4>
カメラリスト領域A4は、地図10上に配置することができるカメラ20の選択肢が一覧表示されている。例えば、カメラリスト領域A4内には、行ごとに異なるカメラ品種が表示されており、各行にはカメラ20の型名、設置場所、最大画角及び最小画角がそれぞれ表示されている。設置場所は、当該カメラ20が屋内用又は屋外用のいずれであるのかを示している。最大画角及び最小画角は、当該カメラ20の画角の変更可能な範囲を示している。カメラ20を地図10上に配置する場合、ユーザが、カメラリスト領域A4内の行を選択することにより、当該行に対応するカメラ20が選択される。
<オブジェクトボタン領域A5>
オブジェクトボタン領域A5には、被写体、車、直方体、壁などのオブジェクトを地図10上に配置するための操作ボタン31〜34が配置されている。例えば、操作ボタン31は、被写体11を地図10上に配置するための被写体ボタンであり、この被写体ボタンを平面表示領域A1内の任意の位置へドラッグするマウス操作を行うことにより、被写体11を地図10上に配置することができる。
<撮影クラスCL1〜CL4>
図2は、撮影クラスCL1〜CL4に対応する撮影状態の一例を示した図であり、図中の(a)〜(d)には、撮影クラスCL1〜CL4で被写体11を撮影したときの撮影画像の一例がそれぞれ示されている。
撮影クラスCL1〜CL4は、互いに異なる監視目的に好適な撮影状態にそれぞれ対応するように、被写体レシオRsの範囲として予め定義されている。一般に、被写体11の撮影状態が適切であるか否かは、監視目的によって異なる。このため、本実施の形態では、4つの撮影クラスCL1〜CL4を互いに異なる4つの監視目的に対応させている。
被写体レシオRsは、撮影画面のサイズLvに対する被写体の表示サイズLsの比であり、次式(1)で表される。
Figure 0006126501
撮影画面のサイズLvは、矩形からなる撮影画面の垂直方向の長さである。被写体の表示サイズLsは、カメラ20で撮影した場合に、その撮影画面上に表示される被写体11の垂直方向の長さである。ただし、カメラ20の画角を無視した被写体全体のサイズを意味する。つまり、被写体11の全体が撮影画面内に表示されるか否かは考慮せず、被写体11が撮影画面からはみ出す撮影状態であれば、はみ出した部分も含めた被写体11の全体のサイズが、被写体の表示サイズLsとなる。従って、被写体レシオRsは100%よりも大きな値をとることができる。
撮影クラスCL1は、被写体レシオRsが100%を超える撮影状態(Rs>100%)として規定される。被写体レシオRsが100%超となる撮影クラスCL1で撮影した場合、撮影画面内に被写体11の全体を映すことはできないが、被写体11の一部を大きく鮮明に映すことができる。従って、例えば、想定される被写体11が不特定の人物であり、その顔を撮影して人相を特定することを監視目的とするような用途に適している。
撮影クラスCL2は、被写体レシオRsが100%以下かつ30%を超える撮影状態(100%≧Rs>30%)として規定される。撮影クラスCL2で被写体11を撮影した場合、被写体11の全体を大きく鮮明に撮影することができる。このため、例えば、想定される被写体11が、予め特定されている複数の人物のいずれかであるという場合に、その人物を特定することを監視目的とするような用途に適している。
撮影クラスCL3は、被写体レシオRsが30%以下かつ10%を超える撮影状態(30%≧Rs>10%)として規定される。撮影クラスCL3で被写体11を撮影した場合、被写体11とその周辺を撮影することができる。このため、移動を伴う被写体11の行動を特定することを監視目的とするような用途に適している。なお、撮影クラスCL3では、被写体11の細かな特徴を把握することはできないが、服装や性別などの大まかな特徴であれば把握することができる。
撮影クラスCL4は、被写体レシオRsが10%以下となる撮影状態(Rs≦10%)として規定される。撮影クラスCL4で被写体11を撮影した場合、被写体11が点のように表示される撮影状態となる。このため、被写体11の特徴を把握することは困難になるが、多数の被写体11からなるグループ全体を撮影することができる。このため、多数の被写体11からなるグループ全体の状態や動きを把握することを監視目的とするような用途に適している。
要するに、撮影クラスCL1〜CL4は、撮影レシオRsを100%、30%及び10%の各閾値と比較することにより判別される。これらの閾値は、監視目的や表示装置の解像度などを考慮して予め決定される値であり、一例に過ぎない。
<被写体レシオRsの算出方法>
被写体レシオRsは、上式(1)に示した通り、撮影画面のサイズLv及び被写体の表示サイズLsから算出することができる。しかしながら、被写体の表示サイズLsは、多くのパラメータが複雑に関係する値であり、例えば、カメラの設置高さ、仰俯角及び画角や、被写体のサイズや、カメラ及び被写体の位置関係などの影響を受けて変化する。そこで、本実施の形態では、カメラの画角θv及び被写体の睨み角θsから被写体レシオRsを算出する方法について説明する。
図3は、被写体レシオRsの算出方法の一例についての説明図であり、撮影軸を含む鉛直面内に被写体11があるときの垂直視野21vが示されている。図中のθvは、カメラ20の垂直画角、θsは、カメラ20の位置から見た被写体の睨み角である。また、θtは、カメラ20の位置から被写体11の上端を見た場合の視線方向が水平面15となす角度(上端仰俯角)である。同様にして、θbは、カメラ20の位置から被写体11の下端を見た場合の視線方向が水平面15となす角度(下端仰俯角)である。
被写体レシオRsは、カメラの垂直画角θvと、被写体の睨み角θsを用いれば、次式(2)で表すことができる。
Figure 0006126501

つまり、被写体レシオRsは、カメラ20の垂直画角θvに対する被写体の睨み角θsの比として求めることができる。カメラ20の垂直画角θvは、カメラ20の視野の鉛直面内における広がりを示す角度であり、既知である。このため、被写体の睨み角θsを求めることができれば、被写体レシオRsを求めることができる。
被写体の睨み角θsは、カメラ20の位置から被写体11の両端をそれぞれ見た場合における2つの視線方向のなす角度であり、カメラ20の位置から被写体11の両端を撮影することができる最小画角に相当する。被写体11が人であれば、その頭頂部及び足元が上記両端になり、被写体の睨み角θsは、被写体11の鉛直方向の両端を撮影することができる最小画角に相当する。
睨み角θsは、上端仰俯角θt及び下端仰俯角θbの差に相当する。また、被写体11が基準水平面14(地面)に配置されていれば、tanθt=(H−h)/r,tanθb=H/rとなる。従って、睨み角θsは、カメラ20の設置高さH、被写体11のサイズh、カメラ20から被写体11までの水平距離rを用いて、次式(3)のように表すことができる。
Figure 0006126501
上式(3)によれば、カメラ20の設置高さHと、被写体11のサイズhと、水平距離rとが与えられれば、当該被写体11の睨み角θsを演算により求めることができる。また、カメラ20の垂直画角θvが既知であれば、上式(2)を用いて、睨み角θsから被写体レシオRsを求めることができる。
つまり、カメラ20の位置、設置高さH及び垂直画角θv、並びに、被写体11の位置及びサイズhが決まれば、被写体レシオRsを求めることができる。従って、当該カメラ20で当該被写体11を撮影した場合の撮影クラスCL1〜CL4を求めることができる。
<クラス領域CA1〜CA4の算出方法>
また、上式(3)を変形すれば、次式(4)が得られる。
Figure 0006126501
上式(4)によれば、カメラ20の設置高さH及び垂直画角θv、被写体11のサイズh、並びに、被写体レシオRsが与えられれば、カメラ20から被写体11までの水平距離rを演算で求めることができる。注目カメラの設置高さH及び垂直画角θvは既知であり、被写体11のサイズhは予め定められている。このため、被写体レシオRsが与えられれば、水平距離rを求めることができる。つまり、式(4)を用いれば、撮影クラスCL1〜CL4に対応する水平距離rを求めることができ、地図10上をクラス領域CA1〜CA4に分割することができる。
<ブロック図>
図4は、本発明の実施の形態によるカメラ設置シミュレータ100の機能構成の要部について一構成例を示したブロック図である。このカメラ設置シミュレータは、PCなどのコンピュータを用いて実現される装置であり、OSの管理下で実行されるアプリケーションプログラムとして提供される。例えば、CD−R、DVDなどの記憶媒体に記録して提供され、あるいは、インターネットなどの通信ネットワークを介して提供される。
カメラ設置シミュレータ100は、カメラ属性指定部51、カメラ属性記憶部52、被写体属性指定部53、被写体属性記憶部54、注目カメラ選択部55、撮影指標処理部56、配置図生成部57、地図記憶部58及び撮影画像生成部59により構成される。
カメラ属性指定部51は、ユーザ操作に基づいてカメラ属性を指定する手段であり、指定されたカメラ属性は、カメラ属性記憶部52に保持される。カメラ属性は、地図10上に配置されたカメラ20の属性情報であり、例えば、カメラ20の位置(水平位置)及び設置高さ、方位角及び仰俯角、並びに、水平画角及び垂直画角が含まれる。地図10上に2以上のカメラ20が配置されている場合には、カメラ20ごとのカメラ属性がカメラ属性記憶部52内に保持される。
被写体属性指定部53は、ユーザ操作に基づいて被写体属性を指定する手段であり、指定された被写体属性は、被写体属性記憶部54に保持される。被写体属性は、地図10上に配置された被写体11の属性情報であり、例えば、被写体11の位置(水平位置)及びサイズが含まれる。地図上に2以上の被写体11が配置されている場合には、被写体11ごとの被写体属性が被写体属性記憶部54内に保持される。ただし、本実施の形態では、被写体11のサイズが一定であるため、全ての被写体11に共通の被写体属性として、被写体11のサイズを保持しておくこともできる。
注目カメラ選択部55は、ユーザ操作に基づいて注目カメラを選択する手段である。地図10上に2以上のカメラ20が配置されている場合、ユーザは、これらのカメラ20のいずれか一つを注目カメラとして選択することができる。例えば、ユーザが最後に選択したカメラ20を注目カメラとすることができる。なお、1つのカメラ20のみが地図10上に配置されている場合には、当該カメラ20が常に注目カメラとなる。
撮影指標処理部56は、撮影指標に基づく処理を行う手段である。具体的には、地図10上に表示されるクラス領域CA1〜CA4を求める処理と、撮影画像内の被写体11ごとに撮影クラスCL1〜CL4を求める処理とを行っている。撮影指標処理部56の詳細構成については更に後述する。
配置図生成部57は、平面表示領域A1に表示する配置図を生成する手段である。配置図は、地図記憶部58が保持する地図10上に、被写体11、カメラ20などのシンボルや各カメラ20の水平視野21hが重畳され、さらに、撮影指標処理部56により求められたクラス領域CA1〜CA4が重畳されることにより生成される。この様にして生成された配置図が、平面表示領域A1に表示される。
撮影画像生成部59は、映像表示領域A3に表示する撮影画像を生成する手段である。撮影画像は、演算処理により疑似的に生成された注目カメラの撮影画像であり、地図10、被写体11などが含まれている。また、撮影画面上に映る被写体11には、撮影指標処理部56により求められた当該被写体11の撮影クラスCL1〜CL4が重畳されている。この様にして生成された撮影画像が、映像表示領域A3に表示される。
<撮影指標処理部56>
撮影指標処理部56は、クラス領域分割部61、撮影クラス定義記憶部62及び撮影指標生成部63により構成される。また、撮影指標生成部63は、被写体レシオ算出部631及び撮影クラス判別部632からなる。
撮影クラス定義記憶部62は、撮影クラスCL1〜CL4を規定する定義情報を保持している。撮影クラスCL1〜CL4は、被写体レシオRsの範囲として予め定義されている。例えば、全ての被写体レシオRsを2以上の範囲に区分し、それぞれが撮影クラスCL1〜CL4に対応づけられている。
クラス領域分割部61は、任意の位置にある被写体11を注目カメラで撮影したときの被写体レシオRsに応じて、地図10を2以上のクラス領域CA1〜CA4に分割し、その結果を配置図生成部57へ出力する。
クラス領域CA1〜CA4は、撮影クラスCL1〜CL4に対応する地図10上の領域であり、撮影クラスCL1〜CL4は、被写体レシオRsの範囲として予め規定されている。このため、式(4)を用いれば、カメラ属性及び被写体属性に基づいて、各クラス領域CA1〜CA4に対応する水平距離rの範囲を求めることができる。
具体的には、注目カメラの設置高さH及び垂直画角θvが、カメラ属性記憶部52から読み出され、被写体11のサイズhが、被写体属性記憶部54から読み出され、撮影クラスCL1〜CL4に対応する被写体レシオRsの範囲が、撮影クラス定義記憶部62から読み出される。これらの値H,h,θv,Rsを式(4)に代入すれば、撮影クラスCL1〜CL4に対応する地図10上の領域が、注目カメラ及び被写体11の水平距離rの範囲として求められる。従って、注目カメラの位置を中心とし、水平距離rの範囲で区分された地図10上の領域として、クラス領域CA1〜CA4が求められる。
撮影指標生成部63は、地図10上に配置された被写体11を注目カメラで撮影したときの被写体レシオRsを求め、当該被写体レシオRsが属する撮影クラスCL1〜CL4を判別し、この判別結果をカメラ画像生成部59へ出力する。
被写体レシオRsは、被写体レシオ算出部631において求められる。被写体レシオRsは、式(2)に示す通り、注目カメラの垂直画角θvに対する被写体11の睨み角θsの比として求めることができる。注目カメラの垂直画角θvは、カメラ属性として与えられており、被写体11の睨み角θsも、式(3)を用いれば、カメラ属性及び被写体属性に基づいて求めることができる。
具体的には、注目カメラの位置及び設置高さHが、カメラ属性記憶部52から読み出され、被写体11の位置及びサイズhが、被写体属性記憶部54から読み出される。注目カメラの位置及び被写体11の位置の差として、水平距離rが求められる。これらの値H,h,Rsを式(3)に代入すれば、注目カメラから見た被写体の睨み角θsが求められる。
撮影クラスCL1〜CL4は、撮影クラス判別部632において判別される。撮影クラスCL1〜CL4は、被写体レシオRsの範囲として予め規定されているため、被写体レシオ算出部631が求めた被写体レシオRsを上記範囲と照合すれば、注目カメラから見た被写体11の撮影クラスCL1〜LC4を判別することができる。
本実施の形態によるカメラ設置シミュレータ100は、カメラ属性及び被写体属性に基づいて、カメラ20から見た被写体11の睨み角θs及びカメラ20の垂直画角θvの比に対応する撮影クラスCL1〜CL4を表示する。このため、カメラ20の撮影画像に映る被写体11の大きさ及び鮮明さを撮影クラスCL1〜CL4で示すことができ、ユーザは、被写体11の撮影状態を具体的かつ客観的に把握することができる。
また、本実施の形態によるカメラ設置シミュレータ100は、カメラ属性及び被写体属性に基づいて、カメラ20から見た被写体11の睨み角θs及びカメラ20の垂直画角θvの比からなる被写体レシオRsに対応する2以上のクラス領域CA1〜CA4に監視エリアを分割し、これらのクラス領域CA1〜CA4を地図10上に表示する。
このため、カメラ20の撮影画像に映る被写体11の大きさ及び鮮明さを示す被写体レシオRsに応じて地図10が分割され、地図10上の全領域について、被写体11の位置と撮影状態との関係を分かり易く示すことができる。
また、本実施の形態によるカメラ設置シミュレータ100は、互いに異なる監視目的に対応するように、被写体レシオRsを2以上の撮影クラスCL1〜CL4に予め区分し、クラス領域CA1〜CA4が撮影クラスCL1〜CL4に対応するように、地図10を分割する。このため、カメラ20で被写体11を撮影したときの撮影状態が対応する監視目的に応じて、地図10を分割することができ、被写体11の位置と、利用可能な監視目的との関係を分かり易く示すことができる。
また、本実施の形態によるカメラ設置シミュレータ100は、カメラ属性及び被写体属性に基づいて、カメラ20の撮影画像を仮想的に生成し、当該撮影画像内に表示される被写体11にそれぞれ対応づけて、その撮影クラスCL1〜CL4を当該撮影画像内に表示する。このため、被写体11ごとの撮影状態を分かり易く表示することができる。
実施の形態2.
実施の形態1では、被写体11の撮影指標として、撮影クラスCL1〜CL4が表示される場合の例について説明した。これに対し、本実施の形態では、被写体11の撮影指標として、被写体レシオRsが表示される場合について説明する。
図5は、本発明の実施の形態2によるカメラ設置シミュレータ100の表示画面の一例を示した図である。図1の表示画面(実施の形態1)と比較すれば、映像表示領域A3内における撮影指標の表示方法が異なるが、その他の構成は、実施の形態1の場合と同様である。
映像表示領域A3には、被写体11の撮影指標として、被写体レシオRsが表示される。つまり、被写体レシオ算出部631で求められた被写体レシオRsが撮影指標として用いられている。被写体レシオRsは、当該撮影画像内に映っている被写体11に対応づけて数値で表示される。図中の被写体11は、注目カメラに関する被写体レシオRsが120%、35%、18%、5%であり、映像表示領域A3内の被写体11の近傍には、被写体レシオRsの数値「120」、「35」、「18」、「5」がそれぞれ表示される。
図6は、本発明の実施の形態2によるカメラ設置シミュレータ100の表示画面の他の例を示した図である。図5の表示画面(実施の形態2)と比較すれば、映像表示領域A3内における撮影指標の表示方法が異なる。
被写体レシオRsが100%を超えている被写体11については、被写体11の近傍に撮影クラスCL1を示す記号「XL」が表示される。一方、被写体レシオRsが100%以下の被写体11については、被写体11の近傍に、被写体レシオRsの数値「35」、「18」、「5」がそれぞれ表示される。
なお、本実施の形態2によるによるカメラ設置シミュレータ100は、撮影指標の表示を除き、実施の形態1の場合と同様に構成される。このため、例えば、平面表示領域A1内に表示されるクラス領域CA1〜CA4は、撮影クラスCL1〜CL4に対応する領域からなる。
実施の形態1〜3では、撮影画像上に映る被写体11について、映像表示領域A3内に撮影指標を表示する場合の例について説明したが、本発明は、このような場合のみに限定されない。例えば、平面図上に配置された被写体11について撮影指標を表示することもできる。また、撮影指標は、平面表示領域A1内や、立体表示領域A2内に表示することもできる。
また、実施の形態1〜3では、カメラ属性及び被写体属性が、ユーザにより指定される場合について説明したが、本発明は、この様な場合のみに限定されない。すなわち、カメラ属性又は被写体属性の一部のみがユーザにより指定されるものであってもよい。例えば、カメラ20の位置及び設置高さ、並びに、被写体11の位置及びサイズのうち、少なくとも一つが、ユーザにより指定されるものであってもよい。
100 カメラ設置シミュレータ
10 地図
11 被写体
14 基準水平面
15 水平面
20 カメラ
21h 水平視野
21v 垂直視野
31〜34 操作ボタン
51 カメラ属性指定部
52 カメラ属性記憶部
53 被写体属性指定部
54 被写体属性記憶部
55 注目カメラ選択部
56 撮影指標処理部
57 配置図生成部
58 地図記憶部
59 撮影画像生成部
61 クラス領域分割部
62 撮影クラス定義記憶部
63 撮影指標生成部
631 被写体レシオ算出部
632 撮影クラス判別部
A1 平面表示領域
A2 立体表示領域
A3 映像表示領域
A4 カメラリスト領域
A5 オブジェクトボタン領域
CA1〜CA4 クラス領域
CL1〜CL4 撮影クラス
h 被写体のサイズ
H カメラの設置高さ
Ls 被写体の表示サイズ
Lv 撮影画面のサイズ
r 水平距離
Rs 被写体レシオ
θb 下端仰俯角
θs 被写体の睨み角
θt 上端仰俯角
θv カメラの垂直画角

Claims (7)

  1. カメラの水平位置、設置高さ及び画角を含むカメラ属性を保持するカメラ属性記憶手段と、
    被写体の水平位置及びサイズを含む被写体属性を保持する被写体属性記憶手段と、
    上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの画角の比に対応する撮影指標を求める撮影指標生成手段と、
    上記撮影指標を表示する撮影指標表示手段とを備えたことを特徴とするカメラ設置シミュレータ。
  2. カメラの水平位置、設置高さ及び垂直画角を含むカメラ属性を保持するカメラ属性記憶手段と、
    被写体のサイズを含む被写体属性を保持する被写体属性記憶手段と、
    監視エリアの地図を保持する地図記憶手段と、
    上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの垂直画角の比からなる被写体レシオに応じた2以上のクラス領域に上記監視エリアを分割するクラス領域分割手段と、
    上記地図上に上記カメラのシンボルが配置されるとともに、上記クラス領域が示された配置図を生成する配置図生成手段とを備えたことを特徴とするカメラ設置シミュレータ。
  3. 上記被写体レシオを2以上の範囲に区分し、監視目的が互いに異なる2以上の撮影クラスに対応づけて記憶する撮影クラス定義記憶手段を備え、
    上記クラス領域が、上記撮影クラスに対応する領域であることを特徴とする請求項2に記載のカメラ設置シミュレータ。
  4. 上記地図上にシンボルが配置された2以上の上記カメラのいずれか1つを注目カメラとしてユーザが選択する注目カメラ選択手段を備え、
    上記クラス領域分割手段が、上記注目カメラに関する上記被写体レシオに応じて、上記監視エリアを2以上のクラス領域に分割することを特徴とする請求項2又は3に記載のカメラ設置シミュレータ。
  5. 上記被写体属性には、上記被写体の水平位置が含まれ、
    上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの垂直画角の比に対応する撮影指標を求める撮影指標生成手段と、
    上記撮影指標を表示する撮影指標表示手段とを備えたことを特徴とする請求項2〜4のいずれかに記載のカメラ設置シミュレータ。
  6. カメラの水平位置、設置高さ及び垂直画角を含むカメラ属性を保持するカメラ属性記憶機能と、
    被写体の水平位置及びサイズを含む被写体属性を保持する被写体属性記憶機能と、
    上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの垂直画角の比に対応する撮影指標を求める撮影指標生成機能と、
    上記撮影指標を表示する撮影指標表示機能とを実現するためのカメラ設置シミュレータ用のコンピュータプログラム。
  7. カメラの水平位置、設置高さ及び垂直画角を含むカメラ属性を保持するカメラ属性記憶機能と、
    被写体のサイズを含む被写体属性を保持する被写体属性記憶機能と、
    監視エリアの地図を保持する地図記憶機能と、
    上記カメラ属性及び上記被写体属性に基づいて、上記カメラから見た上記被写体の睨み角及び上記カメラの垂直画角の比からなる被写体レシオに応じた2以上のクラス領域に上記監視エリアを分割する領域分割機能と、
    上記地図上に上記カメラのシンボルが配置されるとともに、上記クラス領域が示された配置図を生成する配置図生成機能とを実現するためのカメラ設置シミュレータ用のコンピュータプログラム。
JP2013182200A 2013-09-03 2013-09-03 カメラ設置シミュレータ及びそのコンピュータプログラム Active JP6126501B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013182200A JP6126501B2 (ja) 2013-09-03 2013-09-03 カメラ設置シミュレータ及びそのコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013182200A JP6126501B2 (ja) 2013-09-03 2013-09-03 カメラ設置シミュレータ及びそのコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2015050693A JP2015050693A (ja) 2015-03-16
JP6126501B2 true JP6126501B2 (ja) 2017-05-10

Family

ID=52700339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013182200A Active JP6126501B2 (ja) 2013-09-03 2013-09-03 カメラ設置シミュレータ及びそのコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6126501B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6671852B2 (ja) * 2015-03-24 2020-03-25 日本原子力防護システム株式会社 情報設定システム及びシミュレーションシステム
JP6463652B2 (ja) * 2015-04-08 2019-02-06 三菱電機ビルテクノサービス株式会社 防犯カメラ設置支援装置及びプログラム
WO2017134786A1 (ja) * 2016-02-04 2017-08-10 三菱電機株式会社 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
WO2019012803A1 (ja) * 2017-07-13 2019-01-17 シャープ株式会社 指定装置、及び、指定プログラム
JP7040627B2 (ja) * 2018-09-20 2022-03-23 日本電気株式会社 算出装置、情報処理方法およびプログラム
EP3668080B1 (en) 2018-12-12 2021-08-18 Axis AB A method for assisting camera tilt angle adjustment
JP7219653B2 (ja) * 2019-03-28 2023-02-08 セコム株式会社 設置支援装置及び設置支援プログラム
CN116828326B (zh) * 2023-06-20 2024-06-21 广东视安通智慧显控股份有限公司 一种分布式的室内矩阵化监视系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259778B2 (en) * 2003-07-01 2007-08-21 L-3 Communications Corporation Method and apparatus for placing sensors using 3D models
JP5566281B2 (ja) * 2008-03-03 2014-08-06 Toa株式会社 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
JP4975673B2 (ja) * 2008-03-28 2012-07-11 ティーオーエー株式会社 カメラ設置シミュレータプログラム
JP5738606B2 (ja) * 2011-01-13 2015-06-24 オリンパス株式会社 撮像装置

Also Published As

Publication number Publication date
JP2015050693A (ja) 2015-03-16

Similar Documents

Publication Publication Date Title
JP6126501B2 (ja) カメラ設置シミュレータ及びそのコンピュータプログラム
JP7371924B2 (ja) 映像監視システム、映像監視方法、及びプログラム
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
JP5740884B2 (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
WO2019233445A1 (zh) 对房屋进行数据采集和模型生成的方法
KR101816041B1 (ko) 시스루 스마트 안경 및 그 투시 방법
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
CN108369742A (zh) 使用传感器融合的经优化对象扫描
CN109255844A (zh) 用于使用视频检查设备测量特征的尺寸的图形叠加层
JP6265132B2 (ja) 画像認識処理適性表示システム、方法およびプログラム
JP2007243509A (ja) 画像処理装置
JP5611875B2 (ja) 情報表示装置、情報表示方法、及びプログラム
KR20110088995A (ko) 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
JP6265133B2 (ja) 見え方提示システム、方法およびプログラム
CN110191284B (zh) 对房屋进行数据采集的方法、装置、电子设备和存储介质
JP2013092888A (ja) データ処理装置
JP6768400B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
KR102257846B1 (ko) 입체 모델 생성 장치 및 그 영상 표시 방법
JP2017028688A (ja) 画像管理装置、画像管理方法及びプログラム
JP5001400B2 (ja) 遮蔽物除去表示装置
JP6929037B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6526605B2 (ja) 仮想カメラ画像生成装置
JP2024072574A (ja) 撮影装置、撮影作業支援方法、および撮影作業支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170407

R150 Certificate of patent or registration of utility model

Ref document number: 6126501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250