JP5245185B2 - 歩きたばこ監視装置 - Google Patents
歩きたばこ監視装置 Download PDFInfo
- Publication number
- JP5245185B2 JP5245185B2 JP2009085457A JP2009085457A JP5245185B2 JP 5245185 B2 JP5245185 B2 JP 5245185B2 JP 2009085457 A JP2009085457 A JP 2009085457A JP 2009085457 A JP2009085457 A JP 2009085457A JP 5245185 B2 JP5245185 B2 JP 5245185B2
- Authority
- JP
- Japan
- Prior art keywords
- walking
- cigarette
- display
- image
- tobacco
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、歩きたばこを監視する装置に関し、より詳しくは、動画像を撮る赤外線カメラとＰＴＺ（Pan Tilt Zoom）カメラからの画像を処理することで、監視対象である歩きたばこの移動体(歩きたばこをする人)を特定し、特定した移動体をＰＴＺカメラで追尾するようにした歩きたばこ監視装置に関する。
従来から、ビデオカメラで監視が必要な場所の映像を撮ることは周知であり、使用するビデオカメラも監視対象に応じて可視カメラや赤外線カメラが利用されている。例えば、下記特許文献１には、煙の発生点を可視カメラにより、また発火点を赤外線カメラで検出することで火災を自動検出する方法が示されている。
ところで、喫煙マナーを守ることに対する社会的な要請の高まりもあって、喫煙マナーの違反を監視するためのシステムの提案が従来からなされている。監視カメラは、このようなシステムにおいても採用されており、例えば、下記特許文献２を挙げることができる。この例では、禁煙エリアにたばこのけむりを検出するセンサを設け、センサによる喫煙の検出時に監視カメラでマナー違反者を特定し、このとき得られるカメラの映像をマナー違反の管理に用いている。
ところで、喫煙マナーを守ることに対する社会的な要請の高まりもあって、喫煙マナーの違反を監視するためのシステムの提案が従来からなされている。監視カメラは、このようなシステムにおいても採用されており、例えば、下記特許文献２を挙げることができる。この例では、禁煙エリアにたばこのけむりを検出するセンサを設け、センサによる喫煙の検出時に監視カメラでマナー違反者を特定し、このとき得られるカメラの映像をマナー違反の管理に用いている。
ただ、上記特許文献２の方法は、禁煙エリアという特定の空間でたばこのけむりを検出するという方法でマナー違反を検出するので、喫煙マナーとして守ることが求められている歩きたばこの禁止への対策として適用できない。なお、歩きたばこは、文字通り歩きながら喫煙をすることであり、歩きたばこをしないことが、公共の場ではどこでも、守ることが求められるマナーである。また、歩きたばこを防止するための対策という点では、上記特許文献１に提案された方法も同様に適用できない。
本発明は、上記従来技術の問題に鑑みてなされたもので、その目的は、屋内外を問わずに歩きたばこというマナー違反を有効に監視できるようにすることにある。
本発明は、上記従来技術の問題に鑑みてなされたもので、その目的は、屋内外を問わずに歩きたばこというマナー違反を有効に監視できるようにすることにある。
本発明は、歩きたばこ監視装置であり、所定の監視領域の動画を撮る赤外線カメラと、前記監視領域の動画を撮るＰＴＺカメラと、ＰＴＺカメラによって撮られた画像が表示可能なディスプレイと、赤外線カメラが撮った画像における高温度部分を撮像面上に定めた座標で検出するとともに、高温度部分のトラッキングを行う第１画像処理手段と、ＰＴＺカメラが撮った画像における移動体を撮像面上に定めた座標で検出するとともに、移動体のトラッキングを行う第２画像処理手段と、第１画像処理手段によって高温度部分が検出され、かつ第２画像処理手段によって移動体を検出したことを歩きたばこ判定の実施条件として判断する実施判断手段と、実施判断手段によって実施が判断されたとき、第２画像処理手段の移動体のトラッキングによって得られる所定時間における移動量が予め定めた値を超えた移動体を特定し、特定した移動体と第１画像処理手段によって得られる高温度部分との距離が予め定めた値以下であることを条件に、歩きたばこが存在することを、特定の移動体と関係付けて判定する第１歩きたばこ判定手段と、第１歩きたばこ判定手段によって歩きたばこの存在が特定の移動体と関係付けて判定されたとき、該当する特定の移動体を撮像面の中心で捉えるようにＰＴＺカメラを制御する追尾制御手段と、ディスプレイの画像面に追尾制御されるＰＴＺカメラによって撮られた画像を表示するとともに、歩きたばこに対する警告表示を行う表示手段と、歩きたばこと関係付けられた特定の移動体が存在する方向を、前記追尾制御手段によって作動されるＰＴＺカメラのホームポジションに対する移動量をもとに検出する方向検出手段と、を有し、前記表示手段は、ディスプレイの画像面に歩きたばこに対する警告表示とともに前記方向検出手段によって検出された特定の移動体が存在する方向を示す表示を行うことを特徴とする。
本発明によると、赤外線カメラ、ＰＴＺカメラ及びディスプレイの動作環境が確保できれば、どこでもマナーに反する歩きたばこを有効に監視できる。
以下に、本発明の歩きたばこ監視装置に係る実施形態を説明する。
歩きたばこは、屋内、屋外を問わず、公共の場で起きるマナー違反であり、歩きたばこの監視には、例えば、上記[背景技術]で述べたたばこのけむりを検出する方法のように、屋内で人が止まって喫煙する状態で適用した検出方法は、不向きである。
そこで、この実施形態の歩きたばこ監視装置では、屋外にも適用でき、歩きたばこを行っている現場で喫煙者を特定することが可能な方法によって歩きたばこを検出する。
この検出方法には、喫煙中のたばこの存在を動的に捉えるための手段として赤外線カメラを用い、喫煙者の存在を動的に捉えるための手段としてＰＴＺカメラを用いる。赤外線カメラは所定の監視領域を撮り、ＰＴＺカメラも同じ監視領域を撮る。
また、監視結果として、歩きたばこを行っている喫煙者を特定する、即ち歩きたばこと喫煙者を関係付けるための各カメラからの画像等を処理する手段と、監視結果を知らせることで該当する喫煙者に注意を喚起するための手段としてディスプレイを用いる。なお、後記で詳述するが、ＰＴＺカメラは、歩きたばこを追尾するために操作され、また、ＰＴＺカメラによって追尾された歩きたばこの画像等を監視結果として、現場に設けたディスプレイの画面に表示する。
歩きたばこは、屋内、屋外を問わず、公共の場で起きるマナー違反であり、歩きたばこの監視には、例えば、上記[背景技術]で述べたたばこのけむりを検出する方法のように、屋内で人が止まって喫煙する状態で適用した検出方法は、不向きである。
そこで、この実施形態の歩きたばこ監視装置では、屋外にも適用でき、歩きたばこを行っている現場で喫煙者を特定することが可能な方法によって歩きたばこを検出する。
この検出方法には、喫煙中のたばこの存在を動的に捉えるための手段として赤外線カメラを用い、喫煙者の存在を動的に捉えるための手段としてＰＴＺカメラを用いる。赤外線カメラは所定の監視領域を撮り、ＰＴＺカメラも同じ監視領域を撮る。
また、監視結果として、歩きたばこを行っている喫煙者を特定する、即ち歩きたばこと喫煙者を関係付けるための各カメラからの画像等を処理する手段と、監視結果を知らせることで該当する喫煙者に注意を喚起するための手段としてディスプレイを用いる。なお、後記で詳述するが、ＰＴＺカメラは、歩きたばこを追尾するために操作され、また、ＰＴＺカメラによって追尾された歩きたばこの画像等を監視結果として、現場に設けたディスプレイの画面に表示する。
ここで、先ず、赤外線カメラ及びＰＴＺカメラを用いて行う歩きたばこの検出方法の原理について、図１を参照しながら説明する。
図１は、歩きたばこ監視装置における赤外線カメラ、ＰＴＺカメラ、ディスプレイの各コンポーネントの１実装例を示す概念図である。同図に示す構成は、人が行き来する通路のような場所に設置された円筒状の広告塔５０に設けたディスプレイ５１と組み合わせて赤外線カメラ３０及びＰＴＺカメラ２０を実装する例を示している。
ここでは、実装状態で赤外線カメラ３０とＰＴＺカメラ２０の撮影範囲（監視領域）が一致するように、これらの設置条件等を定める。なお、ＰＴＺカメラ２０は、初期設定でホームポジションにセットされる。つまり、ホームポジションでは、ＰＴＺカメラ２０のパン（Pan：水平回転）、チルト（Tilt：垂直回転）、ズーム（Zoom：連続変倍）それぞれは、監視領域を赤外線カメラ３０の監視領域に合わすように設定される。
図１は、歩きたばこ監視装置における赤外線カメラ、ＰＴＺカメラ、ディスプレイの各コンポーネントの１実装例を示す概念図である。同図に示す構成は、人が行き来する通路のような場所に設置された円筒状の広告塔５０に設けたディスプレイ５１と組み合わせて赤外線カメラ３０及びＰＴＺカメラ２０を実装する例を示している。
ここでは、実装状態で赤外線カメラ３０とＰＴＺカメラ２０の撮影範囲（監視領域）が一致するように、これらの設置条件等を定める。なお、ＰＴＺカメラ２０は、初期設定でホームポジションにセットされる。つまり、ホームポジションでは、ＰＴＺカメラ２０のパン（Pan：水平回転）、チルト（Tilt：垂直回転）、ズーム（Zoom：連続変倍）それぞれは、監視領域を赤外線カメラ３０の監視領域に合わすように設定される。
ＰＴＺカメラ２０の撮像画像に対し、初期設定の撮像面上に座標を定めて、撮像画像面に現れる移動体をトラッキングして、移動により変化する位置を座標値で表す。また、赤外線カメラ３０の撮像画像に対しても、撮像（サーモグラフィ）面上に座標を定めて、撮像される画像面に現れる高温度部分をトラッキングして、移動により変化する位置を座標値で表す。なお、初期設定でホームポジションにセットされたＰＴＺカメラ２０の撮像面上に定めた座標と赤外線カメラ３０のサーモグラフィ上に定めた座標を対応付けておき、同じエリアにおいて起きる変化として両者の関係を把握する。
さらに、赤外線カメラ３０、ＰＴＺカメラ２０のセットとディスプレイ５１との関係は、両方のカメラ３０，２０の監視領域とディスプレイ５１の視野角により定まる有効可視範囲を合わせるように両方のカメラ３０，２０とディスプレイ５１を配置する。これは、後記で詳述するが、監視結果として、歩きたばこの存在場所を指す矢印をディスプレイ５１の画面に表示する際、方向の基準をディスプレイ５１に置くからである。
さらに、赤外線カメラ３０、ＰＴＺカメラ２０のセットとディスプレイ５１との関係は、両方のカメラ３０，２０の監視領域とディスプレイ５１の視野角により定まる有効可視範囲を合わせるように両方のカメラ３０，２０とディスプレイ５１を配置する。これは、後記で詳述するが、監視結果として、歩きたばこの存在場所を指す矢印をディスプレイ５１の画面に表示する際、方向の基準をディスプレイ５１に置くからである。
監視動作の際、赤外線カメラ３０からの入力画像をもとに検出される高温度部分（喫煙中のたばこの炎部）の存在と、ＰＴＺカメラ２０からの入力画像をもとに検出される移動体の存在を条件に、歩きたばこを判定する処理を実施する。なお、高温度部分の検出、移動体の検出は、それぞれ後記の処理フロー（図９，１０）で詳述する。
歩きたばこの判定は、既に検出されている移動体が歩行者であることを確認し、確認された歩行者と高温度部分（喫煙中のたばこの炎部）の距離が近いことを条件に歩きたばこを判定する（以下「歩きたばこ判定（１）」という）。つまり、歩行者に近接する高温度部分は当該歩行者が喫煙するたばこの炎であると推定し、当該歩行者と高温度部分を１対１で関係付ける。
歩きたばこの判定は、既に検出されている移動体が歩行者であることを確認し、確認された歩行者と高温度部分（喫煙中のたばこの炎部）の距離が近いことを条件に歩きたばこを判定する（以下「歩きたばこ判定（１）」という）。つまり、歩行者に近接する高温度部分は当該歩行者が喫煙するたばこの炎であると推定し、当該歩行者と高温度部分を１対１で関係付ける。
よって、歩きたばこ判定（１）を行うときには、先ず、歩行者であることを確認する。この確認方法は、ＰＴＺカメラ２０からの入力画像をもとに、既に検出されている移動体をトラッキングしながら移動距離を求め、求めた移動距離が所定の距離を超えていることによって確認する。
この後、歩行者と確認された移動体と高温度部分の距離をそれぞれのカメラの入力画像の画像面上の両者の座標値を比較することにより求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこが存在すると判定する。歩きたばこ判定（１）の判定結果は、歩きたばこが存在することと、歩きたばこに関係する移動体（喫煙者）を存在する位置（座標値）によって特定する。
この後、歩行者と確認された移動体と高温度部分の距離をそれぞれのカメラの入力画像の画像面上の両者の座標値を比較することにより求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこが存在すると判定する。歩きたばこ判定（１）の判定結果は、歩きたばこが存在することと、歩きたばこに関係する移動体（喫煙者）を存在する位置（座標値）によって特定する。
上記歩きたばこ判定（１）を行うことで、歩きたばこが検出できる。ただ、歩きたばこの判定は、歩行者と高温度部分（たばこの炎部）を１対１で関係付け、歩きたばこに関係する移動体（喫煙者）を特定することを必要条件とすると、歩きたばこ判定（１）の移動体（歩行者）と高温度部分が近接していることを条件に歩きたばこを判定する方法では、判定基準の定め方や歩行者の状況によっては複数の歩行者が近接した距離に存在することが起こり得る。この場合、複数の歩行者を喫煙者とすると、判定を誤ることになる。
この判定の誤りが起きる状況は、歩行者が混雑した状況で起きる可能性が高いと考えられる。そこで、混雑度によって上記歩きたばこ判定（１）を適用し、この判定方法が適用できない混雑時には、次に示す歩きたばこ判定（２）によって、より誤りの少ない判定を行えるようにする。
この判定の誤りが起きる状況は、歩行者が混雑した状況で起きる可能性が高いと考えられる。そこで、混雑度によって上記歩きたばこ判定（１）を適用し、この判定方法が適用できない混雑時には、次に示す歩きたばこ判定（２）によって、より誤りの少ない判定を行えるようにする。
混雑時に適用する歩きたばこ判定（２）においても、高温度部分（たばこの炎部）が存在し、かつ移動体が存在することを判定実施の条件にすることに変わりはないが、混雑時には、高温度部分に近接する移動体が複数存在し、その中の１つを的確な喫煙者とする絞込みが困難であるから、歩きたばこの存在を、赤外線カメラ３０からの入力画像をもとに、既に検出されている高温度部分をトラッキングしながらその移動距離を求め、求めた移動距離が所定の距離を超えていることを確認することによって、歩きたばこの存在を判定する。この判定方法による場合、歩きたばこ判定（１）における移動体（喫煙者）の特定は行わないが、高温度部分（歩きたばこ）が生じた位置がサーモグラフィの画像面の中心に対してどの方向にあるかを、サーモグラフィに定めた座標上の高温度部分の座標値をもとにして表す。従って、歩きたばこ判定（２）の判定結果は、歩きたばこが存在することと、歩きたばこが存在する方向によって特定する。
ところで、上記歩きたばこ判定（１）を適用すると判定を誤る可能性がある混雑状況は、混雑度と判定の誤りの発生との関係を実験的に確認することができる。この実験結果に基づいて、誤りの生じない混雑度の範囲の限界値を得ることができる。ここでは、この混雑度の限界値をＰＴＺカメラ２０によって撮られた監視領域の画像面を移動体が占める占有度によって表す。つまり、画像面における移動体の占有度が歩きたばこ判定（１）の適用限界値として予め定めた値を超えて大きくなった場合に、歩きたばこ判定（２）を適用することで、判定方法を使い分け、誤りの少ない判定を行う。
なお、混雑度を判定する移動体の占有度は、先に説明したように、移動体の存在をＰＴＺカメラ２０からの入力画像をもとに検出するが、その検出結果を受けて行う。
なお、混雑度を判定する移動体の占有度は、先に説明したように、移動体の存在をＰＴＺカメラ２０からの入力画像をもとに検出するが、その検出結果を受けて行う。
上記で混雑時に適用する歩きたばこの判定方法を示したが、混雑がより増すと、カメラ（ＰＴＺカメラ２０、赤外線カメラ３０の両方のカメラを指す。以下、同様に記載）によって撮られた画像面において検出対象像が重なり合い、歩きタバコをする喫煙者が手前の人物に隠れてカメラで撮れない死角が生じる。
このような場合でもアングルを変えれば、死角を無くすことができる。具体的には、死角を作らないように複数台のカメラを配置する方法によって、解決することができる。
図２は、監視領域を重ならせた複数の歩きたばこ監視装置の配置例を示す概念図である。同図において、人が行き来する通路６０に円筒状の広告塔５０１，５０２，５０３を配置した例を示している。各広告塔５０１，５０２，５０３には、それぞれディスプレイと組み合わせて赤外線カメラ及びＰＴＺカメラを実装し、図１に示したと同様に歩きたばこ監視装置を構成する。
図２に示すように、各広告塔５０１，５０２，５０３にそれぞれ設けた歩きたばこ監視装置は、撮影範囲（監視領域）を重なり合うようにして、互いに死角を無くすように、様々なアングルからカメラで撮影できる配置をとり、歩きタバコを検出できるようにしている。なお、それぞれのカメラの撮影範囲を重なり合うように配置し制御を行うと、より広い範囲でのトラッキングを行うことも可能になる。
このような場合でもアングルを変えれば、死角を無くすことができる。具体的には、死角を作らないように複数台のカメラを配置する方法によって、解決することができる。
図２は、監視領域を重ならせた複数の歩きたばこ監視装置の配置例を示す概念図である。同図において、人が行き来する通路６０に円筒状の広告塔５０１，５０２，５０３を配置した例を示している。各広告塔５０１，５０２，５０３には、それぞれディスプレイと組み合わせて赤外線カメラ及びＰＴＺカメラを実装し、図１に示したと同様に歩きたばこ監視装置を構成する。
図２に示すように、各広告塔５０１，５０２，５０３にそれぞれ設けた歩きたばこ監視装置は、撮影範囲（監視領域）を重なり合うようにして、互いに死角を無くすように、様々なアングルからカメラで撮影できる配置をとり、歩きタバコを検出できるようにしている。なお、それぞれのカメラの撮影範囲を重なり合うように配置し制御を行うと、より広い範囲でのトラッキングを行うことも可能になる。
ここで、上記判定方法を適用し、得られる結果に従って、マナー違反者に対して行う警告表示について説明する。
警告表示を行う趣旨は、基本的に歩きたばこをしている喫煙者に歩きたばこを止めてもらうために、その旨を知らせることにある。この実施形態では、当該喫煙者に注意を喚起するための手段として誰もが目に付きやすい広告塔のディスプレイを用いているので、通常、ディスプレイに表示している広告画面に割り込んで、歩きたばこの警告表示を行う。
図３は、歩きたばこの警告表示を広告塔のディスプレイの画面に割り込んで行う実施形態を説明する図である。なお、この実施形態では、移動体（歩行者）の混雑度によって歩きたばこ判定（１）と歩きたばこ判定（２）を使い分ける例を示したので、この例に沿って、警告の表示方法を説明する。
警告表示を行う趣旨は、基本的に歩きたばこをしている喫煙者に歩きたばこを止めてもらうために、その旨を知らせることにある。この実施形態では、当該喫煙者に注意を喚起するための手段として誰もが目に付きやすい広告塔のディスプレイを用いているので、通常、ディスプレイに表示している広告画面に割り込んで、歩きたばこの警告表示を行う。
図３は、歩きたばこの警告表示を広告塔のディスプレイの画面に割り込んで行う実施形態を説明する図である。なお、この実施形態では、移動体（歩行者）の混雑度によって歩きたばこ判定（１）と歩きたばこ判定（２）を使い分ける例を示したので、この例に沿って、警告の表示方法を説明する。
図３に示すように、広告塔のディスプレイ５１には、初期画面として広告画面が表示されている。この後、歩きたばこ監視装置の監視動作によって、カメラからの画像をもとに歩きたばこの存在が判定されると広告画面に割り込んで警告表示が行われる。
この警告表示は、非混雑時（ＰＴＺカメラ２０の画面における移動体の占有度が限界値以下）には、同図中に矢印（Ａ）で示すように警告画面１となる。警告画面１には、「Ｎｏ Ｓｍｏｋｉｎｇ！！」の文言５１５、歩きたばこをしている喫煙者のカメラ画像５１７及び歩きたばこが存在する方向を示す矢印５１１が割り込み表示される。一定時間経過後又は歩きたばこが赤外線カメラ３０の撮影範囲より外れた場合、図３中に矢印（Ｂ）で示すようにディスプレイ５１には初期画面である広告画面を表示する。
他方、混雑時（ＰＴＺカメラ２０の画面における移動体の占有度が限界値を超える）には、同図中に矢印（ａ）で示すように警告画面２となる。警告画面２には、「Ｎｏ Ｓｍｏｋｉｎｇ！！」の文言５１５、歩きたばこが存在する方向を示す矢印５１２及び矢印５１２の意味を示す「こちらで歩きたばこ」のコメントが表示される。一定時間経過後、または、歩きタバコが赤外線カメラの撮影範囲より外れた場合、図３中に矢印（ｂ）で示すようにディスプレイ５１には初期画面である広告画面を表示する。
なお、警告表示画面を作成する過程の詳細は、後記する歩きたばこ監視装置の制御フロー（図８〜１４）の説明にて、図４及び５を参照して述べる。
この警告表示は、非混雑時（ＰＴＺカメラ２０の画面における移動体の占有度が限界値以下）には、同図中に矢印（Ａ）で示すように警告画面１となる。警告画面１には、「Ｎｏ Ｓｍｏｋｉｎｇ！！」の文言５１５、歩きたばこをしている喫煙者のカメラ画像５１７及び歩きたばこが存在する方向を示す矢印５１１が割り込み表示される。一定時間経過後又は歩きたばこが赤外線カメラ３０の撮影範囲より外れた場合、図３中に矢印（Ｂ）で示すようにディスプレイ５１には初期画面である広告画面を表示する。
他方、混雑時（ＰＴＺカメラ２０の画面における移動体の占有度が限界値を超える）には、同図中に矢印（ａ）で示すように警告画面２となる。警告画面２には、「Ｎｏ Ｓｍｏｋｉｎｇ！！」の文言５１５、歩きたばこが存在する方向を示す矢印５１２及び矢印５１２の意味を示す「こちらで歩きたばこ」のコメントが表示される。一定時間経過後、または、歩きタバコが赤外線カメラの撮影範囲より外れた場合、図３中に矢印（ｂ）で示すようにディスプレイ５１には初期画面である広告画面を表示する。
なお、警告表示画面を作成する過程の詳細は、後記する歩きたばこ監視装置の制御フロー（図８〜１４）の説明にて、図４及び５を参照して述べる。
次に、本実施形態の歩きたばこ監視装置の制御部について説明する。
以下に示す制御部は、上記した歩きたばこの検出方法を採用して行う歩きたばこの監視動作を制御するコンポーネントである。この制御部は、歩きたばこの監視に必要なデータをカメラから取得し、取得したデータをもとに歩きたばこを検出するためのデータ処理やカメラを制御し、またディスプレイを制御して歩きたばこに対する警告表示を行わせる。
本実施形態では、広告塔のディスプレイ５１のサーバ端末を歩きたばこ監視装置の制御部として機能させることによって実施する例を示す。
図６は、本実施形態の歩きたばこ監視装置のデータ処理システムの概略構成を示すブロック図である。同図に示すように、このシステムは、歩きたばこ監視装置の制御部として機能するサーバ端末１０にＰＴＺカメラ２０、赤外線カメラ３０及び広告塔５０のディスプレイ５１を接続し、データの交換を行うように構成する。
以下に示す制御部は、上記した歩きたばこの検出方法を採用して行う歩きたばこの監視動作を制御するコンポーネントである。この制御部は、歩きたばこの監視に必要なデータをカメラから取得し、取得したデータをもとに歩きたばこを検出するためのデータ処理やカメラを制御し、またディスプレイを制御して歩きたばこに対する警告表示を行わせる。
本実施形態では、広告塔のディスプレイ５１のサーバ端末を歩きたばこ監視装置の制御部として機能させることによって実施する例を示す。
図６は、本実施形態の歩きたばこ監視装置のデータ処理システムの概略構成を示すブロック図である。同図に示すように、このシステムは、歩きたばこ監視装置の制御部として機能するサーバ端末１０にＰＴＺカメラ２０、赤外線カメラ３０及び広告塔５０のディスプレイ５１を接続し、データの交換を行うように構成する。
図７は、サーバ端末１０（図６参照）の内部構成の概要を示すブロック図である。
図７に示すように、サーバ端末１０は、ＰＴＺカメラ画像処理部１２０、赤外線カメラ画像処理部１３０、歩きタバコ判定処理部１１０、警告画面表示部１５０、外部インターフェース部（１）１０３及び外部インターフェース部（２）１０５を有する。なお、図７に示すサーバ端末１０の内部の構成要素は、歩きたばこ監視装置のデータ処理に必要な要素のみを示している。
外部インターフェース部（１）１０３及び外部インターフェース部（２）１０５は、サーバ端末１０に接続されるＰＴＺカメラ２０、赤外線カメラ３０及びディスプレイ５１とのインターフェースである。外部インターフェース部（１）１０３は、ＰＴＺカメラ２０と赤外線カメラ３０とデータを交換して、各カメラの動作を制御し、カメラで撮った画像を内部で利用可能なデータとして入力する。また、外部インターフェース部（２）１０５は、ディスプレイ５１とデータを交換して、ディスプレイ５１の動作を制御し、後述する警告表示を行わせるためのデータを出力する。
図７に示すように、サーバ端末１０は、ＰＴＺカメラ画像処理部１２０、赤外線カメラ画像処理部１３０、歩きタバコ判定処理部１１０、警告画面表示部１５０、外部インターフェース部（１）１０３及び外部インターフェース部（２）１０５を有する。なお、図７に示すサーバ端末１０の内部の構成要素は、歩きたばこ監視装置のデータ処理に必要な要素のみを示している。
外部インターフェース部（１）１０３及び外部インターフェース部（２）１０５は、サーバ端末１０に接続されるＰＴＺカメラ２０、赤外線カメラ３０及びディスプレイ５１とのインターフェースである。外部インターフェース部（１）１０３は、ＰＴＺカメラ２０と赤外線カメラ３０とデータを交換して、各カメラの動作を制御し、カメラで撮った画像を内部で利用可能なデータとして入力する。また、外部インターフェース部（２）１０５は、ディスプレイ５１とデータを交換して、ディスプレイ５１の動作を制御し、後述する警告表示を行わせるためのデータを出力する。
ＰＴＺカメラ画像処理部１２０は、移動体検出部１２１、トラッキング部１２３を有する。移動体検出部１２１は、ＰＴＺカメラ２０からの入力画像をもとに、フレーム間差分により移動体を個別に検出し、各移動体の画像面上での位置（この実施形態では重心位置）を画像面上に定めた座標系の座標値で表す。また、検出した移動体の画像面上に占める面積により混雑度を算出し、算出した混雑度に従って、後で行う歩きたばこ判定方法（上記歩きたばこ判定（１）／（２））を使い分ける、つまり、適用する歩きたばこ判定方法を決めるために混雑度の判定を行う。
トラッキング部１２３は、移動体のトラッキング処理を行い、移動体が歩行者であるか否かを判定する。この処理は、混雑度が一定以下の場合に上記の歩きたばこ判定（１）の処理過程の一部として行い、トラッキング処理で求めた移動体の移動距離が所定値以上の場合、歩行者であると判定する。
トラッキング部１２３は、移動体のトラッキング処理を行い、移動体が歩行者であるか否かを判定する。この処理は、混雑度が一定以下の場合に上記の歩きたばこ判定（１）の処理過程の一部として行い、トラッキング処理で求めた移動体の移動距離が所定値以上の場合、歩行者であると判定する。
赤外線カメラ画像処理部１３０は、高温度検出部１３１、トラッキング部１３３を有する。高温度検出部１３１は、赤外線カメラ３０からの入力画像をもとに生成されるサーモグラフィから、たばこの炎が含まれる温度範囲の高温度部分を個別に検出し、各高温度部分のサーモグラフィ面上での位置、重心をサーモグラフィ面上に定めた座標系の座標値で表す。
トラッキング部１３３は、高温度部分のトラッキング処理を行い、高温度部分が歩きたばこの炎であるか否かを判定する。この処理は、上記の歩きたばこ判定（２）の処理過程の一部として行い、トラッキング処理で求めた高温度部分の移動距離は、歩きたばこの炎を判定するために用いる。
トラッキング部１３３は、高温度部分のトラッキング処理を行い、高温度部分が歩きたばこの炎であるか否かを判定する。この処理は、上記の歩きたばこ判定（２）の処理過程の一部として行い、トラッキング処理で求めた高温度部分の移動距離は、歩きたばこの炎を判定するために用いる。
歩きタバコ判定処理部１１０は、移動体検出部１２１による移動体の検出と、高温度検出部１３１による高温度部の検出がともになされた場合を、歩きたばこの判定を実施する条件として確認し、動体（歩行者）の混雑度によって、歩きたばこ判定（１）と歩きたばこ判定（２）を使い分けて、歩きタバコの存在を判定する。
具体的には、混雑度が所定値以下で歩きたばこ判定（１）を適用する場合、移動体のトラッキング処理を行うトラッキング部１２３で移動体が歩行者であるか否かを判定し、判定された歩行者と高温度検出部１３１で検出した高温度部分の距離を求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこが存在すると判定する。なお、判定された歩行者が複数ある場合は、高温度部との距離が一番近い歩行者を１対１で対応する歩きたばこの喫煙者とする。
具体的には、混雑度が所定値以下で歩きたばこ判定（１）を適用する場合、移動体のトラッキング処理を行うトラッキング部１２３で移動体が歩行者であるか否かを判定し、判定された歩行者と高温度検出部１３１で検出した高温度部分の距離を求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこが存在すると判定する。なお、判定された歩行者が複数ある場合は、高温度部との距離が一番近い歩行者を１対１で対応する歩きたばこの喫煙者とする。
また、歩きたばこ判定（１）を適用した場合、歩きたばこの喫煙者として特定した移動体（歩行者）をＰＴＺカメラ２０によって追尾する制御に用いるためにズーム値、パン値及びチルト値を算出する。
ズーム値は、特定した移動体（歩行者）と高温度部の距離（両者の重心の座標値から求められる）が小さいほど大きくズームされるようにする。また、ズーム値は、倍率により制御値を指定するか、又は画角により制御値を指定するようにする。
パン値及びチルト値は、特定した移動体（歩行者）の重心をＰＴＺカメラ２０が撮る画像の中心になるようにそれぞれの値を求める。制御値として求めるパン値及びチルト値は、ＰＴＺカメラ２０がホームポジションにある時の画面の中心と移動体の重心の位置関係によって表す。なお、特定した歩行者の顔の位置を検出して、顔が画像の中心になるようにパン値及びチルト値を求めてもよい。
ズーム値は、特定した移動体（歩行者）と高温度部の距離（両者の重心の座標値から求められる）が小さいほど大きくズームされるようにする。また、ズーム値は、倍率により制御値を指定するか、又は画角により制御値を指定するようにする。
パン値及びチルト値は、特定した移動体（歩行者）の重心をＰＴＺカメラ２０が撮る画像の中心になるようにそれぞれの値を求める。制御値として求めるパン値及びチルト値は、ＰＴＺカメラ２０がホームポジションにある時の画面の中心と移動体の重心の位置関係によって表す。なお、特定した歩行者の顔の位置を検出して、顔が画像の中心になるようにパン値及びチルト値を求めてもよい。
他方、混雑度が所定値を超えた場合、高温度部分に近接する移動体の中の１つを歩きたばこの喫煙者とする正確な絞込みが困難であるから、上記の歩きたばこ判定（２）を適用し、歩きたばこの存在を、赤外線カメラ３０からのサーモグラフィにおける高温度部分の動きのみで判定する。即ち、高温度部分を数秒間といった時間トラッキングしながらその移動距離を求め、求めた移動距離が所定の距離を超えていることを確認することによって、歩きたばこの存在を判定する。また、高温度部分（歩きたばこ）が生じた位置がサーモグラフィの画像面の中心に対してどの方向にあるかを、サーモグラフィに定めた座標上の高温度部分の座標値をもとにして、例えば４方向で表す。なお、歩きたばこの検出結果によりディスプレイ５１で後述するような警告表示を行うので、高温度部分（歩きたばこ）が生じた位置もその座標値で表す。
警告画面表示部１５０は、歩きタバコ判定処理部１１０によって歩きたばこの存在が判定された場合に、この判定結果を受けて、歩きたばこの喫煙者に対して広告塔５０のディスプレイ５１を通して警告表示を行うための画像を生成して、外部インターフェース１０５を介してディスプレイ５１を制御して画面表示を行わせる。
この実施形態では、混雑度により表示方法が異なる。非混雑時には、歩きたばこ判定処理部１１０よりＰＴＺ値を受け取り、ＰＴＺカメラ２０を制御して歩きたばこ（喫煙者）を追尾するので、この操作によってＰＴＺカメラ２０で撮った画像をもとに歩きたばこ警告画面を生成し、ディスプレイ５１に歩きたばこ警告画面（図３の警告画面１、参照）を表示する。
この実施形態では、混雑度により表示方法が異なる。非混雑時には、歩きたばこ判定処理部１１０よりＰＴＺ値を受け取り、ＰＴＺカメラ２０を制御して歩きたばこ（喫煙者）を追尾するので、この操作によってＰＴＺカメラ２０で撮った画像をもとに歩きたばこ警告画面を生成し、ディスプレイ５１に歩きたばこ警告画面（図３の警告画面１、参照）を表示する。
他方、混雑時には、歩きたばこをする喫煙者を正確に特定することが困難なので、歩きたばこの炎の位置をもとに歩きたばこ判定処理部１１０で処理された歩きタバコが存在する方向のデータを受け取り、歩きたばこ警告画面を生成し、ディスプレイ５１に歩きたばこ警告画面（図３の警告画面２、参照）を表示する。その他の警告表示としては、歩きたばこの炎の位置をもとに大まかに歩きたばこが存在する場所をＰＴＺカメラ２０で追尾して撮った画像をもとに歩きたばこ警告画面を生成することや、或いは歩きたばこが存在する方向を表す矢印と一緒に、ＰＴＺカメラ２０のホームポジションからの画像（広範囲を撮った画像）に歩きたばこが存在する大まかな位置を矩形で示した警告画面を生成し、ディスプレイ５１にこの警告画面を表示する方法を採用してもよい。
また、混雑時と非混雑時混で警告画面の表示を変えても、歩きたばこ警告画面の表示を開始してから所定時間が経過した後、或いは歩きたばこが赤外線カメラの撮影範囲より外れた場合、ディスプレイ５１には初期画面である広告画面の表示に切り替える。
また、混雑時と非混雑時混で警告画面の表示を変えても、歩きたばこ警告画面の表示を開始してから所定時間が経過した後、或いは歩きたばこが赤外線カメラの撮影範囲より外れた場合、ディスプレイ５１には初期画面である広告画面の表示に切り替える。
ところで、歩きたばこ監視装置の制御部として働くサーバ端末１０は、図示しないが、ＣＰＵ（Central Processing Unit）、プログラムを格納するＲＯＭ（Read Only Memory）、プログラムを動作させるときのワークメモリとして使用するＲＡＭ（Random Access Memory）等を要素とするコンピュータを内蔵し、ＣＰＵによってプログラムを駆動することによって当該制御部を構成する。当該制御部を構成するＲＯＭには、歩きたばこ監視装置の制御に係るプログラムの一部に後述する図８〜１４の制御フロー図に示す歩きたばこ監視機能等を実行するためのプログラムを記録しておくことで、内蔵するコンピュータが、歩きたばこ監視機能等を実現する手段、つまり図７に示したサーバ端末１０のデータ処理部を構成する。なお、上記プログラムを記録する媒体としては、ＲＯＭに限らず、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disk）−ＲＯＭ、ＭＯ（Magnet Optical Disk）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体を用いることができる。また、プログラムを、インターネット等のネットワーク（図示せず）に接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。
次に、上記サーバ端末１０（歩きたばこ監視装置）が行う歩きたばこ監視動作について、監視動作を行う際の処理手順を示すフロー図に基づいて説明する。
図８は、歩きたばこ監視機能によって実行される監視動作の制御フローの１例を示す図である。また、歩きたばこ監視動作に係る各カメラからの入力画像の処理過程は監視動作を行う際の要点であり、画像処理の手順を説明する図４及び図５を参照する。図４は、非混雑時に警告表示画面を作成する画像処理過程を説明する図であり、図５は、混雑時に警告表示画面を作成する画像処理過程を説明する図である。なお、図４、図５のいずれも、処理の流れを→にて示す。
図８は、歩きたばこ監視機能によって実行される監視動作の制御フローの１例を示す図である。また、歩きたばこ監視動作に係る各カメラからの入力画像の処理過程は監視動作を行う際の要点であり、画像処理の手順を説明する図４及び図５を参照する。図４は、非混雑時に警告表示画面を作成する画像処理過程を説明する図であり、図５は、混雑時に警告表示画面を作成する画像処理過程を説明する図である。なお、図４、図５のいずれも、処理の流れを→にて示す。
図８の制御フローは、サーバ端末１０の起動と同時に立ち上げられ、歩きたばこ監視機能による動作を開始する。
歩きたばこ監視機能による動作を開始すると、先ず、ディスプレイ５１に初期画面（図３、参照）を表示する（ステップＳ１０１）。
この後、ＰＴＺカメラ２０に対し、パン値、チルト値、ズーム値それぞれがホームポジションとして予め決められた所定値になるように、初期設定を行い、初期化動作を行う（ステップＳ１０２）。なお、初期化動作でホームポジションにＰＴＺカメラ２０をセットすると、ＰＴＺカメラ２０の撮像面上に定めた座標と赤外線カメラ３０のサーモグラフィ上に定めた座標とが対応付けられ（図４、図５におけるＰＴＺカメラ２０の画像２１のたばこ２１ｔと赤外線カメラ３０のサーモグラフィ３１の高温度部分（たばこの炎）３１ｈの画像面上の位置が対応する）、同じ監視エリアにおいて起きる変化として各カメラによって撮られた画像の関係を把握することができる。
次に、ホームポジションでＰＴＺカメラ２０の撮影が開始されているので、外部インターフェース部（１）１０３を介してＰＴＺカメラ２０が撮った動画像を入力し（ステップＳ１０３）、入力した動画像（図４、図５における画像２１）から画像に現れる移動体を検出する（ステップＳ１０４）。ステップＳ１０４の移動体を検出する処理は、移動体検出部１２１（図７）が行う。
歩きたばこ監視機能による動作を開始すると、先ず、ディスプレイ５１に初期画面（図３、参照）を表示する（ステップＳ１０１）。
この後、ＰＴＺカメラ２０に対し、パン値、チルト値、ズーム値それぞれがホームポジションとして予め決められた所定値になるように、初期設定を行い、初期化動作を行う（ステップＳ１０２）。なお、初期化動作でホームポジションにＰＴＺカメラ２０をセットすると、ＰＴＺカメラ２０の撮像面上に定めた座標と赤外線カメラ３０のサーモグラフィ上に定めた座標とが対応付けられ（図４、図５におけるＰＴＺカメラ２０の画像２１のたばこ２１ｔと赤外線カメラ３０のサーモグラフィ３１の高温度部分（たばこの炎）３１ｈの画像面上の位置が対応する）、同じ監視エリアにおいて起きる変化として各カメラによって撮られた画像の関係を把握することができる。
次に、ホームポジションでＰＴＺカメラ２０の撮影が開始されているので、外部インターフェース部（１）１０３を介してＰＴＺカメラ２０が撮った動画像を入力し（ステップＳ１０３）、入力した動画像（図４、図５における画像２１）から画像に現れる移動体を検出する（ステップＳ１０４）。ステップＳ１０４の移動体を検出する処理は、移動体検出部１２１（図７）が行う。
ステップＳ１０４のサブシーケンスを示す図９を参照して、移動体検出に係る処理を説明すると、動画像として時系列で入力される画像フレーム（図４、図５における画像２１）に対し、フレーム間差分をとり（ステップＳ２０１）、差分が０にならない画像部分を移動体と判断する（図４、図５の画像面２３に判断された移動体２３ｍを模式的に示す）ことで、画像に現れる移動体を抽出する（ステップＳ２０２-YES）。この処理で、移動体が抽出できなければ、移動体が検出できなかったので（ステップＳ２０２-NO）、このサブシーケンスを抜けて、図８のメインフローに戻る。
他方、移動体が検出された場合（ステップＳ２０２-YES）、個別に移動体の重心を算出し（図４、図５の移動体２３ｍ中の×を重心として示す）、画像面上に定めた座標系の座標値で表す（ステップＳ２０３）。
また、検出した移動体の画像面上に占める占有度として、全画面に対する移動体の面積比を算出し、この値により混雑度を表す（ステップＳ２０４）。
移動体に関するこれらの値を算出した後、このサブシーケンスを抜けて、図８のメインフローに戻る。
他方、移動体が検出された場合（ステップＳ２０２-YES）、個別に移動体の重心を算出し（図４、図５の移動体２３ｍ中の×を重心として示す）、画像面上に定めた座標系の座標値で表す（ステップＳ２０３）。
また、検出した移動体の画像面上に占める占有度として、全画面に対する移動体の面積比を算出し、この値により混雑度を表す（ステップＳ２０４）。
移動体に関するこれらの値を算出した後、このサブシーケンスを抜けて、図８のメインフローに戻る。
本実施形態では、赤外線カメラ３０とＰＴＺカメラ２０は、同時に動作するので、赤外線カメラ３０もＰＴＺカメラ２０と並行して、外部インターフェース部（１）１０３を介して赤外線カメラ３０が撮った動画像を入力し（ステップＳ１０５）、入力した画像もとにサーモグラフィを生成し、サーモグラフィの画像に現れるたばこの炎が含まれる温度範囲の高温度部分を検出する（ステップＳ１０６）。ステップＳ１０６の高温度部分を検出する処理は、高温度検出部１３１（図７）が行う。
ステップＳ１０６のサブシーケンスを示す図１０を参照して、高温度部分の検出に係る処理を説明すると、サーモグラフィの画像に対し、たばこの炎が含まれる高温度範囲の画像部分を抽出するために予め定められたしきい値以上であるか否かを判断し、しきい値以上の画像部分を高温度部分（図４、図５におけるサーモグラフィ３１の画像部分３１ｈ）として抽出する（ステップＳ３０１-YES）。この処理で、サーモグラフィの画像がしきい値未満であれば、高温度部分が検出できなかったので（ステップＳ３０１-NO）、このサブシーケンスを抜けて、図８のメインフローに戻る。
他方、高温度部分が検出できた場合（ステップＳ３０１-YES）、個別に高温度部分の重心を算出し、サーモグラフィの画像面上に定めた座標系の座標値で表す（ステップＳ３０２）。
高温度部分を検出した後、このサブシーケンスを抜けて、図８のメインフローに戻る。
ステップＳ１０６のサブシーケンスを示す図１０を参照して、高温度部分の検出に係る処理を説明すると、サーモグラフィの画像に対し、たばこの炎が含まれる高温度範囲の画像部分を抽出するために予め定められたしきい値以上であるか否かを判断し、しきい値以上の画像部分を高温度部分（図４、図５におけるサーモグラフィ３１の画像部分３１ｈ）として抽出する（ステップＳ３０１-YES）。この処理で、サーモグラフィの画像がしきい値未満であれば、高温度部分が検出できなかったので（ステップＳ３０１-NO）、このサブシーケンスを抜けて、図８のメインフローに戻る。
他方、高温度部分が検出できた場合（ステップＳ３０１-YES）、個別に高温度部分の重心を算出し、サーモグラフィの画像面上に定めた座標系の座標値で表す（ステップＳ３０２）。
高温度部分を検出した後、このサブシーケンスを抜けて、図８のメインフローに戻る。
次に、歩きたばこの判定を実施する条件を満たすか否かを確認する。即ち、ステップＳ１０４で移動体が検出され、かつステップＳ１０６で高温度部が検出されたことを条件に、歩きたばこの判定を実施するので、この条件を満たすか否かを確認する（ステップＳ１０７）。
ここで、この実施条件が満たさなければ（ステップＳ１０７-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、移動体が検出され、かつステップ高温度部が検出されたことを条件に（ステップＳ１０７-YES）、判定処理の次のステップに進む。
判定処理の次のステップは、歩きたばこ判定（１）と歩きたばこ判定（２）のどちらを適用するかを決める（上記した歩きタバコ判定処理部１１０に関する記載、参照）ために、混雑度が所定値以下であるか否かを確認する（ステップＳ１０８）。
ここで、混雑度が所定値以下である場合（図４における移動体２３ｍの面積比は所定値以下）、歩きたばこ判定（１）を適用し、混雑度が所定値を超えた場合（図５における移動体２３ｍの面積比は所定値を超える）、歩きたばこ判定（２）を適用する。
ここで、この実施条件が満たさなければ（ステップＳ１０７-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、移動体が検出され、かつステップ高温度部が検出されたことを条件に（ステップＳ１０７-YES）、判定処理の次のステップに進む。
判定処理の次のステップは、歩きたばこ判定（１）と歩きたばこ判定（２）のどちらを適用するかを決める（上記した歩きタバコ判定処理部１１０に関する記載、参照）ために、混雑度が所定値以下であるか否かを確認する（ステップＳ１０８）。
ここで、混雑度が所定値以下である場合（図４における移動体２３ｍの面積比は所定値以下）、歩きたばこ判定（１）を適用し、混雑度が所定値を超えた場合（図５における移動体２３ｍの面積比は所定値を超える）、歩きたばこ判定（２）を適用する。
混雑度が所定値以下であり、歩きたばこ判定（１）を適用する場合（ステップＳ１０８-YES）、先ず、ステップＳ１０４で検出した移動体が歩行者であることを確認する。歩行者であることを確認する意味は、喫煙場所での喫煙を区別することにある。
このため、検出した各移動体を数秒間といった予め定めた時間トラッキングしながら（図４に画像面２３’における移動体の動きを「２３ｍ’→２３ｍ」にて示す）その移動距離を求め（ステップＳ１０９）、求めた移動距離が歩行者であることを判断するために予め定めた所定距離以上であるか否かを判定する（ステップＳ１１０）。
ここで、移動体の移動距離が所定距離に満たない場合（ステップＳ１１０-NO）、歩行者の動きではないと判断して、初期化動作から始まるこの制御フローの始めに戻す。
他方、移動体の移動距離が所定距離以上である場合（ステップＳ１１０-YES）、歩行者であると判定して（図４の画像面２３’における移動体の動き「２３ｍ’→２３ｍ」を歩行者と判定）、さらに歩きたばこ判定（１）の次のステップＳ１１１に進める。
このため、検出した各移動体を数秒間といった予め定めた時間トラッキングしながら（図４に画像面２３’における移動体の動きを「２３ｍ’→２３ｍ」にて示す）その移動距離を求め（ステップＳ１０９）、求めた移動距離が歩行者であることを判断するために予め定めた所定距離以上であるか否かを判定する（ステップＳ１１０）。
ここで、移動体の移動距離が所定距離に満たない場合（ステップＳ１１０-NO）、歩行者の動きではないと判断して、初期化動作から始まるこの制御フローの始めに戻す。
他方、移動体の移動距離が所定距離以上である場合（ステップＳ１１０-YES）、歩行者であると判定して（図４の画像面２３’における移動体の動き「２３ｍ’→２３ｍ」を歩行者と判定）、さらに歩きたばこ判定（１）の次のステップＳ１１１に進める。
ステップＳ１１１のサブシーケンスを示す図１１を参照して、歩きたばこ判定（１）に係る処理を説明する。ここで行う判定は、非混雑時における歩行者が喫煙しているか否かを判定する処理であり、ステップＳ１１０で歩行者と判定された画像部分とステップＳ１０６で検出された高温度部分との距離（図４の画像面２３”の歩行者２３ｍとサーモグラフィの画像面３１’の高温度部分３１ｈの距離Ｄｆ）を求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこが存在すると判定する。
この判定処理の手順としては、先ず、歩行者と判定された画像部分とサーモグラフィをもとに検出した高温度部分の距離を求める（ステップＳ４０１）。
次いで、求めた距離が判定基準として予め定めた値の範囲内にあるか否かを確認し（ステップＳ４０２）、範囲内になければ（ステップＳ４０２-NO）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、求めた移動距離が所定の範囲内にあれば（ステップＳ４０２-YES）、歩きたばこの存在が確認できるので、後段で警告画面表示の対象となる歩行者として特定する。
次に、警告画面表示を行う際に特定した歩行者をＰＴＺカメラ２０によって追尾して撮るので、ＰＴＺカメラ２０の画像面上における当該歩行者の位置（座標値）を取得し、取得した位置（座標値）をもとにズーム値（倍率又は画角で表す）を算出し（ステップＳ４０３）、さらに、パン値、チルト値（いずれも角度で表す）をそれぞれ算出する（ステップＳ４０４）。
これらのＰＴＺカメラ２０の操作に必要な数値を算出した後、このサブシーケンスを抜け、図８の制御フローに戻る。
この判定処理の手順としては、先ず、歩行者と判定された画像部分とサーモグラフィをもとに検出した高温度部分の距離を求める（ステップＳ４０１）。
次いで、求めた距離が判定基準として予め定めた値の範囲内にあるか否かを確認し（ステップＳ４０２）、範囲内になければ（ステップＳ４０２-NO）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、求めた移動距離が所定の範囲内にあれば（ステップＳ４０２-YES）、歩きたばこの存在が確認できるので、後段で警告画面表示の対象となる歩行者として特定する。
次に、警告画面表示を行う際に特定した歩行者をＰＴＺカメラ２０によって追尾して撮るので、ＰＴＺカメラ２０の画像面上における当該歩行者の位置（座標値）を取得し、取得した位置（座標値）をもとにズーム値（倍率又は画角で表す）を算出し（ステップＳ４０３）、さらに、パン値、チルト値（いずれも角度で表す）をそれぞれ算出する（ステップＳ４０４）。
これらのＰＴＺカメラ２０の操作に必要な数値を算出した後、このサブシーケンスを抜け、図８の制御フローに戻る。
図８の制御フローに戻ると、ステップＳ１１１の判定結果に従って処理を進行させるので、歩きたばこが存在したか否かを確認して、処理を分ける（ステップＳ１１２）。
歩きたばこが存在しなければ（ステップＳ１１２-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、歩きたばこが存在すれば（ステップＳ１１２-YES）、次の警告画面表示（１）を行うステップＳ１１３に進める。
ステップＳ１１３のサブシーケンスを示す図１３を参照して、警告画面表示（１）に係る処理を説明する。この処理は、ステップＳ１１１（図１１）で歩きたばこが存在すると判定したときに取得したズーム値、パン値、チルト値それぞれの値をもとにＰＴＺカメラ２０を操作し、歩きたばこを画面の中心にして撮影し、得られる画像等を用いてディスプレイ５１に警告画面（図４の警告画面表示１には、ディスプレイ５１の画像中に、歩きたばこをする喫煙者５１７、マナー違反を警告する文言５１５及び歩きたばこが存在する方向を示す矢印５１１を表示する画面を示す）を表示する処理で、ここでは、歩きたばこをする喫煙者を追尾して撮影した画像を所定の時間にわたって表示する。
歩きたばこが存在しなければ（ステップＳ１１２-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、歩きたばこが存在すれば（ステップＳ１１２-YES）、次の警告画面表示（１）を行うステップＳ１１３に進める。
ステップＳ１１３のサブシーケンスを示す図１３を参照して、警告画面表示（１）に係る処理を説明する。この処理は、ステップＳ１１１（図１１）で歩きたばこが存在すると判定したときに取得したズーム値、パン値、チルト値それぞれの値をもとにＰＴＺカメラ２０を操作し、歩きたばこを画面の中心にして撮影し、得られる画像等を用いてディスプレイ５１に警告画面（図４の警告画面表示１には、ディスプレイ５１の画像中に、歩きたばこをする喫煙者５１７、マナー違反を警告する文言５１５及び歩きたばこが存在する方向を示す矢印５１１を表示する画面を示す）を表示する処理で、ここでは、歩きたばこをする喫煙者を追尾して撮影した画像を所定の時間にわたって表示する。
図１３に示すサブシーケンスの手順によると、先ず、ステップＳ１１１で算出したズーム値、パン値、チルト値それぞれの値をもとにＰＴＺカメラ２０を操作し、視野の中心に歩きたばこをする喫煙者を捉える（ステップＳ６０１）。
次いで、ステップＳ６０１の操作によって喫煙者を捉えたＰＴＺカメラ２０からの画像とディスプレイ５１の画面に対し当該歩きたばこが存在する方向を示す矢印５１１（図４のディスプレイ画面５１、参照）等を表す警告画面を作成し（ステップＳ６０２）、作成した警告画面をディスプレイ５１に表示する（ステップＳ６０３）。
この後、この警告画面表示は、予め定めた所定時間行うので、表示を開始してからの所定時間が経過したか否かを確認し（ステップＳ６０４）、経過すれば（ステップＳ６０４-YES）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、所定時間が経過しない場合には（ステップＳ６０４-NO）、歩きたばこをする喫煙者をトラッキングし続けて、トラッキングの結果より得られるパン値、チルト値を更新して（ステップＳ６０５）、このサブシーケンスの開始時のステップＳ６０１に戻し、更新した値でＰＴＺカメラ２０を操作し、自動追尾を行う。
このように、監視領域の混雑度が所定値以下であれば、図４に示す監視動作を継続して行う。
次いで、ステップＳ６０１の操作によって喫煙者を捉えたＰＴＺカメラ２０からの画像とディスプレイ５１の画面に対し当該歩きたばこが存在する方向を示す矢印５１１（図４のディスプレイ画面５１、参照）等を表す警告画面を作成し（ステップＳ６０２）、作成した警告画面をディスプレイ５１に表示する（ステップＳ６０３）。
この後、この警告画面表示は、予め定めた所定時間行うので、表示を開始してからの所定時間が経過したか否かを確認し（ステップＳ６０４）、経過すれば（ステップＳ６０４-YES）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、所定時間が経過しない場合には（ステップＳ６０４-NO）、歩きたばこをする喫煙者をトラッキングし続けて、トラッキングの結果より得られるパン値、チルト値を更新して（ステップＳ６０５）、このサブシーケンスの開始時のステップＳ６０１に戻し、更新した値でＰＴＺカメラ２０を操作し、自動追尾を行う。
このように、監視領域の混雑度が所定値以下であれば、図４に示す監視動作を継続して行う。
また、混雑度が所定値を超える場合（ステップＳ１０８-NO）、歩きたばこ判定（２）を行うステップＳ１１５に進める。
ステップＳ１１５のサブシーケンスを示す図１２を参照して、歩きたばこ判定（２）に係る処理を説明する。ここで行う判定は、混雑時において歩きたばこが存在するか否かを判定する処理であり、移動体の存在が判定の実施条件となるが、歩きたばこの存在は、ステップＳ１０６でサーモグラフィの画像をもとに検出された高温度部分に着目し、高温度部分のトラッキングのみによって、即ち、検出した各高温度部分を数秒間といった予め定めた時間トラッキングしながら（図５にサーモグラフィの画像面３１’における高温度部分の動きを「３１ｈ’→３１ｈ」にて示す）その移動距離を求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこを判定する。なお、この移動距離を確認する意味は、喫煙場所での喫煙を区別することにある。
ステップＳ１１５のサブシーケンスを示す図１２を参照して、歩きたばこ判定（２）に係る処理を説明する。ここで行う判定は、混雑時において歩きたばこが存在するか否かを判定する処理であり、移動体の存在が判定の実施条件となるが、歩きたばこの存在は、ステップＳ１０６でサーモグラフィの画像をもとに検出された高温度部分に着目し、高温度部分のトラッキングのみによって、即ち、検出した各高温度部分を数秒間といった予め定めた時間トラッキングしながら（図５にサーモグラフィの画像面３１’における高温度部分の動きを「３１ｈ’→３１ｈ」にて示す）その移動距離を求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこを判定する。なお、この移動距離を確認する意味は、喫煙場所での喫煙を区別することにある。
図１２に示すサブシーケンスの手順では、高温度部分をトラッキングすることにより、移動距離を求め（ステップＳ５０１）、求めた移動距離が歩きたばこの存在を判断するために予め定めた所定距離以上であるか否かを判定する（ステップＳ５０２）。
ここで、高温度部分の移動距離が所定距離未満であれば（ステップＳ５０２-NO）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、求めた高温度部分の移動距離が所定距離以上であれば（ステップＳ５０２-YES）、歩きたばこの存在が確認できるが、そのとき、当該高温度部分のサーモグラフィの画像面上の位置をもとに、高温度部分が生じた位置が画像面の中心に対してどの方向にあるかを算出し、算出結果を警告画面表示に用いる例えば４方向のデータで表す（ステップＳ５０３）。このようにして警告画面表示に必要な方向を求めた後、このサブシーケンスを抜け、図８の制御フローに戻る。
ここで、高温度部分の移動距離が所定距離未満であれば（ステップＳ５０２-NO）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、求めた高温度部分の移動距離が所定距離以上であれば（ステップＳ５０２-YES）、歩きたばこの存在が確認できるが、そのとき、当該高温度部分のサーモグラフィの画像面上の位置をもとに、高温度部分が生じた位置が画像面の中心に対してどの方向にあるかを算出し、算出結果を警告画面表示に用いる例えば４方向のデータで表す（ステップＳ５０３）。このようにして警告画面表示に必要な方向を求めた後、このサブシーケンスを抜け、図８の制御フローに戻る。
図８の制御フローに戻ると、ステップＳ１１５の判定結果に従って処理を進行させるので、歩きたばこが存在したか否かを確認して、処理を分ける（ステップＳ１１６）。
歩きたばこが存在しなければ（ステップＳ１１６-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、歩きたばこが存在すれば（ステップＳ１１６-YES）、次の警告画面表示（２）を行うステップＳ１１７に進める。
ステップＳ１１７のサブシーケンスを示す図１４を参照して、警告画面表示（２）に係る処理を説明する。この処理は、ステップＳ１１５（図１２）で歩きたばこが存在すると判定したときに算出した歩きたばこが存在する方向を示すデータ等を用いてディスプレイ５１に警告画面（図５の警告画面表示２には、ディスプレイ５１の画像中に、マナー違反を警告する文言５１５及び歩きたばこが存在する方向を示す矢印５１２を表示する画面を示す）を表示する処理で、ここでは、この警告画面表示を所定の時間にわたって表示する。なお、先に述べたように、大まかに歩きたばこが存在する場所をＰＴＺカメラ２０で追尾して撮った画像を警告画面表示１と同様に画面に表示してもよい。
歩きたばこが存在しなければ（ステップＳ１１６-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、歩きたばこが存在すれば（ステップＳ１１６-YES）、次の警告画面表示（２）を行うステップＳ１１７に進める。
ステップＳ１１７のサブシーケンスを示す図１４を参照して、警告画面表示（２）に係る処理を説明する。この処理は、ステップＳ１１５（図１２）で歩きたばこが存在すると判定したときに算出した歩きたばこが存在する方向を示すデータ等を用いてディスプレイ５１に警告画面（図５の警告画面表示２には、ディスプレイ５１の画像中に、マナー違反を警告する文言５１５及び歩きたばこが存在する方向を示す矢印５１２を表示する画面を示す）を表示する処理で、ここでは、この警告画面表示を所定の時間にわたって表示する。なお、先に述べたように、大まかに歩きたばこが存在する場所をＰＴＺカメラ２０で追尾して撮った画像を警告画面表示１と同様に画面に表示してもよい。
図１４に示すサブシーケンスの手順によると、先ず、ステップＳ１１５で算出した歩きたばこが存在する方向を示すデータをもとにディスプレイ５１の画面に対し当該歩きたばこが存在する方向を示す矢印５１２（図５のディスプレイ画面５１、参照）等を表す警告画面を作成し（ステップＳ７０１）、作成した警告画面をディスプレイ５１に表示する（ステップＳ７０２）。
この後、この警告画面表示は、予め定めた所定時間行うので、表示を開始してからの所定時間が経過したか否かを確認し（ステップＳ７０３）、経過すれば（ステップＳ７０３-YES）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、所定時間が経過しない場合には（ステップＳ７０３-NO）、高温度部分（歩きたばこ）をトラッキングし続けて、トラッキングの結果より得られる方向を示すデータの変化に警告画面表示を追随させるように、このサブシーケンスの開始時のステップＳ７０１に戻し、処理を繰返す。
このように、監視領域の混雑度が所定値を超える場合にも、図５に示す監視動作を継続して行うことができる。
この後、この警告画面表示は、予め定めた所定時間行うので、表示を開始してからの所定時間が経過したか否かを確認し（ステップＳ７０３）、経過すれば（ステップＳ７０３-YES）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、所定時間が経過しない場合には（ステップＳ７０３-NO）、高温度部分（歩きたばこ）をトラッキングし続けて、トラッキングの結果より得られる方向を示すデータの変化に警告画面表示を追随させるように、このサブシーケンスの開始時のステップＳ７０１に戻し、処理を繰返す。
このように、監視領域の混雑度が所定値を超える場合にも、図５に示す監視動作を継続して行うことができる。
１０・・サーバ端末、２０・・ＰＴＺカメラ、３０・・赤外線カメラ、５０・・広告塔、５１・・ディスプレイ。
Claims (2)
- 所定の監視領域の動画を撮る赤外線カメラと、
前記監視領域の動画を撮るＰＴＺカメラと、
ＰＴＺカメラによって撮られた画像が表示可能なディスプレイと、
赤外線カメラが撮った画像における高温度部分を撮像面上に定めた座標で検出するとともに、高温度部分のトラッキングを行う第１画像処理手段と、
ＰＴＺカメラが撮った画像における移動体を撮像面上に定めた座標で検出するとともに、移動体のトラッキングを行う第２画像処理手段と、
第１画像処理手段によって高温度部分が検出され、かつ第２画像処理手段によって移動体を検出したことを歩きたばこ判定の実施条件として判断する実施判断手段と、
実施判断手段によって実施が判断されたとき、第２画像処理手段の移動体のトラッキングによって得られる所定時間における移動量が予め定めた値を超えた移動体を特定し、特定した移動体と第１画像処理手段によって得られる高温度部分との距離が予め定めた値以下であることを条件に、歩きたばこが存在することを、特定の移動体と関係付けて判定する第１歩きたばこ判定手段と、
第１歩きたばこ判定手段によって歩きたばこの存在が特定の移動体と関係付けて判定されたとき、該当する特定の移動体を撮像面の中心で捉えるようにＰＴＺカメラを制御する追尾制御手段と、
ディスプレイの画像面に追尾制御されるＰＴＺカメラによって撮られた画像を表示するとともに、歩きたばこに対する警告表示を行う表示手段と、
歩きたばこと関係付けられた特定の移動体が存在する方向を、前記追尾制御手段によって作動されるＰＴＺカメラのホームポジションに対する移動量をもとに検出する方向検出手段と、を有し、
前記表示手段は、ディスプレイの画像面に歩きたばこに対する警告表示とともに前記方向検出手段によって検出された特定の移動体が存在する方向を示す表示を行うことを特徴とする歩きたばこ監視装置。 - 請求項１に記載された歩きたばこ監視装置において、
前記赤外線カメラの監視領域と前記ディスプレイの視野角により定まる有効可視範囲を合わせるように前記赤外線カメラと前記ディスプレイを配置することを特徴とする歩きたばこ監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009085457A JP5245185B2 (ja) | 2009-03-31 | 2009-03-31 | 歩きたばこ監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009085457A JP5245185B2 (ja) | 2009-03-31 | 2009-03-31 | 歩きたばこ監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010237971A JP2010237971A (ja) | 2010-10-21 |
| JP5245185B2 true JP5245185B2 (ja) | 2013-07-24 |
Family
ID=43092225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009085457A Active JP5245185B2 (ja) | 2009-03-31 | 2009-03-31 | 歩きたばこ監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5245185B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084999A (zh) * | 2019-04-29 | 2019-08-02 | 苏州工艺美术职业技术学院 | 一种智能禁烟器 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9224278B2 (en) * | 2011-04-18 | 2015-12-29 | Xerox Corporation | Automated method and system for detecting the presence of a lit cigarette |
| JP5697587B2 (ja) * | 2011-12-09 | 2015-04-08 | 三菱電機株式会社 | 車両火災検出装置 |
| JP6015756B2 (ja) * | 2012-07-02 | 2016-10-26 | 日本電気株式会社 | 位置管理装置、位置管理システム、位置管理方法、及び、位置管理プログラム |
| JP6015420B2 (ja) * | 2012-12-20 | 2016-10-26 | 大日本印刷株式会社 | 路上喫煙監視システムおよびタバコ |
| JP2015008366A (ja) * | 2013-06-24 | 2015-01-15 | パーク二四株式会社 | 監視装置、監視サーバおよびコンピュータプログラム |
| JP2015228131A (ja) * | 2014-05-30 | 2015-12-17 | 東芝テック株式会社 | 情報処理装置および報知システム |
| JP6597611B2 (ja) | 2014-07-25 | 2019-10-30 | 日本電気株式会社 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
| CN104978829B (zh) * | 2015-06-24 | 2018-01-02 | 国家电网公司 | 一种室内吸烟监控控制方法及系统 |
| CN105120215A (zh) * | 2015-08-19 | 2015-12-02 | 苏州市新瑞奇节电科技有限公司 | 基于图像分析的车间防抽烟监控方法 |
| CN105120214A (zh) * | 2015-08-19 | 2015-12-02 | 苏州市新瑞奇节电科技有限公司 | 基于图像分析的车间防抽烟监控系统 |
| JP6956574B2 (ja) * | 2017-09-08 | 2021-11-02 | キヤノン株式会社 | 画像処理装置、プログラムおよび方法 |
| CN111163650A (zh) * | 2017-09-15 | 2020-05-15 | 深圳传音通讯有限公司 | 一种基于智能终端的提醒方法和提醒系统 |
| CN109584759A (zh) * | 2019-01-31 | 2019-04-05 | 黄山商维网络科技有限公司 | 一种广告显示装置及其吸烟检测方法 |
| JP7042508B2 (ja) * | 2019-12-19 | 2022-03-28 | ニューラルポケット株式会社 | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 |
| JP7007026B1 (ja) | 2020-11-05 | 2022-01-24 | Ｎｅｃプラットフォームズ株式会社 | 喫煙監視システム、喫煙監視方法、及びプログラム |
| CN113052026B (zh) * | 2021-03-12 | 2023-07-18 | 北京经纬恒润科技股份有限公司 | 座舱内抽烟行为定位方法及装置 |
| CN115440015B (zh) * | 2022-08-25 | 2023-08-11 | 深圳泰豪信息技术有限公司 | 一种可智能安全管控的视频分析方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3689946B2 (ja) * | 1995-10-05 | 2005-08-31 | ソニー株式会社 | データ処理装置及び方法 |
| JPH09252467A (ja) * | 1996-03-18 | 1997-09-22 | Toshiba Corp | 移動体検出装置 |
| JP3377180B2 (ja) * | 1998-11-30 | 2003-02-17 | 松下電器産業株式会社 | 画像認識装置 |
| JP4941132B2 (ja) * | 2007-07-03 | 2012-05-30 | オムロン株式会社 | 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム |
| JP4983461B2 (ja) * | 2007-07-24 | 2012-07-25 | 株式会社明電舎 | 歩きタバコ監視装置 |
-
2009
- 2009-03-31 JP JP2009085457A patent/JP5245185B2/ja active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084999A (zh) * | 2019-04-29 | 2019-08-02 | 苏州工艺美术职业技术学院 | 一种智能禁烟器 |
| CN110084999B (zh) * | 2019-04-29 | 2020-09-11 | 苏州工艺美术职业技术学院 | 一种智能禁烟器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010237971A (ja) | 2010-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5245185B2 (ja) | 歩きたばこ監視装置 | |
| JP7173196B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR101073076B1 (ko) | 복합카메라를 이용한 화재감시 시스템 및 방법 | |
| JP6171374B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び情報処理システム | |
| US20090128632A1 (en) | Camera and image processor | |
| JP6766812B2 (ja) | 事象関連データ監視システム | |
| JP5954106B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び情報処理システム | |
| KR101251942B1 (ko) | 산불감지시스템 및 그 제어방법 | |
| JP2011233133A (ja) | 万引き防止システム | |
| JP2006304250A (ja) | 画像処理装置 | |
| JP2006229465A (ja) | 監視装置、監視方法、監視用プログラム | |
| JP2009015519A (ja) | 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム | |
| WO2014175356A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JP2009159448A (ja) | 物体検出装置及び物体検出方法 | |
| KR101885522B1 (ko) | 흡연 감시 장치 | |
| JP6915575B2 (ja) | 制御装置及び監視システム | |
| JP5691764B2 (ja) | 置き去り又は持ち去り検知システム | |
| EP2107536B1 (en) | Video monitoring device | |
| JP2007274656A (ja) | 映像監視装置及び方法 | |
| JP6766009B2 (ja) | 監視装置、監視方法、コンピュータプログラム、及び記憶媒体 | |
| TWI478117B (zh) | 影像監控系統及方法 | |
| JP2005277726A (ja) | 画像監視装置 | |
| JP2011087214A (ja) | 撮影システム、方法及びプログラム | |
| JP2008226103A (ja) | 来訪者監視システム、来訪者監視方法、管理サーバ、及び管理サーバ用プログラム | |
| KR20230089493A (ko) | 다중카메라 화재감지기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120412 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130324 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5245185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |