JP7215382B2 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP7215382B2
JP7215382B2 JP2019171421A JP2019171421A JP7215382B2 JP 7215382 B2 JP7215382 B2 JP 7215382B2 JP 2019171421 A JP2019171421 A JP 2019171421A JP 2019171421 A JP2019171421 A JP 2019171421A JP 7215382 B2 JP7215382 B2 JP 7215382B2
Authority
JP
Japan
Prior art keywords
imaging
control value
unit
imaging orientation
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019171421A
Other languages
English (en)
Other versions
JP2021048551A (ja
Inventor
邦雄 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2019171421A priority Critical patent/JP7215382B2/ja
Publication of JP2021048551A publication Critical patent/JP2021048551A/ja
Application granted granted Critical
Publication of JP7215382B2 publication Critical patent/JP7215382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本開示は、監視システムに関する。
監視領域において人等の移動体をセンサ装置により検出し、かかる移動体を追尾するように撮像装置が撮像を行う監視システムが提案されている。特許文献１の監視システムでは、センサ装置は、監視領域を走査して移動体を検出した場合にかかる移動体の位置を撮像装置に通知し、撮像装置は、通知された位置を利用して移動体を追尾して撮像を行なう。また、かかる監視システムでは、センサ装置により複数の移動体が検出された場合に、モニタ装置に備えられたタッチパネル、マウス、キーボード等の入力手段により警備員が追尾対象の移動体を選択すると、選択された移動体を追尾するように撮像装置が撮像向きを制御して撮像を行う。
特開２０１４－１７５８４３号公報
監視システムでは、特許文献１のようにセンサ装置により検出された移動体を追尾するように撮像装置の撮像向きが自動的に制御される処理と、操作卓を含む操作装置において警備員等のユーザが撮像装置の撮像向きを制御する操作を行い、かかる操作に応じて撮像向きが制御される処理とが並行して実行される場合がある。例えば、センサ装置が検出した移動体とは別の監視対象物、例えば、監視領域に存在する窓やドアや机等の静止物や、他の移動体を、ユーザが確認するために撮像向きを手動で制御する場合において、上述した２つの処理が並行して実行され得る。このような状況においては、ユーザの操作により撮像向きがユーザの望む方向に制御された後に、移動体を追尾するように撮像向きが自動的に制御されてしまい、ユーザが望む撮像画像が得られなくなるという問題や、撮像向きが自動的に制御された後に再び撮像向きを手動で制御しなければならず、ユーザに過度な操作負担を強いるという問題が起こり得る。このようなことから、撮像装置の撮像向きを、センサ装置により検出された移動体を撮像可能な向きに自動的に制御しつつ、過度な操作負担を強いることなくユーザが注目する方向に撮像向きを手動で制御可能な技術が望まれる。
本開示は、以下の形態として実現することが可能である。
（１）本開示の一形態によれば、監視システムが提供される。この監視システムは、電磁波を出力し、前記電磁波の反射波を入力し、入力した前記反射波を利用して予め設定されている監視領域において移動体を検出するセンサ装置と、撮像向きに関する制御値を受信し、受信した前記制御値に応じて自身の前記撮像向きを制御する撮像装置と、ユーザによる前記制御値の入力を許容し、入力された前記制御値を前記撮像装置に直接的または間接的に送信することにより、前記撮像装置の前記ユーザによる操作を可能にする操作装置と、を備える。前記センサ装置は、前記監視領域において前記移動体を検出する検出部と、検知された前記移動体である検出移動体の位置を特定する位置特定部と、前記制御値として前記撮像装置が前記検出移動体を撮像可能な値を、特定された前記位置を利用して決定する処理と、決定した前記制御値を前記撮像装置に送信することにより、前記検出移動体を撮像可能な向きに前記撮像向きを制御させる処理と、を含む撮像向き指示処理を、前記検出移動体が検出され続ける期間において実行し続ける撮像向き指示部と、前記撮像装置に設定される前記制御値を取得する制御値取得部と、前記制御値取得部により取得された前記制御値と、前回の前記撮像向き指示処理において送信された前記制御値と、が一致する一致状態であるか否かを判定する一致状態判定部と、を有する。前記撮像向き指示部は、前記一致状態でないと判定された場合には、前記撮像向き指示処理を終了する。
この形態の監視システムによれば、一致状態でないと判定された場合には、検出移動体が検出され続ける期間において実行され続ける撮像向き指示処理を終了するので、ユーザが操作装置における操作により撮像向きを手動で操作した場合に、検出移動体を撮像可能に撮像向きが自動的に制御されることを抑制できる。他方、一致状態であると判定された場合には、検出移動体が検出され続ける期間において撮像向き指示処理が実行され続けるので、撮像向きを、検出移動体を撮像可能な向きに自動的に制御できる。これらのことから、上記形態の監視システムによれば、撮像装置の撮像向きを、センサ装置により検出された移動体を撮像可能な向きに自動的に制御しつつ、過度な操作負担を強いることなくユーザが注目する方向に撮像向きを手動で制御させることができる。
（２）上記形態の監視システムにおいて、前記撮像向き指示部は、前記撮像向き指示処理の終了から第１期間が経過した場合に前記撮像向き指示処理を再開してもよい。
この形態の監視システムによれば、撮像向き指示処理の終了から第１期間が経過した場合に撮像向き指示処理が再開されるので、ユーザによる操作がしばらく行われていないにも関わらず、撮像向き指示処理が終了したままとなることを抑制できる。これにより、センサ装置により検出された移動体が撮像装置により撮像されない期間が過度に長くなることを抑制できる。
（３）上記形態の監視システムにおいて、前記撮像向き指示部は、前記撮像向き指示処理の終了後、前記制御値取得部により取得される前記制御値により特定される前記撮像向きに、前記位置特定部により特定された前記位置が存在する場合には、前記第１期間を延長してもよい。
この形態の監視システムによれば、制御値取得部により取得される制御値により特定される撮像向きに、位置特定部により特定された検出移動体の位置が存在する場合には、第１期間が延長されるので、ユーザが注目していると推定される移動体の撮像が、撮像向き指示処理の再開に伴って突然終了してしまうことを抑制でき、ユーザの利便性を向上できる。
（４）上記形態の監視システムにおいて、前記制御値取得部は、前記撮像装置に設定される前記制御値を繰り返し取得し、前記一致状態判定部は、前記制御値取得部により前記制御値が取得される度に、前記一致状態であるか否かを判定し、前記撮像向き指示部は、前記撮像向き指示処理が終了された状況において、前記一致状態であると判定された場合には、前記撮像向き指示処理を再開し、前記一致状態でないと判定されてから予め定められた第２期間が経過した場合に前記撮像向き指示処理を再開してもよい。
この形態の監視システムによれば、撮像装置に設定される制御値が繰り返し取得され、その度に一致状態であるか否かが判定され、一致状態であると判定された場合には、撮像向き指示処理が再開されるので、撮像向き指示処理が終了した後、かかる処理が再開可能な状況になってから実際に再開されるまでの期間を短くできる。これにより、撮像装置の撮像向きを、検出移動体を撮像可能な向きに制御されない期間を短くできる。加えて、一致状態でないと判定されてから予め定められた第２期間が経過した場合に撮像向き指示処理を再開するので、ユーザによる操作がしばらく行われていないにも関わらず、撮像向き指示処理が終了したままとなることを抑制できる。これにより、センサ装置により検出された移動体が撮像装置により撮像されない期間が過度に長くなることを抑制できる。
（５）上記形態の監視システムにおいて、前記撮像向き指示部は、前記撮像向き指示処理の終了後、前記制御値取得部により取得される前記制御値により特定される前記撮像向きに、前記位置特定部により特定された前記位置が存在する場合には、前記第２期間を延長してもよい。
この形態の監視システムによれば、制御値取得部により取得される制御値により特定される撮像向きに、位置特定部により特定された検出移動体の位置が存在する場合には、第２期間が延長されるので、ユーザが注目していると推定される移動体の撮像が、撮像向き指示処理の再開に伴って突然終了してしまうことを抑制でき、ユーザの利便性を向上できる。
（６）上記形態の監視システムにおいて、前記操作装置は、入力された前記制御値を、前記センサ装置を介して間接的に前記撮像装置に送信し、前記センサ装置は、前記操作装置から送信される前記制御値を受信して前記撮像装置に中継する制御値中継部を、さらに有し、前記制御値取得部は、前記操作装置から前記制御値を受信することにより、前記撮像装置に設定される前記制御値を取得し、前記一致状態判定部は、前記操作装置から前記制御値が受信されない場合に前記一致状態であると判定し、前記操作装置から前記制御値が受信される場合に前記一致状態でないと判定してもよい。
この形態の監視システムによれば、操作装置から制御値が受信されない場合に一致状態であると判定し、操作装置から前記制御値が受信される場合に前記一致状態でないと判定するので、センサ装置と撮像装置との間において、撮像装置の撮像向きの制御のための通信とは別に、撮像装置に設定されている制御値の取得のための通信が行われることを抑制できる。このため、かかる通信に伴うセンサ装置および撮像装置における処理負荷を低減できる。
（７）上記形態の監視システムにおいて、前記撮像向き指示部は、前記制御値取得部が前記制御値を受信してから予め定められた第３期間が経過した場合に前記撮像向き指示処理を再開してもよい。
この形態の監視システムによれば、制御値取得部が制御値を受信してから予め定められた第３期間が経過した場合に撮像向き指示処理が再開されるので、ユーザによる操作がしばらく行われていないにも関わらず、撮像向き指示処理が終了したままとなることを抑制できる。これにより、センサ装置により検出された移動体が撮像装置により撮像されない期間が過度に長くなることを抑制できる。
本開示は、種々の形態で実現することも可能である。例えば、センサ装置、監視システムの制御方法、監視システムまたはセンサ装置を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体等の形態で実現することができる。
本開示の一実施形態としての監視システムの概略構成を示す説明図である。 監視システムの詳細構成を示すブロック図である。 センサ装置において実行される撮像向き制御処理の手順を示すフローチャートである。 撮像装置において実行される撮像向き制御処理の手順を示すフローチャートである。 操作装置において実行される撮像向き制御処理の手順を示すフローチャートである。 撮像向き制御処理の実行中におけるセンサ装置、撮像装置および操作装置による情報のやりとりを示すシーケンス図である。 センサ装置において実行される第２実施形態の制御値取得処理の手順を示すフローチャートである。 センサ装置において実行される第２実施形態の撮像向き制御処理の手順を示すフローチャートである。 第２実施形態の撮像向き制御処理の実行中におけるセンサ装置、撮像装置および操作装置による情報のやりとりを示すシーケンス図である。 センサ装置において実行される第３実施形態の撮像向き制御処理の手順を示すフローチャートである。 センサ装置において実行される第４実施形態の撮像向き制御処理の手順を示すフローチャートである。 図１に示す監視領域を＋Ｙ方向および＋Ｖ方向に見た説明図である。 図１に示す監視領域を－Ｚ方向および－Ｗ方向に見た説明図である。 センサ装置において実行される第５実施形態の撮像向き制御処理の手順を示すフローチャートである。 第６実施形態の監視システムの詳細構成を示すブロック図である。 第６実施形態のセンサ装置において実行される撮像向き制御第１処理の手順を示すフローチャートである。 第６実施形態のセンサ装置において実行される撮像向き制御第２処理の手順を示すフローチャートである。 第６実施形態の撮像向き制御第１処理、撮像向き制御第２処理、および撮像向き制御処理の実行中におけるセンサ装置、撮像装置および操作装置による情報のやりとりを示すシーケンス図である。
Ａ．第１実施形態：
Ａ－１．システム構成：
図１は、本開示の一実施形態としての監視システム１０の概略構成を示す説明図である。図２は、監視システム１０の詳細構成を示すブロック図である。監視システム１０は、予め設定されている監視領域Ａｒ１の監視を行うためのシステムである。本実施形態において、「監視」とは、人等の移動体を検出し、検出した移動体を撮像することを意味する。
図１に示すように、監視システム１０は、撮像装置２００と、センサ装置１００と、操作装置３００とを備える。図２に示すように、センサ装置１００と、撮像装置２００と、操作装置３００とはいずれも通信ネットワーク５００に接続されており、互いに通信可能に構成されている。本実施形態において、通信ネットワーク５００は、ＩＥＥＥ８０２．１１において規定されている有線ＬＡＮ（Local Area Network）により構成されている。なお、有線ＬＡＮに代えて、ＩＥＥＥ８０２．１１において規定されている無線ＬＡＮや、９２０ＭＨｚや４２６ＭＨｚの無線周波数帯を利用した省電力無線通信等、任意の種類の通信方式により通信ネットワーク５００を構成してもよい。なお、図１では、センサ装置１００を原点とするＸ軸およびＹ軸と、センサ装置１００を通るＺ軸とからなる座標系（ＸＹＺ座標系）と、撮像装置２００を原点とするＵ軸およびＶ軸と、撮像装置２００を通るＷ軸とからなる座標系（ＵＶＷ座標系）を、各装置１００、２００、３００と共に表している。また、図１および図２には、監視領域Ａｒ１内の人物ｍ１が表されている。
図１および図２に示す撮像装置２００は、監視領域Ａｒ１内を撮像する。本実施形態では、撮像装置２００は動画像を撮像する。なお、動画像に代えて静止画像を撮像してもよい。図１および図２では、撮像装置２００の撮像範囲Ｃ１を、破線で表している。撮像装置２００は、撮像向きを変更可能に構成されており、センサ装置１００からの指示或いは操作装置３００からの指示に応じて、自身の撮像向きを制御する。本実施形態において「撮像向き」とは、撮像装置２００が撮像を行なう際の撮像装置２００の向きを意味し、具体的には、撮像装置２００から撮像範囲の中心に向かう方向を意味する。図１に示すように、本実施形態において、撮像装置２００は、天井に配置されており、監視領域Ａｒ１を上方から撮像可能に構成されている。また、撮像装置２００は、パン動作とチルト動作とをそれぞれ実行可能に構成されている。撮像範囲Ｃ１は監視領域Ａｒ１よりも小さい。しかし、撮像装置２００がパン動作とチルト動作とを行うことにより、撮像装置２００は、監視領域Ａｒ１内のすべての領域を撮像することができる。
図２に示すように、撮像装置２００は、撮像カメラ２１０と、可動式架台２１５と、向き調整アクチュエータ２２０と、制御部２３０と、通信部２４０とを備える。
撮像カメラ２１０は、レンズ等の光学系と撮像素子とを備え、可視光により撮像を行う。撮像素子としては、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが用いられる。撮像カメラ２１０は、可動式架台２１５に設置されており、可動式架台２１５のパン方向に沿った変位に伴ってパン動作を行い、可動式架台２１５のチルト方向に沿った変位に伴ってチルト動作を行う。可動式架台２１５は、撮像カメラ２１０を保持する。可動式架台２１５は、調整アクチュエータ２２０により変位可能に構成されている。調整アクチュエータ２２０は、図示しないモータを有し、制御部２３０による制御の下、可動式架台２１５をパン方向とチルト方向とにそれぞれ変位させる。
制御部２３０は、調整アクチュエータ２２０と電気的に接続されている。制御部２３０は、調整アクチュエータ２２０が有するモータを制御することにより、調整アクチュエータ２２０の動作を制御する。また、制御部２３０は、撮像装置２００の撮像向きに関する制御値を設定して記憶する。本実施形態において、「撮像向きに関する制御値」は、パン方向に沿った所定の基準方向と撮像向きとがなす角度（以下、「パン角度」とも呼ぶ）と、チルト方向に沿った所定の基準方向と撮像向きとがなす角度（以下、「チルト角度」とも呼ぶ）とが該当する。所定の基準方向とは、初期状態における撮像装置２００の正面方向を意味する。以降では、「撮像向きに関する制御値」を単に「制御値」とも呼ぶ。制御部２３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、マイクロコンピュータにより構成される。通信部２４０は、通信ネットワーク５００を介した通信を実行する。通信部２４０は、制御部２３０と電気的に接続されている。
図１および図２に示すセンサ装置１００は、レーザ光を出力しながら監視領域Ａｒ１を走査し、かかるレーザ光の反射光を入力し、入力した反射光を利用して移動体を検出する。図１の例では、監視領域Ａｒ１内の人物ｍ１が移動体として検出されることとなる。センサ装置１００は、自身が移動体を検出可能な距離および角度の範囲内に監視領域Ａｒ１が含まれるような位置に配置されている。本実施形態では、センサ装置１００は、監視領域Ａｒ１に出入りするための扉の近傍であって、天井と床とのうち床に近い位置に配置されている。なお、かかる位置に限らず、監視領域Ａｒ１を走査可能な任意の位置にセンサ装置１００を配置してもよい。
図２に示すように、センサ装置１００は、検出部１１０と、位置特定部１２０と、撮像向き指示部１３０と、制御値取得部１４０と、一致状態判定部１５０と、記憶部１６０と、通信部１７０とを備える。本実施形態において、位置特定部１２０と、撮像向き指示部１３０と、制御値取得部１４０と、一致状態判定部１５０とは、ＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを有するコンピュータにより構成されている。センサ装置１００が備えるＣＰＵは、ＲＯＭに予め記憶されている制御プログラムを実行することにより、位置特定部１２０、撮像向き指示部１３０、制御値取得部１４０、および一致状態判定部１５０として機能する。
検出部１１０は、所定の波長を有する電磁波を出力し、かかる電磁波の反射波を入力し、入力した反射波を利用して監視領域Ａｒ１において移動体を検出する。本実施形態において、検出部１１０が出力する電磁波は、近赤外線レーザ光である。検出部１１０は、近赤外線レーザ光を照射する機能部と、監視領域Ａｒ１内において近赤外線レーザ光を走査させると共に、監視領域Ａｒ１内の物体で反射した近赤外レーザ光を受光素子に受光させるための回動可能なミラーと、かかるミラーを回転駆動させるためのモータと、モータを制御する制御部と、ミラーを介して受光する反射レーザ光を受信して信号を出力する受光素子と、を有する。
位置特定部１２０は、移動体を検出すると共に、検出した移動体の位置を特定する。具体的には、位置特定部１２０は、検出部１１０においてレーザ光を照射してから反射波を受光するまでの時間であるＴＯＦ（Time Of Flight）と、ミラーの回転角度から、物体の方向および距離を特定する。また、検出された物体の方向および距離が、複数回の走査でどのように変化するかによって、検出された物体が移動体であるか否かを識別する。本実施形態において、センサ装置１００により検出された移動体を「検出移動体」と呼ぶ。
撮像向き指示部１３０は、撮像向き指示処理を実行する。「撮像向き指示処理」とは、制御値として検出移動体を撮像可能な向きを示す値を決定する処理と、決定した制御値を撮像装置２００に送信することにより、検出移動体を撮像可能な向きに撮像装置２００の撮像向きを制御させる処理とを含む処理を意味する。撮像向き指示部１３０は、原則として、撮像向き指示処理を、移動体が検出された状況において繰り返し実行する。但し、後述するように、操作装置３００において撮像装置２００の撮像向きを制御するための操作が行われた場合には、撮像向き指示処理は停止される。
制御値取得部１４０は、撮像装置２００に設定される制御値を取得する。一致状態判定部１５０は、制御値取得部１４０により取得された制御値と、前回の撮像向き指示処理において撮像装置２００に送信された制御値が一致する状態（以下、「一致状態」と呼ぶ）であるか否かを判定する。
記憶部１６０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリを備え、撮像向き指示処理において撮像装置２００に送信された制御値を記憶する。本実施形態では、撮像向き指示処理が繰り返し実行されるたびに、制御値が記憶部１６０に上書きして記憶される。このため、記憶部１６０は、前回の撮像向き指示処理において撮像装置２００に送信された制御値のみを記憶することとなる。なお、記憶部１６０への上書き記憶に代えて、制御値を記憶部１６０に時系列に記憶するようにしてもよい。通信部１７０は、通信ネットワーク５００を介した通信を実行する。
図１および図２に示す操作装置３００は、ユーザによる制御値の入力を許容し、入力された制御値を、通信ネットワーク５００を介して直接的に撮像装置２００に送信することにより、ユーザによる撮像装置２００の撮像向きの操作を可能にする。すなわち、ユーザは、操作装置３００を操作することにより、所望する移動量だけ撮像装置２００にパン動作およびチルト動作を実行させて、撮像向きを調整することができる。本実施形態において、操作装置３００は、監視領域Ａｒ１とは別の部屋、例えば、警備室に設置されている。
図２に示すように、操作装置３００は、表示部３１０と、操作部３２０と、制御部３３０と、通信部３４０とを備える。表示部３１０は、撮像装置２００により撮像される動画像を表示する。表示部３１０は例えば、液晶ディスプレイにより構成されてもよい。操作部３２０は、撮像装置２００にパン動作やチルト動作を行わせるためのユーザによる操作入力を受け付ける。操作部３２０は、マウスやキーボードなどの入力デバイスにより構成されている。なお、表示部３１０をタッチパネルにより構成して操作部３２０を省略してもよい。制御部３３０は、操作装置３００を全体制御する。通信部３４０は、通信ネットワーク５００を介した通信を実行する。
上述の構成を有する監視システム１０では、後述する撮像向き制御処理が実行されることにより、撮像装置２００の撮像向きが、センサ装置１００により検出された移動体を撮像可能な向きに自動的に制御され、また、操作装置３００におけるユーザの操作に応じて制御される。このとき、撮像装置２００の撮像向きの自動制御に伴って撮像向きがユーザの所望する向きからずれてしまい、所望する撮像向きを維持するようにユーザが繰り返し操作することが起こらないように構成されている。以下、詳細に説明する。
Ａ－２．撮像向き制御処理：
図３は、センサ装置１００において実行される撮像向き制御処理の手順を示すフローチャートである。図４は、撮像装置２００において実行される撮像向き制御処理の手順を示すフローチャートである。図５は、操作装置３００において実行される撮像向き制御処理の手順を示すフローチャートである。撮像向き制御処理とは、撮像装置２００の撮像向きを制御するための処理である。各装置１００、２００、３００では、電源がオンすると、撮像向き制御処理が実行される。
図３に示すように、センサ装置１００において検出部１１０は、監視領域Ａｒ１において移動体を検出する移動体検出処理を実行する（ステップＳ１０５）。ステップＳ１０５では、移動体が検出された場合には、検出された移動体の位置が記憶部１６０に記憶される処理も実行される。このとき移動体の位置として、センサ装置１００から移動体までの距離と、センサ装置１００のパン方向の基準方向（正面方向）を基準とした検出移動体の存在する方向の角度とが記憶される。
センサ装置１００において制御値取得部１４０は、ステップＳ１０５の結果、移動体が検出されたか否かを判定する（ステップＳ１１０）。移動体が検出されないと判定された場合（ステップＳ１１０：ＮＯ）、処理は上述のステップＳ１０５に戻る。これに対して、移動体が検出されたと判定された場合（ステップＳ１１０：ＹＥＳ）、制御値取得部１４０は、撮像装置２００に対し、撮像装置２００に設定されている制御値を送信するように要求する。なお、かかる要求を、「制御値要求」とも呼ぶ。
ステップＳ１１５の完了後、制御値取得部１４０により撮像装置２００から制御値が取得（受信）された場合、一致状態判定部１５０は、撮像装置２００から取得（受信）された制御値と、後述するステップＳ１３０が前回実行された際にセンサ装置１００から撮像装置２００に送信された制御値とが一致する状態、すなわち一致状態であるか否かを判定する（ステップＳ１２０）。一致状態であると判定された場合（ステップＳ１２０：ＹＥＳ）、撮像向き指示部１３０は、撮像向き指示処理を実行する（ステップＳ１３０）。この撮像向き指示処理は、制御値として、ステップＳ１０５により検出された検出移動体を撮像可能な値を、検出部１１０により特定された検出移動体の位置を利用して決定する処理と、決定された制御値を撮像装置２００に送信する処理とを含む。かかる撮像向き指示処理が実行され、また、後述する撮像装置２００における撮像向き制御処理が実行されることより、撮像装置２００の撮像向きは、検出移動体を撮像可能な向きに制御される。
一致状態でないと判定された場合（ステップＳ１２０：ＮＯ）、センサ装置１００の各機能部は、所定期間Ｔ１待機し（ステップＳ１２５）、その後、処理はステップＳ１０５に戻る。本実施形態において、ステップＳ１２５の所定期間Ｔ１は、３分間である。なお、３分間に限らず任意の長さの期間であってもよい。所定期間Ｔ１は、本開示における第１期間に相当する。ここで、一致状態ではない場合とは、すなわち、撮像装置２００に設定されている制御値と、ステップＳ１３０が前回実行された際にセンサ装置１００から撮像装置２００に送信された制御値とが一致しない場合を意味する。このような場合とは、ステップＳ１３０において検出移動体を撮像可能な向きとなるような制御値をセンサ装置１００から撮像装置２００に送信した後に、操作装置３００において操作が実行され、かかる操作に応じて撮像装置２００の撮像向きが変更された場合に起こり得る。このような場合には、少なくとも所定時間である３分間は撮像向き指示処理（ステップＳ１３０）が実行されない。したがって、この期間において撮像向きがユーザの所望する向きからずれてしまうことを抑制できる。
上述のように、ステップＳ１２５が実行されて所定期間Ｔ１待機した後には、処理がステップＳ１０５に戻るため、その後、移動体が検出され（ステップＳ１１０：ＹＥＳ）、一致状態であると判定された場合には（ステップＳ１２０：ＹＥＳ）、ステップＳ１３０が実行されて、センサ装置１００から撮像装置２００に検出移動体を撮像可能な制御値が送信される。このような構成にすることにより、ユーザによる操作がしばらく行われていないにも関わらず、撮像向きが検出移動体を撮像可能な向きになっておらず、検出移動体が撮像されない期間が過度に長くなることを抑制している。
図４に示すように、撮像装置２００において制御部２３０は、センサ装置１００から制御値要求を受信したか否かを判定する（ステップＳ２０５）。制御値要求を受信したと判定された場合（ステップＳ２０５：ＹＥＳ）、制御部２３０は、その時点において設定されている制御値を特定し（ステップＳ２１０）、特定した制御値をセンサ装置１００に送信する（ステップＳ２１５）。
上述のステップＳ２０５において制御値要求を受信しないと判定された場合（ステップＳ２０５：ＮＯ）、または、上述のステップＳ２１５の完了後、制御部２３０は、制御値を受信したか否かを判定する（ステップＳ２２０）。制御値は、センサ装置１００または操作装置３００から撮像装置２００に送信され得るため、ステップＳ２２０では、制御部２３０は、センサ装置１００と操作装置３００とのうちのいずれかから制御値を受信したか否かを判定する。
制御値を受信しないと判定された場合（ステップＳ２２０：ＮＯ）、処理はステップＳ２０５に戻る。したがって、この場合、撮像カメラ２１０の撮像向きは、既に設定されている制御値に応じた撮像向きのまま変化することはない。
他方、制御値を受信したと判定された場合（ステップＳ２２０：ＹＥＳ）、制御部２３０は、受信した制御値を、既に設定されている制御値に上書きして設定すると共に、かかる制御値に応じて撮像カメラ２１０の撮像向きを制御する（ステップＳ２２５）。例えば、センサ装置１００において上述のステップＳ１３０が実行された場合、制御部２３０は、検出移動体を向くような制御値を受信するので、かかる制御値に応じて撮像カメラ２１０の撮像向きを制御する。これにより、検出移動体が撮像カメラ２１０により撮像されることとなる。また、後述する操作装置３００における撮像向き制御処理が実行されて操作装置３００からユーザが所望する撮像向きを示す制御値を受信した場合、制御部２３０は、かかる制御値に応じて撮像カメラ２１０の撮像向きを制御する。これにより、ユーザが所望する撮像向きで撮像が行われることとなる。
図５に示すように、操作装置３００において制御部３３０は、操作部３２０による操作が行われたか否かを判定する（ステップＳ３０５）。操作部３２０による操作が行われていないと判定された場合（ステップＳ３０５：ＮＯ）、再びステップＳ３０５が実行される。すなわち、制御部３３０は、操作部３２０による操作が行われるまで待機する。操作部３２０による操作が行われたと判定された場合（ステップＳ３０５：ＹＥＳ）、制御部３３０は、操作に応じた制御値を特定し（ステップＳ３１０）、特定した制御値を撮像装置２００に送信する（ステップＳ３１５）。
図６は、撮像向き制御処理の実行中におけるセンサ装置１００、撮像装置２００および操作装置３００による情報のやりとりを示すシーケンス図である。なお、図６では、図３ないし図５に示す一部のステップは、図示の便宜上省略されている。
センサ装置１００は、移動体検出処理（ステップＳ１０５）を実行し、撮像装置２００に対して制御値要求を送信し（ステップＳ１１０）、一致状態か否かの判定（ステップＳ１１５）を実行する。そして、センサ装置１００は、一致状態であると判定した場合には、撮像装置２００に対して検出移動体を撮像可能な制御値を送信する（ステップＳ１３０）。
しかし、その後、操作装置３００において、ユーザによる操作が実行され、制御値が撮像装置２００に送信されると（ステップＳ３１５）、撮像装置２００に設定されている制御値は、センサ装置１００から送信された制御値から、操作装置３００から送信された制御値に上書きされる。このため、その後のセンサ装置１００における一致状態であるか否かの判定（ステップＳ１１５）では、一致しないと判定されるため、センサ装置１００では、撮像向き指示処理（ステップＳ１３０）は停止され、撮像装置２００への制御値の送信は行われない。このため、撮像装置２００において設定されている制御値は、操作装置３００から送信された制御値のまま維持され、撮像向きが変化することはない。したがって、ユーザは、所望する撮像向きで撮像された画像を、表示部３１０において確認することができると共に、所望する撮像向きを維持するために操作装置３００において操作を繰り返し実行することを要しない。
センサ装置１００では、一致状態であるか否かの判定（ステップＳ１１５）において、一致しないと判定された後所定期間Ｔ１だけ待機した後に、移動体の検出処理（ステップＳ１０５）、一致状態であるか否かの判定（ステップＳ１１５）、撮像向き指示処理（ステップＳ１３０）が再開される。したがって、センサ装置１００により移動体が検出された場合には、検出移動体を撮像可能な向きに撮像向きが制御され、ユーザは、検出移動体を含む画像を表示部３１０において確認することができる。
以上説明した第１実施形態の監視システム１０によれば、一致状態でないと判定された場合には（ステップＳ１２０：ＮＯ）、繰り返し実行される撮像向き指示処理（ステップＳ１３０）を停止するので、ユーザが操作装置３００における操作により撮像向きを手動で操作した場合に、検出移動体を撮像可能に撮像向きが自動的に制御されることを抑制できる。他方、一致状態であると判定された場合（ステップＳ１２０：ＹＥＳ）には、撮像向き指示処理が繰り返し実行されるので、撮像向きを、検出移動体を撮像可能な向きに自動的に制御できる。これらのことから、第１形態の監視システム１０によれば、撮像装置２００の撮像向きを、センサ装置１００により検出された移動体を撮像可能な向きに自動的に制御しつつ、過度な操作負担を強いることなくユーザが注目する方向に撮像向きを手動で制御させることできる。
また、撮像向き指示処理（ステップＳ１３０）の停止から所定期間Ｔ１が経過した場合に撮像向き指示処理が再開されるので、ユーザによる操作がしばらく行われていないにも関わらず、撮像向き指示処理が停止したままとなることを抑制できる。これにより、センサ装置１００により検出された検出移動体が撮像装置２００により撮像されない期間が過度に長くなることを抑制できる。
Ｂ．第２実施形態：
第２実施形態の監視システム１０は、センサ装置１００における撮像向き制御処理の手順が異なる点と、センサ装置１００において制御値取得処理が実行される点とにおいて、第１実施形態の監視システム１０と異なる。第２実施形態の監視システム１０のシステム構成、および撮像装置２００と操作装置３００における撮像向き制御処理の手順は、第１実施形態と同じであるので、同一の構成要素および同一の手順には同一の符号を付し、その詳細な説明を省略する。
図７は、センサ装置１００において実行される第２実施形態の制御値取得処理の手順を示すフローチャートである。センサ装置１００では、電源がオンすると、後述する第２実施形態の撮像向き制御処理と共に、制御値取得処理が実行される。制御値取得処理とは、撮像装置２００に設定されている制御値を取得するための処理である。なお、制御値取得処理の開始と共に、図示しないタイマによる計時が開始される。
センサ装置１００において制御値取得部１４０は、所定期間Ｔ２が経過したか否かを判定する（ステップＳ４０５）。所定期間Ｔ２が経過していないと判定された場合（ステップＳ４０５：ＮＯ）、再びステップＳ４０５が実行される。すなわち、制御値取得部１４０は、所定期間Ｔ２が経過するまで待機する。本実施形態において、所定期間Ｔ２は、１分間に設定されている。なお、１分間に限らず、上述の所定期間Ｔ１よりも短い任意の期間を、所定期間Ｔ２として設定してもよい。所定期間Ｔ２は、本開示における第２期間に相当する。
所定期間Ｔ２が経過したと判定された場合（ステップＳ４０５：ＹＥＳ）、制御値取得部１４０は、撮像装置２００に制御値を要求する（ステップＳ４１０）。上述のように、撮像装置２００では、図４に示す撮像向き制御処理が実行されており、制御値要求を受信した場合には、設定されている制御値が特定され、特定された制御値がセンサ装置１００に送信される。ステップＳ４１０の完了後、制御値取得部１４０は、タイマをリセットする（ステップＳ４２０）。ステップＳ４２０の完了後、処理はステップＳ４０５に戻る。このようにして、センサ装置１００は、所定期間Ｔ２ごとに撮像装置２００に設定されている制御値を取得する。
図８は、センサ装置１００において実行される第２実施形態の撮像向き制御処理の手順を示すフローチャートである。第２実施形態の撮像向き制御処理は、ステップＳ１０２が追加して実行される点と、ステップＳ１１５およびＳ１２０が省略されている点と、他のステップＳ１０５、Ｓ１１０、Ｓ１２５、Ｓ１３０の実行順序が異なる点と、において、図３に示す第１実施形態の撮像向き制御処理と異なる。以下、詳しく説明する。
センサ装置１００において一致状態判定部１５０は、一致状態であるか否かを判定する（ステップＳ１０２）。上述のように、センサ装置１００では、制御値取得処理が実行されて、撮像装置２００から制御値が所定期間Ｔ２ごとに取得されている。そして、ステップＳ１０２では、最近取得された撮像装置２００に設定されている制御値と、ステップＳ１３０が前回実行された際にセンサ装置１００から撮像装置２００に送信された制御値とが一致するか否かが判定される。
一致状態でないと判定された場合（ステップＳ１０２：ＮＯ）、上述のステップＳ１２５が実行され、所定期間Ｔ１待機される。なお、第２実施形態における所定期間Ｔ１は、本開示における第２期間に相当する。
他方、一致状態であると判定された場合（ステップＳ１０２：ＹＥＳ）、上述のステップＳ１０５が実行されて移動体検出処理が実行され、その後、ステップＳ１１０が実行されて、移動体が検出されたか否かが判定される。移動体が検出されないと判定された場合（ステップＳ１１０：ＮＯ）、処理は上述のステップＳ１０２に戻る。他方、移動体が検出されたと判定された場合（ステップＳ１１０：ＹＥＳ）、上述の撮像向き指示処理（ステップＳ１３０）が実行される。ステップＳ１３０の完了後、または、上述のステップＳ１２５の完了後、処理はステップＳ１０２に戻る。
図９は、第２実施形態の撮像向き制御処理の実行中におけるセンサ装置１００、撮像装置２００および操作装置３００による情報のやりとりを示すシーケンス図である。なお、図９では、図４、図５、図７および図８に示す一部のステップは、図示の便宜上省略されている。
センサ装置１００では、ステップＳ１０２、Ｓ１０５、Ｓ１３０等とは独立して、制御値要求（ステップＳ４１０）が実行される。これに伴い、図９に示すように、撮像装置２００では、制御値要求を受信するたびに制御値が特定され（ステップＳ２１０）、センサ装置１００に送信される（ステップＳ２１５）。
図９に示すように、一致状態であるか否かの判定（ステップＳ１０２）の結果、一致状態でないと判定され、所定期間Ｔ１の待機中であっても、撮像装置２００からセンサ装置１００への制御値要求（ステップＳ４１０）は実行され、また、撮像装置２００からセンサ装置１００への制御値の送信（ステップＳ２１５）は所定期間Ｔ２ごとに行われる。このため、所定期間Ｔ１の経過後、短期間のうちに、撮像装置２００に設定されている制御値と、前回の撮像向き指示処理（ステップＳ１３０）において撮像装置２００に送信された制御値とが一致するか否かを判定できる。したがって、これらの値が一致している場合には、所定期間Ｔ１の経過後、短期間のうちに、撮像向き指示処理（ステップＳ１３０）を実行でき、検出移動体を追尾するように撮像装置２００の撮像向きを制御できる。
以上説明した第２実施形態の監視システム１０は、第１実施形態の監視システム１０と同様な効果を有する。加えて、センサ装置１００では、撮像装置２００に設定されている制御値が所定期間Ｔ２ごとに繰り返し取得され、その度に一致状態であるか否かが判定され、一致状態であると判定された場合には、所定期間Ｔ１の経過後に撮像向き指示処理（ステップＳ１３０）が再開されるので、撮像向き指示処理が停止した後、かかる処理が再開可能な状況になってから実際に再開されるまでの期間を短くできる。これにより、撮像装置２００の撮像向きを、検出移動体を撮像可能な向きに制御されない期間を短くできる。
Ｃ．第３実施形態：
第３実施形態の監視システム１０は、センサ装置１００における撮像向き制御処理の手順が異なる点において、第１実施形態の監視システム１０と異なる。第３実施形態の監視システム１０のシステム構成、および撮像装置２００と操作装置３００における撮像向き制御処理の手順は、第１実施形態と同じであるので、同一の構成要素および同一の手順には同一の符号を付し、その詳細な説明を省略する。
図１０は、センサ装置１００において実行される第３実施形態の撮像向き制御処理の手順を示すフローチャートである。センサ装置１００において実行される第３実施形態の撮像向き制御処理は、ステップＳ１３５、Ｓ１４０、Ｓ１４５、Ｓ１５０を追加して実行する点において、図３に示す第１実施形態の撮像向き制御処理と異なる。第３実施形態の撮像向き制御処理におけるその他の手順は、第１実施形態の撮像向き制御処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
所定期間Ｔ１待機した後（ステップＳ１２５の完了後）、センサ装置１００において検出部１１０は、監視領域Ａｒ１において移動体検出処理を実行する（ステップＳ１３５）。制御値取得部１４０は、移動体が検出されたか否かを判定する（ステップＳ１４０）。移動体が検出されたと判定された場合（ステップＳ１４０：ＹＥＳ）、制御値取得部１４０は、撮像装置２００に制御値要求を行なう（ステップＳ１４５）。上述のステップＳ１３５～Ｓ１４５は、上述のステップＳ１０５～Ｓ１１５と同様な処理である。なお、移動体が検出された場合には、位置特定部１２０によりかかる移動体の位置が特定されて記憶部１６０に記憶される。
ステップＳ１４５の完了後、撮像装置２００から制御値を受信すると、撮像向き指示部１３０は、受信した制御値により特定される撮像向きに、ステップＳ１３５で検出された検出移動体の位置があるか否かを判定する（ステップＳ１５０）。受信した制御値により特定される撮像向きに、ステップＳ１３５で検出された検出移動体の位置があると判定された場合（ステップＳ１５０：ＹＥＳ）、処理は上述のステップＳ１２５に戻る。したがって、この場合、所定期間Ｔ１の待機が再び実行される。すなわち、撮像向き指示処理（ステップＳ１３０）が停止される期間（所定期間Ｔ１）が延長されることとなる。他方、受信した制御値により特定される撮像向きに、ステップＳ１３５で検出された検出移動体の位置が無いと判定された場合（ステップＳ１５０：ＮＯ）、処理はステップＳ１０５に戻る。また、上述のステップＳ１４０において、移動体が検出されないと判定された場合（ステップＳ１４０：ＮＯ）も同様に、処理はステップＳ１０５に戻る。したがって、これらの場合には、監視領域Ａｒ１に移動体が検出されると、撮像向き指示処理が繰り返し実行されることとなる。
以上説明した第３実施形態の監視システム１０は、第１実施形態の監視システム１０と同様な効果を有する。加えて、制御値取得部１４０により取得される制御値により特定される撮像装置２００の撮像向きに、検出移動体の位置が存在する場合には、ステップＳ１３０が実行されない期間、換言すると、所定期間Ｔ１が延長されるので、ユーザが注目していると推定される移動体の撮像が、撮像向き指示処理（ステップＳ１３０）の再開に伴って突然終了してしまうことを抑制でき、ユーザの利便性を向上できる。
Ｄ．第４実施形態：
第４実施形態の監視システム１０は、センサ装置１００における撮像向き制御処理の手順が異なる点において、第３実施形態の監視システム１０と異なる。第４実施形態の監視システム１０のシステム構成、および撮像装置２００と操作装置３００における撮像向き制御処理の手順は、第３実施形態と同じであるので、同一の構成要素および同一の手順には同一の符号を付し、その詳細な説明を省略する。
図１１は、センサ装置１００において実行される第４実施形態の撮像向き制御処理の手順を示すフローチャートである。センサ装置１００において実行される第４実施形態の撮像向き制御処理は、ステップＳ１５０に代えてステップＳ１５０ａを実行する点において、図１０に示す第３実施形態の撮像向き制御処理と異なる。第４実施形態の撮像向き制御処理のその他の手順は、第３実施形態の撮像向き制御処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
図１１に示すように、上述のステップＳ１４５の完了後、撮像向き指示部１３０は、撮像装置２００に設定されている制御値に基づき特定される検出移動体の位置と、センサ装置１００の位置特定部１２０により特定される検出移動体の位置との誤差（以下、「特定位置誤差」と呼ぶ）が所定距離以下であるか否かを判定する（ステップＳ１５０ａ）。本実施形態においてステップＳ１５０ａの所定距離は、５０ｃｍ（センチメートル）である。なお、５０ｃｍに限らず任意の距離を所定距離として設定してもよい。センサ装置１００により特定される検出移動体の位置とは、移動体が検出された場合に位置特定部１２０により特定される位置である。「撮像装置２００に設定されている制御値に基づき特定される検出移動体の位置」および特定位置誤差の求め方について、図１、図１２および図１３を用いて説明する。
図１２は、図１に示す監視領域Ａｒ１を＋Ｙ方向および＋Ｖ方向に見た説明図である。図１３は、図１に示す監視領域Ａｒ１を－Ｚ方向および－Ｗ方向に見た説明図である。図１および図１３に示すように、検出移動体である人物ｍ１の水平方向の位置は、ＸＹＺ座標系においては、（Ｘ，Ｙ）＝（Ｘｐ，Ｙｐ）である。
図１２に示すように、撮像装置２００から人物ｍ１までのＸＹ平面に沿った距離Ｌｃは、撮像装置２００のチルト角度θＴと、センサ装置１００の設置高さＨｓと、撮像装置２００の設置高さＨｃとを下記式（１）に代入することにより算出される。設置高さＨｓ、Ｈｃは、予めセンサ装置１００の記憶部１６０に記憶されている。チルト角度θＴは、撮像装置２００から取得した制御値に含まれている。
Ｌｃ＝（Ｈｃ－Ｈｓ）ｔａｎθＴ ・・・式（１）
また、人物ｍ１の水平方向の位置（Ｘｐ，Ｙｐ）は、上述の距離Ｌｃを用いて以下の式（２）、（３）により算出される。
Ｘｐ＝Ｘｃ－Ｌｃ×ｓｉｎ（１．５π－θｏ－θｐ） ・・・式（２）
Ｙｐ＝Ｙｃ－Ｌｃ×ｃｏｓ（１．５π－θｏ－θｐ） ・・・式（３）
上記式（２）において、Ｘｃは、撮像装置２００のＸ座標の値を示す。θｏは、図１３に示すセンサ装置１００の正面方向ＦＤ１と、撮像装置２００の正面方向ＦＤ２との角度ずれを示す。かかる角度ずれθｏは、予めセンサ装置１００の記憶部１６０に記憶されている。θｐは、撮像装置２００のパン角度、すなわち、撮像装置２００の正面方向ＦＤ２を基準としたパン方向に沿った撮像装置２００の撮像方向の角度を示す。かかるパン角度θｐは、撮像装置２００から取得した制御値に含まれている。
また、センサ装置１００において、位置特定部１２０は、検出部１１０の検出結果を利用して、人物ｍ１までの距離Ｌｓと、センサ装置１００を基準とした人物ｍ１が存在する方向とに基づき、下記式（４）、（５）により、人物の座標（Ｘｐ，Ｙｐ）を算出する。なお、センサ装置１００を基準とした人物ｍ１が存在する方向とは、図１３に示すように、正面方向ＦＤ１と人物ｍ１が存在する方向との間の角度θｓとして特定されている。
Ｘｐ＝Ｌｓ×ｃｏｓθｓ ・・・式（４）
Ｙｐ＝Ｌｓ×ｓｉｎθｓ ・・・式（５）
そして、撮像向き指示部１３０は、式（２）、（３）により算出される人物ｍ１の位置（Ｘｐ，Ｙｐ）と、式（４）、（５）により算出される人物ｍ１の位置（Ｘｐ，Ｙｐ）との間の距離を、上述の特定位置誤差として求める。ステップＳ１５０ａでは、このようにして求められた特性位置誤差が、所定距離である５０ｃｍ以下であるか否かが判定される。
図１１に示すように、ステップＳ１５０ａにおいて、特定位置誤差が所定距離以下であると判定された場合（ステップＳ１５０ａ：ＹＥＳ）、処理は上述のステップＳ１２５に戻る。このため、所定期間Ｔ１の待機が再度実行される。特定位置誤差が所定距離以下である場合、センサ装置１００と撮像装置２００とは同一の移動体を検出または撮像している状況が推定される。このような状況では、ユーザが操作装置３００による操作によって撮像向きを調整したとしても、センサ装置１００が検出した検出移動体は撮像される。このため、このような場合には、再び所定期間Ｔ１の待機を実行することによって撮像向き指示処理が実行されないようにし、ユーザの利便性を向上させるようにしている。上述のステップＳ１５０ａにおいて、特定位置誤差が所定距離以下でないと判定された場合（ステップＳ１５０ａ：ＮＯ）、処理はステップＳ１０５に戻る。
以上説明した第４実施形態の監視システム１０は、第３実施形態の監視システム１０と同様な効果を有する。加えて、特定位置誤差、すなわち、センサ装置１００の位置特定部１２０により特定される検出移動体の位置と、撮像装置２００に設定されている制御値に基づき特定される検出移動体の位置との誤差が所定距離以下である場合には、ステップＳ１３０が実行されない期間、換言すると、所定期間Ｔ１が延長されるので、センサ装置１００と撮像装置２００とが同一の移動体を検出または撮像しているにも関わらず、撮像向き指示処理が実行され、そのたびにユーザが所望する撮像向きに微調整を行うことを抑制でき、ユーザの利便性を向上できる。
Ｅ．第５実施形態：
第５実施形態の監視システム１０は、センサ装置１００における撮像向き制御処理の手順が異なる点において、第３実施形態の監視システム１０と異なる。第５実施形態の監視システム１０のシステム構成、および撮像装置２００と操作装置３００における撮像向き制御処理の手順は、第３実施形態と同じであるので、同一の構成要素および同一の手順には同一の符号を付し、その詳細な説明を省略する。
図１４は、センサ装置１００において実行される第５実施形態の撮像向き制御処理の手順を示すフローチャートである。センサ装置１００において実行される第５実施形態の撮像向き制御処理は、ステップＳ１５０に代えてステップＳ１５０ｂを実行する点において、図１０に示す第３実施形態の撮像向き制御処理と異なる。第５実施形態の撮像向き制御処理のその他の手順は、第３実施形態の撮像向き制御処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
図１４に示すように、上述のステップＳ１４５の完了後、撮像向き指示部１３０は、検出移動体は移動しているか否かを判定する（ステップＳ１５０ｂ）。ステップＳ１３５の移動体検出処理において位置特定部１２０により特定される検出移動体の位置が前回特定された位置から所定距離以上ずれている場合、或いは、検出移動体の方向が前回特定された方向から所定角度以上ずれている場合、撮像向き指示部１３０は、検出移動体が移動していると判定する。
検出移動体は移動していると判定された場合（ステップＳ１５０ｂ：ＹＥＳ）、処理は上述のステップＳ１２５に戻る。このため、所定期間Ｔ１の待機が再度実行される。一般に、悪意者が不法行為などを行う場合、何らかの移動が伴うため、かかる場合には、検出移動体は移動していると判定される。このような状況では、ユーザは手動で所望の向きで撮像したいと考えることが想定される。したがって、このような状況では、撮像向き指示処理（ステップＳ１３０）を停止し、ユーザの操作を優先するようにしている。上述のステップＳ１５０ｂにおいて、検出移動体は移動していないと判定された場合（ステップＳ１５０ｂ：ＮＯ）、処理はステップＳ１０５に戻る。
以上説明した第５実施形態の監視システム１０は、第３実施形態の監視システム１０と同様な効果を有する。加えて、検出移動体は移動しているか否かが判定され、移動していると判定された場合には、ステップＳ１３０が実行されない期間、換言すると、所定期間Ｔ１が延長されるので、悪意者が不法行為などを行っておりユーザは手動で所望の向きで撮像したいと考えるような状況において、撮像向き指示処理が実行され、そのたびにユーザが所望する撮像向きに微調整を行うことを抑制でき、ユーザの利便性を向上できる。
Ｆ．第６実施形態：
図１５は、第６実施形態の監視システム１０ａの詳細構成を示すブロック図である。第６実施形態の監視システム１０ａは、センサ装置１００に代えてセンサ装置１００ａを備える点において、図２に示す第１実施形態の監視システム１０と異なる。第６実施形態のセンサ装置１００ａにおけるその他の構成は、第１実施形態の監視システム１０と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
センサ装置１００ａは、制御値中継部１８０を備える点においてのみ第１実施形態のセンサ装置１００と異なる。制御値中継部１８０は、操作装置３００から受信する制御値を、撮像装置２００に中継する。すなわち、操作装置３００から制御値を受信し、受信した制御値をそのまま撮像装置２００に送信する。
図１６は、第６実施形態のセンサ装置１００ａにおいて実行される撮像向き制御第１処理の手順を示すフローチャートである。図１７は、第６実施形態のセンサ装置１００ａにおいて実行される撮像向き制御第２処理の手順を示すフローチャートである。センサ装置１００ａでは、撮像装置２００の撮像向きを制御するための処理として、図１６に示す撮像向き制御第１処理と、図１７に示す撮像向き制御第２処理とが並列実行される。撮像向き制御第１処理は、センサ装置１００ａにおいて移動体を検出し、検出移動体が撮像される向きに撮像装置２００の撮像向きを制御するための処理である。これに対して、撮像向き制御第２処理は、操作装置３００による操作に応じて撮像装置２００の撮像向きを制御するための処理である。これら２つの処理は、いずれもセンサ装置１００ａの電源がオンすると実行される。
なお、操作装置３００における第６実施形態の撮像向き制御処理の手順は、図５に示す第１実施形態の撮像向き制御処理の手順と同じである。但し、ステップＳ３１５における制御値の送信先は、第１実施形態では撮像装置２００であったが、第６実施形態では、センサ装置１００ａである。
図１６に示すように、センサ装置１００ａにおいて制御値中継部１８０は、操作装置３００から制御値を受信したか否かを判定する（ステップＳ５０５）。制御値を受信しないと判定された場合には（ステップＳ５０５：ＮＯ）、ステップＳ５０５が再度実行される。すなわち、制御値中継部１８０は、操作装置３００から制御値を受信するまで待機する。制御値を受信したと判定された場合には（ステップＳ５０５：ＹＥＳ）、制御値中継部１８０は、受信した制御値を撮像装置２００に中継する（ステップＳ５１０）。ステップＳ５１０の完了後、処理はステップＳ５０５に戻る。
図１７に示す第６実施形態の撮像向き制御第２処理の手順は、図８に示す第２実施形態における撮像向き制御処理の手順と同じであるので、その詳細な説明を省略する。但し、第６実施形態のステップＳ１０２の詳細手順は、第２実施形態のステップＳ１０２の手順とは異なる。
第２実施形態のステップ１０２、すなわち、一致状態であるか否かの判定は、最近取得された撮像装置２００に設定されている制御値と、ステップＳ１３０が前回実行された際にセンサ装置１００から撮像装置２００に送信された制御値とを比較して実行されていた。これに対して、第６実施形態のステップＳ１０２では、一致状態判定部１５０は、前回ステップＳ１３０により制御値を撮像装置２００に送信した後に操作装置３００から制御値を受信したか否かを判定することにより一致状態であるか否かを判定する。具体的には、前回ステップＳ１３０により制御値を撮像装置２００に送信した後に操作装置３００から制御値を受信したと判定された場合、一致状態ではないと判定し、受信していないと判定された場合、一致状態であると判定する。上述のように、撮像向き制御第１処理のステップＳ５１０が実行されない限り、撮像装置２００に設定されている制御値はステップＳ１３０においてセンサ装置１００ａから送信された制御値のままであるため、上記のような方法により一致状態であるか否かを判定できる。
図１８は、第６実施形態の撮像向き制御第１処理、撮像向き制御第２処理、および撮像向き制御処理の実行中におけるセンサ装置１００ａ、撮像装置２００および操作装置３００による情報のやりとりを示すシーケンス図である。なお、図１８では、図４、図５、図１６および図１７に示す一部のステップは、図示の便宜上省略されている。
図１８に示すように、センサ装置１００ａでは、操作装置３００から制御値を受信しない限り、検出移動体を撮像可能な撮像向きとなるように、制御値が撮像装置２００に繰り返し送信される（ステップＳ１３０）。しかし、センサ装置１００ａにおいて、操作装置３００から制御値を受信すると、かかる制御値が撮像装置２００に中継され（ステップＳ５１０）、その後に実行されるステップＳ１０２では、一致状態ではないと判定される。このため、第１実施形態と同様に、所定期間Ｔ１待機し、その後、ステップＳ１３０（撮像向き指示処理）が再開される。
以上説明した第６実施形態の監視システム１０ａは、第１実施形態の監視システム１０と同様な効果を有する。加えて、監視システム１０ａでは、操作装置３００から制御値が受信されない場合に一致状態であると判定し、操作装置３００から制御値が受信される場合に一致状態でないと判定するので、センサ装置１００ａと撮像装置２００との間において、撮像装置２００の撮像向きの制御のための通信とは別に、撮像装置２００に設定されている制御値の取得のための通信が行われることを抑制できる。このため、かかる通信に伴うセンサ装置１００ａおよび撮像装置２００における処理負荷を低減できる。なお、第６実施形態におけるステップＳ１２５の所定期間Ｔ１は、本開示における第３期間に相当する。
Ｇ．他の実施形態：
（Ｇ１）各実施形態において、撮像向きに関する制御値は、パン角度とチルト角度とが該当していたが、本開示はこれに限定されない。例えば、パン角度とチルト角度とのうちのいずれか一方のみであってもよい。また、例えば、パン角度とチルト角度とに加えて、ズーム量が該当してもよい。具体的には、撮像装置２００をズームおよびワイドの動作可能に構成し、また、このズームまたはワイドの動作を、受信する制御値に基づき制御可能な構成とし、各実施形態を実行してもよい。かかる構成を第４実施形態に適用する場合、以下のような構成としてもよい。すなわち、ステップＳ１５０ａで用いられる所定距離を、固定値ではなく、ズーム量またはワイド量に応じて変化させてもよい。一般に、ズーム量が大きい場合、ユーザは、撮像対象領域を拡大して撮像し、移動体の細かな動きを確認したいと考えていることが推定される。そこで、この場合には、検出移動体の小さな動き、換言すると、手や足などの小さな動きがあった場合には、ユーザによる操作を優先させて、撮像向き指示処理（ステップＳ１３０）を停止させてもよい。
（Ｇ２）第３実施形態では、ステップＳ１５０において、撮像装置２００から受信した制御値により特定される撮像向きにステップＳ１３５で検出された検出移動体の位置があると判定された場合には、所定期間Ｔ１の待機が再度実行され、撮像向き指示処理（ステップＳ１３０）が停止している期間が延長されていたが、本開示はこれに限定されない。かかる延長に上限を設けるようにし、かかる上限を超えた場合には、所定期間Ｔ１の待機を行わずに撮像向き指示処理（ステップＳ１３０）が再開されるようにしてもよい。
（Ｇ３）各実施形態において、ユーザが操作装置３００を操作して或る移動体が撮像されるように撮像向きを手動制御していた場合には、撮像向き指示処理（ステップＳ１３０）が停止され、その後、所定期間Ｔ１の経過等により撮像向き指示処理が再開した際に、かかる移動体が撮像されるような撮像向きに制御するような制御値を、センサ装置１００、１００ａから撮像装置２００に送信するようにしてもよい。例えば、監視領域Ａｒ１内に複数の移動体が同時に存在し、撮像向きの自動制御において注目する移動体と、ユーザによる手動制御において注目する移動体とが異なる場合には、ユーザによる手動制御において注目する移動体を優先させ、その後、かかる移動体を撮像可能な向きに撮像向きを自動制御してもよい。
（Ｇ４）第３実施形態のステップＳ１５０、第４実施形態のステップＳ１５０ａ、第５実施形態のステップＳ１５０ｂに代えて、監視領域Ａｒ１に新たな移動体が検出されたか否かを判定し、新たな移動体が検出されたと判定された場合に処理がステップＳ１０５に戻り、検出されないと判定された場合には処理がステップＳ１２５に戻る構成としてもよい。すなわち、監視領域Ａｒ１に新たな移動体が現れるまで、所定期間Ｔ１の待機が再度実行されて撮像向き指示処理（ステップＳ１３０）が停止している期間が延長される構成としてもよい。
（Ｇ５）第２実施形態および第６実施形態のステップＳ１２５の完了後に、第３実施形態のステップＳ１３５～Ｓ１５０を実行して、撮像向きに検出移動体の位置がある場合には、第３実施形態と同様に所定期間Ｔ１を延長するようにしてもよい。
（Ｇ６）各実施形態において、センサ装置１００、１００ａは、近赤外線レーザ光を出力していたが、本開示はこれに限定されない。中赤外線のレーザ光であってもよい。また、赤外線に限らず、赤色レーザや青色レーザなど、任意の波長のレーザ光であってもよい。また、レーザ光に限らず、ミリ波レーダ等で用いられる波長がミリメートル単位となる電波であってもよい。すなわち一般には、移動体を検出可能な任意の波長の電磁波を、センサ装置１００、１００ａにおいて用いてもよい。
（Ｇ７）各実施形態において、一致状態でないと判定された場合に（ステップＳ１２０、Ｓ１０２：ＮＯ）、所定期間待機（ステップＳ１２５）以降の処理を省略して撮像向き制御処理を完了するようにしてもよい。かかる構成においては、撮像向き指示処理（ステップＳ１３０）は、再開されない限り実行されないこととなる。かかる構成および各実施形態から理解できるように、移動体が検出されて一致状態であると判定される期間において実行され続けるステップＳ１３０が、各実施形態のように一時的に中止される構成と、上述のように完了される構成とを含む「終了する構成」を、本開示の監視システムにおいて採用してもよい。
（Ｇ８）第１実施形態において、所定期間待機（ステップＳ１２５）の後であって、次回の制御値要求（ステップＳ１１５）の実行前までに、前回の撮像向き指示処理（ステップＳ１３０）において撮像装置２００に送信した制御値と同じ制御値を、撮像装置２００に送信するステップを追加してもよい。かかる構成によれば、次回の制御値要求（ステップＳ１１５）において、撮像装置２００から取得される制御値を、前回の撮像向き指示処理（ステップＳ１３０）において撮像装置２００に送信した制御値と積極的に一致させることができる。このため、その後に実行されるステップＳ１２０において一致状態であると判定させることができ、ステップＳ１３０を確実に実行させて検出移動体の追尾撮影を実行できる。同様に、第２および第６実施形態において、所定期間待機（ステップＳ１２５）の後であって、次回のステップＳ１０２の実行前に、前回の撮像向き指示処理（ステップＳ１３０）において撮像装置２００に送信した制御値と同じ制御値を、撮像装置２００に送信するステップを追加してもよい。また、第３実施形態のステップＳ１５０において、受信した制御値により特定される撮像向きに検出移動体の位置が無いと判定された場合に（ステップＳ１５０：ＮＯ）に、次回の制御値要求（ステップＳ１１５）の実行前までに、前回の撮像向き指示処理（ステップＳ１３０）において撮像装置２００に送信した制御値と同じ制御値を、撮像装置２００に送信するステップを追加してもよい。同様に、第４実施形態のステップＳ１５０ａにおいて特定位置誤差が所定距離以下でないと判定された場合（ステップＳ１５０ａ：ＮＯ）、および、第５実施形態のステップＳ１５０ｂにおいて検出移動体は移動していないと判定された場合に（ステップＳ１５０ｂ：ＮＯ）、次回の制御値要求（ステップＳ１１５）の実行前までに、前回の撮像向き指示処理（ステップＳ１３０）において撮像装置２００に送信した制御値と同じ制御値を、撮像装置２００に送信するステップを追加してもよい。これらの構成においても、上述の構成と同様な効果を奏する。なお、第１ないし第４実施形態においても、ステップＳ１２５や、ステップＳ１５０や、ステップＳ１５０ａの完了後に再び実行されるステップＳ１１５よりも前の時点で、撮像装置２００に設定されている制御値が、前回の撮像向き指示処理（ステップＳ１３０）において撮像装置２００に送信した制御値と同じになっている場合には、ステップＳ１３０が実行され、追尾撮影が実行されることとなる。
（Ｇ９）各実施形態における監視システム１０、１０ａの構成はあくまでも一例であり、様々に変更可能である。例えば、所定期間Ｔ１の待機（ステップＳ１２５）を省略してもよい。第１実施形態においてステップＳ１２５を省略した場合、一致状態ではないと判定された場合（ステップＳ１２０：ＮＯ）、処理はステップＳ１０５に戻り、移動体の検知処理や制御値要求が待機期間無しで実行されることとなる。かかる構成においても、一致状態ではないと判定される限り撮像向き指示処理（ステップＳ１３０）が実行されないので、第１実施形態と同様な効果を奏する。
（Ｇ１０）各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、位置特定部１２０、撮像向き指示部１３０、制御値取得部１４０および一致状態判定部１５０のうちの少なくとも１つの機能部を、集積回路、ディスクリート回路、またはそれらの回路を組み合わせたモジュールにより実現してもよい。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。すなわち、「コンピュータ読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
本開示は、上記各実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
１０…監視システム、１０ａ…監視システム、１００…センサ装置、１００ａ…センサ装置、１１０…検出部、１２０…位置特定部、１３０…撮像向き指示部、１４０…制御値取得部、１５０…一致状態判定部、１６０…記憶部、１７０…通信部、１８０…制御値中継部、２００…撮像装置、２１０…撮像カメラ、２１５…可動式架台、２２０…調整アクチュエータ、２３０…制御部、２４０…通信部、３００…操作装置、３１０…表示部、３２０…操作部、３３０…制御部、３４０…通信部、５００…通信ネットワーク、Ａｒ１…監視領域、Ｃ１…撮像範囲、ＦＤ１…正面方向、ＦＤ２…正面方向、Ｌｃ…距離、Ｌｓ…距離、Ｔ１…所定期間、Ｔ２…所定期間、ｍ１…人物

Claims (7)

  1. 監視システムであって、
    電磁波を出力し、前記電磁波の反射波を入力し、入力した前記反射波を利用して予め設定されている監視領域において移動体を検出するセンサ装置と、
    撮像向きに関する制御値を受信し、受信した前記制御値に応じて自身の前記撮像向きを制御する撮像装置と、
    ユーザによる前記制御値の入力を許容し、入力された前記制御値を前記撮像装置に直接的または間接的に送信することにより、前記撮像装置の前記ユーザによる操作を可能にする操作装置と、
    を備え、
    前記センサ装置は、
    前記監視領域において前記移動体を検出する検出部と、
    検知された前記移動体である検出移動体の位置を特定する位置特定部と、
    前記制御値として前記撮像装置が前記検出移動体を撮像可能な値を、特定された前記位置を利用して決定する処理と、決定した前記制御値を前記撮像装置に送信することにより、前記検出移動体を撮像可能な向きに前記撮像向きを制御させる処理と、を含む撮像向き指示処理を、前記検出移動体が検出され続ける期間において実行し続ける撮像向き指示部と、
    前記撮像装置に設定される前記制御値を取得する制御値取得部と、
    前記制御値取得部により取得された前記制御値と、前回の前記撮像向き指示処理において送信された前記制御値と、が一致する一致状態であるか否かを判定する一致状態判定部と、
    を有し、
    前記撮像向き指示部は、前記一致状態でないと判定された場合には、前記撮像向き指示処理を終了する、
    監視システム。
  2. 請求項１に記載の監視システムにおいて、
    前記撮像向き指示部は、前記撮像向き指示処理の終了から第１期間が経過した場合に前記撮像向き指示処理を再開する、監視システム。
  3. 請求項２に記載の監視システムにおいて、
    前記撮像向き指示部は、前記撮像向き指示処理の終了後、前記制御値取得部により取得される前記制御値により特定される前記撮像向きに、前記位置特定部により特定された前記位置が存在する場合には、前記第１期間を延長する、監視システム。
  4. 請求項１に記載の監視システムにおいて、
    前記制御値取得部は、前記撮像装置に設定される前記制御値を繰り返し取得し、
    前記一致状態判定部は、前記制御値取得部により前記制御値が取得される度に、前記一致状態であるか否かを判定し、
    前記撮像向き指示部は、
    前記撮像向き指示処理が終了された状況において、前記一致状態であると判定された場合には、前記撮像向き指示処理を再開し、
    前記一致状態でないと判定されてから予め定められた第２期間が経過した場合に前記撮像向き指示処理を再開する、監視システム。
  5. 請求項４に記載の監視システムにおいて、
    前記撮像向き指示部は、前記撮像向き指示処理の終了後、前記制御値取得部により取得される前記制御値により特定される前記撮像向きに、前記位置特定部により特定された前記位置が存在する場合には、前記第２期間を延長する、監視システム。
  6. 請求項１に記載の監視システムにおいて、
    前記操作装置は、入力された前記制御値を、前記センサ装置を介して間接的に前記撮像装置に送信し、
    前記センサ装置は、前記操作装置から送信される前記制御値を受信して前記撮像装置に中継する制御値中継部を、さらに有し、
    前記制御値取得部は、前記操作装置から前記制御値を受信することにより、前記撮像装置に設定される前記制御値を取得し、
    前記一致状態判定部は、前記操作装置から前記制御値が受信されない場合に前記一致状態であると判定し、前記操作装置から前記制御値が受信される場合に前記一致状態でないと判定する、監視システム。
  7. 請求項６に記載の監視システムにおいて、
    前記撮像向き指示部は、前記制御値取得部が前記制御値を受信してから予め定められた第３期間が経過した場合に前記撮像向き指示処理を再開する、監視システム。
JP2019171421A 2019-09-20 2019-09-20 監視システム Active JP7215382B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019171421A JP7215382B2 (ja) 2019-09-20 2019-09-20 監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019171421A JP7215382B2 (ja) 2019-09-20 2019-09-20 監視システム

Publications (2)

Publication Number Publication Date
JP2021048551A JP2021048551A (ja) 2021-03-25
JP7215382B2 true JP7215382B2 (ja) 2023-01-31

Family

ID=74878802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019171421A Active JP7215382B2 (ja) 2019-09-20 2019-09-20 監視システム

Country Status (1)

Country Link
JP (1) JP7215382B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014175843A (ja) 2013-03-08 2014-09-22 Denso Wave Inc 監視装置の制御方法
JP2019106694A (ja) 2017-09-28 2019-06-27 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3693130B2 (ja) * 1996-06-28 2005-09-07 ソニー株式会社 制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014175843A (ja) 2013-03-08 2014-09-22 Denso Wave Inc 監視装置の制御方法
JP2019106694A (ja) 2017-09-28 2019-06-27 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JP2021048551A (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
US10451705B2 (en) Tracking control device, tracking control method, tracking control program, and automatic tracking imaging system
JP2008172427A (ja) カメラ制御装置及びその制御方法、並びにカメラ制御システム
US20130314547A1 (en) Controlling apparatus for automatic tracking camera, and automatic tracking camera having the same
US20110317037A1 (en) Image pickup apparatus
JP6566626B2 (ja) 撮像装置
JP6704743B2 (ja) 撮像装置、その制御方法およびレンズ装置
US20180035038A1 (en) Control apparatus, method of controlling the same, and storage medium
US11252387B2 (en) Projection apparatus, projection method and storage medium
JP7215382B2 (ja) 監視システム
US10277794B2 (en) Control apparatus, control method, and recording medium
JP2014143681A (ja) 自動追尾撮影システム
WO2020087346A1 (zh) 拍摄控制方法、可移动平台、控制设备及存储介质
WO2021026784A1 (zh) 跟随拍摄、云台控制方法、拍摄装置、手持云台和拍摄系统
JP2005020205A (ja) 画像撮影装置
JP6889796B1 (ja) 車両走行管理システム、管制センター、車両制御装置、車両走行管理プログラム及び車両走行管理方法
JP2019022185A (ja) 複数の通信方式を用いる通信装置およびその制御方法ならびにプログラム
JP2013047760A (ja) 指示位置表示装置および指示位置表示システム
JP2022042832A (ja) 撮像装置、撮像装置の制御方法、システム、及び、プログラム
CN117425184B (zh) 网络连接方法、装置、可读存储介质和可移动平台
WO2022209135A1 (ja) 制御装置、制御方法、及びプログラム
WO2022059584A1 (ja) カメラシステム及びカメラシステムの制御方法
US11810386B2 (en) Image capture apparatus and control method
JP7374692B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
US20230421731A1 (en) Control apparatus, control method, and program
JP2022129652A (ja) 監視システムおよび監視システムの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230102

R150 Certificate of patent or registration of utility model

Ref document number: 7215382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150