JP7733472B2 - 制御装置およびその制御方法 - Google Patents

制御装置およびその制御方法

Info

Publication number
JP7733472B2
JP7733472B2 JP2021084817A JP2021084817A JP7733472B2 JP 7733472 B2 JP7733472 B2 JP 7733472B2 JP 2021084817 A JP2021084817 A JP 2021084817A JP 2021084817 A JP2021084817 A JP 2021084817A JP 7733472 B2 JP7733472 B2 JP 7733472B2
Authority
JP
Japan
Prior art keywords
unit
slave
information
imaging
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021084817A
Other languages
English (en)
Other versions
JP2022178205A (ja
Inventor
伸也 田沖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021084817A priority Critical patent/JP7733472B2/ja
Priority to US17/726,581 priority patent/US12096116B2/en
Priority to EP22169898.8A priority patent/EP4092630B1/en
Publication of JP2022178205A publication Critical patent/JP2022178205A/ja
Application granted granted Critical
Publication of JP7733472B2 publication Critical patent/JP7733472B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C17/00Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)

Description

本発明は、撮像画像内に含まれる機器を特定する技術に関するものである。
センサにより取得したデータを送信する無線通信機器である子機と、データを収集する親機とを組み合わせて、様々なセンサデータを取得するシステムがある。このようなシステムにおいては、まず親機に対して子機の登録処理を行う。その後、ユーザは、親機を介して子機に対する各種設定を行う。設定には、例えば、センサの検出精度や単位、スリープの間隔、子機を識別するための名称等の設定が含まれる。子機は設定に従ってセンサデータの親機への送信やスリープ状態への移行を行う。
また、親機が撮像装置である場合に、撮像画像に含まれる子機を特定したいという要望がある。例えば、特許文献1には、撮影画面内の監視対象物に付加情報を重ねて表示するため、監視対象物の情報を外部サーバから受信し特定する技術が開示されている。
特開2012-119971号公報
しかしながら、特許文献1においては監視対象物の情報を外部サーバから受信する構成であるため、撮影装置が単体で撮影画面内の監視対象物の特定することは出来ない。一般に、親機が保持している子機情報には、子機と親機の物理的位置関係を示す情報は含まれていない。そのため、親機が撮像装置である場合に、親機の撮影範囲内に子機が存在する場合であっても、親機はその子機が登録されているどの子機であるかを特定することができない。
本発明は、このような問題に鑑みてなされたものであり、撮像画像内に含まれる子機を特定可能とする技術を提供することを目的としている。
上述の問題点を解決するため、本発明に係る制御装置は以下の構成を備える。すなわち、子機を制御する親機として動作する制御装置は、
撮像手段と、
前記制御装置による制御対象である子機の子機情報を登録する登録手段と、
前記登録手段により登録された子機情報に基づいて、前記撮像手段による撮影範囲内に存在する子機を特定する特定手段と、
子機に対して制御を行う子機制御手段と、
を有し、
前記登録手段は、前記子機情報として、前記撮像手段の位置を基準とした子機の相対的な存在方向の情報を登録し、
前記子機制御手段は、前記特定手段により撮影範囲内に前記子機が特定された場合、前記子機をスリープ状態から復帰させるための要求である復帰リクエストを前記子機に送信する
本発明によれば、撮像画像内に含まれる子機を特定可能とする技術を提供することができる。
第1実施形態におけるシステムの全体構成を示す図である。 ネットワークカメラのメカ構成を示す図である。 無線通信子機の登録情報の例を示す図である。 PT座標と無線通信子機との位置関係の例を示す図である。 第1実施形態に係るネットワークカメラの動作フローチャートである。 撮影画像の例を示す図である。 子機特定処理(S802)の詳細フローチャートである。 カメラ映像内に子機情報を表示する例を示す図である。 第2実施形態におけるシステムの全体構成を示す図である。 無線通信子機の登録情報の例を示す図である。 第2実施形態に係るネットワークカメラの動作フローチャートである。 撮影画像の例を示す図である。 子機特定処理(S1302)の詳細フローチャートである。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1実施形態)
本発明に係る制御装置の第1実施形態として、子機を制御する親機として動作する撮像装置を例に挙げて以下に説明する。
<システムおよび各装置の機能構成>
図1は、第1実施形態におけるシステムの全体構成を示す図である。システムは、ネットワーク300により通信可能に接続されたネットワークカメラ100およびクライアント装置200を含む。また、システムは、ネットワークカメラ100と無線通信で接続可能な無線通信子機400を含む。
ネットワークカメラ100は、ネットワーク300を介してクライアント装置200からの制御を受け付け、撮像部101により取得された映像をクライアント装置200に送信する装置である。また、ネットワークカメラ100は、無線通信を介して無線通信子機400を制御可能に構成されている。
撮像部101は、レンズを通して結像した光を撮像素子において受光して、その受光した光を電荷に変換して撮像信号を生成する。撮像素子には、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。また、撮像素子にはCCD(Charge Coupled Device)イメージセンサを用いてもよい。
画像処理部102は、撮像部101で変換された撮像信号をデジタル化して画像データを生成する。その際、画像処理部102は画質を補正するための種々の画像処理も行う。画像処理部102は、更に、画像データを圧縮符号化し、圧縮符号化された画像データを生成するようにしてもよい。
レンズ制御部105は、システム制御部103からの指示に基づいて、レンズ駆動部104の制御を行う。レンズ駆動部104は、フォーカスレンズ及びズームレンズの駆動系及びその駆動源のモータにより構成され、その動作はレンズ制御部105により制御される。
パン駆動部106は、パン動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出する角度センサにより構成される。チルト駆動部107は、チルト動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出する角度センサにより構成される。パン駆動部106及びチルト駆動部107の動作はパンチルト制御部108により制御される。パンチルト制御部108は、システム制御部103からの指示に基づいて、パン駆動部106、及びチルト駆動部107の駆動制御を行う。
通信部109は、クライアント装置200との通信を行う機能部である。例えば、通信部109は、画像処理部102によって生成された画像データに基づく映像ストリームをクライアント装置200に送信する。なお、ここでの画像データは一例として動画を構成するフレーム画像データである。また、通信部109は、クライアント装置200から送信されるコマンドを受信し、システム制御部103へ伝送する。またコマンドに対するレスポンスをシステム制御部103の制御に従ってクライアント装置200へ送信する。このようにシステム制御部103は、通信制御手段としても機能する。
無線通信制御部110は、無線通信規格に合わせてデータ、制御用コマンド等の送受信を行う。具体的には、アンテナ111を介して、データ、制御用コマンド等を変復調した電波を送受信する。無線通信規格としては、無線LAN(Wi-Fi(登録商標))、Bluetooth(登録商標)、ZigBee、Z-Waveなどを利用することが出来る。
システム制御部103は、ネットワークカメラ100の各部を統括して制御する機能部である。例えば、システム制御部103は、通信部109がネットワーク300を介してクライアント装置200から受信したコマンドを解析し、コマンドに応じた処理を行う。例えば、画像処理部102に対する画質調整の指示や、レンズ制御部105に対するズームやフォーカス制御の指示を行う。また、詳細は後述するが、システム制御部103は、無線通信制御部110を通して無線通信子機400とデータ、制御用コマンド等のやり取りを行い、無線通信子機400に対して情報の取得、設定等の処理(子機制御)を行う。
なお、システム制御部103は、ネットワークカメラ100の内部に設けてもよいし、ネットワークカメラ100とは独立して構成することもできる。システム制御部103をネットワークカメラ100の外部の装置とする場合、システム制御部103とネットワークカメラ100とを通信可能に構成すればよい。
クライアント装置200は、ユーザからの操作を受け付け、ネットワークカメラ100を制御する装置である。クライアント装置200は、パーソナルコンピュータなどのコンピュータを用いて実現できる。
表示部201は、ネットワークカメラ100の制御を行うためのグラフィックユーザインターフェース(GUI)を表示する。また、表示部201は、ネットワークカメラ100から受信した画像データに基づく映像を表示する。表示部201は、液晶パネルや有機ELパネル等を用いた表示デバイスで実現することができる。
入力部202は、キーボード、マウスなどの、ユーザからの操作を受け付ける任意のデバイスである。ユーザは、入力部202を介してGUIに対する操作を行う。なお、入力部202をタッチパネル、ジョイスティックのような他のデバイスを用いて実現してもよい。
通信部204は、ネットワーク300を介したネットワークカメラ100との通信を行う。例えば、ユーザによる操作に応じたコマンドをネットワークカメラ100に送信し、ネットワークカメラ100から画像データを取得することができる。
システム制御部203は、クライアント装置200の各部を統括して制御する機能部である。例えば、システム制御部203は、ユーザの操作に応じてコマンドを生成し、通信部204からネットワークカメラ100へと送信させる。また、システム制御部203は、通信部204を介して受信したネットワークカメラ100からの画像データも表示部201に表示させる。このようにシステム制御部203は、通信制御手段や表示制御手段としても機能する。
無線通信子機400は、例えばセンサ機能を有する子機であり、センサにより取得したデータを親機として動作するネットワークカメラ100に送信する。無線通信子機400は、例えばバッテリで駆動し、バッテリを装着して起動したときに親機への登録処理を行い、あらかじめ定義された通信タイムアウト時間、親機からの通信が行われない場合に機能制限したスリープ状態になる。
なお、無線通信子機400の親機への登録処理は、バッテリ装着による起動時以外に行うよう構成してもよい。例えば、無線通信子機400にボタンを付加して、当該ボタンの押下時に登録処理を開始するように構成してもよい。さらに、ここでは子機は、無線通信を行う無線通信子機400であるとして説明したが、有線で接続された子機であっても構わない。
<ネットワークカメラのメカ構成>
図2は、ネットワークカメラ100のメカ構成を示す図である。ネットワークカメラ100は、ボトムケース121、ターンテーブル122、カメラヘッド支柱123、カメラヘッド124により構成されている。図2(a)は卓上にとりつけられているネットワークカメラ100を上面側から見た図であり、図2(b)は側面から見た図である。
図2を参照して、上下(鉛直)方向の軸を垂直軸とし、これに直交する軸を水平軸と定義して、パンチルト可動部の動作について説明する。尚、図2(a)において、紙面に直交する垂直軸を中心として時計回り方向をパン角度の正方向とする。また、図2(b)において、紙面に直交する軸を中心として時計回り方向をチルト角度の正方向とする。
図2において、パン駆動部106はボトムケース121とターンテーブル122で構成され、ターンテーブル122は垂直軸を中心に回転可能となっている。ボトムケース121の固定部とターンテーブル122の回転部に構成される電気回路は、スリップリングなどにより接続されている。そのため、パン可動部は、垂直軸を回転軸として自由に(360°の角度範囲でエンドレスに)回転することができる。
また、チルト駆動部107はカメラヘッド支柱123とカメラヘッド124で構成され、カメラヘッド124は水平軸を中心に回転可能となっている。ここでは、チルト可動部は、水平軸を回転軸として180°の角度範囲で回転することができる。
このように本実施形態のネットワークカメラは、カメラヘッドをパン方向及びチルト方向に回転することで撮影方向を変えて広範囲に撮影することができる。なお、ネットワークカメラ100は、図2で示した構成に限られるものではない。例えば、パン方向について、360°駆動可能ではなく、駆動可能範囲が制限(例えば+170°~-170°など)されていてもよい。また、チルト方向についても、180°駆動可能ではなく、駆動範囲が制限(例えば0°~90°など)されていてもよい。
<システムの動作>
システムの動作には、おおまかに、ネットワークカメラが無線通信子機の情報を登録する動作と、ネットワークカメラが当該登録された情報に基づき無線通信子機を制御する動作と、が含まれる。以下で順に説明する。
<ネットワークカメラによる無線通信子機の登録>
図3は、無線通信子機の登録情報の例を示す図である。上述した、無線通信子機400の親機(ネットワークカメラ100)への登録処理において、ネットワークカメラ100に登録される情報を示している。
情報テーブル500は、N個の無線通信子機の情報が登録され、テーブルとして保持されている状態を示している。情報テーブル500は、例えば、ネットワークカメラ100のシステム制御部103で管理される。
情報テーブル500は、各無線通信子機に対して、ID501、デバイス名502、機器種類503、パン、チルト(PT)座標504を含んでいる。なお、PT座標504とは、ネットワークカメラ100の設置位置を基準とした図2に示される座標系に基づく無線通信子機の方向を規定する座標を示している。
具体的には、制御対象である無線通信子機のネットワークカメラ100への登録処理を行うにあたって、予め、ネットワークカメラ100を登録対象の無線通信子機の方向に向ける。つまり、撮像部101の撮影範囲の略中央に登録対象の無線通信子機が存在する状態にする。そして、登録処理を開始し、ネットワークカメラ100のパン駆動部106およびチルト駆動部107の座標をPT座標504として登録する。すなわち、ネットワークカメラ100(あるいは撮像部101)の位置を基準とした子機の相対的な存在方向の情報を登録する。
図4は、PT座標と無線通信子機との位置関係の例を示す図である。ここでは、ネットワークカメラ100のPT座標が(45、45)である方向(位置)に無線通信子機である温度計が存在する状態を示している。
まず、無線通信子機(温度計)による登録処理が行われる前(例えば温度計にバッテリを装着する前)に、ネットワークカメラ100を無線通信子機の方向に向ける。その後、温度計にバッテリを装着することにより、無線通信子機(温度計)による登録処理が行われ、その時点での、ネットワークカメラ100のPT座標である(45、45)が登録されることになる。これにより、図3に示されるように、ID=9の無線通信子機(温度計)が情報テーブル500に登録される。
<ネットワークカメラによる無線通信子機の制御>
図5は、第1実施形態に係るネットワークカメラの動作フローチャートである。図5に示す動作フローは、ネットワークカメラ100に対しパン、チルト、ズーム(PTZ)動作を行った場合に実行される。なお、一連のPTZ動作が行われている途中にPTZ動作が停止する度に実行してもよい。また、PTZ動作が停止して一定時間経過したあと(すなわち一連のPTZ動作が完了したあと)に行ってもよい。
ステップS801では、システム制御部103は、撮影範囲(撮影画角)の4頂点のパンチルト(PT)座標を確認する。これは、例えば、その時点でのネットワークカメラ100のPT座標とズーム(Z)値により算出される。
図6は、ネットワークカメラによる撮影画像900の例を示す図である。撮影画像900には、無線通信子機901が含まれている。ただし、S801の時点では、撮影画像900に無線通信子機901が含まれていることをネットワークカメラ100はまだ認識していない。S801では、システム制御部103は、撮影画像900の4頂点のPT座標(P2,T2)、(P1,T2)、(P2,T1)、(P1,T1)を確認する。
S802では、システム制御部103は、撮影範囲内にある子機の特定処理を行う。S803では、システム制御部103は、情報テーブル500に登録されている子機すべてに対して、S802の処理が実施されたかどうかを判断する。登録されている子機すべてに対してS802の処理が実施された場合はS804へ進み、S802の処理が実施されていない子機が残っている場合はS802へ進む。すなわち、S802の処理は、情報テーブル500に登録されている子機すべてに対して実施されるまで繰り返し行われる。
図7は、子機特定処理(S802)の詳細フローチャートである。以下では子機x(xは1~N)に対して処理を行うとして説明する。
S1001では、システム制御部103は、情報テーブル500から子機xのPT座標(Px,Tx)を取得する。すなわち、情報テーブル500から子機xに対応するPT座標504を読み出す。
S1002では、システム制御部103は、S801で確認したパン範囲(すなわちP1とP2の間)にPxが含まれるか否かを確認する。PxがP1とP2の間に含まれる場合はS1003へ進み、含まれない場合はS1005へ進む。一般には、P1とP2の間に含まれるか否かは、P1、P2それぞれの値とPxを比較することにより行われる。ただし、角度のように0°をまたぐような撮影範囲である場合はそれを考慮し判定する。
S1003では、システム制御部103は、S801で確認したチルト範囲(すなわちT1とT2の間)にTxが含まれるか否かを確認する。TxがT1とT2の間に含まれる場合はS1004へ進み、含まれない場合はS1005へ進む。一般には、T1とT2の間に含まれるか否かは、T1、T2それぞれの値とTxを比較することにより行われる。ただし、角度のように0°をまたぐような撮影範囲である場合はそれを考慮し判定する。
S1004では、システム制御部103は、子機xは撮影範囲内にあると判定する。一方、S1005では、システム制御部103は、子機xは撮影範囲外にあると判定する。
このように、予め情報テーブル500に登録されている子機のPT座標を、撮影範囲の4頂点のPT座標と比較することで、子機が現在の撮影範囲内に存在するか否かを特定する。
S804では、システム制御部103は、S802において撮影範囲内にあると判定された子機に対して、復帰リクエストを送信する。例えば、システム制御部103は、復帰リクエストを生成し無線通信制御部110およびアンテナ111を介して送信する。S804の追加処理として、S802で撮影範囲外にあると判定された子機のうち、スリープ状態でない子機に対して、スリープに遷移するリクエストを送信してもよい。
S805では、システム制御部103は、S804で復帰リクエストを送信した子機が、値情報の取得が必要なものかどうかを判断する。たとえば、子機が温度計の場合は、温度情報を取得することがメインのデバイスのため、値取得が必要なものと判断する。一方、ドアロック等のアクションを起こすことがメインのデバイスの場合は、値取得は不要と判断する。値情報の取得が必要な場合はS806へ進み、値情報の取得が不要な場合はS807へ進む。
S806では、システム制御部103は、子機に対して、値情報取得リクエストを送信する。例えば、システム制御部103は、値情報取得リクエストを生成し無線通信制御部110およびアンテナ111を介して送信する。
S807では、システム制御部103は、カメラ映像内に子機情報を表示するように制御する。例えば、情報テーブル500に格納された情報が、カメラ映像内の子機の位置に重ねて表示されるような映像を生成し、クライアント装置200に出力する。また、S806で送信した値情報取得リクエストに対する子機からの応答により得られた情報(例えば温度値)、カメラ映像内の子機の位置に重ねて表示してもよい。
図8は、カメラ映像内に子機情報を表示する例を示す図である。当該カメラ映像は、ネットワークカメラ100で生成され、クライアント装置200に出力され、表示部201に表示されることになる。
図8に示すカメラ映像においては、図6で示した撮影画像900に対して情報表示1101が重ねて表示されている。ここでは、子機901は温度計であるため情報表示1101は温度値となっている。なお、上述の説明においては、S807において、ネットワークカメラ100が子機情報を重ねて表示したカメラ映像を生成するとした。しかし、子機情報をカメラ映像のメタデータとして配信し、クライアント装置200において子機情報を重ねて表示した映像を生成してもよい。また、情報表示1101として、子機の他の情報(例えばバッテリ残量)を表示してもよい。さらに、ドアロック等のアクションを起こすことがメインのデバイスに対しては、情報表示1101として、ドアロックの状態などを表示してもよい。
以上説明したとおり第1実施形態によれば、ネットワークカメラ100は、予め登録された子機のパン、チルト(PT)座標を利用することにより、撮像画像内に含まれる子機を特定することが可能となる。それにより、撮影画像に子機の情報を重ね合わせて表示することが可能となる。さらに、撮像画像内に含まれる子機を選択的に復帰させる(スリープ解除する)ことが出来、子機の情報として当該子機から取得した情報を併せて表示することが可能となる。
なお、上述の説明においてはネットワークカメラを例に挙げたが、他の目的のカメラにも応用可能である。例えば、放送目的の映像や映画、個人的な目的の映像を撮像する撮像装置にも応用可能である。
(第2実施形態)
第2実施形態では、撮像装置の撮像部(レンズ)の方角情報を用いて撮像画像内に存在する子機を特定する形態について説明する。つまり、上述の第1実施形態におけるパン、チルト(PT)座標の代わりに撮像部の方角情報を用いる。これにより、例えば、撮像装置がパン、チルト制御の構成を持たない場合や、パン、チルト座標を取得できない場合であっても、撮像画像内に存在する子機を特定することが可能となる。
<システムおよび各装置の機能構成>
図9は、第2実施形態におけるシステムの全体構成を示す図である。第1実施形態と同様に、システムは、ネットワーク300により通信可能に接続されたネットワークカメラ100およびクライアント装置200を含む。また、システムは、ネットワークカメラ100と無線通信で接続可能な無線通信子機400を含む。
第2実施形態においては、ネットワークカメラ100は、センサ入力部112をさらに有する点が第1実施形態と異なる。センサ入力部112は、磁気を検出して位置姿勢取得を行う電子コンパスや機械的位置の変化を検出するエンコーダなどのセンサデバイスから、ネットワークカメラ100の位置姿勢を取得する。センサデバイスは、カメラ内蔵のものであってもよいし、USBなどの外部インターフェースに接続可能な外付けのものでもよい。その他の構成については第1実施形態と同様であるため説明を省略する。
<システムの動作>
システムの動作には、おおまかに、ネットワークカメラが無線通信子機の情報を登録する動作と、ネットワークカメラが当該登録された情報に基づき無線通信子機を制御する動作と、が含まれる。以下で順に説明する。なお、第1実施形態と異なる部分について説明し、同様の部分については説明を省略する。
<ネットワークカメラによる無線通信子機の登録>
図10は、無線通信子機の登録情報の例を示す図である。情報テーブル1200は、N個の無線通信子機の情報が登録され、テーブルとして保持されている状態を示している。情報テーブル1200は、例えば、ネットワークカメラ100のシステム制御部103で管理される。
情報テーブル1200は、各無線通信子機に対して、ID1201、デバイス名1202、機器種類1203、方角値、傾き値1204を含んでいる。なお、方角値、傾き値1204とは、ネットワークカメラ100の位置を基準とした子機の方向を規定する値を示している。方角値、傾き値1204は、センサ入力部112から得られたネットワークカメラ100の位置姿勢に基づき算出される「撮像部(レンズ)の向いている方角」に対応する値である。
具体的には、無線通信子機のネットワークカメラ100への登録処理を行うにあたって、予め、ネットワークカメラ100を無線通信子機の方向に向ける。つまり、撮像部101の撮影範囲の中心に無線通信子機が存在する状態にする。そして、登録処理を開始し、ネットワークカメラ100の「撮像部(レンズ)の向いている方角」を方角値、傾き値1204として登録する。なお、ここでは、方角値、傾き値1204は、センサ入力部112から得られたネットワークカメラ100の位置姿勢に基づき算出される「撮像部(レンズ)の向いている方角」とした。しかし、センサ入力部112から得られる値をそのまま保存する方法を用いても構わない。その場合、後述するS1301において「撮像部(レンズ)の向いている方角」が算出される。
<ネットワークカメラによる無線通信子機の制御>
図11は、第2実施形態に係るネットワークカメラの動作フローチャートである。図11に示す動作フローは、ネットワークカメラ100の位置姿勢またはズームを変化させた場合(PTZ動作を行った場合)に実行される。なお、一連のPTZ動作が行われている途中にPTZ動作が停止する度に実行してもよい。また、PTZ動作が停止して一定時間経過したあと(すなわち一連のPTZ動作が完了したあと)に行ってもよい。なお、第1実施形態(図5)とはS1301およびS1302が異なる。S803~S807については第1実施形態と同様であるため説明を省略する。
S1301では、システム制御部103は、撮影範囲(撮影画角)の4頂点の方角と傾きを算出する。これは、例えば、その時点でのセンサ入力部112の値から「撮像部(レンズ)の向いている方角」を方角値、傾き値を算出し、それにズーム設定値から算出される水平画角、垂直画角の情報を考慮して算出する。
図12は、ネットワークカメラによる撮影画像1500の例を示す図である。撮影画像1500には、無線通信子機1501が含まれている。ただし、S1301の時点では、撮影画像1500に無線通信子機1501が含まれていることをネットワークカメラ100はまだ認識していない。S1501では、システム制御部103は、撮影画像1500の4頂点の方角値と傾き値(D2,S2)、(D1,S2)、(D2,S1)、(D1,S1)を確認する。
たとえば、D1、D2、S1、S2は、撮影範囲の略中央1502に対応するレンズの方角値Dc、傾き値Scを用いて、以下の式で算出される。
D1 = Dc - 水平画角/2
D2 = Dc + 水平画角/2
S1 = Sc - 垂直画角/2
S2 = Sc + 垂直画角/2
S1302では、システム制御部103は、撮影範囲内にある子機の特定処理を行う。S803では、システム制御部103は、情報テーブル1200に登録されている子機すべてに対して、S1302の処理が実施されたかどうかを判断する。登録されている子機すべてに対してS1302の処理が実施された場合はS804へ進み、S1302の処理が実施されていない子機が残っている場合はS1302へ進む。すなわち、S1302の処理は、情報テーブル1200に登録されている子機すべてに対して実施されるまで繰り返し行われる。
図13は、子機特定処理(S1302)の詳細フローチャートである。以下では子機x(xは1~N)に対して処理を行うとして説明する。
S1401では、システム制御部103は、情報テーブル1200から子機xの方角値、傾き値(Dx,Sx)を取得する。すなわち、情報テーブル1200から子機xに対応する方角値、傾き値1204を読み出す。
S1402では、システム制御部103は、S1301で確認した方角値範囲(すなわちD1とD2の間)にDxが含まれるか否かを確認する。DxがD1とD2の間に含まれる場合はS1403へ進み、含まれない場合はS1405へ進む。
S1403では、システム制御部103は、S1301で確認した傾き値範囲(すなわちS1とS2の間)にSxが含まれるか否かを確認する。SxがS1とS2の間に含まれる場合はS1404へ進み、含まれない場合はS1405へ進む。
S1404では、システム制御部103は、子機xは撮影範囲内にあると判定する。一方、S1405では、システム制御部103は、子機xは撮影範囲外にあると判定する。
このように、予め情報テーブル1200に登録されている子機の方角値、傾き値を、撮影範囲の4頂点の方角値、傾き値と比較することで、子機が現在の撮影範囲内に存在するか否かを特定する。
以上説明したとおり第2実施形態によれば、ネットワークカメラ100は、予め登録された子機の方角値、傾き値を利用することにより、撮像画像内に含まれる子機を特定することが可能となる。それにより、撮影画像に子機の情報を重ね合わせて表示することが可能となる。さらに、撮像画像内に含まれる子機を選択的にスリープ解除することが出来、子機の情報として当該子機から取得した情報を併せて表示することが可能となる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100 ネットワークカメラ; 200 クライアント装置; 300 ネットワーク; 400 無線通信子機

Claims (12)

  1. 子機を制御する親機として動作する制御装置であって、
    撮像手段と、
    前記制御装置による制御対象である子機の子機情報を登録する登録手段と、
    前記登録手段により登録された子機情報に基づいて、前記撮像手段による撮影範囲内に存在する子機を特定する特定手段と、
    子機に対して制御を行う子機制御手段と、
    を有し、
    前記登録手段は、前記子機情報として、前記撮像手段の位置を基準とした子機の相対的な存在方向の情報を登録し、
    前記子機制御手段は、前記特定手段により撮影範囲内に前記子機が特定された場合、前記子機をスリープ状態から復帰させるための要求である復帰リクエストを前記子機に送信する
    ことを特徴とする制御装置。
  2. 前記撮像手段により撮像された映像を外部装置に出力する出力手段をさらに有し、
    前記出力手段は、前記撮像手段により撮像された映像に対して前記特定手段により特定された子機に関する情報を重ね合わせた映像を出力する
    ことを特徴とする請求項に記載の制御装置。
  3. 前記撮像手段により撮像された映像を外部装置に出力する出力手段をさらに有し、
    前記子機制御手段は、前記特定手段により特定された子機に対して該子機の状態に関する情報取得を行い、
    前記出力手段は、前記撮像手段により撮像された映像に対して前記子機制御手段による情報取得により得られた情報を重ね合わせた映像を出力する
    ことを特徴とする請求項に記載の制御装置。
  4. 前記撮像手段により撮像された映像を外部装置に出力する出力手段をさらに有し、
    前記出力手段は、前記撮像手段により撮像された映像と共に前記特定手段により特定された子機に関する情報をメタデータとして出力する
    ことを特徴とする請求項に記載の制御装置。
  5. 前記撮像手段により撮像された映像を外部装置に出力する出力手段をさらに有し、
    前記子機制御手段は、前記特定手段により特定された子機に対して該子機の状態に関する情報取得を行い、
    前記出力手段は、前記撮像手段により撮像された映像と共に前記子機制御手段による情報取得により得られた情報をメタデータとして出力する
    ことを特徴とする請求項に記載の制御装置。
  6. 前記登録手段は、登録対象の子機が前記撮像手段による撮影範囲の略中央に位置している場合に登録処理を実行し、該登録処理を実行した時点での前記撮像手段の位置を基準とした子機の相対的な存在方向の情報を登録する
    ことを特徴とする請求項1乃至の何れか1項に記載の制御装置。
  7. 前記撮像手段による撮影方向をパン方向およびチルト方向に駆動制御する駆動制御手段をさらに有し、
    前記登録手段は、前記子機情報として、前記駆動制御手段におけるパン方向およびチルト方向の値を登録する
    ことを特徴とする請求項1乃至の何れか1項に記載の制御装置。
  8. 前記撮像手段の位置姿勢を取得する位置姿勢取得手段をさらに有し、
    前記登録手段は、前記子機情報として、前記位置姿勢取得手段における位置姿勢の値を登録する
    ことを特徴とする請求項1乃至の何れか1項に記載の制御装置。
  9. 前記位置姿勢取得手段は、前記制御装置に内蔵されたおよび/または外付けの電子コンパスおよびエンコーダを含む
    ことを特徴とする請求項に記載の制御装置。
  10. 前記特定手段は、前記撮像手段の位置姿勢の変化が生じ撮影範囲が変化した場合に前記特定を実行する
    ことを特徴とする請求項1乃至の何れか1項に記載の制御装置。
  11. 撮像部を有し子機を制御する親機として動作する制御装置の制御方法であって、
    前記制御装置による制御対象である子機の子機情報を登録する登録工程と、
    前記登録工程により登録された子機情報に基づいて、前記撮像部による撮影範囲内に存在する子機を特定する特定工程と、
    子機に対して制御を行う子機制御工程と、
    を含み、
    前記登録工程では、前記子機情報として、前記撮像部の位置を基準とした子機の相対的な存在方向の情報を登録し、
    前記子機制御工程では、前記特定工程により撮影範囲内に前記子機が特定された場合、前記子機をスリープ状態から復帰させるための要求である復帰リクエストを前記子機に送信する
    ことを特徴とする制御方法。
  12. 請求項11に記載の制御方法をコンピュータに実行させるためのプログラム。
JP2021084817A 2021-05-19 2021-05-19 制御装置およびその制御方法 Active JP7733472B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021084817A JP7733472B2 (ja) 2021-05-19 2021-05-19 制御装置およびその制御方法
US17/726,581 US12096116B2 (en) 2021-05-19 2022-04-22 Control apparatus and method of controlling the same
EP22169898.8A EP4092630B1 (en) 2021-05-19 2022-04-26 Control apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021084817A JP7733472B2 (ja) 2021-05-19 2021-05-19 制御装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2022178205A JP2022178205A (ja) 2022-12-02
JP7733472B2 true JP7733472B2 (ja) 2025-09-03

Family

ID=81748286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021084817A Active JP7733472B2 (ja) 2021-05-19 2021-05-19 制御装置およびその制御方法

Country Status (3)

Country Link
US (1) US12096116B2 (ja)
EP (1) EP4092630B1 (ja)
JP (1) JP7733472B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163828A (ja) 2001-11-27 2003-06-06 Audio Technica Corp 会議施設におけるテレビカメラの遠隔制御方法
JP2012080236A (ja) 2010-09-30 2012-04-19 Hitachi Solutions Ltd 電子機器、情報付き撮像画面表示方法及びプログラム
JP2012119971A (ja) 2010-12-01 2012-06-21 Mitsubishi Electric Corp 監視映像表示装置
US20150102984A1 (en) 2011-09-21 2015-04-16 Google Inc. Wearable Computer with Superimposed Controls and Instructions for External Device
JP2019149718A (ja) 2018-02-27 2019-09-05 キヤノン株式会社 撮像装置およびその制御方法、監視システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886718B (zh) * 2016-01-20 2021-12-28 诺基亚通信公司 用于利用移动边缘计算的改进服务连续性的方法、装置和计算机程序产品
KR20170112797A (ko) 2016-04-01 2017-10-12 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
US10725629B2 (en) * 2018-06-25 2020-07-28 Google Llc Identifying and controlling smart devices
JP7366594B2 (ja) * 2018-07-31 2023-10-23 キヤノン株式会社 情報処理装置とその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163828A (ja) 2001-11-27 2003-06-06 Audio Technica Corp 会議施設におけるテレビカメラの遠隔制御方法
JP2012080236A (ja) 2010-09-30 2012-04-19 Hitachi Solutions Ltd 電子機器、情報付き撮像画面表示方法及びプログラム
JP2012119971A (ja) 2010-12-01 2012-06-21 Mitsubishi Electric Corp 監視映像表示装置
US20150102984A1 (en) 2011-09-21 2015-04-16 Google Inc. Wearable Computer with Superimposed Controls and Instructions for External Device
JP2019149718A (ja) 2018-02-27 2019-09-05 キヤノン株式会社 撮像装置およびその制御方法、監視システム

Also Published As

Publication number Publication date
EP4092630A1 (en) 2022-11-23
US20220377245A1 (en) 2022-11-24
JP2022178205A (ja) 2022-12-02
US12096116B2 (en) 2024-09-17
EP4092630B1 (en) 2025-04-23

Similar Documents

Publication Publication Date Title
US10757322B2 (en) Method of setting initial position of camera, camera, and camera system
US7616232B2 (en) Remote shooting system and camera system
US10200583B2 (en) System for mobile device with detachable camera and method of use thereof
US10148908B2 (en) Systems, methods, and media for modular cameras
CN106464782B (zh) 安装设备和成像单元
JP6785412B2 (ja) 無人航空機システム
CN106716989A (zh) 摄像装置、摄像方法及程序
US20150304574A1 (en) Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon
US20160198093A1 (en) Information processing apparatus, imaging apparatus, imaging system, control method of information processing apparatus, control method of imaging apparatus, and program
WO2017033619A1 (ja) 撮像システム及び撮像制御方法
KR20120065997A (ko) 전자 기기, 제어 방법, 프로그램 및 촬상 시스템
CN105723694A (zh) 成像系统、成像装置、信息处理装置及方法和程序
CN102668536A (zh) 控制装置、控制方法、图像捕获装置、程序和图像捕获系统
CN105143973B (zh) 摄像机用镜头的光圈装置及其控制方法
WO2018145261A1 (zh) 多功能相机及其控制方法、穿戴设备、云台、飞行器
CN102025912B (zh) 图像拍摄系统、设备和方法以及信息处理设备
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
JP7733472B2 (ja) 制御装置およびその制御方法
CN105594195B (zh) 信息处理装置、成像装置、成像系统、用于控制信息处理装置的方法、用于控制成像装置的方法和程序
JP7799467B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5427114B2 (ja) プロジェクタ装置
CN108574802B (zh) 图像取得装置、方法和系统、摄像装置和方法、记录介质
JP2024082117A (ja) 情報処理装置、撮像装置、撮像システム、方法、及びプログラム
JP2023168122A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
WO2023000336A1 (zh) 拍摄设备及系统、载体装置、控制系统、拓展部件

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250822

R150 Certificate of patent or registration of utility model

Ref document number: 7733472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150