JP2024082117A - 情報処理装置、撮像装置、撮像システム、方法、及びプログラム - Google Patents

Abstract

【課題】本発明は、画像種に応じて画像のオーバーレイ表示を適切に制御することでユーザの視認性を向上する情報処理装置を提供することを目的とする。【解決手段】画像に存在するデバイスの情報を取得する。前記デバイスの情報を、前記画像の種類に基づいて決定された情報粒度で表したオブジェクトを前記画像に重畳する。【選択図】図１

Description

本発明は、情報処理装置、撮像装置、撮像システム、方法、及びプログラムに関する。

近年、ネットワークや専用線を介して、遠隔操作によりカメラを制御し、映像を見ることができるネットワークカメラが知られている。ネットワークカメラのうち、全方位ミラー又は全周魚眼レンズを搭載した全方位カメラは、全周囲の景観を撮影する撮像装置である。全方位カメラは、単独で３６０度円環又は円形などの魚眼画像を撮影する。また、ネットワークカメラは、パン方向（水平方向）及びチルト方向（垂直方向）に回転可能な機構を有する。ネットワークカメラとして、カメラヘッド部が回転するＰＴ(パン・チルト)モデル及びズームが可能なモデルが存在する。これらのモデルでは、ユーザが遠隔操作により撮影方向や撮影画角を自在に変更することが可能となっている。また、複数のカメラを組み合わせた機構を有する多眼カメラも知られている。

ネットワークカメラは、ユーザが撮影画角を変更した際、撮影画面内に存在するカメラのスレーブデバイスの情報を映像に重畳して表示するオーバーレイ機能を有する。スレーブデバイスは温度センサなどである。オーバーレイ機能の一例として、スレーブデバイスが温度センサである場合、ネットワークカメラは温度センサから取得した温度情報を撮影した映像に重畳することができる。

例えば、特許文献１は、監視カメラが送出するビデオストリームに挿入されるオーバーレイの処理に関する方法を開示している。

特許第６８５４８４５号公報

しかしながら、特許文献１は、映像種別にかかわらずスレーブデバイスの情報を映像に重畳するため、魚眼画像又は多眼カメラによって広域を撮影した画像ではスレーブデバイスの情報の表示個数が多くなる。これにより、魚眼画像又は広域を撮影した画像の大部分にスレーブデバイスの情報が重畳して表示される。その結果、ユーザが俯瞰して監視領域を確認するための画像では、オーバーレイ表示（すなわち、スレーブデバイスの情報）がかえってユーザの監視の妨げになってしまうといった課題がある。

そこで、本発明は、画像種に応じて画像のオーバーレイ表示を適切に制御することでユーザの視認性を向上する情報処理装置を提供することを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る情報処理装置は、画像に存在するデバイスの情報を取得する取得手段と、前記デバイスの情報を、前記画像の種類に基づいて決定された情報粒度で表したオブジェクトを前記画像に重畳する重畳手段と、を備える、ことを特徴とする。

本発明によれば、画像種に応じて画像のオーバーレイ表示を適切に制御することでユーザの視認性を向上する情報処理装置を提供することができる。

第１実施形態に係る撮像システムの概要図。 第１実施形態に係る画像切出し処理の一例を説明する図。 ネットワークカメラの配信映像の一例を示した図。 無線通信子機の登録情報の一例を示すテーブル。 第１実施形態に係るネットワークカメラの映像配信処理を示すフローチャート。 ネットワークカメラが無線通信子機の情報を画像に重畳表示する処理を示すフローチャート。 無線通信子機の情報が表示された部分画像の一例を示す図。 無線通信子機のデバイス情報を表すアイコンの一例を示す図。 無線通信子機のデバイス情報を表示した魚眼画像の一例を示す図。 第２実施形態に係る撮像システムの概要図。 第２実施形態に係るネットワークカメラの外観を示す図。 無線通信子機の登録情報の一例を示すテーブル。 ネットワークカメラと無線通信子機との位置関係を説明する図。 クライアント装置の表示部に表示される画面の一例を示す図。 第２実施形態に係るネットワークカメラの映像配信処理を示すフローチャート。 映像配信時にクライアント装置の表示部に表示される画面の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

第１、２実施形態は、撮像手段を有するネットワークカメラを例に説明するが、例えば、放送目的の映像及び映画、並びに個人的な趣味の映像を撮像する撮像手段を有するカメラにも適用可能である。

（第１実施形態）
図１は、第１実施形態に係る撮像システムの概要図を示す。撮像システムは、ネットワークカメラ１００、クライアント装置２００、ネットワーク３００、及び無線通信子機４００を備える。

図１を参照して、ネットワークカメラ１００の各部構成と機能について説明する。ネットワークカメラ１００は、撮像部１０１、画像処理部１０２、システム制御部１０３、レンズ駆動部１０４、レンズ制御部１０５、通信部１０６、及び無線通信制御部１０７を有している。

撮像部１０１は、レンズを通して結像した光を撮像素子において受光して、受光した光を電荷に変換して撮像信号を生成する。撮像素子は、例えば、ＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を含む。

画像処理部１０２は、撮像部１０１で変換された撮像信号をデジタル化して画像データを生成する。その際、画像処理部１０２は、画像データの画質（例えば、ひずみ）を補正するための種々の画像処理も行う。画像処理部１０２は、更に、画像データを圧縮符号化し、圧縮符号化された画像データを生成することができる。

システム制御部１０３は、ネットワークカメラ１００の内部に設けてもよいし、ネットワークカメラ１００とは独立して構成されてもよい。システム制御部１０３をネットワークカメラ１００の外部装置とする場合、システム制御部１０３とネットワークカメラ１００は、互いに通信可能に構成されてもよい。

レンズ駆動部１０４は、フォーカスレンズ及びズームレンズの駆動系及びそれらの駆動源のモータを備える。フォーカスレンズ及びズームレンズの動作は、レンズ制御部１０５により制御される。

レンズ制御部１０５は、フォーカスレンズ及びズームレンズの駆動指示に基づいて、レンズ駆動部１０４の制御を行う。

通信部１０６は、画像処理部１０２によって生成された画像データに基づく映像ストリームを、クライアント装置２００に送信する。なお、画像データは、例えば、動画の画像データである。また、通信部１０６は、クライアント装置２００から送信されるコマンドを受信し、コマンドをシステム制御部１０３へ伝送する。また、通信部１０６は、コマンドに対するレスポンスをシステム制御部１０３の制御に従って、クライアント装置２００へ送信する。このように、システム制御部１０３は、通信制御手段としても機能する。

ここで、システム制御部１０３は、通信部１０６が受信したコマンドを解析し、コマンドに応じた処理を行う。例えば、システム制御部１０３は、コマンドに応じて、画像処理部１０２に対して画質の調整を実行させる。システム制御部１０３は、画像処理部１０２に対して画質調整の指示を行い、レンズ制御部１０５に対してズーム及びフォーカス制御の指示を行う。

無線通信制御部１０７は、無線通信規格に応じてデータ及び制御用コマンド等の送受信を行い、アンテナ１０８を使用してデータ及び制御用コマンド等を変復調した電波を送受信する。システム制御部１０３は、無線通信制御部１０７を介して、無線通信子機４００とデータ及び制御用コマンド等のやり取りを行い、無線通信子機４００に対して情報の取得及び設定等の処理を行う。

次に、図１を参照して、クライアント装置２００の各部構成と機能について説明する。

クライアント装置２００は、例えば、パーソナルコンピュータ（ＰＣ）等のコンピュータである。クライアント装置２００は、表示部２０１、入力部２０２、システム制御部２０３、及び通信部２０４を備える。

表示部２０１は、ネットワークカメラ１００から受信した画像データに基づく映像、及び、カメラ制御を行うためのグラフィックユーザインターフェース（以下、ＧＵＩと称する）を表示する。表示部２０１は、例えば、液晶パネル及び有機ＥＬパネルである。表示部２０１による表示は、システム制御部２０３による制御に従って行われる。

入力部２０２は、例えば、キーボード及びマウスである。ユーザは、入力部２０２を介してＧＵＩに対する操作を行う。なお、入力部２０２は、表示画面と操作部を備えたタッチパネルであっても良い。

システム制御部２０３は、ユーザの操作に応じてコマンドを生成し、通信部２０４を介して、ネットワークカメラ１００へコマンドを送信する。また、システム制御部２０３は、通信部２０４を介して受信したネットワークカメラ１００からの画像データを表示部２０１に表示させる。このように、システム制御部２０３は、通信制御手段及び表示制御手段として機能する。

クライアント装置２００は、ネットワーク３００を介して、ネットワークカメラ１００から画像データを取得することができる。また、クライアント装置２００は、ネットワーク３００を介して、コマンドを送信することでネットワークカメラ１００を制御することができる。

次に、図１を参照して無線通信子機４００について説明する。

無線通信子機４００は、例えば、センサ機能と通信機能を有し、センサにより取得したデータを親機として動作するネットワークカメラ１００に送信する。なお、無線通信子機４００は、ネットワークカメラ１００以外にクライアント装置２００及びサーバー（不図示）に対してセンサにより取得したデータを取得しても良い。センサは、例えば、気圧計、人感センサ、温度計、照度センサ、及び湿度計であるが、これらに限定されず、環境情報等を取得可能なあらゆるセンサを含むことができる。

無線通信子機４００は、バッテリで駆動し、バッテリを装着して起動した時に親機（例えば、ネットワークカメラ１００）への登録処理を行う。また、無線通信子機４００は、バッテリで駆動されなくてもよく、例えば、家庭用電源等を用いて駆動してもよい。すなわち、無線通信子機４００は、外部から何らかの手段で電力供給を受けた際に親機への登録処理を行ってもよい。無線通信子機４００は、予め定義された通信タイムアウト時間の間に、親機との通信が行われない場合に機能制限したスリープ状態になる。無線通信子機４００のネットワークカメラ１００への登録処理は、バッテリ装着による起動時以外に、無線通信子機４００が備えるボタンの押下時に開始するように構成されてもよい。図１ではスレーブデバイスは無線通信方式（例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、公知の無線通信規格に準拠）の無線通信子機４００であるが、これに限られない。スレーブデバイスは、例えば、ネットワークカメラ１００と有線（例えば、ＬＡＮケーブル）で接続された子機であってもよい。

図２は、第１実施形態に係る画像切出し処理の一例を説明する図である。

各実施形態における部分画像（切出し画像）は、撮像画像の一部分に対応する画像である。撮像画像から部分画像を取得する方法は、種々の方法を含む。ネットワークカメラ１００は、例えば、撮像素子からのデータの読み出しを制御することによって部分画像を取得することができる。あるいは、ネットワークカメラ１００は、画像データを生成し、生成した画像データから部分画像を生成してもよい。このように、部分画像は、撮像画像における部分的な領域に対応する画像である。

図２は、魚眼画像４１０、魚眼画像上での画像切出し位置４０１と画像切出し位置４０２を示す。部分画像４０３は、魚眼画像４１０の画像切出し位置４０１で切り出してデワープした画像である。部分画像４０４は、魚眼画像４１０の画像切出し位置４０２で切り出してデワープした画像である。デワープとは、魚眼画像４１０のひずみ及び傾きを調整し、最適なアングルに変換表示する機能である。ネットワークカメラ１００は、画像切り出し位置４０１と画像切り出し位置４０２のように、魚眼画像４１０から複数の異なる部分領域の画像を同時に切り出して、切り出した画像を送信することができる。なお、ネットワークカメラ１００は、切り出される前の画像（被切出し画像、すなわち魚眼画像４１０）も送信及び記録することができる。また、ネットワークカメラ１００は、複数の異なる部分領域の画像及び被切出し画像（魚眼画像４１０）を同時に送信及び記録することもできる。被切出し画像（魚眼画像４１０）は、撮像部１０１によって撮像された画像であってもよいし、撮像部１０１によって撮像された画像の周辺部分を除いた領域の画像であってもよい。

図３は、ネットワークカメラの配信映像の一例を示した図である。

ネットワークカメラ１００が生成する映像は、魚眼画像５００、魚眼画像５００をデワープして生成された、ダブルパノラマ画像５０１及びクワッドパノラマ画像５０２を含む。ここで、本明細書等では、撮像対象を広角で撮像した画像は、魚眼画像５００、俯瞰画像、及び後述の各固定カメラ撮像部１０９により撮像された複数の画像を合成した全方位画像を含む。ダブルパノラマ画像５０１及びクワッドパノラマ画像５０２は、撮像対象の全体を俯瞰した俯瞰画像である。また、ネットワークカメラ１００が生成する映像は、図２で説明した通り、部分画像４０３及び部分画像４０４を含む。ネットワークカメラ１００は、通信部１０６を介して、上記で生成した映像をクライアント装置２００又は他の外部装置（不図示）に出力（すなわち、配信）することができる。

図４は、無線通信子機の登録情報の一例を示すテーブルである。

ネットワークカメラ１００は、無線通信子機４００の情報を登録した後、無線通信機器の情報テーブル６００を保持する。情報テーブル６００は、ＩＤ６０１、デバイス名６０２、機器種類６０３、及び座標６０４を含む。

ＩＤ６０１は、無線通信機器の登録番号であり、例えば、１、２、９、Ｎ－１、Ｎ（正の整数）で表される。

デバイス名６０２は、無線通信機器の製品名及び型番等であり、例えば、○○、▲▲、××で表される。

機器種類６０３は、無線通信機器の具体的な用途を表し、例えば、気圧計、人感センサ、温度計、照度センサ、及び湿度計を含む。

座標６０４は、ネットワークカメラ１００が撮像した魚眼画像４１０上の無線通信機器の座標（すなわち、位置）を示す。座標６０４は、例えば、（１００、４００）、（２００、３００）、（６００、６００）、（７００、９００）、（１０００、５００）で表される。

ネットワークカメラ１００は、無線通信子機４００の登録時に、座標６０４に無線通信子機４００の座標を保存する。本実施形態では、座標６０４は、魚眼画像４１０の左上（不図示）を原点とした場合のピクセル座標を示す。なお、他の実施形態の座標６０４は、魚眼画像４１０の中心を原点とした場合のピクセル座標であってもよい。座標６０４は、上記で説明した座標の形態に限定されるものではなく、任意の座標系で表されてもよい。

図５は、第１実施形態に係るネットワークカメラの映像配信処理を示すフローチャートである。本処理は、ネットワークカメラ１００のＣＰＵ（不図示）が記憶部（不図示）のプログラムを実行することで実現する。図５の処理の主体はネットワークカメラ１００であるが、クライアント装置２００がネットワークカメラ１００の代替として映像配信処理を行っても良い。

Ｓ７０１でシステム制御部１０３は、撮像部１０１が撮像した映像の映像種別が魚眼画像であるか否かを判定する。例えば、システム制御部１０３は、ネットワークカメラ１００の記憶部（不図示）から撮像部１０１のレンズの設定情報を取得し、レンズの設定情報が「魚眼レンズ」である場合、映像種別が魚眼画像であると判定できる。あるいは、システム制御部１０３は、クライアント装置２００から取得した映像配信設定が魚眼画像である場合、映像種別が魚眼画像であると判定してもよい。なお、映像種別が魚眼画像であるか否かを判定する方法は上記の方法に限られず、映像を画像解析することで映像が魚眼画像であるか否かを判定してもよい。システム制御部１０３は、撮像部１０１が撮像した映像が魚眼画像４１０であると判定した場合（Ｓ７０１でＹｅｓ）、処理はＳ７０２へ進む。一方で、システム制御部１０３は、撮像部１０１が撮像した映像が魚眼画像４１０ではないと判定した場合（Ｓ７０１でＮｏ）、処理はＳ７０３へ進む。ここで、Ｓ７０１及び後述のＳ７０３の処理は、映像種別に応じて映像に重畳する無線通信子機４００の情報をどのレベル（すなわち、情報粒度）で表示するかを判定するための処理である。ちなみに、情報粒度が高い情報は、無線通信子機４００の情報において上位レベルの情報のことを指し、例えば、無線通信子機４００の種別を表す情報である。一方で、情報粒度が低い情報は、無線通信子機４００の情報において下位レベルの情報のことを指し、例えば、無線通信子機４００によって測定された周辺環境の測定情報（例えば、温度、湿度）である。なお、情報粒度が高い情報と情報粒度が低い情報は、ユーザによって予め設定されていても良い。

Ｓ７０２でシステム制御部１０３は、登録中の無線通信子機４００の魚眼画像４１０上の位置（座標６０４）及び種別（機器種類６０３）を確認する。あるいは、システム制御部１０３は、情報テーブル６００を参照して登録済みの無線通信子機４００の位置及び種別を取得してもよい。

Ｓ７０３でシステム制御部１０３は、撮像部１０１が撮像した映像が俯瞰画像であるか否かを判定する。例えば、システム制御部１０３は、クライアント装置２００から取得した映像配信設定が俯瞰画像（具体的には、ダブルパノラマ画像５０１又はクワッドパノラマ画像５０２）である場合、映像種別が俯瞰画像であると判定してもよい。なお、映像種別が俯瞰画像であるか否かを判定する方法は上記の方法に限られず、システム制御部１０３は、映像を画像解析することで映像が俯瞰画像であるか否かを判定してもよい。システム制御部１０３は、撮像部１０１が撮像した映像が俯瞰画像（例えば、ダブルパノラマ画像５０１又はクワッドパノラマ画像５０２）であると判定した場合（Ｓ７０３でＹｅｓ）、処理はＳ７０２へ進む。一方で、システム制御部１０３は、撮像部１０１が撮像した映像が俯瞰画像ではない（すなわち、部分画像である）と判定した場合（Ｓ７０３でＮｏ）、処理はＳ７０４へ進む。

Ｓ７０４でシステム制御部１０３は、ＰＴＺオーバーレイ表示を行う。ＰＴＺオーバーレイ表示のサブルーチンについて、図６のフローチャートを用いて説明する。

図６は、ネットワークカメラが無線通信子機の情報を画像に重畳表示する処理を示すフローチャートである。

Ｓ８０１でシステム制御部１０３は、後述の部分画像９００の４頂点（例えば、左下、左上、右下、右上）の座標を確認する。

Ｓ８０２でシステム制御部１０３は、部分画像９００に無線通信子機４００が存在するか否かを判定する。例えば、システム制御部１０３は、情報テーブル６００に登録済みの無線通信子機４００の位置（すなわち、座標）が部分画像９００にあるか否かに基づいて、無線通信子機４００が存在するか否かを判定してもよい。システム制御部１０３は、部分画像９００に無線通信子機４００が存在すると判定した場合（Ｓ８０２でＹｅｓ）、処理はＳ８０３へ進む。一方で、システム制御部１０３は、部分画像９００に無線通信子機４００が存在しないと判定した場合（Ｓ８０２でＮｏ）、処理は終了する。

Ｓ８０３でシステム制御部１０３は、部分画像９００に存在する無線通信子機４００（ここでは、後述の無線通信子機９０１）の情報を取得する。具体的には、システム制御部１０３は、無線通信子機９０１に対して状態を問い合わせることで無線通信子機９０１の情報（例えば、無線通信子機９０１のＩＤ等の固有情報及び計測済みの温度情報）を取得してもよい。あるいは、システム制御部１０３は、記憶部（不図示）から予め保存している無線通信子機９０１の登録情報を取得してもよい。

Ｓ８０４でシステム制御部１０３は、部分画像９００に無線通信子機９０１が保持する情報を重畳して表示する。ここで、無線通信子機９０１が保持する情報は、温度情報であるため、情報粒度が低い情報である。

図７は、無線通信子機の情報が表示された部分画像の一例を示す図である。

図７でシステム制御部１０３は、部分画像９００の情報表示部９０２に無線通信子機９０１から取得した情報を表示している。ここで、無線通信子機９０１は温度計であるため、情報表示部９０２では温度情報（「thermometer ２３℃」と図示）が表示されている。

以上のＰＴＺオーバーレイ表示のサブルーチンが終了すると、図５のフローに戻り、処理を終了する。

Ｓ７０５でシステム制御部１０３は、ネットワークカメラ１００に登録されている無線通信子機４００の個数を、情報テーブル６００を参照することで確認する。システム制御部１０３は、登録されている無線通信子機４００の個数が複数である（例えば、閾値以上である）と判定した場合（Ｓ７０５でＹｅｓ）、処理はＳ７０６へ進む。一方で、システム制御部１０３は、登録されている無線通信子機４００の個数が複数ではない（例えば、閾値未満である）と判定した場合（Ｓ７０５でＮｏ）、処理はＳ７０７へ進む。なお、無線通信子機４００の個数の閾値は、ユーザの視認性を考慮した上で任意に設定された値であって良い。

Ｓ７０６でシステム制御部１０３は、配信映像（魚眼画像４１０、ダブルパノラマ画像５０１又はクワッドパノラマ画像５０２）にＳ７０２で確認した位置（座標６０４）に無線通信子機４００の簡易なデバイス情報を示す簡易オブジェクトを重畳する。簡易なデバイス情報は、上記で説明した通り情報粒度が高い情報のことであり、例えば、無線通信子機４００の種別を示す情報のことである。

図８は、無線通信子機のデバイス情報を表すアイコンの一例を示す図である。

図８で温度センサアイコン１００１、ドアセンサアイコン１００２、湿度センサアイコン１００３は、無線通信子機４００の種類（種別）に応じたアイコンである。

図９は、無線通信子機のデバイス情報を表示した魚眼画像の一例を示す図である。

魚眼画像５００では、温度センサアイコン１００１、ドアセンサアイコン１００２、及び湿度センサアイコン１００３が重畳表示されている。図９では、無線通信子機４００のデバイス情報としてアイコンが魚眼画像５００に表示されているが、これに限定されることはない。例えば、システム制御部１０３は、無線通信子機４００のデバイス種別を示す文字列を魚眼画像５００に重畳表示してもよい。

Ｓ７０７でシステム制御部１０３は、配信映像（魚眼画像４１０、ダブルパノラマ画像５０１、又はクワッドパノラマ画像５０２）のＳ７０２で確認した位置（座標６０４）に、無線通信子機４００の詳細なデバイス情報を示す詳細オブジェクトを重畳する。無線通信子機４００の詳細なデバイス情報は、情報粒度が低い情報のことであり、例えば、図７の情報表示部９０２に示すような温度計の測定情報のことである。なお、システム制御部１０３は、Ｓ７０５～Ｓ７０７の処理を、部分画像９００に対して実行しても良い。これにより、部分画像９００上の無線通信子機４００の個数に応じた情報粒度の無線通信子機４００の情報を表す簡易オブジェクト又は詳細オブジェクトが部分画像９００に表示される。そのため、ユーザは部分画像９００を確認しながら円滑な監視業務を実行することができる。

以上の通り、第１実施形態は、撮影範囲の広い俯瞰画像（魚眼画像及びパノラマ画像等）に対して無線通信子機の簡易オブジェクトを、撮影範囲の狭い画像（部分画像等）に対して無線通信子機の詳細オブジェクトを重畳表示する。これにより、第１実施形態は、配信映像の種類・特性に応じたオーバーレイ表示を行うことができ、ユーザは監視業務を円滑に行うことができる。

（第２実施形態）
第１実施形態は、全方位カメラ（ネットワークカメラ）が撮像した画像に対してＰＴＺオーバーレイ表示する方法について説明したが、これに限られない。例えば、本発明は、複数のカメラ（撮像部）を備える多眼カメラに対しても適用可能である。第２実施形態では、多眼カメラが撮像した画像に対してＰＴＺオーバーレイ表示する方法について説明する。なお、第２実施形態は、第１実施形態との差分について説明する。

図１０は、第２実施形態に係る撮像システムの概要図を示す。

ネットワークカメラ１１００は、４つの固定カメラ撮像部１０９、ＰＴＺカメラ撮像部１１０、画像処理部１０２、システム制御部１０３、レンズ駆動部１０４、レンズ制御部１０５、通信部１０６、及び無線通信制御部１０７を備える。

固定カメラ撮像部１０９は、固定レンズと撮像素子とを有する。各固定カメラ撮像部１０９は、各固定カメラ撮像部１０９によって撮像された各画像を合成した全方位画像を得るために、所定の位置（図１１を参照）に設置される。各固定カメラ撮像部１０９は、固定された撮像範囲をそれぞれ撮像する。

ＰＴＺカメラ撮像部１１０は、ズームレンズと撮像素子とを有し、パン、チルト及びズームの制御が可能なカメラである。すなわち、ＰＴＺカメラ撮像部１１０による撮像範囲は変更することができる。ＰＴＺカメラ撮像部１１０は、クライアント装置２００から受信した制御指示に従い、ズームレンズ及び駆動モータの制御を行う。ここで、ＰＴＺカメラ撮像部１１０は、撮像範囲を変更可能な撮像部の一例である。以下、パン、チルト及びズームの制御をＰＴＺ制御と称する。

固定カメラ撮像部１０９及びＰＴＺカメラ撮像部１１０は、レンズを通して結像した光を撮像素子において受光し、受光した光を電荷に変換して撮像信号を生成する。撮像素子は、例えば、ＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を含む。

画像処理部１０２は、各固定カメラ撮像部１０９により撮像された複数の撮像画像を、１枚の全方位画像（パノラマ画像）に合成する。なお、各固定カメラ撮像部１０９の撮像範囲は、互いに異なるものとする。ここで、「撮像範囲が互いに異なる」とは、互いの撮像範囲のうち一部のみが重なる場合も含むことを意味する。

図１１は、第２実施形態に係るネットワークカメラの外観を示す図である。

ネットワークカメラ１１００は、天井に設置されているものとする。また、各固定カメラ撮像部１０９は、全方位の撮像範囲をカバーするために、周方向（ＰＴＺカメラ撮像部１１０のチルト方向に相当する）に一定間隔おきにそれぞれ設置されている。さらに、ＰＴＺカメラ撮像部１１０は、４つの固定カメラ撮像部１０９に囲まれるように、中央に設置されている。

図１２は、無線通信子機の登録情報の一例を示すテーブルである。

ネットワークカメラ１１００は、無線通信機器の情報テーブル１２００を保持する。値１２０１は、ネットワークカメラ１１００のパン及びチルト座標の値を示す。ネットワークカメラ１１００は、ＰＴＺカメラ撮像部１１０の撮影範囲の中心に無線通信子機４００を表示した状態で、無線通信子機４００の情報を登録する。そして、ネットワークカメラ１１００は、上記の状態におけるパン及びチルト座標の値を値１２０１に保存する。

図１３は、ネットワークカメラと無線通信子機との位置関係を説明する図を示す。

図１３では、無線通信子機１３００は、ネットワークカメラ１１００のパン・チルト座標（４５,４５）の位置に存在する。無線通信子機１３００は、図１２の情報テーブル１２０２のＩＤ６０１の「９」のデバイスに対応する。

図１４は、クライアント装置の表示部に表示される画面の一例を示す図である。

表示画面１４００には、ネットワークカメラ１１００が撮像した画像を表示する２つの領域が設けられている。領域１４０１には、各固定カメラ撮像部１０９により撮像された複数の画像を合成した全方位画像が表示される。また、領域１４０２には、ＰＴＺカメラ撮像部１１０により撮像された画像が表示される。

図１５は、第２実施形態に係るネットワークカメラの映像配信処理を示すフローチャートである。本処理は、ネットワークカメラ１１００のＣＰＵ（不図示）が記憶部（不図示）のプログラムを実行することで実現する。図１５の処理の主体はネットワークカメラ１１００であるが、クライアント装置２００がネットワークカメラ１１００の代替として映像配信処理を行っても良い。

Ｓ１５０１でシステム制御部１０３は、ネットワークカメラ１１００が撮像した映像の映像種別が全方位画像であるか否かを判定する。例えば、システム制御部１０３は、クライアント装置２００から取得した映像配信設定が全方位画像である場合、映像種別が全方位画像であると判定することができるが、この判定方法に限定されるものではない。システム制御部１０３は、ネットワークカメラ１１００が撮像した映像の映像種別が全方位画像であると判定した場合（Ｓ１５０１でＹｅｓ）、処理はＳ７０２に進む。一方で、システム制御部１０３は、ネットワークカメラ１１００が撮像した映像の映像種別が全方位画像ではないと判定した場合（Ｓ１５０１でＮｏ）、処理はＳ７０４に進む。

図１６は、映像配信時にクライアント装置の表示部に表示される画面の一例を示す図である。

領域１４０１には、温度センサアイコン１００１、ドアセンサアイコン１００２、及び湿度センサアイコン１００３が重畳表示されている。無線通信子機のデバイス情報をアイコンで表示する例を説明したが、これに限定されず、例えば、無線通信子機のデバイス種別を示す文字列を映像に重畳表示する方法が採用されてもよい。一方で、領域１４０２には、図７の情報表示部９０２と同様に無線通信子機から取得した詳細なデバイス情報が表示されている。

以上の通り、第２実施形態は、全方位画像などの俯瞰画像に対して無線通信子機の簡易オブジェクトを重畳表示し、ＰＴＺカメラによって撮像された画像などの撮影範囲の狭い画像に対して無線通信子機の詳細オブジェクトを重畳表示する。これにより、第２実施形態は、配信映像の特性に応じたオーバーレイ表示を行うことができ、ユーザは監視業務を円滑に行うことができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の情報処理、撮像装置、撮像システム、方法、及びプログラムを含む。
（項目１）
画像に存在するデバイスの情報を取得する取得手段と、
前記デバイスの情報を、前記画像の種類に基づいて決定された情報粒度で表したオブジェクトを前記画像に重畳する重畳手段と、を備える、
ことを特徴とする情報処理装置。
（項目２）
前記重畳手段は、前記画像の種類が前記デバイスの広角画像である場合、前記デバイスの情報を表す簡易オブジェクトを前記画像に重畳し、前記画像の種類が前記広角画像より狭い画角の画像である場合、前記デバイスの情報を前記簡易オブジェクトより低い情報粒度で表した詳細オブジェクトを前記画像に重畳する、
ことを特徴とする項目１に記載の情報処理装置。
（項目３）
前記重畳手段は、前記画像に存在するデバイスの数に基づいて、前記簡易オブジェクト又は前記詳細オブジェクトを前記画像に重畳する、
ことを特徴とする項目２に記載の情報処理装置。
（項目４）
前記簡易オブジェクトは、前記デバイスの種別に関する情報を示す、
ことを特徴とする項目２又は３に記載の情報処理装置。
（項目５）
前記詳細オブジェクトは、前記デバイスの測定情報を示す、
ことを特徴とする項目２から４のいずれか一項目に記載の情報処理装置。
（項目６）
前記取得手段によって取得された前記デバイスの情報は前記デバイスの位置情報を含み、又は、前記情報処理装置は、前記デバイスの位置情報を予め保持し、
前記重畳手段は、前記オブジェクトを前記画像において前記位置情報が示す位置に重畳する、
ことを特徴とする項目１から５のいずれか一項目に記載の情報処理装置。
（項目７）
前記重畳手段の重畳結果を出力する出力手段を備える、
ことを特徴とする項目１から６のいずれか一項目に記載の情報処理装置。
（項目８）
前記デバイスは、気圧計、人感センサ、温度計、照度センサ、及び湿度計の少なくともいずれかを含む、
ことを特徴とする項目１から７のいずれか一項目に記載の情報処理装置。
（項目９）
前記デバイスの広角画像は、魚眼画像、俯瞰画像、及び全方位画像のいずれかである、
ことを特徴とする項目２に記載の情報処理装置。
（項目１０）
被写体を撮像する撮像手段と、
項目１から９のいずれか一項目に記載の情報処理装置と、を備える、
ことを特徴とする撮像装置。
（項目１１）
被写体を撮像する撮像装置と、
前記撮像装置を制御する、項目１から９のいずれか一項目に記載の情報処理装置と、
前記撮像装置と通信し、環境情報を取得するデバイスと、を備える、
ことを特徴とする撮像システム。
（項目１２）
画像に存在するデバイスの情報を取得する取得工程と、
前記デバイスの情報を、前記画像の種類に基づいて決定された情報粒度で表したオブジェクトを前記画像に重畳する重畳工程と、を備える、
ことを特徴とする方法。
（項目１３）
コンピュータを項目１から９のいずれか一項目に記載の情報処理装置として機能させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００ ネットワークカメラ
２００ クライアント装置
１０３，２０３ システム制御部
１０１ 撮像部
１０６ 通信部
１０７ 無線通信制御部
１０９ 固定カメラ撮像部
１１０ ＰＴＺカメラ撮像部
４００ 無線通信子機

Claims (13)

1. 画像に存在するデバイスの情報を取得する取得手段と、
   前記デバイスの情報を、前記画像の種類に基づいて決定された情報粒度で表したオブジェクトを前記画像に重畳する重畳手段と、を備える、
   ことを特徴とする情報処理装置。
2. 前記重畳手段は、前記画像の種類が前記デバイスの広角画像である場合、前記デバイスの情報を表す簡易オブジェクトを前記画像に重畳し、前記画像の種類が前記広角画像より狭い画角の画像である場合、前記デバイスの情報を前記簡易オブジェクトより低い情報粒度で表した詳細オブジェクトを前記画像に重畳する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記重畳手段は、前記画像に存在するデバイスの数に基づいて、前記簡易オブジェクト又は前記詳細オブジェクトを前記画像に重畳する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記簡易オブジェクトは、前記デバイスの種別に関する情報を示す、
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記詳細オブジェクトは、前記デバイスの測定情報を示す、
   ことを特徴とする請求項２に記載の情報処理装置。
6. 前記取得手段によって取得された前記デバイスの情報は前記デバイスの位置情報を含み、又は、前記情報処理装置は、前記デバイスの位置情報を予め保持し、
   前記重畳手段は、前記オブジェクトを前記画像において前記位置情報が示す位置に重畳する、
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記重畳手段の重畳結果を出力する出力手段を備える、
   ことを特徴とする請求項１に記載の情報処理装置。
8. 前記デバイスは、気圧計、人感センサ、温度計、照度センサ、及び湿度計の少なくともいずれかを含む、
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記デバイスの広角画像は、魚眼画像、俯瞰画像、及び全方位画像のいずれかである、
   ことを特徴とする請求項２に記載の情報処理装置。
10. 被写体を撮像する撮像手段と、
    請求項１から９のいずれか一項に記載の情報処理装置と、を備える、
    ことを特徴とする撮像装置。
11. 被写体を撮像する撮像装置と、
    前記撮像装置を制御する、請求項１から９のいずれか一項に記載の情報処理装置と、
    前記撮像装置と通信し、環境情報を取得するデバイスと、を備える、
    ことを特徴とする撮像システム。
12. 画像に存在するデバイスの情報を取得する取得工程と、
    前記デバイスの情報を、前記画像の種類に基づいて決定された情報粒度で表したオブジェクトを前記画像に重畳する重畳工程と、を備える、
    ことを特徴とする方法。
13. コンピュータを請求項１から９のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

Images