JP5865052B2 - 画像表示装置、画像表示装置の制御方法、およびプログラム - Google Patents

Description

本発明は、画像表示装置、画像表示装置の制御方法、およびプログラムに関する。

雲台付きカメラを公衆エリアに設置して撮影を行う場合、個人の住宅等が撮影可能範囲にあるとプライバシー侵害の問題が生じる。そこで、プライバシー保護のために雲台の可動範囲を制限する技術や、特許文献１に記載のように、プライバシーエリアにマスクデータを合成する技術が知られている。

一方、カメラが現在撮影している場所をユーザに直感的に理解させるために、特許文献２に記載のように、雲台の可動範囲に渡って撮影を行ってパノラマ画像を生成し、生成されたパノラマ画像に現在の撮影範囲を重畳する技術が知られている。

特開２００１−６９４９４号公報 特開平８−２２３４６６号公報

しかしながら、マスクデータを設定するためにパノラマ画像を表示する場合、全てのプライバシーエリアに適切にマスクデータが設定されたか否かを容易に判断できないという課題がある。

上記の課題に鑑み、本発明は、プライバシーマスクを設定する際に、撮影可能範囲の見せたくない全てのプライバシーエリアに適切にマスクデータが設定されたことを容易に確認できるようにすることを目的とする。

上記の目的を達成する本発明に係る画像表示装置は、
カメラから取得した画像を表示する画像表示装置であって、
前記カメラのパン・チルト・ズーム制御を行うユーザ指示を受け付けて、前記カメラの可動範囲内の撮影位置を操作する操作手段と、
前記撮影位置における前記カメラの現在の撮影画像を表示する画像表示手段と、
前記カメラにより撮影された複数の撮影画像から生成された広域画像を表示する広域画像表示手段と、
前記画像表示手段により表示されている現在の撮影画像に対するマスクの追加指示を受け付ける受付手段と、
前記追加指示に応じて、前記画像表示手段により表示されている現在の撮影画像に対するマスクの追加位置及びサイズに対応する位置及びサイズで、前記広域画像表示手段により表示されている広域画像にマスクを合成するマスク合成手段と、
を備えることを特徴とする。

本発明によれば、プライバシーマスクを設定する際に、撮影可能範囲の見せたくない全てのプライバシーエリアに適切にマスクデータが設定されたことを容易に確認できる。

第１実施形態に係るカメラ制御システムのブロック図。 第１実施形態に係るパノラマ撮影処理の手順を示すフローチャート。 第１実施形態に係るプライバシーマスク設定時のパノラマ画像生成処理の手順を示すフローチャート。 第１実施形態に係るプライバシーマスク設定クライアントの画面表示例を示す図。 第２実施形態に係るカメラ制御システムのブロック図。 第２実施形態に係るパノラマ撮影処理の手順を示すフローチャート。 第２実施形態に係るプライバシーマスク設定時のパノラマ画像生成処理の手順を示すフローチャート。 第２実施形態に係るカメラ制御システムのブロック図。 第３実施形態に係るパノラマ撮影処理の手順を示すフローチャート。 第３実施形態に係るプライバシーマスク設定時のパノラマ画像生成処理の手順を示すフローチャート。

（第１実施形態）
図１を参照して、第１実施形態に係るカメラ制御システムを説明する。カメラ制御システムは、カメラサーバ１と、パノラマ撮影クライアント２と、プライバシーマスク設定クライアント３とを備え、それぞれがネットワーク４を介して接続されている。ネットワーク４に接続される構成要素の数に制限はないが、説明の簡略化のため各々１台ずつであると仮定する。ネットワーク４に関しても、後で述べるカメラ制御信号、圧縮した画像信号を伝達するのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでもよい。なお、ここではネットワークプロトコルとしてＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを仮定し、以下アドレスといった場合にはＩＰアドレスを指すこととする。また、カメラサーバ１、パノラマ撮影クライアント２、プライバシーマスク設定クライアント３にはそれぞれＩＰアドレスが割り当てられているものとする。

カメラサーバ１は、撮影部１１と、雲台１２と、撮影・雲台制御部１３と、通信制御部１４と、プライバシーマスク合成部１５と、画像圧縮部１６と、コマンド解釈部１７と、記憶部１８を備える。カメラサーバ１は、通信制御部１４がクライアントから受信したコマンドに応じて、ネットワーク４を介して画像データを配信するともに、各種カメラ制御を実行する。

撮影部１１は撮影を行い、撮影画像を、プライバシーマスク合成部１５、パノラマ撮影クライアント２またはプライバシーマスク設定クライアント３へ出力する。雲台１２は、撮影部１１と、三脚などの架台本体との間に設けられ、撮影部１１を自由な方向に向けて固定するための台である。撮影・雲台制御部１３は、コマンド解釈部１７により解釈されたコマンドで指定された制御内容に応じて、撮影部１１が取り付けられた雲台１２のパン・チルト角度を制御する。また、撮影・雲台制御部１３は、画像中のプライバシーエリア座標と、プライバシーエリアの大きさとをマスクデータとしてプライバシーマスク合成部１５へ指示する。通信制御部１４は、各クライアントから受信したコマンドに応じて、ネットワーク４を介して画像データを配信するとともに、各種カメラ制御を実行する。プライバシーマスク合成部１５は、撮影部１１から取得した画像と、撮影・雲台制御部１３から取得したマスクデータとを合成する。画像圧縮部１６は、プライバシーマスク合成部１５により合成されたマスクデータ付き画像を、クライアントに配信しやすいデータサイズに圧縮する。本実施形態では、画像圧縮部１６はＪＥＰＧ形式を用いて圧縮を行うが、他の圧縮形式を用いてもよい。コマンド解釈部１７は、通信制御部１４が受信したコマンドを解釈する。記憶部１８は、プライバシーマスクの設定値やパノラマ撮影クライアント２によって生成されるパノラマ画像などを記憶する。

パノラマ撮影クライアント２は、通信制御部２１と、コマンド生成部２２と、パノラマ座標演算部２３と、操作入力部２４と、表示制御部２５と、画像表示部２６と、画像圧縮伸張部２７と、パノラマ画像合成部２８とを備える。パノラマ撮影クライアント２は、カメラサーバごとに割り当てられているＩＰアドレスを指定してカメラサーバ１へ接続する。

通信制御部２１は、カメラサーバ１から送信されてきた撮影画像および記憶部１８に記憶されていたパノラマ画像を受信するとともに、各種カメラ制御の結果を受信する。コマンド生成部２２は、パノラマ画像上でのマウスクリックや、雲台１２のパン・チルト位置を表す枠のドラッグといったＧＵＩ操作に応じて、各種カメラ制御コマンドを生成する。生成された各種カメラ制御コマンドは、通信制御部２１からカメラサーバ１へ送信される。パノラマ座標演算部２３は、パノラマ撮影用の画像を撮影するためのパン・チルト角度の算出を行う。操作入力部２４はマウスやキーボードによるユーザからのＧＵＩ操作を受け付ける。表示制御部２５は、画像圧縮伸張部２７により伸張された撮影画像およびパノラマ画像や、各種カメラ制御の結果からグラフィカル・ユーザ・インタフェース（ＧＵＩ）を生成し、画像表示部２６を制御する。画像表示部２６は、表示制御部２５による制御に応じて各種動作結果を表示する。すなわち、画像表示部２６は、カメラサーバ１による現在の撮影画像を取得してリアルタイムで表示する動作や、カメラサーバ１により撮影された複数の撮影画像から生成された広域画像（例えば、パノラマ画像）を取得して表示する動作などを行う。

画像圧縮伸張部２７は、カメラサーバ１から受信した画像を伸張し、また、パノラマ画像合成部２８により合成されたパノラマ画像を、カメラサーバ１へ配信しやすいデータサイズに圧縮する。圧縮されたパノラマ画像データは、通信制御部２１へ出力され、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶される。パノラマ画像合成部２８は、カメラサーバ１から受信して画像圧縮伸張部２７により伸張されたパノラマ撮影用の画像をつなぎ合わせる。

プライバシーマスク設定クライアント３は、通信制御部３１と、コマンド生成部３２と、パノラマ座標演算部３３と、操作入力部３４と、表示制御部３５と、画像表示部３６と、画像圧縮伸張部３７と、プライバシーマスク合成部３８とを備える。プライバシーマスク設定クライアント３は、パノラマ撮影クライアント２と同様に、カメラサーバ毎に割り当てられているＩＰアドレスを指定してカメラサーバ１へ接続する。ここで、通信制御部３１、コマンド生成部３２、操作入力部３４、表示制御部３５、画像表示部３６、および画像圧縮伸張部３７は、それぞれパノラマ撮影クライアント２が備える通信制御部２１、コマンド生成部２２、操作入力部２４、表示制御部２５、画像表示部２６、および画像圧縮伸張部２７と同様の機能を有する。

パノラマ座標演算部３３は、パノラマ画像上のプライバシーエリアの座標とプライバシーエリアの大きさとを算出して、プライバシーマスク合成部３８へ座標と大きさを指示する。プライバシーマスク合成部３８は、カメラサーバ１の記憶部１８から受信して画像表示部３６に別に表示されている画像圧縮伸張部３７により伸張されたパノラマ画像と、画像表示部３６に表示されているカメラサーバ１の現在の撮影画像との対応する位置に、それぞれマスクデータを合成する。

図２のフローチャートを参照して、第１実施形態に係るパノラマ撮影クライアント２のパノラマ撮影処理の手順を説明する。本フローチャートの処理は、ユーザがパノラマ撮影クライアント２の操作入力部２４からパノラマ撮影を要求することにより開始する。

ステップＳ１０１において、パノラマ座標演算部２３は、パノラマ画像生成に必要な撮影画像のパン・チルト角度を算出する。そしてコマンド生成部２２は、パノラマ座標演算部２３により生成されたパン・チルト角度をカメラ制御コマンドとして生成する。カメラ制御コマンドは、通信制御部２１によりカメラサーバ１へ送信される。このカメラ制御コマンドによってカメラサーバ１の撮影部１１の動作が制御される。

ステップＳ１０２において、コマンド生成部２２は、カメラサーバ１のプライバシーマスク合成を無効にするコマンドを生成する。このコマンドは、通信制御部２１によりカメラサーバ１へ送信される。このコマンドによってカメラサーバ１のプライバシーマスク合成部１５の動作が制御される。その後、パノラマ撮影クライアント２は、カメラサーバ１の撮影部１１により撮影されたマスクデータ無し画像をカメラサーバ１から受信する。

ステップＳ１０３において、コマンド生成部２２は、カメラサーバ１のプライバシーマスク合成を有効にするコマンドを生成する。このコマンドは、通信制御部２１によりカメラサーバ１へ送信される。このコマンドによってカメラサーバ１のプライバシーマスク合成部１５の動作が制御される。その後、パノラマ撮影クライアント２は、カメラサーバ１の撮影部１１により撮影されたマスクデータ有り画像をカメラサーバ１から受信する。

ステップＳ１０４において、パノラマ画像合成部２８は、パノラマ画像生成に必要な全ての画像が揃ったか否かを判定する。全ての画像が揃ったと判定された場合（Ｓ１０４；ＹＥＳ）、ステップＳ１０５へ進む。一方、全ての画像が揃っていないと判定された場合（Ｓ１０４；ＮＯ）、ステップＳ１０１へ戻る。

ステップＳ１０５において、パノラマ画像合成部２８は、プライバシーマスク無効の受信画像と撮影時のパン・チルト角度とを用いてパノラマ画像を合成する。ステップＳ１０６において、パノラマ画像合成部２８は、同様にプライバシーマスク有効の受信画像と撮影時のパン・チルト角度とを用いてパノラマ画像を合成する。ステップＳ１０７において、表示制御部２５は、プライバシーマスク有効のパノラマ画像を画像表示部２６に表示する。

ステップＳ１０８において、画像圧縮伸張部２７は、プライバシーマスク無効のパノラマ画像とプライバシーマスク有効のパノラマ画像とをそれぞれ圧縮して、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。プライバシーマスク無効のパノラマ画像サイズあるいは圧縮方式、圧縮率は、プライバシーマスク有効のパノラマ画像サイズあるいは圧縮方式、圧縮率と同じである必要はなく、異なる圧縮方式、圧縮率であってもよい。本実施形態では、プライバシーマスク無効の画像サイズあるいは圧縮方式、圧縮率がプライバシーマスク有効の画像サイズあるいは圧縮方式、圧縮率より、大きい、品質が良い、低いように圧縮する。以上で図２のフローチャートの各処理が終了する。

図３のフローチャートを参照して、第１実施形態に係るプライバシーマスク設定クライアント３のパノラマ画像生成処理の手順を説明する。本フローチャートの処理は、ユーザがプライバシーマスク設定クライアント３の操作入力部３４からパノラマ画像生成を要求することにより開始する。

ステップＳ２０１において、プライバシーマスク設定クライアント３は、カメラサーバ１の記憶部１８からプライバシーマスクの設定値を受信する。ステップＳ２０２において、プライバシーマスク設定クライアント３は、カメラサーバ１の記憶部１８からプライバシーマスク無効なパノラマ画像を受信する。

ステップＳ２０３において、プライバシーマスク合成部３８は、プライバシーマスク無効なパノラマ画像と、プライバシーマスクの設定値とを用いて、パノラマ座標演算部３３により算出された座標と大きさで、マスクデータ有りパノラマ画像を合成する。ステップＳ２０４において、表示制御部３５は、プライバシーマスクが合成されたパノラマ画像を画像表示部３６に表示する。

ステップＳ２０５において、パノラマ座標演算部３３は、操作入力部３４からプライバシーエリア（マスクデータ）の設定変更を受付けたか否かを判定する。設定変更が受付けられたと判定された場合（Ｓ２０５；ＹＥＳ）、ステップＳ２０３に戻り、プライバシーマスク無しパノラマ画像と、設定変更されたマスクデータとを合成する。一方、設定変更が要求されていないと判定された場合（Ｓ２０５；ＮＯ）、ステップＳ２０６へ進む。これは、ユーザがプライバシーエリア設定の完了を要求することによって判定される処理である。

ステップＳ２０６において、画像圧縮伸張部３７は、プライバシーマスクを合成したパノラマ画像を圧縮して、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。

ステップＳ２０７において、画像圧縮伸張部３７は、同様にプライバシーマスクの設定値を、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。以上で図３のフローチャートの各処理が終了する。

図４を参照して、第１実施形態に係るプライバシーマスク設定クライアント３の画面表示例について説明する。プライバシーマスク設定クライアント３の画像表示部３６は、カメラサーバ１の撮影部１１により撮影された画像を取得してリアルタイムで表示する撮影画像表示部１０１と、プライバシーマスク合成部３８によりマスクデータが合成されたパノラマ画像を表示する広域画像表示部１０２とを有する。さらに、つまみのドラッグによって雲台１２のパン・チルト制御を指示するパンスクロールバー１０４およびチルトスクロールバー１０５と、つまみのドラッグで撮影部１１のデジタルズーム制御を指示するズームスライダー１０６とを有する。

ユーザは視野を表す枠の移動や拡大縮小によってパン・チルト・ズーム制御を指示するパノラマプレビュー枠１０３により可動範囲内の撮影位置が簡便に操作できる。撮影画像表示部１０１においてユーザがプライバシーマスク１１０を追加するプライバシーマスク追加ボタン１０７を押下すると、撮影画像表示部１０１のマスク追加位置およびサイズに対応する位置およびサイズで広域画像表示部１０２においてマスクが追加される。カメラサーバ１にプライバシーマスクを記憶させるプライバシーマスク保存ボタン１０８を押下すると、設定済みのプライバシーマスク１１１と共にプライバシーマスクの設定値が記憶部１８に記憶される。プライバシーマスク削除ボタン１０９を押下すると記憶部１８のプライバシーマスク設定値と共に広域画像表示部１０２上のマスクデータが消去される。

このように、カメラサーバの現在の撮影画像を取得してリアルタイムで表示し、さらにカメラサーバにより撮影された複数の撮影画像から生成されたパノラマ画像を取得して表示し、取得したマスクデータに基づいて、それぞれの対応する位置にマスクを合成する。

本実施形態によれば、撮影可能範囲でプライバシーエリアがマスクされていることをマスクデータつきパノラマ画像ですぐに確認できる。また、エリア設定を変更してもパノラマ画像の再撮影が不要なカメラ制御システムを提供することができる。

（第２実施形態）
図５を参照して、第２実施形態に係るカメラ制御システムを説明する。カメラ制御システムは、カメラサーバ１と、パノラマ撮影クライアント２と、プライバシーマスク設定クライアント３ａとを備え、それぞれがネットワーク４を介して接続されている。ネットワーク４に接続される構成要素の数に制限はないが、説明の簡略化のため各々１台ずつであると仮定する。カメラサーバ１、パノラマ撮影クライアント２、およびネットワーク４は第１実施形態と同様の構成である。

プライバシーマスク設定クライアント３ａは、パノラマ撮影クライアント２と同様にカメラサーバごとに割り当てられているＩＰアドレスを指定してカメラサーバ１に接続する。プライバシーマスク設定クライアント３ａが有するパノラマ座標演算部３３ａおよびプライバシーマスク合成部３８ａの機能が第１実施形態と異なる。また、パノラマ画像合成部３９をさらに備える点が異なる。その他の構成要素の機能は第１実施形態で説明した対応する処理部の各機能と同様であるため、説明を省略する。パノラマ座標演算部３３ａは、パノラマ画像を生成するためのパン・チルト角度の演算と、パノラマ画像上のプライバシーエリアの座標と大きさの算出とを行う。プライバシーマスク合成部３８ａは、パノラマ座標演算部３３ａにより算出されたプライバシーエリアの座標と大きさに合わせて、パノラマ画像とマスクデータとを合成する。パノラマ画像合成部３９は、カメラサーバ１から受信して画像圧縮伸張部３７により伸張されたパノラマ生成用の画像と、プライバシーマスク合成部３８によりマスクデータが合成された画像とを、パノラマ座標演算部３３ａにより算出された角度に合わせてつなぎ合わせる。また、パノラマ画像合成部３９は、パノラマ画像生成に使用した画像を、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。

図６のフローチャートを参照して、第２実施形態に係るパノラマ撮影クライアント２のパノラマ撮影処理の手順を説明する。本フローチャートの処理は、ユーザがパノラマ撮影クライアント２の操作入力部２４からパノラマ撮影を要求することにより開始する。

ステップＳ３０１乃至ステップＳ３０４の各処理は、ステップＳ１０１乃至ステップＳ１０４の各処理と同様である。

ステップＳ３０５において、パノラマ画像合成部２８は、プライバシーマスク有効の受信画像と、撮影時のパン・チルト角度とを用いてパノラマ画像を合成する。ステップＳ３０６において、表示制御部２５は、プライバシーマスク有効のパノラマ画像を画像表示部２６に表示する。

ステップＳ３０７において、画像圧縮伸張部２７は、プライバシーマスク無効のパノラマ画像とプライバシーマスク有効のパノラマ画像とをそれぞれ圧縮して、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。プライバシーマスク無効のパノラマ画像サイズあるいは圧縮方式、圧縮率は、プライバシーマスク有効のパノラマ画像サイズあるいは圧縮方式、圧縮率と同じである必要はなく、異なる圧縮方式、圧縮率であってもよい。本実施形態では、プライバシーマスク無効の画像サイズあるいは圧縮方式、圧縮率がプライバシーマスク有効の画像サイズあるいは圧縮方式、圧縮率より、大きい、品質が良い、低いように圧縮する。以上で図６のフローチャートの各処理が終了する。

図７のフローチャートを参照して、第２実施形態に係るプライバシーマスク設定クライアント３ａのパノラマ画像生成処理の手順を説明する。本フローチャートの処理は、ユーザがプライバシーマスク設定クライアント３ａの操作入力部３４からパノラマ画像生成を要求することにより開始する。

ステップＳ４０１において、プライバシーマスク設定クライアント３ａは、プライバシーマスクの設定値を受信する。ステップＳ４０２において、プライバシーマスク設定クライアント３ａは、カメラサーバ１の記憶部１８のプライバシーマスク無効な画像を受信する。

ステップＳ４０３において、プライバシーマスク設定クライアント３ａは、プライバシーマスク有効な画像を受信する。ステップＳ４０４において、パノラマ画像合成部３９は、プライバシーマスク有効な画像と、パノラマ座標演算部３３により計算される撮影時のパン・チルト角度とを用いて、パノラマ画像を合成する。ステップＳ４０５において、表示制御部３５は、プライバシーマスクが合成されたパノラマ画像を画像表示部３６に表示する。

ステップＳ４０６において、パノラマ座標演算部３３ａは、操作入力部３４からプライバシーエリア（マスクデータ）の設定変更を要求したか否かを判定する。設定変更が要求されたと判定された場合（Ｓ４０６；ＹＥＳ）、ステップＳ４０７へ進む。一方、設定変更が要求されていないと判定された場合（Ｓ４０６；ＮＯ）、ステップＳ４０９へ進む。これは、ユーザがプライバシーエリア設定の完了を要求することによって判定される処理である。

ステップＳ４０７において、パノラマ座標演算部３３ａは、プライバシーエリアの設定変更を行う。具体的には、ステップＳ４０２で取得したプライバシーマスク無効な画像のパノラマ座標上で該当する変更前と変更後の画像を選択する。

ステップＳ４０８において、プライバシーマスク合成部３８ａは、変更前の画像についてはそのまま、変更後の画像については変更されたプライバシーマスクの設定値を用いてパノラマ座標演算部３３ａにより算出された座標と大きさのマスクデータを合成する。その後ステップＳ４０４へ戻り、パノラマ画像合成部３９は、プライバシーマスク有効な画像と、ステップＳ４０７で選択された画像とをパノラマ合成して、再びステップＳ４０５において、表示制御部３５は、プライバシーマスクが合成されたパノラマ画像を画像表示部３６に表示する。

ステップＳ４０９において、通信制御部３１は、プライバシーマスクが合成されたパノラマ画像を構成する画像をプライバシー有効な画像として、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。ステップＳ４１０において、通信制御部３１は、同様にプライバシーマスクの設定値を記憶部１８に記憶する。以上で図７のフローチャートの各処理が終了する。

本実施形態によれば、撮影可能範囲でプライバシーエリアがマスクされていることをマスクデータつきパノラマ画像ですぐに確認できる。また、エリア設定を変更してもパノラマ画像の再撮影が不要なカメラ制御システムを提供することができる。

（第３実施形態）
図８を参照して、第３実施形態に係るカメラ制御システムを説明する。カメラ制御システムは、カメラサーバ１と、パノラマ撮影クライアント２と、プライバシーマスク設定クライアント３ｂとを備え、それぞれがネットワーク４を介して接続されている。ネットワーク４に接続される構成要素の数に制限はないが、説明の簡略化のため各々１台ずつであると仮定する。カメラサーバ１、パノラマ撮影クライアント２、およびネットワーク４は第１実施形態と同様の構成である。

プライバシーマスク設定クライアント３ｂは、パノラマ撮影クライアント２と同様にカメラサーバごとに割り当てられているＩＰアドレスを指定してカメラサーバ１に接続する。プライバシーマスク設定クライアント３ｂは、第２実施形態で説明した、プライバシーマスク設定クライアント３ａとは異なりプライバシーマスク合成部３８ａを有しておらず、また、パノラマ画像合成部３９の機能が異なる。その他の構成要素の機能は第１実施形態で説明した対応する処理部の各機能と同様であるため、説明を省略する。

パノラマ画像合成部３９は、カメラサーバ１から受信して画像圧縮伸張部３７により伸張されたパノラマ撮影用の画像と、パノラマ座標演算部３３ａで撮影し直された画像とをパン・チルト角度に合わせてつなぎ合わせて、プライバシーマスクのあるパノラマ画像を合成する。また、通信制御部３１は、合成されたパノラマ画像を画像圧縮伸張部３７により圧縮して、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。

図９のフローチャートを参照して、第３実施形態に係るパノラマ撮影クライアント２のパノラマ撮影処理の手順を説明する。本フローチャートの処理は、ユーザがパノラマ撮影クライアント２の操作入力部２４からパノラマ撮影を要求することにより開始する。

ステップＳ５０１において、パノラマ座標演算部２３は、パノラマ画像生成に必要な撮影画像のパン・チルト角度を算出する。そしてコマンド生成部２２は、パノラマ座標演算部２３により生成されたパン・チルト角度をカメラ制御コマンドとして生成する。カメラ制御コマンドは、通信制御部２１によりカメラサーバ１へ送信される。このカメラ制御コマンドによってカメラサーバ１の撮影部１１の動作が制御される。

ステップＳ５０２において、コマンド生成部２２は、カメラサーバ１のプライバシーマスク合成を有効にするコマンドを生成する。このコマンドは、通信制御部２１によりカメラサーバ１へ送信される。このコマンドによってカメラサーバ１のプライバシーマスク合成部１５の動作が制御される。その後、パノラマ撮影クライアント２は、カメラサーバ１の撮影部１１により撮影されたマスクデータ有り画像をカメラサーバ１から受信する。

ステップＳ５０３において、パノラマ画像合成部２８は、パノラマ画像生成に必要な全ての画像が揃ったか否かを判定する。全ての画像が揃ったと判定された場合（Ｓ５０３；ＹＥＳ）、ステップＳ５０４へ進む。一方、全ての画像が揃っていないと判定された場合（Ｓ５０３；ＮＯ）、ステップＳ５０１へ戻る。

ステップＳ５０４において、パノラマ画像合成部２８は、プライバシーマスク有効の受信画像と撮影時のパン・チルト角度とを用いてパノラマ画像を合成する。

ステップＳ５０５において、表示制御部２５は、プライバシーマスク有効のパノラマ画像を画像表示部２６に表示する。

ステップＳ５０６において、通信制御部２１は、プライバシーマスク有効のパノラマ画像を、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。なお、合成または記憶するパノラマ画像は、画像表示部２６で表示するパノラマ画像よりサイズが大きいデータであってもよい。以上で図９のフローチャートの各処理が終了する。

図１０のフローチャートを参照して、第３実施形態に係るプライバシーマスク設定クライアント３ｂのパノラマ画像生成処理の手順を説明する。本フローチャートの処理は、ユーザがプライバシーマスク設定クライアント３ｂの操作入力部３４からパノラマ画像生成を要求することにより開始する。

ステップＳ６０１において、プライバシーマスク設定クライアント３ｂは、カメラサーバ１の記憶部１８からプライバシーマスクの設定値を受信する。ステップＳ６０２において、プライバシーマスク設定クライアント３ｂは、カメラサーバ１の記憶部１８からプライバシーマスク有効なパノラマ画像を受信する。ステップＳ６０３において、表示制御部３５は、プライバシーマスク有効なパノラマ画像を画像表示部３６に表示する。

ステップＳ６０４において、パノラマ座標演算部３３は、操作入力部３４からプライバシーエリア（マスクデータ）の設定変更を受け付けたか否かを判定する。設定変更が受け付けられたと判定された場合（Ｓ６０４；ＹＥＳ）、ステップＳ６０６へ進む。一方、設定変更が受け付けられていないと判定された場合（Ｓ６０４；ＮＯ）、ステップＳ６０９へ進む。これは、ユーザがプライバシーエリア設定の完了を要求することによって判定される処理である。

ステップＳ６０６において、パノラマ座標演算部３３ａは、パノラマ座標上の該当する変更前と変更後のパン・チルト角度を算出する。続いて、コマンド生成部２２は、ステップＳ６０６で算出されたパン・チルト角度で撮影部１１が撮影を行うようにコマンドを生成してカメラサーバ１へ送信する。このようにしてカメラ制御が行われる。

ステップＳ６０７において、通信制御部３１は、カメラサーバ１で撮影されたプライバシーマスクのある画像を受信する。ステップＳ６０８において、パノラマ画像合成部３９は、ステップＳ６０２で受信したプライバシーマスク有効なパノラマ画像と、ステップＳ６０７で受信したプライバシーマスクのある画像とを用いて、パノラマ画像を合成する。その後、ステップＳ６０３へ戻り、表示制御部３５は、再びプライバシーマスク有効なパノラマ画像を画像表示部３６に表示する。

ステップＳ６０９において、画像圧縮伸張部３７は、プライバシーマスクを合成したパノラマ画像を圧縮して、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。

ステップＳ６１０において、通信制御部３１は、同様にプライバシーマスクの設定値を、ネットワーク４を介してカメラサーバ１の記憶部１８に記憶する。なお、合成または記憶するパノラマ画像は、画像表示部３６で表示するパノラマ画像よりサイズが大きいデータであってもよい。以上で図１０のフローチャートの各処理が終了する。

本実施形態によれば、撮影可能範囲でプライバシーエリアがマスクされていることをマスクデータつきパノラマ画像ですぐに確認できる。また、エリア設定を変更してもパノラマ画像の再撮影が不要なカメラ制御システムを提供することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (4)

1. カメラから取得した画像を表示する画像表示装置であって、
   前記カメラのパン・チルト・ズーム制御を行うユーザ指示を受け付けて、前記カメラの可動範囲内の撮影位置を操作する操作手段と、
   前記撮影位置における前記カメラの現在の撮影画像を表示する画像表示手段と、
   前記カメラにより撮影された複数の撮影画像から生成された広域画像を表示する広域画像表示手段と、
   前記画像表示手段により表示されている現在の撮影画像に対するマスクの追加指示を受け付ける受付手段と、
   前記追加指示に応じて、前記画像表示手段により表示されている現在の撮影画像に対するマスクの追加位置及びサイズに対応する位置及びサイズで、前記広域画像表示手段により表示されている広域画像にマスクを合成するマスク合成手段と、
   を備えることを特徴とする画像表示装置。
2. 前記マスク合成手段によりマスクが合成された広域画像を前記カメラへ送信する送信手段をさらに備えることを特徴とする請求項１に記載の画像表示装置。
3. 操作手段と、画像表示手段と、広域画像表示手段と、受付手段と、マスク合成手段とを備え、カメラから取得した画像を表示する画像表示装置の制御方法であって、
   前記操作手段が、前記カメラのパン・チルト・ズーム制御を行うユーザ指示を受け付けて、前記カメラの可動範囲内の撮影位置を操作する操作工程と、
   前記画像表示手段が、前記撮影位置における前記カメラの現在の撮影画像を表示する画像表示工程と、
   前記広域画像表示手段が、前記カメラにより撮影された複数の撮影画像から生成された広域画像を表示する広域画像表示工程と、
   前記受付手段が、前記画像表示手段により表示されている現在の撮影画像に対するマスクの追加指示を受け付ける受付工程と、
   前記マスク合成手段が、前記追加指示に応じて、前記画像表示手段により表示されている現在の撮影画像に対するマスクの追加位置及びサイズに対応する位置及びサイズで、前記広域画像表示手段により表示されている広域画像にマスクを合成するマスク合成工程と、
   を有することを特徴とする画像表示装置の制御方法。
4. 請求項１又は２に記載の画像表示装置の各手段としてコンピュータを機能させるためのプログラム。

Images